CN110402443A - 光学传感器、学习设备和图像处理系统 - Google Patents

Abstract

可以执行适于对象的属性的识别处理。根据本发明的一方面的光学传感器是包括光学元件和多个图像捕获装置的光学传感器，该光学元件具有多个聚焦单元，各聚焦单元聚焦来自对象的光，各图像捕获装置包括多个光接收元件，各图像捕获装置被设置为与多个聚焦单元中的一个聚焦单元相对应，并且各图像捕获装置被配置为接收由对应的聚焦单元聚焦的光并形成对象的捕获图像。针对各图像捕获装置，设置所述多个光接收元件中的将被用于形成捕获图像的光接收元件。

Description

光学传感器、学习设备和图像处理系统

技术领域

本发明涉及光学传感器、学习设备和图像处理系统。

背景技术

JP2011-077764A提出了一种图像处理设备，在该图像处理设备中使用微透镜阵列和多个光电转换元件的光学传感器来获取图像，并且通过将图像作为输入数据的机器学习从所获取的图像中提取出现特征对象的特征区域。该图像处理设备包括模型数据库，该模型数据库针对预定特征对象保持多种模型的图像信息，所述多种模型比多维图像更精确。这样，图像处理设备可以通过从模型数据库中提取与特征区域相对应的模型的图像信息并生成特征区域的合成图像信息来获取高精度的多维图像。

JP 2016-184956A提出了一种图像处理设备，该图像处理设备中使用微透镜阵列和多个光电转换元件的光学传感器来获取图像，并且所获取的图像被划分为用于获取距离信息的第一划分区域和用于基于该距离信息生成重聚焦图像的第二划分区域。根据该图像处理设备，可以在实时取景驾驶期间显示宽范围聚焦的图像，同时减少重构处理的负担。

[引用列表]

[专利文献]

[PTL 1]

JP 20JP 2011-077764A

[PTL 2]

JP 2016-184956A

发明内容

[技术问题]

当采用如在JP2011-077764A和JP2016-184956A中的使用微透镜阵列和多个光电转换元件的光学传感器时，在图像捕获环境中的小的物理变化(例如对象的位置、取向和姿态)可以在各图像捕获装置获取的捕获图像中产生大的变化。因此，可以从微透镜阵列获取的捕获图像中容易地识别在图像捕获环境中出现的小的物理变化。

然而，本发明的发明人发现，过去使用具有多个聚焦单元(例如微透镜阵列)的光学元件来识别对象的属性的方法会产生以下问题(注意，“属性”是指可以表征对象的性质，诸如对象的位置、姿态、形状、尺寸、颜色和类型)。在过去的方法中，不管执行哪种图像处理，所有图像捕获装置中的所有光接收元件都接收光，并且作为结果而获取的各捕获图像中的所有像素都被用于识别对象的属性的处理。因此，随着每个图像捕获装置中的像素数量的增加，在识别对象的属性的处理中的计算量也增加，这使得难以实时地使用识别对象的属性的结果。

此外，通过相应的微透镜获取的捕获图像仅在微透镜的位置方面不同，因此这些捕获图像几乎相同。因此，根据要识别的对象的属性，捕获图像中的至少一些像素在识别属性的处理中可能是不需要的。换句话说，可能已经使用了包含大量不使用且不必要的信息的捕获图像来执行识别对象的属性的处理。

由于这些原因，本发明的发明人发现难以用过去的方法执行适于对象的属性的识别处理。

鉴于这种情况已经出现，本发明的一方面的目的是提供一种技术，该技术使得可以执行适于对象的属性的识别处理。

[解决问题的方法]

本发明采用以下配置来解决上述问题。

根据本发明的一方面的光学传感器是包括光学元件和多个图像捕获装置的光学传感器，光学元件具有多个聚焦单元，各聚焦单元聚焦来自对象的光，各图像捕获装置包括多个光接收元件，各图像捕获装置被设置为对应于聚焦单元中的一个聚焦单元，且各图像捕获装置被配置为接收由对应的聚焦单元聚焦的光并形成对象的捕获图像。针对各图像捕获装置，设置多个光接收元件中的将被用于形成捕获图像的光接收元件。

根据上述配置的光学传感器包括多个图像捕获装置，并且各图像捕获装置使用多个光接收元件接收穿过光学元件的聚焦单元的光并形成对象的捕获图像(图像数据)。此时，根据上述配置，针对每个图像捕获装置设置多个光接收元件中的将被用于形成捕获图像的光接收元件。换句话说，各图像捕获装置中包括的多个光接收元件可以分成接收光并形成图像的光接收元件与不形成图像的光接收元件。这样，在识别对象的属性时不需要设置可以形成图像的光接收元件，因为不形成图像的光接收元件使得可以从形成的捕获图像中省略不使用且不必要的信息(像素)。例如，“不必要的信息(像素)”是指对识别对象的属性没有影响的像素、对识别对象的属性具有相对较低贡献的像素等。因此，使用根据上述配置的光学传感器获取的捕获图像使得可以执行适于对象的属性的识别处理。

在上述配置中，多个光接收元件中的一些或全部光接收元件被设置为不形成图像，因此，由图像捕获装置获取的捕获图像可能不被人识别。然而，如稍后将描述的，该捕获图像被用作执行识别预定属性的机器学习的学习装置的输入，因此该捕获图像不必被人识别。

另外，根据上述配置，在减少捕获图像中的信息量的同时适当对待使用光接收元件进行设置，因此可以针对给定对象获取各种捕获图像。因此，通过使用所获取的捕获图像执行诸如分类、聚类、特征量提取等学习，可以构建提高了识别与对象属于相同类别的物体的准确度的学习装置，或者换句话说，具有出色鲁棒性的学习装置。

根据上述方面的光学传感器还可包括控制单元，该控制单元被配置为，根据表示将被用于形成所述捕获图像的光接收元件的设置的设置数据，控制所述图像捕获装置形成所述捕获图像。根据该配置，可以通过软件控制形成图像的光接收元件和不形成图像的光接收元件的设置。

在根据上述方面的光学传感器中，通过选择各个图像捕获装置中的将被使用以适于识别对象的属性的光接收元件，在学习设备中创建设置数据，所述学习设备训练学习装置以在输入捕获图像时输出对象的属性信息；以及控制单元可从学习设备接收所创建的设置数据，并根据接收到的设置数据控制图像捕获装置形成捕获图像。根据该配置，可以使形成图像的光接收元件和不形成图像的光接收元件的设置适合于识别对象的属性，其中，针对对象训练了学习装置。“属性信息”是指表征对象的任何信息，例如对象的位置、取向、姿态、尺寸、形状、颜色、类型和周围状况，并且可以包括渲染对象本身的图像。

在根据上述方面的光学传感器中，可以由遮挡元件执行对将被用于形成捕获图像的光接收元件的设置，该遮挡元件被配置为阻挡来自未形成捕获图像的光接收元件的光、而不阻挡来自形成捕获图像的光接收元件的光。根据该配置，可以通过硬件(遮挡元件)来控制形成图像的光接收元件和不形成图像的光接收元件的设置。

在根据上述方面的光学传感器中，根据将从所述捕获图像识别的对象的属性执行用于形成所述捕获图像的光接收元件的设置。根据该配置，可以使形成图像的光接收元件和不形成图像的光接收元件的设置适合于识别对象的属性。

根据上述方面的光学传感器还可包括聚焦透镜，该聚焦透镜被设置成比光学元件更靠近对象并且被配置为聚焦来自对象的光。根据该配置，可以提供可以改变视场的光学传感器。

在根据上述方面的光学传感器中，光学元件可包括透镜阵列、衍射光栅、漫射透镜和全息透镜中的至少一种。根据该配置，可以容易地实现上述光学传感器。例如，透镜阵列是微透镜阵列。然而，各个透镜的尺寸不限于微尺度，并且可以考虑到实施方式而适当地选择。

根据上述方面的光学传感器还可以包括一个或更多个其他图像捕获装置，在一个或更多个其他图像捕获装置中不对将被使用的光接收元件进行设置。换句话说，不是光学传感器中包括的所有图像捕获装置被配置成对用于形成捕获图像的光接收元件进行设置，而仅是光学传感器中包括的一些图像捕获装置可以被配置成对待使用光接收元件进行设置。根据该配置，对于光学传感器中包括的一些图像捕获装置，可以从形成的捕获图像中省略不适应的不需要信息。特别地，其中对待使用光接收元件进行设置的图像捕获装置可被称为“第一图像捕获装置”，并且特别地，其中对待使用光接收元件不进行设置的图像捕获装置可被称为“第二图像捕获装置”。

根据本发明的一方面的学习设备包括：图像获取单元，该图像获取单元被配置为，从根据上述方面中的任一方面的光学传感器获取由图像捕获装置捕获的捕获图像；以及学习处理单元，该学习处理单元被配置为训练学习装置以在输入所获取的捕获图像时输出对象的属性信息。根据该配置，可以提供构建学习装置的学习设备，利用该学习装置可以执行适于对象的属性的识别处理。

根据本发明一方面的图像处理系统，该图像处理系统包括：光学传感器，该光学传感器包括：光学元件，该光学元件具有多个聚焦单元，各聚焦单元聚焦来自对象的光；以及多个图像捕获装置，各图像捕获装置具有多个光接收元件，各图像捕获装置被设置为对应于聚焦单元中的一个聚焦单元，并且各图像捕获装置被配置为接收由对应的聚焦单元聚焦的光并且形成对象的捕获图像，并且针对各图像捕获装置，设置多个光接收元件中的将被用于形成捕获图像的光接收元件；以及信息处理设备，该信息处理设备被配置为，通过将图像捕获装置获取的捕获图像输入到已经过训练以识别对象的属性的已训练学习装置来获取表示对象的属性的属性信息。根据该配置，可以提供能够执行适于对象的属性的识别处理的图像处理系统。

在根据上述方面的图像处理系统中，所述信息处理设备根据表示将被用于形成捕获图像的光接收元件的设置的设置数据，从构成所述图像捕获装置获取的捕获图像的多个像素中选择将被输入到所述学习装置的像素。根据该配置，可以提供能够通过软件控制形成图像的光接收元件和不形成图像的光接收元件的设置的图像处理系统。

在根据上述方面的图像处理系统中，学习装置由神经网络、支持向量机、自组织映射或通过强化学习进行学习的学习装置构成。根据该配置，可以容易地实现能够执行适于对象的属性的识别处理的图像处理系统。

在根据上述方面的图像处理系统中，信息处理设备可以输出对象的位置、取向、姿态、尺寸、形状、运动、类型、个体识别信息、颜色、亮度和环境信息中的一种或组合作为属性信息。根据该配置，可以提供分析对象的位置、取向、姿态、尺寸、形状、运动、类型、个体识别信息、颜色、亮度和环境信息中的至少一个的图像处理系统。“个体识别信息”是用于识别相同或不同类型的对象(物体、项目)的信息。“环境信息”是表示对象及其周围状况的信息。

在根据上述方面的图像处理系统中，所述信息处理设备基于所述学习装置的输出，创建渲染了所述对象的图像，并输出所创建的图像作为所述属性信息。根据该配置，可以提供输出反映对象的属性的图像的图像处理系统。

根据本发明，可以提供一种技术，该技术使得可以执行适于对象的属性的识别处理。

附图说明

[图1]图1示意性地示出了应用根据实施方式的图像处理系统和学习设备的情境示例。

[图2]图2示意性地示出了根据实施方式的图像处理设备的硬件配置的示例。

[图3A]图3A示意性地示出了根据该实施方式的光学传感器的配置的示例。

[图3B]图3B示意性地示出了根据实施方式的光学传感器中的光学元件和图像捕获装置之间关系的示例。

[图4A]图4A示意性地示出了在根据实施方式的光学传感器中用于形成图像的光接收元件的设置的示例。

[图4B]图4B示意性地示出了在根据实施方式的光学传感器中用于形成图像的光接收元件的设置的示例。

[图4C]图4C示意性地示出了在根据实施方式的光学传感器中用于形成图像的光接收元件的设置的示例。

[图4D]图4D示意性地示出了在根据实施方式的光学传感器中用于形成图像的光接收元件的设置的示例。

[图4E]图4E示意性地示出了在根据实施方式的光学传感器中用于形成图像的光接收元件的设置的示例。

[图4F]图4F示意性地示出了在根据实施方式的光学传感器中用于形成图像的光接收元件的设置的示例。

[图4G]图4G示意性地示出了在根据实施方式的光学传感器中用于形成图像的光接收元件的设置的示例。

[图4H]图4H示意性地示出了在根据实施方式的光学传感器中用于形成图像的光接收元件的设置的示例。

[图4I]图4I示意性地示出了在根据实施方式的光学传感器中用于形成图像的光接收元件的设置的示例。

[图5]图5示意性地示出了根据实施方式的学习设备的硬件配置的示例。

[图6]图6示意性地示出了根据实施方式的图像处理设备的功能配置的示例。

[图7]图7示意性地示出了根据实施方式的学习设备的功能配置的示例。

[图8]图8示出了由根据实施方式的图像处理设备执行的处理序列的示例。

[图9]图9示出了由根据实施方式的学习设备执行的处理序列的示例。

[图10]图10示意性地示出了根据变型的光学传感器的配置的示例。

[图11]图11示意性地示出了根据变型的光学传感器的配置的示例。

[图12]图12示意性地示出了根据变型的图像处理设备的配置的示例。

[图13]图13示意性地示出了根据变型的图像处理设备的配置的示例。

[图14]图14示意性地示出了根据变型的光学传感器的配置的示例。

具体实施方式

接下来将参考附图描述根据本发明的一方面的实施方式(下面也称为“本实施方式”)。然而，下面描述的本实施方式在所有意义上仅仅是本发明的示例。不言而喻，在不脱离本发明范围的情况下可以进行许多改进和改变。换言之，可以适当地采用基于实施方式的特定配置来实现本发明。注意，尽管用自然语言描述了实施方式中提到的数据，但是数据是由计算机可识别的准语言、命令、参数、机器语言等来更具体地规定。

§1应用示例

首先，将使用图1描述应用本发明的情境示例。图1示意性地示出了应用根据本实施方式的图像处理系统100和学习设备2的情境示例。根据本实施方式的图像处理系统100是信息处理系统，该信息处理系统使用经过训练以识别对象6的属性的已训练学习装置(稍后描述的神经网络7)来分析对象6的属性。

如图1中所示，图像处理系统100包括：光学传感器3，其捕获对象6的图像；以及图像处理设备1，其使用由光学传感器3获取的多个捕获图像来指定对象6的属性。光学传感器3包括具有多个透镜311的透镜阵列31，以及接收由对应透镜311聚焦的光并形成对象6的捕获图像的多个图像捕获装置32。

透镜阵列31是根据本发明的“光学元件”的示例。例如，透镜阵列31是微透镜阵列。然而，各透镜311的尺寸不限于微尺度，并且可以考虑到实施方式而适当地选择。各透镜311是根据本发明的“聚焦单元”的示例。对象6包括可由光学传感器3捕获的任何场景，例如，包括车辆周围的情形、在生产线上制造的产品、诸如人的预定对象等的场景。

每个图像捕获装置32由多个光接收元件321构成。为各个图像捕获装置32设置多个光接收元件321中的将被用于形成捕获图像的光接收元件。换句话说，准备各光接收元件321是否将形成图像的设置，并且基于这些设置，将各图像捕获装置32中的多个光接收元件321划分为：接收光并形成图像的光接收元件，以及不形成图像的光接收元件。在下文中，接收光并形成图像的光接收元件也将被称为“激活光接收元件”，而不形成图像的光接收元件也将被称为“未激活光接收元件”。

这使得可以获取省略了未激活光接收元件321的对应量的像素的捕获图像。图像处理设备1通过获取由图像捕获装置32的激活光接收元件321形成的各个捕获图像，并将这些图像输入至已被训练以识别对象6的属性的已训练学习装置，来获取表示对象6属性的属性信息。

根据本实施方式的学习设备2是如下的计算机：构建由图像处理系统100使用的学习装置，或者换句话说，执行学习装置的机器学习，以便响应于由光学传感器3获取的多个捕获图像的输入而输出对象6的属性。具体地，学习设备2从上述光学传感器3获取由图像捕获装置32捕获的各个捕获图像。在输入所获取的捕获图像时，学习设备2训练该学习装置(后面描述的神经网络8)以输出对象6的属性。

因此，可以创建在上述图像处理系统100中使用的已训练学习装置。例如，图像处理设备1可以通过网络10获取由学习设备2创建的已训练学习装置。例如，可以从因特网、无线通信网络、移动通信网络、电话网络、专用网络等中适当地选择网络10的类型。

如上所述，根据本实施方式的光学传感器3的图像捕获装置32可以获取省略了与未激活光接收元件321相对应的量的像素的捕获图像。这样，在识别对象6的属性时不需要设置形成图像的光接收元件321，因为未激活光接收元件使得可以从所形成的捕获图像中省略不使用因此不必要的信息(像素)。因此，根据本实施方式的图像处理系统100可以执行适于对象6的属性的识别处理。

此外，根据本实施方式的方法，适当地设置激活光接收元件321使得即使在减少各个捕获图像中的信息量的同时也可以获取对象6的多种捕获图像。因此，通过使用已经获取的捕获图像来执行诸如分类、聚类、特征量提取等这样的学习，可以实现能够提高识别属于与对象6相同类别的对象的准确性的机器学习，或者换句话说，具有出色鲁棒性的机器学习。

§2配置示例

(硬件配置)

<图像处理设备>

接下来，将使用图2描述根据本实施方式的图像处理设备1的硬件配置的示例。图2示意性地示出了根据本实施方式的图像处理设备1的硬件配置的示例。

如图2所示，根据本实施方式的图像处理设备1是计算机，在该计算机中，控制单元11、存储单元12、通信接口13、输入装置14、输出装置15、外部接口16和驱动器17彼此电连接。根据本实施方式的图像处理设备1对应于根据本发明的“信息处理设备”。注意，图2中的通信接口和外部接口分别表示为“通信I/F”和“外部I/F”。

控制单元11包括中央处理单元(CPU)、随机存取存储器(RAM)、ROM(只读存储器)等，并且被配置为根据信息处理来控制各种组成元件。存储单元12是诸如硬盘驱动器或固态驱动器这样的辅助存储装置，并且存储由控制单元11执行的图像处理程序121、表示与已训练学习装置有关的信息的学习结果数据122等。

图像处理程序121是使图像处理设备1执行分析对象6的属性的处理的程序，稍后将对此进行描述(图8)。学习结果数据122是用于配置已训练学习装置的数据。细节将在稍后给出。

通信接口13是有线局域网(LAN)模块、无线LAN模块等，并且是用于通过网络执行有线或无线通信的接口。输入装置14是用于进行输入的装置，例如鼠标或键盘。输出装置15是用于输出的装置，例如显示器或扬声器。外部接口16是通用串行总线(USB)端口等，并且是用于连接到诸如光学传感器3这样的外部装置的接口。

驱动器17是光盘(CD)驱动器、数字多功能盘(DVD)驱动器等，并且是用于加载存储在存储介质91中的程序的装置。可以根据存储介质91的类型适当地选择驱动器17的类型。图像处理程序121和/或学习结果数据122可以存储在存储介质91中。

存储介质91是通过电、磁、光、机械或化学效应存储由计算机或其他装置或机器记录的程序信息等的介质，以便可以读取程序信息。图像处理设备1可以从存储介质91获取图像处理程序121和/或学习结果数据122。

图2示出了存储介质91是诸如CD或DVD这样的盘型存储介质的示例。然而，存储介质91的类型不限于盘，而是可以使用除盘之外的类型。可以给出诸如闪存这样的半导体存储器作为非盘型存储介质的示例。

关于图像处理设备1的具体硬件配置，可以根据实施方式适当地省略、替换或添加组成元件。例如，控制单元11可以包括多个处理器。图像处理设备1可以由多个信息处理设备构成。此外，图像处理设备1可以使用通用台式个人计算机(PC)、平板PC等，而不是使用专门为要提供的服务而设计的信息处理设备。

<光学传感器>

接下来，将使用图3A和图3B描述根据本实施方式的光学传感器3的配置的示例。图3A示意性地示出了根据本实施方式的光学传感器3的配置的示例。图3B示意性地示出了根据本实施方式的光学传感器3中的透镜阵列31与图像捕获装置32之间的关系的示例。

如图3A和图3B所示，根据本实施方式的光学传感器3包括：透镜阵列31，其具有3×3个透镜311；3×3个图像捕获装置32，其被布置成与透镜311相对应；控制单元33，其控制图像捕获装置32形成捕获图像；以及存储单元34，其存储设置数据341。

(透镜阵列)

例如，根据本实施方式的透镜阵列31是微透镜阵列。然而，透镜阵列31中的透镜311的尺寸不必限于微尺度，而是可以根据实施方式适当地确定。例如，可以根据所使用的图像捕获装置32确定透镜311的尺寸。

各透镜311被配置为适当地将来自对象6的光聚焦到相应的图像捕获装置32上。各透镜311的光学属性(诸如聚焦角、折射率和允许通过的光带)可以根据实施方式而适当地设置。所有透镜311可以具有相同的光学属性，或者透镜311之间的光学属性可以不同。透镜311的期望光学属性可以通过在设计透镜同时适当调节各透镜的尺寸、材料和形状中的至少一个来实现。

可以根据已知材料和已知制造方法来适当地制造透镜阵列31。例如，透镜阵列31可以通过诸如喷射模塑法、切割、焊接等制造方法来处理诸如树脂材料或玻璃材料这样的透光材料来制造。注意，透镜阵列31可以被配置为使得可以通过使用马达(未示出)等适当地改变入射光的光轴方向来调节焦点。

(图像捕获装置)

如图3B中所示，根据本实施方式的各图像捕获装置32是具有5×5个光接收元件321的图像传感器。各光接收元件321均由互补MOS(CMOS)、电荷耦合器件(CCD)构成。等。因此，每个图像捕获装置32被配置为接收由透镜阵列31中的对应透镜311聚焦的光，并形成对象6的捕获图像。在图3B的示例中，各个图像捕获装置32均被配置为形成具有5×5个像素的捕获图像。

各图像捕获装置32的尺寸可以下述因素来适当地设置：例如，要捕获的对象6的侧面、要识别的对象6的一部分的尺寸、以及到对象6的距离。然而，基于对象6的尺寸和到对象6的距离，优选的是，将具有在垂直方向上有一个到数百个像素且在水平方向上有一个到数百个像素的分辨率的图像捕获装置作为图像捕获装置32。此时，可以基于要检测的范围的宽高比来设置图像捕获装置的宽高比。

(控制单元和存储单元)

例如，控制单元33由包括CPU的微处理器构成，存储单元34由诸如RAM或ROM这样的存储器构成。存储在存储单元34中的设置数据341表示用于形成捕获图像的光接收元件321的设置。换句话说，设置数据341表示在各图像捕获装置32中哪些光接收元件321是激活的、哪些光接收元件321是未激活的。

在本实施方式中，基于设置数据341针对各个图像捕获装置32来设置多个光接收元件321中的将被用于形成捕获图像的光接收元件。换句话说，控制单元33根据设置数据341来控制图像捕获装置32形成捕获图像。设置数据341可以是光学传感器3所特有的，或者也可以从图像处理设备1或学习设备2接收。

(设置示例)

接下来将参考图4A至图4I描述用于形成捕获图像的光接收元件的设置的示例。图4A至图4I示意性地示出了对形成捕获图像的光接收元件的设置的示例。具体而言，图4A至图4I示出了从光学传感器3的后表面侧(与透镜阵列31所在侧相反的一侧)可见的光接收元件。在图4A至图4I的5×5个单元中，阴影单元表示激活光接收元件321，没有阴影的白色单元表示未激活光接收元件321。

(1)在图4A的示例的5×5个光接收元件321中，中心的一个光接收元件321被设置为激活光接收元件，而其他24个光接收元件321被设置为未激活光接收元件。应用这些设置的图像捕获装置32可以形成捕获图像(一个像素)，在该捕获图像中准确地捕获了对应透镜311前面的对象6的一部分。

因此，当在一个图像捕获装置32中应用这些设置时，可以基于从该图像捕获装置获取的捕获图像(一个像素)来识别对象6是否存在于透镜311的前面。当在多个图像捕获装置32中应用这些设置时，可以基于从应用这些设置的多个图像捕获装置32获取的多个捕获图像来识别存在于透镜311前面的对象6的类型等。

(2)在图4B示例的5×5个光接收元件321中，存在于最上面水平行中的五个光接收元件321被设置为激活光接收元件，而另外的4×5个光接收元件321被设置为未激活光接收元件。应用这些设置的图像捕获装置32可以形成捕获图像(五个像素)，其中，从光学传感器3看，在宽水平范围内捕获对象6的下部。

因此，可以基于应用了这些设置的图像捕获装置32获取的捕获图像来识别是否存在进入图像捕获范围的下部区域的对象6。例如，当光学传感器3捕获到车辆前方的情形时，可以使用从应用图4B所示设置的图像捕获装置32获取的捕获图像，来确定妨碍行进的物体是否已进入车辆附近的行驶范围。

(3)在图4C示例的5×5个光接收元件321中，存在于最右侧竖直列中的五个光接收元件321被设置为激活光接收元件，而其他5×4个光接收元件321被设置为未激活光接收元件。从光学传感器3看，应用这些设置的图像捕获装置32可以形成捕获图像(五个像素)，对象6的左侧部分被捕获于该捕获图像中的较宽竖直范围内。

因此，可以基于应用这些设置的图像捕获装置32获取的捕获图像来识别是否存在从竖直方向进入图像捕获范围的左区域的对象6。例如，当光学传感器3捕获到车辆前方的情形时，应用了图4C所示设置的图像捕获装置32所获取的捕获图像可以被用于确定从竖直方向进入的物体(例如标志或坠落物体)是否存在于车辆行驶范围的左侧区域中。

(4)在图4D示例的5×5个光接收元件321中，右下角的四个光接收元件321被设置为未激活光接收元件，而另外21个光接收元件321被设置为激活光接收元件。从光学传感器3看，应用这些设置的图像捕获装置32可以形成捕获图像(21个像素)，该捕获图像中捕获了除了图像捕获范围的左上区域之外的区域。

例如，当在图像捕获范围的左上区域中存在发射诸如太阳光这样的强光的光源时，在各图像捕获装置32的右下角中存在的光接收元件321中将出现曝光(blowout)，因此不能获取可被用于识别对象6的属性的图像。但是，图4D所示设置使得可以获取捕获图像(21个像素)，该捕获图像中省略了由于在图像捕获范围的左上区域中存在发射强光的光源而可能产生的曝光的范围。换句话说，通过应用图4D所示设置，可以从图像捕获装置32获取的捕获图像中省略由于太阳光等的影响而导致的不能用于识别对象6的属性的不必要信息的像素。

(5)图4E的设置与图4A的设置相反。换句话说，在图4E示例的5×5个光接收元件321中，中心的一个光接收元件321被设置为未激活光接收元件，而其他24个光接收元件321被设置为激活光接收元件。应用这些设置的图像捕获装置32可以形成捕获图像(24个像素)，该捕获图像中捕获了包含对应透镜311前面的对象6的除一部分之外所有部分的区域。

例如，当光学传感器3捕获到车辆前方的情形，并且在图像捕获装置32的图像捕获范围的中心存在发出强光的光源(例如在所述车辆前方行驶的车辆的前灯)时，存在于中心的光接收元件321会以与图4D所示的示例相同的方式产生曝光。因此，不能获取可被用于识别对象6的属性的图像。但是，图4E中所示的设置使得可以获取捕获图像(24个像素)，在该捕获图像中省略了由于在图像捕获范围的中心区域中存在发射强光的光源而可能产生曝光的范围。换句话说，通过应用图4E中所示的设置，可以从图像捕获装置32获取的捕获图像中省略由于在前方行驶的车辆的前灯等而导致的不能用于识别对象6的属性的不必要信息的像素。

通过前方行驶的车辆与主车辆之间的位置关系来确定受前灯影响的光接收元件321的范围。因此，如果安装有光学传感器3的车辆包括测量到前方行驶车辆的距离的测距仪，则光学传感器3可以被配置为，基于测量距离的结果来指定受前灯影响的光接收元件321的范围，并将包括在所指定的范围内的光接收元件321切换为未激活光接收元件。

(6)在图4F示例的5×5个光接收元件321中，从左上角到右下角的对角线区域中存在的五个光接收元件321被设置为激活光接收元件，而其他20个光接收元件321被设置为未激活光接收元件。从光学传感器3看，应用这些设置的图像捕获装置32可以形成捕获图像(五个像素)，对象6被捕获于从左上角到右下角的对角线方向上。

例如，当光学传感器3安装在车辆上并且捕获行驶范围中的道路状况时，自车辆向前延伸的道路的边缘可以出现于图像捕获装置32获取的捕获图像中的对角线方向上。同样，当光学传感器3被布置在生产线中并捕获传送带的状况时，传送带的边缘可以在图像捕获装置32获取的捕获图像中的对角线方向上出现。应用了这些设置的图像捕获装置32获取的图像可以用于识别沿对角线方向延伸的道路、传送带等的边缘。

(7)在图4G示例的5×5光接收元件321中，存在于从左上角到右下角的向右下方对角线方向延伸的区域中以及从右上角到左下角的向左下方对角线方向延伸的区域中的九个光接收元件321被设置为激活光接收元件，而其他16个光接收元件321被设置为未激活光接收元件。应用这些设置的图像捕获装置32可以形成捕获图像(九个像素)，在捕获图像中捕获了对象6的x形状。图4G的设置类似于图4F的设置。因此，应用这些设置的图像捕获装置32获取的捕获图像可以被用于识别沿对角线方向延伸的道路、传送带等的边缘。

(8)在图4H示例的5×5个光接收元件321中，右下角的3×3个光接收元件321被设置为激活光接收元件，而其他16个光接收元件321被设置为未激活光接收元件。从光学传感器3看，应用这些设置的图像捕获装置32可以形成捕获图像(9个像素)，图像捕获范围的左上区域被捕获于该捕获图像中。图4H示出了与图4D的设置几乎相反的设置。换句话说，应用图4D所示设置的图像捕获装置32获取的捕获图像可以被用于识别图像捕获范围的左上区域中存在的对象6的属性。

(9)在图4I的示例中，所有光接收元件321都被设置为激活光接收元件。例如，当要分析整个图像捕获范围时，可以以这种方式将所有光接收元件321设置为激活光接收元件。将图4I所示设置应用于所有图像捕获装置32将增加分析对象6的属性所需的计算量，但是如果将图4I所示设置仅应用于一些图像捕获装置32，可以在减少分析对象6的属性所需的计算量的同时充分分析图像捕获范围。

(摘要)

如上所述，在本实施方式中，控制单元33基于设置数据341通过软件控制激活光接收元件和未激活光接收元件的设置。此时，控制单元33可以使得被用于形成捕获图像的光接收元件的设置与将从捕获图像识别的对象6的属性相对应。例如，为了识别透镜阵列31前面存在的对象6的类型，控制单元33可以将图4A所示设置应用于所有图像捕获装置32。另外，例如，为了识别对角线方向上的边缘，控制单元33可以将图4F或图4G所示的设置应用于九个图像捕获装置32中的至少一些图像捕获装置。

可以将相同的设置应用于所有图像捕获装置32，或者可以将不同的设置应用于不同的图像捕获装置32。此外，用于形成捕获图像的光接收元件的设置不必限于在上述示例，而是可以根据实施方式适当地确定。例如，在图4A的示例中，中心处的多个光接收元件321可以被设置为激活光接收元件。而且，例如，在图4B、4C、4F、4G所示示例中，设置了激活光接收元件的行可以改变，或者可以有多个这样的行。而且，例如，在图4D和图4H所示示例中，设置了激活光接收元件的区域以及设置了未激活光接收元件的区域中的光接收元件321的位置、形状和数量可以改变。而且，例如，在图4F和图4G所示示例中，可以适当地设置对角线方向的角度。可以对用于形成捕获图像的光接收元件进行适当设置，使得在各个图像捕获装置32中，部分存在的适于分析对象6的属性的光接收元件321是激活光接收元件，而部分存在的在分析对象6的属性中不需要的光接收元件321以及部分存在的对分析没有显着贡献的光接收元件321是未激活光接收元件。

此外，可以根据实施方式适当地选择基于这些设置而获取的捕获图像的数据格式。例如，控制单元33可以通过从所有的光接收元件321获取信号并向未激活光接收元件所对应的像素添加标记以表示这些像素将不会被用作学习装置的输入，来形成反映了被用于形成捕获图像的光接收元件的设置的捕获图像。另外，例如，控制单元33可以通过从被设置为激活光接收元件的光接收元件321获取信号但是不从被设置为未激活光接收元件的光接收元件321获取信号，来形成反映被用于形成捕获图像的光接收元件的设置的捕获图像。

<学习设备>

接下来将使用图5来描述根据本实施方式的学习设备2的硬件配置的示例。图5示意性地示出了根据本实施方式的学习设备2的硬件配置的示例。

如图5中所示，根据本实施方式的学习设备2是计算机，该计算机中控制单元21、存储单元22、通信接口23、输入装置24、输出装置25、外部接口26和驱动器27彼此电连接。像图2中一样，图5中的通信接口和外部接口分别表示为“通信I/F”和“外部I/F”。

控制单元21至驱动器27以及存储介质92与上述图像处理设备1的控制单元11至驱动器17以及存储介质91相同。但学习设备2的存储单元22存储由控制单元21执行的学习程序221、用于训练学习装置的学习数据222、通过执行学习程序221创建的学习结果数据122、表示将被用于形成捕获图像的光接收元件321的设置的设置数据341等。

学习程序221是用于使学习设备2执行稍后描述的神经网络的学习处理(图8)的程序。学习数据222是用于训练学习装置以能够分析周围环境6中的亮度水平和确定亮度的因素的数据。细节将在稍后给出。

与上述图像处理设备1类似，学习程序221和/或学习数据222可以被存储在存储介质92中。这样，学习设备2可以从存储介质92获取待使用学习程序221和/或学习数据222。

与图像处理设备1一样，关于学习设备2的特定硬件配置，可以根据实施方式适当地省略、替换或添加组成元件。此外，学习设备2可以使用通用服务器装置、台式PC等，而不是使用专门为要提供的服务而设计的信息处理设备。

(功能配置)

<图像处理设备>

接下来将使用图6描述根据本实施方式的图像处理设备1的功能配置的示例。图6示意性地示出了根据本实施方式的图像处理设备1的功能配置的示例。

图像处理设备1的控制单元11将存储在存储单元12中的图像处理程序121加载到RAM中。然后，控制单元11通过使用CPU来分析和执行加载到RAM中的图像处理程序121来控制各种组成元件。结果，如图6所示，根据本实施方式的图像处理设备1被用作包括图像获取单元111和属性获取单元112的计算机。

图像获取单元111从已经应用了上述设置的光学传感器3中的各个图像捕获装置32获取由对应的图像捕获装置32形成的捕获图像123。属性获取单元112使用从图像捕获装置32获取的捕获图像123作为已经学习过对象6的属性的学习装置的输入，并且通过执行学习装置的计算处理而获取学习装置的输出值。然后，属性获取单元112通过基于学习设备获取的输出值指定对象6的属性，来获取表示对象6属性的属性信息。

(学习装置)

接下来将描述学习装置。如图6中所示，根据本实施方式的图像处理设备1使用神经网络7作为已学习过对象6的属性信息的学习装置。神经网络7是在所谓的深度学习中使用的多层神经网络，并且从输入侧起依次具有输入层71、中间层(隐藏层)72和输出层73。

在图6中，神经网络7包括一个中间层72，使得输入层71的输出是中间层72的输入，并且中间层72的输出是输出层73的输入。中间层72的数量不必限于一个，并且神经网络7可以包括两个或更多个中间层72。

层71至层73中的每一个包括一个或更多个神经元。例如，可以根据捕获图像123中的像素数来设置输入层71中神经元的数量，或者换句话说，来设置图像捕获装置32中的激活光接受元件的总数。可以根据实施方式适当地设置中间层72中神经元的数量。另外，可以根据待分析对象6属性类型的数量来设置输出层73中神经元的数量。

相邻层中的神经元适当地彼此连接，并且为每个连接设置权重(连接权重)。在图6的示例中，各个神经元均连接到相邻层中的所有神经元，但是神经元的连接不必限于本示例，而是可以根据实施方式适当地设置。

为每个神经元设置阈值，并且基于神经元与其权重的乘积之和是否超过阈值来大体确定每个神经元的输出。图像处理设备1在将捕获图像123输入至神经网络7的输入层71之后，基于从输出层73获取的输出值来指定对象6的属性。

指示神经网络7的配置的信息(例如，神经网络7中的层数、各层中的神经元的数量、神经元之间的连接关系以及神经元的传递函数)、神经元之间的连接权重、以及神经元的阈值均包括在学习结果数据122中。图像处理设备1参考学习结果数据122，并设置使用分析对象6属性的处理的已训练神经网络7。

<学习设备>

接下来将使用图7来描述根据本实施方式的学习设备2的功能配置的示例。图7示意性地示出了根据本实施方式的学习设备2的功能配置的示例。

学习设备2的控制单元21将存储在存储单元22中的学习程序221加载到RAM中。然后，控制单元21通过使用CPU分析和执行加载到RAM中的学习程序221来控制各种组成元件。结果，如图7所示，根据本实施方式的学习设备2用作包括学习图像获取单元211和学习处理单元212的计算机。

学习图像获取单元211获取由光学传感器3中对应图像捕获装置32所捕获的捕获图像223的集合以及表示那些捕获图像223中对象6属性的属性信息224作为学习数据222。当输入所获取的捕获图像223时，学习处理单元212使用学习数据222来训练神经网络8，以输出与属性信息224表示的对象6属性相对应的输出值。

学习图像获取单元211可以通过在各个图像捕获装置32使用的光接收元件321中选择适于对象6属性识别的光接收元件321来创建设置数据341。在这种情况下，光学传感器3的控制单元33可以从学习设备2接收所创建的设置数据341，并且根据接收到的设置数据341控制图像捕获装置32形成捕获图像。

如图7中所示，在本实施方式中，待训练的学习装置是神经网络8。神经网络8是学习装置的示例，其包括输入层81、中间层(隐藏层)82和输出层83，因此具有与神经网络7相同的配置。层81至层83与层71至层73相同。

当学习处理单元212对神经网络，以及由设置数据341表示的激活光接收元件获取的捕获图像223的3×3个图像执行学习处理时，构造了输出与对象6属性相对应的输出值的神经网络8。然后，学习处理单元212将表示所构建的神经网络8的配置的信息、神经元之间的连接权重以及神经元阈值存储在存储单元22中作为学习结果数据122。

<其它>

稍后将在操作示例中详细描述图像处理设备1和学习设备2的各种功能。本实施例描述了通过通用CPU实现图像处理设备1和学习设备2的所有功能的示例。然而，一些或所有上述功能可以由一个或更多个专用处理器实现。至于图像处理设备1和学习设备2的功能配置，则可以根据实施方式适当地省略、替换或添加功能。

§3操作示例

(图像处理设备)

接下来，将使用图8描述图像处理设备1的操作的示例。图8是示出由图像处理设备1执行的处理序列的示例的流程图。注意，下文描述的处理序列仅是示例，并且该处理可能改变。此外，在下文描述的处理序列中，根据实施方式可以适当地省略、替换或添加步骤。

(启动)

首先，用户启动图像处理设备1并使启动的图像处理设备1执行图像处理程序121。图像处理设备的控制单元11参考学习结果数据122构建神经网络7、设置神经元之间的连接权重，并设置神经元的阈值。然后，控制单元11根据下文描述的处理序列分析对象6的属性。

(步骤S101)

在步骤S101中，用作图像获取单元111，控制单元11从通过外部接口16连接的光学传感器3获取由图像捕获装置32捕获的捕获图像123。在本实施方式中，光学传感器3包括3×3个图像捕获装置32。然后，基于设置数据341，如图4A至图4I所示，针对各个图像捕获装置32设置待使用的光接收元件321。因此，在步骤S101中，在每次执行图像捕获时，控制单元11基本可获取由设置数据341表示的激活光接收元件获取的3×3个捕获图像123。

(步骤S102)

接下来，在步骤S102中，用作属性获取单元112，控制单元11通过使用在步骤S101中获取的捕获图像123作为神经网络7的输入来执行神经网络7的计算处理，以从神经网络7获取输出值。

例如，控制单元11将所获取的3×3个捕获图像123中的各个像素的像素值(换句话说，与图像捕获装置32中的激活光接收元件相对应的像素)输入到神经网络7的输入层71所包括的神经元中。可以根据实施方式适当地设置像素和神经元之间的对应关系。接下来，控制单元11沿着下游方向确定层71至层73中的每个神经元是否起作用(firing)。因此，控制单元11可以从神经网络7的输出层73中的神经元获取输出值。

(步骤S103)

接下来，在步骤S103中，用作属性获取单元112，控制单元11通过基于步骤S102中神经网络7获取的输出值来指定对象6的属性，从而获取表示对象6属性的属性信息。

如上所述神经网络7已被训练，使得当输入从已应用设置数据341的图像捕获装置32获取的捕获图像123时，输出对应于对象6期望类型的期望属性的输出值。可以从神经网络7获取等于输出层73中神经元的数量的多个输出值，并且所获取的输出值中的一个或更多个可以与对象6的单个属性(属性值)相关联。例如，可以以表格数据的形式提供表示对象6的属性(属性值)与神经网络7的输出值之间的对应关系的信息。

因此，控制单元11通过参考表示对象6的属性(属性值)与神经网络7的输出值之间的对应关系的信息，基于步骤S102中获取的输出值来指定对象6的属性(属性值)。可以根据实施方式适当地选择所指定的对象6的属性的数量。结果，控制单元11可以获取表示对象6属性的属性信息。例如，在输出装置15输出所获取的属性信息之后，控制单元11根据本操作示例结束分析对象6的处理。

只要对象6的指定属性是可以出现在反映设置数据341的捕获图像123中的对象6的特征，则属性不需要被特别限制，并且可以根据实施方式适当地选择。例如，作为属性信息，控制单元11可以获取对象6的位置、取向、姿态、尺寸、形状、运动、类型、个体识别信息、颜色、亮度和环境信息中的一种或组合。个体识别信息是用于识别相同或不同类型的对象(物体、项目)的信息，例如，可以是序列号、标识符等。环境信息是表示其周围的对象和状况的信息，并且可以包括诸如对象周围的亮度这样的信息、背景颜色、表示其分布的信息、以及当待分析对象在外面时的天气信息。

例如，如上所述，图4A中所示的设置适于识别光学传感器3前面存在的对象6的类型等。因此，图4A所示的图像被应用于所有图像捕获装置32，神经网络7可以被构造成使得如果输入由图像捕获装置32获取的捕获图像，则输出光学传感器3前面存在的对象6的类型。在这种情况下，在步骤S103中，控制单元11可以基于神经网络7的输出值，获取表示光学传感器3前面存在的对象6的类型的信息作为属性信息。

(学习设备)

接下来，将使用图9描述学习设备2的操作的示例。图9是示出由学习设备2执行的处理序列的示例的流程图。注意，下文描述的处理序列仅是示例，并且处理可能会改变。此外，在下文描述的处理序列中，根据实施方式可以适当地省略、替换或添加步骤。

(步骤S201)

在步骤S201中，用作学习图像获取单元211，控制单元21获取由光学传感器3中的已应用了设置数据341的对应图像捕获装置32获取的捕获图像223的集合以及表示捕获图像223中的对象6的属性的属性信息224作为学习数据222。

学习数据222是用于训练神经网络8以能够分析对象6的期望属性的数据。例如，可以通过使用光学传感器3来在各状况下捕获准备好的对象6的图像，然后将获取的捕获图像与图像捕获状况相关联，来创建学习数据222。

具体地，控制单元21使用光学传感器3在待分析的各属性明显的状态下捕获对象6的图像。由此，控制单元21可以从光学传感器3的图像捕获装置32获取其中待分析属性明显的对象6的多个捕获图像223。在本实施方式中光学传感器3包括3×3个图像捕获装置32，因此控制单元21可以在每次执行图像捕获时获取3×3个捕获图像223。

然后，控制单元21可以通过适当地接受表示各个捕获图像223中对象6属性明显的属性信息224(即，训练数据)的输入并且将输入的属性信息224与各捕获图像223相关联，来创建学习数据222。学习数据222可以由操作员等使用输入装置24手动创建，或者可以由机器人等自动创建。

注意，学习数据222可以使用如上所述的学习设备2来创建，或者可以由除了学习设备2之外的另一信息处理设备创建。当学习设备2创建学习数据222时，控制单元21通过执行用于创建学习数据222的处理，在步骤S201中获取学习数据222。然而，当除了学习设备2之外的另一信息处理设备创建学习数据222时，控制单元21在步骤S201中通过网络、存储介质92等访问其他信息处理设备来获取学习数据222。

应用于光学传感器3的图像捕获装置32的设置数据341对于光学传感器3可以是独特的，或者可以由学习设备2创建。当使用由学习设备2创建的设置数据341时，在创建学习数据222时应用于图像捕获装置32的被用于形成捕获图像的光接收元件的设置(即，设置数据341的细节)可以被适当地设置为适合于待分析的属性。

例如，在创建学习数据222的早期阶段，如图4A至图4I所示，控制单元21可以将激活光接收元件的模式输出至显示器(输出装置25)。然后，控制单元21可以通过输入装置24接受操作者等对适于待分析属性的模式的选择。因此，控制单元21可以确定适于将被分析的属性的、在创建学习数据222时应用于图像捕获装置32的、用于形成捕获图像的光接收元件的设置。换句话说，控制单元21可以创建适于指定属性分析的设置数据341。

另外，控制单元21可以使用诸如强化学习之类的机器学习方法来自动选择要在各个图像捕获装置32中使用的光接收元件321，以适于待分析的对象6的属性。此时，控制单元21在学习选择适于待分析属性的光接收元件的过程期间，可以在每次应用不同设置时从图像捕获装置32获取在训练中使用的捕获图像。另选地，控制单元21可通过从所有光接收元件321接收信号并形成捕获图像(25个像素)，然后从已经形成的捕获图像中省略对应于未激活光接收元件的像素，来获取训练中使用的捕获图像。

光学传感器3的控制单元33从学习设备2接收所创建的设置数据341，并将接收的设置数据341保存在存储单元34中。然后，当创建学习数据222并分析对象6的属性时，控制单元33读出保存在存储单元34中的设置数据341，并根据读出的设置数据341控制图像捕获装置32形成捕获图像。

(步骤S202)

接下来，在步骤S202中，用作学习处理单元212，控制单元21使用在步骤S201中获取的学习数据222来训练神经网络8，以在输入捕获图像223时，输出与属性信息224表示的对象6的属性相对应的输出值。

具体地，首先，控制单元21准备神经网络8以进行学习处理。准备好的神经网络8的配置、神经元之间的连接权重的默认值、以及神经元阈值的默认值可以由模板提供，或者可以由操作员输入提供。如果执行再训练，则控制单元21可以基于经过再训练的学习结果数据122来准备神经网络8。

接下来，控制单元21使用在步骤S201中获取的学习数据222中的捕获图像223作为输入数据和属性信息224作为训练数据来训练神经网络8。可以在神经网络8的训练中使用梯度下降、概率梯度下降等。

例如，控制单元21使用各个捕获图像223中的像素值作为输入层81的输入，在神经网络8的下游方向上执行计算处理。结果，控制单元21获取从神经网络8的输出层83输出的输出值。然后，控制单元21计算从输出层83输出的输出值与属性信息224表示的属性相对应的期望值之间的误差。接下来，控制单元21通过差分反向传播，使用计算出的输出值误差来计算神经元之间的连接权重的误差与神经元阈值的误差。然后，控制单元21基于所计算的误差，更新神经元之间的连接权重值和神经元的阈值。

控制单元21通过针对学习数据222的每个实例重复这一系列处理来训练神经网络8，直到从神经网络8输出的输出值与属性信息224表示的属性所对应的期望值相匹配为止。结果，可以构造当输入捕获图像223时输出与属性信息224表示的属性相对应的输出值的神经网络8。

(步骤S203)

接下来，在步骤S203中，用作学习处理单元212，控制单元21将表示神经网络8的配置的信息、神经元之间的连接权重以及神经元的阈值，作为学习结果数据122存储在存储单元22中。如果在创建学习数据222期间创建了设置数据341，则控制单元21将创建的设置数据341与学习结果数据122相关联地存储在存储单元22中。这样，控制单元21根据该操作示例结束训练神经网络8的处理。

注意，在步骤S203的处理完成之后，控制单元21可以将创建的学习结果数据122传送到图像处理设备1。控制单元21还可以通过周期性地执行步骤S201至S203的学习处理来周期性地更新学习结果数据122。控制单元21可以通过在每次执行学习处理时将创建的学习结果数据122传送到图像处理设备1来周期性地更新保持在图像处理设备1中的学习结果数据122。

另外，如果在创建学习数据222期间已经创建了设置数据341，则控制单元21可以将创建的设置数据341直接传送到连接到图像处理设备1的光学传感器3，或者可以经由图像处理设备1将数据传送到将光学传感器3。当通过图像处理设备1将设置数据341传送到光学传感器3时，图像处理设备1的控制单元11可以将从学习设备2中接收的设置数据341作为执行对象6的属性的分析的初始操作而传送到光学传感器3。

(效果)

根据如上所述的本实施方式，在步骤S101中，设置数据341(表示将被用于形成捕获图像的光接收元件的设置)被应用于光学传感器3的图像捕获装置32。因此，可以从图像捕获装置32获取省略了不使用且不必要信息的捕获图像123。另外，在步骤S102和S103中，将多个这样的捕获图像123输入到神经网络7中，并且基于从神经网络7获取的输出值来指定对象6的属性。在训练部分中，也可以使用省略了不必要信息的多个捕获图像223来训练神经网络8。

换句话说，根据本实施方式，通过使用省略了不必要信息的多个捕获图像(123，223)作为神经网络(7，8)的输入，可以在减少识别处理中的计算量的同时识别对象6的属性。因此，根据本实施方式，可以执行适于对象6属性的识别处理。

当从捕获图像识别对象的属性时，通常使用具有复杂配置的神经网络，例如卷积神经网络。然而，在本实施方式中，可以从捕获图像(123，223)中省略信息，因此，即使使用具有简单配置的神经网络，也可以从捕获图像(123，223)识别对象6的属性。这使得即使在具有相对低机器功率的系统(例如汽车中的控制器)中也可以应用本发明。

另外，根据本实施方式，光学传感器3使用软件基于设置数据341控制将被用于形成捕获图像的光接收元件的设置。因此，每次改变训练目标、改变待分析属性等时，可以容易地改变被用于形成捕获图像的光接收元件的设置。因此，根据本实施方式的图像处理系统100和学习设备2可以处理各种类型的对象6及其属性。

§4变型

尽管到目前为止已经详细描述了本发明的实施方式，但是前面的描述在所有意义上仅仅是本发明的示例。不言而喻，在不脱离本发明的范围的情况下可以进行许多改进和改变。例如，诸如下面描述的那些变化也是可能的。在下文中，与上述实施方式中的组成元件相同的组成元件将被赋予相同的附图标记，并且将不再描述与上述实施方式中相同点。以下变型也可以适当地组合。

<4.1>

在上述实施方式中，具有多层结构的典型前馈神经网络被用作神经网络(7，8)，如图5、6所示。然而，神经网络(7，8)的类型不必仅限于该示例，而是可以根据实施方式适当地选择。例如，神经网络(7，8)可以是使用输入层和中间层为卷积层和池化层的卷积神经网络。另选地，神经网络(7，8)可以是具有从输出侧到输入侧(例如从中间层到输入层)的递归连接的递归神经网络。可以根据实施方式适当地设置神经网络(7，8)中的层数、每层中的神经元的数量、神经元之间的连接关系以及神经元的传递函数。

<4.2>

在上述实施方式中，分析对象6的属性的图像处理设备1和训练学习装置(神经网络)的学习设备2由独立的计算机构成。然而，图像处理设备1和学习设备2的配置不必限于该示例，并且具有图像处理设备1和学习设备2两者的功能的系统可以由一个或更多个计算机实现。

<4.3>

在上述实施方式中，学习装置由神经网络构成。然而，只要从图像捕获装置32获取的多个捕获图像123可以用作输入，则学习装置的类型不限于神经网络，并且可以根据实施方式适当地选择。除了上述神经网络之外，可以给出由支持向量机构建的学习装置、自组织映射或通过强化学习进行学习的学习装置作为可输入所捕获的多个图像123的学习设备的示例。

<4.4>

在上述实施方式中，透镜阵列31包括3×3个透镜311，因此，光学传感器3包括3×3个图像捕获装置32。然而，透镜阵列31中的透镜311的数量和图像捕获装置32的数量不需要限于本示例，而是可以根据实施方式适当地设置。另外，透镜311和图像捕获装置32不需要一一对应。

此外，在上述实施方式中，配置使得每个图像捕获装置32包括5×5个光接收元件321，因此可以形成具有5×5个像素的捕获图像。然而，由每个图像捕获装置32形成的捕获图像中的像素数量，或者换句话说，图像捕获装置32中的光接收元件321的数量不必限于本示例，而是可以根据实施方式适当地选择。另外，每个图像捕获装置32可以具有不同数量的像素。

<4.5>

在上述实施方式中，透镜阵列用作具有多个聚焦单元的光学元件的示例，各聚焦单元聚焦来自对象的光。然而，光学元件的类型不必限于透镜阵列，而是可以根据实施方式适当地选择。除了透镜阵列之外，光学元件可以包括衍射光栅、漫射透镜和全息透镜中的至少一个。另外，将光以不规则方式透射到图像捕获装置的光学元件(例如毛玻璃型板)可被用来代替透镜形元件。如果使用衍射光栅、漫射透镜或全息透镜，则将允许光入射到单个图像捕获装置上的部分用作聚焦单元。换句话说，尽管衍射光栅、漫射透镜和全息透镜通常会形成为平板，但是在该平板形光学元件中存在多个聚焦单元，该聚焦单元对应于通过光学元件接收光的图像捕获装置。注意，与图像捕获装置对应的各聚焦单元的光学性质(诸如聚焦角度、折射率和允许通过的光带)不需要相同。

<4.6>

在上述实施方式中，图像捕获装置32被配置为图像传感器。然而，图像捕获装置32的配置不必限于该示例。例如，各图像捕获装置32可以由典型的图像捕获装置(摄像头)构成。在这种情况下，各个图像捕获装置的透镜对应于根据本发明的“聚焦单元”。

<4.7>

在步骤S103中，控制单元11可以基于神经网络7的输出创建渲染对象6的图像，并输出所创建的图像作为属性信息。在这种情况下，在训练期间，可以在属性信息224(训练数据)中使用典型摄像头(不包括透镜阵列)捕获的捕获图像。换句话说，在步骤S201中，典型的摄像头被布置在与光学传感器3几乎相同的位置。当光学传感器3捕获对象6的图像时，摄像头也捕获对象6的图像。结果，可以通过将摄像头获取的捕获图像作为属性信息224并将该信息与光学传感器3获取的多个捕获图像223相关联来创建学习数据222。在基于神经网络7的输出而渲染的图像中，对象6的一些特征可能从对象6的图像中丢失。例如，如果对象6是人，则可能会获取具有面部细节缺失的人的图像。这使得可以提供考虑到隐私问题的输出。

<4.8>

在上述实施方式中，光学传感器3使用软件基于设置数据341控制用于形成捕获图像的光接收元件的设置。然而，控制用于形成捕获图像的光接收元件的设置的方法不必限于该示例。例如，可以由硬件控制用于形成捕获图像的光接收元件的设置。

图10示意性地示出了根据本变型的光学传感器3A的配置的示例。除了布置在透镜阵列31和图像捕获装置32之间的遮挡元件35之外，光学传感器3A具有与根据上述实施方式的光学传感器3相同的配置。例如，遮挡元件35由能够阻挡光的板状材料形成，并且在与激活光接收元件对应的位置处包括通孔351，使得来自对象6的光可以到达激活光接收元件。因此，遮挡元件35被配置为，阻挡来自不用于形成捕获图像的光接收元件321的光，而不阻挡来自用于形成捕获图像的光接收元件321的光。因此，可以通过使用遮挡元件35控制来自对象6的光可以到达的范围，来对用于形成捕获图像的光接收元件执行设置。因此，根据学习应用来选择待使用光接收元件使得可以执行适于对象的属性的识别处理。相邻的光接收元件之间的串扰(即，在相邻的光接收元件之间移动的电子)也可以减小。换句话说，因为存在遮挡元件35，所以光子不会进入非激活光接收元件。这使得可以防止分辨率受到分散到相邻光接收元件的光接收元件中产生的电子的负面影响。

<4.9>

根据上述实施方式的光学传感器3不包括除透镜阵列31之外的任何透镜。然而，光学传感器3的配置不必限于该示例，并且光学传感器3可包括多个透镜。

图11示意性地示出了根据本变型的光学传感器3B的配置的示例。除了包括聚焦透镜36之外，光学传感器3B具有与根据上述实施方式的光学传感器3相同的配置。聚焦透镜36被设置

成比透镜阵列31更靠近对象6，并且聚焦来自对象6的光。注意，聚焦透镜36可以被配置为使得可以使用电机(未示出)等适当地改变入射光的光轴方向。这使得可以放大或缩小图像捕获范围。

<4.10>

在上述实施方式中，设置数据341保持在光学传感器3中。然而，设置数据341的存储位置不必限于该示例。例如，设置数据341可以存储在图像处理设备1、网络附加存储(NAS)等中。

图12示意性地示出了根据本变型的图像处理设备1C的配置的示例。除了将设置数据341存储在存储单元12中之外，图像处理设备1C具有与根据上述实施方式的图像处理设备1相同的配置。例如，图像处理设备1C从学习设备2获取学习结果数据122以及与该学习结果数据122相关联的设置数据341。

在这种情况下，例如，控制单元11可以基于设置数据341控制经由外部接口16连接的光学传感器3，使得激活光接收元件形成捕获图像。另外，例如，控制单元11可以通过接受来自图像捕获装置32中的所有光接收元件321的信号来形成由5×5个像素构成的捕获图像。然后，根据设置数据341，控制单元11可以从构成图像捕获装置32获取的捕获图像的5×5个像素中，选择将被输入到神经网络7的像素。作为这种选择的结果，获取其中应用了用于形成捕获图像的光接收元件的设置的捕获图像123。根据该配置，用于形成捕获图像的光接收元件的设置可以通过硬件来控制，其方式与上述实施方式中的相同。

<4.11>

上述图像处理设备1通过保持学习结果数据122的单个实例而具有单个学习设备(神经网络)。然而，由图像处理设备1保持的学习结果数据122的实例的数量不需要限于该示例，而是图像处理设备1可以保持学习结果数据122的多个实例。

图13示意性地示出了根据本变型的图像处理设备1D的配置的示例。除了将学习结果数据122的多个实例和设置数据341的多个实例存储在存储单元12中之外，图像处理设备1D具有与根据上述实施方式的图像处理设备1相同的配置。图像处理设备1D可以响应于由用户操作的输入装置14，通过网络10从学习设备2或者经由驱动器17从存储介质91获取学习结果数据122的各个实例和设置数据341的各个实例。另选地，图像处理设备1D可以通过接受来自学习设备2的传输来获取学习结果数据122的各个实例和设置数据341的各个实例。此外，学习结果数据122的各个实例和设置数据314的各个实例可以存储在诸如NAS这样的另一信息处理设备(存储设备)中，并且图像处理设备1D可以通过访问该另一信息处理设备来获取学习结果数据122的各个实例和设置数据341的各个实例。

在这种情况下，图像处理设备1D可以根据来自用户的指令、对象6的类型、待分析对象6的属性等来切换正在使用的神经网络7。当切换正在使用的神经网络7时，图像处理设备1D基于与表示要使用的神经网络7的学习结果数据122相关联的设置数据341来设置用于形成捕获图像的光接收元件。

<4.12>

在上述实施方式中，光学传感器3被配置成使得对所有图像捕获装置32执行用于形成捕获图像的光接收元件的设置。然而，光学传感器3的配置不需要仅限于此示例。光学传感器3可以包括一个或更多个其他图像捕获装置，其中不对用于形成捕获图像的光接收元件进行设置。

图14示意性地示出了根据本变型的光学传感器3E的配置的示例。在图14的示例中，光学传感器3E包括：多个图像捕获装置32，在多个图像捕获装置32中对待使用光接收元件进行设置；以及图像捕获装置32E，在图像捕获装置32E中不对将被使用的光接收元件进行设置。为简单起见，将其中对待使用光接收元件进行设置的图像捕获装置32称为“第一图像捕获装置32”，将其中对待使用光接受元件不进行设置的图像捕获装置32E称为“第二图像捕获装置32E”。

其中对待使用光接受元件不进行设置的第二图像捕获装置32E使用所有光接收元件形成捕获图像。因此，可以对光学传感器3E的多个图像捕获装置中的一些图像捕获装置的待使用光接收元件进行设置。第一图像捕获装置32和第二图像捕获装置32E之间的位置关系不必限于图14的示例，而是可以根据实施方式适当地设置。第二图像捕获装置32E的数量也可以根据实施方式适当地选择，并且可以是一个、两个或更多个。就消除不必要的信息而言，优选地存在两个或更多个第一图像捕获装置32。

Claims (14)

1.一种光学传感器，该光学传感器包括：

光学元件，该光学元件包括多个聚焦单元，各聚焦单元聚焦来自对象的光；以及

多个图像捕获装置，各图像捕获装置包括多个光接收元件，各图像捕获装置被设置为与所述多个聚焦单元中的一个聚焦单元相对应，并且各图像捕获装置被配置为接收由对应的聚焦单元聚焦的光，并形成所述对象的捕获图像，

其中，针对所述多个图像捕获装置中的每一个设置所述多个光接收元件中的将被用于形成所述捕获图像的光接收元件。

2.根据权利要求1所述的光学传感器，该光学传感器还包括：

控制单元，该控制单元被配置为，根据表示将被用于形成所述捕获图像的光接收元件的设置的设置数据，控制由所述图像捕获装置形成所述捕获图像。

3.根据权利要求2所述的光学传感器，

其中，通过选择各个图像捕获装置中的将被使用的以适于识别所述对象的属性的光接收元件，在学习设备中创建所述设置数据，所述学习设备训练了学习装置以在输入所述捕获图像时输出所述对象的属性信息；以及

所述控制单元从所述学习设备接收所创建的设置数据，并根据接收到的设置数据控制所述图像捕获装置形成所述捕获图像。

4.根据权利要求1的光学传感器，

其中，由遮挡元件执行用于形成所述捕获图像的光接收元件的设置，该遮挡元件被配置为阻挡来自不用于形成所述捕获图像的光接收元件的光，而不阻挡来自用于形成所述捕获图像的光接收元件的光。

5.根据权利要求1至4中任一项所述的光学传感器，

其中，根据将从所述捕获图像识别的对象的属性来执行用于形成所述捕获图像的光接收元件的设置。

6.根据权利要求1至5中任一项所述的光学传感器，所述光学传感器还包括聚焦透镜，所述聚焦透镜被设置成比所述光学元件更靠近所述对象，并且被配置为聚焦来自所述对象的光。

7.根据权利要求1至6中任一项所述的光学传感器，

其中，所述光学元件包括透镜阵列、衍射光栅、漫射透镜和全息透镜中的至少一种。

8.根据权利要求1至7中任一项所述的光学传感器，所述光学传感器还包括一个或多个其他图像捕获装置，在所述一个或多个其他图像捕获装置中不对将被使用的光接收元件进行设置。

9.一种学习设备，该学习设备包括：

图像获取单元，该图像获取单元被配置为从根据权利要求1至8中任一项所述的光学传感器获取由所述图像捕获装置捕获的捕获图像；以及

学习处理单元，该学习处理单元被配置为训练学习装置，以在输入所获取的捕获图像时输出所述对象的属性信息。

10.一种图像处理系统，该图像处理系统包括：

光学传感器，该光学传感器包括：光学元件，该光学元件具有多个聚焦单元，各聚焦单元聚焦来自对象的光；以及多个图像捕获装置，各图像捕获装置具有多个光接收元件，各图像捕获装置被设置为与所述聚焦单元中的一个聚焦单元相对应，并且各图像捕获装置被配置为接收由对应的聚焦单元聚焦的光，并形成所述对象的捕获图像，并且针对所述多个图像捕获装置中的每一个设置所述多个光接收元件中的将被用于形成所述捕获图像的光接收元件；以及

信息处理设备，该信息处理设备被配置为，通过将由所述图像捕获装置获取的捕获图像输入到已训练学习装置来获取表示所述对象的属性的属性信息，其中，所述已训练学习装置已经过训练以识别所述对象的属性。

11.根据权利要求10所述的图像处理系统，

其中，根据表示用于形成所述捕获图像的光接收元件的设置的设置数据，所述信息处理设备从构成由所述图像捕获装置获取的所述捕获图像的多个像素中选择将被输入到所述学习装置的像素。

12.根据权利要求10或11所述的图像处理系统，

其中，所述学习装置由神经网络、支持向量机、自组织映射或通过强化学习进行学习的学习装置构成。

13.根据权利要求10至12中任一项所述的图像处理系统，

其中，所述信息处理设备输出所述对象的位置、取向、姿态、尺寸、形状、运动、类型、个体识别信息、颜色、亮度和环境信息中的一种或组合作为所述属性信息。

14.根据权利要求10至13中任一项所述的图像处理系统，

其中，所述信息处理设备基于所述学习装置的输出创建渲染了所述对象的图像，并输出所创建的图像作为所述属性信息。