CN116897366A - 检测装置、检测方法以及程序 - Google Patents

Abstract

[问题]为了在已经实现同步的情况下和在没有实现同步的情况下控制多种识别方法。[解决方案]一种检测装置，包括：多个传感器，其获取关于目标的不同信息；以及处理器。多个传感器中的每一个包括定时输出单元，该定时输出单元输出获取信息的定时。处理器确定多个传感器获取信息的定时是否同步，并且基于确定的结果，来控制目标的识别算法。

Description

检测装置、检测方法以及程序

技术领域

本公开内容涉及检测装置、检测方法以及程序。

背景技术

关于使用由多个传感器感测的结果来实现对目标的识别的装置的研究在检查设备、汽车的车载设备等各个领域中广泛地进行。通常，不能保证所有的多个传感器正常操作，并且，如果确定了异常值，则有时基于来自除了输出异常值的传感器之外的传感器的信息来实现对目标的识别。

然而，虽然在如上描述的这样的装置中，可以检测输出异常值的传感器，并且执行识别，使得不反映异常值，但是在大多数情况下，这样的识别在传感器彼此同步地操作的条件下实现。在如上描述的这样的情况下，由于传感器彼此不同步，因此即使省略异常值，也不能保证能输出精确的识别结果。

引用列表

专利文献

[专利文献1]日本专利公开第2020-162765号

发明内容

技术问题

因此，本公开内容提供了通过其检测传感器的同步性并且根据传感器是否彼此同步来控制识别技术的检测装置、检测方法以及程序。

问题的解决方案

根据实施方式，一种检测装置包括：多个传感器，其获取关于目标的不同信息；以及处理器。多个传感器中的每一个包括定时输出部，该定时输出部输出获取信息的定时。处理器确定多个传感器获取信息的定时是否彼此同步，并且基于确定的结果来控制目标的识别算法。

多个传感器还可以包括获取目标的特征量的特征量获取部，并且处理器可以基于从多个传感器获取的特征量来执行对目标的识别处理。

在由多个传感器获取信息的定时彼此同步的情况下，处理器可以基于多个传感器中的一个或多个预定的传感器的输出来执行对目标的识别。

在由多个传感器获取信息的定时彼此不同步的情况下，处理器可以通过使用来自优先传感器的输出并且辅助地使用来自除了优先传感器之外的传感器的输出来执行对目标的识别。

优先传感器可以是多个传感器中的能够执行高精度的识别的传感器。

在多个传感器中包括获取至少RGB信息的摄像装置的情况下，可以将该摄像装置确定为优先传感器。

可以将多个传感器中的获取信息的定时在识别处理的帧中最早的传感器确定为优先传感器。

处理器可以基于在过去的帧中获取的信息，对从传感器输出并且被辅助地使用的信息进行内插，并且通过辅助地使用内插的信息来执行对目标的识别。

在由多个传感器获取信息的定时彼此不同步的情况下，处理器可以通过使用多个传感器中的优先传感器的输出来执行对目标的识别。

优先传感器可以是多个传感器中的能够执行高精度识别的传感器。

在多个传感器中包括至少获取RGB信息的摄像装置的情况下，可以将该摄像装置确定为优先传感器。

可以将多个传感器中的获取信息的定时在帧中最早的传感器确定为优先传感器。

处理器可以对多个优先传感器的输出进行整合以执行识别。

处理器可以通过使用来自多个优先传感器的输出的统计量来执行识别。

根据实施方式，一种检测方法包括：由多个传感器获取关于目标的彼此不同类型的信息；获取由多个传感器中的每一个获取信息的定时；由处理器确定由多个传感器获取信息的定时是否彼此同步；以及由处理器基于确定的结果来控制目标的识别算法。

根据实施方式，一种程序在该程序由处理器执行时使得处理器执行以下操作：获取由多个传感器获取的关于目标的彼此不同类型的信息以及获取信息的定时，确定由多个传感器获取信息的定时是否彼此同步，以及基于确定的结果来控制目标的识别算法。

附图说明

图1是示出根据实施方式的检测装置的配置的示例的框图。

图2是示出由根据实施方式的检测装置执行的处理的流程图。

图3是示出根据实施方式的检测装置中的信息获取定时和传感器选择的示例的图。

图4是示出根据另一实施方式的检测装置的配置的示例的框图。

图5是示出由根据另一实施方式的检测装置执行的处理的流程图。

图6是示出根据另一实施方式的检测装置中的信息获取定时和传感器选择的示例的图。

图7是示出由根据另一实施方式的检测装置执行的处理的流程图。

图8是示出根据又一实施方式的检测装置的配置的示例的框图。

图9是示出由根据又一实施方式的检测装置执行的处理的流程图。

图10是示出根据又一实施方式的检测装置中的信息获取定时和识别处理的图。

图11是示意性地示出根据实施方式的传感器的示例的视图。

图12是示意性地示出根据实施方式的传感器的另一示例的视图。

图13是示意性地示出根据实施方式的传感器的又一示例的视图。

具体实施方式

在下文中，将参照附图描述本公开内容中的实施方式。附图用于说明，并且实际装置中的每个部件的配置的形状或尺寸或者关于不同配置的尺寸比例等不需要如附图所示那样。此外，由于附图以简化形式示出，因此适当地提供了除了附图所示出的配置之外的实现方式所需的配置。

(第一实施方式)

图1是示出根据实施方式的检测装置的配置的示例的框图。检测装置1包括传感器10和处理器20。例如，检测装置1包括包含第一传感器10A、第二传感器10B以及第三传感器10C的三个传感器。检测装置1不限于包括三个传感器，并且可以包括两个或四个或更多个传感器。

此外，检测装置1包括根据场合需求存储数据的存储部。在使用硬件资源将处理器的处理具体实现为由软件进行的信息处理的情况下，用于允许处理器执行该处理的程序、对象文件、执行文件等可以存储在存储部中。换言之，下面描述的处理器20的处理可以通过程序来描述。此外，可以应用这样的形式，即处理的一部分由程序实现并且处理的一部分由专用电路实现。

传感器10包括成像部100、特征量获取部102以及成像定时获取部104。虽然此处假设传感器10是摄像装置或类似于摄像装置的传感器，但是传感器不限于此并且可以是不同类型的传感器。传感器10可以例如是获取超声波的传感器。在这种情况下，传感器10可以作为获取适当信息的信息获取部操作，而不作为成像部操作。

此外，在设置多个摄像装置作为传感器10的情况下，检测装置1可以包括作为传感器10的获取不同类型的信息的多个摄像装置，或者可以包括在彼此不同的位置处或以彼此不同的姿态执行成像并获取相同类型的信息的多个摄像装置。换言之，多个传感器10可以包括获取关于同一对象(目标)的多种不同类型的信息的装置或模块。

成像部100获取例如用于将要进行检测的范围内的情况转换成图像的信号。成像部100可以例如将获取的模拟信号转换成数字信号并且输出该数字信号。

特征量获取部102提取由成像部100获取的图像数据中的特征量。该提取可以例如通过基于规则的计算来执行，或者可以使用通过使用诸如CNN(卷积神经网络)的机器学习(例如，深度学习的各种技术或者不同于深度学习的技术)进行训练而获得的经训练的模型来执行。经训练的模型不限于通过CNN获得的模型，并且作为不同的而非限制性的示例，可以是通过MLP(多层感知器)获得的模型。

要注意的是，如果处理器20具有足够的处理性能并且能够在适当的时间段内适当地处理由传感器10中的每一个成像的图像数据，则特征量获取部102可以不设置在传感器10中而是设置在处理器20中。

成像定时获取部104获取传感器10获取信息的定时，并且在传感器10是摄像装置的情况下获取例如传感器10执行成像的定时。成像定时获取部104获取成像定时例如作为基于传感器10中设置的时钟的时间信息。此外，作为另一示例，多个传感器可以在开始感测的任何定时处彼此同步，使得获取到根据同步定时的时钟频率等。要注意的是，虽然采用了成像定时获取部的名称，但是在传感器10不是如上所述的摄像装置的情况下，定时获取部获取获得信息的定时。

传感器10将由成像部100获取的信息或者由特征量获取部102计算的特征量以及由成像定时获取部104获取的成像定时信息输出至处理器20。

处理器20是经由适当的输入/输出接口连接至传感器10的处理电路，并且包括同步性确定部200、传感器选择部202、传感器识别部204和输出部206。

同步性确定部200基于从多个传感器10(例如，第一传感器10A、第二传感器10B和第三传感器10C)输出的成像定时信息，确定是否正在由彼此适当同步的多个传感器10执行成像。

传感器选择部202基于同步性确定部200的确定结果，选择多个传感器10中的哪一个将用于执行识别处理。稍后描述传感器选择部202的处理的细节。虽然在图1中特征量被输出至传感器选择部202，但是这不是限制性的。例如，由传感器选择部202选择的从传感器10输出的信息可以直接传输至对应的传感器识别部204。传感器选择部202可以是如下形式：传感器选择部202直接地连接传感器10与对应的传感器识别部204之间的路径。

传感器识别部204基于从传感器10输出的图像数据或特征量数据执行识别处理。传感器识别部204可以如图中所示针对每个传感器以一一对应的关系设置，或者可以针对多个传感器设置。在图1的情况下，第一传感器识别部204A基于从第一传感器10A输出的特征量数据执行识别。类似地，第二传感器识别部204B和第三传感器识别部204C分别基于来自第二传感器10B和第三传感器10C的输出执行与第二传感器10B和第三传感器10C对应的各个识别处理。

输出部206基于从各个传感器识别部204输出的识别结果来输出例如关于是否检测到目标的信息和目标的位置信息等必要的信息。

图2是示出根据本实施方式的处理的流程图。参照流程图对由检测装置1执行的处理、特别是由传感器选择部202执行的处理进行详细描述。

首先，传感器10中的每一个单独地获取信息(S100)。在每个传感器10是如图1所示的这样的摄像装置的情况下，传感器10单独地执行成像。如果传感器10是获取其他信息的传感器，则每个传感器10获取单独的信息。

与该处理并行，或者在该处理之前或之后的定时，每个传感器10的成像定时获取部104获取执行成像的定时(S102)。这些处理也不限于成像，并且是用于获取由传感器10获取信息的定时的处理。

然后，在传感器10中可以基于所获取的信息生成特征量的情况下，即，在特征量获取部102设置在传感器10中的情况下，特征量获取部102生成所获取的信息的特征量(S104)。

如上所述的这样的信息从传感器10被传输至处理器20。要传输的信息包括例如所获取的数据(通过成像获得的图像数据)以及关于获取定时(成像定时)和特征量的数据。也可以在信息不压缩传输带宽的范围内传输其他信息。

各种数据传输至的处理器20确定是否所有传感器10彼此同步地获取信息(S106)。同步性确定部200可以通过确定传输至其的成像定时是否彼此一致来执行同步性的确定。此外，在成像定时彼此不精确地一致并且在处理器20的处理帧中的预定范围内(在非限制示例中，在±3帧等内)执行成像的情况下，可以确定定时彼此同步。

此处，所有传感器10是输出用于实现要由检测装置1执行的处理的信息的传感器，并且可以排除用于任何其他用途的传感器。例如，由于在本实施方式中检测装置1执行对象识别以实现检测，因此术语“所有传感器10”表示输出用于执行对象(目标)识别的信息的传感器。

此外，在目标的识别中，也可以通过设计自由地改变是否要使用所有的成像数据，并且例如，在本实施方式中，要使用的传感器也不限于用于成像的所有传感器。例如，即使在作为用于成像的传感器的多个摄像装置可用的情况下，在通常、特别是使用三个传感器10执行对象识别的情况下，将三个传感器10视为所有传感器10。

在所有传感器10彼此同步地操作的情况下，即在所有传感器10的成像定时没有彼此不同的情况下(S106：是)，处理器20使用从所有传感器10输出的信息来执行识别处理(S108)。由于该处理类似于在通常执行的识别处理中的数据的整合、数据的连接等，因此省略该处理的细节。在这种情况下，传感器选择部202选择与所有传感器有关的识别器，并且在以这种方式选择的第一传感器识别部204A、第二传感器识别部204B和第三传感器识别部204C中执行识别。然后，通过整合识别的结果，获得识别结果。此外，这不是限制性的，并且根据从传感器10输出的特征量，单个传感器识别部204(未示出)可以基于多个特征量(例如，基于从所有传感器10输出的特征量)来执行识别。

另一方面，在所有传感器10彼此不同步地操作的情况下，即在传感器10之一的成像定时与其他成像定时不同的情况下(S106：否)，处理器20根据来自优先传感器的信息来执行识别(S110)。传感器选择部202选择一个优先传感器，并且与优先传感器对应的传感器识别部204执行识别。例如，当选择图1的示例中的第一传感器10A作为优先传感器时，则传感器选择部202选择使用来自第一传感器10A的数据进行识别的第一传感器识别部204A，使得执行识别。

优先传感器是在传感器10中的信息获取出现差异的情况下优先地被选择用于执行识别的传感器。例如，在处理一般图像的情况下，可以将获取RGB数据的摄像装置确定为优先传感器。在获取RGB数据的多个摄像装置可用的情况下，可以将能够适当地实现识别的摄像装置(例如具有最大角度或对最正面进行成像的摄像装置)确定为优先传感器。

例如，在通过温度信息进行高精度识别的情况下，可以将红外摄像装置确定为优先传感器。例如，在需要通过运动进行识别的情况下，可以将事件驱动类型的摄像装置确定为优先传感器。优先传感器的确定不限于此，并且例如，选择可以根据环境或使用中的应用最适当地实现识别的传感器10就足够了。

此外，作为非限制性的另一示例，可以将传感器10中的在处理器20中的一系列识别处理的信息获取处理中最早输出输入数据的传感器10确定为优先传感器。

以这样的方式，传感器选择部202通过根据传感器10的信息获取定时是否与其他传感器同步，来选择要执行识别的传感器10，从而控制识别算法。

经由输出部206适当地输出由传感器选择部202选择的识别部的识别结果(S112)。此处，术语“输出”是包括将识别结果输出至处理器20的外部和输出针对处理器20的不同处理的识别结果二者的概念。

图3是示出在信息获取的定时指示其间的一些差异的情况下的信息获取的定时和由传感器选择部202选择的传感器10的示例的图。参照图3进行描述，假设第一传感器10A是RGB摄像装置，第二传感器10B是深度摄像装置，并且第三传感器10C是偏振传感器。在图3的上部处，由箭头标记指示执行检测装置1的识别处理的区间。在此时间段内，检测装置1执行识别处理。图3中示出的具有斜线的矩形指示信息获取的定时。例如，矩形的左下方的箭头标记表示信息获取的定时。

在图3的示例中，在识别处理中可以无延迟地获取第二传感器10B的成像定时，并且第一传感器10A以较小的延迟执行成像，并且然后第三传感器10C以大于第一传感器10A的延迟执行成像。传感器的成像定时获取部104获取例如在开始成像的定时处的时间戳作为t1、t2和t3，并且将关于时间戳的信息发送至处理器20。在处理器20中，同步性确定部200基于关于时间戳的信息来确定时间戳是否彼此同步。

在如刚刚描述的这样的情况下，传感器选择部202可以选择获取RGB数据的第一传感器10A作为优先传感器，使得第一传感器识别部204A使用第一传感器10A的输出执行识别。在这种情况下，如果传感器选择部202选择第一传感器10A，则来自第一传感器10A的输出被传输至第一传感器识别部204A，通过该第一传感器识别部204A执行识别处理。

作为另一示例，在偏振信息重要的情况下，例如用于检测道路、用于检测半导体晶片的损坏或者用于类似的检测的情况下，传感器选择部202可以选择第三传感器10C作为优先传感器。

作为又一示例，传感器选择部202可以选择在最适合于识别处理的区间的定时处执行成像的第二传感器10B。

在任何情况下，适当输出的信息被传输至第二传感器识别部204B或被传输至第三传感器识别部204C，如在如上所述选择第一传感器10A的情况下那样地。

以这样的方式，传感器选择部202从多个传感器10中选择一个传感器10，使得可以适当地执行识别处理。检测装置1基于所选传感器10的输出来执行识别并且输出识别的结果。

传感器选择部202可以选择对于预先准备的数据具有高识别精度的传感器10，或者可以选择其定时与其他定时没有区别的传感器10。关于识别精度，检测装置1可以根据情况来控制要使用传感器10中的哪一个。例如，可以根据周围的环境和诸如天气、时间或环境亮度的信息来切换要选择作为优先传感器的传感器10。

传感器选择部202继续该选择，直到建立了所有传感器10之间的信息获取的同步性。在建立同步性之后，如图2的流程图中所示，可以基于来自所有传感器10的输出执行识别。

如上所述，根据本实施方式，在使用多个传感器执行识别和检测处理的情况下，获取由传感器进行感测的定时，并且处理器基于定时选择传感器之一，使得基于来自所选传感器的信息执行识别处理。通过执行如刚刚描述的这样的识别处理，在传感器彼此不同步的情况下，不会通过使用和整合在不同定时处获取的信息而使精度劣化，而是基于来自可以执行高精度识别的传感器的信息来执行识别。另一方面，在传感器彼此同步的情况下，可以根据来自多个传感器的信息实现更高精度的识别和检测。

(第二实施方式)

虽然在上文所述的第一实施方式中，使用单个传感器进行识别，但是这不是限制性的。根据本实施方式的检测装置1在传感器10彼此不同步的情况下使用来自多个传感器10的信息执行识别。

图4是示意性地示出根据本实施方式的检测装置1的框图。检测装置1的处理器20包括替代传感器选择部的识别方法切换部208，并且还包括整合部210。

识别方法切换部208根据传感器10彼此同步的情况或传感器10彼此不同步的另一情况来切换识别方法。此外，在传感器10彼此不同步的情况下，识别方法切换部208可以根据传感器10之间的同步状态更精细地切换识别方法。

整合部210对来自多个传感器10的识别结果进行整合。整合部210根据由识别方法切换部208选择的识别方法对来自所选择的传感器识别部204的输出进行整合，并且输出整合的结果。

图5是示出根据本实施方式的检测装置1的处理的流程图。在由与图2中的附图标记相同的附图标记表示的步骤中，执行相同的处理。

在所有传感器彼此不同步的情况下(S106：否)，检测装置1如第一实施方式那样根据来自优先传感器的信息执行识别(S200)。然而，该处理与第一实施方式中的处理的不同在于该处理由多个传感器识别部204基于来自多个优先传感器的信息来执行。

因此，识别方法切换部208控制要使用所有传感器10中的哪些传感器10以及要使用哪种识别算法。作为用于切换识别算法的处理，识别方法切换部208选择多个优先传感器并且基于所选择的优先传感器的组合来选择识别算法。然后，与所选择的优先传感器对应的传感器识别部204基于从优先传感器输出的信息来执行识别。

优先传感器的选择可以类似于上文所述的实施方式中的选择。例如，可以以精度的递减顺序选择能够以高精度执行识别的预定数目的传感器10，或者除了精确识别的传感器10之外，还可以选择信息获取的定时良好的传感器10，或者可以选择定时良好的预定数目的传感器10。此外，如在上述实施方式中那样，可以根据周围环境改变选择方法。

整合部210对已经从多个优先传感器输出的识别处理的执行结果进行整合(S202)。对于该整合处理，如上述实施方式中那样，可以使用通常已知的技术。此外，例如，在将使用分割的分类用于识别的情况下，可以针对每个像素由多数确定识别结果，或者在估计坐标的情况下，可以根据各个识别结果的统计量(平均值、众数(mode)、中位数(median)等)确定识别结果。作为另一示例，在要执行分类(分类(Classification))任务的情况下，可以由针对该任务输出的类别的多数确定识别结果。此外，还可以将识别结果应用于实现使用各种结果的语义分割。

图6是示出传感器10的输出和识别处理的定时的图。例如，如图6中所示，假设基于第一传感器10A和第二传感器10B的输出来执行识别。在这种情况下，假设进行未建立同步性的这样的确定并且使用第一传感器10A和第二传感器10B进行识别。

在进行了第二传感器10B的输出以及进行了未建立同步性的确定之后，第二传感器识别部204B基于从第二传感器10B输出的数据执行识别，并且在来自第一传感器10A的输出结束之后，第一传感器识别部204A执行识别。如图6中所示，所描述的处理可以部分地并行处理或者可以通过流水线处理来处理。

在它们的识别结束之后，整合部210对它们的输出进行整合，并且从输出部206输出整合结果。

如上所述，根据本实施方式，还可以选择多个优先传感器来整合它们的结果。如刚刚描述的这样的形式可以应用于如在传感器彼此不同步的情况下那样存在时间滞后的状态下可以充分地确保处理时间的情况。此外，在本实施方式中，可以继续进行相同的处理，直到随后建立了同步性，或者可以选择对于每个识别处理不同的识别处理。

此外，这不是限制性的，并且基于从各个传感器10输出的特征量，单个传感器识别部204可以基于多个特征量(例如，基于从所有传感器10输出的特征量)来执行识别。例如，单个识别部也可以识别两个或更多个特征量。

此外，两个或更多个识别部也可以识别单个特征量。作为示例，在使用三个特征量A、B和C的情况下，可以提供对于A与B共同的第二传感器识别部204B以及对于A与C共同的第三传感器识别部204C。在这种情况下，也可以整合第二传感器识别部204B的根据A和B的一个识别结果以及第三传感器识别部204C的根据A和C的一个识别结果。作为另一示例，可以整合第二传感器识别部204B的根据A的识别结果和根据B的识别结果、以及第三传感器识别部204C的根据A和C的一个识别结果。用于识别的特征量的类型的数目和识别结果的数目不需要以这样的方式彼此一致，并且还可以自由地组合它们，或者可以使用上述技术对这样的识别结果进行整合。

上述第一实施方式和第二实施方式可以一起应用。图7示出了根据一个示例的处理的流程图。以这样的方式，检测装置1可以直到S200如第一实施方式那样并且在S200之后如第二实施方式那样对来自优先传感器的信息执行识别处理。在此之后，检测装置1根据是否要使用多个传感器对处理进行分支(S204)。

在不使用多个传感器的情况下(S204：否)，如第一实施方式那样，输出来自优先传感器的信息。另一方面，在要使用多个传感器的情况下(S204：是)，如在第二实施方式中那样，整合识别结果(S202)并且输出识别结果(S112)。

以这样的方式，根据同步状态，可以进一步选择是使用一个优先传感器还是使用多个优先传感器。例如，在难以确保足够的识别时间段或者单个优先传感器的识别确保足够的精度的情况下，可以输出单个优先传感器的识别结果。相反，例如，在可以充分地确保用于多个优先传感器的识别的处理时间段或者使用一个优先传感器引起精度问题的情况下，可以整合并且输出多个优先传感器的识别结果。此外，可以如前述描述中那样根据周围环境来确定是使用单个优先传感器还是使用多个优先传感器。

(第三实施方式)

虽然在上文所述的实施方式中，选择了一个或多个优先传感器，并且基于传感器中相同的识别定时(在图3或图6中的相同识别执行区间中)处的识别结果执行输出，但是本公开的内容不排除基于来自同一传感器的输出的时间上的内插。在本实施方式中，在失去同步性的情况下，检测装置1对同一传感器10的输出进行内插。

图8是示意性地示出根据本实施方式的检测装置1的框图。检测装置1的处理器20包括内插指示部212、内插部214以及识别部216。

内插指示部212基于同步性确定部200的确定结果，发出用于内插从各个传感器10输出的信息的指示。例如，在同步性确定部200确定未建立同步性的情况下，内插指示部212向内插部214发出内插请求，以获取各个传感器10的成像定时并且基于成像定时执行内插。

类似于上文所述的实施方式中的传感器识别部204，如图8中所示那样设置三个传感器10的情况下，内插部214包括第一内插部214A、第二内插部214B以及第三内插部214C。根据从内插指示部212输出的内插请求，内插部214通过使用过去获取的来自各个传感器10的输出信息和最近获取的来自传感器10的输出信息来生成内插数据。内插的数据是可以被看作是在对数据进行成像的相同定时处被成像的数据。换言之，在传感器10之间的同步性未被建立的情况下，内插部214生成可以被看作已经在同步的定时处被成像的内插的数据。

要注意的是，来自不需要进行内插的任何传感器10的输出可以在不进行内插的情况下使用。此外，检测装置1可以包括用于存储要用于内插的数据的帧存储器等。

识别部216针对从内插部输出的数据和来自不需要内插的传感器的输出，通过使用从传感器10输出的数据来执行对目标的识别处理。

经由输出部206输出识别部216的识别结果。

图9是示出要由本实施方式中的检测装置1执行的处理的流程图。由相同的附图标记表示的处理是与第一实施方式中的处理基本上相似的处理。

在同步性确定部200确定所有传感器10彼此不同步的情况下(S106：否)，内插指示部向与传感器10对应的内插部214发出内插数据的请求，并且每个内插部214执行内插处理(S300)。

如上文所述的第一实施方式中那样，内插指示部212首先确定不需要数据的内插的优先传感器。此后，内插指示部212向与除了优先传感器之外的传感器10对应的内插部214发送内插命令。例如，在第一传感器10A是优先传感器的情况下，内插指示部212分别向第二内插部214B和第三内插部214C发出内插来自第二传感器10B和第三传感器10C的输出数据的内插请求。

接收请求的内插部214中的每一个基于在当前识别处理帧(图3的识别处理区间)中获取的数据和在紧接在前的识别处理帧中获取的数据来执行内插处理。该内插处理是对来自其他传感器10的输出进行内插以使得其他传感器10的成像定时变得与优先传感器的成像定时一致的处理。此外，类似于传感器识别部204的处理，使用各种经学习的模型或者通过执行基于规则的处理来执行该处理。

然后，识别部216基于来自优先传感器的输出信息和来自其他传感器10的内插的输出信息来执行识别(S302)。该识别可以通过类似于上文所述的实施方式中的S108中的实现根据多种数据的识别的处理来实现。

以这样的方式，在本实施方式中，可以通过使用被内插为其定时被视为与由优先传感器进行成像的定时同步的定时的来自其他传感器10的数据和优先传感器的输出数据，来执行适当的处理。

图10是示出根据本实施方式的成像定时和其他处理的定时的图。在图10的示例中，假设将执行成像的定时在识别处理帧中最早的传感器10确定为优先传感器。在这种情况下，将第二传感器确定为优先传感器。

内插指示部212向第一内插部214A和第三内插部214C发送指示，以对第一传感器10A和第三传感器10C的输出进行内插。第一内插部214A接收指示并且根据第一传感器10A的成像定时t1、第二传感器10B的成像定时t2以及在先前识别处理帧中的第一传感器10A的成像定时，对输出的数据执行内插处理。例如，如图10中的轮廓箭头标记所指示的，第一内插部214A执行调整成定时t2的内插处理，以获得两段输出数据之间的数据。类似地，第三内插部214C基于t3、t2和先前帧的获取定时，生成定时t2处的数据。

识别部216基于这些内插数据和由作为优先传感器的第二传感器10B获取的数据来执行识别处理。如果以这样的方式将在最早定时处执行成像的传感器10确定为优先传感器，则由于生成在过去帧与当前帧之间的内插数据，因而仅需要生成相对于当前帧中的数据处于过去的成像定时t2处的数据，因此可以生成具有高精度的内插数据。

要注意的是，虽然在图10中示出了将在最早定时处执行成像的传感器10确定为优先传感器，但是这不是限制性的。例如，在RGB数据的识别精度高的情况下，可以使用RGB数据而不对其进行内插，即，可以将输出RGB数据的第一传感器10A确定为优先传感器。以这样的方式，可以选择从中获得高精度的识别结果的传感器作为优先传感器。在这种情况下，虽然来自第二传感器10B的输出用于在相对于定时t2处于未来的t1处的内插，但可以通过运动预测技术等生成未来的内插数据。此外，可以将从中获得RGB数据的传感器确定为优先传感器，而不考虑精度。

这不是限制性的，并且也可以使用一些其他传感器(例如在执行信息内插方面具有困难的传感器或者成像定时最晚的传感器)作为优先传感器。此外，虽然图10示出了两帧之间的内插，但是可以附加地使用过去的另一帧来执使用上述三帧的内插处理。

如上所述，根据本实施方式，由于生成内插数据使得相关的数据可以被视为在相同定时处被成像，因此可以实现在传感器的成像定时彼此同步的状态下的识别处理。当将第三实施方式与上文所述的两个实施方式进行比较时，可以使用来自其定时可以被视为相同定时的多个传感器的输出数据，并且可以提高识别的精度。

虽然在上文所述的实施方式中，传感器10是作为非限制性示例列出的RGB传感器、深度传感器和偏振传感器，但是传感器的类型不限于此。例如，作为传感器，可以使用包括其他成像元件的传感器，例如红外传感器、温度传感器、事件驱动传感器和ToF传感器，或者可以使用不获取图像信息的传感器，例如超声波传感器或某些ToF传感器。

例如，如果使用与温度相关的传感器(例如红外传感器)，则在想要在黑暗中检测人等的情况下，可以根据温度信息内插RGB数据等。

例如，如果使用事件驱动传感器，则在想要检测相对于监控摄像装置等的运动的情况下，可以详细地分析包括运动的区域。

例如，可以使用多个深度传感器，并且在这种情况下，除了ToF传感器之外，还可以使用无源立体型和有源立体型的传感器。例如，虽然ToF传感器有时在有许多反射或阳光强烈的情况下指示精度劣化，但是在刚刚描述的这样的情况下，使用一些其他传感器可以提高识别精度。虽然无源立体型传感器难以处理没有图案或连续出现类似图案的情况，或者有源立体型传感器难以处理难以获取图案或连续出现类似图案的情况，但是可以通过ToF传感器提高精度。

如上所述，通过使用多个传感器并且确定多个传感器是否彼此同步以控制识别算法，可以实现在各种情况下合适并且精度高的识别处理。

注意，也可以将第三实施方式与第一实施方式或第二实施方式中的至少一个一起应用。例如，可以如在第二实施方式中那样将识别结果与帧内插的数据进行整合，或者还在该整合中使用统计量。

本公开内容中的检测装置1可以结合到例如监测设备、工厂等中的检查设备、用于半导体工艺的检查设备、车载摄像装置、用于机器人、无人机等的自动操作的设备以及用于识别或检测成为目标的某种对象的设备。

图11示出了传感器10的示意性结合的示例。传感器10可以例如安装在一个半导体基板30上。该半导体基板30包括例如成像部300、信号处理部302以及存储部304。由成像部300获取的数据可以通过适当的路由被发送至信号处理部302，由信号处理部302进行A/D转换和识别/内插处理(通过神经网络的处理)，并且然后经由适当的接口被输出至外部处理器20。

在存储部304中，存储用于执行识别的适当数据。要注意的是，示意性地示出了每个电路的形状并且其不限于该示例。此外，不排除附加地结合一些其他必要的电路。此外，还可以结合控制电路和其他逻辑电路。此外，虽然未示出，但是在半导体基板30上还安装有获取成像定时的成像定时获取部。在控制电路可用的情况下，成像定时获取部可以作为控制部的一部分操作。他们在以下示例中也是类似的。

图12示出了传感器10的示意性结合的另一示例。传感器10可以例如安装在两个半导体基板31和32中的每一个上。半导体基板31和半导体基板32是例如层压半导体基板，并且各个基板适当地彼此电连接。作为非限制性示例，成像部300设置在上半导体基板31上，而信号处理部302和存储部304设置在下半导体基板32上。

图13是传感器10的示意性结合的又一示例。传感器10例如可以安装在三个半导体基板31、32以及33中的每一个上。半导体基板31、半导体基板32以及半导体基板33是例如层压半导体基板，并且各个基板适当地彼此电连接。作为非限制性示例，在半导体基板31上，可以设置成像部300；在半导体基板32上，可以设置存储部304；并且在半导体基板33上，可以设置信号处理部302。

图12和图13中层压的基板可以经由通孔彼此连接，或者可以通过一些其他方法(例如微倾(micro dump))彼此连接。基板可以通过例如任何技术(例如，CoC(芯片上芯片)、CoW(晶片上芯片)或WoW(晶片上晶片)等)进行层压。

上述实施方式可以具有如下所述的形式。

(1)一种检测装置，包括：

多个传感器，所述多个传感器获取关于目标的不同信息；以及

处理器，其中，

所述多个传感器中的每一个包括定时输出部，所述定时输出部输出获取所述信息的定时，并且

所述处理器

确定所述多个传感器获取所述信息的定时是否彼此同步，并且基于所述确定的结果来控制所述目标的识别算法。

(2)根据(1)所述的检测装置，其中，所述多个传感器还包括获取所述目标的特征量的特征量获取部，并且

所述处理器基于从所述多个传感器获取的所述特征量来执行对所述目标的识别处理。

(3)根据(1)或(2)所述的检测装置，其中，在由所述多个传感器获取所述信息的定时彼此同步的情况下，所述处理器基于所述多个传感器中的一个或多个预定的传感器的输出来执行对所述目标的识别。

(4)根据(2)或(3)所述的检测装置，其中，在由所述多个传感器获取所述信息的定时彼此不同步的情况下，所述处理器通过使用来自优先传感器的输出并且辅助地使用来自除了所述优先传感器之外的传感器的输出来执行对所述目标的识别。

(5)根据(4)所述的检测装置，其中，所述优先传感器包括所述多个传感器中的能够执行高精度识别的传感器。

(6)根据(4)或(5)所述的检测装置，其中，在所述多个传感器中包括获取至少RGB信息的摄像装置的情况下，将所述摄像装置确定为所述优先传感器。

(7)根据(4)所述的检测装置，其中，将所述多个传感器中的获取所述信息的定时在识别处理的帧中最早的传感器确定为所述优先传感器。

(8)根据(4)至(7)中任一项所述的检测装置，其中，

所述处理器

基于在过去的帧中获取的信息，对从所述传感器输出的并且被辅助地使用的所述信息进行内插，并且

通过辅助地使用内插的信息来执行对所述目标的识别。

(9)根据(2)或(3)所述的检测装置，其中，在由所述多个传感器获取所述信息的定时彼此不同步的情况下，所述处理器通过使用所述多个传感器中的优先传感器的输出来执行对所述目标的识别。

(10)根据(9)所述的检测装置，其中，所述优先传感器包括所述多个传感器中的能够执行高精度识别的传感器。

(11)根据(9)或(10)所述的检测装置，其中，在所述多个传感器中包括获取至少RGB信息的摄像装置的情况下，将所述摄像装置确定为所述优先传感器。

(12)根据(9)所述的检测装置，其中，将所述多个传感器中的获取所述信息的定时在帧中最早的传感器确定为所述优先传感器。

(13)根据(4)至(7)或(9)至(12)中任一项所述的检测装置，其中，所述处理器对多个所述优先传感器的输出进行整合以执行识别。

(14)根据(13)所述的检测装置，其中，所述处理器通过使用来自所述多个优先传感器的输出的统计量来执行识别。

(15)一种检测方法，包括：

由多个传感器获取关于目标的彼此不同类型的信息；

获取由所述多个传感器中的每一个获取所述信息的定时；

由处理器确定由所述多个传感器获取所述信息的定时是否彼此同步；以及

由所述处理器基于所述确定的结果来控制所述目标的识别算法。

(16)一种程序，当所述程序由处理器执行时，使所述处理器执行以下操作：

获取由多个传感器获取的关于目标的彼此不同类型的信息以及获取所述信息的定时；

确定由所述多个传感器获取所述信息的定时是否彼此同步；以及

基于所述确定的结果，来控制所述目标的识别算法。

本公开内容的模式不限于上述实施方式，并且包括可以设想的各种修改。本公开内容所提供的有益效果也不限于上述内容。实施方式中的构成元件可以通过适当地相互组合来应用。换言之，可以在不脱离从权利要求中限定的细节及其等同方案导出的本公开内容的概念构思和要旨的范围内进行各种添加、修改以及部分删除。

[附图标记列表]

1：检测装置

10：传感器

100：成像部

102：特征量获取部

104：成像定时获取部

20：处理器

200：同步性确定部

202：传感器选择部

204：传感器识别部

206：输出部

208：识别方法切换部

210：整合部

212：内插指示部

214：内插部

216：识别部

30、31、32、33：半导体基板

300：成像部

302：信号处理部

304：存储部

Claims (18)

1.一种检测装置，包括：

多个传感器，所述多个传感器获取关于目标的不同信息；以及

处理器，其中，

所述多个传感器中的每一个包括定时输出部，所述定时输出部输出获取所述信息的定时，并且

所述处理器

确定所述多个传感器获取所述信息的定时是否彼此同步，并且

基于所述确定的结果来控制所述目标的识别算法。

2.根据权利要求1所述的检测装置，其中，所述多个传感器还包括获取所述目标的特征量的特征量获取部，并且

所述处理器基于从所述多个传感器获取的所述特征量来执行对所述目标的识别处理。

3.根据权利要求1所述的检测装置，其中，在由所述多个传感器获取所述信息的定时彼此同步的情况下，所述处理器基于所述多个传感器中的一个或多个预定的传感器的输出来执行对所述目标的识别。

4.根据权利要求2所述的检测装置，其中，在由所述多个传感器获取所述信息的定时彼此不同步的情况下，所述处理器通过使用来自优先传感器的输出并且辅助地使用来自除了所述优先传感器之外的传感器的输出来执行对所述目标的识别。

5.根据权利要求4所述的检测装置，其中，所述优先传感器包括所述多个传感器中的能够执行高精度识别的传感器。

6.根据权利要求4所述的检测装置，其中，在所述多个传感器中包括获取至少RGB信息的摄像装置的情况下，将所述摄像装置确定为所述优先传感器。

7.根据权利要求4所述的检测装置，其中，将所述多个传感器中的获取所述信息的定时在识别处理的帧中最早的传感器确定为所述优先传感器。

8.根据权利要求4所述的检测装置，其中，

所述处理器

基于在过去的帧中获取的信息，对从所述传感器输出的并且被辅助地使用的所述信息进行内插，并且

通过辅助地使用内插的信息来执行对所述目标的识别。

9.根据权利要求2所述的检测装置，其中，在由所述多个传感器获取所述信息的定时彼此不同步的情况下，所述处理器通过使用所述多个传感器中的优先传感器的输出来执行对所述目标的识别。

10.根据权利要求9所述的检测装置，其中，所述优先传感器包括所述多个传感器中的能够执行高精度识别的传感器。

11.根据权利要求9所述的检测装置，其中，在所述多个传感器中包括获取至少RGB信息的摄像装置的情况下，将所述摄像装置确定为所述优先传感器。

12.根据权利要求9所述的检测装置，其中，将所述多个传感器中的获取所述信息的定时在帧中最早的传感器确定为所述优先传感器。

13.根据权利要求4所述的检测装置，其中，所述处理器对多个所述优先传感器的输出进行整合以执行识别。

14.根据权利要求13所述的检测装置，其中，所述处理器通过使用来自所述多个优先传感器的输出的统计量来执行识别。

15.根据权利要求9所述的检测装置，其中，所述处理器对多个所述优先传感器的输出进行整合以执行识别。

16.根据权利要求15所述的检测装置，其中，所述处理器使用来自所述多个优先传感器的输出的统计量来执行识别。

17.一种检测方法，包括：

由多个传感器获取关于目标的彼此不同类型的信息；

获取由所述多个传感器中的每一个获取所述信息的定时；

由处理器确定由所述多个传感器获取所述信息的定时是否彼此同步；以及

由所述处理器基于所述确定的结果来控制所述目标的识别算法。

18.一种程序，当所述程序由处理器执行时，使所述处理器执行以下操作：

获取由多个传感器获取的关于目标的彼此不同类型的信息以及获取所述信息的定时；

确定由所述多个传感器获取所述信息的定时是否彼此同步；以及

基于所述确定的结果，来控制所述目标的识别算法。