CN117041718A - 传感器装置 - Google Patents

Abstract

本申请涉及传感器装置。该传感器装置具有：阵列传感器，其中，多个可见光或不可见光的成像元件被一维或二维排列；以及图像处理单元，其通过使用指示的参数，对通过阵列传感器成像而获得的图像信号执行图像处理。在这种情况下，从通过阵列传感器成像而获得的图像信号中检测到的对象经受类别识别，基于识别的类别选择用于图像处理的参数，并且基于选择的参数对图像处理单元执行处理设置。

Description

传感器装置

本申请是申请号为201980067269.2的中国专利申请的分案申请。

技术领域

本技术涉及一种传感器装置和一种参数设置方法，尤其涉及一种具有处理由阵列传感器获得的图像信号的功能的传感器装置的技术领域。

背景技术

作为使用排列成像元件的阵列传感器的所谓的对象检测，阵列传感器捕捉图像并将捕捉的图像信号发送到阵列传感器外部的处理器，并且执行用于对象检测的计算处理的处理器侧是已知的。

下面的非专利文献1公开了一种用于从图像进行面部识别处理的技术。

引文列表

非专利文献

非专利文献1：Yoshihiko Kawai，用于电视图像的人脸识别技术，NHK Science&Technology Research Laboratories(STRL)R&D，第164号，2017.8，P23-P30

发明内容

本发明要解决的问题

到目前为止，包括图像传感器在内的阵列传感器已经调整了图像质量，以便在被人类观看时创建漂亮的图片。然而，当计算机是用于在图像识别中进行确定的主体时，存在即使图像质量对于人类来说是漂亮的，也降低了对要捕捉的对象的类别(类别或流派)识别的精度的问题。

如在上述非专利文献1中，对于面部识别，已经执行了图像质量调整，以提高数据获取后的后处理中的识别率，但是还没有阵列传感器为各种各样的类别类型自动调整适当的图像质量。

因此，本公开覆盖了各种各样的类别，并且应用了具有基于所识别的类别适配的参数的图像处理。

问题的解决方案

根据本技术的传感器装置包括：阵列传感器，具有一维或二维形式的多个可见光或不可见光成像元件；图像处理单元，被配置为针对通过在阵列传感器中成像而获得的图像信号，使用给出指令的参数来执行图像处理；以及计算单元，被配置为识别从通过阵列传感器中的成像而获得的图像信号中检测到的对象的类别，基于所识别的类别选择要在图像处理中使用的参数，并且使用所选择的参数执行图像处理单元的处理设置。

即，图像处理单元对由阵列传感器获得的图像信号应用图像处理。基于图像信号中检测到的对象的识别类别来设置图像处理参数。

注意，从图像信号中检测到的对象是为了从图像中识别的目的可以作为检测目标的对象。任何对象都可以是在此处要检测的对象。例如，诸如人、动物、移动对象(汽车、自行车、飞机等)、自然对象(蔬菜、植物等)、工业产品/部件、建筑物、设施、山、海、河、星、太阳、云等的任何对象都可以作为目标。

类别是使用图像识别来识别的对象的类别。待检测的对象被分类为，例如，“人”、“汽车”、“飞机”、“船”、“卡车”、“鸟”、“猫”、“狗”、“鹿”、“青蛙”或“马”。

在根据上述现有技术的传感器装置中，可以设想还包括输出单元，被配置为将由图像处理单元处理的图像信号输出到外部装置。

即，使用基于所识别的类别选择的参数处理的图像信号被传输并输出到外部装置。假设外部装置是例如检测对象的外部处理器、云中的处理器等。

在根据本技术的上述传感器装置中，可以设想，所述输出单元还发送关于要输出的图像信号的类别识别的信息。

关于类别识别的信息(例如，所识别的类别和对象的数量)与要输出的图像信号一起输出。

在根据本技术的上述传感器装置中，可以设想，所述计算单元执行：对象区域识别处理，用于在图像信号的一帧中检测待检测对象的候选的对象区域；类别识别处理，用于识别在对象区域识别处理中检测到的对象区域中的对象的类别；以及参数选择处理，用于基于类别识别处理的识别结果来执行参数选择，并执行图像处理单元的处理设置。

要从一帧图像中检测的对象的候选像素区域是对象区域。然后，针对对象区域识别对象的分类，并基于结果选择参数。

在根据本技术的上述传感器装置中，可以设想，所述计算单元执行：对象区域识别处理，用于在图像信号的一帧中检测待检测对象的候选的对象区域；类别识别处理，用于识别在对象区域识别处理中检测到的对象区域中的对象的类别；确定在类别识别处理中识别的类别中是否存在目标类别的处理；以及参数选择处理，用于基于目标类别的类别识别结果执行参数选择，并且在存在目标类别的情况下，执行图像处理单元的处理设置。

目标类别是在类别中被指定为识别目标的类别。在检测到目标类别的对象的情况下，基于目标类别选择参数。

在根据本技术的上述传感器装置中，可以设想，多个目标类别是能设置的，并且在一个帧中存在多个目标类别的对象的情况下，基于所选择的一个目标类别来执行参数选择处理。

例如，多个目标类别可从外部处理器指定。

在根据本技术的上述传感器装置中，可以设想，为对应于目标类别的对象区域计算围绕对象的边界框，并且在存在多个目标类别的情况下，使用边界框的区域来选择所述一个目标类别。

根据边界框的面积，在框架中选择主要的目标类别。

在根据本技术的上述传感器装置中，可以设想，所述计算单元基于所识别的类别选择包括为每个类别设置的多个参数的参数集。

例如，预先存储包括图像处理单元的各种类型的处理的参数，作为一个集合，并且在图像处理单元中选择和设置该参数集。

在根据本技术的上述传感器装置中，可以设想，所述参数集是通过使用对应于每个类别的对象的图像进行深度学习而获得的多个参数的集合。

例如，通过使用人物图像作为训练数据的深度学习来获得人物识别的图像识别率高的图像处理的参数，并且将获得的参数的参数集设置为对应于“人物”类别的参数集。

在根据本技术的上述传感器装置中，可以设想，所述计算单元识别用作通过阵列传感器中的成像而获得的图像信号中的关键帧的帧的类别，并基于所识别的类别选择要在图像处理中使用的参数。

即，计算单元根据预定的选择算法选择用作关键帧的帧，并执行参数选择处理。

在根据本技术的上述传感器装置中，可以设想，所述关键帧是预定时间间隔的帧。

即，关键帧是以预定帧数为间隔的帧。

在根据本技术的上述传感器装置中，可以设想，所述关键帧是处于基于来自外部装置的命令的时间的帧。

例如，根据来自图像输出目的地的外部处理器等的指令来设置关键帧。

在根据本技术的上述传感器装置中，可以设想，图像处理单元执行颜色校正、伽马校正、颜色灰度处理、增益处理、轮廓增强处理、数据压缩处理、帧速率转换、分辨率转换、纵横比转换、对比度调整处理、清晰度调整处理、灰度级调整处理或采样率变化处理中的至少一种，作为图像信号的图像处理。

即，图像处理单元改变颜色、亮度、色调、清晰度、数据大小(分辨率或帧速率)等。

此外，在根据本技术的上述传感器装置中，可以设想，还包括输出单元，被配置为响应于外部装置的请求，输出由图像处理单元处理的图像信号、所识别的类别的信息、检测到的对象的数量以及目标类别的存在或不存在的信息中的任何或全部。

即，输出单元根据外部装置的请求设置要输出的信息。

在根据本技术的上述传感器装置中，可以设想，还包括阈值设置单元，被配置为设置要在图像处理单元的图像处理或关于阵列传感器的成像的成像处理中使用的所有或一些参数的阈值，并且使得能够使用基于阈值设置的参数执行处理。

阈值被设置为使得要在图像处理单元、阵列传感器等中使用的参数可以基于阈值而改变。

关于成像过程的参数包括例如阵列传感器的曝光时间、阵列传感器的读出时间和帧速率。

关于图像处理的参数包括例如图像分辨率和颜色等级的数量。

此外，在根据本技术的上述传感器装置中，可以设想，所述阈值设置单元根据从图像信号中检测到的对象的类别来设置阈值。

例如，根据“人”、“汽车”或“标志”等类别设置适当的阈值。

此外，在根据本技术的上述传感器装置中，可以设想，所述阈值设置单元基于对图像信号的学习处理来设置阈值。

例如，传感器装置执行作为局部学习的学习处理，以获得阈值。

此外，在根据本技术的上述传感器装置中，可以设想，所述阈值设置单元设置阈值，以便获得预定比率，作为对象检测的确定性比率。

例如，在针对传感器装置输出的图像信号检测对象(例如，人)的情况下，阈值被设置为满足例如检测精度所需的水平。

此外，在根据本技术的上述传感器装置中，可以设想，所述阈值设置单元设置在与图像处理单元具有相同外壳的装置中。

例如，阈值设置单元设置在作为传感器装置的单元中，或者设置在终端装置或包括传感器装置的成像装置中。

作为一种传感器装置中的参数设置方法，所述传感器装置包括阵列传感器和图像处理单元，所述阵列传感器具有一维或二维形式的多个可见光或不可见光成像元件，所述图像处理单元被配置为针对通过在阵列传感器中成像而获得的图像信号，使用给出指令的参数来执行图像处理，根据本技术的参数设置方法包括：识别从通过阵列传感器中的成像而获得的图像信号中检测到的对象的类别，基于所识别的类别选择要在图像处理中使用的参数，并且使用所选择的参数执行图像处理单元的处理设置。

结果，根据对象检测的目的来执行图像处理。

此外，可以设想，还包括：执行阈值设置处理，用于设置要在图像处理单元的图像处理或关于阵列传感器的成像的成像处理中使用的所有或一些参数的阈值；并且使得能够使用基于阈值而改变的参数执行处理。

由此，根据对象检测的目的、模式、成像环境等，执行用于获得能够保持所需性能的图像信号的图像处理或成像处理。

附图说明

图1是适用于本技术的第一至第五和第七实施例的传感器装置的框图；

图2是图像识别精度和图像质量之间的关系的说明图；

图3是根据第一实施例的分类图像适配处理的概述的说明图；

图4是根据第一实施例的图像质量参数集的说明图；

图5是根据第一实施例的分类图像适配处理的流程图；

图6是根据第一实施例的对象检测处理的说明图；

图7是根据第二实施例的区域剪切框架的说明图；

图8是根据第二实施例的区域剪切分析的概述的说明图；

图9是根据第二实施例的区域剪切分析的流程图；

图10是根据第二实施例的从边界框计算感兴趣区域(ROI)的说明图；

图11是根据第二实施例的感兴趣区域的另一示例的说明图；

图12是根据第三实施例的高级ROI的说明图；

图13是根据第三实施例的高级ROI的说明图；

图14是根据第三实施例的使用高级ROI的区域剪切分析的流程图；

图15是根据第四实施例的智能压缩的说明图；

图16是根据第四实施例的智能压缩的流程图；

图17是根据第五实施例的主动采样的说明图；

图18是根据第五实施例的主动采样的流程图；

图19是第六实施例的图像适配处理的阈值设置的说明图；

图20是根据第六实施例的按类别的阈值设置的说明图；

图21是适用于本技术的第六至第九实施例的传感器装置的框图；

图22是根据第六实施例的根据阈值的参数设置处理的流程图；

图23是根据第六实施例的阈值设置的说明图；

图24是根据第六实施例的阈值计算的流程图；

图25是适用于第六至第九实施例的另一配置示例的框图；

图26是适用于第六至第九实施例的又一配置示例的框图；

图27是根据第七实施例的有效区域剪切的说明图；

图28是根据第七实施例的有效区域剪切的说明图；

图29是根据第七实施例的有效区域剪切的流程图；

图30是根据第七实施例的关键帧有效区域计算的流程图；

图31是根据第八实施例的高级ROI(AROI)的阈值设置的说明图；

图32是根据第八实施例的使用高级ROI的区域剪切分析的流程图；

图33是根据第九实施例的主动采样的说明图；

图34是根据第九实施例的主动采样的说明图；

图35是根据第九实施例的主动采样的流程图；

图36是示出车辆控制系统的示意性配置的示例的框图；

图37是示出车辆外部信息检测单元和成像单元的安装位置的示例的说明图。

具体实施方式

在下文中，将按以下顺序描述实施例。

<1.传感器装置的配置>

<2.第一实施例：分类图像适配>

<3.第二实施例：区域剪切>

<4.第三实施例：使用AROI进行区域剪切>

<5.第四实施例：智能压缩>

<6.第五实施例：主动采样>

<7.第六实施例：通过阈值设置的图像适配>

<8.第七实施例：有效区域剪辑>

<9.第八实施例：阈值设置和使用AROI的区域剪切>

<10.第九实施例：通过阈值设置的主动采样>

<11.应用于移动对象>

<12.结论和修改>

注意，作为下面将要描述的实施例，将给出作为图像传感器的传感器装置1，作为示例，该图像传感器具有成像元件阵列并且输出图像信号，作为检测信号。特别地，根据实施例的传感器装置1是通过图像分析具有对象检测功能的装置，并且可以被称为智能阵列传感器。

<1.传感器装置的配置>

图1中示出了传感器装置1的配置示例。注意，图1还示出了作为与传感器装置1执行数据通信的外部装置的处理器11和外部传感器12。假设处理器11是通信地连接到传感器装置1的任何处理器。

作为硬件，传感器装置1包括图像传感器装置、诸如动态随机存取存储器(DRAM)等存储区域以及作为人工智能(AI)功能处理器的组件。然后，这三个部分通过例如三层堆叠结构、一层所谓的平坦配置或两层(例如，DRAM和AI功能处理器在同一层)堆叠结构被配置为集成装置。

如图1所示，传感器装置1包括阵列传感器2、模数转换器(ADC)/像素选择器3、缓存器4、逻辑单元5、存储器6、接口单元7和计算单元8。

ADC/像素选择器3、缓存器4和逻辑单元5是信号处理单元30的示例，该信号处理单元处理由阵列传感器2获得的检测信号，以将检测信号输出到外部。

阵列传感器2包括作为可见光或非可见光成像元件的检测元件，并且具有以一维或二维形式排列的多个成像元件。例如，大量成像元件在行方向和列方向上二维排列，并且在每个成像元件中通过光电转换输出二维图像信号。

注意，在以下描述中，假设阵列传感器2输出二维图像信号，作为图像传感器，但是传感器装置1中的阵列传感器2可以被配置为其中排列声波检测元件的传感器阵列模块、其中排列触觉信息检测元件的传感器阵列模块等。

ADC/像素选择器3将由阵列传感器2光电转换的电信号数字化，并将图像信号作为数字数据输出。

此外，通过对阵列传感器2的像素(成像元件)具有像素选择功能，ADC/像素选择器3可以仅从阵列传感器2中选择的像素读取光电转换信号，将信号数字化，并输出数字数据。

即，ADC/像素选择器3通常数字化并输出光电转换信号，作为构成一帧图像的所有有效像素的数字数据，但是也可以数字化并输出仅所选像素的光电转换信号，作为数字数据。

ADC/像素选择器3在帧单元中读出图像信号，并且每一帧的图像信号临时存储在缓存器4中，在适当的时间读出，并被逻辑单元5用于处理。

逻辑单元5对每个输入帧图像信号执行各种类型的必要信号处理(图像处理)。

例如，假设逻辑单元5通过诸如颜色校正、伽马校正、颜色灰度处理、增益处理、轮廓增强处理、对比度调整处理、清晰度调整处理和灰度级调整处理等处理来执行图像质量调整。

此外，假设逻辑单元5执行改变数据大小的处理，例如，数据压缩处理、分辨率转换、帧速率转换、纵横比转换和采样率改变。

为由逻辑单元5执行的每个处理设置用于每个处理的参数。例如，存在设定值，例如，颜色和亮度校正系数、增益值、压缩率、帧速率、分辨率、要处理的区域和采样率。逻辑单元5使用为每个处理设置的参数来执行必要的处理。在本实施例中，计算单元8可以如下所述设置这些参数。

由逻辑单元5处理的图像信号存储在存储器6中。

存储在存储器6中的图像信号由接口单元7在必要的时间发送到处理器11等。

注意，假设存储器6是DRAM、静态随机存取存储器(SRAM)、磁阻随机存取存储器(MRAM)等。

注意，MRAM是磁性存储数据的存储器，并且使用隧道磁阻(TMR)元件代替磁芯的存储器是已知的。TMR元件具有夹在磁性材料之间的几个原子的极薄绝缘层，并且其电阻根据磁性材料层的磁化方向而变化。即使当电源关闭时，TMR元件的磁化方向也不会改变，从而用作非易失性存储器。随着尺寸变得更小，写入电流需要增加。因此，为了使存储单元更精细，使用自旋扭矩转移(STT)方法的STT-MRAM是已知的，该方法在不使用磁场的情况下以相同的自旋流动和写入电子。

当然，除了上述示例之外的存储元件可以用作存储器6的具体示例。

传感器装置1外部的处理器11对从传感器装置1发送的图像信号执行图像分析和图像识别处理，并执行必要的对象检测等。

处理器11还可以参考外部传感器12的检测信息。

注意，可以设想，处理器11通过有线或无线方式连接到传感器装置1。

可以设想，处理器11设置在传感器装置1的公共外壳中。例如，假设处理器11是配备有传感器装置1的成像装置或终端装置中的处理器。

或者，处理器11可以设置在与传感器装置1分离的装置中。例如，处理器11可以内置在通过电缆、无线通信等连接到配备有传感器装置1的成像装置或终端装置的信息处理装置、终端装置、图像编辑装置、监视器装置、通信装置等中。

此外，处理器11可以是例如云计算系统中的处理器，并且可以执行与传感器装置1或包含传感器装置1的装置的网络通信。

计算单元8被配置为例如一个AI处理器。然后，作为可执行的计算功能，计算单元8包括关键帧选择单元81、对象区域识别单元82、类别识别单元83和参数选择单元84，如图1所示。注意，这些计算功能可以由多个处理器配置。

关键帧选择单元81根据预定算法或指令执行选择图像信号的帧内的关键帧，作为运动图像的处理。

此外，关键帧选择单元81可以执行切换与帧速率相关的模式的处理(第五实施例中的空闲模式和正常模式)。

对于由阵列传感器2光电转换并由ADC/像素选择器3读取的图像信号的帧，对象区域识别单元82检测作为待检测候选的对象的区域，并执行识别待检测对象的图像(帧)中围绕待检测对象的区域(边界框)的处理。

从图像信号中检测到的对象是为了从图像中识别的目的可以作为检测目标的对象。要检测的对象是什么类型的对象取决于传感器装置1和处理器11的检测目的、处理能力、应用类型等，但是任何对象都有可能是在此处提到的要检测的对象。例如，诸如人、动物、移动对象(汽车、自行车、飞机等)、自然对象(蔬菜、植物等)、工业产品/部件、建筑物、设施、山、海、河、星、太阳、云等的任何对象可以对应于要检测的对象，尽管以上仅仅是示例。

此外，如将在第二实施例中描述的，基于边界框，对象区域识别单元82可以执行计算感兴趣区域(ROI)作为指示要处理的区域(感兴趣区域)的区域信息的处理，基于ROI控制ADC/像素选择器3等。

类别识别单元83将由对象区域识别单元82检测到的对象分类成类别。

类别是使用图像识别来识别的对象的类别。待检测的对象被分类为，例如，“人”、“汽车”、“飞机”、“船”、“卡车”、“鸟”、“猫”、“狗”、“鹿”、“青蛙”或“马”。

如将在第一实施例中描述的，参数选择单元84根据每个类别存储用于信号处理的参数，并且使用例如由类别识别单元83识别的检测对象的类别或边界框来选择相应的一个或多个参数。然后，参数选择单元84在逻辑单元5中设置一个或多个参数。

此外，如在第三实施例中，参数选择单元84基于用于基于边界框计算ROI的类别，存储预先按类别计算的高级ROI(AROI)的模板，并且可以执行选择模板的处理。

此外，参数选择单元84可以执行存储第五实施例中的空闲模式和正常模式的设定值、基于对象检测选择模式以及控制信号处理单元30的处理。

计算单元8的这些功能是阵列传感器中通常不执行的处理，并且在本实施例中，在阵列传感器中执行基于这些处理的对象检测、类别识别和控制。由此，根据检测目的，使得要提供给处理器11的图像信号适当，并且在不降低检测性能的情况下减少了数据量。

注意，接口单元7可以将图像信号输出到处理器11，并且还将例如在计算单元8中检测到的对象的信息、类别的信息、检测到的对象的数量以及选择的参数的信息作为元数据与图像信号一起输出到处理器11，或者可以独立于图像信号将前述信息输出到处理器11。此外，例如，接口单元7也可以仅输出类别信息。

此外，可以设想，例如，处理器11侧向接口单元7指示必要的信息，并且接口单元7输出相应的信息。

<2.第一实施例：分类图像适配>

分类图像适配处理将被描述为可由具有图1中的配置的传感器装置1执行的第一实施例的处理。

图像识别的精度因图像质量调整而异。例如，通过调整图像质量来提高深度学习的图像识别的精度。

然后，图像识别所需的图像质量(即对象检测的精度高的图像质量)不一定是人感觉漂亮的图像质量。

例如，图2中的A示出了人感觉到高质量的图像的示例，而图2中的B是人感觉到图像质量由于例如灰度数量的减少而稍微恶化的图像。

然而，作为通过神经网络分析图2中的A中的图像的情况下的对象检测结果，花被错误地确定为鱼，而花被正确地确定为图2中的B中的图像中的花。

从这个示例可以看出，为了提高图像识别的精度，期望执行与基于人类审美的图像质量调整不同的图像质量调整。

此外，适合于这种对象检测的图像质量不是由均匀参数调整的图像质量，并且根据要检测的对象而不同。例如，在检测到人的情况和检测到汽车的情况之间，期望的图像质量调整状态不同。即，用于图像质量调整的期望参数的值根据检测目标而不同。

因此，作为分类图像适配处理，为可以作为目标的对象的每个类别存储适当的参数(图像质量调整值)。然后，对于由阵列传感器2捕捉的图像，执行对象检测和被检测对象的类别识别，根据识别的类别选择参数并在逻辑单元5中设置，并且在逻辑单元5中执行使用参数的处理。

图3示出了这种分类图像适配处理的概述。注意，图3是用于描述轮廓的图1中的配置的一部分的摘录。

在传感器装置1中，对象光通过成像光学系统40聚焦在阵列传感器2上，并且捕捉图像。获得的图像信号G由逻辑单元5处理，但是也提供给计算单元8。

在计算单元8中，对象区域识别单元82检测候选对象并执行识别对象区域的处理。对象区域识别单元82还计算所需对象区域的边界框。

此外，在计算单元8中，类别识别单元83对检测到的对象执行类别识别。在检测到多个对象或多种类型的对象的情况下，对多个对象中的每一个执行类别识别，并且将对象分类成类别。例如，在图3的情况下，执行类别识别和分类，使得类别“汽车”中的一个对象、类别“人”中的五个对象和类别“交通灯”中的一个对象。

类别的信息和边界框的信息被提供给参数选择单元84，并且参数选择单元84使用类别的信息从存储的参数集PR1、PR2等中选择一个参数集。图3示出了例如已经选择参数集PR4的状态。

注意，参数集将逻辑单元5的处理中使用的多个参数的值，例如，增益集值、颜色校正系数、灰度数、压缩率和帧速率存储为一个集。

在逻辑单元5中设置选择的参数集PR4。逻辑单元5使用由参数集PR4指示的参数，对图像信号G执行各种类型的信号处理。

阵列传感器响应于处理器11的请求输出所有或任何输出数据(图像信号、类别、对象数量、目标类别的存在或不存在等)。

此外，处理器11可以向传感器装置1发送各种指令。

以这种方式，传感器装置1基于对象检测来执行计算单元8具有类别识别功能(对象分类功能)的分类图像适配(根据来自对象检测的目标类别型的参数选择)，并且根据类别识别单元的输出来自适应地设置逻辑单元5的参数。

关于参数集，通过深度学习的预学习，预先为每个类别生成和存储适当的参数(图像质量集值)。

例如，在生成类别“人”的参数集的情况下，如图4中的A所示，使用大量的人图像作为训练数据SD来执行深度学习，并且生成从人的识别的观点来看具有最高图像识别率的参数集PR1。

类似地，对于每个其他类别，使用深度学习生成具有最高图像识别率的参数集PR2、PR3等。

然后，如图4中的B所示，存储对应于生成的类别的参数集PR1、PR2、PR3等，使得参数选择单元84可以选择它们。

图5示出了传感器装置1中的分类图像适配处理的具体示例。将参考图6依次描述具体示例。

图5示出了在作为步骤S100开始从阵列传感器2在帧单元中输出图像信号之后，在传感器装置1(主要是计算单元8)中执行的处理。

在图5中，计算单元8的处理是由图1所示的关键帧选择单元81、对象区域识别单元82、类别识别单元83和参数选择单元84的功能执行的处理。注意，这类似地适用于图9、14、16和18，这将在下面描述。

在步骤S101中，计算单元8(关键帧选择单元81)执行在根据关键帧选择算法的时间选择关键帧的处理。

传感器装置1在帧单元中从图像信号中选择关键帧，作为阵列传感器2的像素阵列输出信号，并执行图像识别，从而识别要捕捉的类别。关键帧选择由关键帧选择算法执行，从而选择静止图像(某一帧)。

给出了一个关键帧选择算法的示例。

首先，有一种在指定的时间间隔选择一帧的方法。例如，每隔30秒选择一帧，作为关键帧。当然30秒是一个示例。

此外，还可以设想，通过来自传感器装置1的外部(处理器11等)的命令来选择关键帧，作为时间。例如，假设传感器装置1响应于来自安装传感器装置1的装置侧的指令。例如，在传感器装置1安装在汽车上的情况下，在汽车已经在停车场中从停止状态开始行驶的时间选择关键帧。

此外，关键帧选择方法可以根据情况而改变。例如，在传感器装置1安装在汽车上的情况下，关键帧间隔在停止期间、正常行驶期间和高速行驶期间改变。

当选择关键帧时，在步骤S102中，计算单元8(对象区域识别单元82)检测关键帧中的对象的候选位置。

即，计算单元8在关键帧图像中搜索要检测的候选对象，并获得一个或多个候选位置(图像中的位置坐标)。

例如，假设选择图6中的A中的输入图像，作为关键帧。计算单元8检测图像中似乎是要检测的对象的部分。例如，图6中的B和6中的C中的区域是看起来是要检测的对象的部分。这些部分是候选对象。

在图5的步骤S103中，计算单元8(类别识别单元83)将检测到的对象分类为类别。即，计算单元8为每个候选对象识别和分类类别。

如上所述，类别是使用图像识别来识别的对象的类别。

例如，如图6中的D和6中的E所示，执行诸如“人”和“花”等类别识别。

在图5的步骤S104中，计算单元8确认作为类别识别结果获得的类别中是否存在目标类别。

目标类别是由处理器11在类别中专门设置的类别。例如，在目标类别被设置为“人”的情况下，传感器装置1应当进入在识别人时指定的过程。

注意，希望能够指定多个目标类别。

例如，在“人”和“花”是目标类别，并且“人”或“花”存在于步骤S103中识别的类别中的情况下，计算单元8将处理从步骤S104移动到步骤S105。

另一方面，在不存在目标类别的情况下，计算单元8返回到步骤S101并选择下一个关键帧。

在处理由于目标类别的存在而前进到步骤S105的情况下，计算单元8(对象区域识别单元82)计算分类到该类别中的对象区域周围的精确位置坐标(边界框)。

图6中的F和6中的G示出了边界框20。边界框20由作为X轴上的区域范围的最小坐标值Xmin和最大坐标值Xmax以及作为Y轴上的区域范围的最小坐标值Ymin和最大坐标值Ymax来定义。

在图5的步骤S106中，计算单元8(参数选择单元84)基于对象的类别和数量以及边界框20的面积来选择参数集。

例如，在存在一个目标类别的情况下，计算单元8选择对应于该类别的参数集。

在多种类型的目标类别的对象出现在屏幕上的情况下，以下示例是可以设想的。

例如，可以设想，选择对应于类别中对象数量最多的类别的参数集。

或者，在屏幕上存在多种类型的目标类别的对象的情况下，可以设想，选择对应于具有边界框20的最大面积的对象类别的参数集。

或者，在屏幕上存在多种类型的目标类别的对象的情况下，可以设想为每个类别选择对应于具有边界框20的最大总面积的类别的参数集。

或者，在屏幕上存在多种类型的目标类别的对象的情况下，可以设想，从对象的数量和每个类别的边界框20的总面积(或最大值)中获得具有最高优先级的类别，并选择对应于该类别的参数集。

当然，还有各种其他的参数集选择方法，但是在任何情况下，只需要根据屏幕上的主要对象或优先检测的对象的类别来选择参数集。

在步骤S107中，计算单元8(参数选择单元84)执行设置在逻辑单元5中设置的所选参数的处理。

因此，逻辑单元5使用设置的参数集对依次输入的帧图像信号执行各种类型的图像处理。

处理后的图像信号的信息、设置的参数、识别的类别等被临时存储在DRAM 6中。

在步骤S108中，传感器装置1响应于处理器11的请求，输出图像信号(静止图像或运动图像)、类别识别信息(类别、对象的数量、目标类别的存在与否等)、所使用的参数集等的全部或至少一个信息。

即，响应于处理器11的请求，接口单元7读出并发送暂时存储在DRAM 6中的任何信息。

注意，步骤S108中的处理可以由计算单元8控制，或者可以由经由接口单元7访问DRAM 6的处理器11执行。在计算单元8不控制接口单元7的情况下，计算单元8的处理在步骤S107之后返回到步骤S101。

通过上述处理，向处理器11提供图像信号，根据作为图像中包括的对象的目标类别的存在，已经将参数设置到该图像信号。图像信号是已经对其执行了适于检测目标类别的对象的图像处理的图像信号。

此外，当检测到的类别(目标类别)和对象数量的信息被提供给处理器11时，该信息对于处理器11中的对象检测处理将是有用的信息。

结果，处理器11可以执行高精度的对象检测。

注意，也可以简单地在传感器装置1内部设置类别，并且在外部更详细地识别类别。例如，面部识别和牌照识别不由传感器装置1执行，但是可以由处理器11执行。

此外，在图5中的处理示例中，在步骤S102中检测似乎是对象的部分(图6中的B和6中的C)，在步骤S103中识别类别(图6中的D和6中的E)，然后在步骤S105中设置边界框20(图6中的F和6中的G)。然而，处理不限于该过程。例如，当在步骤S102的阶段检测到似乎是对象的部分时，可以设置边界框20，然后可以在步骤S103中识别类别，并且当目标类别存在时，处理可以从步骤S104前进到步骤S106。

<3.第二实施例：区域剪切>

区域剪切将被描述为具有图1所示的配置的传感器装置1可执行的第二实施例的处理。

关于由阵列传感器2检测的图像信号，可以设想，将帧的所有像素的信息传输到处理器11，以执行图像识别。

然而，当所有帧的所有像素的信息被传送到处理器11并且对象被处理器11检测到时，传送的信息量显著增加，并且需要传送时间，特别是阵列传感器2捕捉的图像的更高清晰度。此外，在云传输的情况下，通信量的增加显著影响通信成本和时间。此外，担心处理器11和云中的存储容量的负担将增加，分析处理负荷和处理时间也将增加，并且对象检测性能将恶化。

因此，在第二实施例中，在识别某一帧的图像中的必要对象之后，从下一帧开始，在对象的区域的像素级处粗略地获取和传送图像信号，并且使得缺少另一区域的像素，作为信息，以提高处理效率。

图7示出了轮廓。

图7中的A示出了特定帧F1的图像。在“人”被设置为要检测的对象的情况下，在帧F1的图像中检测人的区域。检测到人的区域被设置为感兴趣区域的ROI 21。

在随后的帧F2、F3、...和Fn中，仅从阵列传感器2读取设置为ROI 21的区域中的像素。该图像是仅包括ROI 21部分的信息的图像，如图7中的B所示。

然后，基于包括这种部分像素信息的图像信号，在计算单元8中执行分析，或者图像被传送到处理器11，并且执行图像分析。

具体地，如图8中的A中示意性示出的，在由阵列传感器2获得的图像信号中，以1/N帧的比率获得的特定帧F1被分析为包括所有有效像素的信息的图像。然后，计算单元8扫描整个屏幕，以检测目标对象的存在或不存在以及位置。然后，设置ROI 21。

当获取后续帧F2时，如图8中的B所示，获取仅设置为目标区域的ROI 21的像素已经被AD转换的图像信号。注意，在图8中，由网格分隔的每个正方形表示一个像素。

这样，例如，每N帧中只有一帧被全屏扫描，以检测目标对象，并且在随后的帧F2、F3、F4等中，只分析前一帧中的对象的检测区域，如图8中的C所示。

通过执行该处理，在不降低作为应用目标的对象检测的精度的情况下，减少了分析数据量和通信数据量，减少了传感器装置1的功耗，并且加速了在安装传感器装置1的整个系统中关于对象检测的图像分析。

图9示出了作为区域剪切分析的传感器装置1的计算单元8的处理示例。将参考图10依次描述该处理。

在步骤S201中，计算单元8(关键帧选择单元81)确定它是否是对象检测关键帧记录时间。

对象检测关键帧记录时间是指在用于对象检测的阵列传感器2的整个有效像素区域中获取信息的时间。

对象检测关键帧记录时间可以由例如来自传感器装置1(例如，处理器11)外部的命令来确定。例如，假设响应于60秒的指令，以60秒的间隔确定对象检测关键帧记录时间。

当对象检测关键帧记录时间已经到达时，计算单元8前进到步骤S202，并且获取阵列传感器2的整个有效像素区域中的AD转换图像数据。例如，ADC/像素选择器3为整个有效像素区域从阵列传感器2输出一帧的图像信号。

在步骤S203中，计算单元8(对象区域识别单元82)检测获取的图像中的对象的候选位置。

如图10中的A所示，例如，当选择帧F1，作为对象检测关键帧时，计算单元8(对象区域识别单元82)检测帧F1的图像中的对象的候选区域23。在这种情况下，包括“人”和“树”的图像的区域被检测为候选区域23。

在图9的步骤S204中，计算单元8(类别识别单元83)将检测为候选的对象分类成类别。

例如，如图10中的B所示，对候选区域23中的对象执行诸如“人”和“树”等类别识别。

在图9的步骤S205中，计算单元8确认作为类别识别结果获得的类别中是否存在目标类别。

例如，在“人”是目标类别的情况下，如图10中的B所示，目标类别作为识别的类别存在。在这种情况下，计算单元8从图9中的步骤S205前进到步骤S206。

另一方面，在目标类别不存在的情况下，计算单元8返回到步骤S201，并等待下一个对象检测关键帧记录时间。

在图9的步骤S206中，计算单元8(对象区域识别单元82)计算包围被分类为目标类别的对象的区域的具有精确位置坐标的边界框20。

例如，图10中的C示出了作为目标类别的人的图像的边界框20的示例。即，边界框20被计算为对应于目标类别的对象的更准确的区域。

在图9的步骤S207中，计算单元8(对象区域识别单元82)基于边界框20计算ROI。

图10中的D示出了ROI 21和边界框20。通过放大边界框20的垂直(ax×by)和水平尺寸(x×y)来计算ROI 21。放大比例a和b可以在垂直和水平方向分别设置。虽然放大率可以是固定的，但是也可以设想放大率是从传感器装置1(例如，处理器11)的外部指定的。

计算单元8(对象区域识别单元82)将如此计算的ROI传输到ADC/像素选择器3。

响应于ROI的传输，ADC/像素选择器3模数转换并仅输出对应于阵列传感器2中的ROI 21的像素。

在图9的步骤S208中，计算单元8获取仅包括ROI 21中的像素的信息的下一帧的图像数据。然后，计算单元8对获取的帧执行步骤S203和S204中的处理。

图10中的E示意性地示出了仅对所有有效像素中的ROI 21中的像素执行模数转换(在图10中，由网格分隔的每个正方形表示一个像素)。

通过这种模数转换，计算单元8获取仅具有如图10中的F所示的ROI 21的一部分的信息的帧F2的图像。

然后，在图9的步骤S203和S204中，计算单元8检测对象候选位置并对帧F2的图像进行分类。例如，在图10中的F的情况下，由于检测到人，所以处理前进到步骤S206和S207，计算新的边界框20并基于边界框20计算新的ROI 21。图10中的F将新获得的ROI示为“ROI21(新)”。

注意，边界框20扩展，并且生成ROI 21，以应对作为对象的对象的移动(或者成像装置的对象方向的变化)。

例如，图10中的E中的帧F2中的人的位置从图10中的A中的帧F1中的人的位置向右改变。然而，由于ROI 21被设置得更宽，所以即使只有ROI 21中的像素，获取帧F2中的目标人的图像的可能性也增加了。

注意，ROI 21扩展边界框20，使得即使在下一帧中也可以检测到目标对象，但是可以设想，当扩展垂直(ax×by)和水平尺寸(x×y)时的放大比例a和b可以对应于帧速率。

例如，当帧速率低时，帧之间的时间变长，并且对象(例如，人)的移动量变大，因此可以设想比当帧速率高时扩展ROI 21。

此外，针对每一帧重新计算ROI 21(生成新的ROI 21(新))，以应对作为对象的对象的移动(或成像装置的对象方向的变化)。

与图10中的F中的图像相比，由于人的运动，在ROI 21中的正确位置检测到人。因此，通过重新计算围绕人的区域的边界框20并获得ROI 21，ROI被更新，以跟随人的运动，如在ROI 21(新)中。

在步骤S207中，计算单元8将新的ROI 21(新)发送到ADC/像素选择器3。结果，在下一帧中，只有新的ROI 21(新)中的像素被模数转换(见图10中的G)。

类似地，在步骤S208中，计算单元8仅获取ROI 21(新)中的像素的信息的图像信号，并执行步骤S203和后续步骤的处理。

重复这样的处理，直到在步骤S205中确定目标类别不存在。因此，例如，由于根据作为对象的人来更新ROI 21的位置，所以即使人的位置移动，如在图10中的H中的帧Fn中，也可以基于在前一帧F(n-1)(未示出)中计算的ROI 21来获取包括人的区域的信息的帧Fn的图像信号。

如果检测到的人在框架之外，并且变得不能被检测到，则目标类别变得不能被获取。因此，计算单元8从步骤S205返回到S201，并等待下一对象检测关键帧记录时间。

通过执行如上所述的区域剪切分析处理，在对象检测关键帧记录时间的关键帧的图像信号包括所有有效像素的数据，而在随后的帧中，只有对象检测所需的像素包括在数据量极大减少的图像信号中，由此可以获得适于检测目标对象的图像。此外，可以实现由于阵列传感器2中读取的像素数量的减少而导致的功耗的减少。

注意，在图9中的处理示例的情况下，为一个目标类别的每个对象设置ROI 21，并且从阵列传感器2读取对应于每个对象的ROI 21的区域，该ROI 21的区域限于在对象检测关键帧中检测到的对象。例如，即使新对象(例如，人)在帧F2和F3的时间作为对象出现，也可能无法获取该人的图像。

例如，如果使用的目的是以特定的时间间隔跟踪和分析在对象检测关键帧中找到的对象，这不是问题。然而，在用于监视作为对象出现的所有人的监视系统的情况下，例如，希望检测出现在除了对象检测关键帧之外的帧中的对象。

因此，例如，即使继续检测目标类别的对象(即，即使在步骤S205中继续确定“是”)，也可以设想，总是以预定的时间间隔返回到步骤S202，并且获取所有有效像素的图像信号。

同样有利的是，可以从处理器11等指定用于获取所有有效像素的图像信号的时间间隔。

或者，也可以设想，总是将图像的外围边缘设置为与ROI 21分开的AD转换目标区域，并且当新对象作为对象进入帧中时检测新对象，并且为新对象设置ROI 21。

已经描述了通过扩展边界框20将ROI 21设置为矩形区域的示例。然而，ROI 21不限于矩形区域。

可以使用例如语义分割，即，像素级的对象区域检测，从该目标类别的对象的区域计算ROI 21。

图11示出了基于语义分割的ROI 21。这是通过扩展作为对象(例如，人)的像素区域来设置非矩形ROI 21的示例。

例如，存在一些矩形ROI 21中不包括某些部分或者矩形ROI 21太大的情况，例如，带有突起的轨道，或者骑自行车的人。如果根据像素级的对象位置生成非矩形ROI 21，则可以增加获得既实现数据量的减少又实现必要信息的获取的ROI 21的可能性。

注意，通过结合第一实施例的分类图像适配处理执行第二实施例的区域剪切，可以更有效地获得减少数据量和提高检测精度的效果。

<4.第三实施例：使用AROI进行区域剪切>

使用高级ROI(也写成“AROI”)的区域剪切将被描述为可由具有图1所示的配置的传感器装置1执行的第三实施例的处理。

AROI集根据类别使用模板的ROI集。

阵列传感器2(图像传感器)在光电转换中消耗最大的功率。因此，为了降低功耗，希望尽可能减少要光电转换的像素的数量。

此外，由于阵列传感器2获得的图像信号用于图像分析并且不被人看到，所以图像不需要是人可见和可识别的或者清晰的图像。换言之，能够准确检测对象的图像是重要的。

例如，在第二实施例中，对检测到的对象执行类别识别。如果以这种方式执行类别识别，则只需要将根据类别进行识别的最小区域设置为ROI。因此，设置了如图12和13所示的AROI 22。

图12示出了使用对应于人的图像区域的类别“人”的模板生成的AROI 22。图12中的网格指示像素，并且暗像素被假设为由AROI指定的像素。

例如，对应于类别“人”的模板具有在面部以高密度排列的必要像素和在身体部分以低密度排列的必要像素，以覆盖整个图像区域。

此外，图13示出了使用对应于类别“汽车”的模板生成的AROI 22。在该示例中，模板适用于汽车的后部图像，并且在牌照所在的部分中具有以高密度排列的必要像素，在另一部分中具有以低密度排列的必要像素，以覆盖整个图像区域。

在实践中，可以设想将类别“人”的模板细分为“转过头去的人”、“面向前方的人”、“坐着的人”等，或者也可以设想将类别“汽车”的模板细分为“侧像”、“前像”、“后像”等。

这样，根据类别选择模板，并且根据实际帧中的区域大小缩放模板，以生成AROI22。

图14示出了使用AROI 22的处理示例。

注意，由于步骤S201至S206是与图9中的处理类似的处理，所以避免了冗余描述。

在步骤S206中，计算单元8(对象区域识别单元82)在目标类别的对象存在于在对象检测关键帧记录时间获得的所有有效像素的图像信号中的情况下计算边界框20。

然后，在步骤S210，计算单元8(参数选择单元84)选择基于类别预先计算和存储的AROI模板。

例如，在“人”是目标类别并且图像中存在人的情况下，选择“人”的模板。

在步骤S211中，计算单元8(对象区域识别单元82)基于边界框20计算AROI 22。

例如，通过根据边界框20的大小调整模板的大小来获得AROI 22。

然后，计算单元8(对象区域识别单元82)将AROI 22(AROI的图案和区域)发送到ADC/像素选择器3。

响应于AROI的传输，ADC/像素选择器3模数转换并仅输出阵列传感器2中对应于AROI 22的像素。

在步骤S212中，计算单元8获取仅包括AROI 22中的像素的信息的下一帧的图像数据。然后，计算单元8对获取的帧执行步骤S203和S204中的处理。

处理的后续流程类似于图9中描述的流程。

通过以这种方式使用根据类别设置的模板来生成AROI 22，即使要被光电转换的像素的数量显著减少，也可以获得根据类别能够准确检测对象的信息。

注意，已经在第二实施例中描述的确保对象检测关键帧记录时间总是以特定时间间隔发生并且图像的外围边缘总是被设置为AD转换目标区域的方法也可以应用于第三实施例。

此外，通过结合第一实施例的分类图像适配处理使用第三实施例的AROI 22执行区域剪切，可以更有效地获得减少数据量和提高检测精度的效果。

<5.第四实施例：智能压缩>

智能压缩处理将被描述为可由具有图1中的配置的传感器装置1执行的第四实施例的处理。

智能压缩就是识别出要检测的对象，以低压缩率压缩对象，以高压缩率压缩非对象区域。

图15示出了一个具体示例。

图15中的A示出了在从某一帧的图像中检测到作为目标类别的类别“汽车”的情况下，对应于每个汽车区域生成ROI 21的状态。

图15中的B示出了通过以低压缩率压缩ROI 21的区域并以高压缩率压缩另一区域而获得的图像信号。

通过这样做，减少了分析数据量和通信数据量，而不会降低作为应用目标的对象检测的精度

此外，减少了传感器装置1的功耗，并且加速了关于安装传感器装置1的整个系统中的对象检测的图像分析。

图16示出了智能压缩处理的示例。

注意，步骤S201至S206是与图9中的处理类似的处理。由于智能压缩处理具有与上述区域剪切情况略有不同的点，因此将描述该点的处理。

在步骤S201中，计算单元8(关键帧选择单元81)确定它是否是对象检测关键帧记录时间。

当对象检测关键帧记录时间已经到达时，计算单元8前进到步骤S202，并且获取阵列传感器2的整个有效像素区域中的模数转换图像数据。

注意，在智能压缩的情况下，ADC/像素选择器3针对每一帧从阵列传感器2读取(执行模数转换)所有像素的信号。

计算单元8(对象区域识别单元82)检测在步骤S201中获取的图像中的对象的候选位置。然后，在步骤S204中，计算单元8(类别识别单元83)将检测到的对象分类为候选。

在步骤S205中，计算单元8确认在作为类别识别结果获得的类别中是否存在目标类别。

在步骤S206中，计算单元8(对象区域识别单元82)在目标类别的对象存在于在对象检测关键帧记录时间获得的所有有效像素的图像信号中的情况下计算边界框20。

在步骤S220中，计算单元8(对象区域识别单元82)基于边界框20计算ROI 21。例如，即使在这种情况下，也可以设想，扩展边界框20并设置ROI 21。

计算单元8(对象区域识别单元82)将如此计算的ROI 21发送到逻辑单元5。

作为响应，在步骤S221中，逻辑单元5以低压缩率对与ROI 21的内部相对应的像素区域执行压缩处理，并且以高压缩率对从阵列传感器2读取的图像信号的另一像素区域执行压缩处理。

压缩的图像信号然后被写入DRAM 6，并由接口单元7传送到处理器11。

处理器11可以以高精度执行对象检测，因为由ROI 21指定的必要区域以低压缩率被压缩，并且存在足够的信息。

作为计算单元8的处理，在步骤S220之后，处理返回到步骤S203，检测下一帧的对象的候选位置，并且在步骤S204中执行检测到的对象的类别识别。

在第四实施例中，从阵列传感器2读取每帧中的所有有效像素。因此，在步骤S220或S211之后处理返回到步骤S203的情况下，计算单元8可以在步骤S203中扫描所有有效像素的范围，以检测对象候选。通过扫描所有有效像素的范围，来检测候选对象，总是有可能在关键帧记录时间期间处理新目标类别对象的出现。

在这种情况下，如果计算单元8仅在ROI 21的区域中检测到候选对象，则可以减少计算单元8上的处理负荷。

响应于目标类别存在的确认，计算单元8在步骤S206和S220中更新ROI 21。

因此，逻辑单元5中以低压缩率压缩的区域也根据每个帧中对象的位置进行更新。

在步骤S205中确定不存在目标类别的情况下，计算单元8的处理返回到步骤S202，并等待对象检测关键帧记录时间。

通过图16中的处理，执行以低压缩率压缩分析所需的部分(即，目标类别对象存在的ROI 21)并以高压缩率压缩其他区域的智能压缩处理。

注意，已经在第二实施例中描述的确保对象检测关键帧记录时间总是以特定时间间隔发生并且基于语义分割生成感兴趣区域也可以应用于第四实施例。

此外，通过结合第一实施例的分类图像适配处理来执行第四实施例的智能压缩处理，可以更有效地获得减少数据量和提高检测精度的效果。

<6.第五实施例：主动采样>

主动采样将被描述为可由具有图1所示的配置的传感器装置1执行的第五实施例的处理。

主动采样是指根据对象的存在与否动态改变帧速率的处理。主动采样可以说是根据对象的存在与否在时间轴方向上压缩数据量。此外，可以降低传感器装置1的功耗。

将参考图17描述主动采样的概述。

现在，假设从捕捉的图像中检测到人，其中，目标类别是“人”。例如，假设使用监控摄像机通过入口拍摄建筑物的外部。

图17中的A示出了捕捉图像中不包括人的状态。在这种情况下，帧速率被设置为低速率，例如，1fps。

图17中的B示出了在捕捉图像中检测到人的状态。在这种情况下，帧速率被改变为更高的速率，例如，100fps。

即，通过动态地改变帧速率，限制检测目标，当特别不需要时(当没有检测到人时)降低帧速率，当需要时(当检测到人时)增加帧速率，从而使信息量密集。

图18示出了主动采样的处理示例。

例如，在步骤S301中，计算单元8(关键帧选择单元81)根据预先存储在计算单元8中的空闲模式的设置来设置ADC/像素选择器3中的运动图像捕捉设置。

例如，在计算单元8中，参数选择单元84存储空闲模式设置和正常模式设置。

主动采样提供空闲模式和正常模式。空闲模式是在确认捕捉的屏幕中的目标类别对象的输入之前的模式。

在空闲模式下，以比正常模式慢的帧速率捕捉运动图像。

可以设想，通过来自传感器装置1外部的命令来启动空闲模式。此外，空闲模式可以响应于来自传感器装置1外部的空闲模式数据获取时间间隔的命令而启动。例如，在60秒的指令的情况下，以60秒的间隔设置对象检测关键帧记录时间。

正常模式是正常的运动图像捕捉模式。例如，正常模式以正常模式数据获取时间间隔从传感器装置1的外部响应命令。

在正常模式中，通常以比空闲模式更快的帧速率捕捉运动图像。例如，在0.01秒的指令的情况下，以0.01秒(100fps)的间隔捕捉图像。

因此，在步骤S301中，计算单元8指示ADC/像素选择器3设置空闲模式，使得如果空闲模式被设置为1fsp，则以1秒的间隔捕捉运动图像。

注意，空闲模式设置和正常模式设置不一定存储在计算单元8中，而是可以存储在计算单元8的外部存储器中。

空闲模式和正常模式下的帧速率就是示例。

此外，空闲模式和正常模式的设定值理想地可从外部装置(例如，处理器11)重写。

在步骤S302中，计算单元8(对象区域识别单元82)检测获取的图像中的对象的候选位置。

在步骤S303中，计算单元8(类别识别单元83)将检测为候选的对象分类成类别。

在步骤S304中，计算单元8确认作为类别识别结果而获得的类别中是否存在目标类别。

当不存在目标类别时，计算单元8执行步骤S301、S302和S303的处理。即，计算单元8在空闲模式下获取下一帧的图像，并且类似地检测对象的候选位置并识别类别。在这种情况下，例如，假设以1fps捕捉图像，在1秒之后对图像执行该处理。

例如，在“人”被设置为目标类别并且“人”作为识别的类别存在的情况下，计算单元8将处理从步骤S304移动到步骤S305。

计算单元8(关键帧选择单元81)根据存储的正常模式设置在ADC/像素选择器3中设置移动捕捉设置，并指示ADC/像素选择器3以正常模式捕捉图像。

因此，如果正常模式被设置为100fsp，则例如以0.01秒的间隔捕捉运动图像。

在模式被切换到正常模式的状态下，计算单元8执行步骤S302和S303的处理。

然后，只要目标类别存在于捕捉的图像中，正常模式就继续，而当目标类别不再存在并且正常模式被切换到空闲模式时，处理返回到步骤S301。

如上所述执行作为主动采样的处理。因此，降低了帧速率，并且压缩了数据量，尤其是在目标类别不存在的时间段期间，从而降低了功耗。

尽管计算单元8指示ADC/像素选择器3改变帧速率，以使帧速率可变，但是计算单元8可以指示逻辑单元5转换帧速率。

例如，从阵列传感器2的读取总是以100fps执行，并且在空闲模式下，指示逻辑单元5精简帧。因此，可以减少关于传输到处理器11的数据量。

注意，通过组合主动采样处理和第二、第三或第四实施例，在不降低检测精度的情况下减少数据量的更有效效果。

此外，通过组合第一实施例的主动采样处理和分类图像适配处理，除了数据量的有效减少之外，还可以提高检测精度。

<7.第六实施例：通过阈值设置的图像适配>

图像适配处理将被描述为第六实施例的处理。在此处描述的示例是将根据阈值设置的参数改变的思想添加到第一实施例的分类图像适配处理的示例。

作为在此处提到的参数的示例，采用在逻辑单元5中的图像处理中使用的参数，并且设置(调整或改变)在逻辑单元5中使用的图像处理的参数，以满足例如在传感器装置1中设置的阈值。

此外，作为参数，还采用成像处理中使用的参数，例如，由ADC/像素选择器3读取的信号或由阵列传感器2进行的曝光操作。设置(调整或改变)ADC/像素选择器3或阵列传感器2的成像处理操作的控制参数，以满足例如在传感器装置1中设置的阈值。

在上述第一实施例中，根据类别识别选择逻辑单元5中使用的参数。可以根据阈值设置(调整或改变)选定的参数。

或者，参数不必限于基于类别识别选择的参数，并且可以设想，基于阈值设置参数，只要这些参数是在逻辑单元5、ADC/像素选择器3或阵列传感器2中使用的参数。

将描述基于阈值自动设置的与成像处理相关的参数和与图像处理相关的参数的具体示例。

例如，与图像处理相关的参数示例如下：

-图像纵横比；

-分辨率；

-颜色等级的数量(颜色的数量或位深度)；

-对比度调整值；

-清晰度调整值；

-灰度级调整值；

-伽马校正值；以及

-采样率转换比率。

图像纵横比和分辨率参数也反映在ROI 21中。

颜色等级的数量、对比度调整值、清晰度调整值、灰度级调整值、伽马校正值和分辨率是与图像质量相关的参数。

采样率转换比率是时间分辨率的一个参数。

此外，与成像处理相关的参数包括：

-采样率；

-分辨率(例如，在读取ADC/像素选择器3时设置的分辨率)；

-阵列传感器2的快门速度(曝光时间)；

等。

当然，基于阈值自动设置的参数包括上述参数之外的参数。

例如，在处理器11基于使用深度神经网络(DNN)的学习来执行数据检测的情况下，根据参数的阈值的这种设置用于减少数据量、加快处理、降低功耗等，同时确保对象检测的输出的实际精度。

即，通过改变诸如分辨率和颜色数量等参数来减少成像数据量。然而，即使降低了，对象检测的精度也保持在要求的水平。

将参考图19描述基于阈值设置参数的思想。

例如，假设在传感器装置1对人成像的情况下，具有阵列传感器2的所有像素(所有有效像素)的信息的全色图像数据以每秒60帧(fps)的帧率输出，作为输出图像。

然后，假设在处理器11对这样的图像数据执行对象检测的情况下，例如，能够以98％的比率正确地检测到人，并且置信率CR＝0.98。置信率是能够正确识别和检测对象的确定率。

同时，假设在分辨率稍微降低的图像数据中，颜色等级的数量稍微降低，并且输出帧速率被设置为30fps的情况下，获得置信率CR＝0.92。

同时，假设在分辨率进一步降低的图像数据中，颜色等级的数量进一步降低，并且输出帧速率被设置为15fps的情况下，获得置信率CR＝0.81。

此外，假设在分辨率显著降低的图像数据中，颜色等级的数量显著降低，并且输出帧速率被设置为10fps的情况下，获得置信率CR＝0.58。

上述示例仅仅是用于描述的示例，但是置信率通过改变关于成像或图像质量的参数而变化，例如，以这种方式分析的图像数据的分辨率、颜色数量和时间分辨率。即图像分析和对象检测的精度发生变化。

顺便提及，对象检测的置信率不能太高。实际上，并不总是要求最高的比率。

例如，当考虑如图7中的A所示的从鸟瞰图捕捉公园而获得的图像中粗略检测人数的情况时，不需要那么高的精度。例如，在获得诸如几个人、大约10个人、大约20个人等的检测结果的情况下，CR＝0.6左右的置信率可能是足够的。

另一方面，在用安全摄像机等严格监视人的入侵的情况下，可能需要置信率CR＝0.95左右。

此外，可以在白天使用置信率CR＝0.70，但是可以在晚上请求置信率CR＝0.90左右。

即，对象检测精度所需的置信率CR根据各种因素而不同，例如，检测的目的、目标、装置/应用程序的类型、时间和区域。

此外，置信率根据处理器11的分析能力和学习程度而变化，并且还根据检测目标和类别而变化。

根据这些事实，例如，通过基于所需的适当置信率确定阈值并相应地改变参数，可以输出满足诸如对象检测等要求的图像信号。

现在，在图19的示例中，假设需要置信率CR＝0.80或更高。

在这种情况下，计算作为置信率CR的阈值变为0.80或更大的参数，并且设置逻辑单元5等中使用的参数。特别地，设置高于阈值但具有相对少量数据的参数。

例如，设置诸如分辨率、颜色等级数量和帧速率之类的参数，其中，示出的置信率CR＝0.81。

然后，与例如设置参数以获得置信率CR＝0.98并且输出图像信号的情况相比，可以显著减少数据量并且可以保持所需的对象检测精度。

注意，“阈值”可以被认为是作为置信率的要求值，但是在为参数调整计算的阈值的意义上，“阈值”可以被认为是用于获得作为“阈值”的要求置信率的参数值。

即，在技术意义上，作为“设置参数的阈值并使得执行使用基于阈值设置的参数的处理”的处理，采用以下处理方法[1]和[2]。

[1]计算指标值的阈值，例如，适合于使用模式或使用环境的置信率，并且设置要实际用作参数值的参数，以获得超过指标值的阈值的指标值。即，从对象检测的指标值的观点来设定参数的阈值。

[2]计算用于获得所需值作为指标值的参数的阈值，例如，置信率，并基于该阈值设置要实际使用的参数。即，参数的阈值是从参数本身的值的角度来设置的。

在本实施例中，例如，基于置信率将阈值设置为[1]或[2]，并且将实际使用的参数适于使图像数据量尽可能小。实时计算这些参数(例如，在成像期间周期性地计算)，并且参数动态改变。

例如，通过根据传感器装置1的应用、目标类别或成像环境通过DNN处理来计算适当的阈值和相应的参数，并改变参数，实现了速度的提高、功耗的降低以及适应于应用等的高精度。

具体地，在描述为第六实施例的示例中，执行参数调整，使得提供基于对象检测的置信率的阈值，并且计算接近阈值并且不低于阈值的参数的设定值。

此外，为每个类别设置阈值和相应的参数是合适的。

图20中的A示出了分类为“人脸”的图像，作为类别，图20中的B示出了分类为“路标”的图像，作为类别。

图20中的A示出了在人脸的情况下，当图像信号是8位RGB数据的16777216种颜色并且数据量是1.5MB时，置信率是CR＝0.99，当图像信号是8位灰度色调的256种颜色并且数据量是540KB时，置信率是CR＝0.75，并且当图像信号是黑色和白色两种颜色的数据并且数据量是180KB时，置信率是CR＝0.58。

例如，在这种情况下，当人脸的阈值是置信率CR＝0.74时，右侧的图像是不合适的，并且中心图像的参数适合作为参数设置。

图20中的B示出了在路标的情况下，当图像信号是16777216种颜色的8位RGB数据并且数据量是1.4MB时，置信率是CR＝0.99，当图像信号是256色的8位灰度色调并且数据量是520KB时，置信率是CR＝0.95，并且当图像信号是黑色和白色两种颜色的数据并且数据量是110KB时，置信率是CR＝0.88。

例如，在这种情况下，当路标的阈值是置信率CR＝0.85时，任何图像都是合适的。右侧图像的参数适合作为参数设置。

例如，如上所述，由于检测精度和图像信号质量所需的精度根据对象的类别而不同，因此设置阈值并根据类别改变参数是合适的。

在下文中，将描述第六实施例的具体示例。

首先，图21示出了传感器装置1的配置示例。注意，与图1中相同的组件被赋予相同的附图标记，并且避免了冗余描述。

图21中的配置与图1的不同之处在于，例如，阈值设置单元85被设置为被配置为AI处理器的计算单元8中的计算功能。

阈值设置单元85具有作为DNN引擎的功能，并且执行为逻辑单元5的图像处理中使用的所有或一些参数设置参数阈值的处理或者关于阵列传感器2的成像的成像处理(阵列传感器2和ADC/像素选择器3的处理)。

此外，阈值设置单元85使得逻辑单元5、阵列传感器2和ADC/像素选择器3中的全部或一些使用基于阈值改变的参数来执行处理。

具体地，例如，阈值设置单元85基于阈值改变逻辑单元5中用于图像处理的参数，并且在逻辑单元5中设置改变的参数。

或者，阈值设置单元85基于阈值改变用于成像处理的参数，例如，阵列传感器2的曝光操作以及ADC/像素选择器3的读取处理和模数转换处理，并且在阵列传感器2和ADC/像素选择器3中设置改变的参数。

图22示出了传感器装置1的计算单元8的处理示例。图22示出了将上述阈值设置单元85的处理添加到图5中的分类图像适配处理的示例。在图22中，与图5中相同的处理被赋予相同的步骤编号，并且省略其描述。

在图22中，作为阈值设置单元85的处理的步骤S150和S151被添加到图5中的处理。

在步骤S150中，计算单元8确定它是否是阈值计算时间，并且在它是阈值计算时间的情况下前进到步骤S151，或者在它不是阈值计算时间的情况下前进到步骤S101。

阈值计算时间例如是以下时间：

a.每个预定的时间间隔：例如，从成像开始的每个小时；

b.每个预定的设定时间：例如，每0：00am；

c.预定目标类别的每出现次数：例如，目标类别的每1000次出现；

d.预定目标类别的每个成像时间：例如，目标类别被成像的每五个小时；以及

e.通过外部命令的时间：来自安装传感器装置1的装置/设备侧(例如，处理器11)的指令。

例如，当在步骤S150中确定这些时间等并且阈值计算时间已经到达时，计算单元8在步骤S151中根据阈值计算策略计算阈值。即，确定阈值并设置根据该阈值的参数。

该阈值计算策略(阈值)根据计算阈值时所关注的成像处理或图像处理的参数的类型被分成若干策略，并且根据应用而不同。示例如下。

-使用置信率的下降曲线的拐点

当降低分辨率时，有减少数据大小和计算成本的优点，但相反，置信率通常降低。

在图23中的A中，横轴表示分辨率，纵轴表示置信率。

如图23中的A所示，在等于或低于某一分辨率(拐点)的低分辨率下，置信率大大降低。因此，例如，在改变分辨率的同时获得置信率和分辨率之间的关系的曲线的拐点。考虑到拐点或拐点附近，作为阈值，执行参数设置以降低分辨率。

-使用置信率的最大值

在对象检测的分类中，当根据类别的颜色数量大时，置信率不一定高，并且存在根据目标类别的使置信率最大化的最佳颜色数量。

在图23中的B中，横轴表示颜色等级的数量，纵轴表示置信率。

在如图23中的B所示观察到置信率峰值的情况下，基于最大值计算阈值。例如，最大值(置信率和颜色等级数量之间的关系曲线的峰值)被认为是阈值，或者接近最大值的预定范围(例如，通过降低置信率的预定百分比获得的值)被认为是阈值。然后，根据阈值设置颜色等级数量的参数。

-使用剩余的电池电量

基于剩余电池电量获得启用N小时成像的参数设置，并且参数被设置为使置信率最高(或等于或大于指定值)。

例如，可以设想，根据剩余电池电量降低诸如置信率等阈值，从而可以获得尽可能长的成像时间，并根据置信率设置参数。

-使用可以保持对象跟踪的时间分辨率

对象跟踪是在帧行进方向上的连续图像信号的帧中跟踪和识别特定的检测对象(对象)。

通常，随着图像信号的时间分辨率降低，关于对象跟踪的计算成本增加。

将能够维持目标跟踪的参数设置为阈值，通过优先降低对象跟踪的计算成本，来确定时间分辨率等参数。

例如，采用上述示例中的一种策略，并且通过预定算法计算阈值。图24示出了计算单元8的阈值计算处理的示例。

图24中的计算单元8的处理是由图21所示的作为对象区域识别单元82、类别识别单元83和阈值设置单元85的功能执行的处理。

在步骤S160中，计算单元8从阵列传感器2获取以一帧为单位的图像信号。

在步骤S161中，计算单元8(对象区域识别单元82)检测获取的帧中的对象的候选位置。

即，计算单元8在帧图像中搜索要检测的候选对象，并获得一个或多个候选位置(图像中的位置坐标)。

在步骤S162中，计算单元8(类别识别单元83)将检测到的对象分类成类别。即，计算单元8为每个候选对象识别和分类类别。

在步骤S163中，计算单元8确认作为类别识别结果获得的类别中是否存在目标类别。

目标类别例如是如上所述由处理器11设置的类别。即，采用处理器11中针对对象检测的类别。

在不存在目标类别的情况下，计算单元8返回到步骤S160并获取下一帧的图像数据。

在存在目标类别的情况下，计算单元8将处理从步骤S163移动到步骤S164。

在处理前进到步骤S164的情况下，计算单元8(对象区域识别单元82)计算分类到类别中的对象区域周围的准确位置坐标(边界框20)。边界框20如参考图6中的F、6中的G等所述。

在步骤S165中，计算单元8(阈值设置单元85)计算要在成像处理或图像处理中使用的阈值和参数，同时根据预先设置的阈值计算策略为边界框20包围的目标类别改变阈值和参数。

在步骤S166中，计算单元8(阈值设置单元85)将在步骤S165中计算的阈值和参数、目标类别和阈值计算策略彼此关联地记录下来。

例如，信息记录在计算单元8内部的记录区域中，记录在存储器6的预定区域中，或者被传送到处理器11，用于记录。

由此，根据目标类别设置阈值和参数。

例如，在图22的步骤S151中，如上所述设置阈值和参数。因此，每当阈值计算时间到达时，为某个目标类别设置的参数就会改变。

例如，在人是目标类别的情况下，根据阈值改变与人对应的参数集的所有或一些参数。

由于图22中的步骤S101至S107类似于图5中的处理，因此在这种情况下根据目标类别选择参数集。然后，在步骤S107中，在逻辑单元5中设置参数集。

逻辑单元5中设置的参数集是适用于目标类别的参数集，但是是基于在步骤S151的处理中计算的阈值而改变的参数集。

计算单元8(阈值设置单元85)执行必要的处理，例如，将参数传送到逻辑单元5或改变指令，使得要在逻辑单元5中使用的参数以这种方式改变。

由此，关于图像处理或成像处理的参数被设置为具有基于阈值尽可能小的图像数据量的值。

因此，从接口单元7输出的图像信号可以具有能够保持处理器11所需的对象检测精度的图像质量等，并且可以具有小的数据量。

注意，以上图22中的处理示例是将基于阈值设置的参数改变的思想添加到图5中的分类图像适配处理的示例。然而，该思想不一定必须与分类图像适配处理相结合。

例如，可以设想仅步骤S150、S151、S107和S108的处理示例(在图22中取消步骤S101至S107的处理示例)。

即，在步骤S151中，基于阈值计算来设置要在逻辑单元5中的图像处理中使用的参数或者要在阵列传感器2或ADC/像素选择器3中的成像处理中使用的参数。

然后，在步骤S107时，在逻辑单元5、阵列传感器2或ADC/像素选择器3中设置根据阈值设置的参数。

即，计算单元8(阈值设置单元85)将根据阈值设置的参数传送到逻辑单元5、阵列传感器2和ADC/像素选择器3中的一些或全部，或者给出改变指令。

在这种情况下，实现例如基于阈值依次改变逻辑单元5、阵列传感器2和ADC/像素选择器3中默认设置的参数的处理，而不是使用根据类别设置的参数的想法。

具有阈值设置单元85的配置不限于图21中的配置，也可以设想如图25和26中的配置示例。

图25示出了计算单元8作为终端装置100与传感器装置1分开设置的配置示例。注意，作为终端装置100，可以设想诸如信息处理终端和成像装置终端等各种装置。

计算单元8被设置在终端装置100中，作为与传感器装置1分离的芯片，并且可以经由接口单元7与传感器装置1通信。

然后，计算单元8包括用作阈值设置的DNN引擎的阈值设置单元85。

由此，图25中的计算单元8也可以执行与上述图22中的情况类似的处理。

注意，图25所示的配置示例也可以应用于根据第一至第五实施例的图1中的配置示例。计算单元8可以与传感器装置1分离。

图26中的配置示例是用作用于阈值设置的DNN引擎的阈值计算单元85由独立于传感器装置1和计算单元8的处理器等形成的示例。

例如，图26中的配置示例是包括传感器装置1(包括计算单元8)、处理器11、外部传感器12和阈值设置单元85作为终端装置100的配置。

即使在这种情况下，阈值设置单元85也可以经由接口单元7与传感器装置1通信，并且可以与计算单元8协作，来执行与上述图22类似的处理。

此外，尽管未示出，但是在传感器装置1和计算单元8是如图26所示的不同配置的配置中，阈值设置单元85可以进一步由单独的处理器等配置。

注意，类似于阈值设置单元85，可以设想，将关键帧选择单元81、对象区域识别单元82、类别识别单元83、参数选择单元84等设置在传感器装置1外部或计算单元8外部。这一点也可以作为图1所示配置的修改来应用。

<8.第七实施例：有效区域剪辑>

使用第二实施例的ROI实现更有效处理的示例将被描述为第七实施例。

注意，下面的第七实施例的处理可以应用于图1、21、25和26所示的任何配置。

在第二实施例中，如图7和图8所示，已经描述了为要检测的对象设置ROI 21，并且仅从阵列传感器2读取被设置为ROI 21的区域中的像素的示例。

注意，聚焦被设置为集中在图像中的特定区域中的ROI 21的区域。

图27中的A示出了建筑物中的监视摄像机的图像的示例。假设ROI 21被设置为检测人。图27示出了边界框20在图像中的位置，这些位置是在图像中过去的预定时间段内设置的ROI 21的基础。

例如，在这种情况下，边界框20(和ROI 21)的设置位置在过去的预定时间段内位于图像中靠近地板的区域中。

换言之，由于在图像中天花板附近的区域中没有人出现，所以可以说没有必要在天花板附近的图像区域中执行人检测处理。

因此，例如，如图27中的B所示，要被检测的“人”出现的区域(即，在过去的预定时间段中已经设置了边界框20的区域)被设置为有效区域RA，而要被检测的“人”没有出现的区域(即，在过去的预定时间段中没有设置边界框20的区域)被设置为非有效区域DA。

图28中的A示出了用于监视作为要在高速公路上检测的对象的汽车的监视摄像机的图像的示例，并且示出了在过去的预定时间段中设置的边界框20的位置。

同样在这种情况下，由于汽车出现在路面附近，所以可以如图27中的B所示设置有效区域RA和非有效区域DA。

如图27中的B或28中的B中的上述示例中那样设置有源区域RA，并且由阵列传感器2从捕捉像素中的有源区域RA的检测信号中检测对象。然后，与第二实施例中一样，基于对象检测生成的ROI 21的指令被提供给信号处理单元30，作为与检测信号的获取或检测信号的信号处理相关的区域。

即，对于对象检测关键帧，基于对象检测的历史信息部分地执行光电转换，而不是全屏扫描，并且检测对象。

注意，在第二实施例的处理中，对象检测关键帧是在用于对象检测的阵列传感器2的整个有效像素区域中获取信息的帧。仅在关键帧中的有效区域RA的像素区域中获取信息是第七实施例的处理。

图29示出了计算单元8的处理示例。注意，与图9中相同的处理被赋予相同的步骤编号。

在步骤S250中，计算单元8确定是否是关键帧的有效区域的计算时间，并且在它是计算时间的情况下前进到步骤S161，或者在它不是阈值计算时间的情况下前进到步骤S201。

关键帧的有效区域RA的计算时间可以如下，例如：

a.每个预定的时间间隔：例如，从成像开始的每个小时；

b.每个预定的设定时间：例如，每0：00am；

c.预定目标类别的每出现次数：例如，目标类别的每1000次出现；

d.预定目标类别的每个捕捉时间：例如，目标类别被成像的每五个小时；以及

e.通过外部命令的时间：来自安装传感器装置1的装置/设备侧(例如处理器11)的指令。

在是计算时间并且处理前进到步骤S161的情况下，计算单元8计算关键帧的有效区域RA。

图30示出了计算关键帧的有效区域RA的处理的示例。

在步骤S271中，计算单元8(对象区域识别单元82)计算阵列传感器2上的出现区域的像素，其中，目标类别的边界框20已经在过去的预定时间段中出现。

在这种情况下，每个出现的边界框20中的所有像素都是出现区域的像素。设置以包围方式围绕所有出现的边界框20的范围，并且该范围中的所有像素可以被设置为出现区域的像素。

此外，以包围方式围绕所有出现的边界框20的范围可以在外围方向上扩展，并且扩展范围中的所有像素可以被设置为出现区域的像素。

以这种方式计算的包括边界框20的所有出现区域的像素范围是有效区域RA。

在步骤S272中，计算单元8(对象区域识别单元82)将计算出的像素区域与类别名称一起记录为关键帧的有效区域RA。例如，信息记录在计算单元8内部的记录区域中，记录在存储器6的预定区域中，或者被传送到处理器11，用于记录。

由此，设置了根据目标类别的有效区域RA。

在图29的步骤S201中，计算单元8(关键帧选择单元81)在步骤S201中确定是否是对象检测关键帧记录时间。

类似于第二实施例(图9)，对象检测关键帧记录时间是指从用于对象检测的阵列传感器2获取信息的时间。

对象检测关键帧记录时间可以由例如来自传感器装置1(例如，处理器11)外部的命令来确定。例如，假设响应于60秒的指令，以60秒的间隔确定对象检测关键帧记录时间。

当对象检测关键帧记录时间已经到达时，计算单元8前进到步骤S252，并且获取阵列传感器2的有效区域RA的像素的经模数转换的图像数据。例如，ADC/像素选择器3为有源区域RA从阵列传感器2输出一帧的图像信号。

在步骤S203中，计算单元8(对象区域识别单元82)检测获取的图像中的对象的候选位置。步骤S203至S208类似于图9中的步骤。

根据图29中的处理，步骤S203中的对象检测可以仅在有效区域RA中执行，而不是在一帧的整个有效像素区域中执行。然后，有效区域RA是可以检测目标类别对象的区域。换言之，在除了有效区域RA之外的区域中，目标类别对象检测几乎是不可能的。

因此，例如，通过减少要读取的像素数和减少对象检测关键帧的检测范围，可以实现有效的处理和功耗的减少。

注意，在上述示例中，基于边界框20的历史来设置有效区域RA。然而，可以基于ROI21的历史来设置有效区域RA。在这种情况下，可以设想包括针对每一帧移动的ROI(图10中描述的ROI 21(新))的像素位置的历史。

<9.第八实施例：阈值设置和使用AROI的区域剪切>

作为第八实施例，将描述作为第三实施例描述的使用AROI 22进一步提高区域剪切效率的处理示例。注意，第八实施例的处理可以以图21、25和26中的任何配置来执行。

在第八实施例中，在利用使用模板的AROI 22的情况下，例如，针对要检测的对象(类别)或部分，基于设置的阈值来设置参数。即，采用第六实施例的阈值的思想，并且基于由DNN计算的对象检测的正确回答率来确定阈值，并且设置参数。

例如，根据使用置信率设置的阈值来确定AROI 22中感兴趣区域的分辨率分布。

图31示意性地示出了一个示例。考虑人是目标类别的情况和脸是目标类别的情况。

假设满足第一分辨率>第二分辨率>第三分辨率。

面部检测的置信率CR在第一分辨率下为0.95，在第二分辨率下为0.86，在第三分辨率下为0.66。

人(体)检测的置信率CR在第一分辨率下为0.98，在第二分辨率下为0.81，在第三分辨率下为0.65。

在用于面部检测的阈值thF为0.85的情况下，选择第二分辨率，作为适于使图像数据量尽可能小的参数，并且对模板中的像素执行图像处理。

此外，在用于面部检测的阈值thP为0.80的情况下，选择第二分辨率，作为适于使图像数据量尽可能小的参数，并且对模板中的像素执行图像处理。

在这两种情况下，第二分辨率都是有利的。然而，在一些情况下，在阈值thF为0.94的面部检测的情况下设置第一分辨率，或者在阈值thP为0.60的人体检测的情况下设置第三分辨率。

即，在使用AROI 22的情况下，为每个目标类别设置阈值，并且为AROI 22中的像素设置图像处理、读出处理或其他处理的参数。

图32示出了计算单元8的处理示例。

图32中的步骤S250和S251类似于图29中的步骤S250和S251，并且计算单元8在关键帧的有效区域RA的检测时间计算有效区域RA(图30中的处理)。

步骤S260和S261类似于图22中的步骤S150和S151。即，在步骤S260中，计算单元8(阈值设置单元85)确定它是否是阈值计算时间，并且在它是步骤S261中的阈值计算时间的情况下计算阈值(图24中的处理)。

作为这种情况下的图24中的阈值计算处理，计算单元8(对象区域识别单元82)类似于以上描述执行步骤S160至S164。然后，在步骤S165中，计算单元8(阈值设置单元85)基于来自对应于作为模板的AROI图案的像素区域的数据的置信率来计算阈值，同时改变由边界框20包围的目标类别的分辨率。

在这种情况下，对于作为根据类别的模板的AROI模式，根据阈值设置参数。例如，设置AROI图案上的区域的分辨率。

然后，在步骤S166中，阈值、目标类别、AROI模式、必要参数和阈值计算策略信息被彼此关联地记录。例如，信息记录在计算单元8内部的记录区域中，记录在存储器6的预定区域中，或者被传送到处理器11，用于记录。

在图32的步骤S201中，计算单元8确定是否是对象检测关键帧记录时间，并且当对象检测关键帧记录时间已经到达时，计算单元8前进到步骤S252，并且获取阵列传感器2的有效区域RA的像素的经模数转换的图像数据。例如，ADC/像素选择器3为有源区域RA从阵列传感器2输出一帧的图像信号。

在步骤S203中，计算单元8(对象区域识别单元82)检测获取的图像中的对象的候选位置。步骤S203至S206类似于图9中的步骤。

在步骤S206中计算边界框20之后，计算单元8(参数选择单元84)在步骤S262中选择基于阈值计算并记录的AROI图案。

在步骤S211中，计算单元8(对象区域识别单元82)基于边界框20计算实际AROI22。即，获得对应于所选AROI图案的实际像素区域。例如，通过根据边界框20的大小调整模板的大小来获得AROI 22。

然后，计算单元8(对象区域识别单元82)将AROI 22(AROI的图案和区域)发送到ADC/像素选择器3。

响应于AROI的传输，ADC/像素选择器3模数转换并仅输出阵列传感器2中对应于AROI 22的像素。

在步骤S212中，计算单元8获取仅包括AROI 22中的像素的信息的下一帧的图像数据。然后，计算单元8对获取的帧执行步骤S203和S204中的处理。

如上所述，例如，根据AROI 22的置信率来设置参数，并且设置诸如分辨率等参数，由此可以在保持对象检测精度的同时有效地进行成像处理和图像处理。

<10.第九实施例：通过阈值设置的主动采样>

将描述将基于由DNN计算的对象检测的正确回答率来确定时间分辨率的方法添加到第五实施例中描述的主动采样方法的示例，作为第九实施例。

即，基于目标类别的每单位时间的平均移动量来执行动态改变帧速率的处理。

注意，第九实施例的处理可以以图21、25和26中的任何配置来执行。

在上述第五实施例中，准备正常模式和空闲模式，并且在捕捉图像中没有检测到目标类别的存在的时间段期间，将低帧速率设置为空闲模式。然后，当确认目标类别的存在时，增加帧速率，作为正常模式，以使信息量密集。

在第九实施例中，除了处理之外，根据目标类别来设置正常模式下的帧速率。

图33中的A示出了在传感器装置1用于捕捉公路的监视摄像机的情况下的图像的示例。目标类别是汽车，并且示出了边界框20。虚线箭头表示汽车的行驶方向。

图33中的B示出了作为连续帧中的图像中的边界框20的位置(像素位置)的变化的捕捉的汽车的移动量。当在许多汽车中考虑这样的移动量时，假设平均移动量是1152像素/秒。

在这种情况下，假设能够保持对象跟踪(在连续帧图像上跟踪对象)的采样率是46fps。

图34中的A示出了在传感器装置1用于建筑物中的监视摄像机的情况下的图像的示例。目标类别是人，并且示出了边界框20。虚线箭头表示人的移动方向。

图34中的B示出了作为连续帧中的图像中的边界框20的位置(像素位置)的变化的捕捉的人的移动量。当考虑许多人的这种移动量时，假设平均移动量是192像素/秒。

在这种情况下，假设能够保持对象跟踪的帧速率是5fps。

例如，如上所述，在目标类别是汽车的情况和目标类别是人的情况之间，可以保持对象跟踪的帧速率不同。

然后，通过根据目标类别的DNN获得能够保持对象跟踪的帧速率，并且获得阈值(允许的帧速率下限)，使得在跟踪对象的同时能够保持对象检测的精度。

注意，根据阵列传感器2的读取时间的设置或ADC/像素选择器3的采样速率的设置来确定帧速率。

图35示出了计算单元8的处理示例。

步骤S350和S351类似于图22中的步骤S150和S151。即，在步骤S350中，计算单元8(阈值设置单元85)确定它是否是阈值计算时间，并且在它是步骤S351中的阈值计算时间的情况下，计算阈值(图24中的处理)。

作为这种情况下的图24中的阈值计算处理，计算单元8(对象区域识别单元82)类似于以上描述执行步骤S160至S164。然后，在步骤S165中，计算单元8(阈值设置单元85)计算能够在改变由边界框20包围的目标类别的帧速率的同时保持对象跟踪的阈值(用作阈值的帧速率)。

此后，在步骤S166中，计算单元8(阈值设置单元85)彼此关联地记录在步骤S165中计算的阈值、目标类别和用于计算阈值的阈值计算策略信息。例如，信息记录在计算单元8内部的记录区域中，记录在存储器6的预定区域中，或者被传送到处理器11，用于记录。

由此，例如，设置基于根据目标类别的阈值的参数，即能够保持尽可能低的对象跟踪的帧速率值。

图35中的步骤S301至S106类似于图18中的步骤。

例如，在步骤S301中，计算单元8(关键帧选择单元81)根据预先存储在计算单元8中的空闲模式的设置来设置ADC/像素选择器3中的运动图像捕捉设置。

因此，如果空闲模式被设置为1fsp，则例如以1秒的间隔捕捉运动图像。

在步骤S302中，计算单元8(对象区域识别单元82)检测获取的图像中的对象的候选位置。

在步骤S303中，计算单元8(类别识别单元83)将检测为候选的对象分类成类别。

在步骤S304中，计算单元8确认作为类别识别结果获得的类别中是否存在目标类别。

当不存在目标类别时，计算单元8经由步骤S350和S351重复步骤S301、S302和S303的处理。

在处理期间，当阈值计算时间已经到达时，执行步骤S351的处理。

在步骤S304中确定目标类别存在的情况下，计算单元8将处理从步骤S304移动到步骤S352。

计算单元8(关键帧选择单元81)将步骤S351中的处理中存储的参数设置为正常模式设置，并且根据存储的正常模式设置在ADC/像素选择器3中设置移动捕捉设置，并且指示ADC/像素选择器3以正常模式捕捉图像。

例如，在目标类别是人的情况下，如图34C所示，对象跟踪可以保持在5fps，并且帧率＝5fps，正常模式下的帧率设置为5fps。

在模式被切换到正常模式的状态下，计算单元8执行步骤S302和S303的处理。

然后，只要目标类别存在于捕捉的图像中，正常模式就继续，而当目标类别不再存在并且正常模式被切换到空闲模式时，处理经由步骤S350和S351返回到步骤S301。

如上所述执行作为主动采样的处理。因此，降低了帧速率，并且压缩了数据量，尤其是在目标类别不存在的时间段期间，从而降低了功耗。

此外，即使在正常模式下，也以根据目标类别适配的帧速率执行处理。因此，根据类别(例如，5fps以上)，帧速率相当低。因此，即使在正常模式下，数据量也被压缩，并且功耗降低。

尽管计算单元8指示ADC/像素选择器3改变帧速率，以使帧速率可变，但是计算单元8可以指示逻辑单元5转换帧速率。

例如，从阵列传感器2的读取总是以100fps执行，但是指示逻辑单元5根据在空闲模式和正常模式中设置的参数来精简帧。因此，可以减少关于传输到处理器11的数据量。

<11.移动体的应用示例>

根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以实现为安装在任何类型的移动体物上的装置，包括汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动设备、飞机、无人机、轮船、机器人等。

图36是示出作为可应用根据本公开的技术的移动体控制系统的示例的车辆控制系统的示意性配置示例的框图。

车辆控制系统12000包括通过通信网络12001连接的多个电子控制单元。在图36所示的示例中，车辆控制系统12000包括驾驶系统控制单元12010、车身系统控制单元12020、车辆外部信息检测单元12030、车辆内部信息检测单元12040和集成控制单元12050。此外，作为集成控制单元12050的功能配置，示出了微型计算机12051、声像输出单元12052和车载网络接口(I/F)12053。

驾驶系统控制单元12010根据各种程序控制关于车辆驾驶系统的装置的操作。例如，驾驶系统控制单元12010用作用于产生车辆驱动力的驱动力产生装置的控制装置(例如，内燃机或驱动马达)、用于将驱动力传输到车轮的驱动力传递机构、调节车辆转向角的转向机构、产生车辆制动力的制动装置等。

车身系统控制单元12020根据各种程序控制装配在车身中的各种装置的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、自动车窗装置以及各种灯(例如，前照灯、倒车灯、刹车灯、转向信号灯和雾灯)的控制装置。在这种情况下，从替代按键的移动装置传输的无线电波或各种开关的信号可以输入到车身系统控制单元12020。车身系统控制单元12020接收无线电波或信号的输入，并控制车辆的门锁装置、自动车窗装置、灯等。

车辆外部信息检测单元12030检测安装有车辆控制系统12000的车辆外部的信息。例如，成像单元12031连接到车辆外部信息检测单元12030。车辆外部信息检测单元12030使成像单元12031捕捉车辆外部的图像，并接收捕捉的图像。车辆外部信息检测单元12030可以基于接收到的图像对人、车辆、障碍物、标志、路面上的字母等执行对象检测处理或距离检测处理。

成像单元12031是接收光并根据光的光接收量输出电信号的光学传感器。成像单元12031可以输出电信号，作为图像，并且可以输出电信号，作为距离测量的信息。此外，由成像单元12031接收的光可以是可见光或者可以是诸如红外光等不可见光。

车辆内部信息检测单元12040检测车辆内部的信息。例如，检测驾驶员状态的驾驶员状态检测单元12041连接到车辆内部信息检测单元12040。驾驶员状态检测单元12041包括例如捕捉驾驶员的相机，并且车辆内部信息检测单元12040可以计算驾驶员的疲劳程度或集中程度，或者可以基于从驾驶员状态检测单元12041输入的检测信息来确定驾驶员是否睡着。

微型计算机12051基于在车辆外部信息检测单元12030或车辆内部信息检测单元12040中获取的车辆外部和内部的信息来计算驱动力产生装置、转向机构或制动装置的控制目标值，并且能够向驾驶系统控制单元12010输出控制命令。例如，微型计算机12051可以执行协作控制，以实现高级驾驶员辅助系统(ADAS)功能，包括车辆的碰撞避免或冲击减轻、基于车辆间隙的跟随行驶、车辆速度保持行驶、车辆的碰撞警告、车辆的车道偏离警告等。

此外，微型计算机12051基于在车辆外部信息检测单元12030或车辆内部信息检测单元12040中获取的车辆附近的信息来控制驱动力产生装置、转向机构、制动装置等，以执行协作控制，用于自动驾驶自主行驶的目的，而不依赖于驾驶员等的操作。

此外，微型计算机12051可以基于在车辆外部信息检测单元12030中获取的车辆外部信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051可以执行协作控制，以实现无眩光的目的，例如，通过根据在车辆外部信息检测单元12030中检测到的前方车辆或迎面而来的车辆的位置来控制前照灯，并且将远光切换到近光。

声音图像输出单元12052将声音或图像中的至少一个的输出信号传输到输出装置，该输出装置可以视觉和听觉地向车辆的乘客或车辆外部通知信息。在图32的示例中，作为输出装置，示例性地示出了音频扬声器12061、显示单元12062和仪表板12063。显示单元12062可以包括例如车载显示器或平视显示器中的至少一种。

图37是示出成像单元12031的安装位置的示例的示图。

在图37中，包括成像单元12101、12102、12103、12104和12105，作为成像单元12031。

例如，成像单元12101、12102、12103、12104和12105设置在例如车辆12100内部的前鼻、侧镜、后保险杠或后门、挡风玻璃的上部等位置。设置在前鼻处的成像单元12101和设置在车辆内部挡风玻璃上部的成像单元12105主要获取车辆12100的前方图像。设置在侧镜处的成像单元12102和12103主要获取车辆12100的侧面图像。设置在后保险杠或后门处的成像单元12104主要获取车辆12100的背面图像。设置在车辆内部挡风玻璃上部的成像单元12105主要用于检测前方车辆、行人、障碍物、交通信号、交通标志、车道等。

注意，图37示出了成像单元12101至12104的成像范围的示例。成像范围12111表示设置在前鼻处的成像单元12101的成像范围，成像范围12112和12113分别表示设置在侧镜处的成像单元12102和12103的成像范围，成像范围12114表示设置在后保险杠或后门处的成像单元12104的成像范围。例如，可以通过叠加由成像单元12101至12104捕捉的图像数据来获得从上方观看的车辆12100的鸟瞰图像。

成像单元12101至12104中的至少一个可以具有获取距离信息的功能。例如，成像单元12101至12104中的至少一个可以是包括多个成像元件的立体相机，或者可以是具有用于相位差检测的像素的图像传感器。

例如，微型计算机12051基于从成像单元12101至12104获得的距离信息，获得到成像范围12111至12114中的三维物体的距离以及距离的时间变化(到车辆12100的相对速度)，从而特别提取在行驶道路上最靠近车辆12100并且以预定速度(例如，0km/h或更高)在与作为前方车辆的车辆12100基本相同的方向上行驶的三维物体。此外，微型计算机12051可以预先设置要与前方车辆确保的车间距，并且执行自动制动控制(包括跟随停止控制)和自动加速控制(包括跟随启动控制)等。以这种方式，可以执行用于自动驾驶自主行驶的目的的协作控制，而不依赖于驾驶员的操作等。

例如，微型计算机12051基于从成像单元12101至12104获得的距离信息，将关于三维对象的三维对象数据分类为两轮车辆、普通汽车、大型车辆、行人和要提取的其他三维对象，例如，电线杆，并且可以使用该数据来自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物区分为车辆12100的驾驶员视觉上可识别的障碍物和驾驶员视觉上不可识别的障碍物。然后，微型计算机12051确定指示与每个障碍物碰撞的风险的碰撞风险，并且在碰撞风险为设定值或更大并且存在碰撞可能性的情况下，通过音频扬声器12061或显示单元12062向驾驶员输出警告，并且通过驾驶系统控制单元12010执行强制减速或避免转向，可以执行用于避免碰撞的驾驶辅助。

成像单元12101至12104中的至少一个可以是检测红外光的红外相机。例如，微型计算机12051确定在成像单元12101至12104的捕捉图像中是否存在行人，从而识别行人。通过提取成像单元12101至12104(例如，红外相机)的捕捉图像中的特征点的过程以及通过对指示物体轮廓的一系列特征点执行模式匹配处理并确定物体是否是行人的过程，来执行行人的这种识别。当微型计算机12051确定在成像单元12101至12104的捕捉图像中存在行人并且识别该行人时，声音图像输出单元12052使显示单元12062叠加并显示用于强调识别的行人的方形轮廓线。此外，声像输出单元12052可以使显示单元12062在期望的位置显示表示行人的图标等。

已经描述了根据本公开的技术适用的车辆控制系统的示例。根据本公开的技术适用于例如上述配置的成像单元12031。具体地，作为安装在成像单元12031上的图像传感器，应用本公开的传感器装置1，并且可以执行分割图像适配、区域剪切、智能压缩和主动采样中的一些或全部。因此，例如，适于检测车辆外部信息的图像处理以及通过适当减少信息量而不降低检测精度来减少处理负荷成为可能。

<12.结论和修改>

在上述实施例中，可以获得以下效果。

如第一和第六实施例中所述，传感器装置1包括阵列传感器2、逻辑单元5(图像处理单元)和计算单元8，在阵列传感器2中以一维或二维方式设置多个可见光或不可见光成像元件，逻辑单元5使用对通过阵列传感器2中的成像而获得的图像信号给出指令的参数来执行图像处理。计算单元8对从通过阵列传感器2中的成像而获得的图像信号中检测到的对象执行类别识别，基于所识别的类别选择要用于图像处理的参数，并且使用所选择的参数为逻辑单元5执行处理设置。

即，逻辑单元5对阵列传感器2获得的图像信号应用图像处理。基于图像信号中检测到的对象的类别识别来设置图像处理的参数。

在从图像中检测对象的情况下，人感知到高质量的图像不一定是具有高识别精度的图像。此外，期望的图像质量根据要识别的对象的类别而不同。即，应用根据正常参数设置的图像处理以具有视觉上高质量的图像不一定是适合于对象检测的图像质量。此外，期望的图像处理参数根据要识别的对象的类别而不同。

因此，预先为每个类别存储参数集，并且根据捕捉图像中检测到的对象的类别识别来选择要使用的参数集。结果，执行适合于检测目标对象的图像处理。根据已经对其执行了这种图像处理的图像，可以提高对象检测精度。

此外，由于对象检测所期望的图像质量调整不同于人感觉漂亮的图像质量调整，所以例如不使用用于给予漂亮优先权的模糊过滤器。因此，设置的参数通常会降低处理负荷。

此外，数据量通常根据根据类别的参数(例如，与灰度变化和压缩相关的参数)而减少，并且在这种情况下，可以避免由于处理器11侧的高计算负荷或整个系统的功耗增加而导致的处理延迟。

每个实施例的传感器装置1包括接口单元7(输出单元)，接口单元7将由逻辑单元5(图像处理单元)处理的图像信号输出到外部装置。

传感器装置1通过内部逻辑单元5根据对象的类别执行图像处理，并且将图像信号发送并输出到处理器11(图5中的步骤S108)，从而消除了在处理器11中为了改善对象检测而进行图像质量调整的需要。因此，可以在降低处理器11的处理负荷的同时高精度地检测对象。

此外，基于类别识别选择的参数集不一定是用于获得人视觉识别的最高图像质量的参数集。在某些情况下，要处理的图像的数据量会减少。即，不一定输出由人观看的具有最高图像质量的图像，而是输出具有适合于由处理器识别的对象的图像质量的图像，并且在某些情况下，可以减少要传输的图像信号的数据量。

因此，可以降低通信成本，而不会降低对象检测的精度。还改善了在云中执行计算处理的情况下的传输延迟。

已经描述了该实施例的接口单元7(输出单元)还发送关于输出图像信号的类别识别的信息(图5中的步骤S108)。

结果，例如，输出目的地处理器11或云AI处理器可以在识别类别之后检测对象，并且可以执行更精确的对象检测。

在第一和第六实施例中，已经陈述了计算单元8执行在图像信号的一帧中检测待检测对象的候选的对象区域的对象区域识别处理、识别在对象区域识别处理中检测到的对象区域中的对象的类别识别处理、以及基于类别识别处理的识别结果选择参数并执行逻辑单元5的处理设置的参数选择处理(参见图1和图5)。

即，计算单元8包括执行对象区域识别处理的对象区域识别单元82、执行类别识别处理的类别识别单元83和执行参数选择处理的参数选择单元84，从而实现从图像信号的一帧开始的对象候选检测、类别识别和基于类别识别的参数选择。

在第一和第六实施例中，计算单元8执行在图像信号的一帧中检测要检测的对象的候选的对象区域的对象区域识别处理、识别在对象区域识别处理中检测的对象区域中的对象的类别识别处理、确定在类别识别处理中识别的类别中是否存在目标类别的处理以及在目标类别存在的情况下基于目标类别的类别识别结果选择参数并执行逻辑单元5的处理设置的参数选择处理(参见图1、5和22)。

通过确定目标类别的存在，可以有效地执行基于要识别的对象的类别的参数选择。换言之，由于不执行基于非目标对象的检测的参数选择，由于不存在不必要的参数选择、存在有效的处理以及不存在不必要的参数设置，可以提高目标对象的图像识别精度。

在第一和第六实施例中，可以设置多个目标类别，并且在多个目标类别的对象存在于一个帧中的情况下，基于所选择的一个目标类别来执行参数选择处理(参见图5和图22中的步骤S106)。

通过使多个目标类别可设置，可以应对多个类别的对象的图像识别。

此外，在多个目标类别的对象存在于一个帧中的情况下，可以通过例如通过选择主导或主要目标类别，使得基于一个目标类别执行参数选择，来选择适当的参数集。

此外，在第一或第六实施例(图5或22中的步骤S105和S106)中，已经描述了针对对应于目标类别的对象区域计算围绕对象的边界框20并且在存在多个目标类别的情况下使用边界框20的区域选择一个目标类别的示例。

在存在多个目标类别的对象的情况下，每个对象的区域由边界框20指定，并且获得每个目标类别的对象的一帧中的主要区域，从而可以确定优先化的目标类别。因此，可以适当地选择参数。

在第一和第六实施例中，已经描述了计算单元8基于所识别的类别选择包括为每个类别设置的多个参数的参数集的示例。即，预先存储包括逻辑单元的各种类型的处理的参数集，作为集合，并且在逻辑单元中选择和设置该参数集(参见图4、5和22中的步骤S107)。

因此，适合于目标类别的多个参数可以根据逻辑单元5的各种类型的图像处理被设置为参数。

在第一实施例中，已经描述了参数集是通过使用对应于每个类别的对象的图像进行深度学习而获得的多个参数的集合的示例。

例如，通过使用人物图像作为训练数据的深度学习来获得人物识别的图像识别率高的图像处理的参数，并且将获得的参数的参数集设置为对应于“人”类别的参数集(参见图4)。

由此，可以准备适合于每个类别的参数集，并且可以通过参数集的选择来选择适合于目标图像识别的参数。

在第一和第六实施例中，已经描述了计算单元8对通过阵列传感器2中的成像而获得的图像信号中用作关键帧的帧执行类别识别，并且基于所识别的类别选择要在图像处理中使用的参数的示例(参见图5和22中的步骤S101和S102)。

通过以关键帧而不是所有帧为目标，计算单元8上的处理负荷不会变得过大。此外，通过基于适当的选择算法选择关键帧，可以保持执行适当参数选择的状态。

在第一和第六实施例中，已经描述了关键帧是预定时间间隔的帧的示例。

因此，周期性地执行参数选择。例如，通过以30秒的间隔选择一帧作为关键帧，计算单元8的处理不会过多，并且可以保持适当的参数设置。

注意，关键帧的间隔理想地根据各种情况来设置，例如，用于图像识别的目标对象、传感器装置1的使用环境、使用目的以及配备有传感器装置1的装置的类型。

此外，已经描述了关键帧是处于基于来自外部装置的命令的时间的帧的情况。

例如，在图像输出目的地，根据来自处理器11等的指令设置关键帧。由此，可以根据例如图像信号的输出目的地的装置的识别处理的目的和关于类别识别的信息来执行关键帧选择和参数选择。例如，根据配备有传感器装置1的装置的类型和用途来设置关键帧。

在这种情况下，例如，采用车载装置，关键帧可以在汽车开始行驶时以密集的间隔设置。

作为图像信号的图像处理，每个实施例的逻辑单元5执行颜色校正、伽马校正、颜色灰度处理、增益处理、轮廓增强处理、数据压缩处理、帧速率转换、分辨率转换、纵横比转换、对比度调整处理、清晰度调整处理、灰度级调整处理、采样率变化处理等。

通过上述处理来执行图像质量调整和数据量转换。由于执行了用于图像质量调整和数据量转换的参数设置，所以执行了适合于待识别对象的类别的图像质量调整和数据大小调整(分辨率、帧速率等)。结果，获得了变得适合于目标类别的对象检测的图像和数据大小，并且抑制了不必要的高图像质量和数据量的增加，从而有助于降低通信成本、提高处理速度、提高对象检测精度等。

已经描述了每个实施例的接口单元7(输出单元)响应于外部装置的请求，输出由逻辑单元5处理的图像信号、识别的类别的信息、检测到的对象的数量以及目标类别的存在或不存在的信息中的任何或全部。这是第一至第五实施例的常见操作。

即，接口单元7响应于来自处理器11、云处理器等的请求，从由逻辑单元5处理的图像信号中输出处理器11所需的信息、由计算单元8识别的类别信息、对象的数量以及目标类别的存在或不存在的信息。结果，可以避免不必要的信息传送，可以减少通信量，并且可以减少功耗。

另外，可以根据处理器11等中的处理来提供信息。

尽管在每个实施例中图像信号是目标，但是假设阵列传感器2是声波检测元件阵列或触觉传感器元件阵列。在这种情况下，接口单元7响应外部装置的请求输出上述传感器的检测信号(逻辑单元5处理后的检测信号)。

如第二、第三、第四、第七和第八实施例中所述，传感器装置1包括具有以一维或二维形式排列的多个检测元件的阵列传感器2、获取阵列传感器2的检测信号并执行信号处理的信号处理单元30、以及计算单元8，该计算单元8从阵列传感器2的检测信号中检测对象，并向信号处理单元30给出关于基于对象(ROI 21或AROI 22)的检测而生成的区域信息的指令，作为关于从阵列传感器2获取检测信号或检测信号的信号处理的区域信息。

即，由阵列传感器2获得的检测信号由信号处理单元30处理并从接口单元7输出。基于对象的检测来设置关于从阵列传感器2获取检测信号或在信号处理单元30中对检测信号进行信号处理的区域信息。

在如实施例中那样从图像中检测对象的情况下，不总是需要每个帧的所有像素的信息。例如，在检测人的情况下，在帧中捕捉人的区域的检测信息是足够的。因此，基于计算单元8中的对象检测和信号处理单元30的处理(即，通过ADC/像素选择器3从阵列传感器2获取检测信号)来生成ROI 21或AROI 22，并且使用ROI 21或AROI 22来执行逻辑单元5中的压缩处理。

结果，可以实现要处理的数据量的减少、处理速度的提高，并且可以获得不降低检测精度的图像信号。

注意，不仅可以对图像信号执行对象检测，还可以对从阵列传感器获得的检测信号(例如，声波检测信号或触觉检测信号)执行对象检测，并且可以向信号处理单元给出关于基于对象检测生成的区域信息的指令，作为关于从阵列传感器获取检测信号或检测信号的信号处理的区域信息。

结果，即使在使用声波传感器阵列或接触传感器阵列的情况下，也可以实现要处理的数据量的减少和处理速度的提高，并且可以获得不降低检测精度的获得检测信号的效果。

在第二、第三、第四、第七和第八实施例的情况下，接口单元7(输出单元)将由信号处理单元30处理的检测信号输出到外部装置。

由于通过使用ROI 21或AROI 22仅对一些像素进行模数转换而获得的图像信号或者使用ROI 21对每个区域具有改变的压缩率的图像信号被输出到处理器11等，所以要传输的数据量显著减少。结果，可以降低通信成本并缩短传输时间。然后，由于包括了对象检测所需的信息，所以不会降低处理器11等中的对象检测的精度。此外，由于数据量减少，处理器11上的处理负荷也减少。

此外，可以避免由于处理器11侧的高计算负荷和整个系统的功耗增加而导致的处理延迟。

在每个实施例中，信号处理单元30包括ADC/像素选择器3(获取单元)，其选择性地从阵列传感器2的检测元件获取检测信号。

然后，在第二、第三、第七和第八实施例中，ADC/像素选择器3从计算单元8获取基于ROI 21或AROI 22选择的检测元件的检测信号，作为检测信号的一帧(见图9、14、29和32)。

ADC/像素选择器3仅在由ROI 21或AROI 22指定的范围内从已经检测到对象的下一帧模数转换并获取光电转换信号，由此可以显著减少一帧的数据量。通过基于对象检测设置ROI 21或AROI 22，可以适当地获得对象检测所需的像素信息。

在第二、第三、第七和第八实施例中，描述了一个示例，其中，计算单元8在ADC/像素选择器3(获取单元)不通过区域信息(ROI 21或AROI 22)选择检测元件的状态下对从阵列传感器2获得的检测信号执行对象检测，并且向信号处理单元30给出关于基于对象检测生成的ROI 21或AROI 22的指令，作为用于由ADC/像素选择器3从阵列传感器2获取后续帧的检测信号的区域信息(参见图9、14、29和32)。

通过从包括一帧的所有有效像素的图像信号执行对象检测，可以准确地检测捕捉图像中要检测的对象。然后，基于检测到的对象生成ROI 21或AROI 22，并将其提供给ADC/像素选择器3，由此可以从下一帧中仅获得对象检测所需的像素的信息。因此，可以在减少数据量的同时获取适当的检测信息(必要像素的信息)。

在第二、第三、第七和第八实施例中，描述了一个示例，其中，在ADC/像素选择器3已经通过ROI 21或AROI 22选择了检测元件的状态下，计算单元8对从阵列传感器2获得的检测信号执行对象检测，基于对象检测再生区域信息，并向信号处理单元30给出关于再生区域信息的指令，作为用于通过ADC/像素选择器3从阵列传感器2获取后续帧的检测信号的区域信息(参见图9、14、29和32以及图10中的步骤S203)。

通过从仅具有一些像素信息的图像信号的帧中执行对象检测，可以根据对象位置的变化来修改ROI 21或AROI 22。因此，在随后的帧中，由ADC/像素选择器3获取的区域随着图像中对象(例如，人)的移动而改变。即，即使目标对象的位置在每一帧的图像中改变，也可以在每一帧的改变之后的位置选择和读取像素。因此，如果帧前进，同时减少数据量，则可以继续获得适当的检测信息(像素信息)的状态。

在第二、第三、第七和第八实施例中，在ADC/像素选择器3已经通过ROI 21或AROI22选择了检测元件的状态下，计算单元8对从阵列传感器2获得的检测信号执行对象检测，并且在没有检测到目标对象的情况下，在ADC/像素选择器3没有在后续帧中通过ROI 21或AROI 22选择检测元件的状态下，给出关于从阵列传感器2获取检测信号的指令(参见图9、14、29和32中的步骤S205、S201和S202)。

即，当在仅从阵列传感器2获取了一些检测元件的信息的帧中不再检测到目标对象时，计算单元8将获取单元中的检测信号的获取返回到正常状态。

结果，状态返回到从包括一帧的所有有效像素的图像信号执行对象检测的状态，并且可以在整个捕捉图像中再次执行目标对象检测。即，可以监控整个图像。

在第二、第三、第四、第七和第八实施例中，已经描述了一个示例，其中，计算单元8获得包围由阵列传感器2从检测信号检测到的对象的区域的边界框20，并且基于边界框20生成作为区域信息的ROI 21或AROI 22(参见图9、14、16、29和32)。

通过由对象检测生成边界框20并从边界框20生成ROI 21或AROI 22，可以根据图像中目标对象的位置生成ROI 21或AROI 22。结果，可以适当地选择下一帧中的读出像素。

在第二、第四、第七和第八实施例中，计算单元8扩展边界框20，以生成ROI 21(参见图9、图16、图29和图32)。

边界框20包围当前帧中对象的区域，但是在后续帧中对象的位置有可能改变。因此，边界框20被扩展，以生成ROI 21。

因此，可以增加包括对象作为在下一帧中获得的信息(经模数转换的像素的信号)的可能性。即，可以继续尽可能多地读取包括必要信息的像素。

在第二实施例的描述中，已经描述了计算单元8检测对象的逐个检测元素地确定区域并生成区域信息的示例(参见图11)。

即，基于语义分割生成ROI 21。由此，也产生了非矩形的ROI 21。

在某些情况下，当一个区域被依赖于对象的矩形剪切时，会缺少信息。例如，如果被矩形夹住，具有突起的卡车或骑自行车的人可能具有突起部分，覆盖突起部分的ROI 21变得不必要的大，并且数据减少效果降低。因此，所需区域在像素级是可选择的。因此，能够以最小的数据量获取必要的信息。

这种基于语义分割的ROI 21在第四实施例中设置具有低压缩率的区域的情况下也是有用的。

在第二、第三、第四、第七和第八实施例中，计算单元8在从阵列传感器2获得的检测信号中的对象检测关键帧记录时间对帧(关键帧)执行对象检测，并且基于对象检测生成区域信息(参见图9、14、16、29和32中的步骤S201)。

通过以关键帧而不是所有帧为目标，计算单元8上的处理负荷不会变得过大。此外，通过基于适当的选择算法选择关键帧，可以保持执行适当参数选择的状态。

同样在这种情况下，关键帧是以预定时间间隔的或处于基于来自外部装置的命令的时间的帧。

例如，通过根据配备有传感器装置1的装置的类型和目的来设置关键帧，在装置或应用所需的时间对帧的所有像素执行对象检测，并且可以在后续帧中减少数据量。

在第二、第三、第四、第七和第八实施例中，计算单元8对从阵列传感器2获得的检测信号中检测到的对象执行类别分类，确定分类的类别是否是目标类别，并生成对应于目标类别的对象的区域信息(ROI 21或AROI 22)(参见图9、14、16、29和32中的步骤S204和S205)。

通过确定目标类别的存在，并使用目标类别的目标区域的目标类别来生成ROI 21或AROI 22，可以准确地生成用于获得待检测对象的信息的区域信息。

在第三和第八实施例中，已经描述了一个示例，其中，计算单元8对从阵列传感器2获得的检测信号中检测到的对象执行类别识别，并且使用与识别的类别对应的模板生成与对象对应的区域信息(AROI 22)(参见图14中的S210和S211以及图32中的S262和S211)。

通过使用对应于该类别的模板，能够生成适应于每个类别不同的重要区域的AROI22。

特别地，在使用成像元件形成阵列传感器2的情况下，光电转换中的功耗最大。在这种情况下，希望尽可能减少要光电转换的像素的数量。通过根据模板缩小要被光电转换的像素，可以有效地减少数据量而不影响检测精度。特别地，图像不由人观看，并且处理器11可准确识别的图像比人感觉漂亮的图像更重要。指定了要使用模板进行光电转换并转换成数字数据的像素的图像适用于具有小数据量的有效对象检测。

此外，模板指示每个类别的检测信号的获取区域。

例如，模板指示根据每个类别(例如，“人”或“汽车”)在阵列传感器的检测元件中从其获取检测信息的检测元件(见图12和13)。

通过使用指定对应于类别的要读取的像素的模板，可以从阵列传感器2读取每个类别的适当信息。特别地，如图12和13中的示例所示，由于一些部分(面部和牌照部分)被致密化，所以可以集中地获取每个类别的特别必要的部分的信息。

在第四实施例中，在信号处理单元30中，逻辑单元5对来自阵列传感器2的检测信号执行压缩处理，并且逻辑单元5基于来自计算单元8的区域信息以针对每个区域不同的压缩率执行压缩处理的示例(参见图16)。

因此，信号处理单元30(逻辑单元5)可以通过区分帧中重要区域和不重要区域之间的压缩率来执行数据压缩，以不减少重要信息。

此外，逻辑单元5在由区域信息指定的区域中以低压缩率执行压缩处理，并且在其他区域中以高压缩率执行压缩处理(参见图16)。

信号处理单元30(逻辑单元5)在由ROI 21指定的区域中以低压缩率执行压缩处理，并且在已经检测到对象的下一帧中的其他区域中以高压缩率减少数据量。由于根据对象检测生成ROI 21，所以由ROI 21指示的区域也是处理器11进行对象检测的重要区域，并且该区域以低压缩率压缩，以便不减少信息。因此，检测精度没有降低。同时，除了由ROI 21指示的区域之外的区域是不影响对象检测的区域。因此，以高压缩率压缩该区域，以有效减少数据量。

如第五或第九实施例所述，传感器装置1包括具有以一维或二维形式排列的多个检测元件的阵列传感器2、获取阵列传感器2的检测信号并执行信号处理的信号处理单元30、以及计算单元8，该计算单元8根据阵列传感器2的检测信号执行对象检测，并基于对象检测给出用于使来自阵列传感器2的检测信号的帧速率可变的指令。

在如实施例中那样从图像中检测对象的情况下，不总是需要具有高帧率的图像信号。例如，在检测人的情况下，如果在没有捕捉到人的帧中帧速率低，则没有问题。相反，通过在人出现期间增加帧速率，信息量变得丰富，并且可以增加对象(人)检测和与对象检测一起可识别的信息。

即，通过根据对象检测改变帧速率，可以在必要时自适应地增加数据量，在不必要时减少数据量，并且可以在不降低对象检测性能的情况下减少处理的数据量和传输的数据量。

注意，不仅可以对图像信号执行对象检测，还可以对从阵列传感器获得的检测信号(例如，声波检测信号或触觉检测信号)执行对象检测，并且可以基于对象检测给出使来自阵列传感器的检测信号的帧速率可变的指令。结果，即使在使用声波传感器阵列或接触传感器阵列的情况下，在必要时也可以自适应地增加数据量，在不必要时可以减少数据量，并且可以获得在不降低对象检测性能的情况下减少处理的数据量或传送的数据量的效果。

该帧在阵列传感器是成像元件阵列的情况下是图像帧，在声波检测元件或触觉传感器元件的情况下具有相同的含义，并且是在一个读出周期中从阵列传感器的多个检测元件读取的数据的单位，而与阵列传感器的类型无关。帧速率是单位时间内这种帧的密度。

在第五和第九实施例的情况下，将由信号处理单元30处理的检测信号输出到外部装置的接口单元7(输出单元)将具有基于对象检测结果改变的帧速率的检测信号输出到处理器11等。

因此，要传输的数据量显著减少。结果，可以降低通信成本并缩短传输时间。然后，由于包括了目标对象检测所需的信息，所以不会降低处理器11等中的对象检测的精度。此外，由于数据量减少，处理器11上的处理负荷也减少。

此外，可以避免由于处理器11侧的高计算负荷和整个系统的功耗增加而导致的处理延迟。

在第五和第九实施例中，计算单元8至少存储第一模式(空闲模式)的帧速率的设定值和第二模式(正常模式)的帧速率的设定值，并根据对象检测结果根据第一模式或第二模式的设定值执行控制(见图18和35)。

由此，作为主动采样的控制可以通过根据对象检测结果(即，目标类别的对象的存在或不存在)选择设定值的简单处理来实现。

在第五和第九实施例中，第一模式的帧速率的设定值和第二模式的帧速率的设定值中的一个或两个理想地可从外部装置重写。例如，根据外部处理器的使用或处理能力、应用的使用等，设置值是可变的。

通过使设定值可从处理器11等重写，可以根据处理器11或应用程序的目的设定帧速率。

在第五和第九实施例中，描述了一个示例，其中，计算单元8给出关于阵列传感器2的检测信号的读出间隔的指令，以使帧速率可变(见图18和35)。

例如，计算单元8(关键帧选择单元81)指示阵列传感器2和ADC/像素选择器3切换空闲模式和正常模式，并通过阵列传感器2和ADC/像素选择器3改变图像信号的读出间隔，从而切换帧率。

在这种情况下，在降低帧速率的空闲模式中，光电转换和从阵列传感器2读出本身之间的间隔被加宽。由于阵列传感器2由于光电转换而具有大的功耗，所以加宽阵列传感器2中的读出间隔具有降低功耗的显著效果。

在第五和第九实施例的描述中，计算单元8可以指示信号处理单元30(逻辑单元5)改变帧速率，以使帧速率可变。

即，在信号处理过程中通过帧速率转换来切换帧速率。

逻辑单元5可以转换帧速率。例如，可以通过帧细化处理来降低帧速率。在这种情况下，由于阵列传感器2总是以高帧速率执行读出，所以不会出现阵列传感器2的功耗降低效果，但是可以获得减少要传送到处理器11的数据量的效果。

在第五和第九实施例中，已经描述了一个示例，其中，计算单元8对从阵列传感器2获得的检测信号中检测到的对象执行类别识别，确定所识别的类别是否是目标类别，并且根据确定结果给出用于使帧率可变的指令(参见图18中的步骤S304、S305和S301以及图35中的步骤S304、S352和S301)。

确定目标类别的存在，并且由于目标类别的对象的存在，帧速率作为正常模式增加。在没有检测到目标类别的对象的情况下，作为空闲模式，降低帧速率。因此，可以根据待检测对象的存在来精确地执行检测。

例如，在诸如监视作为目标类别的人等使用中。通过提高帧速率，精细监控成为可能。在其他情况下，设置空闲模式，并且降低功耗和数据量成为可能。

在每个实施例中，阵列传感器2的检测元件是成像元件，即，阵列传感器2的检测信号是通过成像(光电转换)的图像信号。

因此，在使用捕捉图像的对象检测中，可以实现能够保持对象检测精度的数据量的适当减少、与数据量的减少相关联的处理负荷的减少、传输成本的减少等。

在该实施例中，假设传感器装置1具有集成感测模块配置，该集成感测模块配置具有作为计算单元8的AI芯片或DRAM芯片。

相反，还可以设想，将AI芯片或DRAM芯片配置为阵列传感器2外部的计算单元8，并允许外部计算单元执行每个实施例中描述的信号处理的读出和控制。

此外，还可以设想，将阵列传感器2和AI芯片集成为计算单元8，并使用外部DRAM芯片。

在第六实施例中，提供阈值设置单元85，其为逻辑单元5(图像处理单元)的图像处理或关于阵列传感器2的成像的成像处理中要使用的所有或一些参数设置阈值，并且使得能够使用基于阈值设置的参数执行处理。

例如，通过使用阈值设置(改变)参数，可以以诸如对象检测等处理所需的最小质量(例如，最小所需分辨率)输出图像信号。因此，在减少要输出的图像信号的数据量的同时，可以不降低后续处理(例如，对象检测)的性能和精度。

此外，相应地，可以降低功耗并加快处理。

注意，在第六实施例中描述的图22中的处理示例是这样的示例，其中，计算单元8对从通过阵列传感器2中的成像而获得的图像信号检测的对象执行类别识别，基于识别的类别选择要在图像处理中使用的参数集，使用选择的参数对逻辑单元5执行处理设置，并且根据阈值设置(调整)选择的参数。因此，根据阈值进一步调整和设置适用于每个类别的参数集中的一些或所有参数。参数集与类别相适应，并且在保持对象检测等的检测精度的同时，可以获得必要和足够的数据量。由于进一步调整了适应于该类别的参数集，因此可以进一步减少数据量，并且可以降低功耗并加快处理速度。

注意，实施例不限于图22中的这种示例，可以基于阈值来改变与类别无关地设置的一些或所有参数。即使在这种情况下，也可以减少图像信号的数据量，降低功耗，并且可以加快处理，同时保持对象检测等所需的性能和精度。

在第六实施例中，阈值设置单元85根据从图像信号中检测到的对象的类别来设置阈值。例如，根据“人”、“汽车”或“标志”等类别设置适当的阈值。

用于对象检测等的图像所需的分辨率和检测精度之间的关系根据类别而不同。因此，通过根据类别设置阈值并改变从逻辑单元5等输出的图像信号的分辨率，可以根据类别以最小所需分辨率等输出。即，可以实现数据减少、功耗减少、处理加速等，同时根据类别优化诸如分辨率等参数，并将对象检测精度等保持在所需水平。

在第六实施例中，阈值设置单元85基于对图像信号的学习处理来设置阈值。例如，传感器装置1执行作为局部学习的学习处理，以获得阈值。通过对图像信号执行学习处理，确定作为阈值的期望值和根据阈值的参数。结果，根据成像环境、捕捉图像的内容、待检测对象等自适应地设置参数。

此外，通过在传感器装置1或包括传感器装置1的终端装置100中执行这种局部学习，可以计算适合于传感器装置1中所需的图像精度等的阈值。

此外，通过对每个类别进行局部学习来设置阈值，可以通过设置适合于该类别的参数来优化输出图像信号的分辨率等。

在第六实施例中，阈值设置单元85设置阈值，使得可以获得预定比率，作为置信率(对象检测的确定性比率)。

根据检测的目的、目标、装置/应用程序的类型、时间、区域等，从图像中检测对象的精度所需的置信率不同。

例如，在80％足够的情况下，可以设置阈值，以获得80％或更多的确定性，并且可以相应地设置参数。此外，在需要95％或更高的确定性的情况下，可以增加阈值并设置参数。

因此，基于对象检测所需的置信率来设置阈值(并因此设置参数)，从而可以实现期望的图像信号质量以及根据期望的图像信号质量的数据减少、功耗减少、处理加速等，作为根据处理的执行的适应。

在第六实施例中，已经描述了阈值设置单元85设置在与逻辑单元5相同的外壳装置中的示例(参见图21、25和26)。例如，阈值设置单元85设置在作为传感器装置1的单元中或者包括传感器装置1的终端装置100中。然后，阈值设置单元85执行局部学习，并根据阈值设置阈值和参数。这意味着通过学习适合于作为传感器装置1或终端装置100的装置的状态来设置阈值。由此，实现作为传感器装置1或终端装置100所需的输出的适当阈值设置变得可能。

在第七和第八实施例中，计算单元8基于关于过去区域信息(作为区域信息的基础的对象的边界框20以及作为区域信息本身的ROI 21或AROI 22)的信息，为从阵列传感器2获取的检测信号设置有效区域RA(图29和32中的S251)。

然后，计算单元8从有效区域RA的检测信号执行对象检测，并且向信号处理单元30给出关于基于对象检测生成的ROI 21或AROI 22的指令，作为关于从阵列传感器2获取检测信号或对检测信号的信号处理的区域信息。

结果，用于设置ROI 21或AROI 22的对象检测的处理负荷显著降低。具体地，步骤S203的处理减少。因此，可以获得降低处理负荷、加速处理以及降低功耗的效果。

在第七和第八实施例中，计算单元8设置有效区域RA，以便包括基于过去的ROI 21或AROI 22的对象检测的检测区域，即边界框20。

通过继续处理，在一些情况下，在图像上存在根本没有设置边界框20的区域。这样的区域可以被设置为未检测到目标对象的非有效区域DA，并且相反地，另一区域可以被设置为有效区域RA，即可以检测到对象的区域。

可以基于多个过去的边界框20来容易且适当地设置有效区域RA。另外，可以设置适合于成像环境、成像方向等的有源区域RA。

在第七和第八实施例中，在ADC/像素选择器3已经通过ROI 21或AROI 22选择了检测元件的状态下，计算单元8对从阵列传感器2获得的检测信号执行对象检测，并且在没有检测到目标对象的情况下，指示ADC/像素选择器3在后续帧中从阵列传感器获取有效区域中的检测信号(参见图29和32中的步骤S205、S201和S252)。

即，当在仅从阵列传感器2获取了某个检测元件的信息的帧中不再检测到目标对象时，计算单元8将获取单元中的检测信号的获取返回到正常状态。

结果，状态返回到从一帧的有效区域的图像信号执行对象检测的状态，并且可以在捕捉图像中的必要范围内再次执行目标对象检测。几乎可以监控整个图像。

在第七和第八实施例中，已经描述了一个示例，其中，计算单元8针对从阵列传感器2获得的检测信号中的关键帧，基于来自有效区域RA的检测信号的对象检测来生成区域信息(参见图29和32中的S201和S252)。

通过以关键帧而不是所有帧为目标，计算单元8上的处理负荷不会变得过大。此外，通过基于适当的选择算法选择关键帧，可以保持执行适当参数选择的状态。

同样在这种情况下，可以设想，关键帧是以预定时间间隔或基于来自诸如处理器11等外部的命令的时间的帧。

在第八实施例中，计算单元8对从阵列传感器2获得的检测信号中检测到的对象执行类别识别，并使用与识别的类别对应的模板生成与对象对应的区域信息(AROI 22)。在这种情况下，使用AROI 22，其中，基于阈值来计算和记录诸如分辨率等参数(参见图32中的S262和S211)。

例如，通过使用阈值设置(改变)由AROI 22指示的获取区域的参数，可以以诸如对象检测等处理所需的最小质量(例如，最小所需分辨率)输出图像信号。

此外，指定了要使用模板进行光电转换并转换成数字数据的像素的图像适合于具有小数据量的有效对象检测。

因此，通过使用模板并通过阈值设置诸如分辨等参数，可以在减少要输出的图像信号的数据量的同时不降低后续处理(例如，对象检测)的性能和精度。此外，相应地，可以降低功耗并加快处理。

此外，因为模板指示每个类别(例如，“人”或“汽车”)的检测信号的获取区域，所以可以集中地获取每个类别的特别必要的部分的信息。

在第九实施例中，提供了阈值设置单元85，其根据从阵列传感器2获得的检测信号中检测到的对象所识别的类别来设置帧速率的阈值，并且使得能够使用基于阈值设置的帧速率执行处理(参见图35)。

通过使用阈值设置(改变)帧速率，可以应用适合于要检测的类别的帧速率。具体地，可以通过降低帧速率同时不降低待检测类别的对象检测的性能，来减少图像信号的数据量，降低功耗并加速处理。

在第九实施例中，阈值设置单元85将阈值设置为能够保持从图像跟踪对象的帧速率。

结果，可以实现根据类别的数据减少、功耗减少、处理的加速等，同时保持在从图像执行对象跟踪的同时执行的对象检测的精度。

在第九实施例中，计算单元8使用由阈值设置单元85设置的帧速率作为帧速率变高的第二模式(正常模式)的帧速率。结果，在帧速率变高的情况下，根据类别使用较低的帧速率。

第一、第二、第三、第四、第五、第六、第七、第八和第九实施例可以适当地组合。

实施例的效果可以通过组合来增加。即，可以增加减少图像信号的数据量、减少功耗、加速处理等的效果，同时保持诸如从图像检测对象等处理的精度。

注意，在本说明书中描述的效果仅仅是示例，并且不限于此，还可以表现出其他效果。

注意，本技术也可以具有以下配置。

(1)一种传感器装置，包括：

阵列传感器，具有一维或二维形式的多个可见光或不可见光成像元件；

图像处理单元，被配置为针对通过在阵列传感器中成像而获得的图像信号，使用给出指令的参数来执行图像处理；以及

计算单元，被配置为识别从通过阵列传感器中的成像而获得的图像信号中检测到的对象的类别，基于所识别的类别选择要在图像处理中使用的参数，并且使用所选择的参数执行图像处理单元的处理设置。

(2)根据(1)所述的传感器装置，还包括：

输出单元，被配置为将由图像处理单元处理的图像信号输出到外部装置。

(3)根据(2)所述的传感器装置，其中，

所述输出单元还发送关于要输出的图像信号的类别识别的信息。

(4)根据(1)至(3)中任一项所述的传感器装置，其中，

所述计算单元执行

对象区域识别处理，用于在图像信号的一帧中检测待检测对象的候选的对象区域，

类别识别处理，用于识别在对象区域识别处理中检测到的对象区域中的对象的类别，以及

参数选择处理，用于基于类别识别处理的识别结果来执行参数选择，并执行图像处理单元的处理设置。

(5)根据(1)至(4)中任一项所述的传感器装置，其中，

所述计算单元执行

对象区域识别处理，用于在图像信号的一帧中检测待检测对象的候选的对象区域，

类别识别处理，用于识别在对象区域识别处理中检测到的对象区域中的对象的类别，

确定在类别识别处理中识别的类别中是否存在目标类别的处理，以及

参数选择处理，用于基于目标类别的类别识别结果执行参数选择，并且在存在目标类别的情况下，执行图像处理单元的处理设置。

(6)根据(5)所述的传感器装置，其中，

多个目标类别是能设置的，并且

在一个帧中存在多个目标类别的对象的情况下，基于所选择的一个目标类别来执行参数选择处理。

(7)根据(6)所述的传感器装置，其中，

为对应于目标类别的对象区域计算围绕对象的边界框，并且

在存在多个目标类别的情况下，使用边界框的区域来选择所述一个目标类别。

(8)根据(1)至(7)中任一项所述的传感器装置，其中，

所述计算单元基于所识别的类别选择包括为每个类别设置的多个参数的参数集。

(9)根据(8)所述的传感器装置，其中，

所述参数集是通过使用对应于每个类别的对象的图像进行深度学习而获得的多个参数的集合。

(10)根据(1)至(9)中任一项所述的传感器装置，其中，

所述计算单元识别用作通过阵列传感器中的成像而获得的图像信号中的关键帧的帧的类别，并基于所识别的类别选择要在图像处理中使用的参数。

(11)根据(10)所述的传感器装置，其中，

所述关键帧是预定时间间隔的帧。

(12)根据(10)所述的传感器装置，其中，

所述关键帧是处于基于来自外部装置的命令的时间的帧。

(13)根据(1)至(12)中任一项所述的传感器装置，其中，

图像处理单元执行颜色校正、伽马校正、颜色灰度处理、增益处理、轮廓增强处理、数据压缩处理、帧速率转换、分辨率转换、纵横比转换、对比度调整处理、清晰度调整处理、灰度级调整处理或采样率变化处理中的至少一种，作为图像信号的图像处理。

(14)根据(1)至(13)中任一项所述的传感器装置，还包括：

输出单元，被配置为响应于外部装置的请求，输出由图像处理单元处理的图像信号、所识别的类别的信息、检测到的对象的数量以及目标类别的存在或不存在的信息中的任何或全部。

(15)根据(1)至(14)中任一项所述的传感器装置，还包括：

阈值设置单元，被配置为设置要在图像处理单元的图像处理或关于阵列传感器的成像的成像处理中使用的所有或一些参数的阈值，并且使得能够使用基于阈值设置的参数执行处理。

(16)根据(15)所述的传感器装置，其中，

所述阈值设置单元根据从图像信号中检测到的对象的类别来设置阈值。

(17)根据(15)或(16)所述的传感器装置，其中，

所述阈值设置单元基于对图像信号的学习处理来设置阈值。

(18)根据(15)至(17)中任一项所述的传感器装置，其中，

所述阈值设置单元设置阈值，以便获得预定比率，作为对象检测的确定性比率。

(19)根据(15)至(18)中任一项所述的传感器装置，其中，

所述阈值设置单元设置在与图像处理单元具有相同外壳的装置中。

(20)一种传感器装置中的参数设置方法，所述传感器装置包括阵列传感器和图像处理单元，所述阵列传感器具有一维或二维形式的多个可见光或不可见光成像元件，所述图像处理单元被配置为针对通过在阵列传感器中成像而获得的图像信号，使用给出指令的参数来执行图像处理，所述参数设置方法包括：

识别从通过阵列传感器中的成像而获得的图像信号中检测到的对象的类别，基于所识别的类别选择要在图像处理中使用的参数，并且使用所选择的参数执行图像处理单元的处理设置。

(21)根据(20)所述的参数设置方法，还包括：

执行阈值设置处理，用于设置要在图像处理单元的图像处理或关于阵列传感器的成像的成像处理中使用的所有或一些参数的阈值；并且

使得能够使用基于阈值而改变的参数执行处理。

附图标记列表

1传感器装置

2阵列传感器

3ADC/像素选择器

4缓存器

5逻辑单元

6存储器

7接口单元

8计算单元

11处理器

12外部传感器

20边界框

21ROI

22高级ROI(AROI)

23候选区域

30信号处理单元

81关键帧选择单元

82对象区域识别单元

83类别识别单元

84参数选择单元

85阈值设置单元

100终端装置。

Claims (20)

1.一种传感器装置，包括：

阵列传感器，具有以一维或二维形式排列的多个检测元件；

信号处理单元，获取所述阵列传感器的检测信号并执行信号处理；以及

计算单元，从所述阵列传感器的检测信号中检测对象，并向所述信号处理单元给出关于基于对象检测生成的区域信息的指令，作为关于从所述阵列传感器获取检测信号或检测信号的信号处理的区域信息，

所述计算单元对从所述阵列传感器获得的检测信号中检测到的对象执行类别识别，并生成指定与识别了类别的对象的一部分对应的区域的区域信息。

2.根据权利要求1所述的传感器装置，其中，

与识别了类别的对象的一部分对应的区域是指根据对象的类别选择的特征区域。

3.一种传感器装置，包括：

阵列传感器，具有以一维或二维形式排列的多个检测元件；

信号处理单元，获取所述阵列传感器的检测信号并执行信号处理；以及

计算单元，从所述阵列传感器的检测信号中检测对象，并向所述信号处理单元给出关于基于对象检测生成的区域信息的指令，作为关于从所述阵列传感器获取检测信号或检测信号的信号处理的区域信息，

所述计算单元以用作关键帧的帧为目标，从所述阵列传感器的一部分的检测元件获得的检测信号中检测对象，并基于对象的检测生成区域信息。

4.根据权利要求1或3所述的传感器装置，还包括：

输出单元，将由所述信号处理单元处理的检测信号输出到外部装置。

5.根据权利要求1或3所述的传感器装置，其中，

所述信号处理单元包括获取单元，所述获取单元选择性地从所述阵列传感器的检测元件获取检测信号，

所述获取单元获取基于来自所述计算单元的区域信息而选择的检测元件的检测信号，作为检测信号的一帧。

6.根据权利要求5所述的传感器装置，其中，

所述计算单元在所述获取单元不通过区域信息选择检测元件的状态下对从所述阵列传感器获得的检测信号执行对象检测，并且向所述信号处理单元给出关于基于对象检测生成的区域信息的指令，作为用于由所述获取单元从所述阵列传感器获取后续帧的检测信号的区域信息。

7.根据权利要求6所述的传感器装置，其中，

在所述获取单元已经通过区域信息选择了检测元件的状态下，所述计算单元对从所述阵列传感器获得的检测信号执行对象检测，基于对象检测再生区域信息，并向所述信号处理单元给出关于再生区域信息的指令，作为用于通过所述获取单元从所述阵列传感器获取后续帧的检测信号的区域信息。

8.根据权利要求7所述的传感器装置，其中，

在所述获取单元已经通过区域信息选择了检测元件的状态下，所述计算单元对从所述阵列传感器获得的检测信号执行对象检测，并且在没有检测到目标对象的情况下，在所述获取单元没有在后续帧中通过区域信息选择检测元件的状态下，给出关于从所述阵列传感器获取检测信号的指令。

9.根据权利要求1或3所述的传感器装置，其中，

所述计算单元获得包围由所述阵列传感器从检测信号检测到的对象的区域的边界框，并且基于该边界框生成区域信息。

10.根据权利要求9所述的传感器装置，其中，

所述计算单元扩展所述边界框，以生成区域信息。

11.根据权利要求1或3所述的传感器装置，其中，

所述计算单元对检测到的对象逐个检测元件地确定区域并生成区域信息。

12.根据权利要求1所述的传感器装置，其中，

所述计算单元以从所述阵列传感器获得的检测信号中的用作关键帧的帧为目标执行对象检测，并且基于对象检测生成区域信息。

13.根据权利要求3或12所述的传感器装置，其中，

所述关键帧是以预定时间间隔的帧。

14.根据权利要求3或12所述的传感器装置，其中，

所述关键帧是处于基于来自外部装置的命令的时间的帧。

15.根据权利要求1所述的传感器装置，其中，

所述计算单元以用作关键帧的帧为目标，从所述阵列传感器的一部分的检测元件获得的检测信号中检测对象，并基于对象检测生成区域信息。

16.根据权利要求1或3所述的传感器装置，其中，

所述计算单元对从所述阵列传感器获得的检测信号中检测到的对象执行类别识别，确定识别的类别是否是目标类别，并对应于目标类别的对象生成区域信息。

17.根据权利要求16所述的传感器装置，还包括：

输出单元，被配置为响应于外部装置的请求，输出由所述信号处理单元处理的检测信号、所识别的类别的信息、检测到的对象的数量以及目标类别的存在或不存在的信息中的任何或全部。

18.根据权利要求1或3所述的传感器装置，其中，

所述信号处理单元包括压缩处理单元，所述压缩处理单元对来自所述阵列传感器的检测信号执行压缩处理，

所述压缩处理单元基于来自所述计算单元的区域信息以针对每个区域不同的压缩率执行压缩处理。

19.根据权利要求18所述的传感器装置，其中，

所述压缩处理单元在由区域信息指定的区域中以低压缩率执行压缩处理，并且在其他区域中以高压缩率执行压缩处理。

20.根据权利要求1或3所述的传感器装置，其中，

所述阵列传感器的检测元件是成像元件。