CN103379264A - 成像装置、成像处理方法、图像处理设备和图像处理系统 - Google Patents

Abstract

一种成像装置包括：图像传感器；信号处理单元，用于对通过图像传感器获得的成像信号在给定数量的连续帧中重复地执行彼此不同的处理，从而获得各个帧的图像数据；和图像数据输出单元，用于依次输出各个帧的图像数据。

Description

成像装置、成像处理方法、图像处理设备和图像处理系统

技术领域

本公开涉及成像装置、成像处理方法、图像处理设备和成像处理系统，且尤其涉及适于应用于车载（in-vehicle）相机等的成像装置等等。

背景技术

现有技术（参见JP-A-2002-330428（专利文献1））中已知一种布置在车辆后部等以便获得车辆周围的拍摄图像的车载相机。该车载相机输出例如对应于视觉图像数据的广角图像数据。为了获得特殊图像数据，诸如鸟瞰图（bird’s eye-view）转换图像数据以及屏幕减小的图像数据，在后续阶段通过相机ECU执行该获得的处理，这会增加相机ECU的处理负载。

发明内容

可期望有助于相机ECU的处理。

本公开的一个实施例致力于一种成像装置，包括：图像传感器；信号处理单元，用于对通过图像传感器获得的成像信号在给定数量的连续帧中重复地执行彼此不同的处理，从而获得各个帧的图像数据；和图像数据输出单元，用于依次输出各个帧的图像数据。

在本公开的实施例中，通过图像传感器进行成像以便获得成像信号。通过信号处理单元对成像信号在给定数量的连续帧中重复地执行彼此不同的处理，从而获得各个帧的图像数据。然后，通过图像数据输出单元输出各个帧的图像数据。

例如，可能的是，信号处理单元通过在由图像传感器获得的连续两帧的成像信号中在第一帧中执行第一处理而获得第一帧图像数据以及通过在第二帧中执行第二处理而获得第二帧图像数据。在这种情况下，第一帧图像数据可以是视觉图像数据，第二帧图像数据可以是执行鸟瞰图转换的图像数据。另外，在这种情况下，执行鸟瞰图转换的图像数据可以是通过在亮度信号上叠加色度边缘信号而获得的图像数据。

而且，在这种情况下，第一帧图像数据可以是正常图像数据，第二帧图像数据可以是通过在亮度信号上叠加色度边缘信号而获得的图像数据。而且，在这种情况下，第一帧图像数据可以是正常图像数据，第二帧图像数据可以是电子快门的传感器图像数据或者在曝光累积方法中不同的数据。同样在这种情况下，第一帧图像数据可以是全屏的图像数据，第二帧图像数据是减小屏幕的图像数据。同样在这种情况下，第一帧图像数据可以是彩色图像数据，第二帧图像数据可以是单色图像数据。图像数据也可以通过对连续帧中的部分帧随机执行处理而不是重复地交替执行处理来获得。

如上所述，根据本公开的实施例，可以连续地输出通过执行给定数量例如两个不同的处理而获得的帧图像数据。因此，后续阶段的相机ECU可以获取这些图像数据，而不执行获得诸如鸟瞰图转换图像数据和减小屏幕图像数据之类的特殊图像数据的处理。因此，能够减小相机ECU的处理负荷，并且可以便于处理。

在本公开的实施例中，可能的是，例如，成像装置进一步包括标题添加单元，用于将至少包括识别信息的标题添加到通过信号处理单元获得的每一帧的图像数据，所述识别信息用于识别图像数据对应于给定数量的帧中的哪个帧。当如上所述标题被添加到每一帧的图像数据，例如，后续阶段中的相机ECU在开始拍摄帧的处理时可以精确容易地确定将要拍摄的帧关于对于每一帧的图像数据已经执行哪种处理的信息，因此，可以适当地选择性地执行拍摄帧的处理。

在这种情况下，标题添加单元可以将标题添加到每一帧中有效图像区域外的区域或者有效图像区域内的区域。例如，当将标题添加到有效图像区域内的区域中时，即使在随后阶段中的相机ECU仅拍摄有效图像区域的情况下，可以将标题信息适当地提供给相机ECU。例如，当在每个帧中在邮箱图像区域内的区域中添加标题时，标题添加单元通过使用给定数量的像素数据中的部分位来添加标题。因此，能够抑制由于将标题添加到有效图像区域内的区域引起的对图像数据的影响。

本公开的另一实施例致力于一种成像装置，包括：图像传感器；和信息添加单元，用于根据由图像传感器获得的成像信号的信号处理，将特殊设置和处理的信息添加到相应帧的标题部分作为识别确定信息。

本公开的又一个实施例致力于一种成像装置，包括：图像传感器；和图像处理单元，其中，所述图像处理单元针对由图像传感器获得的拍摄图像部分提取色度边缘信号，并且在相同方向上将所述色度边缘信号叠加在没有亮度信号边界的亮度信号上。

本公开的再一个实施例致力于一种图像处理设备，包括：图像数据输入单元，用于输入图像数据，其中所述图像数据是通过在给定数量的连续帧中或随机重复执行彼此不同的处理而获得的，并且一标题被添加到每一帧的图像数据，所述标题至少包括用于识别图像数据对应于给定数量的帧中的哪一帧的识别信息；和处理单元，用于基于所添加的标题适当地执行每个帧的输入图像数据的处理。

本公开的又一个实施例致力于一种成像处理系统，包括：成像装置；和图像处理设备，其中所述成像装置包括图像传感器，信号处理单元，用于对通过图像传感器获得的成像信号在给定数量的连续帧中重复地执行彼此不同的处理，从而获得各个帧的图像数据，标题添加单元，用于将至少包括识别信息的标题添加到每一帧的图像数据，所述识别信息用于识别图像数据对应于给定数量的帧中的哪个帧，和图像数据输出单元，用于输出各个帧的图像数据，和其中所述图像处理设备包括输入图像数据的图像数据输入单元，和处理单元，基于所添加的标题适当地执行每一帧的输入图像数据的处理。

在本公开的实施例中，所述标题可以包括以下中的至少一个或多个信息：传感器电子快门、传感器放大器增益和镜头光圈信息、镜头滤光片信息、温度信息、图像微分分量调节参数值、图像灰度级调节参数、图像分辨率调节参数、帧间处理调节参数、照明估计信息、环境估计信息、相机AE调节信息、相机WB调节信息、图像转换存在信息、图像直方图信息、图像转换设置信息和图像剪切块坐标信息。

本公开的又一个实施例致力于一种具有成像装置和图像处理设备的成像处理系统，包括：用于输出通过成像装置以帧为单位的图像的部件；用于将唯一识别所述帧的部件添加到将要输出的图像的标题的部件；和选择部件，用于基于图像标题将输出的图像适当地分配给唯一存储器地址。

根据本公开的实施例，能够有助于相机ECU的处理。

附图说明

图1是示出作为实施例的成像处理系统的配置示例的方框图；

图2A是示意性示出一帧的图像数据与将被添加到该图像数据的标题之间的位置关系的视图，以及图2B是示出标题将被添加到的像素数据部分的配置示例的视图；

图3是示出其中交替输出视觉图像（正常广角相机图像）的帧图像数据与鸟瞰图转换图像的帧图像数据的示例的视图；

图4是示出成像处理系统中包括的车载相机的处理过程的示例的流程图；

图5A到图5C是示出通过执行鸟瞰图图像转换从路面区域的图像数据获取鸟瞰图转换图像的图像数据作为全屏的一部分的示例的视图；

图6是用于解释在亮度信号上叠加色度边缘信号的处理的帧图像（在叠加前）的示例；

图7是用于解释在给定区域的图像中的亮度信号上叠加色度边缘信号的处理的帧图像（在叠加后）的示例；

图8是示出成像处理系统中包括的相机ECU的处理过程的示例的流程图；

图9是示出成像处理系统中包括的相机ECU的处理过程的另一示例的流程图；

图10A到图10C是示出其中靠近车辆后部的鸟瞰图转换图像被插入到车辆周围的正常广角图像的画中画图像的示例的视图；

图11是示出其中交替输出全屏的帧图像数据和减小屏幕的帧图像数据的示例的视图；

图12是示出成像处理系统中包括的车载相机的处理过程的另一示例的流程图；

图13是示出成像处理系统中包括的相机ECU的处理过程的另一示例的流程图；和

图14是示出其中交替输出彩色图像的帧图像数据和单色图像的帧图像数据的示例的视图。

具体实施方式

下文中，将解释用于实现本公开的实施方式（下文中称作“实施例”）。将以下列顺序进行说明。

1.实施例

2.变型示例

<1.实施例>

[成像处理系统的配置示例]

图1示出了作为实施例的成像处理系统10的配置示例。成像处理系统10包括车载相机100、相机ECU（电子控制单元）200和监控器300，该车载相机100被布置在车辆后部等并且拍摄车辆周围的图像，该相机ECU具有图像处理功能。

车载相机100配置成像装置。车载相机100包括控制单元101、镜头单元102、传感器单元103、成像信号处理单元104、后处理单元105和输出单元106。车载相机100和相机ECU200通过线缆400连接。控制单元101控制车载相机100的各个单元的操作。

镜头单元102在传感器单元103的成像表面上形成物体图像。传感器单元103基于在成像表面上形成的物体图像而获得成像信号。成像信号处理单元104对通过传感器单元103获得的成像信号执行AE（自动曝光）调节、AWB（自动白平衡）调节等，以便获得拍摄图像数据。后处理单元105对在成像信号处理单元104中获得的拍摄图像数据进行各种处理以便获得将被发送到相机ECU200的图像数据。输出单元106将后处理单元105中获得的图像数据发送到线缆400。

后处理单元105将包括车载相机100的各个单元的设置（调节）信息、环境信息等的标题添加到每一帧中的图像数据。这里，环境信息是环境光线、环境照明等的信息。在这种情况下，后处理单元105将标题添加到在诸如消隐周期的有效图像区域外的区域或者有效图像区域内的区域。在实施例的后续描述中，假设标题将被添加到有效图像区域内的区域。当标题被添加到有效图像区域内的区域时，即使后续阶段中的相机ECU200仅拍摄有效图像区域内的区域，标题信息也可被适当地提供给相机ECU200。

图2A示意性示出一帧的图像数据与将被添加到该图像数据的标题之间的位置关系。标题被添加到图像数据的头部。该图示出了其中数据被添加到第一行的前半部的示例。同样优选的是，数据被添加到整行，且进一步被添加到数行。图2B示出标题将被添加到的像素数据部分的配置示例。如示例中所示，当像素数据例如由N位形成时，仅低阶M位可被分配给标题。因此，能够抑制由于在有效图像区域内的区域中添加标题引起的对图像数据的影响。

如上所述，在每一帧中标题包括车载相机100的各个单元的各种设置（调节）信息。不必包括所有设置（调节）信息，可以包括后续阶段中的相机ECU200中的至少必要信息。例如作为镜头单元102的设置（调节）信息，存在光圈设置信息、滤光器设置信息等。

例如，作为传感器单元103的设置（调节）信息，存在电子快门信息、读取操作设置信息、添加设置信息、放大器增益设置信息、滤光器布置信息、灵敏度变化信息、镜头安装位置信息等。例如，作为成像信号处理单元104的设置（调节）信息，存在AE调节信息、AWB调节信息、环境估计信息、输出图像大小信息、图像剪切块坐标信息、图像转换信息、图像右/左和上/下倒置信息、图像加强处理应用值信息、应用噪声减除处理信息、图像直方图信息等等。

后处理单元105对成像信号处理单元104中获得的各个图像数据在给定数量的连续帧中也重复地执行彼此不同的处理，从而获得将被发送的各个帧的图像数据。在实施例中，在连续两帧中，通过在第一帧中执行第一处理而获得第一帧图像数据，通过在第二帧中执行第二处理而获得第二帧图像数据。

添加到每一帧的上述标题还包括用于识别图像数据对应于哪一帧的识别信息。将稍后描述第一处理和第二处理。实施例中将描述其中对第一帧和第二帧中的图像交替地执行处理的示例，然而，可以对从相机连续输出的图像随机地执行第二处理，或者可以组合不同处理用以执行。

相机ECU200包括控制单元201、输入单元202和图像信号处理单元203。控制单元201控制相机ECU200的各个单元的操作。输入单元202从线缆400获得从车载相机100发送的图像数据。图像信号处理单元203基于添加到图像数据的标题适当地处理每一帧的图像数据，从而获得用以显示等的图像数据。用以显示的图像数据被提供给监控器300。将稍后描述图像信号处理单元203中的处理的特定示例。

将简要地说明图1中所示的成像处理系统10的操作。在车载相机100中，传感器单元103中获得的成像信号被提供给成像信号处理单元104。在成像信号处理单元104中，对成像信号执行AE调节、AWB调节等，以便获得拍摄图像数据。该拍摄图像数据被提供给后处理单元105。在后处理单元105中，对拍摄图像数据进行各种处理以便获得将被发送到相机ECU200的图像数据。将图像数据从输出单元106发送到线缆400。

此处，在后处理单元105中，包括车载相机100的各个单元的设置（调节）信息、环境信息等的标题被添加到每一帧的图像数据。同样在后处理单元105中，在连续两帧中的第一帧中执行第一处理以便获得第一帧图像数据，并且在第二帧中执行第二处理以便获得第二帧图像数据。添加到每一帧的标题也包括用于识别图像数据对应于哪一帧的识别信息。尽管实施例中示出了两帧交替输出的示例，但是在更多数量的帧中可以重复地执行输出。也可以应用进行不定时和随机的特殊处理的配置。

在相机ECU200中，从线缆400将从车载相机100发送的图像数据送入输入单元202。图像数据被提供给图像信号处理单元203。在图像信号处理单元203中，基于添加到图像数据的标题通过选择电路甚至不通过控制单元201适当地处理每一帧中的图像数据，从而获得用于显示等的图像数据。用于显示的图像数据被提供给监控器300，并且给定图像数据被显示在监控器300上。在这种情况下，各个帧的图像数据被适当地分配给根据图像标题的唯一存储器地址并且被处理。

[车载相机和相机ECU中的处理的特定示例]

[特定示例1]

在该示例中，车载相机100交替地输出视觉图像（正常广角相机图像）1a的帧图像数据和鸟瞰图转换图像1b的帧图像数据，如图3中所示。

图4的流程图示出了车载相机100中的处理过程的示例。车载相机100在步骤ST1开始处理。接着，在步骤ST2，传感器单元103改变交替帧中的剪切块区域并且输出具有标记的成像信号。例如，奇数帧中的剪切块区域是全屏，偶数帧中的剪切块区域是路面区域。例如，图5A示出了全屏的示例，图5B以虚线示出了路面区域的示例。

接着，在步骤ST3，成像信号处理单元104从传感器单元103获得成像信号。在步骤ST4中，成像信号处理单元104基于添加的标记来确定帧是其中剪切块区域是全屏的奇数帧还是其中剪切块区域是路面区域的偶数帧。

当帧是其中剪切块区域是全屏的奇数帧时，在步骤ST5，成像信号处理单元104对正常视觉相机执行诸如AE/AWB之类的ISP处理。然后，在步骤ST6，后处理单元105执行用以提高可视性的图像质量增强处理，诸如对比度加强。在步骤ST7，后处理器单元105也允许标题包含表示帧图像数据是视觉图像的识别信息。

当在步骤ST4中帧是其中剪切块区域是路面区域的偶数帧时，成像信号处理单元104对从传感器单元103获得的成像信号执行给定处理并且将信号发送到后处理单元105，该后处理单元105执行将色度边缘信号叠加到亮度信号上的处理。

因为针对彩色图像中进行的计算量提高精度的作用在图像识别处理中的许多情况下是有限的，因此通常使用仅采用亮度信号的检测方法。然而，在驱动期间用于识别白色线条的应用中，当以灰度图像表示在混凝土道路上绘制的禁止超车车道中的黄色标记时，会出现混凝土中的亮度差较小的问题，因此难以将该标记识别为车道边界。

后处理单元105从亮度色差信号的图像信号中提取例如作为色度信号的色差信号的区别变化分量，并且将该信号叠加在亮度信号上。因此，能够在亮度信号中绘制边界并且仅基于亮度信号的分析就能够实现图像识别处理。

此处，将参考图6中所示的帧图像来解释将色度边缘信号叠加到亮度信号上的处理。在帧图像中，数字1、2和3表示的部分显示混凝土道路上绘制的禁止超车车道中的黄色标记。数字4、5和6表示的部分显示混凝土道路上绘制的白色线条。后处理单元105允许色度信号通过仅在通过被图7中的虚线包围所示出的用于识别的区域中的边界检测滤波器发送，并且将输出值叠加在亮度信号上以便执行如数字8表示的输出。在这种情况下，色度边缘信号被提取并且被叠加在相同方向上不具有亮度信号边界的亮度信号上。

回到图4，在在步骤ST8中执行将色度边缘信号叠加在亮度信号上的处理之后，后处理单元105在步骤ST9执行鸟瞰图图像转换。在这种情况下，后处理单元105执行在图5B中所示的路面区域中的图像数据的鸟瞰图图像转换，以便获得图5C中所示的鸟瞰图转换图像的图像数据。例如在电子工程师协会学报IP-08-21IIS-08-46中描述了生成鸟瞰图转换图像的方法的细节。随后，在步骤ST10，后处理单元105允许标题包括表示帧图像数据是鸟瞰图转换图像的识别信息。在这种情况下，标题也包括用于识别其中色度边缘信号被叠加在亮度信号上的区域的区域信息。

接着，在步骤ST11中，输出单元106合并两个帧并且将该帧输出到线缆400。即，当该帧是奇数帧时，后处理单元105中获得的视觉图像的图像数据被输出，而当该帧是偶数帧时，后处理单元105中获得的鸟瞰图转换图像的图像数据被输出。

接着，在步骤ST12，车载相机100确定处理是否结束。当处理未结束时，处理返回到步骤ST2，并且重复上述的相同处理。当处理结束时，在步骤S13立即结束处理。

图8的流程图示出了相机ECU200的处理过程的示例。该流程图示出了针对一帧图像数据的处理过程。相机ECU200在步骤ST21开始处理。接着，在步骤ST22，输入单元202获得从车载相机100传送的一帧图像数据。

接着，在步骤ST23，图像信号处理单元203继续从图像数据的同步信号提取标题。然后，在步骤ST24，图像信号处理单元203基于标题中包括的帧信息来确定该帧是视觉图像帧还是鸟瞰图转换图像帧。

当该帧不是视觉图像帧时，即，该帧是鸟瞰图转换图像帧，在步骤ST25，图像信号处理单元203针对仅包括帧图像数据的亮度值的图像信息适当地执行白色线条识别处理，并且在步骤ST26提取白色线条坐标。然后，在步骤ST27，图像信号处理单元203将所提取的具有时戳的白色线条坐标数据传送到车辆控制ECU（图1中未示出）。

此处，图像信号处理单元203可以预先估计白色线条搜索区域并且通过使用诸如识别区域信息和标题中包括的环境光之类的高级信息执行适用于识别夜间/白天等的处理，这样可以减少搜索时间并且提高搜索的精度。

接着，在步骤ST29，相机ECU200确定处理是否结束。当处理未结束时，处理返回到步骤ST22并且继续下一帧的处理。另一方面，当确定处理结束时，处理在步骤ST30结束。

另一方面，当帧是视觉图像帧时，在步骤ST28，图像信号处理单元203对帧图像数据执行可视性增强处理，例如对比度加强处理、边缘加强处理，并且将数据输出到监控器300。因此，由车载相机100拍摄的车辆周围的正常广角相机图像被显示在监控器300上。例如，也使用导航系统等的监控器用作监控器300，尽管上面未描述。

如上所述，从车载相机100交替地输出视觉目的的图像（视觉图像）的图像数据和白色线条识别目的的图像（鸟瞰图转换图像）的图像数据。因此，能够选择性地对鸟瞰图转换图像的图像数据执行白色线条识别处理，而不用在后续阶段介入用于确定相机ECU200中的数据的切换的控制单元201，结果不需要控制单元201确定图像处理的目的地，并且可以极大地减少处理负荷。

图9的流程图示出了相机ECU200的另一处理过程的示例。该流程图示出了针对一帧图像数据的处理过程。相机ECU200在步骤ST61开始处理。接着，在步骤ST62，输入单元202获得从车载相机100发送的一帧图像数据。

接着，在步骤ST63，图像信号处理单元203继续从图像数据的同步信号提取标题。然后，在步骤ST64，图像信号处理单元203基于标题中包括的帧信息来确定该帧是视觉图像帧还是鸟瞰图转换图像帧。

当该帧是视觉图像帧时，在步骤ST65，图像信号处理单元203将监控器的整个显示设置区域（除了后述的P区域中的P）中的图像数据写入显示存储器中。另一方面，当该帧是鸟瞰图转换图像帧时，在步骤ST66，如果必要，在执行缩小处理之后，图像信号处理单元203将画中画（P中P）中的鸟瞰图转换图像的图像数据写入显示存储器中。然后，在步骤ST67，图像信号处理单元203将显示存储器中的图像数据输出到监控器300。

接着，在步骤ST68，相机ECU200确定处理是否结束。当处理未结束时，处理回到步骤ST62，并且继续下一帧的处理。另一方面，当确定处理结束时，处理在步骤ST69结束。

根据图9的流程图的处理，其中靠近车辆后部的鸟瞰图转换图像被插入到车辆周围的正常广角图像的画中画图像被显示在监控器300上。例如，当图10A是正常广角图像和图10B是鸟瞰图转换图像时，图10C中所示的画中画图像被显示在监控器300上。

如上所述，从车载相机100交替地输出视觉目的的图像（视觉图像）的图像数据和白色线条识别目的的图像（鸟瞰图转换图像）的图像数据，因此，能够在后续阶段使用相机ECU200中的两种图像数据来显示画中画图像。

[特定示例2]

在该示例中，车载相机100交替地输出全屏1d的帧图像数据和减小屏幕1c的帧图像数据，如图11中所示。在示例中，减小图像1c的帧图像数据是通过执行用于给予灵敏度优先级的相邻像素添加而获得的1/4像素减小的屏幕。

图12的流程图示出了车载相机100的处理过程的另一示例。车载相机100在步骤ST31开始处理。接着，在步骤ST32，传感器单元103在交替帧中将屏幕改变为全屏或者减小屏幕，并且输出具有标记的成像信号。例如，奇数帧是全屏，偶数帧是1/4减小屏幕。

接着，在步骤ST33，成像信号处理单元104从传感器单元103获得成像信号。在步骤ST34，成像信号处理单元104基于添加的标记来确定该帧是全屏的奇数帧还是1/4减小屏幕的偶数帧。

当该帧是全屏的奇数帧时，成像信号处理单元104对从传感器单元103获得的成像信号进行给定的处理，并且将信号输出到后处理单元105。在步骤ST35，后处理单元105执行用于给予白天分辨率优先级的图像质量增强处理。在步骤ST36，后处理单元105也允许标题包括表示帧图像数据是全屏的识别信息。

当在步骤ST34帧被确定为1/4减小屏幕的偶数帧时，在步骤ST37，成像信号处理单元104执行减小存储器分配（4帧循环分配）。然后，在步骤ST38，成像信号处理单元104和后处理单元105执行用于夜间灵敏度的优先级处理。例如，执行有效地使用存储器区域的帧添加处理和三维噪声降低处理。

另外，在步骤ST39，后处理单元105允许标题包括表示帧图像数据是1/4减小屏幕的识别信息。在这种情况下，标题被进一步允许包括表示夜间或白天作为环境光信息、帧计数等等的识别信息。

接着，在步骤ST40，输出单元106合并两个帧并且将帧输出到线缆400。即，当帧是奇数帧时，输出在后处理单元105中获得的全屏的图像数据，且当帧是偶数帧时，输出在后处理单元105中获得的1/4减小屏幕的图像数据。

接着，在步骤S41，车载相机100确定处理是否结束。当处理未结束时，处理返回到步骤ST32，并且重复上述相同的处理。当处理结束时，处理在步骤S42立即结束。

图13的流程图示出了相机ECU200的处理过程的另一示例。该流程图示出了针对一帧图像数据的处理过程。相机ECU200在步骤ST51开始处理。接着，在步骤ST52，输入单元202获得从车载相机100传送的一帧图像数据。

接着，在步骤ST53，图像信号处理单元203继续从图像数据的同步信号中提取标题。然后，在步骤ST54图像信号处理单元203基于标题中包括的帧信息来确定帧是全屏帧还是1/4减小屏幕帧。

当帧不是全屏帧时，即，帧是1/4减小屏幕帧，在步骤ST55，图像信号处理单元203基于1/4减小屏幕的图像数据来执行图像识别处理。在这种情况下，基于环境光信息取决于夜间或白天使用最佳检测滤波器。另外，当如上所述对于1/4减小屏幕的图像数据进行帧添加和三维噪声降低处理时，图像信号处理单元203对于低分辨率图像执行识别处理。

接着，在步骤ST56，图像信号处理单元203对全屏坐标执行所识别图像的坐标信息的校正处理。当帧是全屏时，在步骤ST57，图像信号处理单元203基于全屏的图像数据执行图像识别处理。然后，在步骤ST58，图像信号处理单元203将在步骤ST56和步骤ST57中获得的图像识别结果、即具有时戳的识别图像的坐标信息传送到车辆控制ECU（图1中未示出）。

接着，在步骤ST59，相机ECU200确定处理是否结束。当处理未结束时，处理返回到步骤ST52并且继续下一帧的处理。另一方面，当确定处理结束时，处理在步骤ST60结束。

如上所述，从车载相机100交替地输出全屏的图像数据和1/4减小屏幕的图像数据。因此，在后续阶段在相机ECU200中可以适当地执行分别使用两种屏幕的图像识别处理，这可以增加识别精度。当在标题中包括环境光信息时，可以根据相机ECU200中的夜间或白天来适当地调节检测滤波器的参数，因此，可以增加识别精度。

如上所述，车载相机100可以顺序地输出通过在图1中所示的成像处理系统10中执行给定数量例如两个不同处理而获得的帧图像数据。因此，例如，在后续阶段的相机ECU200中，不执行获得特殊图像数据（例如鸟瞰图转换图像数据和减小屏幕图像数据）的处理就可以获得这些图像数据。因此，可以减少相机ECU的处理负荷并且可以便于处理。

同样在图1中所示的图像处理系统10中，至少包括用于识别图像数据对应于给定数量的帧中的哪个帧的识别信息的标题被添加到从车载相机100输出的每一帧的图像数据。因此，后续阶段中的相机ECU200可以精确容易地确定已经对每一帧的图像数据执行了哪种处理，因此可以进行适当的处理。

同样在图1中所示的图像处理系统10中，添加到从车载相机100输出的每一帧的图像数据的标题也包括环境光信息等等，同样在后续阶段通过使用相机ECU200中的信息也可以选择性地执行最佳处理。

<2.变型示例>

在上面的实施例中，示出了其中从车载相机100交替地示出视觉图像（正常广角相机图像）的帧图像数据和鸟瞰图转换图像的帧图像数据的示例以及其中交替地输出全屏的帧图像数据和减小屏幕的帧图像数据的示例。然而，本公开不限于上面内容，同样优选的是，交替或者不规则地输出对其执行其他不同处理的帧图像数据。例如，可以考虑以下示例：其中，如图14中所示，交替地输出彩色图像Icr的帧图像数据和单色图像Iwb的帧图像数据。

本公开可以如下配置。

(1)一种成像装置，包括：

图像传感器；

信号处理单元，用于对通过图像传感器获得的成像信号在给定数量的连续帧中重复地执行彼此不同的处理，从而获得各个帧的图像数据，和

图像数据输出单元，用于依次输出各个帧的图像数据。

(2)如上面(1)所述的成像装置，还包括：

标题添加单元，用于将至少包括识别信息的标题添加到通过信号处理单元获得的每一帧的图像数据，所述识别信息用于识别图像数据对应于给定数量的帧中的哪个帧。

(3)如上面(2)所述的成像装置，

其中所述标题添加单元将标题添加到每一帧中有效图像区域外的区域或者有效图像区域内的区域。

(4)如上面(3)所述的成像装置，

其中当将标题添加到每一帧中有效图像区域内的区域中时，所述标题添加单元通过使用给定数量的像素数据中的部分位来添加标题。

(5)如上面(1)到(4)中任一个所述的成像装置，

其中所述信号处理单元通过在由图像传感器获得的连续两帧的成像信号中在第一帧中执行第一处理而获得第一帧图像数据以及通过在第二帧中执行第二处理而获得第二帧图像数据。

(6)如上面(5)所述的成像装置，

其中所述第一帧图像数据是视觉图像数据，所述第二帧图像数据是执行图像转换的图像数据。

(7)如上面(6)所述的成像装置，

其中所述第二帧图像数据是执行鸟瞰图转换的图像数据。

(8)如上面(6)所述的成像装置，

其中执行鸟瞰图转换的图像数据是通过在亮度信号上叠加色度边缘信号而获得的图像数据。

(9)如上面(5)所述的成像装置，

其中所述第一帧图像数据是正常图像数据，第二帧图像数据是通过在亮度信号上叠加色度边缘信号而获得的图像数据。

(10)如上面(5)所述的成像装置，

其中所述第一帧图像数据是全屏的图像数据，第二帧图像数据是减小屏幕的图像数据。

(11)如上面(5)所述的成像装置，

其中所述第一帧图像数据是彩色图像数据，第二帧图像数据是单色图像数据。

(12)一种成像处理方法，包括：

通过图像传感器获得成像信号；

对成像信号在给定数量的连续帧中重复地执行彼此不同的处理，从而获得各个帧的图像数据；和

依次输出所获得的各个帧的图像数据。

(13)如上面(12)所述的成像处理方法，

其中通过执行根据在由图像传感器获得成像信号的处理中的帧而不同的曝光处理，利用宽范围中的照明强度对物体成像。

(14)一种成像装置，包括：

图像传感器；和

信息添加单元，用于根据由图像传感器获得的成像信号的信号处理，将特殊设置和处理的信息添加到相应帧的标题部分作为识别确定信息。

(15)一种成像装置，包括：

图像传感器；和

图像处理单元，

其中，所述图像处理单元针对由图像传感器获得的拍摄图像部分提取色度边缘信号，并且在相同方向上将所述色度边缘信号叠加在没有亮度信号边界的亮度信号上。

(16)一种图像处理设备，包括：

图像数据输入单元，用于输入图像数据，其中所述图像数据是通过在给定数量的连续帧中重复执行彼此不同的处理而获得的，并且一标题被添加到每一帧的图像数据，所述标题至少包括用于识别图像数据对应于给定数量的帧中的哪一帧的识别信息；和

处理单元，用于基于所添加的标题执行每个帧的输入图像数据的处理。

(17)一种成像处理系统，包括：

成像装置；和

图像处理设备，

其中所述成像装置包括

图像传感器，

信号处理单元，用于对通过图像传感器获得的成像信号在给定数量的连续帧中重复地执行彼此不同的处理，从而获得各个帧的图像数据，

标题添加单元，用于将至少包括识别信息的标题添加到每一帧的图像数据，所述识别信息用于识别图像数据对应于给定数量的帧中的哪个帧，和

图像数据输出单元，输出各个帧的图像数据，并且

其中所述图像处理设备包括

输入图像数据的图像数据输入单元，和

处理单元，基于所添加的标题适当地执行每一帧的输入图像数据的处理。

(18)如上面(17)所述的成像处理系统，

其中所述标题包括以下中的至少一个或多个信息：传感器电子快门、传感器放大器增益和镜头光圈信息、镜头滤光片信息、温度信息、图像微分分量调节参数值、图像灰度级调节参数、图像分辨率调节参数、帧间处理调节参数、照明估计信息、环境估计信息、相机AE调节信息、相机WB调节信息、图像转换存在信息、图像直方图信息、图像转换设置信息和图像剪切块坐标信息。

(19)一种具有成像装置和图像处理设备的成像处理系统，包括：

用于输出通过成像装置以帧为单位的图像的部件；

用于将唯一识别所述帧的部件添加到将要输出的图像的标题的部件；和

选择部件，用于基于图像标题将输出的图像适当地分配给唯一存储器地址。

本公开包含涉及2012年4月25日向日本专利局提交的日本优先权专利申请JP2012-099505中公开的主题的主题，其整体内容通过引用合并于此。

本领域普通技术人员将会理解，根据迄今为止在所附权利要求书或其等价物的范畴内的设计需求和其他因素可以发生各种变型、组合、子组合和变更。

Claims (19)

1.一种成像装置，包括：

图像传感器；

信号处理单元，用于对通过图像传感器获得的成像信号在给定数量的连续帧中重复地执行彼此不同的处理，从而获得各个帧的图像数据；和

图像数据输出单元，用于依次输出各个帧的图像数据。

2.如权利要求1所述的成像装置，还包括：

标题添加单元，用于将至少包括识别信息的标题添加到通过信号处理单元获得的每一帧的图像数据，所述识别信息用于识别图像数据对应于给定数量的帧中的哪个帧。

3.如权利要求2所述的成像装置，

其中所述标题添加单元将标题添加到每一帧中有效图像区域外的区域或者有效图像区域内的区域。

4.如权利要求3所述的成像装置，

其中当将标题添加到每一帧中有效图像区域内的区域中时，所述标题添加单元通过使用给定数量的像素数据中的部分位来添加标题。

5.如权利要求1所述的成像装置，

其中所述信号处理单元通过在由图像传感器获得的连续两帧的成像信号中在第一帧中执行第一处理而获得第一帧图像数据以及通过在第二帧中执行第二处理而获得第二帧图像数据。

6.如权利要求5所述的成像装置，

其中所述第一帧图像数据是视觉图像数据，所述第二帧图像数据是执行图像转换的图像数据。

7.如权利要求6所述的成像装置，

其中所述第二帧图像数据是执行鸟瞰图转换的图像数据。

8.如权利要求6所述的成像装置，

其中执行鸟瞰图转换的图像数据是通过在亮度信号中叠加色度边缘信号而获得的图像数据。

9.如权利要求5所述的成像装置，

其中所述第一帧图像数据是正常图像数据，第二帧图像数据是通过在亮度信号上叠加色度边缘信号而获得的图像数据。

10.如权利要求5所述的成像装置，

其中所述第一帧图像数据是全屏的图像数据，第二帧图像数据是减小屏幕的图像数据。

11.如权利要求5所述的成像装置，

其中所述第一帧图像数据是彩色图像数据，第二帧图像数据是单色图像数据。

12.一种成像处理方法，包括：

通过图像传感器获得成像信号；

对成像信号在给定数量的连续帧中重复地执行彼此不同的处理，从而获得各个帧的图像数据；和

依次输出所获得的各个帧的图像数据。

13.如权利要求12所述的成像处理方法，

其中通过执行根据在由图像传感器获得成像信号的处理中的帧而不同的曝光处理，利用宽范围中的照明强度对物体成像。

14.一种成像装置，包括：

图像传感器；和

信息添加单元，用于根据由图像传感器获得的成像信号的信号处理，将特殊设置和处理的信息添加到相应帧的标题部分作为识别确定信息。

15.一种成像装置，包括：

图像传感器；和

图像处理单元，

其中，所述图像处理单元针对由图像传感器获得的拍摄图像部分提取色度边缘信号，并且在相同方向上将所述色度边缘信号叠加在没有亮度信号边界的亮度信号上。

16.一种图像处理设备，包括：

图像数据输入单元，用于输入图像数据，其中所述图像数据是通过在给定数量的连续帧中重复执行彼此不同的处理而获得的，并且一标题被添加到每一帧的图像数据，所述标题至少包括用于识别图像数据对应于给定数量的帧中的哪一帧的识别信息；和

处理单元，用于基于所添加的标题适当地执行每个帧的输入图像数据的处理。

17.一种成像处理系统，包括：

成像装置；和

图像处理设备，

其中所述成像装置包括

图像传感器，

信号处理单元，用于对通过图像传感器获得的成像信号在给定数量的连续帧中重复地执行彼此不同的处理，从而获得各个帧的图像数据，

标题添加单元，用于将至少包括识别信息的标题添加到每一帧的图像数据，所述识别信息用于识别图像数据对应于给定数量的帧中的哪个帧，和

图像数据输出单元，输出各个帧的图像数据，并且

其中所述图像处理设备包括

输入图像数据的图像数据输入单元，和

处理单元，基于所添加的标题适当地执行每一帧的输入图像数据的处理。

18.如权利要求17所述的成像处理系统，

其中所述标题包括以下中的至少一个或多个信息：传感器电子快门、传感器放大器增益和镜头光圈信息、镜头滤光片信息、温度信息、图像微分分量调节参数值、图像灰度级调节参数、图像分辨率调节参数、帧间处理调节参数、照明估计信息、环境估计信息、相机AE调节信息、相机WB调节信息、图像转换存在信息、图像直方图信息、图像转换设置信息和图像剪切块坐标信息。

19.一种具有成像装置和图像处理设备的成像处理系统，包括：

用于输出通过成像装置以帧为单位的图像的部件；

用于将唯一识别所述帧的部件添加到将要输出的图像的标题的部件；和

选择部件，用于基于图像标题将输出的图像适当地分配给唯一存储器地址。

Images