CN101047786A - 摄像装置、摄像系统以及摄像方法 - Google Patents

Abstract

本发明提供一种摄像系统，其可同时取得可进行目标物体的高速检测和形状提取的高帧率图像，和人或机器能识别的高画质的通常图像这两者，并且能够基于高帧率图像，生成高速控制用的控制用数据。本发明的摄像系统(3)构成为包括：摄像装置(1)，其在1次通常曝光期间内，拍摄以通常曝光时间对传感器单元阵列(56)的整体曝光区域进行曝光所得的图像，并且，在相同的1帧期间，拍摄以多种曝光时间对传感器单元阵列(56)的特定区域(由曝光区域的一部分构成)进行曝光而得的图像，且根据特定区域的摄像图像数据，生成控制用数据；以及主机系统(2)，其从摄像装置(1)取得通常曝光时间的摄像图像数据，记录保持该摄像图像数据或显示该图像，根据从摄像装置(1)取得的控制用数据，对控制对象进行控制。

Description

摄像装置、摄像系统以及摄像方法

技术领域

本发明涉及摄像装置，其可使用破坏读出方式和非破坏读出方式从光电转换元件读出电荷。

背景技术

近年来，安装在移动体上的监视摄像机备受关注。例如可以举出安装在汽车上的监视用车载摄像机。作为车载摄像机的用途，例如可以举出检测中心线或护栏、检测车距、以及检测隧道出入口中的对比度的急剧变化等。这些识别结果和检测结果、例如输出到预定控制对象(例如、刹车、转向、警报系统等)的控制部，控制部根据该检测结果，对控制对象进行控制，以防止因人的不注意而引起的事故、对应突发的状况变化等。

并且，作为车载摄像机的用途，还可以考虑到如下情况：检测人眼的功能不能捕捉到的被摄体的状态，并根据该检测结果，对控制对象进行高速控制。

作为上述的高速控制的例子，在高速移动的汽车中，可以期待高速检测前方汽车的刹车灯的亮灯/熄灯和刹车(自动)、突然飞出、突然的飞来物以及危险规避(自动)等应用。在这样的高速移动的汽车等移动体中，即时地捕捉(检测)瞬间状态变化，机械自动地进行刹车或事故规避动作，或者，稳定地追踪前方或侧方的其它汽车，从而在事前预测到对象物的活动，并向操纵者发出警报。

并且，以往还有以FA(工厂自动化)用途使用的摄像机。该摄像机取得帧间图像(背景)的差分，根据该差分图像，检测变化。但是，在车载摄像机中，背景不确定而始终变化，所以难以用于高速控制。

而且，近年来，由于廉价的高速度摄像机的出现，高速、稳定的控制变为可能，在机器人视觉等中有所应用。以例如1/1000等的帧率(framerate)进行摄像。在高帧率视频中，几乎没有被摄体的移动，前后帧相关性高，被摄体中的目标物(区域图像)的移动量少，所以帧差分图像的像素水平减小。而且，可以进行移动所产生的帧差分图像的目标物区域图像的边缘检测(差分图像的边缘部的宽度小)。另外，目标物的移动(相对移动)的检测精度提高。由此，由安装了摄像机的设备瞬间检测到目标物，且能够高精度地检测其变化(移动)。即，利用高帧率视频的差分处理，能够容易且高精度地进行边缘检测，其结果，容易推测目标物的形状。另外，能够以更短的周期推测目标物的形状变化。此外，本应用的目的在于控制，所以对象物的坐标(位置)信息、对象物的形状很重要，不需要灰度和广角的图像(这是因为重要的是能够快速地掌握目标物的区域图像，且准确地掌握边缘部，能够识别形状)。

另一方面，如上所述，车载摄像机的目的之一为检测中心线、检测与前方车辆的车距等。为了进行该检测，需要一定程度的高S/N、高对比度的图像。并且，虽然所安装的驾驶记录仪记录事故发生前后的视频，但该情况下，所拍摄的图像需要具有充分高的视觉辨认性，需要曝光时间。即，期待灰度良好地取得广角的图像整体(希望取得清楚的图像)。

这样对车载摄像机要求高视觉辨认性(S/N)和作为机器视觉的高速性这两者。

以往，作为由车载摄像机的摄像图像识别车辆前方或车辆侧方等的物体的技术，具有例如专利文献1中所述的物体识别装置。

专利文献1的现有技术是识别车载摄像机拍摄到的画面中的预定种类的物体，从画面切出识别对象的物体所在的范围，对该切出范围的图像进行识别处理，从而提高处理效率。

专利文献1：日本特开平7-78258号公报

但是，在上述专利文献1的现有技术中，由实施例的记载可知，作为摄像图像将兼用于视觉辨认的图像用于识别处理。即，以曝光量充分的帧率(曝光时间)拍摄被摄体，所以此处所使用的车载摄像机不能取得高速控制用的高帧率的图像。因此，在该现有技术中，为了进行高速控制，例如需要使用高速控制用的摄像机和视觉辨认用的摄像机这两个摄像机等。但是，若使用两个摄像机，则有可能在成本和功耗方面产生问题，因此，优选利用一个摄像机实现。但是，利用一个摄像机实现的情况下，如上所述，在为了稳定控制而进行高速摄影时，由于曝光量不足，图像的S/N变差，不能取得用于其它用途的质量的图像。

发明内容

因此，本发明是关注于这种现有技术所存在的未解决的课题而进行的，其目的在于，提供一种摄像装置，其利用1个摄像元件取得高帧率图像和低帧率的通常图像这两者，所述高帧率图像是可以检测移动速度较快的目标物体并提取形状的较高帧率的图像，所述低帧率的通常图像具有人能够识别的画质，根据所述高帧率图像，可以生成需要较快控制速度(响应速度或检测速度等)的控制对象的控制用数据。

[方式1]为了达到上述目的，对于方式1的摄像装置，其具有：光电转换部，其由将曝光的光转换成电荷而蓄积的多个光电转换元件构成；以及曝光时间控制功能，其控制所述光电转换元件的曝光时间，所述摄像装置的特征在于，其具有：

第一读出单元，其从所述光电转换部的所述光电转换元件所构成的像素中读出作为以预定曝光时间进行曝光的结果而蓄积的电荷；

第二读出单元，其在所述第一读出单元从所述光电转换部的预定区域的像素读出电荷的期间中，多次从所述预定区域中的特定区域的像素读出电荷；

图像数据生成单元，其根据由所述第一读出单元读出的电荷所构成的第一像素数据生成图像数据；以及

预定数据生成单元，其根据由所述第二读出单元多次读出的电荷所构成的第二像素数据生成预定的数据。

根据这种结构，可以利用第一读出单元从所述光电转换部的所述光电转换元件所构成的像素读出作为以预定曝光时间进行曝光的结果而蓄积的电荷，并且在所述第一读出单元从所述光电转换部的预定区域的像素读出电荷的期间，可以利用第二读出单元多次从所述预定区域中的特定区域的像素读出电荷。

并且，可以根据所述第一读出单元读出的电荷所构成的第一像素数据，利用图像数据生成单元生成图像数据，可以根据所述第二读出单元多次读出的电荷所构成的第二像素数据，利用预定数据生成单元生成预定的数据。

因此，例如在高速移动体中应用本发明，对由移动体前方的正在移动的关注被摄体及其背景构成的拍摄对象进行拍摄的情况下，针对该拍摄对象，利用第一读出单元以长曝光时间对曝光区域全体的像素进行曝光，读出该曝光区域全体的各像素的电荷，从而能够得到以长曝光时间曝光的拍摄对象图像(全体图像)数据，所述长曝光时间是例如得到可视觉辨认摄像结果的全体内容的摄像图像所需的充分长的曝光时间。

而且，在所述长曝光时间的曝光期间中，将包括所述正在移动的关注被摄体的区域在内的周边区域设为特定区域，以非破坏方式依次从以例如比所述长曝光时间短的多种(例如、5种等)曝光时间依次对该特定区域的像素进行曝光后的各像素读出电荷，从而能够得到以比长曝光时间时的帧率高的帧率、以多种曝光时间进行曝光的特定区域的图像数据。

由此，能够由以所述长曝光时间进行曝光的电荷所构成的各像素数据生成图像数据，所以能够得到以对于视觉辨认足够的曝光时间进行曝光的摄像图像(曝光区域全体的图像)，并且，能够根据以所述高帧率取得的电荷所构成的各像素数据，生成预定的数据，所以能够获得如下效果：例如，能够检测关注被摄体的快速接近等高速变化，生成能够追随所述变化而对移动体的驱动部(刹车装置、转向装置等)进行高速控制的控制用数据。

此外，能够监视特定区域的像素数据的急剧变化等，所以不仅能够始终监视特定的关注被摄体，而且即使对于特定区域内突发的(拍摄到的)区域图像的变化(例如、超车灯的照射等引起的亮度的急剧变化、飞来物的接近、高速横穿前方的物体、突然从上坡变为下坡时的前方障碍物等)，也能够快速对应，生成控制用数据。

另外，上述“光电转换部”使用例如CMOS技术构成，作为利用了CMOS技术的可非破坏读出的摄像元件，具有阈值调制式摄像元件(例如、VMIS(阈值电压调制图像传感器，Threshold Voltage Modulation ImageSensor))等。下面，与摄像装置相关的方式、与摄像系统相关的方式、以及与摄像方法相关的方式中也一样。

并且，上述“控制对象”根据本发明的摄像装置的使用目的而不同，例如若用于车辆、船舶等移动体的危险监视，则构成移动体的刹车装置、操舵装置、驱动装置(发动机、电动机等)、警报装置等成为控制对象，例如若用于摄像装置的摄像姿势的控制等，则控制姿势的装置成为控制对象，若用于监视建筑物的入侵者(窃贼)或ATM的非法利用者等，则警报装置、通知入侵的装置等成为控制对象。下面，与摄像装置相关的方式、与摄像系统相关的方式、以及与摄像方法相关的方式中也一样。

[方式2]另外，为了达到上述目的，对于方式2的摄像装置，其具有：光电转换部，其由将曝光的光转换成电荷而蓄积的多个光电转换元件配设成矩阵状来构成；以及电子快门功能，其控制曝光时间，所述摄像装置的特征在于，其具有：

第一读出单元，其以破坏读出方式从所述光电转换部的所述光电转换元件所构成的像素读出作为以预定曝光时间进行曝光的结果而蓄积的电荷；

第二读出单元，其在所述第一读出单元从所述整体曝光区域读出1帧的电荷期间，以非破坏读出方式多次从所述光电转换部的所述整体曝光区域中的特定区域中的所述光电转换元件所构成的像素读出电荷；

图像数据生成单元，其根据第一像素数据生成图像数据，所述第一像素数据由所述第一读出单元读出的以预定曝光时间对所述整体曝光区域进行曝光而得的电荷构成；

控制用数据生成单元，其根据第二像素数据生成控制用数据，所述第二像素数据由所述第二读出单元读出的以不同曝光时间对所述特定区域进行曝光而得的电荷构成；以及

控制用数据输出单元，其输出所述控制用数据。

根据这种结构，可以利用第一读出单元以破坏读出方式从所述光电转换部的所述光电转换元件所构成的像素读出作为以预定曝光时间进行曝光的结果而蓄积的电荷，并且在所述第一读出单元从所述整体曝光区域读出1帧的电荷的期间，可以利用第二读出单元以非破坏读出方式多次从所述光电转换部的所述整体曝光区域中的特定区域中的所述光电转换元件所构成的像素读出电荷。

此外，可以根据所述第一读出单元读出的以预定曝光时间对所述整体曝光区域进行曝光而得的电荷所构成的第一像素数据，利用图像数据生成单元生成图像数据；可以根据所述第二读出单元读出的以不同曝光时间对所述特定区域进行曝光而得的电荷所构成的第二像素数据，利用控制用数据生成单元生成控制用数据；可以利用控制用数据输出单元输出所述控制用数据。

因此，与上述方式1相同，例如在高速移动体中应用本发明，并对由移动体前方的正在移动的关注被摄体及其背景构成的拍摄对象进行拍摄的情况下，能够根据以长曝光时间进行曝光的电荷所构成的各像素数据生成图像数据，所以能够得到以对于视觉辨认足够的曝光时间进行曝光的摄像图像(曝光区域全体的图像)。

另外，在所述长曝光时间的曝光期间中，能够根据以相比于以所述长曝光时间进行曝光时的帧率高速的帧率从特定区域取得的、以多种曝光时间进行曝光的电荷所构成的各像素数据，生成控制用数据。

由此，能够获得如下效果：例如，检测关注被摄体的快速接近等高速变化，生成控制用数据，所述控制用数据可以追随所述变化而对移动体的驱动部(刹车装置、转向装置等)等的控制对象进行高速控制。

此外，能够监视特定区域的像素数据的急剧变化等，所以不仅能够始终监视特定的关注被摄体，即使对于特定区域内突发的(拍摄到的)区域图像的变化(例如、超车灯的照射等引起的亮度急剧变化、飞来物的接近、高速横穿前方的物体、突然从上坡变为下坡时的前方障碍物等)，也能够快速应对而生成控制用数据。

此处，上述“破坏读出方式”是指从光电转换元件读出电荷(像素信号)时，还进行将该光电转换元件中蓄积的电荷清空的复位处理。下面，与摄像系统相关的方式、以及与摄像方法相关的方式中也一样。

另外，上述“非破坏读出方式”是指从光电转换元件读出电荷(像素信号)时，在不清空该光电转换元件中蓄积的电荷而保持蓄积状态的情况下读出。即，读出电荷时不进行复位处理，所以在达到设定的曝光时间之前，在电荷蓄积途中，能够对于不同的曝光时间几次读出电荷。下面，与摄像装置相关的方式、与摄像系统相关的方式、以及与摄像方法相关的方式中也一样。

此外，上述“控制用数据”是与读出的电荷对应的像素数据本身、对读出的像素数据进行加工后的数据(去除噪声、差分值等)、能够根据读出的像素数据提取或识别的信息、能够根据该信息判断的判断结果数据等。下面，与摄像装置相关的方式、与摄像系统相关的方式、以及与摄像方法相关的方式中也一样。

[方式3]另外，为了达到上述目的，对于方式3的摄像装置，其具有：光电转换部，其由将曝光的光转换成电荷而蓄积的多个光电转换元件配设成矩阵状来构成；以及电子快门功能，其控制每个帧的曝光时间，所述摄像装置的特征在于，其具有：

第一读出单元，其以破坏读出方式从所述光电转换部中的可曝光的整个区域、即整体曝光区域中的所述光电转换元件所构成的像素读出作为以预定曝光时间进行曝光的结果而蓄积的电荷，所述破坏读出方式是读出该电荷后进行将蓄积电荷清空的复位处理的读出方式；

第二读出单元，其在所述第一读出单元从所述整体曝光区域读出电荷的期间，以非破坏读出方式从所述光电转换部的所述整体曝光区域中的特定区域中的所述光电转换元件所构成的像素读出该像素中蓄积的电荷，所述非破坏读出方式是在维持该蓄积的电荷的状态下读出的读出方式；

图像数据生成单元，其根据第一像素数据生成图像数据，所述第一像素数据由所述第一读出单元读出的以预定曝光时间对所述整体曝光区域进行曝光而得的电荷构成；

控制用数据生成单元，其根据第二像素数据生成用于控制预定控制对象的控制用数据，所述第二像素数据由所述第二读出单元读出的以不同曝光时间对所述特定区域进行曝光而得的电荷构成；

控制用数据输出单元，其读出由所述控制用数据生成单元生成的控制用数据。

根据这种结构，可以通过第一读出单元以破坏读出方式从所述光电转换部中的可曝光的整个区域、即整体曝光区域中的所述光电转换元件所构成的像素读出作为以预定曝光时间进行曝光的结果而蓄积的电荷，所述破坏读出方式是在读出电荷后进行将蓄积电荷清空的复位处理的读出方式；在所述第一读出单元从所述整体曝光区域读出电荷的期间，可以通过第二读出单元以非破坏读出方式、即在维持所蓄积的电荷的状态下读出的读出方式，从所述光电转换部的所述整体曝光区域中的特定区域中的所述光电转换元件所构成的像素读出该像素中蓄积的电荷。

并且，可以根据所述第一读出单元读出的以预定曝光时间对所述整体曝光区域进行曝光而得的电荷所构成的第一像素数据，利用图像数据生成单元生成图像数据；可以根据所述第二读出单元读出的以多种曝光时间对所述特定区域进行曝光而得的电荷所构成的第二像素数据，利用控制用数据生成单元生成用于控制预定控制对象的控制用数据；可以利用控制用数据输出单元输出由所述控制用数据生成单元生成的控制用数据。

因此，与上述方式1相同，例如在高速移动体中应用本发明，对由移动体前方的正在移动的关注被摄体及其背景构成的拍摄对象进行拍摄的情况下，能够根据以长曝光时间进行曝光的电荷所构成的各像素数据生成图像数据，所以能够得到以对于视觉辨认足够的曝光时间进行曝光的摄像图像(曝光区域全体的图像)。

另外，在所述长曝光时间的曝光期间中，能够根据以相比于以所述长曝光时间进行曝光时的帧率高速的帧率从特定区域取得的、以多种曝光时间进行曝光的电荷所构成的各像素数据，生成控制用数据。

由此，能够获得如下效果：例如，检测关注被摄体的快速接近等高速变化，生成控制用数据，所述控制用数据可以追随所述变化而对移动体的驱动部(刹车装置、转向装置等)进行高速控制。

此外，能够监视特定区域的像素数据的急剧变化等，所以不仅能够始终监视特定的关注被摄体，而且即使对于特定区域内突发的(拍摄到的)区域图像的变化(例如、超车灯的照射等引起的亮度的急剧变化、飞来物的接近、高速横穿前方的物体、突然从上坡变为下坡时的前方障碍物等)，也能够快速应对而生成控制用数据。

[方式4]此外，对于方式4的摄像装置，其特征在于，在方式2或3的摄像装置中，所述控制用数据生成单元具有第一差分值计算部，其对每个所述帧计算第一差分值，所述第一差分值是通过所述多次读出得到的多种曝光时间的所述第二像素数据中的、像素位置相同且曝光时间不同的各两个所述第二像素数据中的一个像素值和另一个像素值之间的差分值，所述控制用数据生成单元根据该第一差分值计算部计算出的第一差分值，生成所述控制用数据。

根据这种结构，例如将当前正在以非破坏方式读出电荷的曝光时间的上一个曝光时间读出的像素数据作为基准数据保持，并计算从当前读出的像素数据减去所述基准数据而得到的差分值(第一差分值)，根据该第一差分值，生成控制用数据。

由此可以由第一差分值了解关注被摄体的亮度水平的变化，所以能够根据该亮度水平的变化知道例如关注被摄体的位置或动作内容、关注被摄体的特定区域内的飞入、特定区域图像全体的急剧亮度变化(例如、突然出现耀眼的风景)等与关注被摄体相关的各种信息。即，能够生成可根据这些信息对预定控制对象进行适当控制的控制用数据，所以能够获得如下效果：能够生成可对控制对象进行更适当的控制的控制用数据。

此外，对于构成光电转换部的各光电转换元件(像素)，因它们的特性偏差而引起固定模式噪声，所以在非破坏读出方式中，由读出的电荷构成的像素数据中混入较多的噪声。即，通过计算差分值，能够去除混入到像素数据中的噪声成分，所以能够获得如下效果：能够根据更准确的亮度水平变化，推测与关注被摄体相关的各种信息。

此处，“固定模式噪声”包括例如因长时间曝光时成为问题的暗电流黑斑(dark current shading)或各像素的传感器灵敏度的差异引起的噪声等。下面，与摄像系统相关的方式、与摄像方法相关的方式中也一样。

[方式5]另外，对于方式5的摄像装置，其特征在于，在方式4的摄像装置中，所述控制用数据生成单元具有：当前特定区域图像数据生成部，其在当前帧中，根据所述第一差分值计算部计算出的所述第一差分值，生成当前特定区域图像数据；先前特定区域图像数据生成部，其在所述当前特定区域图像数据的帧的前一帧中，根据所述第一差分值计算部计算出的所述第一差分值，生成先前特定区域图像数据；以及第二差分值计算部，其计算所述当前特定区域图像数据的各像素数据的像素值与所述先前特定区域图像数据的各像素数据的像素值之间的差分值、即第二差分值，根据该第二差分值计算部计算出的第二差分值，生成所述控制用数据。

根据这种结构，例如，可以根据当前帧的图像数据和当前帧的前一帧的图像数据之间的差分图像(帧间差分图像(由第二差分值构成的图像))，生成控制用数据。

因此，根据关注被摄体的帧之间的亮度水平的变化，能够知道例如关注被摄体的位置或形状等与关注被摄体相关的各种信息，所以能够获得如下效果：能够生成可以更适当地对控制对象进行控制的控制用数据。

[方式6]另外，对于方式6的摄像装置，其特征在于，在方式5的摄像装置中，所述控制用数据生成单元具有滤波处理部，其对所述当前特定区域图像数据和所述先前特定区域图像数据分别实施使用了二维低通滤波器的滤波处理，在所述第二差分值计算部中，作为所述第二差分值，计算实施了所述滤波处理后的所述当前特定区域图像数据的各像素数据的像素值与实施了所述滤波处理后的所述先前特定区域图像数据的各像素数据的像素值之间的差分值，根据该第二差分值计算部计算出的第二差分值，生成所述控制用数据。

根据这种结构，例如能够利用线性低通滤波器等二维低通滤波器(下面称为二维LPF)，去除特定区域的图像(下面称为特定区域图像)内的微小的凹凸(例如路面上的小石块等)等可忽略尺寸的画面中的变化，所以能够更准确地知道例如危险规避等所需的信息，因此，能够获得如下效果：能够生成可以更适当地对控制对象进行控制的控制用数据。

[方式7]对于方式7的摄像装置，其特征在于，在方式4～6的任意一项的摄像装置中，当所述第二差分值表示的亮度值为特定值以上的像素数量达到预定数以上时，所述控制用数据生成单元生成向所述预定控制对象的控制部通知达到了所述预定数以上的情况的数据。

根据这种结构，例如在车辆上安装本发明的摄像装置，将前方车辆作为关注被摄体进行摄像时，例如特定区域内没有前方车辆(关注被摄体)时、或与前方车辆保持车距进行通常行驶时等的情况下，特定区域图像的所述第二差分值(相当于亮度水平的变化量)较小。另一方面，例如前方车辆踩刹车时刹车灯亮灯，从而关注被摄体图像的亮度水平上升，因此，所述第二差分值增加，并且，第二差分值为特定值以上的像素总数增加。所以，能够根据所述第二差分值(亮度水平的变化)简单地检测前方车辆的急刹车等的危险状况，并且能够生成将该情况通知给控制部的通知用的控制用数据(例如，警报数据等的报知异常检出的数据)。

即，通过将该生成的控制用数据立即发送给控制部，从而能够将危险接近等(或者用于判断危险接近的数据)立即通知给控制部，所以能够获得可使控制部对控制对象进行高速控制的效果。

[方式8]另外，对于方式8的摄像装置，其特征在于，在方式4～7的任意一项的摄像装置中，所述控制用数据生成单元具有推测部，其根据所述多种第二像素数据，推测与在所述特定区域中拍摄到的预定被摄体相关的信息，根据该推测部的推测结果，生成所述控制用数据。

根据这种结构，能够推测与特定区域内的关注被摄体相关的信息，并根据该推测结果生成控制用数据，所以例如可以根据关注被摄体图像的亮度值的变化推测关注被摄体的移动，根据该推测结果，作为控制用数据生成表示关注被摄体正在接近等动作内容的数据或表示危险等的警报数据等。因此，能够获得如下效果：可以高速地推测关注被摄体的详细状态，能够生成可进行更适当的控制的控制用数据。

[方式9]并且，对于方式9的摄像装置，其特征在于，在方式8的摄像装置中，所述控制用数据生成单元具有边缘信息提取部，其从与所述特定区域的各像素对应的、像素数据由所述第一差分值构成的差分图像数据中，提取边缘信息，所述推测部根据所述边缘信息提取部提取的边缘信息，推测所述预定被摄体的形状。

根据这种结构，可以从特定区域内提取差分图像的边缘信息，由此，能够推测关注被摄体的形状。因此，能够获得如下效果：根据该形状信息，推测关注被摄体的准确的位置信息，根据从形状信息了解的形状变化，推测关注被摄体的准确的动作内容等，推测与关注被摄体相关的各种信息。

此处，边缘信息是指表示图像中亮度急剧变化的位置的亮度变化的信息。例如，特定区域中的关注被摄体图像及其背景图像之间的边界部分等产生急剧的亮度变化。由该边缘信息构成的图像形成关注被摄体图像等的轮廓。而且，边缘信息(亮度的变化值)可以利用微分运算来计算。微分包括梯度算子(gradient)(1次微分)和拉普拉斯算子(Laplacian)(2次微分)。但是，从数字图像提取边缘信息的情况下，数字图像不连续，所以严格地说不能进行微分运算。因此，需要利用差分计算出相邻像素的微分值的近似值。相邻像素的差分可以使用微分参数对像素进行加权来计算。该差分值成为相邻像素的微分值的近似值。

[方式10]而且，对于方式10的摄像装置，其特征在于，在方式8或9的摄像装置中，所述边缘信息提取部从所述图像数据提取边缘信息，并且，从所述特定区域的、各像素的像素数据由所述第一差分值构成的差分图像数据提取边缘信息，所述推测部根据所述边缘信息提取部提取的边缘信息，推测所述预定被摄体的形状。

根据这种结构，能够根据可准确地视觉辨认摄像内容的图像的边缘信息和通过高速采样得到的差分图像的边缘信息，推测关注被摄体的形状，所以能够获得如下效果：能够更准确地推测关注被摄体的形状。

[方式11]此外，对于方式11的摄像装置，其特征在于，在方式9或10的摄像装置中，所述控制用数据生成单元根据所述预定被摄体的形状的推测结果，当该预定被摄体的形状变化的大小为特定值以上或小于特定值时，生成向所述预定控制对象的控制部通知达到所述特定值以上或小于特定值的数据。

根据这种结构，例如在车辆上安装本发明的摄像装置，将前方车辆作为关注被摄体进行摄像时，关注被摄体的形状变化的大小在关注被摄体的尺寸增大方向上为特定值以上时，该关注被摄体位于接近摄像装置的位置的可能性高，所以此时可以生成将该情况通知给控制部的数据(例如、警报数据等的报知异常检出的数据)。

即，通过将该生成的控制用数据立即发送给控制部，从而能够立即将危险接近等(或者用于判断危险接近的数据)通知给控制部，所以能够获得如下效果：能够使控制部对控制对象进行高速控制。

[方式12]另外，对于方式12的摄像装置，其特征在于，在方式1～11的任意一项的摄像装置中，所述摄像装置具有特定区域宽度设定单元，其根据安装该摄像装置的移动体的速度信息，设定所述特定区域的宽度。

根据这种结构，可以根据安装该摄像装置的移动体的速度信息，设定所述特定区域的宽度。

因此，例如移动体的速度为特定速度以上时，使特定区域的宽度小于例如移动体的速度低于特定速度时的宽度，从而第二读出单元能够更高速地对电荷进行采样(以更高的帧率读出电荷)。即，由于移动体的速度提高，与关注被摄体之间的相对速度提高，因此需要更高速地进行像素数据的取得以及与关注被摄体相关的信息的推测，所以通过缩小特定区域的宽度，从而减少读出电荷的像素数，提高帧率(提高像素数据的取得速度)，并且，减少差分值的计算处理、边缘的提取处理、二维LPF处理等的控制用数据生成处理所需处理的处理量，从而使各处理高速化，能够追随关注被摄体的高速变化。并且，移动体的速度低于特定速度的情况下，根据移动体的速度，将特定区域宽度设定为例如与高于该速度的情况相比更宽的宽度，从而能够获得如下效果：能够容易地在特定区域内捕捉到关注被摄体(广范围监视)。即，扩大特定区域的宽度，从而容易使关注被摄体位于特定区域内，并且，即使关注被摄体的形状变化，该变化后的关注被摄体也难以跑出到特定区域之外。

[方式13]另外，对于方式13的摄像装置，其特征在于，在方式1～12的任意一项的摄像装置中，所述控制用数据生成单元根据所述多种第二像素数据，推测所述曝光区域中的所述关注被摄体的位置，该摄像装置具有位置变更单元，其根据所述推测的位置，变更所述特定区域的位置。

根据这种结构，可以利用位置变更单元根据所推测的关注被摄体的位置，变更所述特定区域的位置。

因此，即使关注被摄体移动而超出了特定区域的范围，只要关注被摄体在曝光区域内，就能够追随该关注被摄体的移动，变更特定区域的位置，所以能够获得可以持续在特定区域内捕捉关注被摄体的效果。

[方式14]另一方面，为了达到上述目的，方式14的摄像系统具有：光电转换部，其由将曝光的光转换成电荷而蓄积的多个光电转换元件配设成矩阵状来构成；以及电子快门功能，其控制曝光时间，所述摄像系统的特征在于，其具有：

第一读出单元，其以破坏读出方式从所述光电转换部的所述光电转换元件所构成的像素读出作为以预定曝光时间进行曝光的结果而蓄积的电荷；

第二读出单元，其在所述第一读出单元从所述整体曝光区域读出1帧的电荷的期间，以非破坏读出方式多次从所述光电转换部的所述整体曝光区域中的特定区域中的所述光电转换元件所构成的像素读出电荷；

图像数据生成单元，其根据第一像素数据生成图像数据，所述第一像素数据由所述第一读出单元读出的以预定曝光时间对所述整体曝光区域进行曝光而得的电荷构成；

控制用数据生成单元，其根据第二像素数据生成控制用数据，所述第二像素数据由所述第二读出单元读出的以不同曝光时间对所述特定区域进行曝光而得的电荷构成；以及

控制用数据输出单元，其输出所述控制用数据。

根据这种结构，能够获得与上述方式2的摄像装置相同的作用和效果。

此处，本系统可以作为单一的装置、终端及其它设备来实现(该情况下，与方式1相等)，也可以作为将多个装置、终端及其它设备可通信地连接而成的网络系统来实现。后者的情况下，各构成要素只要分别可通信地连接即可，可以属于多个设备等中的任意一个。

[方式15]此外，为了达到上述目的，方式15的摄像方法是用于摄像装置的摄像方法，所述摄像装置具有：光电转换部，其由将曝光的光转换成电荷而蓄积的多个光电转换元件配设成矩阵状来构成；以及电子快门功能，其控制曝光时间，所述摄像方法的特征在于，其包括：

第一读出步骤，以破坏读出方式从所述光电转换部的所述光电转换元件所构成的像素读出作为以预定曝光时间进行曝光的结果而蓄积的电荷；

第二读出步骤，在所述第一读出步骤中从所述整体曝光区域读出1帧的电荷的期间，以非破坏读出方式多次从所述光电转换部的所述整体曝光区域中的特定区域中的所述光电转换元件所构成的像素读出电荷；

图像数据生成步骤，其根据第一像素数据生成图像数据，所述第一像素数据由所述第一读出步骤中读出的以预定曝光时间对所述整体曝光区域进行曝光而得的电荷构成；

控制用数据生成步骤，其根据第二像素数据生成控制用数据，所述第二像素数据由所述第二读出步骤中读出的以不同曝光时间对所述特定区域进行曝光而得的电荷构成；以及

控制用数据输出步骤，输出所述控制用数据。

由此，能够获得与上述方式2的摄像装置相等的效果。

附图说明

图1是示出本发明的摄像系统3的概要结构的框图。

图2是示出摄像处理系统10的内部结构和主机系统2的内部结构的框图。

图3是示出AFE(模拟前端，Analog Front End)102的内部结构的图。

图4是示出个别区域扫描对应型摄像元件100的内部结构的框图。

图5是示出扫描行扫描器54的内部结构的图。

图6是示出传感器单元阵列56的详细结构的图。

图7是示出摄像元件100的传感器单元阵列56中的各像素行的曝光和像素信号读出动作的一例的图。

图8是示出视频处理系统12的内部结构的框图。

图9是示出高速/特定区域图像生成部12d的内部结构的图。

图10是示出破坏读出方式中的像素蓄积电荷量的推移的图。

图11是示出控制用数据生成部12e的内部结构的图。

图12是示出拍摄对象图像(监视图像)的一例的图。

图13(a)～(e)是示出检测图像数据的生成过程的一例的图。

符号说明

1摄像装置，2主机系统，2a系统控制器，2b显示装置，2c记录装置，3摄像系统，10摄像处理系统，12视频处理系统(DSP)，14帧存储器，100个别区域扫描对应型摄像元件，102第一AFE，104第二AFE，50基准定时发生器，52驱动脉冲发生器，54扫描行扫描器，56传感器单元阵列，58第一水平传送部，60第二水平传送部，54a整体区域扫描计数器，54b整体区域扫描地址解码器，54c特定区域扫描计数器，54d特定区域扫描地址解码器，54e OR逻辑电路，12a通信器，12b定时控制器，12c通常图像生成部，12d高速/特定区域图像生成部，12e控制用数据生成部，12f存储器访问协调器，12g输出读取器。

具体实施方式

下面，参照附图，说明本发明的摄像装置的实施方式。图1～图13是示出本发明的摄像装置1的实施方式的图。

下面，根据图1，说明应用了本发明的摄像装置1的摄像系统3的概要结构。此处，图1是示出本发明的摄像系统3的概要结构的框图。另外，本发明的摄像系统3的目的在于，将摄像装置1安装到移动体上，监视移动体前方的关注被摄体(目标物)。

如图1所示，摄像系统3构成为包括：摄像装置1，其在1帧期间(1次曝光期间)，拍摄以通常曝光时间(由用户等任意设定的时间)对传感器单元阵列56(后述)的整体曝光区域(整体区域)进行曝光而得的图像，并且，在相同的1帧期间内，拍摄以多种曝光时间对传感器单元阵列56的特定区域(由曝光区域的一部分构成)进行曝光而得的图像，而且，根据特定区域的摄像图像数据，生成控制用数据；以及主机系统2，其从摄像装置1取得通常曝光时间的摄像图像数据，显示该摄像图像数据的图像或记录保持该摄像图像数据，从摄像装置1取得控制用数据，根据该控制用数据，对控制对象进行控制。

如图1所示，摄像装置1构成为包括：区域扫描对应摄像处理系统10(下面称为摄像处理系统10)，其在通常曝光时间的曝光期间中，以破坏读出方式从传感器单元阵列56(后述)的整体曝光区域中的以通常曝光时间进行曝光的各像素行中读出像素信号，并且，以非破坏读出方式从特定区域中的以多种曝光时间(本实施方式中，均为通常曝光时间以下的时间且无重复)进行曝光的各像素行中读出每个种类的像素信号，依次输出每个所读出的像素行的像素信号的像素数据(数字数据)；视频处理系统12，其根据从区域扫描对应摄像处理系统10输出的、来自整体曝光区域的各像素的与通常曝光时间的曝光对应的像素数据，生成通常图像数据(视觉辨认用图像数据)，根据来自特定区域的各像素的分别与多种曝光时间的曝光对应的像素数据，生成特定区域图像数据，根据该生成的特定区域图像数据，生成控制用数据；以及帧存储器14，其存储通常图像数据、特定区域图像数据等各种图像数据。

此外，根据图2～图6，说明摄像处理系统10的内部结构。此处，图2是示出摄像处理系统10的内部结构和主机系统2的内部结构的框图。并且，图3是示出AFE(模拟前端，Analog Front End)102的内部结构的图。而且，图4是示出个别区域扫描对应型摄像元件100的内部结构的框图。此外，图5是示出扫描行扫描器54的内部结构的图。另外，图6是示出传感器单元阵列56的详细结构的图。

如图2所示，摄像处理系统10构成为包括：个别区域扫描对应型摄像元件100、第一AFE 102、以及第二AFE 104。

个别区域扫描对应型摄像元件100(下面称为摄像元件100)利用摄像镜头(未图示)将来自被摄体的光汇聚到传感器单元阵列56(后述)上，在传感器单元阵列56的各像素中蓄积与该聚光量对应的电荷。并且，摄像元件100根据从视频处理系统12的定时控制器12b(后述)输出的驱动信号(像素时钟、水平同步信号以及垂直同步信号)，将传感器单元阵列56的整体曝光区域的各像素列中蓄积的电荷组依次转换为电压组。并且，根据后述的扫描行扫描器54所生成的特定区域垂直同步信号，将传感器单元阵列56的特定区域的各像素列中蓄积的电荷组依次转换电压组。

而且，摄像元件100中，对以通常曝光时间对整体曝光区域进行曝光得到的电荷组进行转换而形成的电压组经由第一水平传送部58(后述)所具有的第一输出通道(下面称为CH1)被依次输出到第一AFE 102，该第一输出通道构成为包括第一行存储器S和第一行存储器N，依次对以多种曝光时间对特定区域进行曝光得到的电荷组进行转换而形成的另一电压组经由第二水平传送部60(后述)所具有的第二输出通道(下面称为CH2)被依次输出到第二AFE 104，该第二输出通道构成为包括第二行存储器。此外，本实施方式中，针对整体曝光区域，经由CH1以破坏读出方式从各像素读出电荷，针对特定区域，经由CH2以非破坏读出方式从各像素读出电荷，从而在基于电子快门功能的1次曝光期间(通常曝光时间)中，分别独立地读出以通常曝光时间对整体曝光区域进行曝光时的电荷组和以多种曝光时间对特定区域进行曝光时的电荷组。

此处，说明破坏读出和非破坏读出的动作之间的不同。破坏读出如下：读出后，立即进行复位处理(清空传感器单元内蓄积的电荷的处理)，再次进行读出动作。复位前的读出信号(模拟数据)存储于第一行存储器S中，刚刚复位后的读出信号存储于第一行存储器N中。而且，在差动放大器62(后述)中，进行相应像素信号的减法处理而进行信号电平检测和噪声去除。另一方面，非破坏读出在读出后不进行复位处理。读出后的信号(模拟数据)分别存储于各个第二行存储器中。分别存储于第一行存储器和第二行存储器中的像素信号与像素时钟取得同步后分别被输出到第一AFE 102和第二AFE 104。

第一AFE 102和第二AFE 104将经由第一水平传送部58的CH1和第二水平传送部60的CH2输出的与分别不同的曝光时间对应的电压信号(模拟数据)转换为数字数据(下面称为像素数据)。而且，第一AFE102和第二AFE 104将所生成的像素数据分别输出到视频处理系统12的高速/特定区域图像生成部12d(后述)和通常图像生成部12c(后述)。

接着，根据图3，说明第一AFE 102的内部结构。

如图3所示，第一AFE 102构成为包括钳位电路102a、放大电路102b、以及A/D转换电路102c。

钳位电路102a接收来自摄像元件100的像素信号，检测该像素信号是否为遮光区域的信号，在检测为遮光区域的情况下，对全部输入信号进行钳位处理，使得其信号电平成为黑(基准)电平，将该钳位处理后的像素信号输出到放大电路102b。

放大电路102b将钳位后的像素信号放大，使其与A/D转换器的输入范围匹配，将该放大后的像素信号输出到A/D转换电路102c。

A/D转换电路102c将来自放大电路102b的像素信号(模拟数据)转换为像素数据(数字数据)，输出到视频处理系统12。

另外，第一AFE 102和第二AFE 104的内部结构相同，所以省略对第二AFE 104的内部结构的说明。

进一步，根据图4，说明摄像元件100的内部结构。

如图4所示，摄像元件100构成为包括基准定时发生器50、驱动脉冲发生器52、扫描行扫描器54、传感器单元阵列56、第一水平传送部58、以及第二水平传送部60。

基准定时发生器50根据来自视频处理系统12的定时控制器12b(后述)的垂直同步信号和水平同步信号，生成基准定时信号。

驱动脉冲发生器52根据来自基准定时发生器50的基准定时信号、以及来自扫描行扫描器54的复位行选择信号和读出行选择信号，生成驱动脉冲，提供给传感器单元阵列56。

扫描行扫描器54根据各种驱动控制信号，选择复位行相对于整体曝光区域的位置，生成复位行选择信号，并且，选择读出行相对于整体曝光区域的位置，生成读出行选择信号。而且，根据来自视频处理系统12的通信器/DSP工作控制部12a(后述)的指定开始行号和扫描区域宽度的控制信号，选择读出行相对于特定区域的位置，生成读出行选择信号。这些生成的选择信号被输出到驱动脉冲发生器52。

传感器单元阵列56使用CMOS技术构成各像素，根据从驱动脉冲发生器52供给的驱动脉冲，以通常曝光时间对整体曝光区域中的各像素进行曝光，并且，按照各像素的每个行，以破坏读出方式读出通过该曝光蓄积在各像素中的电荷，依次输出到第一水平传送部58。另一方面，在该通常曝光时间的曝光期间中，按照各像素的每个行且按照各曝光时间的每个种类，依次以非破坏读出方式读出特定区域中的在多种曝光时间中蓄积在各像素中的电荷，依次输出到第二水平传送部60。

第一水平传送部58按照各像素的每个行，将传感器单元阵列56的整体曝光区域中的与通常曝光时间对应的像素信号数据和刚刚复位后的像素信号数据分别存储到CH1的第一行存储器S和第一行存储器N中，将该存储的通常曝光时间和刚刚复位后的像素信号数据输出到差动放大器62(后述)。

第二水平传送部60按照各像素的每个行，将传感器单元阵列56的特定区域中的与多种曝光时间对应的像素信号数据存储到CH2的第二行存储器中，将该存储的像素信号数据输出到第二AFE 104。

进一步，根据图5，说明扫描行扫描器54的内部结构。

如图5所示，扫描行扫描器54构成为包括整体区域扫描计数器54a、整体区域扫描地址解码器54b、特定区域扫描计数器54c、特定区域扫描地址解码器54d、以及OR逻辑电路54e。

整体区域扫描计数器54a根据来自基准定时发生器50的垂直同步信号和水平同步信号，重复向上计数动作。此处，计数器的值与整体曝光区域的像素的行号对应，该行号输出到整体区域扫描地址解码器54b。

整体区域扫描地址解码器54b将来自整体区域扫描计数器54a的行号的行作为“读出行”设为有效，将除此之外的行设为无效。此外，将表示设为有效的行位置(地址)的读出行控制信号输出到OR逻辑电路54e，并且，将该读出行控制信号作为复位行选择信号输出到驱动脉冲发生器52。

特定区域扫描计数器54c根据来自通信器/DSP工作控制部12a的表示开始行号和扫描区域宽度的信息，与整体区域扫描计数器54a不同步地重复向上计数动作。此处，计数器的值与特定区域的像素的行号对应，该行号被输出到特定区域扫描地址解码器54d。并且，特定区域扫描计数器54c生成特定区域中的垂直同步信号、即特定区域垂直同步信号，将该生成的特定区域垂直同步信号输出到视频处理系统12的定时控制器12b。

特定区域扫描地址解码器54d将来自特定区域扫描计数器54c的行号的行作为“读出行”设为有效，将除此之外的行设为无效。此外，将表示设为有效的行位置(地址)的读出行控制信号输出到OR逻辑电路54e。

OR逻辑电路54e根据来自整体区域扫描地址解码器54b的读出行控制信号和来自特定区域扫描地址解码器54d的读出行控制信号，对每个行进行OR运算，生成对整体曝光区域的最终的读出行选择信号，并且，生成对特定区域的最终的读出行选择信号。这些生成的读出行选择信号被输出到驱动脉冲发生器52。

进一步，根据图6，说明传感器单元阵列56的详细结构。

如图6所示，传感器单元阵列56将使用CMOS构成的多个传感器单元(像素)56a配设成矩阵状，按照每个像素列，地址线、复位线以及读出线公共地与构成各像素列的传感器单元56a连接，经由该三根控制线，将各种驱动信号发送到构成各像素列的传感器单元56a。并且，若地址线和读出线为有效，则经由图6所示的信号线，将蓄积电荷传送到第一水平传送部58或第二水平传送部60。根据这种结构，利用地址线，将进行复位动作或读出动作的像素列设为有效(选择)，进行复位动作的情况下，经由复位线对通过该选择信号而选择的像素列的各传感器单元56a输入指示复位动作的信号，在读出像素信号的情况下，经由读出线对通过该选择信号而选择的像素列的各传感器单元56a输入指示蓄积电荷传送的信号。

进一步，根据图7，说明摄像元件100的曝光时间的控制方法、以及从传感器单元阵列56读出像素信号的方法。此处，图7是示出摄像元件100的传感器单元阵列56中的各像素的每个行的曝光和像素信号读出动作的一例的图。

此处，在本发明的曝光时间的控制中，首先，对传感器单元阵列56的整体曝光区域(整体扫描区域)设定通常扫描行(读出行)L1，该通常扫描行L1用于进行整体曝光区域中的各像素行的蓄积电荷的清除(复位)和通常曝光时间的像素信号的读出，并且，对传感器单元阵列56的特定区域(特定扫描区域)设定高速扫描行(读出行)L2，该高速扫描行L2用于进行多种曝光时间的像素信号的非破坏读出。而且，在1次曝光期间(通常曝光时间)中，分别独立地执行通常曝光时间时的像素信号的读出和复位、以及多种曝光时间时的像素信号的非破坏读出。即，如图7所示，对于通常扫描行L1和高速扫描行L2，如下设定通常扫描行L1：当整体曝光区域的像素行(例如、第1～第18行)上依次蓄积了通常曝光时间的电荷时，通常扫描行L1依次读出各像素行的像素信号，并且，依次将该蓄积电荷清除；另一方面，如下设定高速扫描行L2：在特定区域的像素行(例如、第9～第12行)中，在蓄积通常曝光时间的电荷的期间、在多种曝光时间的各曝光时间中以非破坏方式依次读出各像素行的像素信号。

另外，本实施方式中，如图7所示，针对整体曝光区域的通常曝光时间时的像素信号(模拟数据)被读出到CH1的第一行存储器S中，另一方面，刚刚复位后的像素信号被读出到CH1的第一行存储器N中。而且，如图7所示，这些读出的像素信号被输出到设置于第一水平传送部58的输出侧的差动放大器62，在该差动放大器62中，对分别与复位前和复位后对应的像素信号进行减法处理，检测信号电平，除去噪声。然后，减法处理后的像素信号被输出到第一AFE 102，在此转换为数字数据(像素数据)。另一方面，针对特定区域的多种曝光时间时的像素信号被读出到CH2的第二行存储器中，输出到第二AFE 104，在此处转换为数字数据(像素数据)。

另外，如图7所示，上述通常扫描行L1和高速扫描行L2的像素信号的读出定时的控制如下进行：针对整体曝光区域、按照各像素的每个行依次扫描(图7中为上方向)通常扫描行L1，在该通常扫描行L1中，清除(复位)蓄积电荷，并且，在蓄积电荷的清除(复位)前后读出以通常曝光时间进行曝光的像素的像素信号。而且，在第一行中，进行像素信号的读出和复位，像素信号从行存储器全部读出到外部之后，依次进行通常扫描行L1的扫描，通常扫描行L1再次达到第一行时，在刚好经过通常曝光时间的定时，进行通常扫描行L1的扫描。按照这种步骤，针对传感器单元阵列56的整体曝光区域的像素行，按照各像素的每个行，依次进行通常曝光时的像素信号的读出和蓄积电荷的清除(复位)。另一方面，在特定区域中，蓄积电荷被通常扫描行L1清除(复位)时，针对该清除(复位)后的像素的行，在高速扫描行L2中，按照曝光时间从短到长的顺序，依次非破坏地读出以多种曝光时间进行曝光的像素的像素信号。按照这种步骤，针对传感器单元阵列56的特定区域的各像素行，按照每个行，依次非破坏地读出以多种曝光时间进行曝光时的像素信号。

另外，本实施方式中，为了同时进行通常扫描行L1的像素信号的读出和高速扫描行L2的像素信号的读出，例如将根据水平同步信号设定的读出期间(向行存储器的传送期间)分为两个期间，在一方的期间，利用通常扫描行L1将像素信号读出到CH1的第一行存储器S中，在另一方的期间，利用高速扫描行L2将像素信号读出到CH2的第二行存储器中，从而能够避免干涉。

进一步，根据图8～图11，说明视频处理系统12的内部结构。此处，图8是示出视频处理系统12的内部结构的框图。并且，图9是示出高速/特定区域图像生成部12d的内部结构的图。而且，图10是示出破坏读出方式中的像素蓄积电荷量的推移的图。此外，图11是示出控制用数据生成部12e的内部结构的图。

如图8所示，视频处理系统12构成为包括通信器/DSP工作控制部12a、定时控制器12b、通常图像生成部12c、高速/特定区域图像生成部12d、控制用数据生成部12e、存储器访问协调器12f、以及输出读取器12g。

通信器/DSP工作控制部12a从系统控制器2a(后述)取得与针对传感器单元阵列56的特定区域的开始行号和扫描区域宽度相关的信息，将表示该取得的开始行号和扫描区域宽度的驱动控制信号输出到摄像处理系统10的扫描行扫描器54。并且，从系统控制器2a取得表示特定区域的开始位置和宽度是否变更的数据、即特定区域起始位置数据，将该取得的特定区域起始位置数据输出到高速/特定区域图像生成部12d。

定时控制器12b生成摄像元件100的驱动信号(像素时钟、水平同步信号、垂直同步信号)，将该驱动信号输出到摄像元件100的基准定时发生器50。并且，定时控制器12b根据水平同步信号、垂直同步信号，知道了从摄像处理系统10的CH1输出的、与整体曝光区域的以通常曝光时间进行曝光时的像素信号对应的、摄像元件100的传感器单元阵列56中的像素位置(像素列(行)序号、像素序号)，所以生成其像素列(行)序号(下面称为“地址信息”)，将该地址信息输出到通常图像生成部12c。而且，定时控制器12b根据来自摄像处理系统10的特定区域垂直同步信号和水平同步信号，知道了从摄像处理系统10的CH2输出的、与特定区域的以多种曝光时间进行曝光时的像素信号对应的、摄像元件100的传感器单元阵列56中的像素位置，所以生成其地址信息，将该地址信息输出到高速/特定区域图像生成部12d。

通常图像生成部12c经由第一AFE 102取得来自摄像处理系统10的、根据通过通常扫描行L1的扫描读出的像素信号所生成的像素数据(下面称为通常扫描图像数据)。然后，根据该取得的通常扫描图像数据，生成视觉辨认用的图像、即通常图像的数据(下面称为通常图像数据)，经由存储器访问协调器12f，将该生成的通常图像数据存储到帧存储器14中。

如图9所示，高速/特定区域图像生成部12d构成为包括数据处理部70和差分图像生成部72。

数据处理部70经由第二AFE 104取得来自摄像处理系统10的、根据通过高速扫描行L2的扫描读出的像素信号所生成的像素数据(下面称为高速扫描区域图像数据)，另一方面从通信器/DSP工作控制部12a取得特定区域起始位置数据。并且，当特定区域的开始位置和宽度根据特定区域起始位置数据发生变更时，将无效标志和与特定区域中的所述变更后的最初的1次扫描相对应的高速扫描区域图像数据对应起来。另一方面，起始位置未变更时，将有效标志与取得的高速扫描区域图像数据对应起来。与有效或无效标志对应起来的高速扫描区域图像数据被输出到差分图像生成部72，并且，经由存储器访问协调器12f存储到帧存储器14中。即，若特定区域的宽度变更，则曝光时间变化，根据变更定时，宽度有可能在扫描的中途改变，所以在变更后的最初的1扫描中，以变更后的曝光时间曝光的像素数据和以变更前的曝光时间曝光的像素数据混在一起。因此，对于与变更后的最初的1次扫描对应的高速扫描区域图像数据，为了不在后阶段的处理中使用该数据，将其与无效标志对应起来。并且，从摄像处理系统10取得的高速扫描区域图像数据在差分图像生成部72中用于差分值的运算，所以存储保持到帧存储器14中。下面，将该存储保持的高速扫描区域图像数据称为特定区域基准图像数据。

从数据处理部70取得与有效或无效标志对应起来的特定区域图像数据时，差分图像生成部72经由存储器访问协调器12f从帧存储器14读出相对于该取得的特定区域图像数据的上一次扫描(曝光时间)中取得的特定区域基准图像数据，从构成特定区域图像数据的各像素数据所表示的像素值中减去构成与该像素数据相同像素位置的特定区域基准图像数据的各像素数据所表示的像素值，根据该减法结果的差分值，生成特定区域图像数据。

此处，为了说明差分图像生成部72的动作，根据图10，说明传感器单元阵列56的各像素中的蓄积电荷量的推移。

如图10所示，在1帧(通常曝光时间)的曝光中，传感器单元阵列56的各像素中蓄积的电荷量随时间的经过增加。在特定区域中，以非破坏读出方式从各像素读出电荷，所以即使在曝光中几次读出电荷，各像素的蓄积电荷量仍维持。另外，图10中的复位定时是将传感器单元阵列56中蓄积的电荷清空的定时，该定时决定通常曝光时间。并且，针对特定区域，例如在图10所示的(1)～(5)的定时读出电荷，而且，如上所述，根据差分生成图像。即，根据从(2)开始的各定时中分别读出的电荷量与在这些各定时的上一个定时读出的电荷量之间的各差分，生成图像。基于该差分的图像生成意味着通常帧率的5倍帧率的图像生成，这意味着生成曝光时间为通常曝光时间的1/5的图像。

另外，从摄像处理系统10取得的高速扫描区域图像数据由通过非破坏读出所读出的电荷构成，所以混合有固定模式噪声。因此，通过计算差分值，去除固定模式噪声。

此外，差分图像生成部72将所述生成的特定区域图像数据和与该特定区域图像数据对应的有效或无效标志输出到控制用数据生成部12e，并且，经由存储器访问协调器12f存储到帧存储器14中。

返回到图8，控制用数据生成部12e如图11所示构成为包括第一电平转换部80和第二电平转换部81、第一LPF处理部82和第二LPF处理部83、HPF处理部84、帧差分计算部85、目标物检测部86、以及目标物移动推测部87。

从高速/特定区域图像生成部12d取得了特定区域的当前帧中的特定区域图像数据(以下称为当前特定区域图像数据)时，第一电平转换部80将该特定区域图像数据的多值的像素值(此处设为亮度值)2值化或4值化，转换为适合于高速处理的形式。把该转换后的当前特定区域图像数据输出到第一LPF处理部82。

第二电平转换部81经由存储器访问协调器12f从帧存储器14取得所述当前帧的特定区域图像数据的上一帧的特定区域图像数据(下面称为先前特定区域图像数据)，与上述第一电平转换部80相同地对该取得的先前特定区域图像数据的多值的像素值进行2值化或4值化，转换为适合于高速处理的形式。把该转换后的先前特定区域图像数据输出到第二LPF处理部82。此处，本实施方式中，至少将相对于当前帧的上一帧的特定区域图像数据存储保持在帧存储器14中。

第一LPF处理部82使用二维LPF对从第一电平转换部80输入的当前特定区域图像数据进行滤波处理，例如从图像数据中去除当前特定区域图像中的微妙的凹凸等、与作为关注被摄体的目标物无关的图像部分(可忽略的变化部分)。把该滤波处理后的当前特定区域图像数据分别输出到HPF处理部84和目标物检测部86。

第二LPF处理部83与第一LPF处理部82同样地，使用二维LPF对从第二电平转换部81输入的先前特定区域图像数据实施滤波处理，从图像数据中去除与目标物无关的图像部分(可忽略的图像变化部分)。

HPF处理部84使用二维高通滤波器(下面称为二维HPF)对从第一LPF处理部82输入的当前特定区域图像数据进行滤波处理，检测当前特定区域图像中的边缘部，生成由该检测到的边缘部的图像数据构成的第一边缘图像数据。把该第一边缘图像数据输出到目标物检测部86。

帧差分计算部85计算从第一LPF处理部82输入的当前特定区域图像数据的各像素值、和与该各像素值相同像素位置的、从第二LPF处理部83输入的先前特定区域图像数据的各像素值之间的差分值，生成由该差分值构成的帧间差分图像数据。把该生成的帧间差分图像数据输出到目标物检测部86。此外，帧差分计算部85对计算出的各差分值与预先设定的特定阈值进行比较，对特定阈值以上的差分值的数量进行计数。并且，当阈值以上的差分值(像素)的总数达到预先设定的阈值以上时，判断为发生异常，生成异常检知警报信号，将该生成的异常检知警报信号输出到系统控制器2a。即，当差分图像上发生较大变化的情况下(所述差分值的总数为阈值以上的情况)，意味着突然在图像中出现了新的物体。

目标物检测部86根据从第一LPF处理部82输入的当前特定区域图像数据、从HPF处理部84输入的第一边缘图像数据、从帧差分计算部85输入的帧间差分图像数据，从当前特定区域图像数据中检测目标物。例如，由帧间差分图像数据生成第二边缘图像数据，根据该第二边缘图像数据和第一边缘图像数据，生成由它们合成后的边缘图像数据所构成的检测图像数据(下面称为当前检测图像数据)，由该当前检测图像数据推测目标物的位置或形状等。另外，根据该推测的形状，判断目标物的尺寸是否为预先设定的阈值以上，在为阈值以上的情况下，生成第一接近警报信号，将其输出到系统控制器2a。此外，把所述生成的当前检测图像数据输出到目标物移动推测部87，并且，经由存储器访问协调器12f存储到帧存储器14。

从目标物检测部86输入了当前检测图像数据时，目标物移动推测部87经由存储器访问协调器12f，从帧存储器14取得与当前检测图像数据的上一帧对应的检测图像数据(下面称为先前检测图像数据)。并且，根据当前检测图像数据和先前检测图像数据，由两个图像的目标物体的相对位置关系，推测尺寸的变化和位置的变化等。根据该推测结果，例如判断为目标物正在接近的情况下，生成第二接近警报信号，将其输出到系统控制器2a。

返回到图8，存储器访问协调器12f根据通常图像生成部12c、高速/特定区域图像生成部12d、控制用数据生成部12e以及输出读取器12g的4个系统发出的针对帧存储器14的读出/写入命令，协调这4个系统对于帧存储器14的图像数据的访问请求而进行访问。

输出读取器12g与来自系统控制器2a的输出定时信号同步地经由存储器访问协调器12f读出帧存储器14内的通常图像数据，将该读出的通常图像数据输出到系统控制器2a。

如图8所示，帧存储器14是存储检测图像数据、特定区域图像数据、特定区域基准图像数据、通常图像数据等各种图像数据的存储器，从存储器访问协调器12f发出了读出请求时，读出该请求所表示的像素数据。并且，从存储器访问协调器12f发出了写入请求时，帧存储器14写入该写入请求所表示的像素数据。

进一步，返回到图2，说明主机系统2的内部结构。

主机系统2构成为包括系统控制器2a、显示装置2b、记录装置2c、以及警报装置2d。

系统控制器2a从视频处理系统(DSP)12取得视觉辨认用的通常图像数据，根据该取得的通常图像数据，在显示装置2b上显示通常图像，将所述取得的通常图像数据记录到记录装置2c中。此外，根据来自视频处理系统12的各种警报信号，控制各种控制对象。例如，取得了第一接近警报信号的情况下，作为控制对象控制警报声输出装置，使其输出警报声，在取得了异常检知警报信号或第二接近警报信号的情况下，除了警报声输出装置之外，作为控制对象还控制刹车或转向装置等，进行危险规避。另外，系统控制器2a从视频处理系统12的控制用数据生成部12e取得目标物的位置信息和形状信息，可以根据该位置信息和形状信息，根据目标物的当前位置和大小等，来变更特定区域的开始位置(追踪目标物)。而且，系统控制器2a取得安装有本系统的移动体的速度信息，可以根据该速度信息，变更特定区域的开始位置和扫描区域宽度。具体地说，速度为预定速度以上时，根据其速度，使扫描区域宽度小于标准时的宽度，速度慢于预定速度时，根据该速度，使扫描区域宽度大于标准时的宽度。

显示装置2b由液晶显示器等的显示器件构成，其显示从视频处理系统12取得的通常图像数据的图像，或显示记录于记录装置2c中的通常图像数据的图像。

记录装置2c记录从视频处理系统12取得的通常图像数据。另外，所记录的通常图像数据用于在事故后重放事故发生时的影像等。因此，通常图像数据需要具有能够了解图像内容的良好的视觉辨认性。即，记录装置2c起到驾驶记录仪的作用。

接着，根据图12～图13，说明本实施方式的实际动作。此处，图12是示出拍摄对象图像(监视图像)的一例的图。并且，图13(a)～(e)是示出检测图像数据的生成过程的一例的图。

下面，将图12所示的路面和风景作为拍摄对象，说明将摄像装置1安装到车辆时的摄像系统3的动作。图12的例子中，路面(包括中心线)、护栏、风景包括在摄像区域中，此处，将中心线、护栏、及其它车辆等设为监视对象。因此，如图12所示，在主机系统2中，首先将同时包括路面、护栏、前方车辆等的区域范围决定为特定区域(监视区域)。此处，整体曝光区域的尺寸为640像素×480像素，将特定区域的开始行号决定为“280”，将扫描区域宽度决定为“75”。即，将整体曝光区域中的行号280～355的像素行的范围决定为特定区域。由此，如图12所示，传感器单元阵列56的整体曝光区域成为以通常曝光时间进行曝光的整体扫描区域，所述设定的特定区域成为特定扫描区域。

并且，本实施方式中，采用与上述图10所示的(1)～(5)相同的方式，将特定扫描区域的采样时间设定为对通常曝光时间进行5等分后的时间。另外，把通常曝光时间适当设定为能够对在整体曝光区域中拍摄到的全部被摄体进行充分的曝光。这样决定了特定区域的区域范围(开始位置、扫描区域宽度)、整体曝光区域的通常曝光时间、特定区域中的采样时间后，主机系统2将这些信息经由通信器/DSP工作控制部12a发送到摄像装置1。

下面，说明不根据车辆的速度或目标物的移动改变特定区域的开始位置和扫描区域宽度，而处于固定时的动作。

摄像装置1接通电源，在视频处理系统12中，从主机系统2取得了与曝光时间相关的信息、以及与针对特定区域的开始行号和扫描区域宽度相关的信息时，由通信器/DSP工作控制部12a将指定特定区域的开始行号和扫描区域宽度的驱动控制信号发送到摄像处理系统10。此外，在定时控制器12b中，将用于驱动摄像元件100的驱动信号(像素时钟、垂直同步信号以及水平同步信号)输出到摄像处理系统10，以便获得针对整体曝光区域的通常曝光时间的像素信号。

摄像处理系统10接收到驱动控制信号时，在扫描行扫描器54中，与垂直同步信号和水平同步信号同步地生成复位行选择信号和针对整体曝光区域的读出行控制信号。并且，根据开始行号、扫描区域宽度以及水平同步信号，生成针对特定区域的读出行控制信号。此外，将这些生成的读出控制信号输入到OR逻辑电路54e，分别生成针对整体曝光区域和特定区域的读出行选择信号。另外，将这些生成的复位行选择信号、读出行选择信号(两种)输出到驱动脉冲发生器52。驱动脉冲发生器52根据来自基准定时发生器的基准定时信号和来自扫描行扫描器54的各种选择信号，生成驱动脉冲，并将其提供给传感器单元阵列56。

传感器单元阵列56根据来自驱动脉冲发生器52的驱动脉冲，对通常扫描行L1和高速扫描行L2进行扫描，从整体曝光区域的各像素行破坏性地读出通过通常曝光时间的曝光蓄积的电荷(读出后将蓄积电荷复位)，与该破坏读出动作独立地，从特定区域的各像素行非破坏地读出通过多种曝光时间的曝光蓄积的电荷(读出后不进行蓄积电荷的复位)。然后，将通过通常扫描行L1的扫描读出的电荷所构成的像素信号经由第一水平传送部58的CH1输出到第一AFE 102，将通过高速扫描行L2的扫描读出的电荷所构成的像素信号经由第二水平传送部60的CH2输出到第二AFE 104。

第一AFE 102生成将经由CH1依次输出的与通常曝光时间的曝光相对的像素信号(模拟数据)转换成数字数据而得的像素数据，将该像素数据输出到视频处理系统12。另一方面，第二AFE 104生成将经由CH2依次输出的与多种曝光时间的曝光相对的像素信号(模拟数据)转换成数字数据而得的像素数据，将该像素数据输出到视频处理系统12。

在视频处理系统12中，将从第一AFE 102输出的整体曝光区域的像素数据输入到通常图像生成部12c，将从第二AFE 104输出的特定区域的像素数据输入到高速/特定区域图像生成部12d。

通常图像生成部12c经由第一AFE 102取得通常扫描图像数据，并且，从定时控制器12b取得与该取得的通常扫描图像数据对应的地址信息，生成将该地址信息和通常扫描图像数据对应起来而成的通常图像数据，将该通常图像数据经由存储器访问协调器12f存储到帧存储器14中。

另一方面，高速/特定区域图像生成部12d经由第二AFE 104取得高速扫描区域图像数据，并且，从定时控制器12b取得与所取得的高速扫描区域图像数据(特定区域中当前帧的高速扫描区域图像数据)对应的地址信息，将该地址信息和高速扫描区域图像数据对应起来。此外，经由通信器/DSP工作控制部12a，取得来自系统控制器2a的特定区域起始位置数据，根据该特定区域起始位置数据，判断所述取得的高速特定区域图像数据有效还是无效，并根据该判定结果，将有效或无效标志与该高速特定区域图像数据对应起来。这样，与地址信息和有效或无效标志对应起来的高速特定区域图像数据在生成与下一次扫描(特定区域中的当前帧的下一帧)取得的高速扫描区域图像数据对应的特定区域图像数据时使用，所以作为特定区域基准图像数据存储到帧存储器14中。下面，将该特定区域基准图像数据称为后基准图像数据。

另外，高速/特定区域图像生成部12d经由存储器访问协调器12f从帧存储器14取得由所述取得的高速扫描区域图像数据的上一次扫描(特定区域中的当前帧的上一帧)中取得的高速扫描区域图像数据构成的特定区域基准图像数据(下面称为前基准图像数据)。并且，从构成所述取得的高速扫描区域图像数据的各像素数据的像素值减去该取得的前基准图像数据中对应的各像素数据的像素值，计算差分值。另外，生成将该计算出的差分值作为像素值的特定区域图像数据，将该特定区域图像数据输出到控制用数据生成部12e，并且，经由存储器访问协调器12f存储到帧存储器14中。此时，也把与特定区域图像数据对应的起来的有效或无效标志的数据输出到控制用数据生成部12e。

控制用数据生成部12e从高速/特定区域图像生成部12d取得特定区域图像数据(当前特定区域图像数据)时，在第一电平转换部80中对其进行4位化(16级灰度化)，将该4位化后的当前特定区域图像数据输出到第一LPF处理部82。另一方面，经由存储器访问协调器12f从帧存储器14取得与该当前特定区域图像数据的上一帧对应的特定区域图像数据(先前特定区域图像数据)，在第二电平转换部81中对其进行4位化，将该4位化后的先前特定区域图像数据输出到第二LPF处理部83。在第一LPF处理部82和第二LPF处理部83中使用二维LPF进行滤波处理，去除当前特定区域图像数据和先前特定区域图像数据的各图像中的、相对于目标物可忽略的图像变化部分。此处，特定区域中包括路面，所以例如去除路面上的石头等图像部分。

这样实施了滤波处理后的当前特定区域图像数据被分别输出到HPF处理部84和帧差分计算部85，同样地先前特定区域图像数据被输出到帧差分计算部85。

若向HPF处理部84输入实施了滤波处理的当前特定区域图像数据，则HPF处理部84使用二维HPF对该当前特定区域图像数据进行滤波处理，生成由当前特定区域图像数据的图像的边缘部构成的第一边缘图像数据。此处，对车辆前方的摄像区域设定特定区域，所以生成包括该特定区域内的护栏的边缘图像、中心线的边缘图像、前方车辆的边缘图像等的第一边缘图像数据。例如，在特定区域内拍摄到图13(a)所示形状的目标物时，该第一边缘图像如图13(b)所示，为沿着目标物的轮廓部分的形状的边缘图像(图13(b)中的颜色浓的部分)。所生成的第一边缘图像数据被输出到目标物检测部86。

另一方面，从第一LPF处理部82输入了当前特定区域图像数据、且从第二LPF处理部83输入了先前特定区域图像数据时，帧差分计算部85计算当前特定区域图像数据的各像素值和像素位置与该各像素值相同的先前特定区域图像数据的各像素值之间的差分值，生成由该差分值构成的帧间差分图像数据。该生成的帧间差分图像数据被输出到目标物检测部86。

并且，帧差分计算部85比较所述计算出的各差分值和预先设定的特定阈值，对特定阈值以上的差分值的总数进行计数。而且，当阈值以上的差分值(像素)的总数到达预先设定的阈值以上的情况下，判断为发生异常，生成异常检知警报信号，并将该生成的异常检知警报信号输出到系统控制器2a。即，前方车辆的刹车灯亮灯、急速出现障碍物(包括飞来物、其它车辆)、本车驶出隧道引起的急剧景色变化等、在图像中突然出现新物体时(出现急剧的亮度变化时)，生成异常检知警报信号。

系统控制器2a从摄像装置1接收到异常检知警报信号时，判断本车的前面突然出现了某种物体或景色突然变刺眼，控制警报声输出装置，从车辆内的扬声器输出警报声和警报信息，控制刹车装置或转向装置，进行危险规避动作，以避免与出现物体发生冲突。

另一方面，若对目标物检测部86输入了来自第一LPF处理部82的当前特定区域图像数据、来自HPF处理部84的第一边缘图像数据、以及来自帧差分计算部85的帧间差分图像数据，则目标物检测部86首先根据帧间差分图像数据生成第二边缘图像数据。该第二边缘图像数据的图像例如图13(c)所示，是根据目标物的移动除去这些边缘部重叠的部分而剩余的部分所构成的边缘图像。比较该图13(c)所示的帧间差分图像数据的边缘图像的数据和图13(b)所示的第一边缘图像(当前特定区域图像的边缘图像)的数据，将这些边缘部分连结，生成最终的边缘图像数据(检测图像数据)。并且，从当前特定区域图像数据提取颜色信息。而且，目标物检测部86根据所述生成的检测图像数据和所述提取的颜色信息，推测目标物的位置及其形状。此外，对根据所推测的目标物的形状而知晓的该目标物的尺寸与预先设定的特定阈值进行比较，当目标物的尺寸为特定阈值以上时，生成第一接近警报信号，将其输出到系统控制器2a。另外，将所述生成的检测图像数据(当前检测图像数据)输出到目标物移动推测部87，并且，经由存储器访问协调器12f存储到帧存储器14中。

另一方面，系统控制器2a从摄像装置1接收到第一接近警报信号时，判断为目标物正在接近本车(摄像装置1)，控制警报声输出装置，使车辆内的扬声器输出车警报声和警报信息，或者控制车辆速度，减慢本车的行驶速度(增大与目标物之间的距离)。

从目标物检测部86输入了当前检测图像数据时，目标物移动推测部87经由存储器访问协调器12f从帧存储器14取得先前检测图像数据。并且，根据当前检测图像数据和先前检测图像数据，通过两个图像的图案匹配，求出目标物体的相对位置关系，根据该位置关系，推测目标物的移动状况。例如，位置变化的大小大于特定阈值的情况下，生成第二接近警报信号，将其输出到系统控制器2a。

系统控制器2a从摄像装置1接收到第二接近警报信号时，判断为目标物正在快速接近本车(摄像装置1)，控制警报声输出装置，从车辆内的扬声器输出警报声和警报信息，并且，控制刹车装置、转向器装置，进行危险规避动作。

并且，系统控制器2a向摄像装置1输出各种同步信号，进行通常图像数据的读出请求。

输出读取器12g与来自系统控制器2a的各种同步信号同步地经由存储器访问协调器12f读出帧存储器14内存储的通常图像数据，将该读出的通常图像数据输出到系统控制器2a。系统控制器2a取得从输出读取器12g输出的通常图像数据，并将该取得的通常图像数据记录到记录装置2c中，并显示到设置于本车内的显示装置2b上。

这样，本实施方式的摄像系统3的摄像装置1在一个摄像元件中，通过通常曝光时间的曝光和破坏读出，在整体曝光区域中对拍摄对象进行摄像，并且，在该通常曝光时间的曝光期间，通过多种曝光时间的曝光和非破坏读出，分别对特定区域的图像进行摄像，所以能够同时取得视觉辨认用的通常图像数据和控制用的高帧率(通常曝光的5倍帧率)图像数据。此外，摄像装置1可以根据高帧率图像数据推测目标物的位置、形状、移动状态，根据这些推测结果，生成控制用数据，将其输出到主机系统2。即，能够即时地应对目标物的突然出现、急剧变化等而生成控制用数据，将其输出到主机系统2。

即，通过对目标物的某个图像区域(特定区域)进行高速采样(子采样)，从而即使摄像机高速移动，也不会在摄像图像中引起较大的移动(变化)。由此，摄像图像的作为图像的变化量(物体的位置关系)较小，进行帧差分处理时的边缘提取变得容易(边缘的宽度小)。因此，能够简单地生成适合于将本系统安装到移动体时的高速控制的控制用数据。例如，移动体的移动速度为时速100km(约28m/Sec)，在摄像装置1中以33msec间隔(1/30)对特定区域进行采样的情况下，在此期间移动体移动约90cm。另一方面，采样率为其10倍的情况下，为约9cm，摄像图像的作为图像的变化量(物体的位置关系)较小，进行帧差分处理时的边缘提取变得容易(边缘的宽度小)。

这样，使用通过高速采样取得的图像数据，可以高速检测目标物。在移动体高速移动时的危险规避中，需要快速响应，因此快速检测目标物的状态是非常重要的。例如，在以1/30秒间隔(现有摄像机或人眼的反应速度)取得图像，目标物的检测需要1/100秒的情况下，图像取得时间成为制约条件，在此期间移动体行进约1m。另一方面，采样率为10倍的情况下，以1/300秒间隔取得图像，就算检测需要1/100秒，从图像取得到检测出目标物所需的时间也为约4/300秒，所以在此期间移动体只行进约30cm。若改变表现形式，仅按帧率进行归一化，则可以认为约10倍的高速性与速度变为1/10相等价。即，移动体以时速100km移动的情况下，可以换算成时速10km。即，使用上述实施方式的摄像系统3，能够提高危险规避的可能性。

并且，将通常图像数据记录到记录装置2c中，所以例如发生碰撞事故等时，只要记录此时的通常图像数据，在事故后，能够重放发生该事故时的具有视觉辨认性的摄像图像(视频)，所以能够将该视频用于事故分析，或作为事故的证物利用等。

上述实施方式中，利用摄像处理系统10的个别区域扫描对应型摄像元件100中的基准定时发生器50、扫描行扫描器54、驱动脉冲发生器52、第一水平传送部58从传感器单元阵列56的整体曝光区域以破坏方式读出以通常曝光时间进行曝光的电荷的处理，与方式1、2、3以及14的任意一项中的第一读出单元、或方式15的第一读出步骤相对应；利用摄像处理系统10的个别区域扫描对应型摄像元件100中的基准定时发生器50、扫描行扫描器54、驱动脉冲发生器52、第二水平传送部60从传感器单元阵列56的特定区域以非破坏的方式读出以多种曝光时间进行曝光时的电荷的处理，与方式1、2、3、12以及14的任意一项中的第二读出单元、或方式15的第二读出步骤相对应。

并且，上述实施方式中，传感器单元阵列56与方式1、2、3、14以及15的任意一项中的光电转换部相对应，通常图像生成部12c与方式1、2、3以及14的任意一项中的图像数据生成单元、或方式15的图像数据生成步骤相对应，高速/特定区域图像生成部12d和控制用数据生成部12e与方式1～9、11、13以及14的任意一项中的控制用数据生成单元、或方式15的控制用数据生成步骤相对应。

而且，到此为止，说明了不根据车辆的速度或目标物的移动来改变特定区域的开始位置和扫描区域宽度，而将它们固定的情况下的动作，作为上述实施方式的变形例，下面说明将特定区域的开始位置和扫描区域宽度设定为可变的情况。

首先，说明可根据本车的速度信息来改变特定区域的范围的情况。该情况下，在主机系统2的系统控制器2a中，取得本车的速度信息，比较该取得的速度信息和预先设定的2种速度阈值。即，将低速度用的阈值预先设定为阈值1(例如、表示时速40km的数值)，将高速度用的阈值预先设定为阈值2(例如、表示时速80km的数值)，比较取得的速度信息和这些阈值1、2。另外，对于表示阈值1～阈值2的范围内的速度(例如、时速40km～时速80km)，将特定区域的扫描区域宽度设为标准的宽度(此处，设为75行)。并且，通过比较，当速度信息表示的速度比阈值1表示的速度慢时，使特定区域的宽度大于标准的宽度(例如、100行)。即，本车的移动速度为低速时，可以使危险规避等中的响应速度更慢一些，因此，可以扩大特定区域(监视区域)的范围，从而通过提高监视对象的监视程度来实现安全性的提高。

另一方面，速度信息表示的速度快于阈值2表示的速度时，使特定区域的宽度小于标准的宽度(例如、50行)。即，本车的移动速度为高速的情况下，需要进一步加快危险规避等中的响应速度，所以缩小特定区域(监视区域)的范围，提高帧率(提高采样速度)，从而提高数据的取得速度，由此能够通过高速响应来实现安全性的提高。

特定区域的扫描区域宽度的变更通过如下方式进行：具体地说，在系统控制器2a中，决定与变更宽度对应的开始行号和扫描区域宽度，将该信息经由通信器/DSP工作控制部12a输出到摄像装置1。摄像装置1将该取得的开始行号和扫描区域宽度的信息输出到摄像处理系统10，采用与上述相同的方式，在扫描行扫描器54中，根据开始行号、扫描区域宽度以及水平同步信号，分别生成针对特定区域的读出行选择信号。

接着，说明可根据来自摄像装置1的目标物的位置信息和形状信息改变特定区域的开始位置的情况。该情况下，在主机系统2的系统控制器2a中，从摄像装置1的控制用数据生成部12e取得目标物的位置信息和形状信息，根据这些信息和当前设定的特定区域的开始位置以及扫描区域宽度的信息，判断目标物是否收纳在特定区域内。根据该判定，例如在超出了特定区域的情况下，将特定区域的开始位置决定为能够将目标物收纳在特定区域内，将与该决定的开始位置对应的开始行号信息经由通信器/DSP工作控制部12a输出到摄像装置1。摄像装置1将该取得的开始行号信息输出到摄像处理系统10，采用与上述相同的方式，在扫描行扫描器54中，根据开始行号、扫描区域宽度以及水平同步信号，分别生成针对特定区域的读出行选择信号。这样，在摄像装置1中，可以根据目标物的位置信息和形状信息，掌握特定区域中的目标物的位置，追踪该位置变化，变更特定区域的位置(追踪目标物)。由此，能够准确地对监视对象进行监视。

另一方面，在上述这样可改变特定区域的开始位置和扫描区域宽度的情况下，由于扫描区域宽度改变，所以存在曝光时间改变的问题。即，特定区域的开始位置和扫描区域宽度的变更前的曝光时间与变更后的曝光时间不同，在同一帧中，混合有曝光时间不同的像素数据。本系统中，如上所述，在系统控制器2a中，将表示是否变更了特定区域的开始位置和扫描区域宽度的特定区域起始位置数据输出到摄像装置1的控制用数据生成部12e。摄像装置1取得特定区域起始位置数据时，根据该数据判断是否有变更，在判断为有变更时，将根据特定区域的当前帧的高速特定区域图像数据生成的特定区域图像数据与无效标志对应起来。这样，与无效标志对应起来的特定区域图像数据不用于控制用数据生成部12e中的后阶段的处理。因此，能够更准确地推测目标物的位置和形状，并且，更准确地生成控制用数据。

在上述实施方式的变形例中，摄像处理系统10中的根据基于移动体的速度信息决定的开始行号和扫描区域宽度、变更特定区域的宽度的处理，与方式12的特定区域宽度设定单元相对应。

并且，上述实施方式的变形例中，摄像处理系统10中的根据基于目标物的位置信息和形状信息所决定的开始行号和扫描区域宽度、变更特定区域的位置的处理，与方式13的位置变更单元相对应。

而且，上述实施方式中，说明了在移动体上安装摄像装置1，将安装到移动体上的各种装置作为控制对象的例子，但不限于此，也可以将摄像装置1安装到移动体以外的设备上。

此外，上述实施方式中，在摄像装置1中推测目标物的位置、形状、移动状态等，根据该推测结果，生成各种警报信号(控制用数据)，将其输出到主机系统2，但不限于此，也可以采用如下结构：将从特定区域读出的图像数据本身作为控制用数据输出到主机系统2，在主机系统2侧进行推测处理等，而且，不限于目标物的位置、形状、移动状态，也可以推测其它内容。

另外，上述实施方式中，采用了将摄像处理系统10、视频处理系统12以及帧存储器14收容到一个装置内的结构，但不限于此，例如、也可以用分别独立的装置构成摄像处理系统10与视频处理系统12及帧存储器14，经由通信网络等，将两者连接成可进行数据通信的结构(与方式12的摄像系统对应)。由此，能够将摄像处理系统和视频处理系统(包括帧存储器)设置于分离的位置。例如，可以采用如下结构：经由因特网以能够进行数据通信的方式连接多个摄像处理系统的装置和1个视频处理系统的装置，利用设置于远离这些摄像处理系统的装置的位置处的1个视频处理系统的装置对来自多个摄像处理系统的摄像数据进行处理，从而可以进行摄像数据的统一管理等。

并且，上述实施方式中，以对于整体扫描区域(整体曝光区域)设定一个特定扫描区域(特定区域)的结构为例进行了说明，但不限于此，也可以构成为在能够进行正常的电荷非破坏读出的范围内，设定两个以上的特定扫描区域。

而且，上述实施方式中，采用了如下结构：对整体扫描区域(整体曝光区域)进行破坏读出，将整体曝光区域的部分区域设为特定区域，对特定区域进行非破坏读出，但不限于此，也可以采用如下结构：例如，设定作为整体曝光区域的一部分区域的区域A，对该区域A进行破坏读出，将作为区域A的一部分区域的区域B设为特定区域，对区域B进行非破坏读出。

Claims (15)

1.一种摄像装置，其具有：光电转换部，该光电转换部由将曝光的光转换成电荷而蓄积的多个光电转换元件构成；以及控制所述光电转换元件的曝光时间的曝光时间控制功能，所述摄像装置的特征在于，其具有：

第一读出单元，其从所述光电转换部的所述光电转换元件所构成的像素读出作为以预定曝光时间进行曝光的结果而蓄积的电荷；

第二读出单元，其在所述第一读出单元从所述光电转换部的预定区域的像素读出电荷的期间，多次从所述预定区域中的特定区域的像素读出电荷；

图像数据生成单元，其根据由所述第一读出单元读出的电荷构成的第一像素数据生成图像数据；以及

预定数据生成单元，其根据由所述第二读出单元多次读出的电荷构成的第二像素数据生成预定的数据。

2.一种摄像装置，其具有：光电转换部，该光电转换部由将曝光的光转换成电荷而蓄积的多个光电转换元件配设成矩阵状而构成；以及控制曝光时间的电子快门功能，所述摄像装置的特征在于，其具有：

第一读出单元，其以破坏读出方式从所述光电转换部的所述光电转换元件所构成的像素读出作为以预定曝光时间进行曝光的结果而蓄积的电荷；

第二读出单元，其在所述第一读出单元从所述整体曝光区域读出1帧的电荷的期间，以非破坏读出方式多次从所述光电转换部的所述整体曝光区域中的特定区域中的所述光电转换元件所构成的像素读出电荷；

图像数据生成单元，其根据第一像素数据生成图像数据，所述第一像素数据由所述第一读出单元读出的、以预定曝光时间对所述整体曝光区域进行曝光而得的电荷构成；

控制用数据生成单元，其根据第二像素数据生成控制用数据，所述第二像素数据由所述第二读出单元读出的、以不同曝光时间对所述特定区域进行曝光而得的电荷构成；以及

控制用数据输出单元，其输出所述控制用数据。

3.一种摄像装置，其具有：光电转换部，该光电转换部由将曝光的光转换成电荷而蓄积的多个光电转换元件配设成矩阵状而构成；以及控制每个帧的曝光时间的电子快门功能，所述摄像装置的特征在于，其具有：

第一读出单元，其以破坏读出方式从所述光电转换部中的可曝光的整个区域、即整体曝光区域中的所述光电转换元件所构成的像素读出作为以预定曝光时间进行曝光的结果而蓄积的电荷，所述破坏读出方式是在读出电荷后进行将蓄积电荷清空的复位处理的读出方式；

第二读出单元，其在所述第一读出单元从所述整体曝光区域读出电荷的期间，以非破坏读出方式从所述光电转换部的所述整体曝光区域中的特定区域中的所述光电转换元件所构成的像素读出该像素中蓄积的电荷，所述非破坏读出方式是在维持该蓄积的电荷的状态下读出的读出方式；

图像数据生成单元，其根据第一像素数据生成图像数据，所述第一像素数据由所述第一读出单元读出的、以预定曝光时间对所述整体曝光区域进行曝光而得的电荷构成；

控制用数据生成单元，其根据第二像素数据生成用于控制预定控制对象的控制用数据，所述第二像素数据由所述第二读出单元读出的、以多种不同曝光时间对所述特定区域进行曝光而得的电荷构成；

控制用数据输出单元，其输出由所述控制用数据生成单元生成的控制用数据。

4.根据权利要求2或3所述的摄像装置，其特征在于，所述控制用数据生成单元具有第一差分值计算部，该第一差分值计算部对每个所述帧计算第一差分值，所述第一差分值是通过所述多次读出得到的多种曝光时间的所述第二像素数据中的、像素位置相同且曝光时间不同的各2个所述第二像素数据中一方的像素值与另一方像素值之间的差分值，所述控制用数据生成单元根据该第一差分值计算部计算出的第一差分值，生成所述控制用数据。

5.根据权利要求4所述的摄像装置，其特征在于，所述控制用数据生成单元具有：当前特定区域图像数据生成部，其在当前帧中，根据所述第一差分值计算部计算出的所述第一差分值，生成当前特定区域图像数据；先前特定区域图像数据生成部，其在所述当前特定区域图像数据的帧的上一帧中，根据所述第一差分值计算部计算出的所述第一差分值，生成先前特定区域图像数据；以及第二差分值计算部，其计算第二差分值，该第二差分值是所述当前特定区域图像数据的各像素数据的像素值与所述先前特定区域图像数据的各像素数据的像素值之间的差分值，所述控制用数据生成单元根据该第二差分值计算部计算出的第二差分值，生成所述控制用数据。

6.根据权利要求5所述的摄像装置，其特征在于，所述控制用数据生成单元具有滤波处理部，该滤波处理部对所述当前特定区域图像数据和所述先前特定区域图像数据分别实施使用了二维低通滤波器的滤波处理，在所述第二差分值计算部中，计算实施了所述滤波处理的所述当前特定区域图像数据的各像素数据的像素值与实施了所述滤波处理的所述先前特定区域图像数据的各像素数据的像素值之间的差分值，作为所述第二差分值，所述控制用数据生成单元根据该第二差分值计算部计算出的第二差分值，生成所述控制用数据。

7.根据权利要求5或6所述的摄像装置，其特征在于，当所述第二差分值表示的亮度值为特定值以上的像素的数量达到预定数以上时，所述控制用数据生成单元生成向所述预定控制对象的控制部通知达到了所述预定数以上的情况的数据。

8.根据权利要求4～7的任意一项所述的摄像装置，其特征在于，所述控制用数据生成单元具有推测部，该推测部根据所述多种第二像素数据，推测与在所述特定区域中拍摄到的预定被摄体相关的信息，所述控制用数据生成单元根据该推测部的推测结果，生成所述控制用数据。

9.根据权利要求8所述的摄像装置，其特征在于，所述控制用数据生成单元具有边缘信息提取部，该边缘信息提取部从如下的差分图像数据中提取边缘信息，该差分图像数据的与所述特定区域的各像素对应的像素数据由所述第一差分值构成，所述推测部根据所述边缘信息提取部提取的边缘信息，推测所述预定的被摄体的形状。

10.根据权利要求8或9所述的摄像装置，其特征在于，所述边缘信息提取部从所述图像数据提取边缘信息，并且，从所述特定区域的、各像素的像素数据由所述第一差分值构成的差分图像数据提取边缘信息，所述推测部根据所述边缘信息提取部提取的边缘信息，推测所述预定的被摄体的形状。

11.根据权利要求9或10所述的摄像装置，其特征在于，所述控制用数据生成单元根据所述预定的被摄体的形状的推测结果，当该预定的被摄体的形状变化的大小为特定值以上或小于特定值时，生成向所述预定控制对象的控制部通知达到所述特定值以上或小于特定值的数据。

12.根据权利要求1～11的任意一项所述的摄像装置，其特征在于，所述摄像装置具有特定区域宽度设定单元，该特定区域宽度设定单元根据安装了该摄像装置的移动体的速度信息，设定所述特定区域的宽度。

13.根据权利要求1～12的任意一项所述的摄像装置，其特征在于，

所述控制用数据生成单元根据所述多种第二像素数据，推测所述曝光区域中的所述预定被摄体的位置，

所述控制用数据生成单元具有位置变更单元，其根据所述推测的位置，变更所述特定区域的位置。

14.一种摄像系统，其具有：光电转换部，该光电转换部由将曝光的光转换成电荷而蓄积的多个光电转换元件配设成矩阵状而构成；以及控制曝光时间的电子快门功能，所述摄像系统的特征在于，其具有：

第一读出单元，其以破坏读出方式从所述光电转换部的所述光电转换元件所构成的像素读出作为以预定曝光时间进行曝光的结果而蓄积的电荷；

第二读出单元，其在所述第一读出单元从所述整体曝光区域读出1帧的电荷的期间，以非破坏读出方式多次从所述光电转换部的所述整体曝光区域中的特定区域中的所述光电转换元件所构成的像素读出电荷；

图像数据生成单元，其根据第一像素数据生成图像数据，所述第一像素数据由所述第一读出单元读出的、以预定曝光时间对所述整体曝光区域进行曝光而得的电荷构成；

控制用数据生成单元，其根据第二像素数据生成控制用数据，所述第二像素数据由所述第二读出单元读出的、以不同曝光时间对所述特定区域进行曝光而得的电荷构成；以及

控制用数据输出单元，其输出所述控制用数据。

15.一种摄像装置中使用的摄像方法，所述摄像装置具有：光电转换部，其由将曝光的光转换成电荷而蓄积的多个光电转换元件配设成矩阵状而构成；以及控制曝光时间的电子快门功能，所述摄像方法的特征在于，其包括：

第一读出步骤，以破坏读出方式从所述光电转换部的所述光电转换元件所构成的像素读出作为以预定曝光时间进行曝光的结果而蓄积的电荷；

第二读出步骤，在所述第一读出步骤中从所述整体曝光区域读出1帧的电荷的期间，以非破坏读出方式多次从所述光电转换部的所述整体曝光区域中的特定区域中的所述光电转换元件所构成的像素读出电荷；

图像数据生成步骤，根据第一像素数据生成图像数据，所述第一像素数据由所述第一读出步骤中读出的以预定曝光时间对所述整体曝光区域进行曝光而得的电荷构成；

控制用数据生成步骤，根据第二像素数据生成控制用数据，所述第二像素数据由所述第二读出步骤中读出的以不同曝光时间对所述特定区域进行曝光而得的电荷构成；以及

控制用数据输出步骤，输出所述控制用数据。

Images