CN110800291B - 信号处理装置、信号处理方法及介质 - Google Patents

信号处理装置、信号处理方法及介质 Download PDF

Info

Publication number
CN110800291B
CN110800291B CN201880038331.0A CN201880038331A CN110800291B CN 110800291 B CN110800291 B CN 110800291B CN 201880038331 A CN201880038331 A CN 201880038331A CN 110800291 B CN110800291 B CN 110800291B
Authority
CN
China
Prior art keywords
unit
data
signal processing
test data
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880038331.0A
Other languages
English (en)
Other versions
CN110800291A (zh
Inventor
室塚真毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN110800291A publication Critical patent/CN110800291A/zh
Application granted granted Critical
Publication of CN110800291B publication Critical patent/CN110800291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/69—SSIS comprising testing or correcting structures for circuits other than pixel cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/74—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/1506—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation with addressing of the image-sensor elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/70—Circuits for processing colour signals for colour killing
    • H04N9/71—Circuits for processing colour signals for colour killing combined with colour gain control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本技术涉及能够实现更容易且更精确的故障检测的信号处理装置、信号处理方法及程序。本发明的信号处理装置包括：附加单元，其将用于故障检测的测试数据附加至要被执行预定处理的有效数据，在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及信号处理单元，其对所述有效数据和已被附加至所述有效数据的所述测试数据以多个路径执行所述预定处理。本技术能够适用于车载相机。

Description

信号处理装置、信号处理方法及介质
技术领域
本技术涉及信号处理装置、信号处理方法及程序，更具体地，涉及能够实现更容易且更精确的故障检测的信号处理装置、信号处理方法及程序。
背景技术
传统上，已经使用用于拍摄汽车周围图像的车载相机来实现了与汽车的控制有关的各种功能，例如汽车的安全功能。
有必要根据国际标准化组织(ISO；international organization forstandardization)26262的开发过程来开发这种车载相机。为了减少由于出现问题而导致的故障风险，在这样的车载相机中需要设置安全机构。
安全机构需要根据预期功能(例如，相机的基本功能)而被设置着。例如，期望在运行过程中进行检测，以便检测出车载相机中的信号处理电路的故障。
例如，作为与相机的故障检测相关的技术，已经提出了一种对由该相机拍摄的图像的局部区域进行调制并且将对于用户而言未达到目视可见程度的测试图案与该局部区域进行合成的技术(例如，参见专利文献 1)。
在该技术中，通过判定与图像合成的测试图案在相机的信号处理电路中的处理之前和之后是否发生了改变，来诊断信号处理电路是否正常工作，即，来诊断该信号处理电路是否没有故障。
引用列表
专利文献
专利文献1：日本专利申请特开第2016-008970号
发明内容
要解决的问题
不幸的是，上述技术难以实现容易且精确的故障检测。
例如，用于将测试图案与图像的局部区域合成的上述技术，必须执行诸如对图像进行调制和对测试图案进行合成等处理。该技术需要执行用于故障检测的复杂处理。
而且，为了以高精度检测出信号处理电路的故障，理想的是用各种各样的测试图案来执行故障检测。然而，上述技术由于将测试图案与图像合成，因此测试图案必须是用户能够目视可见的。于是，只有有限的测试图案可以使用，并且很可能无法用足够的精度检测出信号处理电路的故障。
另外，测试图案需要与图像的局部区域合并。如果在相机的后一级中与测试图案合并的区域是诸如物体检测等处理的对象，那么测试图案的合并可能会影响后一级的处理精度。
本技术是鉴于上述情形而做出的，并且本技术能够实现更容易且更精确的故障检测。
解决问题的技术方案
根据本技术第一方面的信号处理装置包括：附加单元，其将用于故障检测的测试数据附加至要被执行预定处理的有效数据，在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及信号处理单元，其对所述有效数据和已被附加至所述有效数据的所述测试数据以多个路径执行所述预定处理。
根据本技术第一方面的信号处理方法或程序包括如下步骤：将用于故障检测的测试数据附加至要被执行预定处理的有效数据，在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及对所述有效数据和已经被附加至所述有效数据的所述测试数据以多个路径执行所述预定处理。
在本技术的第一方面中，用于故障检测的测试数据被附加至要被执行预定处理的有效数据，在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值，而且，对所述有效数据和已经被附加至所述有效数据的所述测试数据以多个路径执行所述预定处理。
根据本技术第二方面的信号处理装置包括：接收单元，其接收输出数据，所述输出数据包括有效数据和用于故障检测的测试数据，所述测试数据被附加至所述有效数据，并且在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及比较单元，其比较所述测试数据的所述2个以上样本的样本值。
根据本技术第二方面的信号处理方法或程序包括如下步骤：接收输出数据，所述输出数据包括有效数据和用于故障检测的测试数据，所述测试数据被附加至所述有效数据，在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及比较所述测试数据的所述2个以上样本的样本值。
在本技术的第二方面中，接收包括有效数据和用于故障检测的测试数据的输出数据，所述测试数据被附加至所述有效数据，在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值，而且，比较所述测试数据的所述2个以上样本的样本值。
本发明的效果
根据本技术的第一方面和第二方面，能够更容易且更精确地执行故障检测。
请注意，这里说明的效果并非是限制性的，并且可以获得本公开中记载的任意效果。
附图说明
图1示出了图像传感器的结构示例。
图2示出了输出数据的格式示例。
图3示出了像素阵列和所拍摄图像。
图4示出了测试数据的示例。
图5示出了信号处理单元的结构示例。
图6是示出了数据输出处理的流程图。
图7示出了像素阵列和所拍摄图像。
图8示出了信号处理单元的结构示例。
图9示出了图像处理系统的结构示例。
图10示出了输入单元的结构示例。
图11是示出了接收处理的流程图。
图12示出了将图像处理系统应用至车辆的应用例。
图13示出了计算机的结构示例。
具体实施方式
下文中，将会参照附图来说明本技术适用的实施例。
<第一实施例>
<图像传感器的结构示例>
当例如图像数据等的有效数据在具有多个路径的信号处理电路中被处理时，本技术通过将测试数据添加至有效数据然后将该有效数据输出至信号处理电路，能够更容易且更精确实现该信号处理电路的故障检测。在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值。
如上所述的本技术除了可以应用于车载相机和使用车载相机的车载系统之外，还可以应用于例如安装在摩托车、自行车、电动轮椅、个人移动设备、飞机、轮船、火车和机器人等移动体中的相机以及使用此类相机的系统。
而且，本技术中经受故障检测的信号处理电路不限于用于处理图像数据的信号处理电路，也可以是用于处理诸如语音数据和测量数据之类的任意数据的信号处理电路。
接着，将在下面说明更具体的实施例。
图1示出了本技术适用的图像传感器的一个实施例的结构示例。
图1中所示的图像传感器11安装在例如车载相机等摄像装置中，并且将通过拍摄周围物体的图像而获得的图像数据输出到外部。请注意，在下面的说明中，假设图像传感器11安装在车载相机中。
图像传感器11包括像素阵列单元21、模拟/数字(A/D；Analog/Digital)转换单元22、信号处理单元23和输出单元24。
像素阵列单元21包括像素阵列，该像素阵列具有在行方向和列方向上布置着的多个像素。通过生成包括多个像素信号的模拟图像信号，来拍摄出物体的图像。像素信号是通过各个像素接收来自物体的入射光且进行光电转换而获得的。像素阵列单元21把通过拍摄而获得的图像信号提供给A/D转换单元22。
请注意，尽管由像素阵列单元21拍摄出的图像可以是静止图像或运动图像，但在下面的说明中，假设像素阵列单元21拍摄出运动图像。
A/D转换单元22通过AD转换把从像素阵列单元21提供过来的图像信号(其是模拟信号)转换成图像数据(其是数字信号)，并且把获得的图像数据提供给信号处理单元23。这样的图像数据将会被信号处理单元23处理，在下文中，该数据也被称为有效数据。
信号处理单元23包括例如具有多个路径的数字信号处理电路。信号处理单元23对从A/D转换单元22提供过来的图像数据以多个路径执行预定的信号处理，然后把该图像数据提供给输出单元24。例如，信号处理单元23对图像数据执行诸如增益调整、箝位(clamp)处理和高动态范围(HDR)合成处理等处理。
而且，在该示例中，信号处理单元23被定义为故障检测中的检测对象，即，故障诊断对象。信号处理单元23包括比较单元31。
在信号处理单元23中，生成用于信号处理单元23的故障检测的任意图案的测试数据，并且把该测试数据附加至在信号处理单元23的最前一级中作为有效数据的图像数据。设置于信号处理单元23中的信号处理模块针对已经被附加了测试数据的图像数据(即，图像数据和测试数据) 执行各种各样的处理。所获得的图像数据和测试数据被提供至输出单元24。
而且，已经由信号处理模块处理过的测试数据还被提供至比较单元 31，并且信号处理单元23的故障检测得以进行。
也就是说，比较单元31通过比较测试数据的预定样本的样本值来执行信号处理单元23的故障检测，并且把检测结果输出到外部。请注意，故障检测的检测结果可以经由输出单元24输出到外部，或者可以不经由输出单元24输出到外部。
例如，输出单元24包括诸如移动产业处理器接口(MIPI；mobile industryprocessor interface)I/F等数字电路。输出单元24把从信号处理单元23提供过来的图像数据和测试数据转变成具有由诸如MIPI等预定规范定义的格式的输出数据，并且把该输出数据输出到外部。
请注意，如果在例如输出单元24内的最后一级中设置有与比较单元 31类似的比较单元，那么图像传感器11不仅能够执行信号处理单元23 的故障检测，而且还能执行输出单元24的故障检测。
这里，将会说明从输出单元24输出的输出数据的示例。图2示出了从输出单元24输出的一帧输出数据(即一帧图像数据)的格式示例。
在图2所示的示例中，从帧起始(FS；frame start)到帧结尾(FE； frame end)的数据被定义为一帧输出数据。输出数据包含运动图像的一帧图像数据和一帧测试数据。
即，在该示例中，在包头(PH；packet header)与包脚注(PF；packet footer)之间设置有有效数据区域和测试数据区域。
这里，通过拍摄而获得的图像数据(有效数据)被存储于有效数据区域中。在信号处理单元23处生成的测试数据被存储于跟在有效数据区域之后的测试数据区域中。特别地，在该示例中，可以存储有与图像数据(有效数据)不同的任意数据的自由区域被用作测试数据区域。
因此，在该示例中，包头(PH)和包脚注(PH)被附加至用于构成运动图像的一帧的一行图像数据，并且运动图像的该帧内的各行图像数据被输出。同样，包头和包脚注被附加至测试数据，并且该测试数据被输出。
请注意，测试数据可以具有运动图像的帧的一行的长度，或数行的长度。
此外，如果基于测试数据的故障检测并不是特定地在图像传感器11 的后一级中执行，那么该测试数据不必要被存储于测试数据区域中。即，要求从输出单元24输出的是不包含测试数据且只包含图像数据的输出数据。
<信号处理单元的结构示例>
接下来，将会说明信号处理单元23的更具体结构示例。
例如，像素阵列单元21中的像素阵列被假定为图3中的箭头Q11 所示的拜耳阵列。
在由箭头Q11示出的部分中，每个方格代表着一个像素，并且该像素中的字母表示该像素中所设置的颜色滤光片。
即，带有字母“R”的像素代表着该像素包括红(R)颜色滤光片并且输出R颜色成分的像素信号。
而且，带有字母“Gr”或“Gb”的像素代表着该像素包括绿(G)颜色滤光片并且输出G颜色成分的像素信号。带有字母“B”的像素代表着该像素包括蓝(B)颜色滤光片并且输出B颜色成分的像素信号。
下文中，带有字母“R”、“Gr”、“Gb”和“B”的像素也分别被称为R像素、Gr像素、Gb像素和B像素。而且，如果不需要特别地区分Gr像素和Gb像素，那么Gr像素和Gb像素将会被简称为G像素。
在像素阵列单元21中，如上所述的R像素、Gr像素、Gb像素和B 像素被布置为拜尔阵列。从像素阵列单元21输出如下的彩色图像的图像信号：在该彩色图像中，各像素具有R、G和B中任意颜色的成分的值以作为像素值(样本值)。
请注意，尽管这里把像素阵列单元21是拜耳阵列的情况作为示例来进行说明，但是该示例并非限制性的，像素阵列单元21中的颜色滤光片可以是任意其他阵列。而且，在像素阵列单元21处获得的图像信号可以不是彩色图像的图像信号，而是单色图像的图像信号。
而且，信号处理单元23包括两个数据路径(下文中简称为路径)。换句话说，信号处理单元23是两相(two-phased)电路。
在此情况下，如图3中的箭头Q12所示，当对基于图像数据的图像进行处理时，两个相邻像素在不同的路径(即，不同的通道)中被并列处理。
由箭头Q12所示的部分代表着像素阵列单元21的局部区域，即，基于从A/D转换单元22输出的图像数据的一帧图像(下文中也称为所拍摄图像)的局部区域。每个方格代表一个像素。
而且，在由箭头Q12所示的部分中，符号“PG_Raw_0”至“PG_Raw_3”表示所拍摄图像的行，并且符号“Column_0”至“Column_7”表示所拍摄图像的列。
此外，像素内所写的数字表示像素的行和列。字母“mn”写在第 PG_Raw_m行(0≤m≤3)第Column_n列(0≤n≤7)的像素中。下文中，第PG_Raw_m行(0≤m≤3)第Column_n列(0≤n≤7)的像素也被称为像素mn。
因此，例如，带有数字“00”的像素代表着第PG_Raw_0行第Column_0 列的像素。该像素在下文中也被称为像素00。
而且，对于由箭头Q11所示的部分中的像素和由箭头Q12所示的部分中的像素，相同颜色成分的像素用相同的阴影表示。因此，例如像素 00和像素02是R像素，并且像素01和像素03是G像素。
当对所拍摄图像进行处理时，像素00至37基本上按光栅扫描顺序 (raster scanorder)被处理。
这里，信号处理单元23是两相的，并且具有两个路径。因此，当所拍摄图像被处理时，所拍摄图像按照由箭头Q13所示的处理周期被处理。
具体地，首先，像素00在设置于一个路径(在下文中，也被称为通道CH0)中的电路中被处理，并且在大致相同的时序下，与像素00相邻的像素01在设置于另一个路径(即，不同于通道CH0的通道(在下文中，也被称为通道CH1))中的电路中被处理。也就是说，像素00和像素01 在不同的通道CH0和CH1中被并列处理。
在像素00和像素01被处理了的情况下，随后，像素02在通道CH0 的电路中被处理，并且在大致相同的时序下，像素03在通道CH1的电路中被处理。接着，像素04在通道CH0的电路中被处理，并且在大致相同的时序下，像素05在通道CH1的电路中被处理。于是，在此之后，尚未处理的一对像素按次序在不同通道(路径)的电路中被处理。
在信号处理单元23是两相的情况下，信号处理单元23例如如图4 所示那样生成测试数据。
请注意，在图4中，符号“PG_Raw_0”至“PG_Raw_3”表示与所拍摄图像的各行对应的测试数据的行，并且符号“Column_0”至“Column_7”表示与所拍摄图像的各列对应的测试数据的列。
而且，在图4中，每个方格代表着测试数据的一个像素，更具体地，代表着与所拍摄图像的像素对应的一个样本，并且这些像素中的字母代表着测试数据的像素(样本)的像素值(样本值)。
例如，在图4中，第PG_Raw_0行第Column_0列中的测试数据的像素是与图3中所示的像素00对应的像素，并且该像素的像素值为A。
同样，第PG_Raw_0行第Column_1列中的测试数据的像素是与图3 中所示的像素01对应的像素，并且该像素的像素值为A。
第PG_Raw_0行第Column_0列的像素和第PG_Raw_0行第 Column_1列的像素在大致相同的时序下在信号处理单元23中的不同路径中被处理，并且这两个像素具有相同的像素值，即值A。
在下文中，测试数据中的第PG_Raw_m行(0≤m≤3)第Column_n 列(0≤n≤7)的像素也被称为像素mn′。
例如通过将一帧测试数据附加至一帧所拍摄图像的图像数据的后面，且假定已被附加了测试数据的图像数据直到测试数据的最后部分为止都对应于所拍摄图像的数据，来进行处理。在这种情况下，假定像素mn′是具有与像素mn相同的颜色成分的像素，并且进行处理。
尽管测试数据的各个像素mn′以此方式对应于图像数据的各个像素 mn，但是像素mn′实际上没有颜色成分。也就是说，像素mn′的像素值不是与相应像素mn的颜色成分相同的颜色成分的值，而仅仅是测试图案的值。
在图4中所示的测试数据中，在不同路径(通道)的电路中被并列处理的相邻两个像素(样本)具有相同的像素值(样本值)。即，在测试数据中，在不同路径中以大致相同时序被处理的两个像素具有相同的像素值。
请注意，只要满足在不同路径的电路中被并列处理的两个像素具有相同的像素值就可以，测试数据可以具有任意图案，并且各个像素的像素值可以以任意方式予以确定，例如，各个像素的像素值可以是随机数。
例如，在图4中所示的示例中，像素值A至像素值P中的各个值是随机生成的随机数的值，并且像素值A至像素值P中的一些值可以具有相同的值。
在测试数据中在信号处理单元23的不同路径中被并列处理的像素具有相同像素值的原因在于：如稍后所述，这些像素会在比较单元31处被比较，并且将会执行故障检测。
在如上所述获得了图3中所示的像素阵列中的图像数据并且生成了图4中所示的图案的测试数据的情况下，信号处理单元23具有例如如图 5所示的结构。请注意，在图5中，与图1中的那些部分对应的部分被赋予相同的附图标记，并且将会适当地省略它们的说明。
图5中所示的信号处理单元23包括图案发生器61、附加单元62、增益寄存器63-1至63-4、选择器64-1和64-2、选择器65-1和65-2、乘法单元66-1和66-2以及比较单元31。
信号处理单元23是对输入的图像数据和测试数据执行增益调整的数字电路。也就是说，信号处理单元23通过将图像数据和测试数据的各像素乘以与该像素的颜色成分(更具体地，像素位置)对应的增益，来执行增益调整。
图案发生器61通过例如生成随机数来生成如图4所示的图案的测试数据，并且将该测试数据提供给附加单元62。例如，测试数据是所拍摄图像的若干行像素数的数据。上述的图案发生器61起到用于生成测试数据的测试数据生成单元的作用。请注意，测试数据的各像素的像素值不限于随机数，可以是预定值。
附加单元62把从图案发生器61提供过来的测试数据附加至从A/D 转换单元22提供过来的图像数据，并且把已经被附加了测试数据的图像数据提供至乘法单元66-1和66-2。
具体地，例如，图3所示的一帧图像数据被提供给附加单元62，并且图4所示的一帧测试数据被提供给附加单元62。
在这种情况下，附加单元62首先将图像数据的像素00提供给乘法单元66-1，并且将图像数据的像素01提供给乘法单元66-2。
这里，乘法单元66-1是设置在与通道CH0对应的路径中的乘法电路。乘法单元66-2是设置在与通道CH1对应的路径中的乘法电路。
而且，在下一个时序，附加单元62将图像数据的像素02提供给乘法单元66-1，并且把图像数据的像素03提供给乘法单元66-2。以此方式，附加单元62依次地将图像数据的像素提供给乘法单元66-1和66-2。
然后，在附加单元62将一帧图像数据的最后一个像素提供给乘法单元66-2之后的下一个时序下，附加单元62开始将测试数据提供给乘法单元66-1和66-2。
即，附加单元62首先将测试数据的像素00′提供给乘法单元66-1，并且将测试数据的像素01′提供给乘法单元66-2。而且，在下一个时序下，附加单元62将测试数据的像素02′提供给乘法单元66-1，并且将测试数据的像素03′提供给乘法单元66-2。
之后，同样，附加单元62依次地将测试数据的像素提供给乘法单元 66-1和66-2。
如上所述，附加单元62重复地执行输出所拍摄图像的一帧图像数据且然后输出一帧测试数据的处理。
增益寄存器63-1至63-4存储着与各颜色成分对应的增益(增益值)。
即，增益寄存器63-1保存着用于与R像素相乘的增益(在下文中也被称为增益R)，并且把所保存的增益提供给选择器64-1。
增益寄存器63-2保存着用于与Gb像素相乘的增益(在下文中也被称为增益Gb)，并且把所保存的增益提供给选择器64-1。
增益寄存器63-3保存着用于与Gr像素相乘的增益(在下文中也被称为增益Gr)，并且把所保存的增益提供给选择器64-2。
增益寄存器63-4保存着用于与B像素相乘的增益(在下文中也被称为增益B)，并且把所保存的增益提供给选择器64-2。
请注意，在增益寄存器63-1至63-4不需要特别地区分开的情况下，增益寄存器63-1至63-4在下文中也被简称为增益寄存器63。而且，增益R、增益Gb、增益Gr和增益B具有不同的值。
选择器64-1选择从增益寄存器63-1提供的增益R和从增益寄存器 63-2提供的增益Gb之中的一者，并且把所选的增益提供给选择器65-1 和65-2。
而且，选择器64-2选择从增益寄存器63-3提供的增益Gr和从增益寄存器63-4提供的增益B之中的一者，并且把所选的增益提供给选择器 65-1和65-2。
请注意，在选择器64-1和64-2不需要特别地区分开的情况下，选择器64-1和64-2在下文中也被简称为选择器64。
选择器65-1选择从选择器64-1提供的增益和从选择器64-2提供的增益中的一者，并且把所选的增益提供给乘法单元66-1。
而且，选择器65-2选择从选择器64-1提供的增益和从选择器64-2 提供的增益中的一者，并且把所选的增益提供给乘法单元66-2。
请注意，在选择器65-1和65-2不需要特别地区分开的情况下，选择器65-1和65-2在下文中也被简称为选择器65。
乘法单元66-1把从附加单元62提供过来的图像数据的像素或测试数据的像素与从选择器65-1提供的增益相乘，并且把已经与增益相乘后的像素提供给比较单元31和输出单元24。
乘法单元66-2把从附加单元62提供过来的图像数据的像素或测试数据的像素与从选择器65-2提供的增益相乘，并且把已经与增益相乘后的像素提供给比较单元31和输出单元24。
请注意，在乘法单元66-1和66-2不需要特别地区分开的情况下，乘法单元66-1和66-2在下文中也被简称为乘法单元66。
比较单元31通过把从乘法单元66-1提供的与增益相乘后的测试数据的像素跟从乘法单元66-2提供的与增益相乘后的测试数据的像素进行比较，来执行信号处理单元23的故障检测，并且输出该检测结果。
具体地，在从乘法单元66-1提供的测试数据的像素的像素值与从乘法单元66-2提供的测试数据的像素的像素值一致的情况下，即，在这两个像素值相同的情况下，可以判定在信号处理单元23中没有出现故障。
相反，在从乘法单元66-1提供的测试数据的像素的像素值与从乘法单元66-2提供的测试数据的像素的像素值不一致的情况下，即，在这两个像素值不相同的情况下，可以判定在信号处理单元23中出现了故障。
以此方式，比较单元31把通过附加单元62和乘法单元66提供过来的两个像素的像素值进行比较，由此执行故障检测，且因此，在测试数据中，在比较单元31处被比较的像素具有相同的像素值。
而且，这里，对信号处理单元23中的附加单元62至乘法单元66的部分执行故障检测。也就是说，在附加单元62或乘法单元66的任意部分由于例如故障等原因而不正常工作的情况下，就会获得表示比较单元 31中已经发生了故障(出错)的检测结果(判定结果)。
如上所述，信号处理单元23起到针对所拍摄图像执行增益调整的模块的作用。因此，通过用乘法单元66把所拍摄图像的R像素、Gb像素、 Gr像素和B像素分别与增益R、增益Gb、增益Gr和增益B相乘，对所拍摄图像进行了增益调整。
因此，选择器64和65选择增益，使得：针对所拍摄图像的图像数据，各颜色的像素与该颜色的增益相乘。
例如，从图3所示的像素阵列可以看出，R像素和Gb像素中的一者被提供给通道CH0的乘法单元66-1。
因此，选择器64-1根据被提供给乘法单元66-1的像素的颜色成分而把增益R和增益Gb中的一者提供给选择器65。而且，选择器65-1在所拍摄图像的处理期间内继续选择从选择器64-1提供过来的增益，并且把该增益提供给乘法单元66-1。
类似地，Gr像素和B像素中的一者被提供给通道CH1的乘法单元 66-2。因此，选择器64-2根据被提供给乘法单元66-2的像素的颜色成分而把增益Gr和增益B中的一者提供给选择器65。而且，选择器65-2在所拍摄图像的处理期间内继续选择从选择器64-2提供过来的增益，并且把该增益提供给乘法单元66-2。
尽管在以此方式对所拍摄图像进行处理的期间内选择器65不是必要的，但是在对所拍摄图像的一帧的处理结束并且测试数据被提供给乘法单元66的情况下，选择器65是必要的。
例如，假设没有设置选择器65，那么图4所示的测试数据的像素00′被提供给乘法单元66-1，并且在当测试数据的像素01′被提供给乘法单元 66-2时的时序下，增益R和增益Gr分别被提供给乘法单元66-1和66-2。
然后，像素值A×R和像素值A×Gr被提供给比较单元31，并且这些像素值被比较。像素值A×R是通过将像素00′的像素值A与增益R相乘而得到的。像素值A×Gr是通过将像素01′的像素值A与增益Gr相乘而得到的。
在此情况下，特别地，即使信号处理单元23没有出现故障并且附加单元62和乘法单元66正常工作，增益R和增益Gr也是不同的，因而被比较的像素的像素值相互不一致。这就导致做出发生故障的判定。也就是说，出现了错误检测。
因此，在测试数据的处理期间为了向两个乘法单元66提供相同的增益，选择器65选择从选择器64提供过来的增益。换言之，在乘法单元 66针对所拍摄图像的图像数据依赖于像素的颜色成分执行处理的情况下，选择器65起到如下选择单元的作用：该选择单元选择乘法单元66 中的处理，以使得在两个乘法单元66中执行相同的处理，即，针对测试数据的被比较的成对像素执行相同的处理。
请注意，在作为有效数据的图像数据的处理期间内，选择器65根据图像数据的要被处理的像素的颜色成分来选择处理(增益)。
作为具体示例，例如在测试数据的像素00′和像素01′被处理的时序下，选择器65选择增益R或增益Gr。
例如，在选择了增益R的情况下，在选择器65-1和选择器65-2两者中都选择该增益R，并且该增益被提供给乘法单元66。
以此方式，一个像素值A×R和另一像素值A×R被提供给比较单元 31，并且这些像素值被比较。前一个像素值A×R是通过将像素00′的像素值A与增益R相乘而得到的。后一个像素值A×R是通过将像素01′的像素值A与增益R相乘而得到的。
在此情况下，特别地，在信号处理单元23没有发生故障并且附加单元62和乘法单元66正常工作的情况下，被比较的像素的像素值相互一致。作为故障检测的结果，能够获得正确的检测结果。
特别地，仅要求信号处理单元23将测试数据输入至诸如乘法单元 66等电路，执行与原本对要在信号处理单元23处被处理的图像数据执行的处理类似的处理，并且比较与从该电路输出的测试数据对应的像素的像素值。因此，通过简单的处理就能够执行故障检测。
也就是说，在本技术中，不需要执行诸如从被提供给用于故障检测的乘法单元66的诸如增益等参数向用于故障检测的专用参数的切换等切换。而且，根据测试数据对图像数据进行的诸如调制等处理是不必要的，并且仅仅要求进行简单的像素比较。这就使得本技术中能够实现简单的故障检测。
此外，甚至在用户设定要在信号处理单元23处被执行的处理的参数 (诸如存储于增益寄存器63中的增益等)的情况下，也能正确地执行故障检测。不是使用故障检测用参数而是使用由用户实际上设定的参数来执行故障检测，因此，在实际工作环境下能够以高精度检测出故障。
而且，图5中所示的信号处理单元23包括附加单元62和比较单元31。附加单元62被设置在信号处理单元23的最前一级处，并且用于把测试数据附加至图像数据。比较单元31被设置在信号处理单元23的最后一级处，并且用于执行故障检测。因此，信号处理单元23能够在最大范围内执行故障检测。
此外，通过利用信号处理单元23是多相的这一特征，采用了通过利用信号处理单元23的架构对测试数据的两个像素进行比较从而实施故障检测的结构。这使得能够用简单的结构来实现故障检测，并且能够抑制电路规模的增大。
此外，针对所拍摄图像的每一帧，信号处理单元23都在作为有效数据的图像数据后面附加了用于故障检测的测试数据，并且在所拍摄图像的消隐周期(blanking period)期间内进行故障检测。这使得能够在运行期间(也就是说，在所拍摄图像的处理期间)内实施故障检测。特别地，由于不是将图像数据的一帧数据用作测试数据，因此能够在比一帧的时间段更短的时间内执行故障检测。
此外，由于信号处理单元23不对作为用于故障检测的有效数据的图像数据进行处理，因此就不可能会影响后一级中的使用图像数据的处理，并且可以生成任意图案以作为测试数据的图案。
这使得测试数据的各像素的像素值能够改变为各种各样的值从而变更图案。而且，由于能够利用由用户针对增益寄存器63的诸如增益等参数而设定的各种各样的值来对测试数据进行处理，因此能够利用更加多的参数或测试图案来执行故障检测。这能够提高故障检测的检测精度。
<数据输出处理的说明>
下面，将会说明如图1所示的图像传感器11的操作。
即，下面将会参照图6的流程图来说明由图像传感器11执行的数据输出处理。
在步骤S11中，像素阵列单元21通过接收来自物体的入射光且执行光电转换来拍摄出所拍摄图像，并且把作为结果而得到的所拍摄图像的图像信号提供给A/D转换单元22。
在步骤S12中，A/D转换单元22对从像素阵列单元21提供过来的所拍摄图像的图像信号执行AD转换，并且把作为结果而得到的所拍摄图像的图像数据提供给信号处理单元23的附加单元62。
在步骤S13中，图案发生器61通过生成随机数来生成任意图案的测试数据，并且把该测试数据提供给附加单元62。
在步骤S13中，生成了作为测试数据的如下数据：在该数据中，在信号处理单元23的不同的路径(通道)中被并列处理的像素(样本)具有相同的像素值(样本值)。具体地，例如，生成了图4所示的测试数据。
在步骤S14中，附加单元62把从图案发生器61提供过来的测试数据附加至从A/D转换单元22提供过来的图像数据，并且把该图像数据提供给乘法单元66。也就是说，所拍摄图像的各帧的图像数据后面都附加了一帧测试数据，并且该图像数据被输出至乘法单元66。
在步骤S15中，选择器64和65从由增益寄存器63提供过来的增益之中选择要被提供至乘法单元66的增益。
例如，选择器64从已经由增益寄存器63提供过来的增益之中，选择根据要被提供给乘法单元66的图像数据或测试数据的像素位置而确定的颜色成分的增益，并且把所选的增益提供给选择器65。
而且，在图像数据的像素被提供给乘法单元66的时序下，选择器 65从已经由选择器64提供过来的增益之中，选择根据要被提供给乘法单元66(其是增益的输出目的地)的图像数据的像素位置而确定的颜色成分的增益，并且把所选的增益提供给乘法单元66。
相反，在测试数据的像素被提供给乘法单元66的时序下，为了把具有相同颜色成分的增益提供给两个乘法单元66，选择器65从已经由选择器64提供过来的增益之中，选择预定增益，并且把所选的增益提供给乘法单元66。
在步骤S16中，乘法单元66把已经从附加单元62提供过来的图像数据或测试数据与已经从选择器65提供过来的增益相乘，并且把所得的数据提供给输出单元24和比较单元31。
在步骤S17中，比较单元31通过比较从乘法单元66-1提供过来的与增益相乘后的测试数据的像素的像素值跟从乘法单元66-2提供过来的与增益相乘后的测试数据的像素的像素值，来执行故障检测。
也就是说，两个像素的像素值相互一致的情况下，比较单元31输出表示没有发生故障的检测结果，并且在两个像素的像素值相互不一致的情况下，比较单元31输出表示发生了故障的检测结果。这样的故障检测是在所拍摄图像的每一帧中针对测试数据的每一对像素执行的。
在步骤S18中，输出单元24把已经从乘法单元66提供过来的图像数据和测试数据转换成预定格式的输出数据，并且把该输出数据输出。然后，数据输出处理结束。例如，在步骤S18中，生成了且输出了包括图像数据和测试数据的具有图2中所示格式的输出数据。
请注意，在步骤S18中，至少必须把已经被转换成预定格式的图像数据输出，并且测试数据不是必须需要输出的。
如上所述，图像传感器11生成了其中在不同的路径中被并列处理的多个像素具有相同像素值的测试数据，并且基于已经在乘法单元66处被处理的测试数据来执行故障检测。这使得能够实现更容易且更精确的故障检测。
请注意，尽管上面所说明的是其中信号处理单元23执行增益调整的示例，但是由信号处理单元23对图像数据和测试数据执行的处理不限于如上所述的增益调整，其他的任何处理也是可行的。
也就是说，例如，可以对图像数据和测试数据执行用于固定所拍摄图像的黑电平的箝位处理以及用于合成多个所拍摄图像的HDR合成处理。
而且，由信号处理单元23对图像数据和测试数据执行的处理不要求是依赖于颜色滤光片(即，颜色成分)的处理。例如，在所拍摄图像是单色图像和所拍摄图像的各像素与具有相同值得增益相乘的情况下，在图5所示的构造中选择器64和65是不必要的，并且只需要把增益直接从增益寄存器提供给乘法单元66。
此外，尽管在图1所示的图像传感器11中已经说明了让信号处理单元23经受故障检测的示例，但是通过在输出单元24中设置有比较单元 31，故障检测可以不仅仅针对信号处理单元23而且还针对输出单元24 而被执行。
例如，在输出单元24的最后一级处设置有比较单元31的情况下，可以针对从信号处理单元23的附加单元62到输出单元24的最后一级的路径(电路)来执行故障检测。此外，在此情况下，比较单元可以仅设置于输出单元24中。然而，当在信号处理单元23和输出单元24两者中都设置有比较单元时，能够判定在发生故障的情况下是在信号处理单元 23和输出单元24中的哪一者处发生了故障。
而且，测试数据可以不是诸如信号处理单元23等数字模块(数字电路)输入的，而是从模拟模块(模拟电路)输入的。
在这种情况下，例如，图案发生器61和附加单元62被设置在像素阵列单元21中。模拟测试数据被附加至通过拍摄而得到的图像信号，并且从像素阵列单元21提供给A/D转换单元22。
然后，A/D转换单元22对从像素阵列单元21提供过来的像素信号和测试数据执行AD转换。作为结果而得到的图像数据和测试数据被提供给信号处理单元23的乘法单元66。因此，能够对A/D转换单元22和信号处理单元23执行故障检测。
<第一实施例的变形例1>
<信号处理单元的结构示例>
此外，尽管上面已经说明了在信号处理单元23中设置有两个路径的示例，但是可以设置三个以上路径。在这种情况下，可以根据设置于信号处理单元23中的路径数量来确定测试数据的图案。
这里，作为具体示例，将会说明例如信号处理单元23是四相的情况，即，在信号处理单元23中设置有四个路径(通道)的情况。
例如，在像素阵列单元21的像素阵列是图7的箭头Q21所示的拜耳阵列的情况下，所拍摄图像的局部区域如箭头Q22所示。
请注意，在由图7中的箭头Q21所示的部分中，每个方格代表着一个像素，并且带有字母“R”、“Gr”、“Gb”和“B”的像素分别是R像素、Gr 像素、Gb像素和B像素。
而且，在由箭头Q22所示的部分中，每个方格代表着所拍摄图像的一个像素，并且像素中的数字代表着像素的行和列。也就是说，与图3 所示的示例类似地，字母“mn”写在第PG_Raw_m行第Column_n列的像素中。这样的像素也被称为像素mn。
在获得了这样的所拍摄图像并且信号处理单元23具有四相结构的情况下，在行方向上相邻的四个像素在不同的路径中被并列处理。
也就是说，例如，像素00、像素01、像素02和像素03在不同路径中在大致相同的时序下被处理。
在下文中，有各个像素00、01、02和03分别在其中被处理的路径也分别被称为通道CH0、CH1、CH2和CH3。
在以此方式将彩色的所拍摄图像在四个路径中进行处理的情况下，只要求生成这样的测试数据：在该测试数据中，在不同的路径中被并列处理的四个像素(样本)之中的至少两个以上像素具有相同像素值(样本值)。也就是说，只要求生成如下的测试数据：在该测试数据中，例如，在不同的路径中被并列处理的四个像素之中的与相同颜色成分对应的两个像素具有相同的像素值。
具体地，例如，类似于参照图4所说明的情况，测试数据的第 PG_Raw_m行第Column_n列中的像素被标记为像素mn′。
在此情况下，例如，测试数据的像素00′对应于R成分的像素00，并且像素00′在通道CH0的电路中被处理。而且，测试数据的像素01′对应于Gr成分的像素01，并且像素01′在通道CH1的电路中被处理。
类似地，测试数据的像素02′对应于R成分的像素02，并且在通道 CH2的电路中被处理。而且，测试数据的像素03′对应于Gr成分的像素 03，并且在通道CH3的电路中被处理。
因此，只要求生成这样的测试数据：该测试数据中，例如，对应于 R成分(R像素)的像素00′和像素02′具有相同的像素值，对应于Gr成分(Gr像素)的像素01′和像素03′具有相同的像素值。
而且，在这种情况下，四相的信号处理单元23具有例如如图8中所示的结构。请注意，在图8中，与图5中的那些部分相同的部分将会被赋予相同的附图标记，并且将会适当地省略对它们的说明。
图8中所示的信号处理单元23包括图案发生器61、附加单元62、增益寄存器63-1至63-4、选择器64-1和64-2、乘法单元66-1和66-2、乘法单元66-3和66-4以及比较单元31。
图8中所示的信号处理单元23的构造与图5中所示的信号处理单元 23的构造的区别在于：没有设置选择器65-1和65-2，而新设置了乘法单元66-3和66-4。
在该示例中，乘法单元66-1至66-4各者都是分别设置于通道CH0 至CH3各者中的电路。
乘法单元66-1和66-3把从附加单元62提供过来的图像数据的像素和测试数据的像素与从选择器64-1提供过来的增益相乘，并且把已经与增益相乘后的像素提供给比较单元31和输出单元24。
乘法单元66-2和66-4把从附加单元62提供过来的图像数据的像素和测试数据的像素与从选择器64-2提供过来的增益相乘，并且把已经与增益相乘后的像素提供给比较单元31和输出单元24。
请注意，在乘法单元66-1至66-4不需要特别地区分开的情况下，乘法单元66-1至66-4在下文中也被简称为乘法单元66。
具有图8所示的结构的信号处理单元23对输入的图像数据和测试数据的四个像素并列地执行处理。
例如，在图7所示的图像数据被提供至附加单元62的情况下，附加单元62把图像数据的像素00提供给通道CH0的乘法单元66-1，并且把图像数据的像素01提供给通道CH1的乘法单元66-2。而且，附加单元 62把图像数据的像素02提供给通道CH2的乘法单元66-3，并且把图像数据的像素03提供给通道CH3的乘法单元66-4。
在此情况下，选择器64-1选择增益R，并且把增益R提供给乘法单元66-1和66-3。选择器64-2选择增益Gr，并且把增益Gr提供给乘法单元66-2和66-4。
然后，乘法单元66-1和66-3通过让从附加单元62提供过来的像素 00和像素02各自的像素值与从选择器64-1提供过来的增益R相乘，来执行增益调整，并且把已经与增益R相乘后的像素00和像素02提供给输出单元24和比较单元31。
类似地，乘法单元66-2和66-4通过让从附加单元62提供过来的像素01和像素03各自的像素值与从选择器64-2提供过来的增益Gr相乘，来执行增益调整，并且把已经与增益Gr相乘后的像素01和像素03提供给输出单元24和比较单元31。
而且，图案发生器61生成如下的测试数据：在该测试数据中，在通道CH0和通道CH2中被并列处理的像素具有相同的像素值，在通道CH1 和通道CH3中被并列处理的像素具有相同的像素值，而且，图案发生器 61把该测试数据提供给附加单元62。
在此情况下，如上所述，生成了其中例如像素00′和像素02′具有相同的像素值且像素01′和像素03′具有相同的像素值的测试数据。
附加单元62把所拍摄图像的一帧图像数据提供给乘法单元66，然后把从图案发生器61提供过来的一帧测试数据提供给乘法单元66。
例如，附加单元62把测试数据的像素00′至03′各者提供给乘法单元 66-1至66-4各者，然后类似地，把测试数据的像素提供给乘法单元66。
而且，与当图像数据被提供给乘法单元66时的情况类似，选择器 64选择增益，并且把所选的增益提供给乘法单元66。
也就是说，在当像素00′和像素02′被提供给例如乘法单元66-1和 66-3时的时序下，选择器64-1选择增益R，并且把增益R提供给乘法单元66-1和66-3。于是，乘法单元66-1和66-3让从附加单元62提供过来的像素00′和像素02′与增益R相乘，然后把得到的像素00′和像素02′提供给输出单元24和比较单元31。
而且，在当像素01′和像素03′被提供给例如乘法单元66-2和66-4 时的时序下，选择器64-2选择增益Gr，并且把增益Gr提供给乘法单元 66-2和66-4。于是，乘法单元66-2和66-4让从附加单元62提供过来像素01′和像素03′与增益Gr相乘，然后把得到的像素01′和像素03′提供给输出单元24和比较单元31。
在此情况下，比较单元31比较已经与增益R相乘后的像素00′的像素值跟已经与增益R相乘后的像素02′的像素值。在这两个像素值相互不一致的情况下，比较单元31输出表示出现故障的检测结果。
而且，比较单元31比较已经与增益Gr相乘后的像素01′的像素值跟已经与增益Gr相乘后的像素03′的像素值。在这两个像素值相互不一致的情况下，比较单元31输出表示出现故障的检测结果。
相反，在已经与增益R相乘后的像素00′的像素值跟已经与增益R 相乘后的像素02′的像素值相互一致、以及已经与增益Gr相乘后的像素 01′的像素值跟已经与增益Gr相乘后的像素03′的像素值相互一致的情况下，比较单元31输出表示没有出现故障的检测结果。
在信号处理单元23是四相的情况下，选择器65是不必要的，因为在被并列处理的四个像素之中已经有具有相同颜色成分的多个像素。
请注意，图8中所示的信号处理单元23可以在当生成了其中像素 00′至03′具有相同像素值的测试数据、且像素00′至03′被提供给乘法单元 66时的时序下，将相同值的增益提供给乘法单元66-1至66-4。
<第二实施例>
<图像处理系统的结构示例>
顺便提及地，如参照图2所说明的，图像传感器11可以将测试数据附加至图像数据，并且把图像数据输出至外部。
这使得能够对图像传感器11的后一级中的系统进行故障检测。
在这种情况下，包括图像传感器11和位于图像传感器11的后一级处的主机的图像处理系统例如具有如图9中所示的构造。请注意，在图9 中，与图1中所示的那些部分相同的部分将会被赋予相同的附图标记，并且将会适当地省略对它们的说明。
图9中所示的图像处理系统包括图像传感器11和位于图像传感器 11的后一级处的主机101。
主机101是这样的信号处理装置：其接收从图像传感器11的输出单元24输出(传输过来)的包含图像数据和测试数据的输出数据，并且对输出数据中所包含的图像数据执行预定处理。主机101包括输入单元111 和信号处理单元112。
输入单元111例如包括符合诸如MIPI等预定规格的接收器，并且从由输出单元24输出过来的输出数据中提取所拍摄图像的图像数据和测试数据。
而且，输入单元111把所提取的图像数据和测试数据提供给信号处理单元112，并且基于所提取的测试数据，对例如已被定义为诊断对象的输入单元111等执行故障检测。请注意，在信号处理单元112不执行故障检测的情况下，只要求将图像数据提供给信号处理单元112。
信号处理单元112对从输入单元111提供过来的图像数据执行诸如箝位处理、HDR合成处理和增益调整处理等预定处理，并且把处理结果输出至外部。
请注意，类似于信号处理单元23，输入单元111和信号处理单元112 可以具有多相结构。这些输入单元111和信号处理单元112包括数字电路。
而且，输入单元111具有例如如图10中更具体地示出的结构。
图10中所示的输入单元111包括接收单元141、提取单元142和比较单元143。
接收单元141接收从输出单元24输出的输出数据，并且将该输出数据提供给提取单元142。提取单元142从由接收单元141提供过来的输出数据中提取图像数据和测试数据，且把图像数据和测试数据提供给信号处理单元112，并且把测试数据提供给比较单元143。
比较单元143对应于图像传感器11的比较单元31，并且基于从提取单元142提供过来的测试数据执行故障检测。
例如，假定信号处理单元23具有如图5中所示的构造并且生成如图 4中所示的测试数据。此时，例如，在附加单元62与提取单元142之间被处理的像素00′和像素01′作为测试数据从提取单元142提供过来的情况下，比较单元143通过比较像素00′的像素值和像素01′的像素值来执行故障检测。
于是，在像素00′的像素值和像素01′的像素值相互一致的情况下，比较单元143输出表示没有出现故障的检测结果。
相反，在像素00′的像素值和像素01′的像素值相互不一致的情况下，比较单元143输出表示出现故障的检测结果。
在比较单元143获得了表示出现故障的检测结果的情况下，意味着在附加单元62与提取单元142之间出现了故障(问题)。在此情况下，如果在信号处理单元23和输出单元24各者中都设置有用于故障检测的比较单元，那么就能够明确指出是在信号处理单元23、输出单元24和输入单元111中的哪个模块出现了故障。
而且，由于在图10所示的构造中比较单元143被设置在输入单元 111的最后一级处，能够对在比输入单元111更宽的范围内的模块进行故障检测。
此外，尽管这里已经说明了在输入单元111中设置有比较单元143 的示例，但是，比较单元143可以不设置在信号输入单元111中，而设置在信号处理单元112中。可以在输入单元111和信号处理单元112两者中都设置有用于故障检测的比较单元。
而且，例如，可以在输入单元111和信号处理单元112中设置有用于依赖于颜色成分进行处理的信号处理模块。在这种情况下，信号处理模块中的用于选择处理的选择单元需要被设置成使得：对于测试数据的要在不同路径中被并列处理的像素(即，要在比较单元处被比较的一对像素)执行相同的处理。
<接收处理的说明>
图9中所示的图像处理系统在图像传感器11侧执行例如参照图6所说明的数据输出处理。然后，在执行了该数据输出处理并且从输出单元24输出了输出数据的情况下，主机101执行如图11所示的接收处理。
这里，将会参照图11的流程图来说明由主机101执行的接收处理。
在步骤S41中，接收单元141接收从图像传感器11的输出单元24 输出的输出数据，并且把该输出数据提供至提取单元142。
在步骤S42中，提取单元142从由接收单元141提供过来的输出数据中提取图像数据和测试数据，将该图像数据和测试数据提供给信号处理单元112，并且将该测试数据提供给比较单元143。
在步骤S43中，比较单元143基于从提取单元142提供过来的测试数据执行故障检测，并输出检测结果。在步骤S43中，执行了与图6中的步骤S17类似的处理。
在步骤S44中，信号处理单元112对从提取单元142提供过来的图像数据执行诸如箝位处理等预定处理，并输出处理结果。然后，接收处理结束。
如上所述，主机101接收从图像传感器11输出的输出数据，提取测试数据，并且进行故障检测。这使得与图像传感器11中一样，能够实现更容易且更精确的故障检测。
请注意，甚至在主机101侧进行故障检测的情况下，也能够与由图像传感器11执行的故障检测的情况一样地实现在运行中的故障检测。而且，甚至在用户任选地设定例如信号处理单元112中的诸如增益等参数的情况下，也能正确执行故障检测。
<应用至车辆的应用例>
此外，在上述图像传感器11或者包括图像传感器11和主机101的图像处理系统被应用于车辆的情况下，该车辆例如被构造成如图12中那样。
图12中所示的车辆171是具有安全机能的汽车。例如，车辆171包括用于获得所拍摄图像的相机181-1至181-4，这些所拍摄图像用于与车辆171的驱动有关的控制。
这里，相机181-1通过把车辆171前方的区域VR11-1定义为被摄对象来获得所拍摄图像。
而且，相机181-2通过把车辆171左侧的区域VR11-2定义为被摄对象来获得所拍摄图像。相机181-3通过把车辆171右侧的区域VR11-3定义为被摄对象来获得所拍摄图像。
此外，相机181-4通过把车辆171后方的区域VR11-4定义为被摄对象来获得所拍摄图像。
请注意，在相机181-1至81-4不需要特别地区分开的情况下，相机 181-1至181-4在下文中也被简称为相机181。
这些相机181包括例如图像传感器11。
而且，由相机181获得的所拍摄图像被提供给例如布置在车辆171 的核心处的车辆控制单元182，并且被用于与车辆171的驱动有关的控制。
车辆控制单元182包括例如高级驾驶辅助系统(ADAS；advanced drivingassistant system)芯片。车辆控制单元182对从相机181提供过来的所拍摄图像执行图像分析。车辆控制单元182还基于该图像分析的结果来执行与车辆171(例如方向盘、加速器和制动器)的驱动有关的控制。上述主机101可以设置在例如车辆控制单元182中。
<计算机的结构示例>
顺便提及地，上述一系列处理可以通过硬件或软件来执行。在该一系列处理由软件执行的情况中，将构成该软件的程序安装在计算机中。这里的计算机包括：例如结合在专用硬件中的计算机，以及例如能够通过安装各种各样程序来执行各种各样功能的通用个人计算机。
图13是示出了通过使用程序来执行上述一系列处理的计算机的硬件的结构示例的示意图。
在该计算机中，中央处理单元(CPU；central processing unit)501、只读存储器(ROM；read only memory)502和随机存取存储器(RAM； random access memory)503通过总线504相互连接。
入/输出接口505也连接到总线504。输入单元506、输出单元507、记录单元508、通信单元509和驱动器510连接到输入/输出接口505。
输入单元506包括例如键盘、鼠标、麦克风和摄像头。输出单元507 包括例如显示器和扬声器。记录单元508包括例如硬盘和非易失性存储器。通信单元509包括例如网络接口。驱动器510驱动诸如磁盘、光盘、磁光盘和半导体存储器等可移除记录介质511。
在按如上所述配置而成的计算机中，上述一系列处理是通过如下方式来执行的：CPU 501把记录于记录单元508中的程序例如经由输入/输出接口505和总线504加载到RAM503中，并执行该程序。
能够由该计算机(CPU 501)执行的程序可以通过例如被记录在作为封装介质等的可移除记录介质511中而被提供。此外，该程序可以经由诸如局域网、互联网和数字卫星广播等的有线或无线传输介质而被提供。
在该计算机中，可以通过将可移除记录介质511插接到驱动器510 中，经由输入/输出接口505将该程序安装在记录单元508中。此外，该程序可以由通信单元509通过有线或无线介质来接收，并且被安装到记录单元508中。此外，该程序可以预先安装在ROM 502和记录单元508 中。
请注意，由计算机执行的程序可以按照本说明书中描述的顺序按时间顺序进行处理，或者可以并列地被处理或在所需时刻(例如，当执行调用时的时刻)被处理。
而且，本技术的实施例不限于上述实施例，并且在不脱离本技术的精神的前提下可以做出各种修改。
例如，本技术可以具有云计算的构造，在该云计算中，多个设备经由网络共享一个功能并且一起执行处理。
而且，上述流程图中所说明的每个步骤除了可以由一个设备执行之外，也可以由多个设备共用和执行。
此外，在一个步骤包含多个处理的情况下，包含在所述一个步骤中的多个处理除了可以由一个设备执行之外，也可以由多个设备共用和执行。
此外，本技术可以实现如下技术方案。
(1)信号处理装置，其包括：
附加单元，其将用于故障检测的测试数据附加至要被执行预定处理的有效数据，在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及
信号处理单元，其对所述有效数据和已被附加至所述有效数据的所述测试数据以多个路径执行所述预定处理。
(2)根据(1)所述的信号处理装置，其还包括：
比较单元，其比较已经被所述信号处理单元执行了所述预定处理的所述测试数据的所述2个以上样本的样本值。
(3)根据(1)或(2)所述的信号处理装置，其中，
所述信号处理单元包括：选择单元，其选择要在所述2个以上样本上执行的处理，使得对所述2个以上样本执行作为所述预定处理的相同处理。
(4)根据(3)所述的信号处理装置，其中，
所述有效数据是彩色图像的图像数据，并且
所述选择单元
针对所述有效数据的像素，选择与该像素的颜色成分对应的处理以作为所述预定处理，并且
针对所述测试数据的所述2个以上样本，选择相同处理以作为所述预定处理。
(5)根据(1)至(4)中任一者所述的信号处理装置，其还包括：
测试数据生成单元，其生成所述测试数据。
(6)根据(1)至(5)中任一者所述的信号处理装置，其还包括：
输出单元，其输出已经被执行了所述预定处理的所述有效数据和所述测试数据。
(7)根据(1)至(6)中任一者所述的信号处理装置，
其中，所述有效数据是图像数据。
(8)信号处理方法，其包括下列步骤：
将用于故障检测的测试数据附加至要被执行预定处理的有效数据，在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及
对所述有效数据和已经被附加至所述有效数据的所述测试数据以多个路径执行所述预定处理。
(9)致使计算机执行处理的程序，所述处理包括下列步骤：
将用于故障检测的测试数据附加至要被执行预定处理的有效数据，在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及
对所述有效数据和已经被附加至所述有效数据的所述测试数据以多个路径执行所述预定处理。
(10)信号处理装置，其包括：
接收单元，其接收输出数据，所述输出数据包括有效数据和用于故障检测的测试数据，所述测试数据被附加至所述有效数据，并且在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及
比较单元，其比较所述测试数据的所述2个以上样本的样本值。
(11)根据(10)所述的信号处理装置，其中，
所述接收单元接收如下的所述输出数据：该输出数据中的所述有效数据和所述测试数据各自在外部信号处理模块中以多个路径被并列处理。
(12)根据(10)或(11)所述的信号处理装置，其还包括：
信号处理单元，其对由所述接收单元接收的所述输出数据的所述有效数据和所述测试数据执行预定处理，
其中，所述比较单元比较已经被所述信号处理单元执行了所述预定处理的所述测试数据的所述2个以上样本的样本值。
(13)根据(10)至(12)中任一者所述的信号处理装置，
其中，所述有效数据是图像数据。
(14)信号处理方法，其包括下列步骤：
接收输出数据，所述输出数据包括有效数据和用于故障检测的测试数据，所述测试数据被附加至所述有效数据，在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及
比较所述测试数据的所述2个以上样本的样本值。
(15)致使计算机执行处理的程序，所述处理包括下列步骤：
接收输出数据，所述输出数据包括有效数据和用于故障检测的测试数据，所述测试数据被附加至所述有效数据，在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及
比较所述测试数据的所述2个以上样本的样本值。
附图标记列表
11：图像传感器
21：像素阵列单元
22：A/D转换单元
23：信号处理单元
24：输出单元
31：比较单元
61：图案发生器
62：附加单元
65-1、65-2、65：选择器
66-1至66-4和66：乘法单元
101：主机
111：输入单元
112：信号处理单元
141：接收单元
142：提取单元
143：比较单元

Claims (15)

1.信号处理装置，其包括：
附加单元，其将用于故障检测的测试数据附加至要被执行预定处理的有效数据，在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及
信号处理单元，其分别对所述有效数据和已被附加至所述有效数据的所述测试数据执行所述预定处理，所述预定处理以多个路径执行。
2.根据权利要求1所述的信号处理装置，其还包括：
比较单元，其比较已经被所述信号处理单元执行了所述预定处理的所述测试数据的所述2个以上样本的样本值。
3.根据权利要求1所述的信号处理装置，其中，
所述信号处理单元包括：选择单元，其选择要在所述2个以上样本上执行的处理，使得对所述2个以上样本执行作为所述预定处理的相同处理。
4.根据权利要求3所述的信号处理装置，其中，
所述有效数据是彩色图像的图像数据，并且
所述选择单元
针对所述有效数据的像素，选择作为所述预定处理的与该像素的颜色成分对应的处理，并且
针对所述测试数据的所述2个以上样本，选择作为所述预定处理的相同处理。
5.根据权利要求1至3中任一项所述的信号处理装置，其还包括：
测试数据生成单元，其生成所述测试数据。
6.根据权利要求1至3中任一项所述的信号处理装置，其还包括：
输出单元，其输出已经被执行了所述预定处理的所述有效数据和所述测试数据。
7.根据权利要求1至3中任一项所述的信号处理装置，其中，
所述有效数据是图像数据。
8.信号处理方法，其包括下列步骤：
将用于故障检测的测试数据附加至要被执行预定处理的有效数据，在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及
分别对所述有效数据和已经被附加至所述有效数据的所述测试数据执行所述预定处理，所述预定处理以多个路径执行。
9.计算机可读记录介质，其上存储有致使计算机执行处理的程序，
所述处理包括下列步骤：
将用于故障检测的测试数据附加至要被执行预定处理的有效数据，在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及
分别对所述有效数据和已经被附加至所述有效数据的所述测试数据执行所述预定处理，所述预定处理以多个路径执行。
10.信号处理装置，其包括：
接收单元，其接收输出数据，所述输出数据包括有效数据和用于故障检测的测试数据，所述测试数据被附加至所述有效数据，并且在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及
比较单元，其比较所述测试数据的所述2个以上样本的样本值。
11.根据权利要求10所述的信号处理装置，其中，
所述接收单元接收如下的所述输出数据：在该输出数据中，所述有效数据和所述测试数据各自在外部信号处理模块中以多个路径被并列处理。
12.根据权利要求10所述的信号处理装置，其还包括：
信号处理单元，其对由所述接收单元接收的所述输出数据的所述有效数据和所述测试数据执行预定处理，
其中，所述比较单元比较已经被所述信号处理单元执行了所述预定处理的所述测试数据的所述2个以上样本的样本值。
13.根据权利要求10至12中任一项所述的信号处理装置，其中，
所述有效数据是图像数据。
14.信号处理方法，其包括下列步骤：
接收输出数据，所述输出数据包括有效数据和用于故障检测的测试数据，所述测试数据被附加至所述有效数据，在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及
比较所述测试数据的所述2个以上样本的样本值。
15.计算机可读记录介质，其上存储有致使计算机执行处理的程序，
所述处理包括下列步骤：
接收输出数据，所述输出数据包括有效数据和用于故障检测的测试数据，所述测试数据被附加至所述有效数据，在所述测试数据中，在不同的路径中被并列处理的2个以上样本具有相同的样本值；以及
比较所述测试数据的所述2个以上样本的样本值。
CN201880038331.0A 2017-06-16 2018-06-01 信号处理装置、信号处理方法及介质 Active CN110800291B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017118493A JP2019004361A (ja) 2017-06-16 2017-06-16 信号処理装置および方法、並びにプログラム
JP2017-118493 2017-06-16
PCT/JP2018/021142 WO2018230365A1 (ja) 2017-06-16 2018-06-01 信号処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN110800291A CN110800291A (zh) 2020-02-14
CN110800291B true CN110800291B (zh) 2021-12-14

Family

ID=64659192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880038331.0A Active CN110800291B (zh) 2017-06-16 2018-06-01 信号处理装置、信号处理方法及介质

Country Status (4)

Country Link
US (2) US11477407B2 (zh)
JP (1) JP2019004361A (zh)
CN (1) CN110800291B (zh)
WO (1) WO2018230365A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021027543A (ja) * 2019-08-08 2021-02-22 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、および撮像装置
JPWO2022244508A1 (zh) * 2021-05-19 2022-11-24

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1461550A (zh) * 2001-02-27 2003-12-10 松下电器产业株式会社 数字无线通信系统
CN101119490A (zh) * 2006-08-02 2008-02-06 索尼株式会社 图像信号处理装置和图像信号处理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1155551A (ja) * 1997-08-06 1999-02-26 Sanyo Electric Co Ltd ディジタルカメラ
US20030138055A1 (en) * 2001-02-27 2003-07-24 Yoshiko Saito Decoder and decoding method
JP5507813B2 (ja) * 2007-02-16 2014-05-28 パナソニック株式会社 送信装置及び受信装置
JP2010171490A (ja) * 2009-01-20 2010-08-05 Renesas Electronics Corp 演算増幅器、半導体装置、及び表示装置
US8953047B2 (en) * 2012-05-02 2015-02-10 Aptina Imaging Corporation Imaging systems with signal chain verification circuitry
EP2960666B1 (en) 2014-06-25 2017-01-25 Nxp B.V. Sensor system with a three half-bridge configuration
JP2017092757A (ja) * 2015-11-12 2017-05-25 株式会社リコー 画像処理装置、及び画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1461550A (zh) * 2001-02-27 2003-12-10 松下电器产业株式会社 数字无线通信系统
CN101119490A (zh) * 2006-08-02 2008-02-06 索尼株式会社 图像信号处理装置和图像信号处理方法

Also Published As

Publication number Publication date
US20210297616A1 (en) 2021-09-23
CN110800291A (zh) 2020-02-14
US11477407B2 (en) 2022-10-18
US20230020003A1 (en) 2023-01-19
US11696052B2 (en) 2023-07-04
JP2019004361A (ja) 2019-01-10
WO2018230365A1 (ja) 2018-12-20

Similar Documents

Publication Publication Date Title
US11696052B2 (en) Signal processing device and method, and program
US8384805B2 (en) Image processing device, method, and computer-readable medium for executing pixel value correction in a synthesized image
US8890942B2 (en) Camera module, image processing apparatus, and image processing method
US10015429B2 (en) Method and system for reducing noise in an image sensor using a parallel multi-ramps merged comparator analog-to-digital converter
EP2161919B1 (en) Read out method for a CMOS imager with reduced dark current
US10567747B2 (en) Imaging device, imaging system, and mobile apparatus
CN103945145A (zh) 处理图像的设备和方法
US20080055430A1 (en) Method, apparatus, and system providing polynomial based correction of pixel array output
KR20170094243A (ko) 하이 다이내믹 범위 이미지의 생성 방법, 촬영 장치와 단말기, 이미징 방법
KR20130116008A (ko) 수광 장치, 수광 방법 및 전송 시스템
US10225468B2 (en) Imaging systems and methods with image data path delay measurement
US20170195590A1 (en) Method and system for reducing noise in an image sensor using a parallel multi-ramps merged comparator analog-to-digital converter
CN102870404A (zh) 摄像设备及其暗电流校正方法
US11172149B2 (en) Image sensing system using average pixel data and operating method thereof
CN204906538U (zh) 生成噪声校正的像素值的电子设备、减小噪声信号的电子设备和成像系统
CN107211098B (zh) 对场景进行成像的方法的装置
CN114549383A (zh) 一种基于深度学习的图像增强方法、装置、设备及介质
CN101336551A (zh) 用于白平衡的灰度值识别的方法和设备
US20200389596A1 (en) Image sensor and image processing system including thereof
JP2009253315A (ja) 固体撮像装置、スミア補正方法、撮像機器
CN109344836B (zh) 一种文字识别方法和设备
US20090196498A1 (en) System and method for reducing color artifacts in digital images
US8213739B2 (en) Method and system of performing detection on an imaging device
US9712774B1 (en) Method and system for implementing dynamic ground sharing in an image sensor with pipeline architecture
US11218661B2 (en) Signal processing apparatus, photoelectric conversion apparatus, imaging apparatus, and moving body

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant