CN107079120A - 在数字成像系统中的故障检测和检测故障的方法 - Google Patents
在数字成像系统中的故障检测和检测故障的方法 Download PDFInfo
- Publication number
- CN107079120A CN107079120A CN201580057266.2A CN201580057266A CN107079120A CN 107079120 A CN107079120 A CN 107079120A CN 201580057266 A CN201580057266 A CN 201580057266A CN 107079120 A CN107079120 A CN 107079120A
- Authority
- CN
- China
- Prior art keywords
- view data
- data
- instruction
- camera
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 title description 3
- 238000004458 analytical method Methods 0.000 claims abstract description 60
- 230000004044 response Effects 0.000 claims abstract description 19
- 230000008859 change Effects 0.000 claims description 21
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000012360 testing method Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 7
- 230000002950 deficient Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 238000004020 luminiscence type Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Studio Devices (AREA)
Abstract
在描述的示例中，分析数字相机的方法包括使用相机中的图像传感器生成(302)第一图像数据。在第一图像数据的至少一部分上执行(304)第一分析。使用图像传感器生成(306)第二图像数据，并且在第二图像数据的至少一部分上执行(308)第二分析。将第一分析的结果与第二分析的结果进行比较(310)。响应于第一分析不同于第二分析达预定量，生成(312)指示数字相机的故障的信号。
Description
背景技术
诸如数字相机的数字成像系统被用于诸如汽车应用和安全应用的许多关键情况。例如，随着数字成像的改善，在自动驾驶员辅助系统(ADAS)中正在进行改进，其中通过使用数字相机辅助驾驶员。在汽车应用或其它关键应用中使用的数字相机的故障可能产生严重的不利影响。例如，在汽车应用中，驾驶员所依赖的数字相机的故障可能导致车辆碰撞。
数字相机的完全故障或部分故障可以是瞬时的或在长时间段内是渐进的。例如，对数字相机的物理影响可能损坏相机中的镜头或其它部件，这导致数字相机的瞬间故障。该故障可能是数字相机无法操作的完全故障，或者它可能是其中由数字相机捕获的图像被劣化的部分故障或劣化。在长时间段内，数字相机中的像素和其它部件的特性可能改变，这缓慢地改变数字相机的操作，并且最终可能导致完全的故障。
发明内容
在描述的示例中，分析数字相机的方法包括使用相机中的图像传感器生成第一图像数据。在第一图像数据的至少一部分上执行第一分析。使用图像传感器生成第二图像数据，并且在第二图像数据的至少一部分上执行第二分析。将第一分析的结果与第二分析的结果进行比较。响应于第一分析不同于第二分析达预定量而生成指示数字相机的故障的信号。
附图说明
图1是数字相机和诊断系统的实施例的框图。
图2是数字相机和诊断系统的另一个实施例的框图。
图3是示出数字相机和诊断系统的操作的实施例的流程图。
具体实施方式
图1示出包括数字相机102和图像系统诊断器(diagnostic)104的示例成像系统100的框图。诊断器104可以是硬件、软件或其组合，其分析由相机102生成的图像数据以确定相机是否发生故障、劣化或面临即将发生的故障。在一些实施例中，诊断器104还控制相机102的某些功能并分析所得到的图像数据。在图1的示例中，诊断器104被示出为与相机102分离，但是在其它示例中相机102和诊断器104是一体的。在图1的示例中，相机102是数字视频相机，但是在其它示例中，相机102是数字静态相机。
相机102包括相机部件，(在这些示例中)所述相机部件包括图像传感器108、光圈(iris)110和光源112。图像传感器108、光圈110和光源112由处理器120控制。数字相机通常包括若干其它部件，所述其它部件在这里未被示出并且可以被包括在相机102的其它实施例中。图像传感器108是将光转换为电信号的常规图像传感器。图像传感器108的实施例包括互补金属氧化物半导体(CMOS)器件和电荷耦合器件(CCD)。图像传感器108具有像素(图1中未示出)，每个像素将入射到图像传感器108的图像的小部分转换为图像数据。在一些实施例中，图像数据包括入射在像素上的光的颜色和光的强度。由图像传感器108生成的图像数据有时被称为原始图像数据。原始图像数据由处理器120处理以产生经处理的图像数据或数字图像。
光圈110位于图像传感器108附近并控制入射在图像传感器108上的光的量或强度。在低光条件下，光圈110打开以允许更多的光入射到图像传感器108上。在高光条件下，光圈110减少入射到图像传感器108上的光的量。如果太多的光入射到图像传感器108上，则图像传感器108上的像素变得饱和并且所得的数字图像被劣化。如果像素具有入射到其上的足够的光以变得饱和，则它们输出表示其动态范围的最大值的数据。类似地，如果入射在图像传感器108上的光太暗，则像素将不能够生成精确的图像数据，因为它们正在其动态范围的低端生成图像数据。这两种情况都产生不正确的数字图像。动态范围是可以由图像传感器108检测并且可以通过光圈110并且通过调节图像传感器108的增益和/或曝光时间而改变的光的范围。
光源112有时被称为预热塞(glow plug)，并且用作参考光源。在一些实施例中，光源112具有预定的发光(luminescence)和/或色温。因此，当光源112被图像传感器108成像时，如果图像传感器108正确地工作，则图像传感器108应生成表示光源108的特定图像数据。例如，如果图像传感器108和与图像传感器108和相机102相关联的其它部件正确地工作，则由图像数据表示的强度和/或颜色应该匹配预定或存储的图像数据。
处理器120控制相机102，并且分析和/或处理由图像传感器108生成的原始图像数据。此外，处理器120接收由图像传感器108生成的原始图像数据并分析图像数据以确定用于图像传感器108和相机102中的其它装置(包括光圈110)的设置。例如，处理器120可以确定用于图像传感器108的增益和曝光时间的设置。处理器120还将图像数据处理为用于显示以生成数字图像的形式。处理器120可以将图像数据输出到诊断器104。在一些实施例中，处理器120根据从诊断器104接收的指令输出命令和数据。例如，诊断器104将某些指令发送到处理器120，该处理器120设置相机102中的参数。诊断器104然后分析所得的图像数据。
处理器120包括几个模块(下文所述)，其可以是软件、固件、硬件和软件的组合或其它介质。在一些实施例中，模块是单个模块，但是为了便于它们的描述，在此它们被分开。图像数据分析器122分析由图像传感器108生成的图像数据。图像数据分析器122可以确定图像或图像的一部分的发光和颜色，以及与数字成像相关联的其它变量。光圈控制器(control)124控制光圈110。在分析图像数据期间，处理器120可能需要更多或更少的光，因此光圈控制器124使光圈110增加或减少入射在图像传感器108上的光。光源控制器126控制光源112。在一些实施例中，光源112被照亮以用于图像传感器108对已知光源成像或生成表示已知光源的图像数据。在一些实施例中，光源控制器126控制光源112的强度、色温和其它参数。在其它实施例中，光源112由诊断器104控制。
图像传感器控制器128控制图像传感器108。在一些实施例中，图像传感器控制器128控制曝光(有时称为积分时间)、增益以及与图像传感器108生成图像数据相关联的其它参数。例如，如果需要更亮的图像，则图像传感器控制器128可以增加曝光时间，这增加了在图像数据生成期间光入射到图像传感器108上的持续时间。图像传感器控制器128还可以增加增益，这增加了由像素生成的图像数据的值。
数据线130将图像数据从图像传感器108发送到处理器120。在一些实施例中，关于图像传感器108的操作的指令通过数据线130从处理器120传输到图像传感器108。控制线132将指令从处理器120传送到图像传感器108、光圈110和光源112。更具体地，控制线134将指令传输到图像传感器108，控制线136将指令传输到光源112，并且控制线138将指令传输到光圈110。在一些实施例中，控制线132将诸如不同操作特性的数据传输回处理器120。在一些实施例中，相机102的用户或制造商确定在处理器120和相机102之间传输的数据和/或指令。这些指令有时被称为用户定义的指令或制造商定义的指令。
诊断器104监视图像数据、相机102中的部件以及相机102中的其它参数，以确定相机102是否适当地操作。伴随相机102的诊断器104的功能基于允许对处理器120的(多个)输出的恒定跟踪的闭环功能。图像数据也被跟踪以确定指令(诸如增益和曝光)是否按照图像数据的分析被正确地设置。如果在需要校正的图像数据和发送到相机102的指令之间的反馈不正确，则相机102可能正在经历故障。闭环架构使多种形式的诊断可行，包括当相机102被上电时测试图像传感器的图像传感器108的上电诊断。也可以通过像素上的动态范围和老化伪影来测试问题。此外，运行时间检查可以被执行以验证图像传感器108中的图像采集是否在预定参数内工作。
在图1的示例中，诊断器104被描述为与相机102分离，但是在其它示例中，诊断器104被并入处理器120或相机102的其它部分。数据线140将诊断器104耦接到控制线132。在一些实施例中，数据线140监视在控制线132上传输的数据和/或指令。数据线140可以将诸如控制信号的数据输出到图像传感器108、光圈110和光源112。数据线142监视和/或传输在数据线134和诊断器104之间的数据。数据线144监视和/或传输数据在数据线136和诊断器104之间的数据。数据线146监视和/或传输在数据线138和诊断器104之间的数据和/或指令。
数据线150传输在处理器120和诊断器104之间的数据和/或指令。例如，诊断器104可以监视由图像传感器108生成的图像数据，该图像数据通过数据线150被传输到诊断器104。诊断器104还可以通过数据线150将指令传输到处理器120。例如，诊断器104可以命令(instruct)处理器120向图像传感器108发送特定指令以在相机102上执行某些诊断。上述数据线和控制线是图像系统100中的通信的示例。在其它实施例中可以使用其它数据和控制线配置，其中的一些在下文中描述。
在图1的实施例中，诊断器104监视在数据线132上传输的数据和/或指令，以确定相机102是否正常运行。在一些实施例中，诊断器104比较在不同时间处生成的图像数据，以确定相机102是否已经随着时间而劣化或已经遭受故障。诊断器104还可以通过在数据线132上传输指令来操作图像传感器108、光圈110和光源112。例如，诊断器104可以命令处理器120停止发送指令。然后，诊断器104可以通过数据线142、144、146将指令发送到图像传感器108、光圈110和/或光源112，并且诊断器104监视响应于该指令而生成的图像数据。通过监视所得的图像数据，诊断器104可以确定相机102是否正常操作。
当成像系统100正在操作时，处理器120接收信号以生成图像数据。在一些实施例中，成像系统100被附于车辆上，并且车辆内的电子装置命令处理器120生成图像数据。处理器120将指令发送到图像传感器108以生成图像数据并将原始图像数据传输回处理器120。在一些实施例中，耦接到处理器120的传感器(诸如光传感器)监视环境条件并提供关于相机102的环境的信息。基于环境条件，处理器120(通过图像传感器控制器128和光圈控制器124)将指令发送到图像传感器108和光圈110以基于环境条件运行。在低光条件下，图像传感器控制器128可以命令图像传感器108上的增益和/或曝光时间增加并使光圈110扩大。类似地，在高光条件下，图像传感器控制器可以命令图像传感器108上的增益和/或曝光时间减小并且光圈110被限制。
随着时间，相机102通常将改变或劣化，导致改变或劣化的图像数据和图像。例如，透镜(未示出)可能变得凹陷或经受其光学特性中的其它变化。此外，对于透镜，图像传感器108的增益或动态范围可以随着时间而改变。随着时间，在图像传感器108内，不考虑入射到像素上的光，故障像素可能生成表示暗点或亮点(诸如饱和的像素)的图像数据。
诊断器104对相机102执行许多不同的分析。分析涉及生成和分析第一图像数据，并且随后生成和分析第二图像数据，以确定相机102是否已经劣化以及劣化的程度。如果劣化大于预定量，则可能生成警报信号，指示相机102需要被修理或更换。在一些实施例中，诊断器104可以改变图像数据的处理参数以抵消劣化相机102的影响。当相机102正在为用户生成图像数据和/或当相机102不是正在为用户生成图像数据时，诊断器104执行分析。一些分析被执行得足够快以避免干扰由图像数据生成的图像，因此可以在正常的相机操作期间执行分析。
在一些实施例中，帧是由图像传感器108中的所有像素生成的图像数据，并且诊断器104分析来自多个帧或帧的部分的图像数据。在此类实施例中，诊断器104可以分析帧的图像数据或部分的图像数据，以确定相机102是否劣化或故障。分析可以包括对图像数据求平均以确定图像数据的平均值是否随着时间而劣化或改变超过预定量。在该分析中，第一图像数据被求平均。第一图像数据可以是帧、多个帧或其部分的图像数据。通过使用来自多个帧的图像数据，偶尔的伪影(artifact)或一次性异常具有较小的影响，即使它们将另外导致单个帧中的错误。帧、多个帧或其部分的第二图像数据被求平均。将第二图像数据的平均值与第一图像数据的平均值进行比较以确定劣化或故障是否发生。来自多个帧的图像数据可以被分析以确定变化率或劣化率是否在指定水平内并估计用于替换或修复相机的未来时间。在类似的条件下，第一图像数据的平均值应该在第二图像数据的预定值内。而且，视频相机中的第一图像数据和第二图像数据之间的平均值应该改变，除非相机发生故障，诸如在不能生成新图像数据的锁定情况下。
在一些分析中，诊断器104基于相机102的预定条件来分析和存储图像数据。例如，在某些时间(诸如制造之后不久或另一时间)处，生成第一图像数据。然后将第一图像数据与稍后日期或时间捕获的第二图像数据进行比较。在一些实施例中，第一图像数据和第二图像数据在光圈110完全关闭的情况下被捕获，使得由图像传感器108生成的图像数据应该代表暗图像。诊断器104或处理器120可以向光圈110发送指令，使其关闭。通常，一些像素生成指示光入射到图像传感器108的图像数据。如果此类像素的数量快速增加或达到预定数量，则诊断器104可以促使生成警报信号，指示相机102发生故障。该测试可以在相机102的上电序列期间或者在相机102的正常操作中的短暂暂停期间执行。
在其它分析中，当图像传感器108生成第一图像数据时，光圈110关闭，并且光源112被照亮。因此，图像传感器108生成表示具有已知发光、色调和/或其它参数的已知光源的图像的图像数据。第二图像数据在光源112被照亮并且光圈110关闭的情况下生成。比较第一图像数据和第二图像数据，以确定相机102是否在生成第一图像数据的时间与生成第二图像数据的时间之间已经劣化。如果第一图像数据和第二图像数据之间的差异大于预定量，则生成警报信号，指示相机102可能发生故障。当相机102上电或在相机102的操作中的短暂暂停期间时，可以执行该分析。
当像素检测到使该像素输出可能的图像数据的最大值的光的强度时，饱和发生。在当像素有缺陷的一些情况下，饱和也发生。不管入射到缺陷像素上的光的量，缺陷像素总是输出最大的数字数。在一个分析中，诊断器104分析由图像传感器108捕获的帧并计算帧中的饱和像素和不饱和像素的平均数量。在相机102的操作期间，饱和像素的平均数量应当保持恒定。更具体地，饱和像素应该是由于缺陷像素而不是由于入射到图像传感器108上的过多的光引起的。如果非常大量的像素处于饱和状态，则图像传感器108的增益或曝光时间可能太高并且可以被降低，诸如通过从诊断器104传输到处理器120的指令。如果处于饱和的像素的数量下降，则像素不是有缺陷的。如果增益和/或曝光时间被降低并且处于饱和的像素的数量保持为高，则图像传感器108可能是有缺陷或劣化的，并且诊断器104可以生成警报信号。如果高数量的像素处于饱和，并且如果诊断器104没有检测到处理器120通过减少曝光时间或增益来校正问题，则诊断器104可以确定处理器120发生故障。在一些实施例中，诊断器104命令处理器120忽略由缺陷像素生成的图像数据和/或生成指示相机102有缺陷或劣化的信号。
在一些实施例中，诊断器104监视向图像传感器108发送指令的控制线134，以确定处理器120是否如上所述地正在控制增益和/或曝光时间。在相机102包括光圈110的实施例中，诊断器还可以监视控制线138以确定处理器120是否正在传输指令以控制入射在图像传感器108上的光的量。如果处理器不是正在传输用于降低第一图像数据和第二图像数据之间的光的指令，则诊断器104可以：确定处理器120发生故障；并生成信号。如果处理器120正在通过控制线132传输正确的控制信号，但是饱和像素的平均数量保持为高，或者如果图像数据指示非常明亮的图像，则诊断器104生成警报，因为图像传感器108和/或光圈110可能发生故障。相同的分析可以应用于输出其最低值或接近其最低值的数字数的像素。这些分析可以在相机102的正常操作期间执行。
相机102的一些分析包括计算从一帧到另一帧的像素值的全局平均值。在一些实施例中，帧中的像素的部分被求平均，而不是所有像素被求平均。然后，将第一图像数据的平均值与第二图像数据的平均值进行比较。表示帧的图像数据在任何时间被生成并且可以在相机102在使用中被分析。全局平均值提供总体发光和/或其它成像特性的整体状态。当图像传感器108中的曝光和增益增加时，总体发光增加，并且反之亦然。在一些分析中，诊断器104在保持增益恒定的同时使曝光斜坡上升和斜坡下降，并检查图像数据是否遵循配置到图像传感器108中的内容。如果第一图像数据和第二图像数据不正确或未适当地被改变，可能生成警报。这些测试可以在相机运行时或启动序列期间执行。
除了指示缺陷相机102的全黑或全饱和，视频图像的图像数据将永远不是恒定的。通过基于平均值使用上述分析，从第一图像数据到第二图像数据的平均像素值将改变。从第一图像数据到第二图像数据的所有像素值的全局平均值也将改变。基于上述内容，诊断器104可以测量第一图像数据中的平均值并将其与第二图像数据中的平均值进行比较。如果没有变化发生，则诊断器104可以生成警报信号。这些分析还可以测量具有大于或低于预定值的值的像素的数量，或者分析可以使用第一图像数据和第二图像数据之间的其它统计分析。
诊断器104可以执行上述分析的不同实施例。在一些实施例中，在低光条件下，其中最大曝光已被配置，诊断器104可以增加图像传感器108的增益或使增益将被增加，以人为地放大第一图像数据和第二图像数据之间的像素值。在非常低的光条件下，光源112可以被照亮以检查像素的动态范围。此外，在非常明亮的条件下，光圈110对检查图像传感器108的动态范围是有用的。如果结果不在指定值内，则警报信号可以被生成。
如图2所示，成像系统200的另一实施例类似于成像系统100，但是诊断器204与控制线232成一直线(in-line)被定位，以更直接地监视和改变传输到图像传感器208、光圈210和光源212的信号。该配置使诊断器204能够改变传输到图像传感器208、光圈210和光源212的值和指令，而无需向处理器220发送指令。在一些实施例中，诊断器204可以传递意图用于图像传感器208、光圈210和光源212的指令而无需改变它们，而只是监视指令。例如，诊断器204可以将数据和/或指令传递到处理器220或从处理器220传递数据和/或指令，以便测试处理器220是否在第一图像数据和第二图像数据之间传输正确的指令。在其它实施例中，诊断器204可以中断数据流以传输其自己的数据和/或指令，以便相应地验证在第一图像数据和第二图像数据之间的图像数据改变。
在图2的实施例中，诊断器204可以独立于处理器220操作图像传感器208、光圈210和光源212。例如，诊断器204可以终止来自处理器220的指令并且传输其自己的指令。然后，诊断器204可以监视从处理器220传输的指令以确定处理器是否响应于由诊断器204传输的指令来传输正确的指令。
两个成像系统100和200的操作由图3的流程图300描述。操作在步骤302处以使用图像传感器108、208生成第一图像数据而开始。在步骤304处，在第一图像数据的至少一部分上执行第一分析。在步骤306处，使用图像传感器生成第二图像数据。在步骤308处，在第二图像数据的至少一部分上执行第二分析。在步骤310中，基于如所示的第一分析和第二分析，该过程继续比较第一图像数据的至少一部分与第二图像数据的至少一部分。在步骤312处，响应于第一图像数据的至少一部分不同于第二图像数据的至少一部分达预定量而生成指示数字相机的故障的信号。
成像系统100、200的反馈回路可以执行上述分析，除此之外还执行下面描述的分析。如上所述，像素的动态范围被测试。在相机102、202中设置低光条件和已知光条件，其也用于测试像素和图像传感器108、208的增益。可以通过利用光源112、212照亮图像传感器108、208并生成第一图像数据和第二图像数据来测试颜色灵敏度。如果由光源表示的颜色在第一图像数据和第二图像数据之间改变大于预定量，则图像传感器108、208的颜色灵敏度可能降低。上述测试已与检测或计数缺陷或劣化的像素有关。在一些实施例中，缺陷或劣化的像素的簇被定位。如果检测到大簇或大量的簇，则诊断器104、204可以确定图像传感器108、208有缺陷或发生故障。
在描述的实施例中，修改是可能的，并且在权利要求的范围内，其它实施例是可能的。
Claims (20)
1.一种分析数字相机的方法，所述数字相机包括具有生成图像数据的像素的图像传感器，所述方法包括：
使用所述图像传感器生成第一图像数据；
在所述第一图像数据的至少一部分上执行第一分析；
使用所述图像传感器生成第二图像数据；
在所述第二图像数据的所述至少一部分上执行第二分析；
将所述第一分析的结果与所述第二分析的结果进行比较；以及
响应于所述第一分析不同于所述第二分析达预定量，生成指示所述数字相机的故障的信号。
2.根据权利要求1所述的方法，其中：
所述第一图像数据的所述至少一部分对应于入射到位于所述图像传感器上的至少一个像素的光的强度；
执行第一分析包括分析对应于所述至少一个像素上的所述光的强度的所述第一图像数据；
执行第二分析包括分析对应于所述至少一个像素上的所述光的强度的所述第二图像数据；以及
所述生成包括响应于所述第一分析的结果与所述第二分析的结果大体上相同而生成指示故障的信号。
3.根据权利要求1所述的方法，其中：
所述第一图像数据的所述至少一部分对应于入射到位于所述图像传感器上的至少一个像素的光的强度；
所述第二图像数据的所述至少一部分对应于入射到位于所述图像传感器上的所述至少一个像素的光的强度；
所述第一图像数据和所述第二图像数据具有最大值；
执行第一分析包括确定所述第一图像数据的所述至少一部分是否大体上是所述最大值；
执行第二分析包括确定所述第二图像数据的所述至少一部分是否大体上是所述最大值；以及
所述生成包括响应于所述第一图像数据的所述至少一部分大体上处于所述最大值并且所述第二图像数据的所述至少一部分大体上处于所述最大值而生成指示故障的信号。
4.根据权利要求1所述的方法，其中：
所述第一图像数据的所述至少一部分对应于入射到位于所述图像传感器上的至少一个像素的光的强度；
所述第二图像数据的所述至少一部分对应于入射到位于所述图像传感器上的所述至少一个像素的光的强度；
所述第一图像数据和所述第二图像数据具有最小值；
执行第一分析包括确定所述第一图像数据的所述至少一部分是否大体上是所述最小值；
执行第二分析包括确定所述第二图像数据的所述至少一部分是否大体上是所述最小值；以及
所述生成包括响应于所述第一图像数据的所述至少一部分大体上处于所述最小值并且所述第二图像数据的所述至少一部分大体上处于所述最小值而生成指示故障的信号。
5.根据权利要求1所述的方法，其中：所述相机进一步包括光源；由所述光源发出的光入射到所述图像传感器；生成所述第一图像数据包括利用照亮的所述光源生成所述第一图像数据；并且生成所述第二图像数据包括利用照亮的所述光源生成所述第二图像数据。
6.根据权利要求5所述的方法，其中所述第一图像数据和所述第二图像数据表示所述光源的颜色。
7.根据权利要求5所述的方法，其中所述相机进一步包括用于控制入射在所述图像传感器上的外部光的量的光圈，并且其中生成所述第一图像数据和所述第二图像数据进一步包括关闭所述光圈。
8.根据权利要求1所述的方法，其中所述相机进一步包括用于控制入射在所述图像传感器上的外部光的量的光圈，并且其中生成所述第一图像数据和所述第二图像数据进一步包括关闭所述光圈。
9.根据权利要求1所述的方法，其中：
执行第一分析包括从所述第一图像数据计算平均像素值；
执行第二分析包括从所述第二图像数据计算平均像素值；以及
生成指示故障的信号包括响应于来自所述第一图像数据的所述平均像素值在来自所述第二图像数据的所述平均像素值的预定量内而生成指示所述数字相机的故障的信号。
10.根据权利要求1所述的方法，其中：
执行第一分析包括从所述第一图像数据计算平均像素值；
执行第二分析包括从所述第二图像数据计算平均像素值；以及
生成指示故障的信号包括响应于来自所述第一图像数据的所述平均像素值与来自所述第二图像数据的所述平均像素值的差异大于预定量而生成指示所述数字相机的故障的信号。
11.根据权利要求1所述的方法，其中：
执行第一分析包括计算所述图像传感器的第一动态范围；
执行第二分析包括计算所述图像传感器的第二动态范围；以及
生成指示故障的信号包括响应于所述第一动态范围与所述第二动态范围之间的差异大于预定量而生成指示所述数字相机的故障的信号。
12.根据权利要求1所述的方法，进一步包括：
监视传输到所述图像传感器的控制数据；以及
响应于传输到所述图像传感器的数据不对应于校正在由所述第一图像数据表示的图像与由所述第二图像数据表示的图像之间的至少一个错误的数据而生成指示所述数字相机的故障的信号。
13.根据权利要求1所述的方法，其中所述第一图像数据大体上靠近所述相机的制造时间被生成。
14.一种分析数字相机的方法，所述相机包括传输指令的处理器，所述方法包括：
监视传输到所述相机的至少一部分的第一指令；
响应于所述第一指令生成第一图像数据；
监视传输到所述相机的所述至少一部分的第二指令；
响应于所述第二指令生成第二图像数据；
在所述第一图像数据的所述至少一部分上执行第一分析；
在所述第二图像数据的所述至少一部分上执行第二分析；以及
响应于所述第一分析和所述第二分析指示与所述第一指令和所述第二指令中的变化不相关的变化而生成指示所述数字相机的故障的信号。
15.根据权利要求14所述的方法，其中所述相机包括图像传感器，并且其中所述第一指令和所述第二指令是所述图像传感器的增益。
16.根据权利要求14所述的方法，其中所述相机包括图像传感器，并且其中所述第一指令和所述第二指令是所述图像传感器的曝光时间。
17.根据权利要求14所述的方法，其中所述相机包括光圈，并且其中所述第一指令和所述第二指令是所述光圈的设置。
18.一种分析数字相机的方法，所述方法包括：
将第一指令传输到所述相机的至少一部分；
响应于所述第一指令生成第一图像数据；
将第二指令传输到所述相机的至少一部分；
响应于所述第二指令生成第二图像数据；
在所述第一图像数据的至少一部分上执行第一分析；
在所述第二图像数据的至少一部分执行第二分析；以及
响应于所述第一分析和所述第二分析指示与所述第一指令和所述第二指令中的变化不相关的变化而生成指示所述数字相机的故障的信号。
19.根据权利要求18所述的方法，其中所述相机包括图像传感器，并且其中所述第一指令和所述第二指令是所述图像传感器的曝光时间。
20.根据权利要求18所述的方法，其中所述相机包括光圈，并且其中所述第一指令和所述第二指令调节所述光圈。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/521,751 US9525865B2 (en) | 2014-10-23 | 2014-10-23 | Fault detection and method of detecting faults in digital imaging systems |
| US14/521,751 | 2014-10-23 | ||
| PCT/US2015/057254 WO2016065346A1 (en) | 2014-10-23 | 2015-10-23 | Fault detection and method of detecting faults in digital imaging systems |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107079120A true CN107079120A (zh) | 2017-08-18 |
| CN107079120B CN107079120B (zh) | 2021-03-12 |
Family
ID=55761677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580057266.2A Active CN107079120B (zh) | 2014-10-23 | 2015-10-23 | 在数字成像系统中的故障检测和检测故障的方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9525865B2 (zh) |
| EP (1) | EP3238438A4 (zh) |
| CN (1) | CN107079120B (zh) |
| WO (1) | WO2016065346A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109151452A (zh) * | 2017-06-15 | 2019-01-04 | 瑞萨电子株式会社 | 异常检测装置和车辆系统 |
| CN110708537A (zh) * | 2019-09-30 | 2020-01-17 | 芯盟科技有限公司 | 图像传感器性能测试方法及装置、存储介质 |
| CN112041126A (zh) * | 2018-03-29 | 2020-12-04 | 捷普有限公司 | 用于自主机器人导航的感测认证装置、系统和方法 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015069566A1 (en) * | 2013-11-05 | 2015-05-14 | Arizona Board Of Regents For And On Behalf Of Arizona State University | Adaptive detection sensor array and method of providing and using the same |
| JPWO2015107928A1 (ja) * | 2014-01-17 | 2017-03-23 | ソニー株式会社 | 撮影システム、警告発生装置および方法、撮像装置および方法、並びにプログラム |
| KR20160144314A (ko) * | 2015-06-08 | 2016-12-16 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 촬상 장치 및 그 동작 방법, 및 전자 기기 |
| US10440299B2 (en) * | 2015-09-04 | 2019-10-08 | Apple Inc. | Correcting pixel defects based on defect history in an image processing pipeline |
| JP6758929B2 (ja) * | 2016-06-03 | 2020-09-23 | 株式会社ニューフレアテクノロジー | 検査方法 |
| KR102617992B1 (ko) * | 2016-12-27 | 2023-12-26 | 한화비전 주식회사 | 예측 진단 장치 및 감시 시스템 |
| CN108871316B (zh) * | 2017-05-10 | 2021-12-24 | 中国航空工业集团公司西安飞行自动控制研究所 | 一种机载星敏感器机内自检测装置 |
| JP6927078B2 (ja) * | 2018-02-23 | 2021-08-25 | オムロン株式会社 | センサシステム、情報処理装置、センサ管理方法 |
| CN108810527B (zh) * | 2018-06-13 | 2019-12-13 | 北京旷视科技有限公司 | 散射器异常检测方法、装置及电子设备 |
| CN108933903B (zh) * | 2018-08-14 | 2020-10-27 | 奇酷互联网络科技（深圳）有限公司 | 摄像头故障的处理方法、智能终端及具有存储功能的装置 |
| WO2020071091A1 (ja) * | 2018-10-04 | 2020-04-09 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
| DE102019121340A1 (de) * | 2019-08-07 | 2021-02-11 | Infineon Technologies Ag | Verfahren und vorrichtung zum bestimmen einer fehlfunktion und sensorsystem |
| GB2595485B (en) * | 2020-05-28 | 2024-06-12 | Siemens Ind Software Inc | Hardware-based sensor analysis |
| CN111627378B (zh) * | 2020-06-28 | 2021-05-04 | 苹果公司 | 具有用于亮度补偿的光学传感器的显示器 |
| US11968353B2 (en) * | 2021-04-05 | 2024-04-23 | Acumera, Inc. | Camera health determination based on local analysis of scene information content |
| US20230262327A1 (en) * | 2022-02-15 | 2023-08-17 | Marvell Asia Pte Ltd | Local generation of commands to a vehicle sensor |
| JP7220972B1 (ja) | 2022-12-01 | 2023-02-13 | セーフィー株式会社 | 情報処理システム、情報処理方法及びプログラム |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1356820A (zh) * | 2000-10-25 | 2002-07-03 | 金显殷 | 隐藏带测试模式的图像传感器中的缺陷像素的方法和设备 |
| DE102004001719A1 (de) * | 2004-01-13 | 2005-08-18 | Robert Bosch Gmbh | Szenenunabhängiger Test von Fahrerassistenzsystemen auf Bildstillstand |
| US20070104357A1 (en) * | 1993-06-17 | 2007-05-10 | Kla-Tencor Corporation | Method for Characterizing Defects on Semiconductor Wafers |
| US20070222871A1 (en) * | 2006-03-24 | 2007-09-27 | Ati Technologies Inc. | Method and apparatus for processing bad pixels |
| EP2003615A1 (de) * | 2007-06-12 | 2008-12-17 | Siemens Building Technologies Fire & Security Products GmbH & Co. oHG | Verfahren und Einrichtung zur automatischen Beurteilung der Bildqualität von Videobildern |
| CN101420593A (zh) * | 2007-10-26 | 2009-04-29 | 罗军 | 图像比对法检测云台摄像机工作状态的方法 |
| CN103369347A (zh) * | 2012-03-05 | 2013-10-23 | 苹果公司 | 相机瑕疵缺陷检测 |
| CN103986889A (zh) * | 2013-02-08 | 2014-08-13 | 豪威科技股份有限公司 | 用于传感器故障检测的系统及方法 |
| WO2014148161A1 (ja) * | 2013-03-22 | 2014-09-25 | 株式会社デンソー | 故障検出装置 |
| CN102348128B (zh) * | 2010-07-30 | 2015-04-15 | 日立产业控制解决方案有限公司 | 具有摄像机异常检测装置的监视用摄像机系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE221232T1 (de) * | 1997-09-15 | 2002-08-15 | Rms Kleine Gmbh Vertrieb Elekt | Verfahren und vorrichtung zur optischen überwachung eines raumbereichs |
| WO2007036055A1 (en) * | 2005-09-30 | 2007-04-05 | Simon Fraser University | Methods and apparatus for detecting defects in imaging arrays by image analysis |
| US7684634B2 (en) * | 2006-08-29 | 2010-03-23 | Raytheon Company | System and method for adaptive non-uniformity compensation for a focal plane array |
| US8189887B2 (en) | 2006-10-02 | 2012-05-29 | Johnson & Johnson Consumer Companies, Inc. | Imaging standard apparatus and method |
| US8000520B2 (en) | 2007-11-28 | 2011-08-16 | Omnivision Technologies, Inc. | Apparatus and method for testing image sensor wafers to identify pixel defects |
| US8519348B2 (en) * | 2009-09-08 | 2013-08-27 | Carestream Health, Inc. | Image quality monitor for digital radiography system |
| GB2521408B (en) * | 2013-12-18 | 2015-12-16 | Imagination Tech Ltd | Defective pixel fixing |
-
2014
- 2014-10-23 US US14/521,751 patent/US9525865B2/en active Active
-
2015
- 2015-10-23 EP EP15853217.6A patent/EP3238438A4/en not_active Withdrawn
- 2015-10-23 CN CN201580057266.2A patent/CN107079120B/zh active Active
- 2015-10-23 WO PCT/US2015/057254 patent/WO2016065346A1/en active Application Filing
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070104357A1 (en) * | 1993-06-17 | 2007-05-10 | Kla-Tencor Corporation | Method for Characterizing Defects on Semiconductor Wafers |
| CN1356820A (zh) * | 2000-10-25 | 2002-07-03 | 金显殷 | 隐藏带测试模式的图像传感器中的缺陷像素的方法和设备 |
| CN1617563A (zh) * | 2000-10-25 | 2005-05-18 | 金显殷 | 隐藏带测试模式的图像传感器中的缺陷像素的方法 |
| DE102004001719A1 (de) * | 2004-01-13 | 2005-08-18 | Robert Bosch Gmbh | Szenenunabhängiger Test von Fahrerassistenzsystemen auf Bildstillstand |
| US20070222871A1 (en) * | 2006-03-24 | 2007-09-27 | Ati Technologies Inc. | Method and apparatus for processing bad pixels |
| EP2003615A1 (de) * | 2007-06-12 | 2008-12-17 | Siemens Building Technologies Fire & Security Products GmbH & Co. oHG | Verfahren und Einrichtung zur automatischen Beurteilung der Bildqualität von Videobildern |
| CN101420593A (zh) * | 2007-10-26 | 2009-04-29 | 罗军 | 图像比对法检测云台摄像机工作状态的方法 |
| CN102348128B (zh) * | 2010-07-30 | 2015-04-15 | 日立产业控制解决方案有限公司 | 具有摄像机异常检测装置的监视用摄像机系统 |
| CN103369347A (zh) * | 2012-03-05 | 2013-10-23 | 苹果公司 | 相机瑕疵缺陷检测 |
| CN103986889A (zh) * | 2013-02-08 | 2014-08-13 | 豪威科技股份有限公司 | 用于传感器故障检测的系统及方法 |
| WO2014148161A1 (ja) * | 2013-03-22 | 2014-09-25 | 株式会社デンソー | 故障検出装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109151452A (zh) * | 2017-06-15 | 2019-01-04 | 瑞萨电子株式会社 | 异常检测装置和车辆系统 |
| CN109151452B (zh) * | 2017-06-15 | 2021-10-29 | 瑞萨电子株式会社 | 异常检测装置和车辆系统 |
| CN112041126A (zh) * | 2018-03-29 | 2020-12-04 | 捷普有限公司 | 用于自主机器人导航的感测认证装置、系统和方法 |
| CN112041126B (zh) * | 2018-03-29 | 2023-06-13 | 捷普有限公司 | 用于自主机器人导航的感测认证装置、系统和方法 |
| CN110708537A (zh) * | 2019-09-30 | 2020-01-17 | 芯盟科技有限公司 | 图像传感器性能测试方法及装置、存储介质 |
| CN110708537B (zh) * | 2019-09-30 | 2021-05-28 | 芯盟科技有限公司 | 图像传感器性能测试方法及装置、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107079120B (zh) | 2021-03-12 |
| US9525865B2 (en) | 2016-12-20 |
| EP3238438A4 (en) | 2019-01-09 |
| WO2016065346A1 (en) | 2016-04-28 |
| US20160119617A1 (en) | 2016-04-28 |
| EP3238438A1 (en) | 2017-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107079120A (zh) | 在数字成像系统中的故障检测和检测故障的方法 | |
| US9769469B2 (en) | Failure detection apparatus and failure detection program | |
| US10234355B2 (en) | Leakage oil detection system | |
| JP4718253B2 (ja) | 監視カメラの画像異常検出装置 | |
| CN103026720B (zh) | 立体摄像机系统的光学自诊断 | |
| US9076037B2 (en) | Image processing apparatus and method | |
| CN111626094B (zh) | 一种车载娱乐系统的倒车自动化测试系统及方法 | |
| EP2670147A2 (en) | Abnormality diagnosis device and method, imager including the abnormality diagnosis device, mobile vehicle control system and mobile vehicle | |
| CN108881812B (zh) | 监控目标的方法、装置及设备 | |
| CN105611184A (zh) | 数码影像装置白平衡调试方法及调试系统 | |
| TW201928307A (zh) | 發光源檢測系統及其檢測方法 | |
| US20090160938A1 (en) | Image Processing Method and Image Capture Apparatus Applying The Same | |
| CN108197025A (zh) | 一种仪表压力测试系统及仪表压力测试方法 | |
| CN104228667A (zh) | 判断雾存在与否的方法及其装置 | |
| CN116007909A (zh) | 车灯测试方法及车灯测试系统 | |
| JP2020162116A (ja) | 色チャネルの欠陥画素情報を利用した画素センサー欠陥の分類及び補正の方法 | |
| JP2017203674A (ja) | 変化度合い導出装置、変化度合い導出方法及びプログラム | |
| US20050270499A1 (en) | Multiprojection system and method of acquiring correction data in a multiprojection system | |
| JP5973941B2 (ja) | カメラ装置および映像表示システムならびに正常性検出方法 | |
| KR20040092568A (ko) | 차량 제조공장의 생산라인용 자기완결형 품질 관리 시스템 | |
| CN105136121B (zh) | 确定工装状态的影像检测方法及系统 | |
| JP7048301B2 (ja) | 撮影システム、撮影ユニット、情報処理ユニット、撮影ユニットの異常検出方法 | |
| JP2021038871A (ja) | 燃焼場の観察方法、観察装置、及び観察プログラム | |
| JP2005219660A (ja) | 車載電装品の評価装置 | |
| US10791281B1 (en) | Image processing method and system based on adjustments performed according to environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |