CN105719274B

CN105719274B - 边缘检测系统及方法

Info

Publication number: CN105719274B
Application number: CN201510908057.6A
Authority: CN
Inventors: 罗伯特·埃默里
Original assignee: Omnivision Technologies Inc
Current assignee: Omnivision Technologies Inc
Priority date: 2014-12-10
Filing date: 2015-12-09
Publication date: 2019-09-13
Anticipated expiration: 2035-12-09
Also published as: CN105719274A; TWI588757B; US9697434B2; TW201633214A; US20160171710A1

Abstract

一种边缘检测方法，其包含读取由影像传感器的宽频带像素所生成的宽频带像素信号的至少一部分。所述影像传感器亦包含生成保持未读的窄频带像素信号的窄频带像素。所述方法亦包含传送所述宽频带像素信号至影像信号处理器，基于来自所述宽频带像素信号的数据形成部分填入的参考影像，以及对所述部分填入参考影像运用边缘形成技术以产生边缘映射图。一种边缘检测系统，其包含具有宽频带像素及窄频带像素的二维像素阵列，用于从一部分填入的参考影像产生边缘映射图的影像信号处理器，以及用于生成所述供影像信号处理器之用的部分填入的参考影像的读出电路。所述部分填入的参考影像仅基于至少一部分的宽频带像素。

Description

边缘检测系统及方法

技术领域

无

背景技术

基于边缘映射(即，通过使用影像传感器获得的影像数据而映射出影像中的物体的边缘)的边缘检测被使用在多种应用中，诸如自动对焦及移动检测。产生边缘映射图的一种方法是先以一包含彩色(红色、绿色与蓝色)及全色(透明或白色)像素的影像传感器获取影像数据，接着响应于经捕获全色像素信号而产生参考全色影像。对于此影像中由全色像素所占据的位置，关于该像素的经捕获全色信号是容易使用的。对于由彩色像素所占据的位置，并没有关于该像素的经捕获全色信号，于是附近的全色像素进行插值以提供该像素位置的估计全色值。因此，每一像素位置将具有捕获的或插值的全色值。一旦生成该参考全色影像，即通过运用边缘形成技术(诸如数字滤光)而产生边缘映射图。

发明内容

在一实施例中，边缘检测方法包含了读取由一影像传感器的宽频带像素所生成的宽频带像素信号的至少一部分。该影像传感器亦包含生成保持未读的窄频带像素信号的窄频带像素。该方法亦包含传送该等宽频带像素信号至影像信号处理器，基于来自该等宽频带像素信号的数据形成一部分填入参考影像；以及对该部分填入参考影像运用边缘形成技术以产生边缘映射图。

在一实施例中，其边缘检测系统包含了具有宽频带像素及窄频带像素的二维像素阵列，用于从一部分填入参考影像产生边缘映射图的影像信号处理器，以及用于生成该供影像信号处理器之用的部分填入参考影像的读出电路。该部分填入参考影像仅基于至少一部分的宽频带像素。

附图说明

图1A显示描绘具有像素阵列的影像传感器实施例的示意图。

图1B显示像素阵列的最小重复单元的实施例。

图1C显示像素阵列的替代最小重复单元的实施例。

图2以图解说明在实施例中影像及成像区块的不同放大程度。

图3A为显示通过略过彩色像素而生成全色成像区块的实施例的示意图。

图3B为显示在实施例中通过略过彩色像素所生成的全色成像区块的示意图。

图3C为经插值生成的全色影像的实施例，其于每一像素处包含有全色值。

图3D为经像素略过生成的全色影像的实施例，其仅包含带有经捕获全色信号的像素。

图4A为显示在实施例中通过略过彩色及全色像素生成全色成像区块的示意图。

图4B为通过略过彩色及全色像素所产生的经像素略过生成的全色成像区块的实施例。

图4C为通过略过彩色及全色像素所生成的经像素略过生成的全色成像区块的实施例。

图5A为显示截切全色像素值的实施例的示意图。

图5B为显示基于光强度截切全色像素值的装置实施例的示意图。

图6A为显示在一实施例中的卷积程序的示意图，其中高通滤光器核心作用在参考全色影像的核心作用区上。

图6B为显示在一实施例中的卷积程序的示意图，其中低通滤光器核心作用在参考全色影像的核心作用区上。

图7A为用于生成边缘映射图的参考全色影像的实施例。

图7B为基于该参考全色影像的边缘映射图的实施例。

图8为说明在一实施例中基于边缘映射的边缘检测方法的流程图。

附图标记说明：

100：影像传感器；102：像素阵列；104：控制电路；106：读出电路；108：读出行；110：影像信号处理器(ISP)；112：控制信号；114：像素数据；200：影像；210：树形物体；215：第一局部树叶部；220：第一放大级别成像区块；230：第二放大级别成像区块；240：像素级别放大区块；330：第一成像区块；340：第二成像区块；345：成像区块；347：黑色像素位置；360：部分填入全色影像；430：第一成像区块；440：第三成像区块；445：成像区块；447：黑色像素位置；449：部分全色成像区块；510：ADC；520：全色像素信号数据单元；530：5位元数据单元；540：截切控制器；550：光强检测器；600：影像矩阵；610：影像像素；620：核心作用区；630：初始像素；640：高通核心；645：低通核心；650：高频成像区块；655：卷积像素；660：低频成像区块；665：卷积区块；670：高频成像区块；675：中间像素；800：边缘检测方法；802、804、806、808：步骤；X₁₁,X₁₂,X₁₃,X₂₁,X₂₂,X₂₃…X_mn：像素；C1,C2,C3....Cn：行；R1,R2,R3...Rm：列；R：红色像素；G：绿色像素；B：蓝色像素；P：全色像素；Y：黄色像素；C：青色像素；M：洋红色像素

具体实施方式

以下所揭的该等实施例是由一影像传感器所取得的影像而生成边缘映射图，其中该影像包含全色及/或彩色像素值。由于(a)略过彩色及/或全色像素以产生一部分参考全色影像且/或由于(b)基于照明程度截切全色像素值，特定的实施例与生成边缘映射图有关；这些像素略过及/或像素值截切的方法可加速基于生成边缘映射图的边缘检测速率。

图1A为说明根据本发明教导的影像传感器100实例的示意图。特别地，影像传感器100包含具有多个标示为X11,X12,X13,X21,X22,X23...Xmn的像素的像素阵列102。在图1A的实例中，像素阵列102的该等像素被组织成若干行C1,C2,C3....Cn及若干列R1,R2,R3...Rm。因此，像素X11位于列1及行1；像素X12位于列1及行2，依此类推。

于图1A所绘实例中所示，读出电路106及控制电路104耦接于像素阵列102。控制电路104可接着通过控制信号112而控制像素阵列102，该控制信号112包含多个用以分别控制像素阵列102的每一像素、列及/或行的电路的信号。由像素阵列102中的像素X₁₁,X₁₂,X₁₃,X₂₁,X₂₂,X₂₃…X_mn所捕获的若干成像像素信号可通过若干读出行108而被读出至读出电路106。像素数据114接着被传送至影像信号处理器(ISP)110供进行数据处理。ISP 110包含必需的数据处理硬件及软件以基于生成边缘映射图而执行边缘检测，如现在本文中所揭示。

像素阵列102为(例如)一个二维像素阵列，其具有包含彩色像素(诸如红色、绿色及蓝色)的第一群像素，以及包含全色像素的第二群像素；第一群像素内的彩色像素具有比第二群像素内的全色像素较狭窄的光谱光回应。在一实施例中，像素阵列102包含若干个形成最小重复单元的像素；该最小重复单元含有最少数量的像素，用作重复其本身而做为用于整个像素阵列102的建构区块之用。例如，四个像素X₁₁、X₁₂、X₂₁及X₂₂可形成分别包含有红色(R)、绿色(G)、蓝色(B)及全色(P)像素的最小重复单元，其中该全色像素在该最小重复单元中构成25％的像素，诸如图1B中所示。最小重复单元的另一实例为一个六像素单元，其中全色像素构成50％的最小重复单元，诸如图1C中所示。最小重复单元可为多色的，例如具有不同的像素颜色类型(诸如R、G、B、黄色(Y)、青色(C)、洋红色(M)及无色像素)组合，或者其可为单色的，例如仅具有一种像素颜色类型(诸如无色)。尽管图1A、1B及1C中所说明的像素显示为正方形，该等像素可具有其它几何形状，诸如矩形、六边形、八边形、多边形、圆形、椭圆形、左右对称的形状、非对称的形状等。像素的尺寸也可以改变，例如1.1μm、1.4μm、1.75μm、10μm、次微米等。各种形状及大小的彩色及无色像素的排列及组合可产生许多在大小、几何形状及像素配置上不同的最小重复单元。这些最小重复单元在本文中并未详尽无遗地列出，但仍然包含在本发明的范围内。

图2以图解说明影像及成像区块的不同放大程度。在图2的实例中，在未放大的级别下，影像200包含树形物体210。该树形物体210的第一局部树叶部215可放大在第一放大级别成像区块220中，诸如所示。可取得较高的放大程度，诸如第二放大级别成像区块230，且第二局部树叶部225(含在第一局部树叶部215内)可放大于其中。可以类似的方式取得进一步的放大程度，其中最高的放大程度为含有个别像素(诸如图2中所示的R、G、B及P)的像素级别放大区块240。可使用获自这些像素中的每一者的像素数据来建构影像。

在一实施例中，全色影像(或者称为「参考全色影像」或「参考影像」)被产生并使用于基于生成边缘映射图的边缘检测。全色影像是呈单色的且比多色影像(例如由R、G及B像素所形成者)含有较少的数据。因此，涉及生成全色影像的边缘映射图的计算通常快于生成多色影像的边缘映射图的计算。图3A显示通过略过彩色像素而生成的全色成像区块示意图。更具体而言，第一成像区块330包括4x4正方形的像素配置，其含有八个全色像素P1、P2…P8；二个蓝色像素B1及B2；四个绿色像素G1、G2、G3及G4；以及二个红色像素R1及R2。第一成像区块330在较大的像素阵列中可以是或可以不是一个最小重复单元。于读出像素资料期间，仅读出全色像素，如在第二成像区块340中以P1、P2…P8标示的位置所示。彩色像素完全被略过，如在第二成像区块340中以「×」标示的位置，这些像素位置因此没有像素数据。因为彩色像素的规律间隔配置，略过彩色像素的间隔可以是规律的，尽管本发明的范围包含不规律的彩色像素间隔配置。

若干方法可由第二成像区块340产生全色影像。在第一实例中，由于以「×」标示的位置不具有全色像素数据，其可通过插值附近已存在的全色像素而计算。此第一实例生成包含所有像素位置的像素数据的完整全色图像，但其是比较慢的过程，因为其需要通过许多计算步骤进行插值。在第二实例中，由「×」标示的位置只是静置不动，使得仅现存像素P1、P2…P8的全色像素数据被使用。在第二实例中并未执行插值，且因而发生的成像区块345是部分填入的，如图3B中所示与棋盘相似者。更具体而言，成像区块345是以四个像素位置A、B、C及D为界，且在成像区块345内可见到黑色像素位置347(为清楚起见，只有一个色像素位置被标示为347)。黑色像素位置347缺少了成像数据且不是该全色影像的一部分。

通过一起看图3C及3D，可在获自第一实例(图3C)的全色影像与或自第二实例(图3D)的部分填入全色影像360之间看出对比。部分填入全色影像360亦可称为「部分填入参考影像」。应了解到，该第二实例(图3D)与棋盘相似，因为该影像是部分填入的，且其比第一实例(图3C)的完整影像含有较少的信息。为说明之目的，应进一步了解到图3D每一个黑色正方形的大小大于实际的像素大小；一般而言，影像传感器像素的大小在约1-10μm的范围，且其比图3D中所示的像素小得多。由于第二实例(图3D)不包含插值像素数据，其可以较快的速度生成一部分全色影像，这在生成边缘映射图中是可取的；然而，其影像分辨率比完整全色影像的分辨率低。

除略过彩色像素之外，亦可略过一些全色像素以产生该全色影像。图4A说明通过略过彩色及全色像素而生成全色成像区块。更具体而言，第一成像区块430包括4x4正方形的像素配置，其含有八个全色像素P1、P2…P8；二个蓝色像素B1及B2；四个绿色像素G1、G2、G3及G4；以及二个红色像素R1及R2。第一成像区块430在较大的像素阵列中可以是或可以不是一个最小重复单元。于读出像素资料期间，彩色像素完全被略过，如在第三成像区块440中以c标示的若干位置。此外，一些全色像素亦被略过，如在第三成像区块440中以「×」标示的其它位置所示。其余的全色像素被读出。因此在图4A的实施例中，全色像素P3、P4、P7及P8被略过，而全色像素P1、P2、P5及P6被读出。因为彩色像素的规律间隔配置，彩色像素的间隔可以是规律的。略过全色像素的间隔可以是或可以不是规律的。在图4A中，略过的间隔为解说性地规律的，且每隔一列略过全色像素的读出。在读出第一成像区块430中的第一列的P1及P2之后，略过第二列的P3及P4。接着，读出第三列的P5及P6，然后略过第四列。略过的间隔亦可为不规律的，但其产生出具有不规律间隔像素的成像区块。

图4B说明通过略过彩色及全色像素的部分全色成像，其中所产生的成像区块445是部分填入的，如图所示。更具体而言，成像区块445是以四个像素位置A、B、C及D为界，且该等像素以成列成行的方式规律间隔设置，并每隔一列及每隔一行跳过。在成像区块445内看见的若干黑色像素位置447缺少了成像数据且不是该部分全色影像的一部分。再者，与图3B的第二实例相似，其并不对附近的全色像素信号进行插值。将图3B的部份成像区块345与图4B的部份成像区块445相比，其显示出部份成像区块445中带有资料的像素更为稀少。这导致影像分辨率进一步降低，但是对于加速生成边缘映射图的像素数据处理是可取的。

图4C为经像素略过生成的部分全色成像区块449的实施例，其通过略过彩色及全色像素(如由图4A所生成者)而产生。应了解，图4C包含比图3D更加少的信息。为说明之目的，应进一步了解到图4C每一个黑色正方形的大小大于实际的像素大小；一般而言，影像传感器像素的大小在约1-10μm的范围，且其比图4C中所示的像素小得多。类似于结合图3D描述的第二实例，在生成图4C的部分全色影像时并不进行像素数据的插值。图4C中的部分全色影像因而在比图3D的影像更加快的速度下生成，因为图4C中的影像包含较少带有数据的像素。这在快速生成边缘映射图时同样是可取的，即使与图3D比较时图4C的影像分辨率是降低的。

因此，基于生成边缘映射图的边缘识别可通过下列方式而更快地进行：(1)读出所有的全色像素信号并略过所有的彩色像素信号；(2)读出一部分的全色像素信号并于略过所有的彩色像素信号时略过剩余的全色像素信号；及/或(3)使用经读出的全色像素信号以构筑一带有被略过的像素位置空格(即，对于被略过的像素位置不具有影像数据)的部分填入参考全色影像。在方案(1)、(2)及(3)中，读出电路106(图1)执行读取操作。生成边缘映射图可基于在像素信号读出期间或读出之后截切像素值而更加快地进行，如现在本文中所描述。

全色影像为灰阶影像，其包含多重灰度。成像像素的数据输出标准形式为8位元。更具体而言，全色像素信号是以字节读出，即，由若干字节成的数据单元(例如，8位元)。图5A显示输出装置(以一模拟数字转换器(ADC)510显示)，其由若干读出行(图中未示)读出全色像素信号数据单元520(字节)。全色像素信号数据单元520是由八个以罗马数字I、II…VIII表示的位元所组成。最低有效位元I是位于数据单元520最右边的位置，而最高有效位元VIII是位于数据单元520最左边的位置。每一位元位置保有一个0或1的二进制数。对于此8位元的数据单元520，其有256个(即，2⁸)可能的数值。因此，对于全色影像，其中其像素是一个八位元的数据格式，该影像的灰度级具有256级灰度。

降低每个像素的数据位元数致使灰度的减少，如下列表格所示。应注意，只具有二级灰度的影像表示该影像完全是黑色及白色。

每个像素的位元数	灰度
		8	256(2<sup>8</sup>)
7	128(2<sup>7</sup>)
		6	64(2<sup>6</sup>)
5	32(2<sup>5</sup>)
		4	16(2<sup>4</sup>)
3	8(2<sup>3</sup>)
		2	4(2<sup>2</sup>)
1	2(2<sup>1</sup>)

应了解，通过降低每个像素的数据位元数的灰度降低减少了全色影像的影像质量。过度降低的影像质量使其因为缺少成像细节而更为难以执行边缘辨识。然而，每个像素的数据位元数降低会加快数据的处理，并增加了基于生成边缘映射图的边缘辨识所希望的计算速度。因此，根据本文教导的均衡方法被用来降低每个像素的数据位元数，以加快数据的处理，同时保持足够的影像质量以保留边缘识别的准确性。

每个像素的数据位元数所可降低的程度是基于若干因素，例如影像的照明程度。对于相当高程度的照明(例如，200勒克司及以上，通常在明亮的室内照明中遇到)，容易在影像中捕获到许多细节。因此，即使是一个相对小的灰度级(例如，16级灰度，对应于4位元的像素数据格式)，仍可以适当的准确度执行边缘识别。当照明程度相对较低时(例如，10勒克司或更低，通常在户外黄昏环境中遇到)，可能需要相对大的灰度级(例如，256级灰度，对应于8位元的像素数据格式)以提供足够的影像质量进行带有适当准确度的边缘识别。

下表提供了一实例，其中的照明程度决定每个像素为边缘识别用途的必需数据位元数。

照明程度(勒克司)	每个像素的最低必需位元数
		200及以上	4
100	6
		10	8

可通过(例如)像素值截切而执行每个像素的数据位元数的降低。在图5A中，该8位元数据单元520通过读出若干位元I、II、III、IV及V而进行截切，导致5位元的数据单元530，并记录于寄存器(图中未示)中供随后的数据处理之用。应了解，可通过一像素信号输出装置执行全色像素信号数据由较高位元格式至较低位元格式的截切，该像素信号输出装置为该读出电路的一部分(例如，ADC 510)，且截切操作可替代地在其它处执行。例如，该像素信号可由ADC 510以8位元格式完整读出至ISP 110中所设置的寄存器内，且接着在ISP 110内执行截切。在像素信号数据流初期执行截切操作(例如，由ADC 510执行)可赋予加快整体边缘检测处理的益处，因为像素信号数据的数量在像素信号数据流初期被减少。

在本实施例中，位元VI、VII及VIII被截切，即其为包含在记录于寄存器中的5位元数据单元530内。在其它实施例中，除了VI、VII及VIII的位元亦可被截切。例如，位元I、II及III可被截切。经截切的位元可呈连续排列，如上所述。其可替代地呈非连续排列。例如，位元I、II及III可被截切。在另一实例中，位元III、IV及VIII可被截切。有更多的截切实例存在，其并未详尽无遗地揭示于本文中，但仍在本发明的范围之内。以每个像素有5位元数据所产生的全色影像具有32级灰度的影像质量。在不截切像素值的情况下，全色影像将具有256级灰度的影像质量量。

基于照明程度，可选择像素值截切的适当形式以产生参考全色影像，供基于生成边缘映射图的进一步边缘识别之用。图5B显示基于光强度截切全色像素值的装置例。尤其是，光强检测器550(例如，环境光传感器)检测光线作用在影像传感器(图中未示)上的强度，并发送该光强信息至一截切控制器540。截切控制器540接着引导ADC 150基于该光强度而执行适当的全色像素值截切。例如，对于200勒克司或以上的光线，全色像素值经截切而具有4位元格式。对于约100勒克司的光线，全色像素值经截切而具有6位元格式。对于约10勒克司及以下的光线，不截切全色像素值，即，其维持8位元格式。若截切操作在ISP(图中未示)内发生，那么截切控制器540会耦接该光强检测器550及该ISP二者。

一旦通过使用经截切的全色像素值产生参考全色影像，可通过适当的边缘形成技术(诸如高通或方向性滤光)产生边缘映射图。高通滤光可直接通过以一呈高通核心形式的高通滤光器卷积该参考全色影像而执行，并采用其结果的绝对值做为高频率影像。高通核心为运用于每个像素(在本文中称为「初始像素」)及其邻近像素的小型阵列(矩阵)，该等像素在影像内的各维上形成一个具有奇数个(例如3、5、7等)元素的正方形。用于对影像运用滤光器/核心的程序被称为卷积。当该核心居中于初始像素上时，卷积程序以其相符的像素值与该核心的元素相乘。所产生阵列的该等元素具有与核心相同的大小，其接着经计算总数或计算平均值，且以此总数或平均值取代初始像素值，或时而以该总数或平均值的绝对值取代。

一适当的高通核心实例如下：

图6A为一带有高通核心的参考全色影像的卷积部分实例。为了说明，该参考全色影像的一部分是显示为一影像矩阵600。影像矩阵600是部分填入的，其每一影像像素610是以其像素值(例如，45)标示，且其缺少成像数据的黑色像素位置是以「×」标示。核心作用区620(解说性地以粗边框包围)在其中心包含初始像素630。初始像素630具有四个邻近影像像素位置(左上、右上、右下及左下)，每一者带有其自己的像素值。其它四个邻近位置(上、右、下及左)为缺少成像数据的黑色像素位置。高通核心640作用在核心作用区620上。更具体而言，初始像素630的值以及其邻近具有像素数据的像素中的每一者(左上、右上、右下及左下)经以其在高通核心640中对应的元素相乘，并接着经计算总数(或替代性地计算平均数)。其邻近缺少成像数值的黑色像素位置(上、右、下及左)并不受该高通核心640的作用。所产生的卷积像素值为178，其为(-1×40)+(-1×42)+(8×46)+(-1×52)+(-1×56)的总数。若使用其平均值，所产生的卷积数值则为总数178除以五，即35.6。接着以所产生数值的绝对值取代该初始像素值46。卷积结果以一高频成像区块650呈现，其中心具有卷积像素655，且包含卷积像素值178(或若使用平均值则为35.6)。此高频影像为使用该高通核心卷积该参考全色影像所有像素的结果(少掉该影像边缘的像素)，且由诸如该卷积像素655的像素所组成。

高通滤光可替代性地由反锐化屏蔽执行。更具体而言，该参考全色影像是先以低通核心卷积以产生低频影像。接着，从该参考全色影像减去此低频影像。此减法的绝对值做为替代产生的高频影像。

适当的低通核心实例如下：

图6B为一带有低通核心的参考全色影像的卷积部分实例。低通核心645与居中于初始像素630上的核心作用区620进行卷积。所产生的低频成像区块660包含在其中心且具有卷积数值为374(即为(1×40)+(1×42)+(4×46)+(1×52)+(1×56))的卷积区块665。若使用其平均值，所产生的卷积数值则为总数374除以五，即74.8。接着从该初始像素值减去卷积数值(其为总数或平均值)，且其结果的绝对值(│46-374│＝328)做为替代产生高频成像区块670的中间像素675的像素值，如图6B中所示。替代产生高频是由诸如该中心像素675的像素所组成。

该高频影像可做为边缘映射图。替代性地，该边缘映射图可通过采用该高频影像并运用阈值处理而产生。更具体而言，该高频影像中的每一像素值是针对给定阈值(例如，300)进行测试。若该高频影像中的像素值等于或大于给定阈值，则在边缘映射图中对应的像素值被标示为边缘像素，并设定为指示边缘存在的数值(例如，1)。若该高频影像中的像素值小于该给定阈值，则该边缘映射图中对应的像素值被标示为平坦像素，并设定为指示边缘不存在的数值(例如，0)。

还可以使用多个阈值。例如，在利用相对大的第一阈值(例如，300)产生第一边缘映射图之后，利用较小的第二阈值(例如，250)从该第一边缘映射图及该高频影像产生第二边缘映射图。在这种情况下，在第一边缘映射图中被标示为边缘像素的每一像素位置被自动标示为在第二边缘映射图的对应位置处的边缘像素。在第一边缘映射图中的像素位置被标示为平坦像素并且该等相邻像素位置中的至少一者被标示为边缘像素的情况下，将对应的高频影像像素值与该第二阈值进行比较。若高频影像的像素值等于或大于第二阈值，则在第二边缘映射图中对应的像素值被重新标示为边缘像素。若高频影像中的像素值小于第二阈值，则在第二边缘映射图中对应的像素被标示为平坦像素。本领域技术人员将清楚可以使用额外的阈值(例如，200、150等)来继续此程序。

方向性滤光为替代的边缘形成技术。其用以通过计算影像的第一导数而产生边缘映射图。由于在相邻的像素值之间发生大幅度变化(例如，急遽的升降率)时，影像内的边缘是可见的，这数值上的变化可通过影像的第一导数(即，斜率)来测量，并当做边缘存在。方向性滤光可通过使用x及y方向的滤光器核心来卷积该参考全色影像以产生经在x及y方向上滤光的影像而执行。在一些实施例中，该等经在x及y方向上滤光的影像可经计算其平均值以产生综合性边缘映射图。

在一些实施例中，x方向滤光器核心M_x是以类似于上述高通核心卷积的方式而与参考全色影像进行卷积。更具体而言，该x方向滤光器核心M_x是居中于在中心带有初始像素的核心作用阵列A上。该卷积程序通过将该核心M_x的元素与核心作用阵列A中对应的像素相匹配而加乘该等元素。所产生阵列G_x＝M_x*A(其中G_x与核心M_x的大小相同)的元素接着经计算其总数或计算其平均值，且该初始像素值是以此总数或平均值取代，或时而以该总数或平均值的绝对值取代。

x方向滤光器核心M_x的实例包含：

或

同样地，在另一实施例中，y方向滤光器核心M_y被运用于该在中心带有初始像素的核心作用阵列A上。所产生阵列G_y＝M_y*A(其中G_y与核心M_y的大小相同)的元素接着经计算其总数或计算其平均值，且该初始像素值是以此总数或平均值取代，或时而以该总数或平均值的绝对值取代。

y方向滤光器核心M_y的实例包含：

或

在另一实施例中，阵列G_x及G_y可经计算其平均值以产生综合性阵列G，例如该综合性阵列G的元素接着经计算其总数或计算其平均值，且该初始像素值是以此总数或平均值取代，或时而以该总数或平均值的绝对值取代。

还可以运用其它方向性滤光技术。在一实例中，拉普拉斯(Laplacian)滤光器核心L被运用至核心作用阵列A上，以计算影像的第二导数，该第二导数测量该第一导数变化的速率。这有助于判定在相邻的像素值中的变化是否为边缘或为一连续的数列。Laplacian卷积法与上述的其它核心卷积法相似。更具体而言，Laplacian滤光器核心L被运用于该在中心带有初始像素的核心作用阵列A上。G_L＝L*A。所产生阵列G_L的元素接着经计算其总数或计算其平均值，且该初始像素值是以此总数或平均值取代，或时而以该总数或平均值的绝对值取代。

Laplacian滤光器的核心在一居中于阵列内的十字图案(类似于加号)中通常含有负值。其转角处为零或正值。中心数值可为负值或正值。Laplacian滤光器核心L的实例可以为：

图7A为一部分填入参考全色影像的实例，其经受边缘形成技术。图7A的部分填入参考全色影像是通过(诸如)上述的略过像素及像素值截切而产生。图7B为通过对图7A中的参考全色影像运用边缘形成技术而产生的边缘映射图实例。

图8为说明基于边缘映射的边缘检测方法800的流程图。在步骤802中，方法800读取由一影像传感器的宽频带像素所生成的宽频带像素信号的至少一部分。该影像传感器亦包含生成有保持未读的窄频带像素信号的窄频带像素。在步骤802的一实例中，方法800读取至少一部分的宽频带像素信号(由像宿数据114所表示且由影像传感器100的宽频带像素所生成)。影像传感器100的宽频带像素包含若干个像素X_ij，该等像素为在图1B及1C中标记为「P」的全色像素，其中i及j为满足1<i<m及1<j<n的整数。影像传感器100的窄频带像素包含若干个像素X_kl，该等像素为在图1B及1C与附文中标记为「R」、「B」、「G」、「C」、「M」及「Y」中的一者的彩色像素，其中k及l为满足1<k<m及1<l<n的整数。

在步骤804中，方法800将该宽频带像素信号传送至影像信号处理器。在步骤804的一实例中，方法800将该等以像素数据114表示的宽频带像素信号传送至图1的ISP 110。

在步骤806中，方法800基于来自该等宽带像素信号的数据而形成部分填入参考影像。在步骤806的一实例中，方法800基于像素数据114而形成部分填入全色影像360。

在步骤808中，方法800运用边缘形成技术至该部分填入参考影像，以产生边缘映射图。在步骤808的一实例中，方法800运用使用高通核心640的高通滤光法至该部分填入参考影像，以产生边缘映射图。在步骤808的一实例中，方法800运用使用低通核心645的低通滤光法至该部分填入参考影像，以产生边缘映射图。在步骤808的一实例中，方法800运用了使用方向性滤光器核心M_x及M_y中的一个或多个的方向性滤光法至该部分填入参考影像，以产生边缘映射图。

特征的组合

上述特征以及下文所请求保护的特征可在不偏离本发明范围的情况下以各种方式结合。例如，应了解本文中所述的边缘检测方法的态样可并入或替换为本文中所述的另一边缘检测方法的态样。同样地，本文中所述的边缘检测系统的态样可并入或替换为本文中所述的另一边缘检测系统的态样。下列实例说明上述该等实施例中的一些可能的非限制性结合。应清楚，可在不偏离本发明的精神及范围的情况下对本文中的该等方法及装置做出许多其它变化及修改。

(A1)一种边缘检测方法，包含读取由一影像传感器的宽频带像素所产生的宽频带像素信号的至少一部分，该影像传感器亦包含产生保持未读的窄频带像素信号的窄频带像素。该方法亦包含传送该等宽频带像素信号至影像信号处理器，基于来自该等宽频带像素信号的数据形成一部分填入参考影像，以及对该部分填入参考影像运用边缘形成技术以产生边缘映射图。

(A2)在标记为(A1)的边缘检测方法中，该读取步骤可包含读取所有由影像传感器的宽频带像素所产生的宽频带像素信号。

(A3)在标记为(A1)及(A2)的边缘检测方法的一或二者中，该方法可进一步包括截切该等宽频带像素信号。

(A4)在标记为(A3)的边缘检测方法中，该截切步骤可包含将像素信号从8位元格式转换成小于或等于8位元的格式，取决于作用在产生该等宽频带及窄频带像素信号的影像捕获系统上的光强度。

(A5)在标记为(A3)及(A4)的边缘检测方法的一或二者中，该截切步骤可包含于作用在产生该等宽频带及窄频带像素信号的影像捕获系统上的光强度大于或等于约200勒克司时，将像素信号从8位元格式转换成4位元格式。

(A6)在标记为(A3)至(A5)的边缘检测方法的任一者中，该截切步骤可包含于作用在产生该等宽频带及窄频带像素信号的影像捕获系统上的光强度约为100勒克司时，将像素信号从8位元格式转换成6位元格式。

(A7)在标记为(A3)至(A6)的边缘检测方法的任一者中，该截切步骤可包含于作用在产生该等宽频带及窄频带像素信号的影像捕获系统上的光强度小于或等于10勒克司时，将该等宽频带像素信号保持在8位元格式。

(A8)在标记为(A1)至(A7)的边缘检测方法的任一者中，该运用边缘形成技术的步骤可包含对该部分填入参考影像运用高通滤光步骤。

(A9)在标记为(A1)至(A8)的边缘检测方法的任一者中，该运用边缘形成技术的步骤可包含对该部分填入参考影像运用方向性滤光步骤。

(A10)在标记为(A1)至(A9)的边缘检测方法的任一者中，该等宽频带像素可为全色像素，各窄频带像素为一彩色像素，且该窄频带像素包含至少二个不同颜色类型的像素。

(B1)一种边缘检测系统，其包含具有宽频带像素及窄频带像素的二维像素阵列，用于从一部分填入参考影像产生边缘映射图的影像信号处理器，以及用于生成该供影像信号处理器之用且仅基于至少一部分的宽频带像素的部分填入参考影像的读出电路。

(B2)在标记为(B1)的边缘检测系统中，该读出电路可经配置以读取出所有的宽频带像素，以将像素数据存放至该影像信号处理器中。

(B3)在标记为(B1)及(B2)的边缘检测系统的一或二者中，该读出电路可经配置以读取出一部分的宽频带像素，以将像素数据存放至该影像信号处理器中，同时略过来自于该等宽频带像素的任何剩余资料。

(B4)在标记为(B1)至(B3)的边缘检测系统的任一者中，该读出电路可经配置以截切来自于该等宽频带像素的数据以存放至该影像信号处理器中。

(B5)在标记为(B4)的边缘检测系统中，该读出电路可经配置以将数据从8位元格式截切为小于或等于8位元的格式，取决于作用在具有该二维像素阵列的影像捕获系统上的光强度。

(B6)在标记为(B1)至(B5)的边缘检测系统的任一者中，该影像信号处理器可经配置以截切来自于该等宽频带像素的资料。

(B7)在标记为(B6)的边缘检测系统中，该影像信号处理器可经配置以将数据从8位元格式截切为小于或等于8位元的格式，取决于作用在具有该二维像素阵列的影像捕获系统上的光强度。

(B8)在标记为(B1)至(B7)的边缘检测系统的任一者中，该影像信号处理器可经配置以对该部分填入参考影像运用边缘形成技术，以通过对该部分填入参考影像运用高通滤光及方向性滤光中的一者而产生该边缘映射图。

(B9)在标记为(B1)至(B8)的边缘检测系统的任一者中，该等宽频带像素可为全色像素，各窄频带像素为彩色像素，且该窄频带像素包含至少二个不同颜色类型的像素。

可在不偏离本发明范围的情形下于上述该等系统及方法中做出改变。因此应注意上述说明中所包含以及附图中所显示的课题应解释为是说明性的而不是限制性的。下列申请专利范围意欲涵盖本文中所描述的一般性及具体性特征，以及本发明系统及方法因为语言的关系而可以说是落入其范围间的所有陈述。

Claims

1.一种边缘检测方法，包括：

从具有(a)生成宽频带像素信号的宽频带像素以及(b)生成窄频带像素信号的窄频带像素的影像传感器读取所述宽频带像素信号的至少一部分；

传送所述宽频带像素信号至影像信号处理器；

基于来自所述宽频带像素信号的数据形成部分填入的参考影像，所述参考影像仅在对应于宽频带像素的位置具有影像数据；以及

对所述部分填入的参考影像运用边缘形成技术以产生边缘映射图。

2.根据权利要求1所述的边缘检测方法，所述读取步骤包括读取所有由影像传感器的宽频带像素所生成的宽频带像素信号。

3.根据权利要求1所述的边缘检测方法，在读取每个具有M位元深度的所述宽频带像素信号的步骤中，进一步包括：在传送所述宽频带像素信号至影像信号处理器之前，截切所述宽频带像素信号从而每个宽频带像素信号具有N＜M的位元深度。

4.根据权利要求3所述的边缘检测方法，所述截切步骤包括将像素信号从8位元格式转换成小于或等于8位元的格式，取决于作用在生成所述宽频带像素信号及所述窄频带像素信号的影像捕获系统上的光强度。

5.根据权利要求3所述的边缘检测方法，所述截切步骤包括当作用在生成所述宽频带像素信号及所述窄频带像素信号的影像捕获系统上的光强度大于或等于200勒克司时，将像素信号从8位元格式转换成4位元格式。

6.根据权利要求3所述的边缘检测方法，所述截切步骤包括当作用在生成所述宽频带像素信号及所述窄频带像素信号的影像捕获系统上的光强度为100勒克司时，将像素信号从8位元格式转换成6位元格式。

7.根据权利要求3所述的边缘检测方法，所述截切步骤包括当作用在生成所述宽频带像素信号及所述窄频带像素信号的影像捕获系统上的光强度小于或等于10勒克司时，将所述宽频带像素信号保持在8位元格式。

8.根据权利要求1所述的边缘检测方法，所述运用边缘形成技术的步骤包括对所述部分填入的参考影像运用高通滤光步骤和方向性滤光步骤中的至少一者。

9.根据权利要求1所述的边缘检测方法，所述宽频带像素为全色像素，各窄频带像素为彩色像素，且所述窄频带像素包括至少二个不同颜色类型的像素。

10.根据权利要求1所述的边缘检测方法，所述读取的步骤包括仅读取宽频带像素信号从而所述窄频带像素信号保持未读。

11.一种边缘检测系统，包括：

具有宽频带像素及窄频带像素的二维像素阵列；

配置为从仅在对应于宽频带像素的位置处具有影像数据的部分填入的参考影像产生边缘映射图的影像信号处理器；以及

读出电路，配置为基于至少一部分的所述宽频带像素生成用于所述影像信号处理器的所述部分填入的参考影像。

12.根据权利要求11所述的边缘检测系统，其中所述读出电路配置为读取出所有的宽频带像素，以将像素数据存放至所述影像信号处理器中。

13.根据权利要求11所述的边缘检测系统，其中所述读出电路配置为读取出一部分的宽频带像素，以将像素数据存放至所述影像信号处理器中，同时略过来自于所述宽频带像素的任何剩余数据。

14.根据权利要求11所述的边缘检测系统，所述读出电路配置为截切来自于具有M位元深度的所述宽频带像素的数据以存放至所述影像信号处理器中以作为具有N＜M的位元深度的数据。

15.根据权利要求14所述的边缘检测系统，所述读出电路配置为将数据从8位元格式截切为小于或等于8位元的格式，取决于作用在具有所述二维像素阵列的影像捕获系统上的光强度。

16.根据权利要求11所述的边缘检测系统，所述影像信号处理器经配置以截切来自于所述宽频带像素的数据。

17.根据权利要求16所述的边缘检测系统，所述影像信号处理器配置为将数据从8位元格式截切为小于或等于8位元的格式，取决于作用在具有所述二维像素阵列的影像捕获系统上的光强度。

18.根据权利要求11所述的边缘检测系统，其中所述影像信号处理器配置为对所述部分填入的参考影像运用边缘形成技术，以通过对所述部分填入的参考影像运用高通滤光及方向性滤光中的一者而产生所述边缘映射图。

19.根据权利要求11所述的边缘检测系统，所述宽频带像素为全色像素，各窄频带像素为彩色像素，且所述窄频带像素包括至少二个不同颜色类型的像素。

20.根据权利要求11所述的边缘检测系统，所述读出电路配置为：当生成所述部分填入的参考影像时，仅读取宽频带像素信号从而窄频带像素信号保持未读。