CN101903893B - 使用内核融合的数字信号模式检测和分类 - Google Patents
使用内核融合的数字信号模式检测和分类 Download PDFInfo
- Publication number
- CN101903893B CN101903893B CN200980101393.2A CN200980101393A CN101903893B CN 101903893 B CN101903893 B CN 101903893B CN 200980101393 A CN200980101393 A CN 200980101393A CN 101903893 B CN101903893 B CN 101903893B
- Authority
- CN
- China
- Prior art keywords
- value
- order
- signal
- kernel
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title description 124
- 230000004927 fusion Effects 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000009434 installation Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 52
- 230000000875 corresponding effect Effects 0.000 description 41
- 230000000630 rising effect Effects 0.000 description 37
- 238000004891 communication Methods 0.000 description 17
- 230000015654 memory Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 12
- 238000010606 normalization Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000006467 substitution reaction Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 description 2
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 description 2
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 2
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 210000000299 nuclear matrix Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000017060 Arachis glabrata Nutrition 0.000 description 1
- 241001553178 Arachis glabrata Species 0.000 description 1
- 235000010777 Arachis hypogaea Nutrition 0.000 description 1
- 235000018262 Arachis monticola Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 235000020232 peanut Nutrition 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Picture Signal Circuits (AREA)
Abstract
本发明描述用于确定信号的形状的技术。具体来说,将内核应用于信号的一部分,以在所述内核的单一回合中至少计算所述信号的所述部分的第一一阶导数和所述信号的所述部分的第二一阶导数。基于所述第一和第二一阶导数来确定所述信号的所述部分的所述形状。在一个实例中,基于所述第一一阶导数与所述第二一阶导数的比率来确定所述信号的所述部分的所述形状。这些技术对检测图像信号内的边缘可特别有效。然而,所述技术可用以检测表示正随时间、空间或其它维度而改变的变量的任何信号内的具有显著改变的形状。
Description
技术领域
本发明涉及信号处理,且更具体来说,涉及检测信号的形状。
背景技术
信号的位置检测可对分析和处理信号有用,其中所述信号表示的变量在所述位置显示显著改变。具体来说,检测位置在一变量中显示显著变量可对分析信号的形状、信号内的内容等有用。检测显著改变可在许多领域中有用,包括图像处理、音频处理、视频处理或任何其它信息处理应用。
举例来说,在图像处理领域中,检测显著强度改变出现的图像信号的位置可对检测图像内的边缘有用。这些检测到的边缘通常表示所关注的场景的结构属性,例如,深度的不连续性、表面定向的不连续性、材料属性的改变、场景照明的变化等。
图像信号包括表示所关注的场景内的特定位置处的强度和/或颜色的多个像素值。为了检测图像信号内的边缘,图像处理器将内核滤波器应用于图像。所述内核滤波器可被视作权重或乘法因子的矩阵。所述矩阵通常比应用所述矩阵的实际图像小得多。用于边缘检测的典型内核矩阵(例如)可为三个像素乘以三个像素(即,3×3内核)。
为了让图像处理器检测边缘,图像处理器可通过在图像上滑动内核而依次将内核矩阵应用于图像的像素中的每一者。图像处理器依次使内核定位在图像的每一像素上的中心处,且将中心像素周围的3×3区域的像素值乘以内核矩阵的对应权重以产生经加权的像素值。
图像处理器对经加权的像素值求和以获得图像信号的3×3部分的一阶导数。图像处理器将图像信号的3×3部分的一阶导数与阈值进行比较,且在一阶导数大于或等于所述阈值时检测边缘。可应用不同内核以执行不同类型的滤波。
发明内容
本发明针对用于确定信号的形状的技术。所述技术可用以检测信号的由所述信号表示的变量显示显著改变的位置并确定所述变量如何在检测到的位置上改变。以此方式,所述技术可被视作检测数字信号模式和对检测到的模式进行分类。举例来说,在图像处理的上下文中,所述技术可用以检测图像信号内的边缘,即,数字图像信号的显示显著强度改变的位置。在此上下文中,数字信号模式为图像信号内的边缘。
所述技术可检测边缘,和同时确定检测到的边缘的形状。举例来说,所述技术可用以确定检测到的边缘是尖锐的还是平滑的。有时候被称作硬边缘的尖锐边缘可出现在单一像素上。有时候被称作软边缘的平滑边缘可出现在若干像素上。为了检测边缘并辨别边缘形状(即,是尖锐的或平滑的),所述技术可采用融合内核,其可在单一回合中计算若干位置处的多个一阶导数。
确定检测到的边缘的形状可增强图像处理器处理图像信号以通过比尖锐边缘更强力地锐化平滑边缘而产生更尖锐的图像的能力。本发明中所描述的技术可用以检测信号(表示正随时间、空间或另一维度而改变的变量)内的显著改变和具有显著改变的形状。举例来说,所述技术可用以检测音频信号、视频信号或其它类型的信号内的显著改变。
在一个方面中,一种方法包含:将内核应用于信号的一部分以在内核的单一回合中至少计算信号的所述部分的第一一阶导数和信号的所述部分的第二一阶导数;以及基于第一一阶导数和第二一阶导数而确定信号的所述部分的形状。
在另一方面中,一种装置包含包括边缘检测模块的处理器,所述边缘检测模块用以:将内核应用于信号的一部分以在内核的单一回合中至少计算信号的所述部分的第一一阶导数和信号的所述部分的第二一阶导数;以及基于第一一阶导数和第二一阶导数而确定信号的所述部分的形状。
在另一方面中,一种计算机可读媒体包含致使处理器进行以下动作的指令:将内核应用于信号的一部分以在内核的单一回合中至少计算信号的所述部分的第一一阶导数和信号的所述部分的第二一阶导数;以及基于第一一阶导数和第二一阶导数而确定信号的所述部分的形状。
在另一方面中,一种装置包含:用于将内核应用于信号的一部分以在内核的单一回合中至少计算信号的所述部分的第一一阶导数和信号的所述部分的第二一阶导数的装置;以及用于基于第一一阶导数和第二一阶导数而确定信号的所述部分的形状的装置。
可以硬件、软件、固件或其任何组合来实施本发明中所描述的技术。如果以软件实施,则软件可执行于处理器中,所述处理器可指代一个或一个以上处理器,例如,微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)。执行所述技术的软件最初可存储于计算机可读媒体中且由处理器加载并执行。因此,本发明还涵盖计算机可读媒体,其包含用以致使处理器执行如本发明中所描述的多种技术中的任一者的指令。在一些情况中,计算机可读媒体可形成可出售给制造商和/或用于装置中的计算机程序产品的部分。计算机程序产品可包括计算机可读媒体,且在一些情况中,还可包括封装材料。
在附图和以下描述中阐述一个或一个以上实例的细节。从描述和图式以及从权利要求书中将明白其它特征、目的和优点。
附图说明
图1为实施本发明中所描述的技术的一实例图像俘获装置的框图。
图2A和图2B说明将锐化掩蔽应用于图像信号内的硬边缘和软边缘。
图3A和图3B说明包括软边缘的图像信号的一实例部分和对应于图像信号的所述部分的像素值。
图4A和图4B说明包括硬边缘的图像信号的一实例部分和对应于图像信号的所述部分的像素值。
图5为说明使用本发明中所描述的技术而确定信号的形状的处理器的示范性操作的流程图。
图6为说明包括实施本发明中所描述的边缘检测技术的图像俘获装置的一实例无线通信装置的框图。
具体实施方式
图1为实施本发明中所描述的技术的一实例图像俘获装置2的框图。图像俘获装置2可为数码相机,例如数字静态图像相机、数字视频相机,或两者的组合。此外,图像俘获装置2可为例如独立相机的独立装置,或集成于例如无线通信装置的另一装置中。作为一实例,图像俘获装置2可集成于移动无线电话中以形成所谓的“相机电话”或“视频电话”。
如图1中所展示,图像俘获装置2包括图像传感器4、图像处理器6和存储模块8。图像传感器4俘获静态图像,或有可能俘获整个运动视频序列,在后一种情况下,可对视频序列的一个或一个以上图像帧执行边缘检测技术。图像传感器4可包括(例如)以行和列布置的个别图像传感器元件的二维阵列。在一些方面中,图像传感器4的图像传感器元件中的每一者可与单一像素相关联。换句话说,图像传感器元件与像素之间可存在一一对应。或者,可存在与每一像素相关联的一个以上图像传感器元件或与每一图像传感器元件相关联的一个以上像素。图像传感器4可包含(例如)固态传感器(例如互补金属氧化物半导体(CMOS)传感器、电荷耦合装置(CCD)传感器等)的阵列。此外,图像传感器4可维持一个或一个以上图像缓冲器,所述图像传感器4在图像获取期间将图像信息存储到所述一个或一个以上图像缓冲器。
为了俘获图像,图像传感器4将图像传感器元件暴露到图像场景以俘获图像。图像传感器4内的图像传感器元件可(例如)在特定像素位置处俘获表示场景中的光的强度的强度值。更具体来说,图像传感器元件俘获表示反射离开所关注的场景内的对象的光的强度的强度值。在一些情况下,图像传感器4的图像传感器元件中的每一者归因于覆盖那个元件的彩色滤光片而仅对一种颜色或色带敏感。举例来说,图像传感器4可包含(例如)红色、绿色和蓝色(RGB)滤光片的阵列。然而,图像传感器4可利用其它彩色滤光片,例如,青色、洋红色、黄色和黑色(CMYK)彩色滤光片。因此,图像传感器4的图像传感器元件中的每一者可俘获仅一种颜色的强度值。因此,图像信息可包括由图像传感器4的传感器元件俘获的像素强度值。
由图像传感器元件俘获的像素强度值基于反射离开对象的光的强度而在整个图像中变化。从小像素强度值到大像素强度值或从大像素强度值到小像素强度值的显著转变通常对应于图像内的边缘。举例来说,强度值的显著改变可表示图像内的对象的边缘。在一些例子中,像素强度值的转变可为出现在一个或两个像素上的急剧转变。举例来说,两个相邻像素可具有显著不同的强度值。这些类型的急剧转变可被称作“尖锐边缘”或“硬边缘”。如本文中所使用,可互换地使用术语尖锐边缘与硬边缘。在其它例子中,像素强度值的转变可逐渐出现在较大数目的像素上。举例来说,转变可逐渐出现在五个或五个以上像素值上。这些类型的平滑、逐渐的转变可被称作“平滑边缘”或“软边缘”。如本文中所使用,可互换地使用术语平滑边缘与软边缘。软边缘可向用户呈现为模糊边缘,而硬边缘可呈现为更尖锐。
图像处理器6(例如)从图像传感器4的缓冲器获得图像(或帧)的数字图像信号,且执行本发明中所描述的形状检测技术。将在检测边缘和同时确定检测到的边缘的形状(即,边缘是硬边缘还是软边缘)的方面描述形状检测技术。图像处理器6包括边缘检测模块10和内核选择模块12。边缘检测模块10在数字图像信号的情况下可分析图像的像素强度值以识别图像内的边缘。具体来说,边缘检测模块10应用内核以检测图像信号内的边缘。如下文中将更详细地描述,可将内核视作待应用于图像的部分(例如,图像的5×5部分)的权重或乘数的矩阵。在一些例子中,边缘检测模块10可应用内核以检测图像内的硬边缘和软边缘两者。在其它例子中,边缘检测模块10仅可检测软边缘或仅可检测硬边缘。在此后一种情况下,边缘检测模块10执行选择性边缘检测,即,仅检测特定形状的边缘。
边缘检测模块10从内核选择模块12接收内核。在一些例子中,内核选择模块12可从多个内核选择一内核以应用于图像信号。举例来说,图像俘获装置2可将用以检测垂直方向上的边缘的第一内核和用以检测水平方向上的边缘的第二内核存储于存储模块8中,且内核选择模块12可基于边缘检测模块10是正在水平方向上还是在垂直方向上检测边缘而选择水平边缘检测内核或垂直边缘检测内核。以此方式,内核选择模块12可自动地选择待用于边缘检测的内核。
作为另一实例,图像俘获装置2可存储多个用于检测具有不同分辨率的图像中的边缘的内核。随着图像传感器输出的分辨率增加,所述内核的尺寸可(例如)增加。换句话说,图像传感器输出的分辨率越高,内核的尺寸越大。举例来说,内核选择模块12对于具有320×240的分辨率的图像传感器输出可选择具有5×5的尺寸的内核,且对于具有2560×1920的分辨率的图像传感器输出可选择具有7×7大小的尺寸的内核。以此方式,内核选择模块12可基于图像传感器输出的分辨率而选择待用于边缘检测的内核。在一些例子中,图像俘获装置2可能不将预定内核存储于存储模块8内,而是,内核选择模块12可(例如)根据数学函数而在运行中产生内核。
在由内核选择模块12选择内核之后,边缘检测模块10将所选择的内核应用于图像。边缘检测模块10可执行图像与内核之间的卷积。为了执行图像卷积,边缘检测模块10依次将内核定位在图像的每一像素上的中心处,且计算内核与所述像素值的相乘的和。接着将此和指派到像素。根据本文中所描述的技术,内核的应用在单一回合中产生表示信号的部分的至少两个一阶导数的和。换句话说,通过应用单一内核而产生信号的部分的至少两个一阶导数。如下文中将更详细地描述,所产生的和的量值的不同阶的值表示至少两个一阶导数。举例来说,对于所产生的和80,160,一阶量值的值(即,80,000)可表示第一一阶导数,且二阶量值的值(即,160)可表示第二一阶导数。以此方式,边缘检测模块10在单一内核的单一回合中计算信号的一部分的两个或两个以上一阶导数。使用本发明的技术而应用的单一内核可被视作融合内核,因为其提供通常要求应用一个以上内核的结果。
在单一回合中使用融合内核而计算信号的一部分的两个或两个以上一阶导数可通过消除在两个或两个以上回合中应用两个或两个以上内核的需要而减少用于边缘检测的处理资源的量。另外,所述技术可减少检测图像内的边缘所花费的时间量。不同于本文中所描述的技术,常规图像处理器每一回合仅计算一个一阶导数,且因此将要求一个以上内核的一个以上回合来检测信号的部分的至少两个一阶导数。为了计算两个一阶导数,常规图像处理器将第一内核应用于图像的部分以获得第一一阶导数,且将第二内核应用于图像的部分以获得第二一阶导数。
边缘检测模块10使用至少两个一阶导数来确定像素是否位于边缘处,且如果位于边缘处,则确定边缘形状(例如,尖锐/硬或平滑/软)。边缘检测模块10可使一阶导数规格化,且将一阶导数中的至少一者与一个或一个以上阈值或阈值范围进行比较以确定像素是否位于信号内的边缘处。举例来说,边缘检测模块10可将一阶导数中的至少一者与阈值进行比较以确保对于一边缘来说,改变足够显著。如果边缘检测模块10确定像素位于边缘处,则边缘检测模块10可确定像素所处的边缘的形状。举例来说,边缘检测模块10可基于一阶导数的比率而确定边缘的形状。以此方式,边缘检测模块10分析信号以确定信号的形状。可调整阈值和范围以使得边缘检测模块10检测硬边缘、软边缘或两者。
图像处理器6可使用检测到的边缘来处理所俘获的图像。举例来说,图像处理器6可基于检测到的边缘来锐化图像。因此,对图像内的检测到的边缘所执行的锐化的量可随边缘被检测为硬边缘还是软边缘而变。图像处理器6可使用比用以锐化硬边缘的技术更强力的锐化技术来锐化软边缘。使用用于锐化软边缘的同一锐化技术来锐化硬边缘可在硬边缘处形成剪辑假影,此情形导致噪声和质量降低的图像。因此,图像处理器6可在边缘被检测为软边缘时使用较强力地增加边缘的两侧之间的对比度的锐化掩蔽,且在边缘被检测为硬边缘时使用较不强力地增加边缘的两侧之间的对比度的锐化掩蔽。以此方式,图像处理器6可将所计算的一阶导数,且更特定来说,两个一阶导数的比率用作由图像处理器6执行的锐化功能的启发。图像处理器6可基于图像内的检测到的边缘而对图像执行其它图像处理。换句话说,经计算的一阶导数可用作由图像处理器6执行的其它图像处理功能的启发。
可由例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其它等效离散或集成逻辑电路或其组合等一个或一个以上集成电路装置来实现图像处理器6。在一些例子中,图像处理器6可形成编码器-解码器(CODEC)的部分,所述CODEC根据例如运动图片专家组(MPEG)-2、MPEG-4、国际电信联盟(ITU)H.263、ITU H.264、联合照相专家组(JPEG)、图形交换格式(GIF)、标签图像文件格式(TIFF)等特定编码技术或格式来对图像信息进行编码。图像处理器6可对图像信息执行额外处理,例如图像修剪、压缩、增强等。
图像处理器6可将所俘获的图像存储于存储模块8中。或者,图像处理器6可对图像执行额外处理,且将呈经处理或经编码的格式的整个图像存储于存储模块8中。如果图像信息由音频信息伴随,则音频信息还可独立地或结合包含一个或一个以上帧(含有图像信息)的视频信息而存储于存储模块8中。存储模块8可包含任何易失性或非易失性存储器或存储装置,例如只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)或快闪存储器,或例如磁性数据存储装置或光学数据存储装置。
许多其它元件也可包括于图像俘获装置2中,但为了说明的简单和简易而未特定说明于图1中。举例来说,图像俘获装置2可包括用于俘获图像的额外组件,例如透镜、快门、闪光装置和取景器。图1中所说明的架构仅为示范性的,因为可以多种其它架构来实施本发明中所描述的技术。此外,可由硬件和/或软件组件的任何合适组合来实现图1中所说明的特征。
尽管本文中在检测图像信号内的边缘的图像俘获装置的上下文中描述所述技术,但所述技术可由其它类型的装置使用以检测任何信号(表示随时间、空间或其它维度而改变的变量)内的具有显著改变的形状。举例来说,所述技术可用以检测音频信号、视频信号或任何其它类型的信号内的显著改变的形状。然而,所述技术可适用于检测任何信号中的数字信号模式,和对检测到的数字信号模式进行分类。
图2A和图2B说明将锐化掩蔽应用于图像信号内的硬边缘和软边缘。图2A说明将锐化掩蔽应用于包括软边缘的图像信号的一部分。图像信号14表示原始图像信号在锐化之前的部分。如上文所说明,图像信号14内的软边缘可归因于像素强度转变出现的平滑、逐渐的方式而向观看者呈现为模糊的。为了锐化软边缘,图像处理器6可应用包括加权值的锐化掩蔽,所述加权值减小图像信号14内的边缘的较暗侧的像素强度值且增加图像信号14内的边缘的较亮侧的像素强度值。锐化掩蔽的加权值足够大,使得边缘的较暗侧与边缘的较亮侧之间的对比度使得边缘向观看者更尖锐地呈现。图像信号16表示在将锐化掩蔽应用于图像信号14之后所得的图像信号。如图2A中所说明,图像信号16的低强度(暗)区域显著低于原始图像信号14的低强度(暗)区域,且图像信号16的高强度(亮)区域显著高于原始图像信号14的高强度(亮)区域。
图2B说明将同一锐化掩蔽应用于包括硬边缘的图像信号的一部分。图像信号18表示原始图像信号在锐化之前的部分。如以上所描述,图像信号18内的硬边缘已向观看者呈现为尖锐的。然而,如果边缘检测模块不能区分硬边缘与软边缘,则图像处理器6将锐化掩蔽应用于硬边缘以及软边缘。图像信号19表示在将锐化掩蔽应用于图像信号18之后所得的图像信号。如图2B中所说明,将用以锐化软边缘的锐化掩蔽应用到图像信号18在图像信号的低强度和高强度区域中形成剪辑假影。换句话说,在黑色处夹持图像信号19的低强度区域,且在白色处夹持图像信号19的高强度区域。所得的图像信号包括(例如)可向观看者呈现为椒盐噪声的噪声。
本发明中所描述的信号形状检测技术允许图像处理器6选择性地锐化所俘获的图像内的边缘。举例来说,边缘检测模块10可选择性地检测图像信号内的边缘,以使得仅检测和锐化软边缘。作为另一实例,边缘检测模块10可识别检测到的边缘的形状,且图像处理器6可使用具有较大权重的锐化滤光片来锐化软边缘,且使用具有较小权重的锐化滤光片来锐化硬边缘。举例来说,图像处理器6可基于检测到的边缘而锐化图像。以此方式,图像处理器6可将检测到的边缘的形状用作由图像处理器6执行的锐化功能的启发。
图3A说明包括软边缘的图像信号的一实例部分。图3B说明对应于图像信号的所述部分的五像素乘以五像素(5×5)区域的像素强度值。具体来说,图3B中所展示的5×5区域的像素强度值与图3A中所说明的图像信号的部分对应。图3A和图3B中所说明的图像信号在五像素跨度上以相对平滑、逐渐的方式从像素强度值十转变到像素强度值五十。如通过图3B的像素强度值所展示,图像信号以逐渐的方式从十递增到五十。图3A中所说明的数字图像信号的部分的点20、22和24与图3B中所说明的像素强度值的第一列、第三列和第五列处的像素强度值对应。
将出于说明性目的而描述将一实例内核应用到图像的实例部分的第三行和第三列中的像素以确定像素处于一边缘上,且更特定来说,处于一软边缘上。边缘检测模块10可以类似的方式将实例内核应用于图像内的其它像素。在一些例子中,边缘检测模块10可以类似的方式将内核应用于图像内的所有像素。在其它例子中,边缘检测模块10可将内核仅应用于图像内的像素的一子集,例如,每隔一行或一列中的像素。尽管在下一页上所说明的实例内核(1)的方面描述所述技术,但可使用具有不同尺寸的内核、具有较多或较少的非零值的内核、具有不同非零值的内核或其组合来利用所述技术。
以上所说明的实例5×5内核具有至少一行,所述行具有:第一列,其包括一阶量值的至少一个负值;第二列,其包括二阶量值的至少一个负值;以及第三列,其包括至少一个正值,所述至少一个正值包括一阶量值的一分量和二阶量值的一分量。以上所展示的实例5×5内核包括三行,所述三行包括非零值。内核的第二行包括值-1、0、-1000、0和1001,内核的第三行包括值-2、0、-2000、0和2002,且内核的第四行包括值-1、0、-1000、0和1001。因此,三行中的每一者具有:一负值,其为一阶量值,即,-1或-2;一负值,其为二阶量值,即,-1000或-2000;以及一正值,其具有一阶量值的一分量,即,分别为值-1001和-2002的-1或-2,且具有二阶量值的一分量,即,分别为值-1001和-2002的-1000或-2000。如将于下文中详细地描述,选择具有一阶量值和二阶量值的内核值允许边缘检测模块10在单一回合中产生表示信号的部分的至少两个一阶导数的和。
术语“一阶量值”和“二阶量值”与不同阶量值对应且不一定是连续阶量值。如以上实例中所说明,“一阶量值”的值,即,值-1和-2可被视作与零阶量值对应,而“二阶量值”的值,即,-1000和-2000可被视作与三阶量值对应。因此,如本文中所使用,术语“一阶量值”和“二阶量值”与可为连续或可为不连续的不同阶量值对应。
例如,可由应用设计者根据正被分析的信号的类型而选择用于内核中的非零值的各阶量值。所说明的实例内核可特别适合于应用到8位数字图像信号,即,使用8位来表示每一像素值的数字图像信号。在8位数字图像信号中,每一像素具有0与255之间的值。选择经选择用于非零值的二阶量值,以使得像素值与一列的一阶量值非零分量的相乘的和溢出成二阶量值是不可能的或至少存在很小的机率。使用8位图像作为一实例,最大像素值255与一阶量值(即,-1、-2和-1)相乘的和等于1020。然而,因为相应位置上的像素中的每一者具有255的值的可能性很小,所以实例内核具有二阶量值(例如,1000)。为了消除溢出的任何机率,可选择较大的二阶量值,例如,10,000。对于用较大或较小数目的位所表示的信号,可使用具有较大或较小阶量值的非零值。举例来说,对于16位图像,可使用具有较大阶量值的非零值,例如,1,000,000。同样,对于2位信号,可使用具有较小阶量值的非零值,例如,100。以此方式,可根据信号的最大可能值来选择内核的非零值的二阶量值。
为了应用(1)中所展示的实例内核,边缘检测模块10将内核定位在图像的部分上的中心处,以使得内核以第三行和第三列定位在像素上的中心处。边缘检测模块10对图像的部分和内核执行卷积以计算内核与所述像素值相乘的和。具体来说,图像的部分的像素强度值中的每一者乘以内核内的对应位置的值以获得经加权像素值,且接着对经加权像素值求和。在以上所说明的实例中,边缘检测模块10计算中心像素位置的和80,160,即(-1)(10)+(-1000)(30)+(1001)(50)+(-2)(10)+(-2000)(30)+(2002)(50)+(-1)(10)+(-1000)(30)+(1001)(50)。以此方式,根据特定像素的相邻区域中的像素值的至少一部分而计算特定像素位置的和。可添加或删除内核的非零值的数目以在确定中包括更多或更少的相邻像素值。
如以上所描述,经计算的和表示应用内核的信号的部分的至少两个一阶导数。在此实例中,所述和确切表示两个一阶导数,即,第一一阶导数,其对应于图3A中所说明的信号的点22与点24之间的线28的斜率;以及第二一阶导数,其对应于图3A中所说明的信号的点20与点24之间的线26的斜率。具体来说,所述和的一阶量值的值(即,80,000)对应于第一一阶导数,且所述和的二阶量值的值(即,160)对应于第二一阶导数。因此,边缘检测模块10可被视作沿着水平方向在三个点(即,点20、22和24)处对图像信号进行取样。
边缘检测模块10可通过执行将经计算的和80,160除以1000且将商(即,80)用作第一一阶导数并将余数(即,160)用作第二一阶导数的除法运算而识别第一和第二一阶导数的值。在一些例子中,边缘检测模块10可执行模运算以获得余数160。第一一阶导数对应于像素值在点22与点24之间的第一跨度上增加的量,且第二一阶导数对应于像素值在点20与点24之间的第二跨度上增加的量。根据线26和线28的斜率,第一一阶导数对应于点22与点24之间的行程上的第一上升,且第二一阶导数对应于点20与点24之间的行程上的第二上升。点22与点24之间的第一一阶导数可被视作超前一阶导数(或斜率),且点20与点24之间的第二一阶导数可被视作滞后一阶导数(或斜率)。
边缘检测模块10可进一步在相同行程上将第一和第二上升规格化。第一上升与三像素行程对应,而第二上升与五像素行程对应。为了在同一长度的行程上将上升规格化,边缘检测模块10可将第一上升乘以二。以此方式,上升经规格化,以使得两种上升与五像素跨度上的行程对应。在以上所描述的实例中,经规格化的第一和第二上升均等于160。通过将上升规格化以使其在五像素行程上,为了分析线26和线28的斜率的目的,边缘检测模块10可使用上升的值。
在其它例子中,边缘检测模块10可不将上升规格化。而是,边缘检测模块10可通过将上升中的每一者除以对应行程来单独计算线26和线28的斜率,且接着比较斜率。举例来说,边缘检测模块可通过将第一上升除以二(即,第三像素与第五像素之间的行程)来计算线28的斜率,且通过将第二上升除以四(即,第一像素与第五像素之间的行程)来计算线26的斜率。然而,将行程规格化和比较行程可减少边缘检测模块10执行的数学运算的数目。具体来说,计算两种斜率要求两个除法运算,且接着比较两种斜率的比率要求另一除法运算。然而,将上升规格化仅要求一个乘法运算(即,将第一上升乘以二),且比较两种上升的比率要求一除法运算。当对具有数千或甚至数百万像素的图像进行运算时,结果将为,对于每一被分析的像素减少一个数学运算,从而导致显著减少数学运算和相关联的计算开销和功率消耗。
边缘检测模块10分析线26和线28的斜率以确定像素位置是否对应于一边缘,且如果对应于一边缘,则确定边缘为软边缘还是硬边缘。在一些方面中,边缘检测模块10可通过分析经规格化的上升而分析线26和线28的斜率。因为在相同行程长度上(即,在五像素跨度上)将上升规格化,所以边缘检测模块10可使用上升来分析斜率。边缘检测模块10可将对应于点20到点24的跨度的第二经规格化的上升与阈值范围进行比较。作为一个实例,边缘检测模块10可确定第二经规格化的上升是否大于或等于120且小于或等于300。可根据像素的最大可能值、斜率在其上行进的像素的数目,或所述两者来选择阈值范围。如果第二经规格化的上升大于300,则认为点20到点24的斜率过大而不能构成软边缘。如果第二经规格化的上升小于120,则认为点20到点24的斜率不足以构成显而易见的边缘。可基于正被分析的图像的类型或内核的各阶量值来调整阈值范围的值。
如果第二经规格化的上升落在阈值范围内,则边缘检测模块10计算两种上升的比率以确定边缘是软边缘还是硬边缘。如果两种经规格化的上升的经计算比率大于或等于0.4且小于或等于1.6,则边缘检测模块10将边缘检测为软边缘。换句话说,两种上升彼此足够靠近以被认为是平滑、逐渐的边缘。如果两种上升的比率小于0.4或大于1.6,则边缘检测模块10将边缘检测为硬边缘。以此方式,边缘检测模块10基于线26与线28的斜率的比率而确定检测到的边缘是硬边缘还是软边缘。
可调整斜率和斜率的比率的阈值和/或范围以更强力地检测边缘或较不强力地检测边缘。此外,还可调整斜率的阈值和/或范围,以使得边缘检测模块10检测硬边缘和软边缘两者,仅检测软边缘,或仅检测硬边缘。因此,可调整斜率的阈值和/或范围以配置边缘检测模块10来选择性地检测特定形状的边缘,例如,仅平滑边缘和/或仅尖锐边缘。仅检测平滑边缘可允许图像处理器6(图1)选择性地锐化检测到的边缘,以使得不以降低尖锐边缘的质量的方式来锐化所述尖锐边缘。常规的一阶和二阶边缘检测内核可经调谐以找到硬边缘和软边缘。然而,因为一阶和二阶边缘检测内核不产生关于图像的部分上的相邻斜率或斜率的改变率的信息,所以常规的一阶和二阶边缘检测内核不能经调谐以在单一回合中检测边缘的形状(例如,边缘是硬边缘还是软边缘)。
在图3A和图3B中所说明的信号的实例部分中,第一和第二经规格化的上升等于160。第一经规格化的上升落在对应的阈值范围120-300内。第二经规格化的上升落在对应的阈值范围25-300内。因此,边缘检测模块确定所述像素位于一边缘上。此外,上升的比率等于1,其处于构成软边缘的范围内。因此,边缘检测模块10检测到第三行和第三列的像素位于一软边缘上。以此方式,边缘检测模块10分析数字图像信号以确定信号的形状。
以此方式,边缘检测模块10在单一回合中计算信号的一部分的两个或两个以上一阶导数,且使用所述两个或两个以上一阶导数来确定信号的形状。然而,常规的边缘检测器要求应用两个内核以检测信号的部分的至少两个一阶导数。举例来说,常规的边缘检测器可应用以下所说明的内核(2)和(3)以产生两个一阶导数。具体来说,常规的边缘检测器可应用内核(2)以检测图像信号的部分的第一一阶导数,且应用内核(3)以检测图像信号的部分的第二一阶导数。
因此常规的边缘检测技术要求大约两倍的处理资源和时间的量以实现本文中所揭示的技术的类似结果。边缘检测模块10可通过仅应用单一内核(例如,(1)中所说明的内核)而获得同一结果。以此方式,(1)中所说明的内核可被视作内核(2)和内核(3)融合成单一内核。
为了进一步优化内核,图像处理器6可将(1)中所展示的内核浓缩成3×3内核。具体来说,可从5×5矩阵(如(4)中所展示)中移除包括所有零值的行和列,以形成3×3浓缩内核(如(5)中所展示)。
尽管内核被浓缩且存储为3×3内核,但边缘检测模块10仍可将内核应用于图像信号的5×5部分。
由边缘检测模块10应用以上(1)中所展示的实例内核以检测图像内的垂直边缘。边缘检测模块10可应用具有实质上类似性质的第二内核以检测图像信号内的水平边缘。以下说明可用以根据本发明的技术而检测图像信号内的水平边缘的一实例内核。
边缘检测模块10可同时或在单独的若干回合期间将第一和第二内核应用于像素位置。如同用于检测垂直边缘的内核,用以检测水平边缘的内核(6)可被视为内核(7)与(8)的融合。
尽管根据以上(1)中所说明的实例内核进行描述,但可使用具有不同尺寸的内核、具有较多或较少的非零值的内核、在内核内的不同位置上具有非零值的内核、具有不同非零值的内核或其组合来利用所述技术。作为一实例,可使用为二的幂的非零值来取代内核(1)的非零值。举例来说,在(1)和(4)中所展示的5×5内核中,可使用-1024取代值-1000,可使用1025取代值1001,可使用-2048取代值-2000,且可使用2050取代值2002,如(9)中所展示。使用为二的幂的非零值可允许边缘检测模块10利用较快的移位运算子,例如,仅使用移位和除法。
作为另一实例,内核可包括具有三个不同量值的四个非零值的行。下文说明所述内核的一实例。
实例内核包含若干行,所述行包括一阶量值的第一负值、二阶量值的第二负值、三阶量值的第三负值,和一正值,所述正值具有一阶量值的一分量、二阶量值的一分量与三阶量值的一分量。使用所述内核允许边缘检测模块10在单一回合中计算三个一阶导数,即,三个不同跨度的斜率。因此,边缘检测模块10可能够更准确地确定信号的部分内的边缘的形状。
作为另一实例,内核可包括以径向方式而非水平和垂直方式布置的非零值。以下说明所述内核。
可使用具有不同尺寸的内核、具有较多或较少的非零值的内核、具有不同非零值的内核或其组合来利用所述技术。
图4A说明包括硬边缘的图像信号的一实例部分。图4B说明对应于图像信号的所述部分的五像素乘以五像素(5×5)区域的像素强度值。具体来说,图4B中所展示的5×5区域的像素强度值与图4A中所展示的图像信号的部分对应。如同图3A和图3B中所说明的图像信号的5×5部分,图4A和图4B中所说明的图像信号的5×5部分从像素强度值十转变到像素强度值五十。然而,图4A和图4B中所说明的图像信号的部分在单一像素上急剧转变,而非在五像素跨度上逐渐转变。如由图4B的像素强度值所展示,此急剧转变出现于第三列像素与第四列像素之间。图4A中所说明的图像信号的部分的点30、32和34与图4B中所说明的像素强度值的列一、列三和列五处的像素强度值对应。
以上所说明的由边缘检测模块10应用5×5内核(1)来检测图4A和图4B中所说明的信号的部分中的硬边缘将作为另一实例进行描述。边缘检测模块10将内核定位在图像的部分上的中心处,以使得内核以第三行和第三列定位在像素上的中心处。边缘检测模块10对图像的部分和内核执行卷积以计算经加权的像素值,且对经加权的像素值求和。对于图3A和图3B中所说明的信号,边缘检测模块10计算中心像素位置的和160,160,即(-1)(10)+(-1000)(10)+(1001)(50)+(-2)(10)+(-2000)(10)+(2002)(50)+(-1)(10)+(-1000)(10)+(1001)(50)。
所述经计算的和的一阶量值的值(即,160,000)对应于第一一阶导数,且二阶量值的值(即,160)对应于第二一阶导数。边缘检测模块10最初可通过使用除法运算的商和余数将第一和第二一阶导数的值规格化成同一阶量值。具体来说,除法运算的商(即,160)与第一一阶导数对应,且余数(即,160)与第二一阶导数对应。如以上所描述,经规格化的第一一阶导数对应于点32与点34之间的行程上的第一上升,且经规格化的第二一阶导数对应于点30与点34之间的行程上的第二上升。
边缘检测模块10可通过将第一上升乘以二而进一步在相同行程上将第一和第二上升规格化。以此方式,将上升规格化,以使得两种上升与五像素跨度上的行程对应。在以上所描述的实例中,经规格化的第一上升等于320,且第二上升等于160。通过将上升规格化以使其在五像素行程上,边缘检测模块10可出于分析线26和线28的斜率而非个别地计算斜率中的每一者的目的使用上升的值。如以上所描述,所述技术可减少由边缘检测模块10执行的算术运算的数目。
在此情况下,两种上升的比率等于2,其处于0.4到1.6的范围之外。因此,边缘检测模块10将边缘表征为硬边缘。如以上所描述,边缘检测模块10可在不在相同行程长度上将上升规格化的情况下计算斜率,且分析经计算的斜率。然而,所述分析可要求边缘检测模块10执行额外的数学运算。
图5为说明图像处理器(例如,图1的使用本文中所描述的技术来确定信号的形状的图像处理器6)的示范性操作的流程图。最初,图像处理器6获得信号(40)。图像处理器6可(例如)从图像处理器6耦合到的图像传感器4(图1)获得图像信号。然而,图像处理器6可从其它源(例如,经由图像处理器6耦合到的网络)获得图像信号。
图像处理器6的内核选择模块12选择多个内核中的一者以应用于信号(42)。内核选择模块12可基于图像处理器6的边缘检测模块10正检测垂直还是水平方向上的边缘而选择内核。举例来说,一些内核可经公式化以用于垂直检测,而其它内核经公式化以用于水平检测。内核选择模块12还可基于其它参数(例如,图像的分辨率)而选择内核。
边缘检测模块10将内核应用于第一像素以针对所述像素计算和(44)。具体来说,边缘检测模块10将内核定位在第一像素上的中心处,且执行一卷积,将图像的一部分内的第一像素周围的像素值中的每一者乘以内核内的对应位置的值,且接着对所述结果求和。边缘检测模块10基于经计算的和而识别至少两个一阶导数(46)。如以上所描述,经计算的和的一阶量值的值对应于第一一阶导数,且所述和的二阶量值的值对应于第二一阶导数。边缘检测模块10可通过对经计算的和执行除法运算且将除法运算的商和余数分别用作第一一阶导数和第二一阶导数而获得第一一阶导数和第二一阶导数。
边缘检测模块10可在像素的相同跨度上将至少两个一阶导数(48)规格化。第一一阶导数对应于像素的第一跨度上的第一上升,且第二一阶导数对应于像素的第二跨度上的第二上升。在一个实例中,第一一阶导数可表示点22与点24之间的斜率(图3A),且第二一阶导数可表示点20与点24之间的斜率(图3A)。可在像素的相同跨度上将一阶导数规格化。此导致减小的计算复杂性,且因此提供优于使用除法运算来计算斜率的若干效率优势。
边缘检测模块10确定第二一阶导数是否处于值的阈值范围内(52)。当第二一阶导数不处于值的阈值范围内时(52的“否”分支),边缘检测模块10确定第二一阶导数是否超过阈值范围(54)。在边缘检测模块10确定第二一阶导数超过阈值范围时(54的“是”分支),边缘检测模块10检测到像素位于硬边缘处(56)。在边缘检测模块10确定第二一阶导数不超过阈值范围时(54的“否”分支),边缘检测模块10检测到像素不位于边缘处(58)。
当第二一阶导数处于值的阈值范围内时(52的“是”分支),边缘检测模块10确定第一一阶导数与第二一阶导数的比率是否处于比率的阈值范围内(60)。在比率大于或小于比率的阈值范围时(60的“否”分支),边缘检测模块10检测到像素位于硬边缘处(56)。在比率处于比率的阈值范围时(60的“是”分支),边缘检测模块10检测到像素位于软边缘处(62)。边缘检测模块10确定图像信号内是否存在应用内核的额外像素(64)。在不存在额外像素时(64的“否”分支),图像处理器6等待获得另一信号(40)。在存在额外像素时(64的“是”分支),边缘检测模块10将内核应用于图像信号中的下一个像素(44)。以此方式,图像处理器6在内核的单一回合中确定信号的部分的形状,例如,检测像素是否处于边缘处。
图6为说明包括实施本发明中所描述的边缘检测技术的图像俘获装置2的一实例无线通信装置70的框图。图6展示与无线通信装置70集成的图像俘获装置2。在上文中关于图1描述了图像俘获装置2的操作,且因此在此将不详细地描述。无线通信装置70可包含无线通信装置手持机,例如具有图像俘获能力的蜂窝式电话(例如,所谓的相机电话或视频电话)、视频记录器、网络摄像头、个人数字助理(PDA)、膝上型计算机,或具有图像俘获和无线通信能力的任何其它装置。尽管在无线通信装置的上下文中进行说明,但本发明的技术还可适用于有线通信装置。
在图6的实例中,无线通信装置70包括图像俘获装置2、编码模块72、发射器74和取景器76。编码模块72可对经俘获的图像信息进行编码以将图像压缩成特定图像压缩格式以用于存储和/或发射。编码模块72可使用若干图像压缩格式(包括JPEG、TIFF、GIF或其它图像压缩格式)中的任一者来压缩图像。在视频的情况下,编码模块72可使用任何数目的视频压缩格式(例如,MPEG、MPEG高级视频译码(AVC)部分10、ITUH.264等)来压缩视频。
无线通信装置70可经由发射器74将经编码的图像发射到另一装置。发射器74通常提供到蜂窝式网络(例如,码分多址(CDMA)网络、宽带码分多址(W-CDMA)网络、时分多址(TDMA)网络,和全球移动通信系统(GSM)系统,或其它类似网络)的接口。除了蜂窝式网络之外,或作为蜂窝式网络的替代,发射器74可提供到如由相关的电气电子工程师协会(IEEE)802.11标准中的任一者所界定的无线网络,或任何其它有线或无线网络的接口。
无线通信装置70可在取景器76上呈现由图像俘获装置2俘获的图像或待由图像俘获装置2俘获的所关注的场景的实时图像(即,图像预览)。取景器76可包含电子取景器。示范性电子取景器通常包括一种或一种以上类型的显示器,例如液晶显示器(LCD)、有机发光二极管(OLED)显示器、等离子体显示面板(PDP)、发光二极管(LED)显示器(例如,有源矩阵LED显示器),或能够呈现经俘获或实时的图像的任何其它类型的显示器。取景器76还可包含替代以上所描述的电子取景器的较常规的光学取景器。在无线通信装置70的情况下,取景器76可包含通用电子显示器,其中所述显示器还呈现关于无线通信装置70可执行的其它功能的信息。举例来说,如果无线通信装置70表示所谓的相机电话,则取景器76还可呈现关于蜂窝式电话呼叫的发射和接收的信息。
尽管被描述为仅包括图像俘获装置2、编码模块72、发射器74和取景器76,但所述无线通信装置70还可包括其它模块,例如用于与用户介接的用户接口(例如,小键盘)、一个或一个以上用于执行额外操作的处理器,和用于接纳可装卸存储器、耳机、电源和任何其它所述外围装置的各种端口和插座。
可以硬件、软件、固件或其任何组合来实施本文中所描述的技术。经描述为模块或组件的任何特征可一起实施于集成逻辑装置中或单独地实施为离散的但可互操作的逻辑装置。在一些情况下,可将各种特征实施为集成电路装置,例如集成电路芯片或芯片组。如果以软件实施,则可至少部分由包含指令的计算机可读媒体实现所述技术,所述指令在执行时致使处理器执行以上所描述的方法中的一者或一者以上。计算机可读媒体可形成可包括封装材料的计算机程序产品的部分。计算机可读媒体可包含例如同步动态随机存取存储器(SDRAM)的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。除此之外或替代地,可至少部分由以指令或数据结构的形式载运或传送代码且可由计算机存取、读取且/或执行的计算机可读通信媒体实现所述技术。
代码可由一个或一个以上处理器执行,所述处理器例如为一个或一个以上DSP、通用微处理器、ASIC、现场可编程逻辑阵列FPGA或其它等效集成或离散逻辑电路。因此,本文使用的术语“处理器”可指代前述结构中的任一者或适于实施本文描述的技术的任一其它结构。另外,在一些方面中,可将本文描述的功能性提供于经配置以用于编码和解码的专用软件模块或硬件模块内,或并入于组合式视频编码器解码器(CODEC)中。因此,本发明还预期包括用以实施本发明中描述的技术中的一者或一者以上的电路的多种集成电路装置中的任一者。所述电路可提供于单个集成电路芯片中或提供于多个、可互操作的集成电路芯片中。
尽管在数字图像信号的上下文中描述本发明中所描述的技术,但所述技术可用以检测显示任何信号(表示正随时间、空间或其它维度而改变的变量)内的显著改变的信号的位置(例如,边缘)。此外,本发明的技术可用以确定所述变量如何在检测到的位置上改变。以此方式,所述技术可被视作检测数字信号模式和对检测到的模式进行分类。举例来说,本发明的所述技术可用以检测音频信号、视频信号或任何其它类型的信号内的数字信号模式,且对那些检测到的模式进行分类。
已描述了各种方面。这些和其它方面处于所附权利要求书的范围内。
Claims (22)
1.一种用于确定信号形状的方法,所述方法包含:
将内核应用于信号的一部分,以在所述内核的单一回合中至少计算所述信号的所述部分的第一一阶导数和所述信号的所述部分的第二一阶导数,其中,将应用所述内核得到的结果的一阶量值的值识别为所述第一一阶导数,将应用所述内核得到的结果的二阶量值的值识别为所述第二一阶导数;
基于所述第一和第二一阶导数来确定所述信号的所述部分的形状;
其中应用所述内核包含应用具有至少一个行的内核,在所述至少一个行中,第一列包括一阶量值的至少一个负值,第二列包括二阶量值的至少一个负值,且第三列包括至少一个正值,所述至少一个正值包括所述一阶量值的第一分量和所述二阶量值的第二分量,其中,所述一阶量值和所述二阶量值对应于不同阶的量值。
2.根据权利要求1所述的方法,其进一步包含获得所述信号,其中所述信号包含数字图像信号。
3.根据权利要求1所述的方法,其中确定所述信号的所述部分的所述形状包含:
基于所述第一和第二一阶导数来检测边缘;以及
基于所述第一和第二一阶导数来确定所述边缘的形状。
4.根据权利要求3所述的方法,其中检测所述边缘包含在所述第一和第二一阶导数中的一者大于阈值时检测所述边缘。
5.根据权利要求3所述的方法,其中确定所述边缘的所述形状包含基于所述第一一阶导数与所述第二一阶导数之间的比率来确定所述边缘的所述形状。
6.根据权利要求5所述的方法,其中确定所述边缘的所述形状包含在所述比率处于一阈值范围内时将所述边缘识别为软的。
7.根据权利要求5所述的方法,其中确定所述边缘的所述形状包含在所述比率大于或小于一阈值范围时将所述边缘识别为硬的。
8.根据权利要求1所述的方法,其中所述二阶量值随所述信号的最大可能值而变。
9.根据权利要求1所述的方法,其中将所述内核应用于所述信号以在所述内核的单一回合中计算所述信号的一部分的所述第一一阶导数和所述信号的所述部分的所述第二一阶导数包含:
将所述内核的非负值乘以所述信号的所述部分的对应值以获得经加权的信号值;
对所述经加权的信号值求和;
将所述和的一阶量值的值识别为所述第一一阶导数;以及
将所述和的二阶量值的值识别为所述第二一阶导数。
10.根据权利要求9所述的方法,其中:
识别所述和的所述一阶量值的所述值包含将除法运算的商识别为所述和的所述一阶量值的所述值,且
识别所述和的所述二阶量值的所述值包含将除法运算的余数识别为所述和的所述二阶量值的所述值。
11.根据权利要求1所述的方法,其中确定所述信号的所述部分的所述形状包含基于所述第一和第二一阶导数来确定所述信号的所述部分在垂直方向上的所述形状,所述方法进一步包含:
将第二内核应用于所述信号的所述部分,以在所述第二内核的单一回合中计算所述信号的所述部分的第三一阶导数和所述信号的所述部分的第四一阶导数;以及
基于所述第三和第四一阶导数来确定所述信号的所述部分在水平方向上的形状。
12.一种用于确定信号形状的装置,所述装置包含:
用于将内核应用于信号的一部分以在所述内核的单一回合中至少计算所述信号的所述部分的第一一阶导数和所述信号的所述部分的第二一阶导数的装置,其中,将应用所述内核得到的结果的一阶量值的值识别为所述第一一阶导数,将应用所述内核得到的结果的二阶量值的值识别为所述第二一阶导数;以及
用于基于所述第一和第二一阶导数来确定所述信号的所述部分的形状的装置;
其中用于应用内核的装置应用具有至少一个行的内核,在所述至少一个行中,第一列包括一阶量值的至少一个负值,第二列包括二阶量值的至少一个负值,且第三列包括至少一个正值,所述至少一个正值包括所述一阶量值的第一分量和所述二阶量值的第二分量,其中,所述一阶量值和所述二阶量值对应于不同阶的量值。
13.根据权利要求12所述的装置,其进一步包含用于获得所述信号的装置,其中,该用于获得的装置获得数字图像信号。
14.根据权利要求12所述的装置,其中所述形状确定装置基于所述第一和第二一阶导数来检测边缘,且基于所述第一和第二一阶导数来确定所述边缘的形状。
15.根据权利要求14所述的装置,其中所述形状确定装置在所述第一和第二一阶导数中的一者大于阈值时检测所述边缘。
16.根据权利要求14所述的装置,其中所述形状确定装置基于所述第一一阶导数与所述第二一阶导数之间的比率来确定所述边缘的所述形状。
17.根据权利要求16所述的装置,其中所述形状确定装置在所述比率处于一阈值范围内时将所述边缘识别为软的。
18.根据权利要求16所述的装置,其中所述形状确定装置在所述比率大于或小于一阈值范围时将所述边缘识别为硬的。
19.根据权利要求12所述的装置,其中所述二阶量值随所述信号的最大可能值而变。
20.根据权利要求12所述的装置,其中所述内核应用装置将所述内核的非负值乘以所述信号的所述部分的对应值以获得经加权的信号值、对所述经加权的信号值求和、将所述和的一阶量值的值识别为所述第一一阶导数,且将所述和的二阶量值的值识别为所述第二一阶导数。
21.根据权利要求20所述的装置,其中所述内核应用装置将除法运算的商识别为所述和的所述一阶量值的所述值,且将除法运算的余数识别为所述和的所述二阶量值的所述值。
22.根据权利要求12所述的装置,其中所述形状确定装置基于所述第一和第二一阶导数来确定所述信号的所述部分在垂直方向上的所述形状,所述内核应用模块将第二内核应用于所述信号的所述部分,以在所述第二内核的单一回合中计算所述信号的所述部分的第三一阶导数和所述信号的所述部分的第四一阶导数,且所述形状确定装置基于所述第三和第四一阶导数来确定所述信号的所述部分在水平方向上的所述形状。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/022,974 | 2008-01-30 | ||
US12/022,974 US7995845B2 (en) | 2008-01-30 | 2008-01-30 | Digital signal pattern detection and classification using kernel fusion |
PCT/US2009/032428 WO2009097423A1 (en) | 2008-01-30 | 2009-01-29 | Digital signal pattern detection and classification using kernel fusion |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101903893A CN101903893A (zh) | 2010-12-01 |
CN101903893B true CN101903893B (zh) | 2014-10-22 |
Family
ID=40757030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980101393.2A Expired - Fee Related CN101903893B (zh) | 2008-01-30 | 2009-01-29 | 使用内核融合的数字信号模式检测和分类 |
Country Status (7)
Country | Link |
---|---|
US (1) | US7995845B2 (zh) |
EP (1) | EP2085910A1 (zh) |
JP (1) | JP5254361B2 (zh) |
KR (1) | KR101177634B1 (zh) |
CN (1) | CN101903893B (zh) |
TW (1) | TW200943232A (zh) |
WO (1) | WO2009097423A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5491073B2 (ja) * | 2009-05-22 | 2014-05-14 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9241142B2 (en) * | 2013-01-24 | 2016-01-19 | Analog Devices Global | Descriptor-based stream processor for image processing and method associated therewith |
US9747693B1 (en) * | 2014-07-24 | 2017-08-29 | Bonanza.com, LLC | Object identification |
US10387988B2 (en) * | 2016-02-26 | 2019-08-20 | Google Llc | Compiler techniques for mapping program code to a high performance, power efficient, programmable image processing hardware platform |
JP6730611B2 (ja) * | 2017-01-11 | 2020-07-29 | 富士通株式会社 | 無線解析装置、無線解析方法、及びプログラム |
US10585209B2 (en) * | 2017-09-18 | 2020-03-10 | Baker Hughes, A Ge Company, Llc | Gamma ray spectra contrast sharpening |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997008610A1 (en) * | 1995-08-31 | 1997-03-06 | Intel Corporation | An apparatus for performing multiply-add operations on packed data |
US6798910B1 (en) * | 2001-05-17 | 2004-09-28 | The United States Of America As Represented By The Secretary Of The Air Force | Self-optimizing edge detection in blurred, high-noise images |
EP1624672A1 (en) * | 2004-08-07 | 2006-02-08 | STMicroelectronics Limited | A method of determining a measure of edge strength and focus |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3003799B2 (ja) | 1990-03-28 | 2000-01-31 | 富士写真フイルム株式会社 | 画像の鮮鋭度強調方法及びその装置 |
JP3645643B2 (ja) * | 1996-03-25 | 2005-05-11 | 株式会社ミツトヨ | エッジ検出方式 |
JP2001346070A (ja) * | 2000-06-02 | 2001-12-14 | Alps Electric Co Ltd | 画像信号の輪郭検出回路及びそれを備えた画像表示装置 |
US6941026B1 (en) * | 2000-06-13 | 2005-09-06 | Cognex Corporation | Method and apparatus using intensity gradients for visual identification of 2D matrix symbols |
JP2002083306A (ja) * | 2000-09-08 | 2002-03-22 | Oki Electric Ind Co Ltd | 画像処理装置 |
US6922488B2 (en) * | 2001-02-16 | 2005-07-26 | International Business Machines Corporation | Method and system for providing application launch by identifying a user via a digital camera, utilizing an edge detection algorithm |
-
2008
- 2008-01-30 US US12/022,974 patent/US7995845B2/en not_active Expired - Fee Related
- 2008-03-31 EP EP08006449A patent/EP2085910A1/en not_active Withdrawn
-
2009
- 2009-01-20 TW TW098102097A patent/TW200943232A/zh unknown
- 2009-01-29 WO PCT/US2009/032428 patent/WO2009097423A1/en active Application Filing
- 2009-01-29 JP JP2010545161A patent/JP5254361B2/ja not_active Expired - Fee Related
- 2009-01-29 KR KR1020107019288A patent/KR101177634B1/ko not_active IP Right Cessation
- 2009-01-29 CN CN200980101393.2A patent/CN101903893B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997008610A1 (en) * | 1995-08-31 | 1997-03-06 | Intel Corporation | An apparatus for performing multiply-add operations on packed data |
US6798910B1 (en) * | 2001-05-17 | 2004-09-28 | The United States Of America As Represented By The Secretary Of The Air Force | Self-optimizing edge detection in blurred, high-noise images |
EP1624672A1 (en) * | 2004-08-07 | 2006-02-08 | STMicroelectronics Limited | A method of determining a measure of edge strength and focus |
Non-Patent Citations (1)
Title |
---|
Jahne,Bernd.Digitale Bildverarbeitung.《Digitale Bildverarbeitung》.1997,309-364页. * |
Also Published As
Publication number | Publication date |
---|---|
JP5254361B2 (ja) | 2013-08-07 |
CN101903893A (zh) | 2010-12-01 |
US7995845B2 (en) | 2011-08-09 |
JP2011511984A (ja) | 2011-04-14 |
KR101177634B1 (ko) | 2012-08-27 |
US20090190837A1 (en) | 2009-07-30 |
TW200943232A (en) | 2009-10-16 |
WO2009097423A1 (en) | 2009-08-06 |
EP2085910A1 (en) | 2009-08-05 |
KR20100107516A (ko) | 2010-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10382712B1 (en) | Automatic removal of lens flares from images | |
CN101903893B (zh) | 使用内核融合的数字信号模式检测和分类 | |
KR102529351B1 (ko) | 구성가능한 복조를 위한 시스템들 및 방법들 | |
US10699395B2 (en) | Image processing device, image processing method, and image capturing device | |
CN108737728B (zh) | 一种图像拍摄方法、终端及计算机存储介质 | |
US7813583B2 (en) | Apparatus and method for reducing noise of image sensor | |
US8417047B2 (en) | Noise suppression in low light images | |
US8520969B2 (en) | Digital image processing apparatus and method | |
KR101705605B1 (ko) | 코드화된 조명을 이용하는 촬상 장치 및 이미지 처리 장치와 그 방법 | |
CN101375589A (zh) | 用于过滤图像信息的自适应图像过滤器 | |
TW201918995A (zh) | 多工高動態範圍影像 | |
US8441562B1 (en) | Color filter array alignment detection | |
KR20170067123A (ko) | 이미징 장치 및 그것의 이미지 처리 방법 | |
US20170366723A1 (en) | Imaging apparatus, imaging method, and program | |
EP3480785A1 (en) | Systems and methods for processing a stream of data values | |
CN112470472B (zh) | 盲压缩采样方法、装置及成像系统 | |
CN113286142B (zh) | 一种基于人工智能的图像成像感光度预测方法及系统 | |
WO2016026072A1 (en) | Method, apparatus and computer program product for generation of extended dynamic range color images | |
US20190387205A1 (en) | Tile-selection based deep demosaicing acceleration | |
Gharibi et al. | Using the local information of image to identify the source camera | |
US20170061586A1 (en) | Method, apparatus and computer program product for motion deblurring of image frames | |
US11153467B2 (en) | Image processing | |
CN111147693B (zh) | 一种全尺寸拍照图像的降噪方法及装置 | |
US9154716B2 (en) | Image processing apparatus and method for smoothing pixel values according to a divergence of pixel candidates | |
US20230060209A1 (en) | Image evaluation method that can quantify images distorted by artifacts, computer program performing the method, and computing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141022 Termination date: 20170129 |