CN102542241A - 嵌入式图像处理辨识系统与方法 - Google Patents
嵌入式图像处理辨识系统与方法 Download PDFInfo
- Publication number
- CN102542241A CN102542241A CN2010106022580A CN201010602258A CN102542241A CN 102542241 A CN102542241 A CN 102542241A CN 2010106022580 A CN2010106022580 A CN 2010106022580A CN 201010602258 A CN201010602258 A CN 201010602258A CN 102542241 A CN102542241 A CN 102542241A
- Authority
- CN
- China
- Prior art keywords
- image
- region
- interest
- candidate
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 28
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 53
- 238000010191 image analysis Methods 0.000 claims abstract description 29
- 230000003287 optical effect Effects 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000004040 coloring Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 15
- 238000012850 discrimination method Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009183 running Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 206010057855 Hypotelorism of orbit Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Abstract
一种嵌入式图像处理辨识系统与方法,其包括有一图像感测器、一光感测器以及一信号处理与控制模块。该图像感测器截取一外部环境的一图像。该光感测器感测关于该外部环境的一光特征值,以产生一感测信号。该信号处理与控制模块具有多种对应不同环境状态的图像解析演算法,根据该感测信号选择适当的图像解析演算法以对该图像进行解析,而得到关于一特征物的辨识图像。利用光感测器感测环境光源亮度,使得在外界光源强度变动情形下,可以顺利切换演算法,以因应不同的天候。
Description
技术领域
本发明为一种嵌入式图像处理系统与方法,尤其是指一种结合环境光感测器的嵌入式图像处理辨识系统与方法。
背景技术
随着科技进展,生活富裕,机动车辆日益普及至每个家庭,交通的方便性由于车辆科技的进步而不断提升。然而随着车辆使用的频繁,使用机动车辆造成的死亡人数始终居高不下。根据内政部警政署统计,历年来台湾地区每年因交通事故而死亡的人数皆维持在三千人左右,受伤人数则在二十万人左右,如2005年台湾地区因交通事故的死、伤人数各为2,894及200,009人。平均每天有8人因交通事故死亡。分析其肇事原因,百分之九十七以上是驾驶不当所致,事故类型又以追撞案例占大宗。这些交通事故不仅造成个人及家庭的负担,耗费社会有限的医疗资源,并造成国家生产力的损失。
有鉴于此,如果能以摄影机,建立一车道偏离及前车碰撞警示系统,应用先进的图像处理技术辨识出本车周围的车道及车辆并估计与其的相对距离,在驾驶者非预期性的跨越车道线或是与前车距离过近时提出警示信号,警告驾驶者作出适当处置,如减低车速等等,以避免事故的发生,也可降低交通事故发生机率。然而,在现有的技术中,此类系统只采用单纯的图像感测器,且并不强调在各种环境光源强度下以不同演算法及不同参数处理图像感测器所撷取的图像,受限于图像感测器其本身特性,并不容易有效的在任意的光源环境下有效辨识出物体。
而在美国专利公告号US.Pat.No.4,942,533号,其公开一种可以显示与检测车辆相对位置的技术。在该技术中,以车道线所形成的一消失点(vanishing point)估计摄影机仰角,而得以估计本车与前车的间距。另外,在US.Pat.No.5,555,312号中,其也公开出车道辨识以及车辆辨识的技术。在所公开的技术中,其演算法的设计与参数调整并无针对外在环境的光源变化(如日间与夜间)而自动调整其演算逻辑及演算法参数。
发明内容
本发明提供一种结合环境光感测器的嵌入式图像处理系统及辨识演算法,利用光感测器,可正确地判断出日夜间的外在环境亮度的差别,因此,图像处理系统的演算逻辑及演算法内部参数即可针对外界光源强度的变动(如日夜间)顺利从日间切换至夜间演算法,以实现一全天候皆可运作的车辆辨识图像处理系统。
在一实施例中,本发明提供一种嵌入式图像处理系统,其包括有:一图像感测器,其截取一外部环境的一图像;一光感测器,其感测关于该外部环境的一光特征值,以产生关于该光特征值的一感测信号;以及一信号处理与控制模块,其与该图像感测器以及该光感测器耦接以接收该图像以及该感测信号,该信号处理与控制模块存储有多种对应不同环境状态的图像解析演算法,该信号处理与控制模块根据该感测信号由该多种图像解析演算法中决定一图像解析演算法以对该图像进行解析,而得到关于至少一种特征物的辨识图像。
在另一实施例中,本发明提供一种嵌入式图像处理方法,其包括有下列步骤:提供一嵌入式图像处理系统,其具有一图像感测器、一光感测器以及一信号处理与控制模块,该信号处理与控制模块存储有多种对应不同环境状态的图像解析演算法;以该图像感测器截取一外部环境的一图像;以该光感测器,感测关于该外部环境的一光特征值,以产生关于该光特征值的一感测信号;以及利用该信号处理与控制模块根据该感测信号而由该多种图像解析演算法中决定其中的一图像解析演算法以对该图像进行解析,而得到关于至少一种特征物的辨识图像。
附图说明
图1为本发明的嵌入式图像处理辨识系统方块示意图。
图2A与图2B分别为可见光频谱与路灯的频谱示意图。
图3为本发明的嵌入式图像处理辨识方法流程第一实施例示意图。
图4为本发明的嵌入式图像处理辨识方法第二实施例流程示意图。
图5为本发明的夜间图像解析演算法实施例流程示意图。
图6A为具有多个兴趣区域的单一张图像示意图。
图6B与图6C分别为远兴趣区域与经过减缩取样的近兴趣区域示意图。
图7为本发明的嵌入式图像处理辨识方法第三实施例流程示意图。
【主要元件符号说明】
2-嵌入式图像处理辨识系统
20-图像感测器
21-光感测器
22-信号处理与控制模块
220-第一信号截取与解码单元
221-第二信号截取与解码单元
222-数字信号处理与控制单元
223-存取存储器
224-非易失性可编程存储器
225-信号传输单元
23-显示单元
3-图像处理辨识方法
30~33-步骤
4-图像处理辨识方法
40~43-步骤
420~428-步骤
90-图像
900-近兴趣区域
901-远兴趣区域
91、92-车辆
具体实施方式
为本领域技术人员能对本发明的特征、目的及功能有更进一步的认知与了解,下文特将本发明的装置的相关细部结构以及设计的理念原由进行说明,以使得本领域技术人员可以了解本发明的特点,详细说明陈述如下:
请参阅图1所示,该图为本发明的嵌入式图像处理辨识系统方块示意图。在本实施例中,该图像处理辨识系统2可以设置于一车辆上,以用以检测在该车辆周围的物体与该车辆间的相对状态。该物体,可以为可动物体或者是不可动物体,在本实施例中,其为可动物体,例如:车辆。而所谓相对的状态则可以为设置有该系统2的车辆与他车间(例如:前车)的距离。该嵌入式图像处理辨识系统2包括有一图像感测器20、一光感测器21以及一信号处理与控制模块22。该图像感测器20,其截取截取一外部环境的一图像。在本实施例中,该图像感测器20为摄影机,其可以截取一连续动态图像。而该图像为该连续动态图像中的一影格(frame)的图像,亦即在某一时间点所撷取的图像。该图像感测器20的感测光元件为光电耦合元件(Charge-Coupled Device;CCD)或互补式金属氧化物半导体的光学感测元件(Complementary Metal-Oxide Semiconductor,CMOS)。该光感测器21,其感测关于该外部环境的一光特征值,以产生关于该光特征值的一感测信号。该光特征值为关于该外部环境的光强度。该光感测器21,其可以为可见光感测器或者是不可见光感测器。该不可见光感测器可为紫外线感测器,但不以此为限制。
信号处理与控制模块22,其与该图像感测器20以及该光感测器21耦接以接收该图像以及该感测信号,该信号处理与控制模块22内存储有多种对应不同环境状态的图像解析演算法,该信号处理与控制模块22根据该感测信号由该多种图像解析演算法中决定一图像解析演算法以对该图像进行解析,而得到关于至少一种特征物的辨识图像。而该图像解析演算法依外部环境的光强度大小分为n种模式。例如在一实施例中,其可以分为日间图像解析演算法及夜间图像解析演算法。根据光特征值的信息,信号处理与控制模块22可以选择适当的辨识演算法,对所截取到的图像进行辨识。
要说明的是,虽然在夜间也有路灯会发光,但是其强度与日光相比,具有很大的差距,可见光感测器其输出值为Lux,而实际上外界图像白天至晚上的亮度值(Lux)的变换范围为数十K(Lux)至数十(Lux);同样地,以接受不可见光的紫外线感测器为例,如图2A至图2B所示,其中图2A为可见光的强度,而图2B则为路灯的强度。我们可以发现,320~380nm也就是紫外线的频带,相较于日光,路灯几乎不具有紫外线,因此,如量测白天至晚上的幅射量μW/cm2的变换范围,其变动大约具有数十μW/cm2至数十mW/cm2差距。因此,以最简易的应用的日夜间切换为例,使用可见光感测器及紫外线感测器皆可轻易地求取一适当的阈值(threshold),分辨出日夜间,通过大量的数值分析,即可针对日夜间设计最适当的演算法及其对应的参数。实际系统运作时,适当的演算法及参数即可依据环境光源感测器的光源检测结果予以切换。除了日夜间切换以外,晴天及阴天,皆具有一最适演算法及其最适参数,而环境光感测器的输出值皆可明确地区隔,甚至可以区隔出不同程度的晴天又或是不同程度的阴天,因此,本发明则根据感测的信息,预先设置对应不同光强度的演算法,以得到最佳化的处理结果。
在本实施例中,该信号处理与控制模块22内还具有一第一信号截取与解码单元220、一第二信号截取与解码单元221、一数字信号处理与控制单元222、一随机存取存储器223、一非易失性可编程存储器224,以及一信号传输单元225。该第一信号撷取与解码单元220,其与该图像感测器20相耦接,耦接的接口为模拟的复合视频(composite video)接口,或是数字的低电压差动信号(Low-Voltage Differential Signaling,LVDS)接口。该第一信号截取与解码单元220针对图像感测器20所输出的信号,依其信号类别的不同,进行解析或解码成数字信号处理与控制单元所能处理的信号格式。同样地,该第二信号撷取与解码单元221,其与该光感测器21耦接,以检测光感测器21所输出感测的信号,依其信号类别的不同,可为模拟输出搭配模拟数字转换器(ADC)供后续数字信号处理,或是数字的内部整合电路接口(Inter Integrated Circuit,I2C),但不以此为限,以对感测信号进行解析或解码成数字信号处理与控制单元222所能处理的信号格式。
该数字信号处理与控制单元222,其可处理图像感测器20及光感测器21所撷取的信号分别经信号撷取与解码单元220与221所解码的信息,该信息可放置于随机存取存储器223以供演算过程使用,演算后的结果可存储于非易失性可编程存储器224或直接通过信号传输单元225输出给一显示单元23,例如液晶显示器等,但不以此为限。该信号传输单元225,其与随机存取存储器223及数字信号处理与控制单元222连结,并输出当下的演算结果。该随机存取存储器223其可用于暂存任何数字信号处理与控制单元222演算过程中的所需的信息。该非易失性可编程存储器224其可永久存储演算过程中的任何信息,或是存储任何使用过程中的系统设定以及存储该多种对应不同环境光强度时的演算法。
请参阅图3所示,该图为本发明的嵌入式图像处理辨识方法流程第一实施例示意图。该流程为该嵌入式图像处理辨识系统2运作的流程,以下的说明即以图1所示的系统且设置于一车辆(以下以本车称的)上来对应说明。嵌入式图像处理辨识方法首先以步骤30中,信号处理与控制模块22接收光感测器21所检测在本车的外部环境的光特征所产生的感测信号以及接收图像感测器20所感测的连续图像信号。接着以步骤31该信号处理与控制模块22根据该感测信号决定一图像解析演算法。在步骤31中,如图3所示,本实施例将光感测信号的强度分成多种(n种)范围,然后根据步骤30中所得到的感测信号,判断属于哪一个范围内,并选择对应该范围的图像解析演算法,然后,再以步骤32来进行运算处理,以得到至少一种特征物的辨识图像。最后,再以步骤33将辨识出的结果出至显示单元23上。输出的显示单元的结果除了包括被辨识出的特征物之外,也可以包括本车与周围车辆的距离以及相关的警示讯息等。
请参阅图4所示,该图为本发明的嵌入式图像处理辨识方法第二实施例流程示意图。本实施例流程中的特征物为外部环境中车辆的车尾灯。该嵌入式图像处理辨识方法4的步骤40中,信号处理与控制模块22接收光感测器21所检测在本车的外部环境的光特征所产生的感测信号以及接收图像感测器20所感测的连续图像信号。接着以步骤41该信号处理与控制模块22根据该感测信号决定一图像解析演算法。在步骤41中,本实施例将光感测信号的强度分成两种范围,一为日间,另一为夜间。然后根据步骤40中所得到的感测信号,判断属于日间或夜间的范围,并选择对应该范围的图像解析演算法,再以步骤42进行运算处理,以得到至少一种特征物的辨识图像,最后在步骤43中利用显示单元23输出辨识结果。其中在日间演算法的部分,在现有技术中有很多演算辨识的机制,以辨识出周围环境中的车辆等类的特征物。
另外,当光感测器21所输出的感测信号属于夜间的感测范围时,则会进入夜间辨识的演算辨识流程。请参阅图5所示,该图为本发明的夜间图像解析演算法实施例流程示意图。一般的运算平台皆不具有即时对系统输入图像作即时处理的能力,因此此类图像辨识系统通常必须针对原始图像进行兴趣区域(region of interest,ROI)的截取以及缩减取样,在夜间演算的流程中,首先以步骤420于该图像中截取多个兴趣区域。要说明的是步骤420的图像为动态图像中的每一单位时间图像,例如:一般摄影机所撷取的动态图像为每秒30张图像,且以NTSC的标准图像为例,其解析度为720*480,则在步骤420中的图像则为每秒中30张中的其中一张图像。此外,由于在一实施例中,该多个兴趣区域包括有至少一第一兴趣区域以及至少一第二兴趣区域,其原因在于单一兴趣区域受限于无可避免的缩减取样,导致单一兴趣区域内的远方待辨识物体往往会因此过于模糊而难以辨识。在本实施例中,该第一兴趣区域为近兴趣区域,该第二兴趣区域为远兴趣区域。因为该远兴趣区域的位置选择在具有对应该近兴趣区域因为减缩取样而模糊的物体图像。
其中该远兴趣区域的原始图像尺寸通常小于该近兴趣区域的图像尺寸。要说明的,远兴趣区域与近兴趣区域的大小,是取决于运算处理平台的速度而定,并不以本发明的实施例的大小关系为限制。例如,图6A中为具有多个兴趣区域的单一张图像90。其中兴趣区域900为代表近兴趣区域,而兴趣区域901则代表远兴趣区域。在远兴趣区域901中的物体,本实施例为车辆91,其亦存在于近兴趣区域900中。
随后进行步骤421,对该近兴趣区域进行缩减取样。步骤421的目的为,由于远兴趣区域与近兴趣区域中的图像解析度不同,一般而言,近兴趣区域内的物体比较清楚,而远兴趣区域的物体则比较模糊,因此如果对远兴趣区域图像中远方车辆,再进行缩减取样,本来已经模糊的远方车辆将变得更加难以辨识,因此设计上远兴趣区域的大小将局限于远方车道区块(约为250*100pixel,此大小仅为实施例但不以此为限制,此与运算平台的存储器大小及处理器运算能力有关),且不施以缩减取样;至于近兴趣区域的部分则取画面所有前方车道部分,再施以缩减取样至与远兴趣区域相同大小,如图6B与图6C所示,然而两兴趣区域的大小并不一定要相同,此可依需求而定。要说明的是步骤421的方式,并非本发明夜间图像解析演算法中的必要步骤。另外,虽然在图6A中兴趣区域为两个但实际上的数量并不以此为限制。
随后,进行步骤422,将该多个兴趣区域所对应的图像分别转换成一灰阶图像。然后,以步骤423,对每一灰阶图像进行中间值处理,以将图像相对较暗的地方滤除及相对较亮的区块以线性方式增强其区块亮度。通过中间值调整,使环境光源过亮时能使全图像灰阶变暗,此时车辆的特征值信息(车尾灯)即会明显显示出来。中间值转换的方程式如下式(1):
其中Mcon为所设计的中间值调整值,Gmed(x,y)为中间值调整后的灰阶,G(x,y)为原始对应兴趣区域的图像所具有的灰阶。
随后进行步骤424,对每一经中间值调整后的图像进行对比强化处理。在步骤424中,由于在中间处理图像中的亮点和暗点大多是图像中的边或是有强烈对比的部分。因此通过对比增强是一种强效图像对比增强的步骤,尤其是对于具有高明暗度范围的图像。该步骤主要是通过线性放大的原理,将相对较亮的地方使之更亮,相对较暗的地方使之变更暗,改进图像的对比及动态范围特性。该步骤不仅能有效增强图像对比用以修正曝光不良及照度不正确图像之外,亦能使得对比增强后图像噪声不至于被放大。对比增强的主要概念由一条线性函数的公式所定义,对比所代表的是斜率,亮度则是偏移量,其式如下式(2):
其中Tcon为所设计的对比增强变异量,Gcont(x,y)为对比增强后的灰阶,G(x,y)为对应兴趣区域的原始图像的灰阶。
在夜间灰阶图像经过步骤423至424之前处理后,即以步骤425进行一灰阶二值化处理,使每一个兴趣区域具有对应的一处理图像。要说明的是,夜间图像中一般图像的亮度分布图会因环境光影响导致图像的直方图(histogram)的分布偏暗或偏亮,因此如果单纯以步骤425动态二值化切割出二值化图像时,容易将相对较亮区块(车灯信息)滤除,因此在对图像二值化前若能先将图像相对较暗的地方滤除及相对较亮的区块以线性方式增强其区块亮度,通过步骤423「中间值」进行调整,再通过步骤424进行后续对比增强的动作,将有效能使二值化图像更为清晰,经过转换后的图像将能够突显亮度高及亮度低的部分使对比更加显着。不过要说明的是,步骤423与424是要让后续图像辨识的效果增加,而此类属于前处理的图像处理方法或参数、先后顺序或是否使用此两种步骤依所使用的图像感测器的图像输出品质而定,因此步骤423与424并非本发明精神的必要的步骤,使用者可以根据需要使用别的方式予以替代或省略。
步骤425的二值化处理是利用一种基于机率的均匀分布概念,通过灰阶图像的平均灰阶计算出标准差及变异数,决定出该灰阶图像二值化的阈值(Threshold),将图像的亮度高在此阈值的像素全部以白色(255)表示,亮度低在此阈值的像素全部以黑色(0)表示,如果此阈值能够适当的决定,即可迅速去除不必要的像素,保留所需的信息,简化图像复杂度。该二值化取阈值的动作,首先原先的灰阶图像中每一个像素G(x,y)的亮度值均介于[0,255],接着计算整张图像的平均灰阶并假设该灰阶图像为均匀分布,通过平均灰阶当作均匀分布的中心位置,其变异量及标准差式可由下式(3)所示:
T=(Gavg+σ)/255
其中均匀分布中心值即为灰阶图像的平均灰阶,σ为变异量,T为二值化的阈值(Threshold);取出其值作为动态二值化的阈值threshold为T,经二值化图像的图像为b(x,y),而二值化图像的判断式(4)为:
但是由于夜间环境光线影响,外部环境中关于前车信息可能还包含着不需要的背景,因此还可以更进一部使用步骤426以四连通物件标记(4adjacent connected-component)法将二值图像中属于同一物体区域的所有像素都能够连接起来,以针对后续物体外观及其特性作进一步的滤除演算。同样,步骤426并非为本发明精神下必要的步骤,使用者可以根据需要使用别的方式予以替代或省略。
随后,以步骤427对于该多个处理图像中寻找关于该至少一种特征物所具有的一候选物件。由于在夜间辨识的实施例中,该特征物为前方车辆车尾灯,因此在步骤427中所得到的候选物件为处理图像中的亮点特征。接着以步骤428,根据至少一滤除法则,判断该候选物件是否为该至少一种特征物。该滤除法则基本上分成两阶段,首先通过步骤426中,连通物件标记即可设一大略的面积滤波器将过大或过小的物体滤除。接着,进一步通过如下的细部特征作为候选物件(本实施例为车尾灯)的滤除准则:1.长宽比率(Aspect ratio);2.是否位于主车道线内(In lane);3.图像中纵轴所相对应合理的面积(Area)大小;4.两车灯的面积比;5.两车灯的平均灰阶比;6.车尾灯红色信息,本实施例中,用RGB彩色图像中的R(x,y)-B(x,y)经正规化后的值判断(x,y)是否具有红色成份,因此判断车尾灯的依据为在灰阶图像中候选车灯周围是否具有红色成份。通过上述六项特性可顺利将成对车灯找出并避免非车灯元件(如天空亮点、路灯、地面反光、猫眼石等等噪声)所产生的辨识错误。要说明的是,前述六项法则可以根据需要而任意选择组合的方式,并不一定要全部实施。此外,使用者也可以根据要辨识的物件种类给予不同的判断法则。
步骤428后即得到关于前方车辆的车尾灯位置。回到图4所示,接着可以利用所找到车尾灯的位置以步骤43进行很多辅助驾驶的动作。在本实施例中,步骤43该辅助驾驶的动作为判断本车与前车间的距离。例如根据前车尾灯找出前车车底阴影的位置,然后再估算本车与前车间的距离。其中,车底阴影位置的计算方式则基于车灯间的像素多寡而决定,两车灯间的像素以及车灯至车底阴影处的像素的比值约为2比1,因此在检测出车灯位置后,依据此比值即可求出车底阴影所在。然后完成后续的距离检测以及基于与前车间距的TTC(Time To Collision)。当与前车的距离过近时,也就是TTC小于预先设计的阈值时,即可使用声、光或振动的方式提醒驾驶者当下的危险驾驶行为。再完成图5步骤428之后,随即再回到步骤420继续处理下一个时间点的图像,例如:前一次处理的图像如果为第30分的1秒时的图像,则第二次处理的图像则为第30分的2秒时的图像。
另外请参阅图7为本发明的嵌入式图像处理辨识方法第三实施例流程示意图。在本实施例中的方法4,基本上与图4类似,差异在于本实施例的步骤44与图4的步骤43,其差别主要在本实施例每一时间点所处理的兴趣区域是不同的。亦即,本实施例中的步骤44主要是对不同时间点时的图像以交错式的方式反复轮流处理不同的兴趣区域。例如,以图6A为例,如果图像90中规划有两个兴趣区域900与901,则先对与该第一时间点对应的一第一图像所具有的近兴趣区域进行夜间图像解析演算法,辨识演算法则如图5中的步骤422~428的程序。完毕之后,则回到图4的步骤43输出辨识结果;接着,如果第二时间点还是夜间的话,则下一次处理则针对该第二时间点的图像内的所具有的远兴趣区域进行夜间图像解析演算法,辨识演算法则如图5中的步骤422~428的程序。当在第三时间点时,则再对该第三时间点图像中的近兴趣区域进行图像辨识,如此反复地对远近的兴趣区域循环处理。同理,如果单一图像中有三个兴趣区域,则三个时间点为一个周期。交替处理不同兴趣区域的方式主要是可以在不需要增加系统运算能力的情况下,嵌入式图像处理辨识系统还可以保持准确的辨识能力,以提供准确的辨识结果。也就是说,利用近兴趣区域让系统判断出离本车较近区域的周遭环境状态,再利用远兴趣区域弥补近兴趣区域减缩取样后的远方待辨识物会有模糊不易辨识的问题。如此,可以降低系统的建置成本,更可以增加运算处理的速度,也不损失辨识准确度,此法有助于提升辨识率并同时兼顾系统的运作效能。
然而以上所述仅为本发明的实施例,当不能以的限制本发明范围。即大凡依本发明权利要求书所做的均等变化及修饰,仍将不失本发明的要义所在,亦不脱离本发明的精神和范围,故都应视为本发明的进一步实施状况。
Claims (20)
1.一种嵌入式图像处理系统,其包括有:
一图像感测器,其截取一外部环境的一图像;
一光感测器,其感测关于该外部环境的一光特征值,以产生关于该光特征值的一感测信号;以及
一信号处理与控制模块,其与该图像感测器以及该光感测器耦接以接收该图像以及该感测信号,该信号处理与控制模块存储有多种对应不同环境状态的图像解析演算法,该信号处理与控制模块根据该感测信号由该多种图像解析演算法中决定一图像解析演算法以对该图像进行解析,而得到关于至少一种特征物的辨识图像。
2.如权利要求1所述的嵌入式图像处理系统,其中光感测器为可见光感测器或者是不可见光感测器。
3.如权利要求1所述的嵌入式图像处理系统,其设置于一第一车辆上,其中该特征物为该第一车辆前后左右的车道线或邻近的第二车辆或者是该第二车辆的车尾灯。
4.如权利要求1所述的嵌入式图像处理系统,其中该光特征值为关于该外部环境的光强度,而该图像解析演算法分为日间图像解析演算法及夜间图像解析演算法。
5.如权利要求4所述的嵌入式图像处理系统,其中该信号处理与控制模块执行夜间图像解析演算法时,在该图像中截取多个兴趣区域;于该多个兴趣区域中对其中的至少一兴趣区域所具有的图像进行一灰阶二值化处理,使被处理的兴趣区域具有对应的一处理图像;于该处理图像中寻找关于该至少一种特征物所具有的一候选物件;根据至少一滤除法则,判断该候选物件是否为该至少一种特征物。
6.如权利要求5所述的嵌入式图像处理系统,其中该信号处理与控制模块进行该灰阶二值化处理前,还将该至少一兴趣区域所对应的图像分别转换成一灰阶图像;对每一灰阶图像进行中间值处理,以形成一经中间值调整后的图像;以及对每一中间值调整后的图像进行对比强化处理。
7.如权利要求5所述的嵌入式图像处理系统,其中该多个兴趣区域包括有至少一第一兴趣区域以及至少一第二兴趣区域。
8.如权利要求7所述的嵌入式图像处理系统,其中在该灰阶二值化处理之前,该信号处理与控制模块对该第一兴趣区域进行缩减取样,该第二兴趣区域内具有对应该第一兴趣区域因为减缩取样而模糊的物体图像。
9.如权利要求5所述的嵌入式图像处理系统,其中该特征物为车尾灯,该滤除法则为该候选物件是否位于车道线内、关于该候选物件的彩色图像中所具有的颜色信息、该候选物件的面积、该候选物件的长宽比率、候选物件的面积大小、两候选物件间的面积比或者是两候选物件的平均灰阶比。
10.如权利要求1所述的嵌入式图像处理系统,其中该光特征值为关于该外部环境的光强度,而该图像解析演算法依外部环境的光强度大小分为多种模式。
11.一种嵌入式图像处理方法,其包括有下列步骤:
提供一嵌入式图像处理系统,其具有一图像感测器、一光感测器以及一信号处理与控制模块,该信号处理与控制模块存储有多种对应不同环境状态的图像解析演算法;
以该图像感测器截取一外部环境的一图像;
以该光感测器,感测关于该外部环境的一光特征值,以产生关于该光特征值的一感测信号;以及
利用该信号处理与控制模块根据该感测信号而由该多种图像解析演算法中决定其中的一图像解析演算法以对该图像进行解析,而得到关于至少一种特征物的辨识图像。
12.如权利要求11所述的嵌入式图像处理方法,其中光感测器为可见光感测器或者是不可见光感测器。
13.如权利要求11所述的嵌入式图像处理方法,其中该嵌入式图像处理系统设置于一第一车辆上,其中该特征物为该第一车辆前后左右的车道线或邻近的第二车辆或者是该第二车辆的车尾灯。
14.如权利要求11所述的嵌入式图像处理方法,其中该光特征值为关于该外部环境的光强度,而该图像解析演算法分为日间图像解析演算法及夜间图像解析演算法。
15.如权利要求14所述的嵌入式图像处理方法,其中该夜间图像解析演算法还包括有下列步骤:
在该图像中截取多个兴趣区域;
在该多个兴趣区域中对其中的至少一兴趣区域所具有的图像进行一灰阶二值化处理,使被处理的兴趣区域具有对应的一处理图像;
在该处理图像中寻找关于该至少一种特征物所具有的一候选物件;以及
根据一滤除法则,判断该候选物件是否为该至少一种特征物。
16.如权利要求15所述的嵌入式图像处理方法,其中进行该灰阶二值化处理前,还包括有下列步骤:
将该至少一兴趣区域所对应的图像分别转换成一灰阶图像;
对每一灰阶图像进行中间值处理,以形成一经中间值调整后的图像;以及
对每一中间值调整后的图像进行对比强化处理。
17.如权利要求15所述的嵌入式图像处理方法,其中该多个兴趣区域包括有至少一第一兴趣区域以及至少一第二兴趣区域。
18.如权利要求17所述的嵌入式图像处理方法,其中在该灰阶二值化处理之前还包括有对该第一兴趣区域进行缩减取样,该第二兴趣区域内具有对应该第一兴趣区域因为减缩取样而模糊的物体图像。
19.如权利要求15所述的嵌入式图像处理方法,其中该特征物为车尾灯,该滤除法则为该候选物件是否位于车道线内、关于该候选物件的彩色图像中所具有的颜色信息、该候选物件的面积、该候选物件的长宽比率、候选物件的面积大小、两候选物件间的面积比或者是两候选物件的平均灰阶比。
20.如权利要求11所述的嵌入式图像处理方法,其中该光特征值为关于该外部环境的光强度,而该图像解析演算法依外部环境的光强度大小分为多种模式。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW99143203 | 2010-12-10 | ||
TW99143203A TW201224954A (en) | 2010-12-10 | 2010-12-10 | Embedded system and method for processing and identifying image |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102542241A true CN102542241A (zh) | 2012-07-04 |
Family
ID=46349103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010106022580A Pending CN102542241A (zh) | 2010-12-10 | 2010-12-23 | 嵌入式图像处理辨识系统与方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN102542241A (zh) |
TW (1) | TW201224954A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107038711A (zh) * | 2016-02-02 | 2017-08-11 | 财团法人资讯工业策进会 | 适应演化式车灯号志侦测追踪与辨识系统及方法 |
CN110992420A (zh) * | 2019-12-18 | 2020-04-10 | 天地伟业技术有限公司 | 一种检测粮仓车辆运载情况的系统及方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI609807B (zh) | 2016-05-17 | 2018-01-01 | 緯創資通股份有限公司 | 影像評估方法以及其電子裝置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101204957A (zh) * | 2006-12-20 | 2008-06-25 | 财团法人工业技术研究院 | 车道偏移警示方法与装置 |
-
2010
- 2010-12-10 TW TW99143203A patent/TW201224954A/zh unknown
- 2010-12-23 CN CN2010106022580A patent/CN102542241A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101204957A (zh) * | 2006-12-20 | 2008-06-25 | 财团法人工业技术研究院 | 车道偏移警示方法与装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107038711A (zh) * | 2016-02-02 | 2017-08-11 | 财团法人资讯工业策进会 | 适应演化式车灯号志侦测追踪与辨识系统及方法 |
CN110992420A (zh) * | 2019-12-18 | 2020-04-10 | 天地伟业技术有限公司 | 一种检测粮仓车辆运载情况的系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
TW201224954A (en) | 2012-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104512411B (zh) | 车辆控制系统及图像传感器 | |
CN104050620B (zh) | 对象检测设备 | |
JP5299026B2 (ja) | 車両用表示装置 | |
JP5260696B2 (ja) | エッジ点抽出装置、車線検出装置、およびプログラム | |
JP5547160B2 (ja) | 車両周辺監視装置 | |
US9688197B2 (en) | Night detection of parked vehicles | |
CN100586772C (zh) | 车道偏移警示方法与装置 | |
JP2008165743A (ja) | 昼夜画像識別方法及び装置 | |
JP2009071789A (ja) | 車両周辺監視システム | |
JP2009017157A (ja) | 画像処理装置および方法、並びに、プログラム | |
JP4927647B2 (ja) | 車両周辺監視装置 | |
CN106915295A (zh) | 车辆大灯状态的控制方法及装置 | |
CN112750170A (zh) | 一种雾特征识别方法、装置及相关设备 | |
Lin et al. | Adaptive IPM-based lane filtering for night forward vehicle detection | |
US20080012942A1 (en) | Imaging System | |
CN102542241A (zh) | 嵌入式图像处理辨识系统与方法 | |
JP2011227657A (ja) | 車両の周辺を監視する装置 | |
CN105046223B (zh) | 一种隧道入口“黑洞效应”严重程度的检测装置及方法 | |
JP5434277B2 (ja) | 走行支援装置および走行支援方法 | |
US10596957B2 (en) | Image recognition-based intelligent alarm lamp | |
CN109602585B (zh) | 一种导盲眼镜及其防撞预警方法 | |
US10977500B2 (en) | Street marking color recognition | |
KR101969856B1 (ko) | 주변 광의 검출 방법 및 시스템 | |
WO2021161443A1 (ja) | 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム | |
JP5383246B2 (ja) | 車両の周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120704 |