CN117729447A - 动态影像产生方法及其动态影像传感器 - Google Patents
动态影像产生方法及其动态影像传感器 Download PDFInfo
- Publication number
- CN117729447A CN117729447A CN202211093567.9A CN202211093567A CN117729447A CN 117729447 A CN117729447 A CN 117729447A CN 202211093567 A CN202211093567 A CN 202211093567A CN 117729447 A CN117729447 A CN 117729447A
- Authority
- CN
- China
- Prior art keywords
- exposure
- short
- long
- image signal
- exposure time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 102
- 238000013507 mapping Methods 0.000 claims description 56
- 230000004927 fusion Effects 0.000 claims description 39
- 238000004422 calculation algorithm Methods 0.000 claims description 37
- 238000012360 testing method Methods 0.000 claims description 11
- 230000007423 decrease Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000001965 increasing effect Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 24
- 230000000694 effects Effects 0.000 description 17
- 230000009466 transformation Effects 0.000 description 8
- 230000002708 enhancing effect Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001125 extrusion Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 239000007991 ACES buffer Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 235000015110 jellies Nutrition 0.000 description 1
- 239000008274 jelly Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明提供了一种动态影像产生方法及其动态影像传感器。所述动态影像传感器包括第一曝光像素、第二曝光像素以及图像处理模块。所述动态影像传感器应用所述动态影像产生方法,其透过第一曝光像素曝光待测短曝光时间产生待测短曝影像讯号,同时第二曝光像素曝光待测长曝光时间产生待测长曝影像讯,图像处理模块确认待测短曝影像讯号及待测长曝影像讯号是否高于夹挤下限或低于夹挤上限;若是,则产生最佳短曝光时间以及最佳长曝光时间;反之,将待测短曝光时间增加短曝光定值或将待测长曝光时间减少长曝光定值,并重复执行所述自动曝光时间方法直至产生最佳短曝光时间以及最佳长曝光时间。
Description
技术领域
本发明涉及车辆技术领域,特别涉及一种高侦率及高动态范围的动态影像产生方法及其动态影像传感器。
背景技术
近年自驾车产业的需求日趋蓬勃,对自驾车而言,用于侦测实时道路状况的影像传感器是必备组件。目前,应用于侦测实时道路状况的影像传感器又以动态视觉传感器(Dynamic Vision Sensor,DVS)为主流,其原因在于,动态视觉传感器是以事件(event)为单位记录影像信息。这种基于动态事件的传感器使得机器的自主性更加接近现实,因而适用于自动驾驶车领域中基于视觉的高速应用。
然而,在道路驾驶过程中,偶尔会发生照明程度在短时间之内剧烈改变的情形,从而造成影像传感器局部(或全部)暂时性的产生过度曝光(或曝光不足)的问题。在此短暂的时间内,自驾车的影像辨识算法在面对细节不足的画面,无法做出正确的对象侦测,因而提高发生事故的风险。
因此,如何优化影像传感器,使得影像传感器在极高的帧率之下可以快速地调整曝光程度,以产生最佳的曝光时间,并透过对同一帧照片进行色调映射(tone mapping)及曝光融合(exposure fusion)产生高动态范围影像,使其影像细节在面对各种照度的环境下皆可具备足够的清晰度以及辨识度,为研发人员亟待解决的问题之一。
发明内容
本发明的目的在于提供一种动态影像传感器,通过第一曝光像素曝光短曝光时间,同时第二曝光像素曝光长曝光时间,并通过色调映像以及曝光融合产生高动态范围影像信息。如此一来,本发明利用长短曝光数组的设计,在同一帧的时间内就可以将不同时曝光且曝光时间不同的影像信息进行曝光融合,达成增强动态影像的清晰度以及亮度等功效,以提升辨识算法针对动态影像进行辨识时的准确度,降低发生事故的风险。
本发明的又一目的在于提供一种动态影像产生方法,其通过图像处理模块将待测短曝光时间增加短曝光定值形成新的待测短曝光时间,或者将待测长曝光时间减少长曝光定值形成新的待测长曝光时间,以产生最佳短曝光时间以及最佳长曝光时间。由此,本发明用空间分辨率换取额外的曝光信息,有利于在短时间内收敛至最佳曝光时间,使得高动态范围影像信息曝光良好。此外,透过上下范围同时夹挤的运算方式,使得本发明的自动曝光时间方法可以实现一种动态运算的方式产生最佳曝光时间,以适应各种拍摄环境,同时降低产生最佳曝光时间的运算时间,大幅提升本发明的效率以及适用性。
本发明的另一目的在于提供一种动态影像产生方法,其透过二值化处理短曝影像讯号以及长曝影像讯号,并将二值化后的短曝影像讯号乘上短曝权重,二值化后的长曝影像讯号乘上长曝权重,其中,长曝权重大于短曝权重。由此,解决低亮度环境中,动态影像不清晰的问题,使得原本像素中高亮度者值愈高、低亮度者值愈低,让影像中的物体轮廓对比增加,进一步提升动态影像的清晰度。
为达上述目的,本发明提供一种高帧率高动态范的动态影像产生方法,其应用于一动态影像传感器接收动态范围的动态影像的环境中,所述动态影像传感器包含一第一曝光像素、一第二曝光像素以及一图像处理模块,所述第一曝光像素以及所述第二曝光像素耦接于所述图像处理模块,所述动态影像产生方法包含下列步骤:一同时曝光步骤,所述第一曝光像素曝光一短曝光时间产生一短曝影像讯号,同时所述第二曝光像素曝光一长曝光时间产生一长曝影像讯号;一色调映像步骤,所述图像处理模块将所述短曝影像讯号以及所述长曝影像讯号执行一色调映像(tone mapping)算法,产生一短曝影像信息以及一长曝影像信息;一曝光融合步骤,所述图像处理模块将所述短曝影像信息以及所述长曝影像信息进行曝光融合(exposure fusion),产生一高动态范围影像信息;以及一输出步骤,所述图像处理模块输出所述高动态范围影像信息。
较佳地,根据本发明的动态影像产生方法,其中,所述色调映像算法选自伽马曲线(Gamma curve)算法以及专业色彩编码统曲线(Academy Color Encoding System curve)算法其中之一。
较佳地,根据本发明的动态影像产生方法,其中,于所述同时曝光步骤之前,所述动态影像产生方法进一步包含一自动曝光时间方法,所述自动曝光时间方法包含下列步骤:一测试步骤,所述第一曝光像素曝光一待测短曝光时间,同时所述第二曝光像素曝光一待测长曝光时间,以产生一待测短曝影像讯号以及一待测长曝影像讯号;一判定步骤,所述图像处理模块确认所述待测短曝影像讯号是否高于一夹挤下限,并确认所述待测长曝影像讯号是否低于一夹挤上限;一调整步骤,所述图像处理模块将所述待测短曝光时间增加一短曝光定值以产生新的所述待测短曝光时间,或者将所述待测长曝光时间减少一长曝光定值以产生新的所述待测长曝光时间;一最佳曝光时间产生步骤,所述图像处理模块根据所述待测短曝光时间以及所述待测长曝光时间产生一最佳短曝光时间以及一最佳长曝光时间;其中,若所述判定步骤判定所述待测短曝影像讯号高于所述夹挤下限,并且所述待测长曝影像讯号低于所述夹挤上限,所述判定步骤结束后执行所述最佳曝光时间产生步骤,且所述同时曝光步骤中,所述第一曝光像素曝光所述最佳短曝光时间,同时所述第二曝光像素曝光所述最佳长曝光时间;反之,所述判定步骤结束后执行所述调整步骤并重复执行所述测试步骤。
较佳地,根据本发明的动态影像产生方法,其中,所述动态影像传感器内储存有一短曝光时间上限值以及一长曝光时间下限值,所述短曝光时间上限值为所述待测短曝光时间的最大值,所述长曝光时间下限值为所述待测长曝光时间的最小值。
较佳地,根据本发明的动态影像产生方法,其中,若所述待测短曝光时间为所述短曝光时间上限值,且所述判定步骤中所述待测短曝影像讯号仍低于所述夹挤下限,则所述自动曝光时间方法进一步包含有一迭加步骤,所述迭加步骤为所述图像处理模块将所述待测短曝影像讯号进行迭加,以产生所述短曝影像讯号。
较佳地,根据本发明的动态影像产生方法,其中,所述动态影像传感器进一步包含有一亮度感测模块,其耦接于所述图像处理模块,所述亮度感测模块用于感测所述动态影像传感器所处环境的亮度,所述曝光时间调整方法进一步包含有一上下限调整步骤,所述图像处理模块根据所述亮度感测模块所感测的亮度调整所述夹挤下限以及所述夹挤上限,当亮度感测模块感测的亮度低于一低亮度值,则对应地降低所述夹挤下限,当所述亮度感测模块感测的亮度高于一高亮度值,则对应地升高所述夹挤上限。
较佳地,根据本发明的动态影像产生方法,其中,所述色调映射步骤包含有:一临界值产生步骤,所述图像处理模块将所述短曝影像讯号的所述多个像素值取平均值产生一短曝亮度临界值,并将所述长曝影像讯号的所述多个像素值取平均值产生一长曝亮度临界值;一高动态范围合成步骤,所述图像处理模块根据所述短曝亮度临界值,将所述短曝影像讯号中高于所述短曝亮度临界值的所述多个像素值定义为1,并将所述短曝影像讯号中低于或等于所述短曝亮度临界值的所述多个像素值定义为0,所述图像处理模块根据所述长曝亮度临界值,将所述长曝影像讯号中高于所述长曝亮度临界值的所述多个像素值定义为1,并将所述长曝影像讯号中低于或等于所述长曝亮度临界值的所述多个像素值定义为0;一加权计算步骤,所述图像处理模块将二值化后的所述短曝影像讯号乘上一短曝权重,所述图像处理模块将二值化后的所述长曝影像讯号乘上一长曝权重,其中,所述长曝权重大于所述短曝权重。
又,为达上述目的,本发明根据上述动态影像产生方法为基础,进一步提供一种高帧率高动态范围的动态影像传感器,其应用于接收动态范围的动态影像的环境中,所述动态影像传感器包含有:一感测数组,其包含复数个第一曝光像素以及复数个第二曝光像素,所述多个第一曝光像素具有一短曝光时间,所述多个第二曝光像素具有一长曝光时间;一图像处理模块,其耦接于所述感测数组;其中,所述第一曝光像素曝光所述短曝光时间产生一短曝影像讯号,同时所述第二曝光像素曝光所述长曝光时间产生一长曝影像讯号,所述图像处理模块将所述短曝影像讯号以及所述长曝影像讯号执行一色调映像算法,产生一短曝影像信息以及一长曝影像信息,并且所述图像处理模块将所述短曝影像信息以及所述长曝影像信息进行曝光融合,产生一高动态范围影像信息。
较佳地,根据本发明的动态影像传感器,其中,所述多个第一曝光像素与所述多个第二曝光像素交错排列,且所述多个第一曝光像素的数量为所述多个第二曝光像素的数量的1倍、2倍以及3倍其中之一。
综上,本发明所提供的动态影像产生方法,主要利用本发明的动态影像传感器通过第一曝光像素曝光短曝光时间,同时第二曝光像素曝光长曝光时间,并通过色调映像以及曝光融合产生高动态范围影像信息。如此一来,本发明利用长短曝光数组的设计,在同一帧的时间内就可以将不同时曝光且曝光时间不同的影像信息进行曝光融合,达成增强动态影像的清晰度以及亮度等功效,大幅提升辨识算法针对动态影像进行辨识时的准确度,降低发生事故的风险。此外,通过图像处理模块将待测短曝光时间增加短曝光定值形成新的待测短曝光时间,或者将待测长曝光时间减少长曝光定值形成新的待测长曝光时间,以产生最佳短曝光时间以及最佳长曝光时间。因此,本发明用空间分辨率换取额外的曝光信息,有利于在短时间内收敛至最佳曝光时间,使得高动态范围影像信息曝光良好。
附图说明
图1为根据本发明的动态影像传感器的示意图;
图2为说明执行本发明的动态影像产生方法的步骤方块图;
图3为说明根据本发明的动态影像产生方法实际执行过程的步骤流程图;
图4为根据本发明第一实施例的动态影像传感器的示意图;
图5为说明执行本发明第一实施例的动态影像产生方法的步骤方块图;
图6为说明根据本发明第一实施例的动态影像产生方法实际执行过程的步骤流程图;
图7为说明根据本发明第一实施例的色调映像算法的示意图;
图8为根据本发明第二实施例的动态影像传感器的示意图;
图9为说明执行本发明第二实施例的动态影像产生方法的步骤方块图;
图10为说明根据本发明第二实施例的迭加步骤实际执行过程的流程图;
图11为说明根据本发明第二实施例的色调映射步骤的方块图;
图12为说明根据本发明第二实施例的色调映像步骤实际执行过程的流程图;
图13为根据本发明第三实施例的动态影像传感器的示意图;
图14为根据本发明第四实施例的动态影像传感器的示意图;
图15为根据本发明第五实施例的动态影像传感器的示意图;以及
图16为根据本发明第六实施例的动态影像传感器的示意图。
符号说明:
100、100A、100B、100C、100D、100E、100F:动态影像传感器
11、11A、11B、11C、11D、11E、11F:感测数组
111、111A、111B、111C、111D、111E、111F:第一曝光像素
112、112A、112B、112C、112D、112E、112F:第二曝光像素
113E:中曝光像素
114F:极短曝光像素
115F:极长曝光像素
12、12A、12B、12C、12D、12E、12F:图像处理模块
21:短曝光时间
22:长曝光时间
23、23A、23B、23B':短曝影像讯号
24、24A、24B、24B':长曝影像讯号
25、25A:短曝影像信息
26、26A:长曝影像信息
27、27A:高动态范围影像信息
31A、31B:待测短曝光时间
32A、32B:待测长曝光时间
33A、33B:待测短曝影像讯号
34A、34B:待测长曝影像讯号
35A、35B:夹挤下限
36A、36B:夹挤上限
37A、37B:短曝光定值
38A、38B:长曝光定值
39A、39B:最佳短曝光时间
40A、40B:最佳长曝光时间
41B:短曝亮度临界值
42B:长曝亮度临界值
43B:短曝权重
44B:长曝权重
51A:像素值
S11、S25、S37:同时曝光步骤
S12、S26、S38:色调映射步骤
S13、S27、S39:曝光融合步骤
S14、S28、S40:输出步骤
S21、S32:测试步骤
S22、S33:判定步骤
S23、S34:调整步骤
S24、S35:最佳曝光时间产生步骤
S31:上下限调整步骤
S36:迭加步骤
S381:临界值产生步骤
S382:高动态范围合成步骤
S383:加权计算步骤
具体实施方式
现在将参照其中示出本发明概念的示例性实施例的附图在下文中更充分地阐述本发明概念。以下通过参照附图更详细地阐述的示例性实施例,本发明概念的优点及特征以及其达成方法将显而易见。然而,应注意,本发明概念并非仅限于以下示例性实施例,而是可实施为各种形式。因此,提供示例性实施例仅是为了揭露本发明概念并使熟习此项技术者了解本发明概念的类别。在图式中,本发明概念的示例性实施例并非仅限于本文所提供的特定实例且为清晰起见而进行夸大。
本文所用术语仅用于阐述特定实施例,而并非旨在限制本发明。除非上下文中清楚地另外指明,否则本文所用的单数形式的用语「一」及「该」旨在亦包括复数形式。本文所用的用语「及/或」包括相关所列项其中一或多者的任意及所有组合。应理解,当称组件「连接」或「耦合」至另一组件时,所述组件可直接连接或耦合至所述另一组件或可存在中间组件。
相似地,应理解,当称一个组件(例如层、区或基板)位于另一组件「上」时,所述组件可直接位于所述另一组件上,或可存在中间组件。相比之下,用语「直接」意指不存在中间组件。更应理解,当在本文中使用用语「包括」、「包含」时,是表明所陈述的特征、整数、步骤、操作、组件、及/或组件的存在,但不排除一或多个其他特征、整数、步骤、操作、组件、组件、及/或其群组的存在或添加。
此外,将通过作为本发明概念的理想化示例性图的剖视图来阐述详细说明中的示例性实施例。相应地,可根据制造技术及/或可容许的误差来修改示例性图的形状。因此,本发明概念的示例性实施例并非仅限于示例性图中所示出的特定形状,而是可包括可根据制造制程而产生的其他形状。图式中所例示的区域具有一般特性,且用于说明组件的特定形状。因此,此不应被视为仅限于本发明概念的范围。
亦应理解,尽管本文中可能使用用语「第一」、「第二」、「第三」等来阐述各种组件,然而该些组件不应受限于该些用语。该些用语仅用于区分各个组件。因此,某些实施例中的第一组件可在其他实施例中被称为第二组件,而此并不背离本发明的教示内容。本文中所阐释及说明的本发明概念的态样的示例性实施例包括其互补对应物。本说明书通篇中,相同的参考编号或相同的指示物表示相同的组件。
此外,本文中参照剖视图及/或平面图来阐述示例性实施例,其中所述剖视图及/或平面图是理想化示例性说明图。因此,预期存在由例如制造技术及/或容差所造成的相对于图示形状的偏离。因此,示例性实施例不应被视作仅限于本文中所示区的形状,而是欲包括由例如制造所导致的形状偏差。因此,图中所示的区为示意性的,且其形状并非旨在说明装置的区的实际形状、亦并非旨在限制示例性实施例的范围。
如图1所示,图1为根据本发明的动态影像传感器的示意图。如图1所示,根据本发明的动态影像传感器100包括:感测数组11以及图像处理模块12。
具体地,根据本发明的动态影像传感器100可以是互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor,CMOS)影像传感器,并且可以是选自背照式CMOS影像传感器或前照式CMOS影像传感器其中之一者,然而本发明不限于此。
具体地,如图1所示,根据本发明的感测数组11,其包含复数个第一曝光像素111以及复数个第二曝光像素112,第一曝光像素111具有一短曝光时间,第二曝光像素112具有一长曝光时间。在一些实施例中,各个第一曝光像素111以及第二曝光像素112皆为COMS成像像素。更具体而言,在一些实施例中,所述短曝光时间可以与所述长曝光时间相差256倍,并且所述短曝光时间最短为动态影像传感器100的快门的一个快门速度(shutter speed),然而本发明不限于此。
具体地,在一些实施例中,根据本发明的动态影像传感器100可以具有滚动式快门(Rolling Shutter)机制与全局式快门(Global Shutter)机制其中之一者,其中,使用滚动式快门机制时,因滚动式快门机制曝光有时间差异,造成于动态影像传感器100拍摄动态的影像时,影像上下半部分的曝光时间不同,可能造成影像的上半部分先出现,然而影像下端却尚未出现的时间差距,从而造成影像扭曲变形。在本发明一较佳实施例中,由于本发明主要针对动态范围内产生动态的影像,为避免动态影像产生果冻效应(Jello Effect),因此采用全局式快门机制,亦即感测数组11上的所有第一曝光像素111以及第二曝光像素112都会同时曝光以取得影像讯号或影像电荷,然而本发明不限于此。
需要进一步说明的是,由于本发明涉及不同时曝光且曝光时间不同的影像的色调映像(tone mapping),以下先就色调映射进行说明。色调映像指的是将光照结果从高动态范围影像信息(High Dynamic Range,HDR)转换为显示设备能够正常显示的低动态范围影像信息(Low Dynamic Range,LDR),本发明透过色调映射将原始拍摄场景中,亮度(brightness)极大与极小值之间相差106次方数量级内的高动态范围影像信息,经色调映像算法处理,映像至可适用于硬设备显示的低动态范围(如8位)影像信息,同时仍能保留原始拍摄场景中的颜色细节与明暗变化。由于色调映像的算法为本技术领域具有通常知识者所熟悉,故在此不再赘述。
值得一提的是,由于本发明涉及不同时曝光且曝光时间不同的影像曝光融合(exposure fusion),以下先就曝光融合进行说明。本文涉及的曝光融合方法是基于第一曝光像素111以及第二曝光像素112,曝光融合过程一般可包含预处理、变换、综合和反变换四个步骤。预处理一般是指曝光融合之前的准备操作,在此不再赘述。曝光融合过程中的变换一般采用的主要方法可以包含主成分分析(PCA)方法、HIS(Intensity-Hue-Saturation)变换方法、小波变换法多分辨率方法如拉普拉斯金字塔融合算法等其中之一或其组合。曝光融合过程中的综合指的是将第一曝光像素111以及第二曝光像素112产生的影像讯号的变换结果进行综合处理,综合处理可以有多种处理方法,例如:选择法、加权平均法以及优化法等,其中,选择法可以是从原图像序列中选择出相应的变换系数组成一组新的变换系数,加权平均法可以是将影像讯号对应的变换系数根据特定规则确定权值,并经过加权平均运算产生新的系数。曝光融合过程中的反变换指的是将经综合后的影像讯号的新的变换系数进行相应的逆操作,例如从现有图片反推幅照图(radiance map),以产生得到最终的融合图像。
具体地,如图1所示,根据本发明的图像处理模块12,其耦接于所述感测数组11,图像处理模块12主要用于执行算法,在一些实施例中,算法包含色调映像算法,色调映像算法可以选自伽马曲线算法以及专业色彩编码系统曲线算法其中之一。更具体而言,图像处理模块12可以包含有服务器、个人计算机以及集成电路(Application Specific IntegratedCircuit,ASIC)其中之一或其组合,然而本发明不限于此。
为供进一步了解本发明构造特征、运用技术手段及所预期达成的功效,兹将本发明使用方式加以叙述,相信当可由此而对本发明有更深入且具体了解,如图2所示,图2为说明执行本发明的动态影像产生方法的步骤方块图。根据本发明的高帧率高动态范的动态影像产生方法包含下述步骤:
同时曝光步骤S11,第一曝光像素111曝光短曝光时间产生短曝影像讯号,同时第二曝光像素112曝光长曝光时间产生长曝影像讯号,接着执行色调映像步骤S12。
色调映像步骤S12,图像处理模块12将短曝影像讯号以及长曝影像讯号执行色调映像算法,产生短曝影像信息以及长曝影像信息,接着执行曝光融合步骤S13。
曝光融合步骤S13,图像处理模块12将短曝影像信息以及长曝影像信息进行曝光融合,产生高动态范围影像信息,接着执行输出步骤S14。
输出步骤S14,图像处理模块12输出高动态范围影像信息。
为供进一步了解本发明构造特征、运用技术手段及所预期达成的功效,兹将本发明第一实施例实际执行过程加以叙述,相信当可由此而对本发明有更深入且具体了解,如下所述:
如图3,并且搭配图1及图2所示,图3为说明根据本发明的动态影像产生方法实际执行过程的步骤流程图。根据本发明的动态影像传感器100实际执行过程说明如下:首先,执行同时曝光步骤S11,第一曝光像素111曝光短曝光时间21产生短曝影像讯号23,同时第二曝光像素112曝光长曝光时间22产生长曝影像讯号24;接着,执行色调映像步骤S12,图像处理模块12将短曝影像讯号23以及长曝影像讯号24执行色调映像算法,产生短曝影像信息25以及长曝影像信息26;之后,执行曝光融合步骤S13,图像处理模块12将短曝影像信息25以及长曝影像信息26进行曝光融合,产生高动态范围影像信息27;最后,执行输出步骤S14,图像处理模块12输出高动态范围影像信息27。
因此,由上述说明可知,根据本发明的动态影像产生方法通过第一曝光像素111曝光短曝光时间21,同时第二曝光像素112曝光长曝光时间22,并通过色调映像以及曝光融合产生高动态范围影像信息27。如此一来,本发明利用长短曝光数组的设计,在一帧的时间内就可以将影像信息进行曝光融合,达成增强动态影像的清晰度以及亮度等功效。
以下,参照图式,说明本发明的动态影像传感器100的第一实施的实施形态,以使本发明所属技术领域中具有通常知识者更清楚的理解可能的变化。以与上述相同的组件符号指示的组件实质上相同于上述参照图1所叙述者。与动态影像传感器100相同的组件、特征、和优点将不再赘述。
如图4所示,图4为根据本发明第一实施例的动态影像传感器的示意图。如图4所示,根据本发明第一实施例的动态影像传感器100A包括:感测数组11A以及图像处理模块12A。
具体地,如图4所示,在本实施例中,根据本发明的感测数组11A包含有复数个第一曝光像素111A以及复数个第二曝光像素112A,第一曝光像素111A与第二曝光像素112A交错排列,且第一曝光像素111A与第二曝光像素112A的数量相等,其中,第一曝光像素111A具有短曝光时间,第二曝光像素112A具有长曝光时间,长曝光时间可以是短曝光时间的2倍、4倍以及8倍其中之一,然而本发明不限于此。可以理解的是,透过第一曝光像素111A与第二曝光像素112A交错排列可以确保本发明的动态影像传感器100A产生的动态影像在图框上的每一区块都有相同的长曝光时间以及短曝光时间。此外,本发明的感测数组11A中第一曝光像素111A与第二曝光像素112A的数量,以及长曝光时间与短曝光时间之间的关系,可以根据动态影像传感器100A所使用的环境进行改动,举例而言,当动态影像传感器100A处于较亮的环境中进行使用时,具有短曝光时间的第一曝光像素111A的数量可以少于具有长曝光时间的第二曝光像素112A,并且长曝光时间相较于短曝光时间可以具有较高的倍数,以确保动态影像传感器100A产生的动态影像具有较佳的清晰度以及亮度,然而本发明不限于此。
需要进一步说明的是,在本实施例中,图像处理模块12A的色调映像算法选自伽马曲线(Gamma curve)算法以及专业色彩编码系统曲线(Academy Color Encoding Systemcurve)S算法其中之一,然而本发明不限于此。
值得一提的是,在本实施例中,图像处理模块12A可以储存有一夹挤上限值以及一夹挤下限值,其中,夹挤上限值可以代表判断过曝的阈值,夹挤下限值可以代表判断过暗的阈值,影像讯号以及夹挤下限可以例如是DN(Digital Number)值或由其换算而来的值。举例而言,当图像处理模块12A将曝光时间增加到最长,但待测影像讯号仍低于夹挤下限值时,则图像处理模块12A可以判定当前处于过暗的环境中,此时,图像处理模块12A可以透过待测影像讯号进行迭图以产生更明亮及更多细节的影像讯号,然而本发明不限于此。
值得再提的是,在本实施例中,图像处理模块12A可以储存有长曝光定值以及短曝光定值,用户亦可以透过图像处理模块12A根据当前环境的明亮程度调整长曝光定值以及短曝光定值。举例而言,当所处环境较亮时,短曝光定值可以具有较大的值且长曝光定值可以具有较小的值,以更快速产生最佳曝光时间,有效地节省动态影像传感器100A产生最佳曝光时间中所执行影像撷取的操作次数以及时间,并且可有效地节省电子装置的电能。
如图5所示,图5为说明执行本发明第一实施例的动态影像产生方法的步骤方块图。本发明以第一实施例的动态影像传感器100A为基础,进一步提供一种执行第一实施例的动态影像传感器100的动态影像产生方法,其包含下列步骤:
测试步骤S21,第一曝光像素111A曝光待测短曝光时间,同时第二曝光像素112A曝光待测长曝光时间,以产生待测短曝影像讯号以及待测长曝影像讯号,接着执行判定步骤S22。
判定步骤S22,图像处理模块12A确认待测短曝影像讯号是否高于一夹挤下限,并确认待测长曝影像讯号是否低于一夹挤上限。
调整步骤S23,图像处理模块12A将所述待测短曝光时间增加一短曝光定值,或者将所述待测长曝光时间减少一长曝光定值,以形成新的待测短曝光时间以及新的待测长曝光时间。
最佳曝光时间产生步骤S24,图像处理模块12A根据所述待测短曝光时间以及所述待测长曝光时间产生最佳短曝光时间以及最佳长曝光时间。
同时曝光步骤S25,第一曝光像素111A曝光最佳短曝光时间产生短曝影像讯号,同时第二曝光像素112A曝光最佳长曝光时间产生长曝影像讯号,接着执行色调映像步骤S26。
色调映像步骤S26,图像处理模块12A将短曝影像讯号以及长曝影像讯号执行色调映像算法,产生短曝影像信息以及长曝影像信息,接着执行曝光融合步骤S27。
曝光融合步骤S27,图像处理模块12A将短曝影像信息以及长曝影像信息进行曝光融合,产生高动态范围影像信息,接着执行输出步骤S28。
输出步骤S28,图像处理模块12A输出所述高动态范围影像信息。
为供进一步了解本发明构造特征、运用技术手段及所预期达成的功效,兹将本发明第一实施例实际执行过程加以叙述,相信当可由此而对本发明有更深入且具体了解,如下所述:
如图6,并且搭配图4及图5所示,图6为说明根据本发明第一实施例的动态影像产生方法实际执行过程的步骤流程图。根据本发明第一实施例的动态影像传感器100A实际执行过程说明如下:首先,执行测试步骤S21,第一曝光像素111A曝光待测短曝光时间31A,同时第二曝光像素112A曝光待测长曝光时间32A,以产生待测短曝影像讯号33A以及待测长曝影像讯号34A;接着,执行判定步骤S22,图像处理模块12A确认待测短曝影像讯号33A是否高于夹挤下限35A,并确认待测长曝影像讯号34A是否低于夹挤上限36A;其中,若判定步骤S22判定待测短曝影像讯号33A低于所述夹挤下限35A,或者待测长曝影像讯号34A高于夹挤上限36A,则执行调整步骤S23,图像处理模块12A将待测短曝光时间31A增加短曝光定值37A,以形成新的待测短曝光时间31A,或者将待测长曝光时间32A减少长曝光定值38A,以形成新的待测长曝光时间32A,并重复执行测试步骤S21;若判定步骤S22判定待测短曝影像讯号33A高于所述夹挤下限35A,或者待测长曝影像讯号34A低于夹挤上限36A,则执行最佳曝光时间产生步骤S24,图像处理模块12A根据待测短曝光时间31A以及待测长曝光时间32A产生最佳短曝光时间39A以及最佳长曝光时间40A;之后,执行同时曝光步骤S3725,第一曝光像素111曝光最佳短曝光时间39A产生短曝影像讯号23A,同时第二曝光像素112曝光最佳长曝光时间40A产生长曝影像讯号24A;接着,执行色调映像步骤S3826,图像处理模块12A将短曝影像讯号23A以及长曝影像讯号24A执行色调映像算法,产生短曝影像信息25A以及长曝影像信息26A;之后,执行曝光融合步骤S3927,图像处理模块12A将短曝影像信息25A以及长曝影像信息26A进行曝光融合,产生高动态范围影像信息27A;最后,执行输出步骤S4028,图像处理模块12A输出高动态范围影像信息27A。
需要进一步说明的是,如图7所示,图7为说明根据本发明第一实施例的色调映像算法的示意图。如图7所示,并搭配图5及图6,图7为经过测试步骤S21至最佳曝光时间产生步骤S24调整后产生的短曝影像讯号23A以及长曝影像讯号24A于单一像素的示意图,执行色调映像之前,本实施例将短曝影像讯号23以及长曝影像讯号24A的像素值51A进行部分位数重迭计算(图7为示例性表示为两位),并予以长曝影像讯号24A较高的权重(图7为示例性表示为4倍权重,在二进制表示中亦即进行左移两位的操作)进行迭加,使得长曝影像讯号24A的像素值51A愈高、短曝影像讯号23的像素值51A愈低,以实现高动态范围影像信息的效果。如图7所示,之后再将迭加后的短曝影像讯号23以及长曝影像讯号24A进行色调映像算法,例如:Gamma curve、ACES curve等全局色调映像函数(global tone mapping curve),或者例如:Reinhard色调映像等考虑局部像素特征的方法,将高动态范围影像信息映像回低动态范围影像信息。在本实施例中,色调映像算法仅为简单的线性转换,然而本发明不限于此。
值得一提的是,根据本发明的动态影像传感器可以储存有短曝光时间上限值(图未示)以及长曝光时间下限值(图未示),其中,短曝光时间上限值为待测短曝光时间31A的最大值,长曝光时间下限值为待测长曝光时间32A的最小值,可以理解的是,受限于不同的动态影像传感器的硬件,短曝光时间上限值代表的是第一曝光像素111A在硬件上短曝光时间31A的上限值,长曝光时间下限值代表的是第二曝光像素112A在硬件上长曝光时间32A的下限值。如此一来,根据本发明第一实施例的动态影像产生方法,透过最佳短曝光时间39A以及最佳长曝光时间40A,实现让每一帧的短曝影像讯号23A以及长曝影像讯号24A分布机率尽量接近,且透过短曝光时间上限值以及长曝光时间下限值,保证短曝影像讯号23A以及长曝影像讯号24A的分布中心(例如:平均值或中位数)之间的距离不要过近,可以理解的是,当最佳短曝光时间39A以及最佳长曝光时间40A的值越接近时,将减少本发明所产生的技术功效,且不利于后续的曝光融合演算。
因此,由上述说明可知,根据本发明第一实施例的动态影像产生方法及其动态影像传感器100A,可以通过图像处理模块12A将待测短曝光时间31A增加短曝光定值37A直至短曝光时间上限值,或者将待测长曝光时间32A减少长曝光定值38A直至长曝光时间下限值,以产生最佳短曝光时间39A以及最佳长曝光时间40A。因此,本发明用空间分辨率换取额外的曝光信息,有利于在短时间内收敛至最佳曝光时间,使得高动态范围影像信息27A曝光良好。此外,透过夹挤的运算方式,使得本发明的自动曝光时间方法可以实现一种动态运算的方式产生最佳曝光时间,以适应各种拍摄环境,同时降低产生最佳曝光时间的运算时间,大幅提升本发明的效率以及适用性。
以下提供动态影像传感器100的其他示例,以使本发明所属技术领域中具有通常知识者更清楚的理解可能的变化。以与上述实施例相同的组件符号指示的组件实质上相同于上述参照图1至图7所叙述者。与动态影像传感器100相同的组件、特征、和优点将不再赘述。
如图8所示,图8为根据本发明第二实施例的动态影像传感器的示意图。如图8所示,根据本发明的动态影像传感器100B包括:感测数组11B、图像处理模块12B以及亮度感测模块13B。
具体地,根据本发明第二实施例的动态影像传感器100B,其进一步包含有亮度感测模块13B,根据本发明第二实施例的亮度感测模块13B,其耦接于图像处理模块12B,亮度感测模块13B用于感测动态影像传感器100B所处环境的亮度,使得图像处理模块12B可以根据亮度感测模块13B所感测的亮度调整所述夹挤下限以及所述夹挤上限,当亮度感测模块13B感测的亮度低时,则对应地降低所述夹挤下限,当所述亮度感测模块感测的亮度高时,则对应地升高所述夹挤上限,然而本发明不限于此。
如图9及图10所示,图9为说明执行本发明第二实施例的动态影像产生方法的步骤方块图;图10为说明根据本发明第二实施例的迭加步骤实际执行过程的流程图。根据本发明以第二实施例的动态影像传感器100B为基础,进一步提供一种执行第二实施例的动态影像传感器100B的动态影像产生方法,其包含下列步骤:
上下限调整步骤S31,图像处理模块12B根据亮度感测模块13B所感测的亮度调整夹挤下限35B以及夹挤上限36B,当亮度感测模块感测的亮度低于低亮度值(图未示),则对应地降低夹挤下限35B,当所述亮度感测模块感测的亮度高于高亮度值(图未示),则对应地升高夹挤上限36B,接着执行测试步骤S32。
测试步骤S32,第一曝光像素111B曝光待测短曝光时间31B,同时第二曝光像素112A曝光待测长曝光时间32B,以产生待测短曝影像讯号33B以及待测长曝影像讯号34B,接着执行判定步骤S33。
判定步骤S33,图像处理模块12B确认待测短曝影像讯号33B是否高于夹挤下限35B,并确认待测长曝影像讯号32B是否低于夹挤上限36B。
调整步骤S34,图像处理模块12B将所述待测短曝光时间31B增加短曝光定值37B,或者将所述待测长曝光时间32B减少长曝光定值38B,以形成新的待测短曝光时间31B以及新的待测长曝光时间32B。
最佳曝光时间产生步骤S35,图像处理模块12B根据所述待测短曝光时间31B以及所述待测长曝光时间32B产生最佳短曝光时间39B以及最佳长曝光时间40B。
迭加步骤S36,图像处理模块12B将已产生的所述待测短曝影像讯号33B或已产生的所述待测短曝影像讯号33B与所述待测长曝影像讯号32B进行迭加,以产生短曝影像讯号23B,并同时执行同时曝光步骤S37。
同时曝光步骤S37,第二曝光像素112B曝光最佳长曝光时间产生长曝影像讯号,接着执行色调映射步骤S38。
色调映射步骤S38,当执行所述同时曝光步骤S37后,图像处理模块12B将短曝影像讯号23B以及长曝影像讯号24B执行色调映像算法,产生短曝影像信息以及长曝影像信息;当执行所述最佳曝光时间产生步骤S35后,第一曝光像素111A曝光最佳短曝光时间产生短曝影像讯号23B,同时第二曝光像素112A曝光最佳长曝光时间产生长曝影像讯号,接着执行曝光融合步骤S39。
曝光融合步骤S39,图像处理模块12B将短曝影像信息以及长曝影像信息进行曝光融合,产生高动态范围影像信息,接着执行输出步骤S14'。
输出步骤S40,图像处理模块12B输出所述高动态范围影像信息。
需要进一步说明的是,根据本发明的低亮度值代表的是处于低照度下的环境中,容易造成影像曝光不足,低亮度值可以是1勒克斯(lux)。此外,根据本发明的高亮度值代表的是处于高亮度或高照度的环境中,容易造成影像过度曝光,高亮度值可以是1000勒克斯,然而本发明不限于此。
具体地,如图10所示,根据本发明第二实施例的动态影像产生方法,相较于第一实施例,其进一步包含有迭加步骤S36,若所述待测短曝光时间31B为所述短曝光时间上限值,且判定步骤S33中所述待测短曝影像讯号33B仍低于所述夹挤下限35B时,根据本发明第二实施例则执行迭加步骤S36,以透过图像处理模块12B将已产生的待测短曝影像讯号33B或将已产生的待测短曝影像讯号31B与待测长曝影像讯号32B进行迭加产生短曝影像讯号23B,实现增强动态影像的清晰度以及亮度等功效。此外,如下方公式1,当影像讯号中的光电子引起的散粒噪声(shot noise)占噪声中主要的成分时,表示造成散粒噪声的电子数nphoton与影像讯号的电子数Nsignal的关系如公式(1)所示,其中,N表示影像讯号的电子数,N-表示散粒噪声的电子数,<(N-N-)^2>表示对对角括号中的(N-N-)^2于各个时间的值取平均值。如下方公式(2)所示,由于散粒噪声(shot noise)符合泊松分布(Poissondistribution),由于泊松分布在大量粒子数时趋向于常态分布,在大量粒子存在时讯号中的散粒噪声会呈现常态分布,散粒噪声的标准偏差此时等于平均粒子数的平方根,亦即变异数(variance)等于其平均值,使得公式2的等号成立。如下方公式(3)所示,根据信噪比(Signal-to-noise ratio,SNR)的公式并代入公式(1)以及公式(2),使得公式(3)的等式成立。可以理解的是,根据公式(1)-(3)所示,讯噪比正比于影像讯号的电子数,因此,本发明透过将已产生的待测短曝影像讯号33B或已产生的待测短曝影像讯号33B与待测长曝影像讯号34B进行迭加产生短曝影像讯号23B的方式,可以实现降低信噪比的功效,然而本发明不限于此。
如图11及图12所示,图11为说明根据本发明第二实施例的色调映射步骤的方块图;图12为说明根据本发明第二实施例的色调映像步骤实际执行过程的流程图。根据本发明第二实施例的动态影像传感器100实际执行色调映像步骤过程说明如下:首先,执行临界值产生步骤S381,图像处理模块12B将短曝影像讯号23B的所述多个像素值取平均值作为短曝亮度临界值41B,并将长曝影像讯号24B的所述多个像素值取平均值作为长曝亮度临界值42B,以作为高动态范围合成步骤S382的基准S381;之后,执行高动态范围合成步骤S382,图像处理模块12B根据短曝亮度临界值41B,将短曝影像讯号23B中高于短曝亮度临界值41B的所述多个像素值定义为1,并将短曝影像讯号23B中低于或等于短曝亮度临界值41B的所述多个像素值定义为0,图像处理模块12B根据长曝亮度临界值42B,将长曝影像讯号24B中高于长曝亮度临界值42B的所述多个像素值定义为1,并将长曝影像讯号24B中低于或等于长曝亮度临界值42B的所述多个像素值定义为0;最后,执行加权计算步骤S383,图像处理模块12B将二值化后的短曝影像讯号23B乘上短曝权重43B,所述图像处理模块将二值化后的长曝影像讯号24B乘上长曝权重44B,以产生新的短曝影像讯号23B'以及长曝影像讯号24B',其中,长曝权重44B大于短曝权重43B。
可以理解的是,在本实施例中,透过将短曝影像讯号23B以及将长曝影像讯号24B的所述多个像素值取平均值,以产生短曝亮度临界值41B以及长曝亮度临界值42B,短曝亮度临界值41B以及长曝亮度临界值42B作为后续高动态范围合成步骤S382的基准,使得本发明可以根据实际产生的像素值(亦即所处环境的明亮程度)作为二值化的基准,提升本发明的图像处理模块12B对于动态影像的明亮程度的灵敏度,以产生具有较佳明亮细节的动态影像,然而本发明不限于此。举例而言,本发明的短曝亮度临界值41B以及长曝亮度临界值42B亦可以通过统计计算的方式事先储存于图像处理模块12B,以符合多数使用环境,从而减少图像处理模块12B的运算,同时有效地节省电子装置的电能,用户可以视其需求选择何种方式较为适切。
因此,根据本发明第二实施例的动态影像传感器,其透过亮度感测模块13B感测环境中的亮度,使得图像处理模块12B可以根据亮度感测模块13B所感测的亮度调整夹挤下限以及夹挤上限,大幅缩减图像处理模块12B产生最佳短曝光时间以及最佳长曝光时间的运算时间,并且可以对应环境实现最符合当下环境的动态影像,具有广泛适用姓。此外,根据本发明第二实施例的色调映像的方法,其透过二值化处理短曝影像讯号23B以及长曝影像讯号24B,并将二值化后的短曝影像讯号乘上短曝权重43B,二值化后的长曝影像讯号24B乘上长曝权重44B,其中,长曝权重44B大于短曝权重43B。因此,解决低亮度环境中,动态影像不清晰的问题,使得原本像素中高像素值愈高、低像素值愈低,让影像中的物体轮廓对比增加,进一步提升动态影像的清晰度。
如图13所示,图13为根据本发明第三实施例的动态影像传感器的示意图。如图13所示,根据本发明的动态影像传感器100C包括:感测数组11C以及图像处理模块12C。本发明第三实施例相较于第一实施例,主要差别在于,感测数组11C的第一曝光像素111C的数量为第二曝光像素112C的数量的1/3倍,但不以此为限。本实施例的相关说明可参照前文,在此不再赘述。
如图14所示,图14为根据本发明第四实施例的动态影像传感器的示意图。如图14所示,根据本发明的动态影像传感器100D包括:感测数组11D以及图像处理模块12D。本发明第四实施例相较于第一实施例,主要差别在于,感测数组11D的第一曝光像素111D的数量为第二曝光像素112D的数量的3倍,但不以此为限。本实施例的相关说明可参照前文,在此不再赘述。
可以理解的是,第一曝光像素111D与第二曝光像素112D的数量可以根据使用者的需求进行调整,不会大幅影响本发明所提供的动态影像产生方法的步骤,并且本发明所属技术领域中具有通常知识者能够基于上述示例再作出各种变化和调整,在此不再一一列举。
如图15所示,图15为根据本发明第五实施例的动态影像传感器的示意图。如图15所示,根据本发明的动态影像传感器100E包括:感测数组11E以及图像处理模块12E。本发明第五实施例相较于第一实施例,主要差别在于,根据本发明第四实施例的感测数组11E可以包含有第一曝光像素111E、长曝光影像112F以及中曝光像素113E,其中,中曝光像素113E具有一中曝光时间,所述中曝光时间的长短介于所述短曝光时间以及所述长曝光时间,且第一曝光像素111E、第二曝光像素112E与中曝光像素113E的数量的比例为1:1:2,但不以此为限。本实施例的相关说明可参照前文,在此不再赘述。如此一来,本发明进一步提供具有三种不同时曝光且曝光时间不同的动态影像传感器,使其可以进一步针对不同环境在同一帧的时间内就将不同时曝光且曝光时间不同的影像信息进行曝光融合,达成增强动态影像的清晰度以及亮度等功效,进一步提升本发明的动态影像传感器的适用性。
如图16所示,图16为根据本发明第六实施例的动态影像传感器的示意图。如图16所示,根据本发明的动态影像传感器100F包括:感测数组11F以及图像处理模块12F。本发明第六实施例相较于第一实施例,主要差别在于,根据本发明第六实施例的感测数组11E可以包含有第一曝光像素111F、长曝光影像112F、极短曝光像素114F以及极长曝光像素115F,其中,极短曝光像素114F具有一极短曝光时间,极长曝光像素115F具有一极长曝光时间,所述极短曝光时间的长短小于所述短曝光时间,极长曝光时间的长短大于所述长曝光时间,且第一曝光像素111F、长曝光影像112F、极短曝光像素114F以及极长曝光像素115F的数量一致,但不以此为限。本实施例的相关说明可参照前文,在此不再赘述。如此一来,本发明进一步提供具有四种不同时曝光且曝光时间不同的动态影像传感器,使其可以进一步针对亮度极端的环境在同一帧的时间内就将不同时曝光且曝光时间不同的影像信息进行曝光融合,达成增强动态影像的清晰度以及亮度等功效,进一步提升本发明的动态影像传感器的适用性。
因此,本发明具有以下的实施功效及技术功效:
其一,通过本发明的动态影像传感器为基础,并搭配本发明所提供的动态影像产生方法,通过第一曝光像素曝光短曝光时间,同时第二曝光像素曝光长曝光时间,并通过色调映像以及曝光融合产生高动态范围影像信息。如此一来,本发明利用长短曝光数组的设计,在同一帧的时间内就可以将不同时曝光且曝光时间不同的影像信息进行曝光融合,达成增强动态影像的清晰度以及亮度等功效,大幅提升辨识算法针对动态影像进行辨识时的准确度,降低发生事故的风险。
其二,通过本发明的动态影像传感器为基础,并搭配本发明所提供的动态影像产生方法,通过图像处理模块将待测短曝光时间增加短曝光定值形成新的待测短曝光时间,或者将待测长曝光时间减少长曝光定值形成新的待测长曝光时间,以产生最佳短曝光时间以及最佳长曝光时间。因此,本发明用空间分辨率换取额外的曝光信息,有利于在短时间内收敛至最佳曝光时间,使得高动态范围影像信息曝光良好。此外,透过夹挤的运算方式,使得本发明的自动曝光时间方法可以实现一种动态运算的方式产生最佳曝光时间,以适应各种拍摄环境,同时降低产生最佳曝光时间的运算时间,大幅提升本发明的效率以及适用性。
其三,根据本发明的动态影像产生方法的色调映像有别于习知技术色调映像算法,透过二值化处理短曝影像讯号以及长曝影像讯号,并将二值化后的短曝影像讯号乘上短曝权重,二值化后的长曝影像讯号乘上长曝权重,其中,长曝权重大于短曝权重。因此,解决低亮度环境中,动态影像不清晰的问题,使得原本像素中高亮度者值愈高、低亮度者值愈低,让影像中的物体轮廓对比增加,进一步提升动态影像的清晰度。
以上通过特定的具体实施例说明本发明的实施方式,所属技术领域具有通常知识者可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。
以上所述仅为本发明的较佳实施例,并非用以限定本发明的范围;凡其它未脱离本发明所揭示的精神下所完成的等效改变或修饰,均应包含在上述的专利范围内。
Claims (9)
1.一种高帧率高动态范的动态影像产生方法,用于一动态影像传感器接收动态范围的动态影像的环境中,其特征在于所述动态影像传感器包含一第一曝光像素、一第二曝光像素以及一图像处理模块,所述第一曝光像素以及所述第二曝光像素耦接于所述图像处理模块,所述动态影像产生方法包含下列步骤:
一同时曝光步骤,所述第一曝光像素曝光一短曝光时间产生一短曝影像讯号,同时所述第二曝光像素曝光一长曝光时间产生一长曝影像讯号;
一色调映像步骤,所述图像处理模块将所述短曝影像讯号以及所述长曝影像讯号执行一色调映像算法,产生一短曝影像信息以及一长曝影像信息;
一曝光融合步骤,所述图像处理模块将所述短曝影像信息以及所述长曝影像信息进行曝光融合,产生一高动态范围影像信息;以及
一输出步骤,所述图像处理模块输出所述高动态范围影像信息。
2.根据权利要求1所述的动态影像产生方法,其特征在于,所述色调映像算法选自伽马曲线算法以及专业色彩编码系统曲线算法其中之一。
3.根据权利要求1所述的动态影像产生方法,其特征在于,于所述同时曝光步骤之前,所述动态影像产生方法进一步包含一自动曝光时间方法,所述自动曝光时间方法包含下列步骤:
一测试步骤,所述第一曝光像素曝光一待测短曝光时间,同时所述第二曝光像素曝光一待测长曝光时间,以产生一待测短曝影像讯号以及一待测长曝影像讯号;
一判定步骤,所述图像处理模块确认所述待测短曝影像讯号是否高于一夹挤下限,并确认所述待测长曝影像讯号是否低于一夹挤上限;
一调整步骤,所述图像处理模块将所述待测短曝光时间增加一短曝光定值以产生新的所述待测短曝光时间,或者将所述待测长曝光时间减少一长曝光定值以产生新的所述待测长曝光时间;以及
一最佳曝光时间产生步骤,所述图像处理模块根据所述待测短曝光时间以及所述待测长曝光时间产生一最佳短曝光时间以及一最佳长曝光时间;
其中,若所述判定步骤判定所述待测短曝影像讯号高于所述夹挤下限,并且所述待测长曝影像讯号低于所述夹挤上限,所述判定步骤结束后执行所述最佳曝光时间产生步骤,且所述同时曝光步骤中,所述第一曝光像素曝光所述最佳短曝光时间,同时所述第二曝光像素曝光所述最佳长曝光时间;反之,所述判定步骤结束后执行所述调整步骤并重复执行所述测试步骤。
4.根据权利要求3所述的自动曝光时间方法,其特征在于,所述动态影像传感器内储存有一短曝光时间上限值以及一长曝光时间下限值,所述短曝光时间上限值为所述待测短曝光时间的最大值,所述长曝光时间下限值为所述待测长曝光时间的最小值。
5.根据权利要求4所述的自动曝光时间方法,其特征在于,若所述待测短曝光时间为所述短曝光时间上限值,且所述判定步骤中所述待测短曝影像讯号仍低于所述夹挤下限,则所述自动曝光时间方法进一步包含有一迭加步骤,所述迭加步骤为所述图像处理模块将已产生的所述待测短曝影像讯号或将已产生的所述待测短曝影像讯号与所述待测长曝影像讯号进行迭加,以产生所述短曝影像讯号。
6.根据权利要求3所述的自动曝光时间方法,其特征在于,所述动态影像传感器进一步包含有一亮度感测模块,其耦接于所述图像处理模块,所述亮度感测模块用于感测所述动态影像传感器所处环境的亮度,所述曝光时间调整方法进一步包含有一上下限调整步骤,所述图像处理模块根据所述亮度感测模块所感测的亮度调整所述夹挤下限以及所述夹挤上限,当亮度感测模块感测的亮度低于一低亮度值,则对应地降低所述夹挤下限,当所述亮度感测模块感测的亮度高于一高亮度值,则对应地升高所述夹挤上限。
7.根据权利要求1所述的动态影像产生方法,其特征在于,色调映射步骤包含有:
一临界值产生步骤,所述图像处理模块将所述短曝影像讯号的多个像素值取平均值产生一短曝亮度临界值,并将所述长曝影像讯号的所述多个像素值取平均值产生一长曝亮度临界值;
一高动态范围合成步骤,所述图像处理模块根据所述短曝亮度临界值,将所述短曝影像讯号中高于所述短曝亮度临界值的所述多个像素值定义为1,并将所述短曝影像讯号中低于或等于所述短曝亮度临界值的所述多个像素值定义为0,所述图像处理模块根据所述长曝亮度临界值,将所述长曝影像讯号中高于所述长曝亮度临界值的所述多个像素值定义为1,并将所述长曝影像讯号中低于或等于所述长曝亮度临界值的所述多个像素值定义为0;以及
一加权计算步骤,所述图像处理模块将二值化后的所述短曝影像讯号乘上一短曝权重,所述图像处理模块将二值化后的所述长曝影像讯号乘上一长曝权重,其中,所述长曝权重大于所述短曝权重。
8.一种高帧率高动态范围的动态影像传感器,用于接收动态范围的动态影像的环境中,其特征在于,所述动态影像传感器包含有:
一感测数组,其包含多个第一曝光像素以及多个第二曝光像素,所述多个第一曝光像素具有一短曝光时间,所述多个第二曝光像素具有一长曝光时间;以及
一图像处理模块,其耦接于所述感测数组;
其中,所述第一曝光像素曝光所述短曝光时间产生一短曝影像讯号,同时所述第二曝光像素曝光所述长曝光时间产生一长曝影像讯号,所述图像处理模块将所述短曝影像讯号以及所述长曝影像讯号执行一色调映像算法,产生一短曝影像信息以及一长曝影像信息,并且所述图像处理模块将所述短曝影像信息以及所述长曝影像信息进行曝光融合,产生一高动态范围影像信息。
9.根据权利要求8所述的动态影像传感器,其特征在于,所述多个第一曝光像素与所述多个第二曝光像素交错排列,且所述多个第一曝光像素的数量为所述多个第二曝光像素的数量的1倍、2倍以及3倍其中之一。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211093567.9A CN117729447A (zh) | 2022-09-08 | 2022-09-08 | 动态影像产生方法及其动态影像传感器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211093567.9A CN117729447A (zh) | 2022-09-08 | 2022-09-08 | 动态影像产生方法及其动态影像传感器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117729447A true CN117729447A (zh) | 2024-03-19 |
Family
ID=90207462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211093567.9A Pending CN117729447A (zh) | 2022-09-08 | 2022-09-08 | 动态影像产生方法及其动态影像传感器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117729447A (zh) |
-
2022
- 2022-09-08 CN CN202211093567.9A patent/CN117729447A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110248108B (zh) | 宽动态下的曝光调整及动态范围确定方法和相关装置 | |
US8179466B2 (en) | Capture of video with motion-speed determination and variable capture rate | |
US8384805B2 (en) | Image processing device, method, and computer-readable medium for executing pixel value correction in a synthesized image | |
CN101816171B (zh) | 用于增强图像动态范围的多重曝光模式 | |
US8542288B2 (en) | Camera system and imaging method using multiple lens and aperture units | |
EP1924966B1 (en) | Adaptive exposure control | |
JP6111336B2 (ja) | 画像処理方法および装置 | |
US20210248758A1 (en) | Hdr image generation from single-shot hdr color image sensors | |
EP3847800B1 (en) | Auto exposure of spatially-multiplexed-exposure high-dynamic-range image sensors | |
US9432589B2 (en) | Systems and methods for generating high dynamic range images | |
CN103856721A (zh) | 用于计算闪烁评估值的设备和方法 | |
US20120314107A1 (en) | Image processing apparatus, image processing method, and solid-state imaging apparatus | |
CN112565636A (zh) | 图像处理方法、装置、设备和存储介质 | |
WO2015199969A2 (en) | Exposure metering based on background pixels | |
US20130063622A1 (en) | Image sensor and method of capturing an image | |
CN100401749C (zh) | 图像处理装置和方法 | |
US11496694B2 (en) | Dual sensor imaging system and imaging method thereof | |
US20210125318A1 (en) | Image processing method and apparatus | |
CN117729447A (zh) | 动态影像产生方法及其动态影像传感器 | |
US11758297B2 (en) | Systems, methods, and media for high dynamic range imaging using single-photon and conventional image sensor data | |
US11711636B2 (en) | Image processing device | |
TWI803424B (zh) | 動態影像產生方法及其動態影像感測器 | |
US11153467B2 (en) | Image processing | |
CN114331893A (zh) | 一种获取图像噪声的方法、介质和电子设备 | |
CN114143420A (zh) | 双传感器摄像系统及其隐私保护摄像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |