CN113940057B - 基于与图像传感器相关联的运动特性控制曝光设置的系统和方法 - Google Patents
基于与图像传感器相关联的运动特性控制曝光设置的系统和方法 Download PDFInfo
- Publication number
- CN113940057B CN113940057B CN202080041781.2A CN202080041781A CN113940057B CN 113940057 B CN113940057 B CN 113940057B CN 202080041781 A CN202080041781 A CN 202080041781A CN 113940057 B CN113940057 B CN 113940057B
- Authority
- CN
- China
- Prior art keywords
- future
- image
- exposure settings
- current
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 224
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000012545 processing Methods 0.000 claims abstract description 122
- 238000004891 communication Methods 0.000 claims description 16
- 239000003550 marker Substances 0.000 claims description 8
- 238000005259 measurement Methods 0.000 description 54
- 230000008569 process Effects 0.000 description 24
- 230000008859 change Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 240000003173 Drymaria cordata Species 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
用于处理一个或多个图像的系统和方法包括:确定当前时间的当前场景的当前图像的一个或多个当前曝光设置。确定与图像传感器相关联的一个或多个运动特性。基于该一个或多个运动特性,确定该当前图像中要用于确定该图像传感器的一个或多个未来曝光设置的一部分的位置,该一个或多个未来曝光设置用于在未来时间捕捉未来场景的未来图像,该未来时间在该当前时间之后。基于该当前图像中所预测的部分确定该一个或多个未来曝光设置。
Description
根据35 U.S.C.§119的优先权要求
本专利申请要求2019年6月11日提交的题为“SYSTEMS AND METHODS FORCONTROLLING EXPOSURE SETTINGS BASED ON MOTION CHARACTERISTICS ASSOCIATED WITHAN IMAGE SENSOR”的非临时申请号16/438,359的优先权,该申请已转让给本受让人并且明确地以引用方式并入本文。
技术领域
本公开总体上涉及用于控制图像的自动曝光的技术和系统。更具体地,示例性方面涉及基于与图像传感器相关联的运动特性控制图像的曝光。
背景技术
在摄影中,通过相机捕捉的图像的曝光是指到达摄影底片或在现代相机中到达电子图像传感器的每单位面积的光量。曝光基于诸如快门速度和镜头孔径的相机设置,以及正在拍摄的场景的照度(luminance)。许多相机被配备有自动曝光或“自行曝光”模式,其中曝光设置(例如,快门速度、镜头孔径等)可以自动调整以尽可能紧密地匹配正在拍摄的场景或对象的照度。
曝光设置的计算可以导致处理延迟。例如,处理延迟可能涉及自从启动图像的曝光设置的计算时的时间至将曝光设置应用于相机以供捕捉图像时的时间。在一些情况中,该处理延迟可能极高而无法接受。
发明内容
在一些示例中,描述用于处理一个或多个图像的技术和系统。一些示例包括确定要通过相机或图像传感器在当前时间捕捉的当前场景的当前图像的一个或多个当前曝光设置。可以确定与图像传感器相关联的一个或多个运动特性。该一个或多个运动特性可以包括图像传感器的行进速度或方向中的一者或多者。在一些示例中,可以至少部分基于惯性传感器或与该图像传感器通信的转向系统的输入中的一者或多者,确定该图像传感器的一个或多个运动特性。在一些示例中,确定该一个或多个运动特性可以至少部分基于当前图像的一个或多个感兴趣区域。基于该一个或多个运动特性,可以预测该当前图像中要用于确定该图像传感器的一个或多个未来曝光设置的一部分的位置。可以基于当前图像中所预测的部分,来确定可以用于在未来时间捕捉未来场景的未来图像的一个或多个未来曝光设置。在一些示例中,该未来时间在当前时间之后。在一些示例中,可以在该图像传感器的视场到达该未来场景之前,确定该一个或多个未来曝光设置。这样,一旦该图像传感器的视场到达或包括该未来场景时,该未来曝光设置就可以准备就绪并且可用,因此实现加快该未来图像的处理。
根据至少一个示例,提供一种处理一个或多个图像的方法。该方法包括确定当前时间的当前场景的当前图像的一个或多个当前曝光设置。该方法进一步包括确定与图像传感器相关联的一个或多个运动特性。该方法进一步包括基于该一个或多个运动特性预测当前图像中要用于确定图像传感器的一个或多个未来曝光设置的一部分的位置,该一个或多个未来曝光设置用于在未来时间捕捉未来场景的未来图像,该未来时间在当前时间之后。该方法进一步包括基于当前图像中所预测的部分,确定该一个或多个未来曝光设置。
在另一示例中,提供了一种用于处理一个或多个图像的装置,该装置包括:存储器,该存储器被配置为存储该一个或多个图像;以及处理器,该处理器耦合到该存储器。该处理器实施于电路系统中,并且被配置为且可以确定当前时间的当前场景的当前图像的一个或多个当前曝光设置。该处理器进一步被配置为且可以确定与图像传感器相关联的一个或多个运动特性。该装置进一步被配置为基于该一个或多个运动特性预测当前图像中要用于确定图像传感器的一个或多个未来曝光设置的一部分的位置,该一个或多个未来曝光设置用于在未来时间捕捉未来场景的未来图像,该未来时间在当前时间之后。该处理器进一步被配置为且可以基于该当前图像中所预测的部分,确定该一个或多个未来曝光设置。
在另一示例中,提供了一种其上存储有指令的非暂时性计算机可读介质,该指令在由一个或多个处理器执行时使该一个或多个处理器:确定当前时间的当前场景的当前图像的一个或多个当前曝光设置;确定与图像传感器相关联的一个或多个运动特性;基于该一个或多个运动特性,预测该当前图像中要用于确定图像传感器的一个或多个未来曝光设置的一部分的位置,该一个或多个未来曝光设置用于在未来时间捕捉未来场景的未来图像,该未来时间在当前时间之后;以及基于该当前图像中所预测的部分,确定该一个或多个未来曝光设置。
在另一示例中,提供了一种用于处理一个或多个图像的装置。该装置包括用于确定当前时间的当前场景的当前图像的一个或多个当前曝光设置的部件。该装置进一步包括用于确定与图像传感器相关联的一个或多个运动特性的部件。该装置进一步包括用于基于该一个或多个运动特性预测当前图像中要用于确定图像传感器的一个或多个未来曝光设置的一部分的位置的部件,该一个或多个未来曝光设置用于在未来时间捕捉未来场景的未来图像,该未来时间在当前时间之后。该装置进一步包括用于基于当前图像中所预测的部分来确定该一个或多个未来曝光设置的部件。
在一些方面中,上文所描述的方法、装置和计算机可读介质进一步包括在该图像传感器的视场到达该未来场景之前确定该一个或多个未来曝光设置。
在上文所描述的方法、装置和计算机可读介质的一些方面中,其中预测该当前图像中要用于确定该一个或多个未来曝光设置的部分的位置包括排除该当前图像中不用于确定该一个或多个未来曝光设置的区域。
在上文所描述的方法、装置和计算机可读介质的一些方面中,该一个或多个运动特性包括该图像传感器的行进速度或方向中的一者或多者。
在一些方面中,上文所描述的方法、装置和计算机可读介质进一步包括至少部分基于惯性传感器或与该图像传感器通信的转向系统的输入中的一者或多者确定该一个或多个运动特性。
在一些方面中,上文所描述的方法、装置和计算机可读介质进一步包括至少部分基于该当前图像的一个或多个感兴趣区域确定该一个或多个运动特性。
在上文所描述的方法、装置和计算机可读介质的一些方面中,基于该当前图像中所预测的部分确定该一个或多个未来曝光设置包括:在所预测的部分中预测该未来图像的一个或多个感兴趣区域;以及调整该一个或多个感兴趣区域的曝光设置。
在一些方面中,上文所描述的方法、装置和计算机可读介质进一步包括:确定包括位于所预测的部分中的与未来图像的一个或多个区相关联的一个或多个网格单元的网格;以及确定该一个或多个网格单元的权重,其中该一个或多个未来曝光设置基于该权重。
在上文所描述的方法、装置和计算机可读介质的一些方面中,该一个或多个未来曝光设置包括该当前图像的一个或多个当前曝光设置的变型。
在一些方面中,上文所描述的方法、装置和计算机可读介质进一步包括通过该图像传感器基于该一个或多个未来曝光设置捕捉该未来图像。
本发明内容既非意图标识所要求保护的主题的关键或本质特征,也非意图单独用于确定所要求保护的主题的范围。应通过参考本专利的完整说明书的适当部分、任何或全部附图以及每项权利要求来理解主题。
通过参考以下说明书、权利要求和附图,前述内容连同其它特征和实施例将变得更加明显。
附图说明
下文参考以下附图详细地描述本申请的说明性实施例:
图1是根据本公开的示出示例性图像处理系统的框图。
图2A是根据本公开的示出通过相机捕捉的图像的示意图。
图2B示出了根据本公开的用于处理图像的网格的示意图。
图3A至图3B示出了根据本公开的网格的示意图,该网格用于基于与相机相关联的一个或多个运动特性处理图像。
图4A至图4B示出了根据本公开的网格的示意图,该网格用于基于与相机相关联的一个或多个运动特性和一个或多个感兴趣区域处理图像。
图5示出了根据本公开的网格的示意图,该网格用于基于与相机相关联的一个或多个运动特性和方向盘的转向方向处理图像。
图6A至图6D是根据本公开的基于相机的移动示出相机的视场中的变化的示意图的图式。
图7是根据本公开的示出用于处理一个或多个图像的示例性过程的流程图。
图8是示出可以实施本文中描述的各种技术的示例性计算设备的示例性计算设备架构的框图。
具体实施方式
下面提供本公开的某些方面和实施例。这些方面和实施例中的一些可以独立地应用并且它们中的一些可以组合应用,这对于本领域技术人员员来说是显而易见的。在以下描述中,出于解释的目的,阐述了具体细节以便提供对本申请的实施例的透彻理解。然而,显而易见的是,可以在没有这些具体细节的情况下实践各种实施例。附图和描述不意图是限制性的。
以下描述仅提供示例性实施例,而不意图限制本公开的范围、适用性或配置。相反,对示范性实施例的以下描述将为本领域技术人员提供用于实施示范性实施例的可行描述。应当理解,在不脱离所附权利要求中阐述的本申请的精神和范围的情况下,可以对元件的功能和布置作出各种改变。
相机可以包括用于为通过相机捕捉的图像计算适当曝光设置的机构。在一些示例中,可以动态地调整相机的曝光设置。例如,曝光设置可以包括对于相机的镜头的孔径的设置。在一些示例中,曝光设置也可以包括对相机的感光度或增益的设置,其可以基于诸如国际标准化组织(ISO)等标准定义的感光度(也称为ISO感光度)。例如,对孔径和快门速度的曝光设置可以控制场景的图像被暴露给相机的图像传感器的时间量。对孔径和速率的曝光设置也可以被称为对曝光时间的曝光设置。
相机的快门速度和孔径可以控制进入相机的光的量。在一些示例中,相机中的电子传感器可以检测从场景反射的光,其中可以使用对反射光的测量来调整通过相机捕捉的场景的图像的曝光设置。测量反射光也被称为光计量。
在一些常规光计量机构(也称为计量模式或计量系统)中,可以基于默认场景的反射率的量的“假设”(例如,在不执行实时计算或分析以进行确定的情况下做出的确定),来计算整个图像的曝光设置。在一些示例中,计量模式可以假定场景具有预定百分比的反射率(例如,在一些已知实施方式中大致18%)并且可以相应地计算曝光。在一些示例中,可以利用均值计量模式,其中可以对来自相机的大致整个视场(field of view)的反射光的强度进行求和并取平均值,其中平均强度被用于控制相机的曝光设置。虽然这些计量模式可以适合于一些情况(例如,用于捕捉不包括极亮或极暗背景幕(backdrop)的场景的图像的静态相机),但在防止场景中明暗区域的不均衡对整个场景的曝光造成不利影响方面,这些计量模式可能并不有效。
例如,依赖于预定百分比反射率的这些假设或均值计量可能不适合于高反射性表面比例较大的场景,并且可能导致不理想的效果。例如,具有雪、大片水域、亮光源等等的背景幕的场景可能导致场景的图像曝光不足。此类曝光不足图像的示例可能出现在雪景图像中,其中雪呈现为冰蓝色,而非更真实的亮白色。类似地,非反射表面或更暗背景比例较大的场景(例如,夜晚时间或光线昏暗场景或暗色背景幕)可能导致场景的过度曝光图像。
在一些示例中,来自场景的光的亮度范围可能明显超过图像传感器能够捕捉的亮度水平。例如,数字单反(DSLR)相机可能能够从场景捕捉1:30,000对比度的光,而高动态范围(HDR)场景的亮度水平可以超过1:1,000,000对比度。在一些情况下,HDR传感器可以用以增强通过相机捕捉的图像的对比度。在一些示例中,HDR传感器可以用以获得一个图像或帧内的多次曝光。在一些示例中,HDR传感器可以用于跨多个帧获得多次曝光,其中此类多次曝光可以包括短时曝光、中等曝光和长时曝光。然而,空间或时间伪影(artifact)可能限制使用此类HDR传感器获得场景的适当光计量的有效性。例如,一些场景可能不需要多次曝光,并且因此使用多次曝光可能造成浪费。
因此,一些计量模式试图降低场景中明暗区不均衡的影响,并且为相机的视场内的图像的各种区域设置适当曝光量。在一些示例中,计量模式可以用于控制曝光设置,以避免为不具有高对比度伪影的场景不必要地使用多次曝光。在一些示例中,此类计量模式可以将基于权重的技术用于对待捕捉的图像的不同区域的亮度水平进行加权。例如,一个或多个权重可以与图像的区域相关联,其中该区域的曝光设置可以基于与该区域相关联的一个或多个权重。在一些示例中,使用一个或多个权重更重地加权该区域的亮度水平可以导致该区域的第一曝光设置类型,而不那么重地加权该区域的亮度水平可以导致第二曝光设置类型。在一些示例中,第一曝光设置类型可以包括较高或较重的曝光设置,而第二曝光设置类型可以包括较低或较轻的曝光设置。在一些示例中,基于权重的计量模式可以包括用于确定待捕捉图像的区域的曝光设置的预定图案,诸如网格(grid)。例如,网格的网格单元可以对应于图像的不同区域的曝光设置。基于权重的计量模式可以包括网格单元的权重,其中该权重可以用于控制图像的对应区域的曝光设置。在一些情况下,基于加权的计量模式也可以被称为网格计量。可以使用各种类型的网格计量,诸如中心加权计量、点(spot)计量、矩阵计量等等。
在中心加权计量中,对最接近待由相机捕捉的图像的中心的网格单元应用增大的强调(emphasis)或加权。中心加权计量在以下的假设下操作,即:假设感兴趣对象可能处于相机的视场的中心,并且感兴趣对象可能需要最精确曝光设置。可以理解,在一些情况下,此假设可能并非为真和/或可能不可持续。例如,如果在场景中存在多于一个感兴趣对象和/或如果一个或多个对象处于运动中而相机是固定的(例如,在位于固定位置的监控相机中),和/或如果相机也是运动的,则基于中心加权计量的曝光设置可能不会为图像的不同区域中的网格单元提供适当曝光设置。
点计量类似于中心加权计量,但在点计量中,可以强调待捕捉图像的点或区域,其中该点无需为图像的中心。例如,在构成最终场景之前,点计量可以通过为图像的偏心位置定制曝光设置,来以加权形式强调图像的偏心位置。点计量也可能由于类似于中心加权计量的原因而不适于各种情况。
矩阵计量可以基于不同算法自适应性地调整不同网格单元的权重。矩阵权重计量可以跨图像的各种区域中的网格单元,以分布方式提供精调(fine-tuned)曝光设置,而不限于如参考中心加权计量和点计量所讨论的中心或点。然而,矩阵计量在计算和重新计算各种区域中的网格单元的权重方面可能涉及大量计算工作,其中这些计算可能导致处理延迟。
在一些示例中,被相机观看的场景(例如,通过图像捕捉设备的图像传感器(例如,相机)检测和捕捉的视场)可以在不同时刻变化。在一些示例中,相机可以例如在不同时间实例捕捉不同场景的图像。在一些示例中,相机可以捕捉不同场景或同一场景的一系列静态图像。此外,相机可以包括视频模式以捕捉包括跨不同场景的一系列图像或同一场景的一系列图像的视频。在一些示例中,用于相机的曝光设置也可以需要针对要对不同场景捕捉的图像而变化。例如,在用于控制曝光设置的基于权重的计量模式中,从当前时间下的当前场景的当前图像到未来时间下的未来场景的未来图像,权重可能需要发生变化,其中场景可以在时间从当前时间流逝到未来时间之后从当前场景变化为未来场景,其中未来时间在当前时间之后。计算和重新计算权重(例如,在各种上方讨论的网格计量模式中)以追赶场景变化导致了处理时间。这些处理时间可能基于如上文描述的网格计量模式而有所不同。虽然在从当前场景转变到未来场景是渐进的或时间流逝较大时,处理时间可能不值得担忧,但在时间流逝较小时场景之间的快速变化可能造成挑战。
在一些情况中,相机的所观看场景中的对象的移动可以触发对重新调整曝光设置的需要。在说明性示例中,移动的汽车可以位于被相机观看的场景内,同时该相机相对静止或稳定。在这些情况中,可以使用各种分析工具重新计算权重,以在诸如移动的汽车的新图像进入到相机的视野中时调整曝光设置。例如,可以将预测性算法用于各种网格计量模式中,以计算权重或加快适合于新图像的权重的重新计算。
在一些情况中,被相机观看的场景可能至少部分基于由于相机自身的移动而变化。例如,移动相机可以用于捕捉静态图像,或相机和被相机观看的场景中的对象两者可能均存在移动,从而造成相对移动。处于运动中的相机的说明性示例可以涉及用户所拿相机从左至右的扫掠运动,以捕捉自然景物的全景图。相机和对象两者均处于运动中的说明性示例可以涉及相机被置放于移动的车辆上同时捕捉另一移动的车辆的图像。
对于相机自身可以处于运动中的这些情况,通过基于权重的计量模式使用以计算和重新计算权重的常规分析工具可能是低效的。常规网格计量模式不适合于在预测未来图像的权重时考虑相机自身的任何移动。这是因为相机的运动特性(例如,方向、速度等)可能不会由常规系统得知或预测。因此,常规机制可能无法足够快地预测曝光设置或准确确定曝光设置,从而赶不上由于相机的运动和/或与相机常驻或通信的装置或设备相关联的运动而引起的快速场景变化。
本公开的示例性方面解决常规技术的上述局限性。在一个或多个示例中,相机或图像传感器的当前场景可以包括待通过图像传感器在当前时间捕捉的当前图像。场景可以在时间从当前时间流逝后,从当前时间(例如,第一时间实例)下的当前场景变化为未来时间(例如,在第一时间实例之后的第二时间实例)下的未来场景。从当前场景到未来场景的变化可以至少部分由于图像传感器、包括该图像传感器的相机和/或包括该相机(该相机又进一步包括图像传感器)的设备或装置的移动而导致。用于当前视场的当前图像的相机的曝光设置可以被称为当前曝光设置,而用于捕捉未来场景的未来图像的相机的曝光设置可以被称为未来曝光设置。
根据示例性方面,描述用于确定用于捕捉未来场景的未来图像的未来曝光设置的系统和方法。在一些示例中,确定用于捕捉当前场景的当前图像的当前曝光设置。还可以确定与图像传感器相关联的一个或多个运动特性。基于运动特性,可以预测当前图像中要用于确定图像传感器的未来曝光设置的一部分的位置。可以基于当前图像中所预测的部分来确定未来曝光设置(例如,尚未确定的曝光设置),该未来曝光设置将用于捕捉未来场景的未来图像,可以将未来曝光设置用于在未来时间捕捉未来场景的未来图像。
在各种示例中,可以在图像传感器的视场到达未来场景之前,基于当前图像的该部分的位置的预测而启动用于确定未来曝光设置的计算。这样,一旦相机的视场到达未来场景,就可以最小化或消除用于确定用于捕捉未来图像的未来曝光设置的处理时间。
在一个或多个示例中,运动特性可以包括相机的行进方向或速度中的一者或多者。在示例性方面中,可以使用不同技术确定与图像传感器相关联的运动特性,该些技术可以单独地或以组合形式使用。在一些示例中,可以至少部分基于作为相机的一部分的或与其通信的运动测量单元(例如,陀螺仪、加速计和/或其它惯性测量单元),来确定运动特性。在一些示例中,可以至少部分基于与图像传感器通信的转向系统的输入而确定运动特性。在一些示例中,可以至少部分基于已在当前图像识别出的一个或多个感兴趣区域来确定运动特性。
图1是根据本公开的方面配置的示例性图像处理系统100的框图。图像处理系统100可以是具有一个或多个图像捕捉设备的一个或多个设备的组件、一个或多个图像捕捉设备的组件,和/或一个或多个视频捕捉设备的组件,诸如具有一个或多个相机的自主车辆、数码相机、数码摄像机、具有一个或多个相机的移动电话、具有一个或多个相机的平板计算机、具有一个或多个相机的个人计算机、具有一个或多个相机的虚拟现实(VR)设备(例如,头戴式显示器(HMD)、抬头显示器(HUD)或其它VR设备)、具有一个或多个相机的增强现实(AR)设备(例如,AR眼镜或其它AR设备)、具有一个或多个相机的游戏系统或其它合适设备。
图像处理系统100可以包括各种组件,其中示出了图像传感器110、应用程序平台(AP)120和运动测量单元130。尽管未显式地示出,但是应理解,图像处理系统100可以包括附加组件,诸如一个或多个存储器设备(例如,RAM、ROM、高速缓存、缓冲器和/或其它存储器组件或设备)和/或其它处理设备。图像处理系统100的组件可以包括电子电路或其它电子硬件和/或可以使用电子电路或其它电子硬件来实施,该电子电路或其它电子硬件可以包括一个或多个可编程电子电路(例如,微处理器、图形处理单元(GPU)、数字信号处理器(DSP)、中央处理单元(CPU)和/或其它合适的电子电路);和/或可以包括计算机软件、固件或其任何组合和/或可以使用计算机软件、固件或其任何组合来实施,以执行本文描述的各种操作。
图像传感器110可以包括未具体示出的一个或多个组件。例如,图像传感器110可以包括诸如色调控制引擎、镜头均匀性(lens shading)校正单元、线性统计引擎以及其它图像处理组件之类的组件。在一些示例中,图像传感器110可以通过捕捉构成图像的像素的光来捕捉图像。例如,图像传感器110的数字图像感测机构可以捕捉通过一个或多个镜头(未单独示出)接收的图像。所捕捉图像可以被数字化,并且作为图像传感器110(和/或图像处理系统100的另一部分)中的图像数据存储于本地存储器或存储介质中;和/或可以被远程地存储并由图像处理系统100从远程存储体访问。图像数据的各种格式是可能的。在一个示例中,图像数据可以表示红绿蓝(RGB)色彩空间中的所捕捉图像。例如,RGB图像每像素包括红色、绿色和蓝色色彩分量(其中图像亮度用RGB值表示)。在另一示例中,图像数据可以表示亮度、色度蓝色、色度红色(YCbCr)色彩空间中的所捕捉图像(其中亮度和色度分量分开)。例如,YCbCr图像每像素包括亮度、色度蓝色和色度红色色彩分量。图像色彩空间的其它示例也是已知的,并且可以在执行本文中描述的技术时利用。
在一些示例中,图像数据可以在图像传感器110的一个或多个组件(诸如上述色调控制引擎、镜头均匀性校正单元、线性统计引擎等等)中进行处理。色调控制引擎可以执行图像数据的色调映射,其中图像数据的高动态范围中的输入色彩集合映射到较低动态范围中的输出色彩集合。可以使用色调映射来解决强对比度从自然场景的所捕捉光亮度降低到可显示范围,同时保持对于欣赏最初捕捉的内容而言很重要的图像细节和色彩外观。镜头均匀性校正单元可以对图像数据执行镜头均匀性校正或补偿,以校正或补偿可能引入所捕捉图像中的均匀性效应。线性统计引擎可以基于例如每一分格(bin)中的亮度水平(例如,其以亮度为单位而测量)的计数,来将图像数据分组到不同分格,并且基于计数产生线性图像统计。在一些示例中,线性图像统计可以包括线性统计的直方图。
AP 120被示出为包括网格处理引擎122,其可以被配置为实施如上文讨论的一个或多个网格计量功能。AP 120还包括AEC引擎124,其被配置为例如基于网格计量并且可能结合诸如来自图像传感器110的线性图像统计(例如,线性统计的直方图)的其它信息,来确定图像的曝光设置。AP 120和AEC引擎124将在以下章节中进一步详细解释。在一些示例中,AP 120可以从图像传感器110接收图像数据。在一些示例中,在由AP 120接收图像数据之前,可以通过诸如具有在图像传感器110中实施的色调映射的组件中的一者处理该图像数据。在一些示例中,AP 120也可以从图像传感器110接收线性图像统计(例如,直方图)。另外,AP 120可以从运动测量单元130接收一个或多个运动特性。
运动测量单元130可以包括用于检测和测量图像处理系统100的一个或多个组件的运动的一个或多个运动检测和/或测量机构。例如,运动测量单元130可以固定在与图像传感器110共享的共同平台上,使得运动测量单元130可以测量与图像传感器110相关联的运动。所测量运动可以揭示与图像传感器110相关联的运动特性。这些运动特性可以包括前进方向或行进方向、线速、线速度、线加速度、角速度、角加速度或转速、其任何合适组合和/或其它运动特性中的一者或多者。在一些示例中,运动测量单元130可以包括可以使用一个或多个加速计检测线加速度和/或使用一个或多个陀螺仪检测转速的惯性测量单元。在一些示例中,运动测量单元130可以补充性地包括(或替代性地包括)磁力计以提供前进方向参考。在一些示例中,运动测量单元130可以每轴线含有一个或多个加速计、陀螺仪、和/或磁力计,用于三条轴线(被称为俯仰、横滚和偏航)中的每一者中待测量的运动特性。例如,运动测量单元130可以确定图像传感器110沿横向轴线(例如,俯仰)、纵向轴线(例如,横滚)和/或竖直轴线(例如,偏航)的移动的速率和度数。
在一些示例中,通过运动测量单元130测量的一个或多个运动特性可以被提供给该AP 120。一个或多个运动特性可以用于预测当前场景的当前图像的一部分的位置,其中该部分要用于确定用于通过图像传感器110捕捉未来场景的未来图像的未来曝光设置。在下文将进一步详细描述的一些示例中,通过图像传感器110捕捉的图像可以基于被图像传感器110观看的视场或场景的变化而改变。例如,场景改变可能导致用于当前场景视野的当前图像的当前曝光设置与未来场景的未来图像之间出现变化。在一些示例中,可以在图像传感器110的视场到达或包括未来场景之前,启动估计用于未来图像的未来曝光设置的过程;并且在一些实例中,可以在图像传感器110的视场到达或包括未来场景之前,完成该估计过程。
图2A是例如示出可以使用图像处理系统100处理的图像200的示意图。图2A示出了图像200中的一个或多个感兴趣区域的示例。例如,示出了图像200的区域202,其中区域202可以基于从用户或客户端设备接收的输入而限定。在一个示例中,该输入可以为触控输入,其中与相机相关联的触摸屏显示器可以显示通过相机的镜头预览的图像。图像处理系统100可以基于区域202与触控输入相关联而从触摸屏显示器接收输入。在另一示例中,图像200的区域204可以包括被摄者的面部。可以使用面部检测机制来进行特征识别,诸如通过相机拍摄的一个或多个人的面部。图像200的诸如区域202和204之类的区域可以包括待强调的感兴趣区域(ROI)。在一些示例中,强调图像的一个或多个感兴趣区域可以包括优化该一个或多个感兴趣区域的曝光设置。在一些示例中,网格处理引擎122和/或AEC引擎124可以被配置为调整一个或多个感兴趣区域的曝光设置。
在一些示例中,可以使用网格处理引擎122确定图像200的亮度水平,如在以下章节中将讨论。在使用网格处理引擎122和/或任何其它机构的情况下,可以获得构成图像200的各种部分的亮度水平。在一些示例中,可以在考虑一个或多个感兴趣区域的情况下确定图像200的曝光设置。例如,AEC引擎124可以确定在计算图像200的曝光设置时待应用于感兴趣区域(诸如区域202、204)的权重。在示例中,可以将权重w1指派给诸如区域202或区域204之类的感兴趣区域。可以将权重w2指派给图像200的剩余帧。可以如下执行加权平均以获得图像200的亮度水平:图像亮度=(ROI亮度*w1+帧亮度*w2)/(w1+w2),其中ROI亮度是指ROI(例如,区域202或204)的亮度,并且帧亮度值是指图像200中的ROI之外的剩余部分的亮度。在一些示例中,权重可以被计算为ROI的大小的函数,和/或使用其它机构进行确定。
图2B示出了可以被网格处理引擎122用来确定诸如图像200或任何其它图像之类的图像的曝光设置的网格250的示意性表示。在一些示例中,图2B中的图像200可以是通过图像传感器110捕捉的当前场景的当前图像。在图2B中,示出了可以用于计算图像200的曝光设置的网格250的网格单元。网格250可以根据由图像处理系统100使用的网格计量模式来配置。在一些示例中,网格250可以包括待应用于各种网格单元(element)的统计(诸如亮度水平)的权重。在一些示例中,统计可以从拜耳滤波器结合从图像传感器获得的数据而导出。拜耳滤波器可以包括与网格250的网格单元相对应的照片传感器的布置。例如,一个或多个照片传感器可以与每个网格单元相关联。与网格单元相对应的一个或多个照片传感器可以使用滤波技术,来检测与该网格单元相对应的图像200的区域的亮度。在一些情况下,拜耳滤波器也可以使用色调控制信息和线性统计直方图确定网格单元的亮度水平。在一些示例中,网格250的尺寸或大小、网格250的网格单元的数量等等可以被预定义,或这些方面可以基于图像的特性。在一些示例中,网格250的组成可以基于由网格处理引擎122使用的网格计量模式。
在一些示例中,网格单元的统计可以基于权重而被强调。在一些示例中,可以将权重指派给如参考图2A所描述的感兴趣区域。在一些示例中,可以基于网格计量模式将权重指派给网格单元。例如,可以根据中心加权计量模式,对使用拜耳滤波器获得的网格250的网格单元的亮度水平进行加权。在网格250中,强调诸如中心252的亮度水平之类的统计。在一些示例中,可以基于网格处理引擎122的能力而确定网格250的网格单元的大小和数量。例如,虽然由大量网格单元构成的网格可以在更精细粒度下提供亮度水平(其可以导致更高准确性的统计),但是用于处理此类网格的统计的功率消耗可能受到不利影响。例如,用于处理具有大量网格单元的网格的网格处理引擎122的功率消耗高于用于处理具有较小数量网格单元的网格的网格处理引擎122的功率消耗。因此,可以在考虑平衡统计的准确性与网格处理引擎122的能力的情况下,针对特定计量模式选择网格250的元件的数量。
更详细地,网格250在图2B的示例性图示中示出了具有N行和M列,其中可以根据网格处理引擎122的计量模式和/或能力或其它因素而选择N和M。网格250的网格单元可以与图像200中的将使用网格250对其计算曝光设置的区域相关联。在网格250内,被标识为中心252的部分对应于可以被用于计算图像的焦点区域或感兴趣区域的曝光设置的网格单元。如先前描述,网格单元可以对应于图像的不同区域(例如,在点计量中除中心252之外的地点可以对应于图像的焦点区域;在矩阵计量模式中,一个或多个网格单元可以对应于感兴趣区域,诸如图像200的区域202、204)。在一些示例中,与焦点区域相对应的网格单元的权重可以基于网格计量技术。因而,尽管中心252被示出为包括网格单元的连续块,但是应理解,在其它示例中,本公开的方面不限于焦点的任何特定位置或构成。
在一些示例中,网格处理引擎122可以对于每个网格单元获得用亮度(照度或亮度)水平表示的统计,并且将如网格250中所标识的权重应用于不同网格单元。例如,亮度水平可以处于0至255的亮度值范围中,其中值0对应于最暗可能像素且值255对应于最亮可能像素。如先前所提及,网格处理引擎122可以使用拜耳滤波器获得统计。网格处理引擎122可以基于网格计量模式将权重应用于统计。在一些示例中,可以向需要较高强调或聚焦的网格单元指派较高权重。在网格250中,针对各种网格单元示出范围为0至8的权重。中心252中的网格单元的权重示出为最高(权重值8)。中心252中网格单元的最高权重表示中心252中的网格单元被指派了最高聚焦,而网格单元的权重向着网格250的外部边缘和角落逐渐降低(例如,从周围中心的网格单元的值7降低到所示的外部边缘处的值0、1或2)。
在一些示例中,归一化加权统计可以由网格处理引擎122使用。例如,网格单元的统计或亮度水平可以乘以网格250中的对应权重,以获得加权统计。可以获得网格250中的权重的总和。可以通过将加权统计除以权重的总和,来计算归一化加权统计。可以在一些示例中使用网格单元的归一化加权统计代替原始亮度值,以将各种网格单元的归一化加权统计带到较近范围中。
AEC引擎124可以从网格处理引擎122接收统计和权重(或在一些示例中,归一化加权统计),并且基于网格单元的统计和对应权重来调整图像200的曝光设置。例如,AEC引擎124可以通过确定网格250的每个网格单元的加权亮度水平而调整曝光设置。在一些示例中,网格单元的加权亮度水平可以基于网格单元的亮度水平和网格单元的权重而确定。因此,网格单元的亮度水平可以通过增大该网格单元的权重而得到强调。例如,如果包括网格250的一个或多个网格单元的区域的权重增大,则相对于其它区域强调该区域。强调该区域可以导致该区域的亮度水平对于基于网格250计算出的亮度水平做出更重的贡献。例如,在包括一片白雪的图像的情况下,网格250中对应于白雪的区域的亮度将为高。强调该区域可以导致相对于图像的剩余部分曝光所捕捉图像的白雪的亮度,同时所捕捉图像的整体亮度可以降低。类似地,如果待捕捉图像包括暗隧道,则强调网格250中与暗隧道相对应的区域可以降低所捕捉图像中的暗隧道的亮度,同时增大所捕捉图像的整体亮度。
因此在一些示例中,AEC引擎124可以强调网格250中具有较高权重的一个或多个区域,而可以不强调具有较低权重的区域。在说明性示例中,AEC引擎124可以增大对于网格250中与中心252相对应的区域的强调,并且可以减小对于网格250中与网格250的外部边缘相对应的区域的强调或保持该强调不变。
图3A和图3B示出了网格250中基于运动的变化的示意性表示。图3A示出参考图2B讨论的网格250,并且还包括运动方向304的指示。运动方向304表示被相机或图像传感器110观看的视场或场景中的移动,其中上述相机或图像传感器110被用于捕捉图像,基于网格250来对这些图像计算曝光设置。图像传感器110的运动方向可以为任何方向,诸如水平方向、竖直方向、深度方向或其任何组合。在图3A和图3B中示出的说明性示例中,运动方向304可以由于图像传感器110的水平移动而导致,造成被图像传感器110观看的场景的对应水平移动。在一些示例中,可以从运动测量单元130获得移动的一个或多个运动特性,诸如运动方向304、移动发生的速度等等。在一些示例中,基于运动方向304的场景变化可以导致网格单元的权重的变化,其中这些网格单元要被用于控制用于捕捉改变场景中的图像的曝光设置。例如,如果网格250表示当前场景的当前图像200的网格单元的权重,则与运动方向304相关联的场景变化可以导致未来场景,其中将通过图像传感器110捕捉该未来场景的未来图像。
图3B示出了网格300,该网格用于基于移动来控制用于捕捉未来场景的未来图像的未来曝光设置。该移动通过一个或多个运动特性(诸如运动方向304、移动速率和/或其它运动特性)限定。在未来场景中,可能存在待由图像传感器110捕捉的图像的新焦点区域。根据一些示例,图3B中示出了区段306和308。区段306指示网格300中与当前图像相关联的一部分,该部分可以用于计算未来场景的未来图像的未来曝光设置。区段308指示网格300中与当前图像相关联的区域,该部分可以被排除或不再用于计算未来曝光设置。
在一个或多个方面中,可以使用从运动测量单元130获得的一个或多个运动特性,来预测当前图像中用于确定未来曝光设置的一部分的位置。例如,可以基于包括运动方向304的一个或多个运动特性,预测网格300中要用于确定未来曝光设置的区段306的位置。在所示的示例中,网格处理引擎122可以基于预测网格300中要用于确定未来曝光设置的区段306的位置而计算未来场景的未来图像的权重。因此,预测当前图像中要用于确定一个或多个未来曝光设置的部分的位置也可以包括排除当前图像中不用于确定一个或多个未来曝光设置的区域。例如,网格处理引擎122可以基于排除区段308不用于确定一个或多个未来曝光设置而计算未来图像的权重。
在一些示例中,运动测量单元130可以确定一个或多个运动特性,其可以用于被预测要用于确定一个或多个未来曝光设置的区段306的位置且用于排除区段308不用于确定一个或多个未来曝光设置。例如,运动测量单元130可以包括检测移动速度的加速计、检测行进方向(例如,运动方向304)的磁力计,和/或沿若干轴线(例如,在x、y和z方向上的三条轴线)以度每秒测量转速的陀螺仪。例如,以某一速度将相机从当前场景向左平移(即,运动方向304)可以导致未来时间的未来图像的中心位于图2B中所示的当前图像200的中心左侧的可确定或可预测距离处。例如,用于确定未来曝光设置的区段306中的待强调中心302可以被预测为位于图2B中所示的网格200的中心252左侧的可确定距离的位置处。
更详细地,可以基于预测网格300中将用于确定用于捕捉未来图像的未来曝光设置的区段306的位置,来计算网格300的网格单元的权重。例如,可以基于区段306将位于网格300的左部分(与中心352从中心252至左侧的移动相对应)的预测,来确定这些权重。由于区段306被预测为要用于计算未来曝光设置的权重,因此可以更重地加权区段306中的网格单元。相反地,区段308被预测为被排除不用于计算未来曝光设置的权重,并且因此,可以不那么重地加权区段308的网格单元。在一些示例中,可以通过将中心302的权重确定为最大值(例如,8)来强调中心302的权重,并且可以根据所选计量模式重新计算区段306的剩余网格单元的权重。可以基于一个或多个运动特性,在预料到图像传感器110将会在未来时间将到达未来视场的情况下,计算具有如上区段306和区段308中的网格单元的权重的网格300的权重。
在运动测量单元130中的运动传感器可以用于确定一个或多个运动特性的一些示例中,运动传感器可以提供信息,该信息被用于预测区段306的位置。例如,运动传感器可以揭示运动中的相机正在加速或减速,基于此,可以调节AEC引擎124。因此,在加速期间,不太保守的调节可以产生中心302移位到网格300(相对于中心252)的较远左侧的估计,而更保守调节可以产生中心302的较小移位的估计。
在一个示例中,网格处理引擎122可以确定图像传感器110在当前时间提供的图像数据的网格计量权重(如网格250中所示)。网格处理引擎122可以计算网格250的网格单元的权重,其中该中心252被强调以便用于确定待由图像传感器110捕捉的当前场景的当前图像的当前曝光设置。网格250可以包括基于如上文所讨论的基于中心权重的计量模式的权重。包括图像传感器110的相机可以在当前时间已经处于运动中,或在当前时间开始移动。运动测量单元130可以测量图像传感器110的移动,并且基于该移动将一个或多个运动特性提供给网格处理引擎122。网格处理引擎122可以从运动测量单元130接收一个或多个运动特性(例如,包括运动方向304和沿运动方向304的行进速度)。
网格处理引擎122可以对于晚于当前时间的未来时间确定网格300,其中基于一个或多个运动特性来预测网格300中要用于确定用于在未来时间捕捉未来图像的未来曝光设置的区段306的位置。例如,相机行进的距离可以基于速度和方向而确定。相机行进的距离可以用于估计介于当前时间与未来时间之间的持续时间中的从当前场景到未来场景的场景变化。网格处理引擎122可以确定或估计待强调用于计算未来曝光设置视野的中心302将位于从中心252移位的距离处,并且网格处理引擎122可以相应的确定网格300的区段306和308的网格单元的权重。
在一些示例中,网格处理引擎122可以在未来时间之前启动确定网格300的网格单元的权重的过程。在一些示例中,网格处理引擎122可以在未来时间之前完成确定网格300的网格单元的权重的过程,使得网格300的网格单元的权重在相机的视场到达未来场景之前已基于相机的运动而被确定好。因此,可以消除或最小化在一旦相机的视场到达或包括未来场景时才计算未来曝光设置的权重时的任何处理延迟。
在以上示例中,假定网格300的网格单元的权重的计算中所涉及的预测或估计是正确的。为了验证该预测,图像处理系统100可以包括验证相机是否遵循了通过一个或多个运动特性指示的轨迹的机制。例如,未来场景可以在未来时间被确定,并且将其与估计的未来场景进行比较。如果估计的未来场景大致上与未来时间的实际未来场景一致,则可以保留通过网格处理引擎122为网格300的网格单元计算的权重。否则,网格处理引擎122可以舍弃估计的权重并重新计算权重。
图4A和图4B示出了使用点计量模式并基于一个或多个运动特性的网格计量技术的示意性表示。图4A示出了用于计算待由相机捕捉的图像的曝光设置的网格400。网格400可以含有N1行和M1列网格单元。在说明性示例中,相机可以是被置放于车辆上并且被配置为沿车辆的行进方向捕捉场景的视角(POV)相机或行车相机(dash camera)。网格400的网格单元的权重(未具体示出)可以通过网格处理引擎122计算。在示例中,网格处理引擎122可以基于与相机相关联的一个或多个运动特性而利用点计量模式计算网格400的权重。
焦点可以随车辆移动而变化。基于车辆的诸如速度、行进方向等等的一个或多个运动特性,网格处理引擎122可以根据本公开计算用于确定用于捕捉未来场景的未来图像的未来曝光设置的权重。例如,点(spot)402包括网格400的一组网格单元(其具有一个或多个网格单元),其中点402指示网格400的区域且图像中待强调的区域。如果网格400表示用于通过点402进行强调来确定当前图像的当前曝光设置的网格,则可以基于与车辆相关联(并且因此与固定在车辆上的相机相关联)的一个或多个运动特性,对网格400的一部分(诸如将用于确定未来曝光设置的区段406)的位置进行预测。因此,网格400的区段408表示当前图像中将被排除不用于确定一个或多个未来曝光设置的区域。
例如,运动测量单元130可以(例如,从由车辆使用的一个或多个加速计、陀螺仪等)接收关于与车辆相关联的运动特性的信息,作为可以作为运动测量单元130的组件的一个或多个惯性测量单元的补充或替代。运动测量单元130可以基于运动测量的任何组合,将一个或多个运动特性提供给网格处理引擎122。网格处理引擎122可以基于所估计的未来场景中的焦点来重新计算权重,以强调区段406中新的点(未示出)。区段406被预测要用于确定未来曝光设置。可以基于一个或多个运动特性,预测区段406的位置。网格处理引擎122可以将较高权重指派给区段406中的与未来图像中的焦点相对应的新的点。AEC引擎124可以基于来自网格处理引擎122的权重,调整曝光设置。例如,基于一个或多个运动特性,AEC引擎124可以用较高权重来提高区段406中的该点的网格单元的亮度水平,以用于确定用于捕捉未来场景的未来图像的未来曝光设置。
图4B示出了用于计算待由相机捕捉的图像的曝光设置的网格450。网格450可以含有N2行和M2列网格单元。在说明性示例中,相机可以是被置放于车辆上并且被配置为沿车辆的行进方向捕捉场景的视角(POV)相机或行车相机。在图4B中,行进方向可以包括相对于被相机观看的当前场景而言在未来场景中的偏心位置。标记物454被标识于网格450下层的图像中,该标记物包括箭头标记。标记物454提供车辆正在行进的道路上的曲线的指示。标记物454可以通过图像处理系统100的图形处理单元或“GPU”(未具体示出)标识。图形处理单元可以包括检测诸如标记物454之类的标记物并因此预测一个或多个运动特性的人工智能或机器学习能力。在一些示例中,使用标记物454预测的运动特性可以结合从运动测量单元130获得的运动特性使用。例如,使用标记物454预测的运动特性可以通过图形处理单元提供给运动测量单元130,其中运动测量单元130可以在估计相机的一个或多个运动特性时将来自运动测量单元130的惯性测量传感器的运动特性和来自图形处理单元的运动特性组合。在一些示例中,运动测量单元130也可以从导航系统接收行进信息的详细方向(例如,基于全球定位系统),并且将详细方向与来自图形处理单元的输入组合。例如,导航系统可以具有基于先前已在地图中绘出的方向沿行进方向出现右转的信息,并且图形处理单元可以将行进方向映射到被相机观看的当前场景(例如,即将出现的左转或交叉路口的场景)。运动测量单元130可以基于导航系统和图形处理单元来确定右转的位置,并且网格处理引擎122可以指派较高权重用于曝光右转方向上的图像。AEC引擎124可以因此基于较高权重强调右转方向。
在图4B的所示的示例中,如由标记物454指示的道路中的曲线可能导致车辆的未来视场中的焦点位于点452处。网格450的网格单元的权重(未具体示出)可以通过网格处理引擎122计算。在示例中,网格处理引擎122可以基于从运动测量单元130获得的一个或多个运动特性,利用点计量模式计算网格450的权重,该一个或多个运动特性可以包括来自如上文所讨论的图形处理单元的运动特性。例如,点452包括网格450的一组网格单元(其具有一个或多个网格单元),其中点452指示待应用于车辆的驾驶员的经估计焦点的较高权重。
基于如从运动测量单元130和图形处理单元获得的诸如速度、行进方向等等的一个或多个运动特性,网格处理引擎122可以预测网格450中将用于确定未来图像的未来曝光设置的区段456的位置和将被排除不用于确定未来图像的未来曝光设置的区段458。通过将较高权重指派给诸如点452之类的点(其用于使用区段406计算未来曝光设置的权重),网格处理引擎122可以计算未来图像的未来曝光设置的权重。AEC引擎124可以通过将焦点优先排序来调整曝光设置。例如,基于一个或多个运动特性,AEC引擎124可以对于未来图像,用较高权重增大该点的网格单元的亮度水平。
图5示出了使用基于中心权重的计量模式并基于一个或多个运动特性的网格计量技术的示意性表示。在图5中,示出了网格500,可以将其用于计算待由相机捕捉的图像的曝光设置。还示出了方向盘506,其可以结合测量单元130使用以获得与相机相关联的一个或多个运动特性。网格500可以含有N3行和M3列网格单元。在说明性示例中,相机可以是被置放于车辆上并且被配置为沿车辆的行进方向捕捉场景的视角(POV)相机或行车相机。方向盘506可以用于控制车辆的行进方向。在示例中,转向方向504可以对应于由在转向方向504上转动方向盘506所导致的车辆的方向中的转弯或变化。在示例中,转向方向504可以造成被相机观看的场景中的对应变化。在一些示例中,网格处理引擎122可以至少部分基于转向方向504,计算用于计算未来曝光设置的网格500的权重。
在一些示例中,传感器或致动器可以检测运动特性,诸如由于方向盘506的旋转导致的车辆的方向变化。转向方向504可以基于所检测的车辆的运动特性和行进速度和/或从运动测量单元130获得的其它可能运动特性进行计算。在一些示例中,方向盘506的旋转可以被提供为作为运动测量单元130的输入,并且运动测量单元130可以确定包括转向方向504的一个或多个运动特性。例如,运动测量单元130可以将基于方向盘506的旋转的运动特性与基于运动测量单元130的一个或多个惯性测量传感器的运动特性组合,以产生待由网格处理引擎122使用的运动特性。
在图5的所示的示例中,转向方向504(至少部分由于方向盘506的旋转而造成)可能引起场景的变化,其中网格500可以用于确定改变场景中的图像的曝光设置。例如,可以计算网格500的网格单元的权重,以强调待捕捉图像的中心。
在一些示例中,基于一个或多个运动特性,可以基于一个或多个运动特性,预测要用于确定未来图像的未来曝光设置的区段506的位置。因此,也可以预测将从网格500中排除不用于确定未来曝光设置的区段508。例如,可以通过强调未来图像的中心,来确定未来曝光设置。在一些示例中,中心502的权重可以被估计为最大值(例如,8),并且区段506的剩余网格单元的权重可以较低。区段508的权重可以基于将区段508排除不用于确定未来曝光设置的预测而进行确定(例如,确定为低值)。可以基于一个或多个运动特性,在预料到相机将会在未来时间捕捉该未来图像的情况下,计算网格500的区段506和508的权重。AEC引擎124可以基于中心402被更重地加权,来调整曝光设置。例如,基于一个或多个运动特性,AEC引擎124可以增大未来图像中与中心502相对应的区域的亮度水平。
图6A、图6B、图6C和图6D示出了至少部分基于与相机相关联的运动特性的相机的视场的变化的示意图。图6A示出了包括隧道602的当前场景600。当前场景600可以通过车辆的相机观看,类似于如上文讨论的示例。在图6A的示例性图示中,当前场景600被示出为映射到按相机的水平视场(FOV)比例的度数。例如,图6A示出了被映射到x轴上的90°(从-45°至+45°)的当前场景600。隧道602被示出为在当前场景600中位于映射到-20°的区域中。隧道602被称为位于当前场景600中与周边位置相对应的一部分中。
图6B示出了感兴趣图像的高度(诸如隧道602(例如,水平轴上示出的图像高度“mm”))至以度数为单位的视场(FOV)(例如,竖直轴上示出的“FOV[°]”的2D映射。如图6A中所示,二维(2D)图像可以在水平轴(x轴)和竖直轴(y轴)两者中在径向FOV中以径向方式延伸。图像中诸如隧道602之类的区域至以度数为单位的当前场景600(例如,水平FOV)的映射可以基于相机的特性(例如,用于观看当前场景600的图像的镜头或图像传感器的特性)。在一些示例中,图像高度可以从诸如mm之类的长度单位转换为不同单位,诸如在隧道602的竖直或高度方向上的像素数量。
图6C示出了由于相机606的运动引起的相机606的场景变化的示例性方面。在图6C中,从相机606的视角示出当前场景600,其中隧道602定位于周边位置中,即,如在图6A中当前场景600的-20°位置。在图6C中,还示出了相机在方向604上的移动。在一个说明性示例中,可以由于如参考图5讨论的方向盘506的旋转而造成相机606的移动。在各种示例中,相机606的移动可以基于在如图6C中所示的方向604上的任何旋转。可以通过运动测量单元130确定与相机606相关联的一个或多个运动特性,诸如在方向604上的旋转。在一些示例中,诸如图形处理单元或方向盘的旋转检测系统之类的任何其它机构可以结合运动测量单元130使用,以确定与相机606相关联的一个或多个运动特性。
为了确定用于捕捉当前场景600的当前图像的当前曝光设置,网格处理引擎122可以产生具有强调了隧道602的曝光设置的权重的网格。例如,如果在当前场景600中通过相机606捕捉的当前图像的隧道602与剩余部分之间存在显著对比度,则网格处理引擎122可以相对于与图像的其它部分相对应的网格单元,将较高权重指派给与隧道602相对应的网格单元(例如,使用点计量机构)。
图6D示出了将通过相机606基于沿旋转604的移动观看的未来场景650。在图6D中,隧道602被示为位于未来场景650中的中心处或0°位置处。在示例性方面中,可以基于旋转604,对未来场景650中的隧道602的位置进行预测。在示例性方面中,未来场景650的未来曝光设置可以基于预测当前图像中将用于确定未来曝光设置的部分的位置而确定。可以在相机606的视场到达或包括未来场景650之前执行(例如,启动和/或完成)用于确定未来曝光设置的计算。以下示例示出用于确定未来曝光设置的技术。
在说明性示例中,相机606可以30帧/秒(fps)的速率使视频图像流化。因此,相机606的视场可以每1/30秒(或1/30s)包括一个新的帧。基于相机相对于30fps速率的移动速度(角速度和/或线速度),视场可以变化为以小于、等于或大于每1/30s一个帧的速率包括一个新的帧。在示例中,确定未来曝光设置可以涉及预测当前图像中将用于确定未来曝光设置的一个或多个区域的位置。例如,预测当前图像的一个或多个区域的位置可以包括:预测图像中的在相机的视场到达或包括未来场景650时将处于中心或0°位置的部分。在相机以30fps的速率使视频图像流化的说明性示例中,可以基于相机的移动速度,估计或预测当前图像中的将在1/30秒中位于相机的视场中心的部分(例如,隧道602)的位置。
在示例中,运动测量单元130中诸如陀螺仪之类的传感器可以用于确定相机606沿偏航轴或x轴的旋转604的角速度ω[°/s],可以计算为以度数为单位的移位:移位[°]=ω*1/30。以度数为单位的移位可以被转换成以像素为单位的移位,移位[像素]。以像素为单位的移位可以揭示当前图像之中将在1/30s中位于未来图像中的中心处的图像位置。在所示的示例中,隧道602可以基于如上文计算的移位而在1/30s的某一倍数之后出现在相机606的中心处。因此,对于相机606的中心包括隧道602的未来场景650,可以计算未来曝光设置以在未来场景650的未来图像中强调隧道602。
在一些示例中,运动测量单元130可以将上文类似计算用于其它类型的惯性测量。例如,类似于用于确定角速度的陀螺仪,可以使用加速计确定用于线性运动的相机的速度或速率。
在一些示例中,运动测量单元130可以使用导航系统提供转向和速度测量。基于通过转向提供的车辆的旋转半径r并基于线速v,角速度ω可以被计算为“r/v”。基于角速度ω,移位[°]可以被获得为ω*1/30。
因此,在示例性方面中,用于相机的未来场景的未来图像的未来曝光设置可以在相机的视场到达或包括未来场景之前进行计算。可以通过最小化或消除在一旦相机的视场到达或包括未来场景时才计算曝光设置时所涉及的处理时间来改善用于处理通过相机捕捉的图像的图像处理系统的性能。在相机的运动特性可以涉及高速度(线性/角度)的示例中,性能改善可以是显著的。
因此,应当理解,示例性方面包括用于执行本文所公开的过程、功能和/或算法的各种方法。例如,图7示出了根据本公开的方面的用于处理一个或多个图像的过程700。在一些示例中,过程700可以通过图像处理系统100实施。
在框702处,过程700包括确定当前时间的当前场景的当前图像的一个或多个当前曝光设置。例如,可以使用网格250计算当前场景的当前图像的一个或多个当前曝光设置,其中网格的中心252利用较高权重进行强调。网格250可以被网格处理引擎122使用以确定用于捕捉图像传感器110在当前时间观看的当前场景的当前图像200的当前曝光设置,如参考图2B所解释。
在框704处,过程700包括确定与图像传感器相关联的一个或多个运动特性。在一些示例中,来自运动测量单元130的一个或多个运动特性可以被网格处理引擎122获得。在一些示例中,该一个或多个运动特性可以包括图像传感器110的行进速度或方向中的一者或多者。在一些示例中,一个或多个运动特性可以至少部分基于与图像传感器110通信的惯性传感器。例如,一个或多个运动特性可以通过运动测量单元130使用诸如加速计、陀螺仪或磁力计之类的一个或多个惯性测量传感器来确定。
在一些示例中,一个或多个运动特性可以至少部分基于与图像传感器通信的转向系统。例如,方向盘506的转向方向504可以通过连接到如图5中所示的方向盘506的一个或多个传感器而获得。转向方向504可以包括在通过运动测量单元130进行的一个或多个运动特性的计算中。
在一些示例中,该一个或多个运动特性可以至少部分基于当前图像的一个或多个感兴趣区域。例如,图形处理单元(其可能如上所讨论的与导航系统组合)可以基于使用标记物454而确定的行进方向和来自导航系统的输入,来确定诸如点452之类的感兴趣区域,如图4B中所示。在另一示例中,图形处理单元可以基于车辆的行进方向来确定:未来焦点可以包括诸如点452之类的新的点,如图4A中所示。在另一示例中,感兴趣区域可以包括隧道602,其相对于相机的视场中的图像的剩余部分具有高对比度,如图6A至图6D中所示。
在框706处,过程700包括基于该一个或多个运动特性预测当前图像中要用于确定图像传感器的一个或多个未来曝光设置的一部分的位置,该一个或多个未来曝光设置用于在未来时间捕捉未来场景的未来图像,该未来时间在当前时间之后。例如,基于一个或多个运动特性,可以预测要用于确定一个或多个未来曝光设置的、与当前图像200的一部分相对应的、网格300的一部分(诸如区段306)的位置。相应的,也可以预测要被排除不用于确定一个或多个未来曝光设置的、与当前图像200的区域相对应的、网格300的区段(诸如区段308)。
在一些示例中,网格处理引擎122可以基于网格300的区段306和308来确定待应用于网格单元的权重。例如,在中心加权计量模式中,可以在要用于确定一个或多个未来曝光设置的区段306中更重地对中心302加权。在一些示例中,可以强调图像的感兴趣区域的方式,对与图像的一个或多个感兴趣区域相对应的网格单元进行加权。在一些示例中,被提供给具有较重的权重的区域的强调可以包括调整诸如该区域的亮度水平之类的曝光设置。
在一些示例中,AEC引擎124可以使用通过网格处理引擎122确定的权重,并且基于图像传感器的当前视场的当前图像的当前曝光设置及估计的变型来确定网格单元的曝光设置。例如,AEC引擎124可以使用网格250的当前视场的当前图像的亮度水平,和通过网格处理引擎122基于如图3A和图3B中所示的运动方向304使用区段306针对网格300而确定的权重。
在框708处,过程700包括基于当前图像中所预测的部分来确定该一个或多个未来曝光设置。例如,AEC引擎124可以使用网格300的区段306来确定未来图像的一个或多个未来曝光设置,其中对中心302进行更重地加权,如上文所讨论。
在一些示例中,可以在图像传感器的视场到达或包括未来视场之前确定未来图像的一个或多个未来曝光设置。例如,可以在相机的视场到达或包括未来场景之前,基于与图像传感器110相关联的一个或多个运动特性,启动或在一些情况下完成确定未来曝光设置的过程。取决于AEC引擎124的处理速度和相机的移动速度,例如,可以在相机的视场到达或包括未来场景之前,准备好将未来图像的未来曝光设置应用于未来图像。
图8示出了可以实施本文描述的各种技术的示例性计算设备的示例性计算设备架构800。例如,计算设备架构800可以实施本文描述的一个或多个过程。计算设备架构800的组件被示出为使用诸如总线之类的连接805彼此电通信。示例性计算设备架构800包括处理单元(CPU或处理器)810和计算设备连接805,该计算设备连接将包括诸如只读存储器(ROM)820和随机存取存储器(RAM))825之类的计算设备存储器815的各种计算设备组件耦合到处理器810。
计算设备架构800可以包括高速存储器的高速缓存,该高速缓存与处理器810的直接连接、紧密接近处理器或集成为处理器的一部分。计算设备架构800可以将数据从存储器815和/或存储设备830复制到高速缓存812以供处理器810快速访问。这样,高速缓存812可以提供性能提升,从而避免处理器810在等待数据时延迟。这些和其它模块可以控制或被配置为控制处理器810以执行各种动作。也可以使用其它计算设备存储器815。存储器815可以包括具有不同性能特性的多种不同类型的存储器。处理器810可以包括任何通用处理器以及被配置为控制处理器810的硬件或软件服务(诸如存储在存储设备830中的服务1 832、服务2 834和服务3 836)以及其中将软件指令结合到处理器设计中的专用处理器。处理器810可以是独立的系统,其包含多个核或处理器、总线、存储器控制器、高速缓存等。多核处理器可以是对称的或不对称的。
为了使得用户能够与计算设备架构800交互,输入设备845可以表示任何数量的输入机构,诸如用于语音的麦克风、用于手势或图形输入的触敏屏幕、键盘、鼠标、运动输入、语音等等。输出设备835也可以是本领域技术人员已知的多种输出机构中的一种或多种,诸如显示器、投影仪、电视、扬声器设备等。在一些情况下,多模态计算设备可以使得用户能够提供多种类型的输入以与计算设备架构800进行通信。通信接口840通常可以支配和管理用户输入和计算设备输出。对于在任何特定硬件装置上进行操作没有限制,因此,此处的基本功能在被开发时可以轻松替换为改进的硬件或固件装置。
存储设备830是非易失性存储器并且可以是硬盘或可以存储计算机可访问的数据的其它类型的计算机可读介质,诸如磁带、闪存卡、固态存储器设备、数字通用磁盘、盒式磁带、随机存取存储器(RAM)825、只读存储器(ROM)820及其混合。存储设备830可以包括用于控制服务器810的服务832、834、836。可以预期其它硬件或软件模块。存储设备830可以连接到计算设备连接805。在一个方面中,执行特定功能的硬件模块可以包括存储在计算机可读介质中的软件组件与必要的硬件组件(诸如处理器810、连接805、输出设备835等等)的结合以执行功能。
如本文中所使用的术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光存储设备以及能够存储、包含或携带指令和/或数据的各种其它介质。计算机可读介质可以包括其中可以存储数据并且不包括无线地或通过有线连接传播的载波和/或瞬态电子信号的非暂时性介质。非暂时性介质的示例可以包括但不限于磁盘或磁带、诸如压缩光盘(CD)或数字通用磁盘(DVD)等光存储介质、闪存、存储器或存储器设备。计算机可读介质在其上可以存储代码和/或机器可执行指令,它们可以表示程序、函数、子程序、程序、例程、子例程、模块、软件包、类、或者指令、数据结构或程序语句的任何组合。代码段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一个代码段或硬件电路。信息、自变量、参数、数据等可以经由任何合适的方式来传递、转发或传输,这些方式包括存储器共享、消息传递、令牌传递、网络传输等。
在一些实施例中,计算机可读存储设备、介质和存储器可以包括包含比特流等的有线或无线信号。然而,在提及时,非暂时性计算机可读存储介质明确排除诸如能量、载波信号、电磁波和信号本身等介质。
在以上描述中提供了具体细节以提供对本文提供的实施例和示例的透彻理解。然而,本领域一般技术人员将理解,可以在没有这些具体细节的情况下实践这些实施例。为了解释清楚,在某些情况下,本技术可以被表示为包括个别功能块,该功能块包括包含以软件或硬件和软件的组合体现的设备、设备组件、方法中的步骤或例程的功能块。可以使用除了图中所示和/或本文描述的那些之外的附加组件。例如,电路、系统、网络、过程和其它组件可以以框图形式示出为组件,以免在不必要的细节中混淆实施例。在其他情况下,可以在没有不必要的细节的情况下示出公知电路、过程、算法、结构和技术以免混淆实施例。
上文可以将各个实施例描述为过程或方法,该过程或方法被描绘为流程图、流程图、数据流图、结构图或框图。尽管流程图可以将操作描述为循序过程,但是许多操作可并行或同时执行。另外,可以重新布置操作顺序。过程在其操作完成时终止,但是可能具有图中未包括的附加步骤。过程可以对应方法、函数、程序、子例程、子程序等。当过程对应于函数时,它的终止可以对应于函数返回到调用函数或主函数。
可以使用存储在计算机可读介质中或以其他方式可从计算机可读介质中获得的计算机可执行指令来实施根据上述示例的过程和方法。此类指令可以包括例如导致或以其它方式配置通用计算机、专用计算机或处理设备以执行特定功能或一组功能的指令和数据。可以通过网络访问所使用的计算机资源的部分。计算机可执行指令可以是例如二进制文件、中间格式指令(诸如汇编语言)、固件、源代码等。可以用于存储指令、所使用的信息和/或在根据所描述的示例的方法期间创建的信息的计算机可读介质的示例包括磁盘、光盘、闪存、设置有非易失性存储器的USB设备、联网存储设备等等。
实施根据这些公开内容的过程和方法的设备可以包括硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合,并且可以采用多种形式因素中的任何一种。当以软件、固件、中间件或微代码实施时,用于执行必要任务(例如,计算机程序产品)的程序代码或代码段可以存储在计算机可读或机器可读介质中。处理器可以执行必要的任务。外观尺寸的典型示例包括膝上型计算机、智能手机、移动电话、平板设备或其它小外观尺寸的个人计算机、个人数字助理、机架式设备、独立设备等等。本文描述的功能也可以体现在外围设备或扩展卡中。通过进一步的示例,这种功能性还可以在于单个芯片中执行的不同芯片或不同过程之间的电路板上实施。
指令、用于传达此类指令的介质、用于执行它们的计算资源以及用于支持此类计算资源的其它结构是用于提供本公开中描述的功能的示例性部件。
在前面的描述中,参考本申请的具体实施例描述了本申请的各方面,但是本领域技术人员将认识到本申请不限于此。因此,尽管本文已经详细描述了本申请的说明性实施例,但是应当理解,可以其它方式不同地实施和采用所公开概念,并且所附权利要求意图被解释为包括除了受现有技术的限制的变形之外的这种变型。上述申请的各种特征和方面可以单独或联合使用。此外,在不脱离本说明书的更广泛的精神和范围的情况下,实施例可以在超出本文描述的那些环境和应用的任何数量的环境和应用中使用。因此,说明书和附图被认为是说明性的而不是限制性的。出于说明目的,按特定顺序描述了方法。应当理解,在替代实施例中,可以以与所描述的顺序不同的顺序来执行该方法。
本领域一般技术人员将理解,在不脱离本说明书的范围的情况下,本文使用的小于(“<”)和大于(“>”)符号或术语分别可以被替换为小于或等于(“≤”)和大于或等于(“≥”)符号。
在组件被描述为“被配置为”执行某些操作的情况下,此类配置可以例如通过设计电子电路或其它硬件来执行操作、通过对可编程电子电路(例如,微处理器,或其它合适的电子电路)进行编程以执行操作或其任何组合来实现。
短语“耦合到”是指直接或间接地物理连接到另一个组件的任何组件,和/或与另一个组件直接或间接通信(例如,通过有线或无线连接和/或其它合适的通信接口连接到另一组件)的任何组件。
叙述集合中的“至少一者”的权利要求语言或其它语言指示该集合的一个成员或该集合的多个成员满足权利要求。例如,叙述“A和B中的至少一者”的权利要求语言表示A、B或A和B。
结合本文公开的实施例描述的各种说明性逻辑块、模块、电路和算法步骤可以被实施为电子硬件、计算机软件、固件或其组合。为了清楚地示出硬件和软件的这种可互换性,上面已经对各种说明性组件、框、模块、电路和步骤在其功能方面进行了总体描述。将这种功能性实施为硬件还是软件取决于特定应用和施加于整个系统的设计约束。技术人员可以针对每个特定应用以不同方式实施所描述的功能性,但是这种实施决策不应被解释为导致脱离本申请的范围。
本文描述的技术也可以在电子硬件、计算机软件、固件或其任何组合中实施。此类技术可以在多种设备中的任一种中实施,该设备诸如通用计算机、无线通信设备手持机或具有多种用途的集成电路设备,该多种用途包括在无线通信设备手持机和其它设备中的应用。被描述为模块或组件的任何特征可以一起在集成逻辑设备中实施,或者作为离散但可互操作的逻辑设备分开实施。如果以软件实施,则该技术可以至少部分地通过包括程序代码的计算机可读数据存储介质来实施,该程序代码包括在被执行时执行上述方法中的一者或多者的指令。计算机可读数据存储介质可以形成计算机程序产品的一部分,该计算机程序产品可以包括包装材料。计算机可读介质可以包括存储器或数据存储介质,诸如随机存取存储器(RAM),诸如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存、磁性或光学数据存储介质等。另外或替代地,该技术可以至少部分地由计算机可读通信介质(诸如传播信号或波)来实现,该计算机可读通信介质以指令或数据结构的形式携带或传送代码,并且可以由计算机或其它处理器来访问、读取和/或执行。
程序代码可以由处理器执行,该处理器可以包括一个或多个处理器,诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路系统。此类处理器可以被配置为执行本公开中描述的任何技术。通用处理器可以是微处理器;但是替代地,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以被实施为计算设备的组合,例如,DSP与微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核或者任何其它这样的配置。因此,如本文所使用的术语“处理器”可以指代任何前述结构、前述结构的任何组合、或适用于实施本文描述的技术的任何其它结构或装置。
Claims (42)
1.一种处理一个或多个图像的方法,所述方法包括:
确定当前时间的当前场景的当前图像的一个或多个当前曝光设置;
使用所述一个或多个当前曝光设置处理所述当前图像;
在装置到目的地的行进期间,确定与所述装置的图像传感器相关联的一个或多个运动特性;
检测所述当前图像的第一部分中的对象,所述对象与所述装置到目的地的行进路线相关联,所述对象与行进路线相关联,并且一个或多个运动特性是不同的;
基于所述一个或多个运动特性和与所述装置到目的地的行进路线相关联的对象,确定所述当前图像中要用于确定所述图像传感器的一个或多个未来曝光设置的第二部分,所述一个或多个未来曝光设置用于在未来时间捕捉未来场景的未来图像,所述未来时间在所述当前时间之后;以及
基于所述当前图像中所确定的第二部分来确定所述一个或多个未来曝光设置。
2.根据权利要求1所述的方法,其进一步包括:
在所述图像传感器的视场到达所述未来场景之前确定所述一个或多个未来曝光设置。
3.根据权利要求1所述的方法,还包括识别所述当前图像中要用于确定所述一个或多个未来曝光设置的所述第二部分包括:排除所述当前图像中不用于确定所述一个或多个未来曝光设置的区域。
4.根据权利要求1所述的方法,其中,所述一个或多个运动特性包括所述图像传感器的行进速度或方向中的一者或多者。
5.根据权利要求4所述的方法,其进一步包括:
至少部分基于惯性传感器或与所述图像传感器通信的转向系统的输入中的一者或多者来确定所述一个或多个运动特性。
6.根据权利要求1所述的方法,其中,基于所述当前图像中所确定的第二部分来确定所述一个或多个未来曝光设置包括:
在所确定的第二部分中确定所述未来图像的一个或多个感兴趣区域;以及
调整所述一个或多个感兴趣区域的曝光设置。
7.根据权利要求1所述的方法,其进一步包括:
确定包括位于所确定的第二部分中的与所述未来图像的一个或多个区域相关联的一个或多个网格单元的网格;以及
确定所述一个或多个网格单元的权重,其中,所述一个或多个未来曝光设置基于所述权重。
8.根据权利要求1所述的方法,其中,所述一个或多个未来曝光设置包括所述当前图像的一个或多个当前曝光设置的变型。
9.根据权利要求1所述的方法,其进一步包括:
通过所述图像传感器基于所述一个或多个未来曝光设置捕捉所述未来图像。
10.根据权利要求1所述的方法,还包括基于所述图像传感器的一个或多个运动特性预测所述当前图像的第二部分的位置。
11.根据权利要求1所述的方法,其中,与行进路线相关联的对象包括至少一个标记,所述标记指示与行进路线相关联的道路的至少一个特征。
12.根据权利要求1所述的方法,还包括:
基于图形处理单元的使用来检测所述对象。
13.根据权利要求12所述的方法,还包括由所述图形处理单元将所述对象标识为指示与所述行进路线相关联的道路在行进方向上的至少一个转弯的道路标记。
14.根据权利要求13所述的方法,其中所述道路标记包括指示至少一个转弯的箭头。
15.根据权利要求1所述的方法,还包括确定所述装置的位置。
16.根据权利要求1所述的方法,还包括基于由所述装置使用的导航服务确定所述装置的位置。
17.一种用于处理一个或多个图像的装置,所述装置包括:
存储器,所述存储器被配置为存储所述一个或多个图像;以及
至少一个处理器,所述处理器在电路中实施并且被配置为:
确定当前时间的当前场景的当前图像的一个或多个当前曝光设置;
使用所述一个或多个当前曝光设置处理所述当前图像;
在装置到目的地的行进期间,确定与所述装置的图像传感器相关联的一个或多个运动特性;
检测所述当前图像的第一部分中的对象,所述对象与所述装置到目的地的行进路线相关联,所述对象与行进路线相关联,并且一个或多个运动特性是不同的;
基于所述一个或多个运动特性和与所述装置到目的地的行进路线相关联的对象,确定所述当前图像中要用于确定所述图像传感器的一个或多个未来曝光设置的第二部分,所述一个或多个未来曝光设置用于在未来时间捕捉未来场景的未来图像,所述未来时间在所述当前时间之后;以及
基于所述当前图像中所确定的第二部分来确定所述一个或多个未来曝光设置。
18.根据权利要求17所述的装置,其中,所述至少一个处理器进一步被配置为:
在所述图像传感器的视场到达所述未来场景之前确定所述一个或多个未来曝光设置。
19.根据权利要求17所述的装置,其中,所述至少一个处理器还被配置为排除所述当前图像中不用于确定所述一个或多个未来曝光设置的区域。
20.根据权利要求17所述的装置,其中,所述一个或多个运动特性包括所述图像传感器的行进速度或方向中的一者或多者。
21.根据权利要求17所述的装置,其中,所述至少一个处理器进一步被配置为:
至少部分基于惯性传感器或与所述图像传感器通信的转向系统的输入中的一者或多者来确定所述一个或多个运动特性。
22.根据权利要求17所述的装置,其中,所述至少一个处理器进一步被配置为:
在所确定的第二部分中确定未来图像的一个或多个感兴趣区域;和
调整所述一个或多个感兴趣区域的曝光设置。
23.根据权利要求17所述的装置,其中,所述至少一个处理器进一步被配置为:
确定包括位于所确定的第二部分中的与所述未来图像的一个或多个区域相关联的一个或多个网格单元的网格;以及
确定所述一个或多个网格单元的权重,其中,所述一个或多个未来曝光设置基于所述权重。
24.根据权利要求17所述的装置,其中,所述一个或多个未来曝光设置包括所述当前图像的一个或多个当前曝光设置的变型。
25.根据权利要求17所述的装置,其中,所述至少一个处理器进一步被配置为:
通过所述图像传感器基于所述一个或多个未来曝光设置捕捉所述未来图像。
26.根据权利要求17所述的装置,其进一步包括用于捕捉一个或多个图像的相机。
27.根据权利要求17所述的装置,其中,所述装置包括具有用于捕捉一个或多个图像的相机的移动设备或具有用于捕捉一个或多个图像的相机的车辆。
28.根据权利要求17所述的装置,其进一步包括用于显示一个或多个图像的显示器。
29.根据权利要求17所述的装置,其中所述至少一个处理器还被配置为基于所述图像传感器的一个或多个运动特性预测所述当前图像的第二部分的位置。
30.根据权利要求17所述的装置,其中,与行进路线相关联的对象包括至少一个标记,所述标记指示与行进路线相关联的道路的至少一个特征。
31.根据权利要求17所述的装置,其中所述至少一个处理器包括被配置为检测所述对象的图形处理单元。
32.根据权利要求31所述的装置,其中所述图形处理单元被配置为将所述对象标识为指示与所述行进路线相关联的道路在行进方向上的至少一个转弯的道路标记。
33.根据权利要求32所述的装置,其中所述道路标记包括指示至少一个转弯的箭头。
34.根据权利要求17所述的装置,其中所述至少一个处理器还配置为确定所述装置的位置。
35.根据权利要求17所述的装置,其中所述至少一个处理器还配置为基于由所述装置使用的导航服务确定所述装置的位置。
36.一种其上存储有指令的非暂时性计算机可读介质,所述指令在由一个或多个处理器执行时使所述一个或多个处理器:
确定当前时间的当前场景的当前图像的一个或多个当前曝光设置;
使用所述一个或多个当前曝光设置处理所述当前图像;
在装置到目的地的行进期间,确定与所述装置的图像传感器相关联的一个或多个运动特性;
检测所述当前图像的第一部分中的对象,所述对象与所述装置到目的地的行进路线相关联,所述对象与行进路线相关联,并且一个或多个运动特性是不同的;
基于所述一个或多个运动特性和与所述装置到目的地的行进路线相关联的对象,确定所述当前图像中要用于确定所述图像传感器的一个或多个未来曝光设置的第二部分,所述一个或多个未来曝光设置用于在未来时间捕捉未来场景的未来图像,所述未来时间在所述当前时间之后;以及
基于所述当前图像中所确定的第二部分来确定所述一个或多个未来曝光设置。
37.根据权利要求36所述的非暂时性计算机可读介质,其进一步包括指令,所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器:
在所述图像传感器的视场到达所述未来场景之前确定所述一个或多个未来曝光设置。
38.根据权利要求36所述的非暂时性计算机可读介质,其中,确定所述当前图像中要用于确定所述一个或多个未来曝光设置的所述第二部分包括:排除所述当前图像中不用于确定所述一个或多个未来曝光设置的区域。
39.根据权利要求36所述的非暂时性计算机可读介质,其进一步包括指令,所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器:
至少部分基于惯性传感器或与所述图像传感器通信的转向系统的输入中的一者或多者来确定所述一个或多个运动特性。
40.根据权利要求36所述的非暂时性计算机可读介质,其进一步包括指令,所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器:
至少部分基于与所述图像传感器通信的转向系统的输入确定所述一个或多个运动特性。
41.一种用于处理一个或多个图像的装置,所述装置包括:
用于确定当前时间的当前场景的当前图像的一个或多个当前曝光设置的部件;
使用所述一个或多个当前曝光设置处理所述当前图像的部件;
在装置到目的地的行进期间,用于确定与所述装置的图像传感器相关联的一个或多个运动特性的部件;
检测所述当前图像的第一部分中的对象的部件,所述对象与所述装置到目的地的行进路线相关联,所述对象与行进路线相关联,并且一个或多个运动特性是不同的;
用于基于所述一个或多个运动特性和与所述装置到目的地的行进路线相关联的对象,确定所述当前图像中要用于确定所述图像传感器的一个或多个未来曝光设置的第二部分的部件,所述一个或多个未来曝光设置用于在未来时间捕捉未来场景的未来图像,所述未来时间在所述当前时间之后;以及
用于基于所述当前图像中所确定的第二部分来确定所述一个或多个未来曝光设置的部件。
42.根据权利要求41所述的装置,其中,用于确定所述当前图像中要用于确定所述一个或多个未来曝光设置的所述第二部分的部件包括:排除所述当前图像中不用于确定所述一个或多个未来曝光设置的区域的部件。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/438,359 | 2019-06-11 | ||
US16/438,359 US11265480B2 (en) | 2019-06-11 | 2019-06-11 | Systems and methods for controlling exposure settings based on motion characteristics associated with an image sensor |
PCT/US2020/036815 WO2020251945A1 (en) | 2019-06-11 | 2020-06-09 | Systems and methods for controlling exposure settings based on motion characteristics associated with an image sensor |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113940057A CN113940057A (zh) | 2022-01-14 |
CN113940057B true CN113940057B (zh) | 2023-11-17 |
Family
ID=71944221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080041781.2A Active CN113940057B (zh) | 2019-06-11 | 2020-06-09 | 基于与图像传感器相关联的运动特性控制曝光设置的系统和方法 |
Country Status (10)
Country | Link |
---|---|
US (1) | US11265480B2 (zh) |
EP (1) | EP3984211A1 (zh) |
JP (1) | JP2022537663A (zh) |
KR (1) | KR20220019235A (zh) |
CN (1) | CN113940057B (zh) |
AU (1) | AU2020293081A1 (zh) |
BR (1) | BR112021024346A2 (zh) |
SG (1) | SG11202112606PA (zh) |
TW (1) | TW202123678A (zh) |
WO (1) | WO2020251945A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112911160B (zh) * | 2019-12-03 | 2022-07-08 | 浙江宇视科技有限公司 | 图像拍摄方法、装置、设备及存储介质 |
DE102020106967A1 (de) * | 2020-03-13 | 2021-09-16 | Valeo Schalter Und Sensoren Gmbh | Festlegen eines aktuellen Fokusbereichs eines Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und einem aktuellen Bewegungsparameter |
US11373281B1 (en) * | 2021-02-23 | 2022-06-28 | Qualcomm Incorporated | Techniques for anchor frame switching |
KR102530222B1 (ko) * | 2021-03-17 | 2023-05-09 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서의 동작 방법 |
JP2023002047A (ja) | 2021-06-22 | 2023-01-10 | キヤノン株式会社 | 撮像装置、画像処理システム、及び撮像装置の制御方法 |
CN114040186A (zh) * | 2021-11-16 | 2022-02-11 | 凌云光技术股份有限公司 | 一种光学运动捕捉方法及装置 |
US11858420B2 (en) * | 2021-11-29 | 2024-01-02 | Texas Instruments Incorporated | Below vehicle rendering for surround view systems |
US20230196794A1 (en) * | 2021-12-20 | 2023-06-22 | Veoneer Us, Inc. | System and method to correct oversaturation for image-based seatbelt detection |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070044257A (ko) * | 2005-10-24 | 2007-04-27 | (주) 픽셀플러스 | 이미지센서의 자동 노출 제어 방법 |
JP2010250156A (ja) * | 2009-04-17 | 2010-11-04 | Nikon Corp | 電子カメラ |
JP2011048116A (ja) * | 2009-08-26 | 2011-03-10 | Panasonic Electric Works Co Ltd | 撮像装置 |
CN102917169A (zh) * | 2011-08-05 | 2013-02-06 | 三星电子株式会社 | 自动聚焦调节方法和设备及包括该设备的数字拍摄设备 |
CN105939454A (zh) * | 2015-03-03 | 2016-09-14 | 佳能株式会社 | 摄像设备及其控制方法 |
CN109639994A (zh) * | 2019-01-03 | 2019-04-16 | 湖北工业大学 | 嵌入式车载相机曝光时间动态调整方法 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5475466A (en) * | 1993-02-02 | 1995-12-12 | Nikon Corporation | Camera having target follow up function |
JP4685562B2 (ja) | 2005-09-13 | 2011-05-18 | クラリオン株式会社 | 移動体撮像装置 |
TWI374400B (en) * | 2008-06-11 | 2012-10-11 | Vatics Inc | Method for auto-exposure control |
JP5375814B2 (ja) * | 2010-12-22 | 2013-12-25 | 株式会社デンソー | 露出制御装置 |
CN102547079B (zh) * | 2010-12-29 | 2014-05-07 | 株式会社理光 | 夜景光源检测设备及夜景光源检测方法 |
US20120243802A1 (en) * | 2011-03-25 | 2012-09-27 | William Vernon Fintel | Composite image formed from an image sequence |
US8736697B2 (en) * | 2011-03-25 | 2014-05-27 | Apple Inc. | Digital camera having burst image capture mode |
US8736716B2 (en) * | 2011-04-06 | 2014-05-27 | Apple Inc. | Digital camera having variable duration burst mode |
JP5825851B2 (ja) * | 2011-05-27 | 2015-12-02 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5738080B2 (ja) * | 2011-06-09 | 2015-06-17 | キヤノン株式会社 | 撮像装置及びその制御方法 |
CN104137529B (zh) | 2012-02-13 | 2018-05-01 | 诺基亚技术有限公司 | 用于数字摄影的焦点、曝光和白平衡的增强型自动调节的方法和装置 |
JP5737306B2 (ja) * | 2013-01-23 | 2015-06-17 | 株式会社デンソー | 露出制御装置 |
JP6324090B2 (ja) * | 2014-01-31 | 2018-05-16 | 株式会社 日立産業制御ソリューションズ | 撮像装置 |
JP6378500B2 (ja) * | 2014-03-03 | 2018-08-22 | キヤノン株式会社 | 撮像装置及びその制御方法 |
KR20160002178A (ko) * | 2014-06-30 | 2016-01-07 | 현대자동차주식회사 | 자차 위치 인식 장치 및 방법 |
JP6426433B2 (ja) * | 2014-10-27 | 2018-11-21 | 株式会社日立製作所 | 画像処理装置、画像処理方法、poi情報作成システム、警告システム、及び誘導システム |
JP6560355B2 (ja) * | 2015-08-28 | 2019-08-14 | 株式会社日立製作所 | ランドマーク認識装置及び認識方法 |
JP6291144B2 (ja) * | 2015-09-11 | 2018-03-14 | 富士フイルム株式会社 | 走行支援装置及び走行支援装置による走行支援方法 |
JP6775188B2 (ja) * | 2016-08-05 | 2020-10-28 | パナソニックIpマネジメント株式会社 | ヘッドアップディスプレイ装置および表示制御方法 |
US10506172B2 (en) * | 2016-08-17 | 2019-12-10 | Google Llc | Camera setting adjustment based on predicted environmental factors and tracking systems employing the same |
JP2018031877A (ja) * | 2016-08-24 | 2018-03-01 | オリンパス株式会社 | 撮像装置および焦点調節方法 |
KR20180025591A (ko) * | 2016-09-01 | 2018-03-09 | 삼성전자주식회사 | 자율 주행 차량을 위한 비전 센서의 제어 방법 및 장치 |
US10586121B2 (en) * | 2017-01-27 | 2020-03-10 | Gentex Corporation | Image compensation for motorcycle banking |
US20180241927A1 (en) * | 2017-02-23 | 2018-08-23 | Motorola Mobility Llc | Exposure Metering Based On Depth Map |
KR102519662B1 (ko) * | 2017-07-31 | 2023-04-07 | 삼성전자주식회사 | 영상 획득 방법 및 영상 획득 장치 |
US10750097B2 (en) * | 2017-08-14 | 2020-08-18 | Facebooke Technologies, Llc | Varying exposure time of pixels in photo sensor using motion prediction |
US10496891B2 (en) * | 2017-08-17 | 2019-12-03 | Harman International Industries, Incorporated | Driver assistance system and method for object detection and notification |
DE102017215347A1 (de) * | 2017-09-01 | 2019-03-07 | Conti Temic Microelectronic Gmbh | Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera |
US10921142B2 (en) * | 2017-12-14 | 2021-02-16 | Waymo Llc | Methods and systems for sun-aware vehicle routing |
US10757320B2 (en) * | 2017-12-28 | 2020-08-25 | Waymo Llc | Multiple operating modes to expand dynamic range |
US11034357B2 (en) * | 2018-09-14 | 2021-06-15 | Honda Motor Co., Ltd. | Scene classification prediction |
DE102018133441A1 (de) * | 2018-12-21 | 2020-06-25 | Volkswagen Aktiengesellschaft | Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs |
-
2019
- 2019-06-11 US US16/438,359 patent/US11265480B2/en active Active
-
2020
- 2020-06-09 JP JP2021572455A patent/JP2022537663A/ja active Pending
- 2020-06-09 BR BR112021024346A patent/BR112021024346A2/pt unknown
- 2020-06-09 SG SG11202112606PA patent/SG11202112606PA/en unknown
- 2020-06-09 EP EP20750819.3A patent/EP3984211A1/en active Pending
- 2020-06-09 KR KR1020217040031A patent/KR20220019235A/ko unknown
- 2020-06-09 WO PCT/US2020/036815 patent/WO2020251945A1/en unknown
- 2020-06-09 AU AU2020293081A patent/AU2020293081A1/en active Pending
- 2020-06-09 CN CN202080041781.2A patent/CN113940057B/zh active Active
- 2020-06-10 TW TW109119566A patent/TW202123678A/zh unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070044257A (ko) * | 2005-10-24 | 2007-04-27 | (주) 픽셀플러스 | 이미지센서의 자동 노출 제어 방법 |
JP2010250156A (ja) * | 2009-04-17 | 2010-11-04 | Nikon Corp | 電子カメラ |
JP2011048116A (ja) * | 2009-08-26 | 2011-03-10 | Panasonic Electric Works Co Ltd | 撮像装置 |
CN102917169A (zh) * | 2011-08-05 | 2013-02-06 | 三星电子株式会社 | 自动聚焦调节方法和设备及包括该设备的数字拍摄设备 |
CN105939454A (zh) * | 2015-03-03 | 2016-09-14 | 佳能株式会社 | 摄像设备及其控制方法 |
CN109639994A (zh) * | 2019-01-03 | 2019-04-16 | 湖北工业大学 | 嵌入式车载相机曝光时间动态调整方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113940057A (zh) | 2022-01-14 |
US20200396367A1 (en) | 2020-12-17 |
KR20220019235A (ko) | 2022-02-16 |
SG11202112606PA (en) | 2021-12-30 |
EP3984211A1 (en) | 2022-04-20 |
TW202123678A (zh) | 2021-06-16 |
JP2022537663A (ja) | 2022-08-29 |
US11265480B2 (en) | 2022-03-01 |
AU2020293081A1 (en) | 2021-12-23 |
WO2020251945A1 (en) | 2020-12-17 |
BR112021024346A2 (pt) | 2022-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113940057B (zh) | 基于与图像传感器相关联的运动特性控制曝光设置的系统和方法 | |
CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
EP3599760B1 (en) | Image processing method and apparatus | |
EP3723036A1 (en) | Method of image processing based on plurality of frames of images and electronic device | |
EP3609177B1 (en) | Control method, control apparatus, imaging device, and electronic device | |
CN110445988B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN113592887B (zh) | 视频拍摄方法、电子设备及计算机可读存储介质 | |
CN109788207B (zh) | 图像合成方法、装置、电子设备及可读存储介质 | |
CN109194882B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113454982B (zh) | 用于使图像稳定化的电子装置及其操作方法 | |
EP3627821B1 (en) | Focusing method and apparatus for realizing clear human face, and computer device | |
CN110602467B (zh) | 图像降噪方法、装置、存储介质及电子设备 | |
KR102665654B1 (ko) | 구도를 추천하기 위한 전자 장치 및 그의 동작 방법 | |
EP3809327A1 (en) | Subject recognition method, electronic device, and computer readable storage medium | |
US10567671B2 (en) | Image processing apparatus and image processing method | |
CN109756680B (zh) | 图像合成方法、装置、电子设备及可读存储介质 | |
US11606504B2 (en) | Method and electronic device for capturing ROI | |
JP5691617B2 (ja) | 被写体特定装置、および被写体追尾装置 | |
CN112911160B (zh) | 图像拍摄方法、装置、设备及存储介质 | |
CN112291481B (zh) | 曝光自动调节方法、装置、电子设备及存储介质 | |
US11328494B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6262958B2 (ja) | 撮像装置およびその制御方法 | |
US11838645B2 (en) | Image capturing control apparatus, image capturing control method, and storage medium | |
CN117710264B (zh) | 图像的动态范围校准方法和电子设备 | |
WO2020191574A1 (en) | Systems and methods for controlling brightness of an image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |