CN113473036B - 一种图像曝光方法、装置和电子设备 - Google Patents
一种图像曝光方法、装置和电子设备 Download PDFInfo
- Publication number
- CN113473036B CN113473036B CN202110844454.7A CN202110844454A CN113473036B CN 113473036 B CN113473036 B CN 113473036B CN 202110844454 A CN202110844454 A CN 202110844454A CN 113473036 B CN113473036 B CN 113473036B
- Authority
- CN
- China
- Prior art keywords
- frame
- synchronization signal
- image
- frame period
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例提供一种图像曝光方法及相关装置,通过当前所接收的有效同步信号的时刻确定上一同步信号的第一帧周期。由此,所得第一帧周期处于图像传感器功率范围内。通过第一帧周期和第一帧周期确定第一相位差后,根据第一相位差和相位阈值的大小关系调整第一帧周期,并将调整后的第一帧周期作为当前帧图像对应的工作周期,即第二帧间隔。上述流程中,有效同步信号并不直接作用于图像传感器的控制时序,本申请实施例通过有效同步信号的帧周期确定当前帧图像的工作周期,并基于相位阈值对同步相位差进行调整,有效减少了因同步信号的信号频率超出图像传感器工作范围而导致图像曝光异常的情况。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种图像曝光方法及相关装置。
背景技术
随着上路车辆数目的逐年上升,交通管控尤为重要。在路口等场景下,电子警察相机的快门需要与红绿交通灯的亮暗交替变化保持同步,以提高图像画质。相关技术中,电子警察相机多将市电信号作为图像传感器驱动的同步信号,基于同步信号的帧周期控制图像传感器的曝光时刻。
由于同步信号的频率是动态变化的,且信号频率存在超出图像传感器工作范围的情况。当同步信号的信号频率超出图像传感器工作范围时,会产生图像曝光异常的情况。
发明内容
本申请实施例提供一种图像曝光方法及相关装置,根据帧周期在图像传感器功率范围内的有效同步信号确定对帧图像进行曝光处理的工作周期,并基于该工作周期对当前帧图像进行曝光处理。以减少同步信号的信号频率超出图像传感器工作范围而导致图像曝光异常的情况。
第一方面,本申请实施例提供了一种图像曝光方法,所述方法包括:
基于当前接收到的有效同步信号的时刻,确定上一同步信号对应的第一帧周期;其中,所述有效同步信号表征帧周期在所述监控设备的图像传感器功率范围内的同步信号;
根据所述第一帧周期和第一帧间隔确定第一相位差,其中所述第一帧间隔表征监控设备对前一帧图像进行曝光处理的工作周期;
根据所述第一相位差和相位阈值的大小关系对所述第一帧周期进行调整得到第二帧间隔;其中,所述第二帧间隔表征所述监控设备对当前帧图像进行曝光处理的工作周期;
采用所述第二帧间隔对所述当前帧图像进行曝光处理。
本申请实施例通过当前所接收的有效同步信号的时刻确定上一同步信号的第一帧周期。由此,所得第一帧周期处于图像传感器功率范围内。通过第一帧周期和第一帧周期确定第一相位差后,根据第一相位差和相位阈值的大小关系调整第一帧周期,并将调整后的第一帧周期作为当前帧图像对应的工作周期,即第二帧间隔。由于市电信号频率较为稳定,基于上一同步信号的帧周期所确定的第一相位差可表征沿用第一帧间隔对当前帧图像进行曝光处理所产生的同步相位差。基于此,本申请实施例中的有效同步信号并不直接作用于图像传感器的控制时序,通过有效同步信号的帧周期确定当前帧图像的工作周期,并基于相位阈值对同步相位差进行调整,以此避免因同步信号的信号频率超出图像传感器工作范围而导致图像曝光异常的情况。
在一些可能的实施例中,所述有效同步信号是基于以下方式确定的:
针对接收的每一同步信号,确定所述同步信号的帧周期;
若所述帧周期在预设时间范围内,则将所述同步信号作为有效同步信号;
若所述帧周期未在所述预设时间范围内,则将所述同步喜好作为无效同步信号;其中,所述预设时间范围是基于所述监控设备的性能指标确定的。本申请实施例通过图像传感器的帧率范围对所接收的同步信号进行筛选,以保证筛选出的有效同步信号的信号频率不会超过图像传感器的帧率范围,以此减少因同步信号的信号频率超出图像传感器工作范围而导致图像曝光异常的情况。
在一些可能的实施例中,若上一同步信号为有效同步信号,所述基于当前接收到的有效同步信号的时刻,确定上一同步信号对应的第一帧周期,包括:
确定接收所述上一同步信号的时刻,并将所述时刻作为第一时刻;
将当前接收到有效同步信号的时刻作为第二时刻,将所述第一时刻和所述第二时刻差值的绝对值作为所述第一帧周期。
本申请实施例将接收上一同步信号的时刻与接收当前有效同步信号的时刻差值作为上一同步信号的帧周期,由此获取准确度较高的信号周期。
在一些可能的实施例中,若上一同步信号为无效同步信号,所述基于当前接收到的有效同步信号的时刻,确定上一同步信号对应的第一帧周期,包括:
根据所述预设时间范围最大值确定所述第一帧周期。
本申请实施例针对帧率超出监控设备性能的无效同步信号,采用监控设备的最大帧率确定为第一帧周期,以避免同步信号帧周期超出监控设备性能进而影响图像曝光的情况。
在一些可能的实施例中,所述根据所述第一帧周期和第一帧间隔确定第一相位差,包括:
确定生成第一帧间隔的第三时刻;
将所述第二时刻和所述第三时刻的差值的绝对值作为所述第一相位差。
由于市电信号频率较为稳定,故本申请实施例根据图像传感器生成前一帧图像的工作周期的时刻和当前接收到有效同步信号的时刻之差所确定的同步相位差可以表征沿用第一帧间隔对当前帧图像进行曝光处理所产生的同步相位差,以此预测出当前帧图像对应工作周期可能产生的同步相位差。
在一些可能的实施例中,所述根据所述第一相位差和相位阈值的大小关系对所述第一帧周期进行调整得到第二帧间隔,包括:
若所述第一相位差大于所述相位阈值,则将所述第一帧周期和预设调整值之和作为当前工作周期对应的行场信号参数,并根据所述行场信号参数生成所述第二帧间隔;
若所述第一相位差小于所述相位阈值,则将所述第一帧周期和所述预设调整值之差作为所述行场信号参数,并根据所述行场信号参数生成所述第二帧间隔;其中,所述预设调整值是基于所述监控设备的图像传感器确定的,所述预设调整值为正数。
本申请实施例根据所得第一相位差和相位阈值的大小关系对第一帧周期进行调整,以使调整后的第一帧周期在有效同步信号附近波动,实现相位的动态平衡和校准。
在一些可能的实施例中,所述根据所述第一相位差和相位阈值的大小关系对所述第一帧周期进行调整得到第二帧间隔之前,所述方法还包括:
确定所述当前帧图像的曝光方式;
若所述曝光方式为内同步曝光,则获取所述监控设备的内同步帧周期参数,并将所述内同步帧周期参数作为所述第二帧间隔。
本申请实施例中对当前帧图像进行曝光之前需确定当前帧图像的曝光方式,若无需外同步,则直接采用预设的内同步帧周期参数确定当前帧图像的工作周期能够避免因同步信号的信号频率超出图像传感器工作范围而导致图像曝光异常的情况。
在一些可能的实施例中,所述采用所述第二帧间隔对所述当前帧图像进行曝光处理时,所述方法还包括:
若检测到需要对所述帧图像进行补光,则在所述第二帧间隔对应的曝光时段内控制补光灯对所述帧图像进行补光;其中,所述曝光时段为所述监控设备在所述第二帧间隔内,控制图像传感器对所述帧图像进行曝光的时间。
本申请实施例通过有效同步信号的帧周期确定当前帧图像的工作周期,由此,有效同步信号并不直接作用于图像传感器的控制时序,监控设备可基于行场信号参数确定的工作周期控制补光灯对图像进行补光。
第二方面,本申请实施例提供了一种图像曝光装置,所述装置包括:
帧周期确定模块,被配置为执行基于当前接收到的有效同步信号的时刻,确定上一同步信号对应的第一帧周期;其中,所述有效同步信号是基于所述监控设备的性能指标确定的;
相位差确定模块,被配置为执行根据所述第一帧周期和第一帧间隔确定第一相位差,其中所述第一帧间隔表征监控设备对前一帧图像进行曝光处理的工作周期;
帧间隔确定模块,被配置为执行根据所述第一相位差和相位阈值的大小关系对所述第一帧周期进行调整得到第二帧间隔;其中,所述第二帧间隔表征所述监控设备对当前帧图像进行曝光处理的工作周期;
曝光处理模块,被配置为执行采用所述第二帧间隔对所述当前帧图像进行曝光处理。
在一些可能的实施例中,所述有效同步信号是基于以下方式确定的:
针对接收的每一同步信号,确定所述同步信号的帧周期;
若所述帧周期在预设时间范围内,则将所述同步信号作为有效同步信号;
若所述帧周期未在所述预设时间范围内,则将所述同步喜好作为无效同步信号;其中,所述预设时间范围是基于所述监控设备的性能指标确定的。
在一些可能的实施例中,若上一同步信号为有效同步信号,执行所述基于当前接收到的有效同步信号的时刻,确定上一同步信号对应的第一帧周期,所述帧周期确定模块被配置为:
确定接收所述上一同步信号的时刻,并将所述时刻作为第一时刻;
将当前接收到有效同步信号的时刻作为第二时刻,将所述第一时刻和所述第二时刻差值的绝对值作为所述第一帧周期。
在一些可能的实施例中,若上一同步信号为无效同步信号,执行所述基于当前接收到的有效同步信号的时刻,确定上一同步信号对应的第一帧周期,所述帧周期确定模块被配置为:
根据所述预设时间范围最大值确定所述第一帧周期。
在一些可能的实施例中,执行所述根据所述第一帧周期和第一帧间隔确定第一相位差,所述相位差确定模块被配置为:
确定生成第一帧间隔的第三时刻;
将所述第二时刻和所述第三时刻的差值的绝对值作为所述第一相位差。
在一些可能的实施例中,执行所述根据所述第一相位差和相位阈值的大小关系对所述第一帧周期进行调整得到第二帧间隔,所述帧间隔确定模块被配置为:
若所述第一相位差大于所述相位阈值,则将所述第一帧周期和预设调整值之和作为当前工作周期对应的行场信号参数,并根据所述行场信号参数生成所述第二帧间隔;
若所述第一相位差小于所述相位阈值,则将所述第一帧周期和所述预设调整值之差作为所述行场信号参数,并根据所述行场信号参数生成所述第二帧间隔;其中,所述预设调整值是基于所述监控设备的图像传感器确定的,所述预设调整值为正数。
在一些可能的实施例中,执行所述根据所述第一相位差和相位阈值的大小关系对所述第一帧周期进行调整得到第二帧间隔之前,所述帧间隔确定模块还被配置为:
确定所述当前帧图像的曝光方式;
若所述曝光方式为内同步曝光,则获取所述监控设备的内同步帧周期参数,并将所述内同步帧周期参数作为所述第二帧间隔。
在一些可能的实施例中,执行所述采用所述第二帧间隔对所述当前帧图像进行曝光处理时,所述曝光处理模块被配置为:
若检测到需要对所述帧图像进行补光,则在所述第二帧间隔对应的曝光时段内控制补光灯对所述帧图像进行补光;其中,所述曝光时段为所述监控设备在所述第二帧间隔内,控制图像传感器对所述帧图像进行曝光的时间。
第三方面,本申请一实施例还提供了一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如本申请第一方面中提供的任一方法。
第四方面,本申请一实施例还提供了一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如本申请第一方面中提供的任一方法。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,显而易见地,下面所介绍的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的同步相位差产生示意图;
图1b为本申请实施例提供的一个错误曝光示意图;
图2为本申请实施例提供的一种图像曝光方法的应用场景图;
图3a为本申请实施例提供的一种图像曝光方法的整体流程图;
图3b为本申请实施例提供的同步信号筛选示意图;
图3c为本申请实施例提供的基于预设调整值调整第一帧周期示意图;
图3d为本申请实施例提供的频爆闪灯补光示意图;
图4为本申请实施例提供的图像曝光装置400的示意图;
图5为本申请实施例提供的图像曝光方法的电子设备示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
在本申请实施例的描述中,除非另有说明,术语“多个”是指两个或两个以上,其它量词与之类似应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
为进一步说明本申请实施例提供的技术方案,下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本申请实施例提供的执行顺序。方法在实际的处理过程中或者控制设备执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行。
以下,对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
(1)帧间隔:两个数据帧的分隔时刻,通常以图像传感器读取时间为标准。例如图像传感器基于行场信号参数所产生的一个场信号即为一个帧间隔,表征图像传感器对帧图像进行曝光处理的工作周期。
(2)帧周期:两个帧间隔之间的时长,一般以传感器一行读出时间为单位。以同步信号为例,当前时刻所接收的同步信号与接收前一同步信号的时刻差即为前一同步信号的帧周期。
(3)行周期:图像传感器工作的最小时间单位。
(4)同步相位差:影响同步效果的主要因素。以电子警察相机将作用于路灯的市电信号作为同步信号为例,同步相位差会引入快门开启与市电信号波峰之间不可预知的时延,从而引起图像的亮度变化。
为便于理解同步相位差的产生,此处对同步相位差进一步说明。由于图像传感器的工作周期(即对一帧图像进行曝光处理)在启动时是已知的。而所接收的同步信号存在周期波动可能性。图像传感器基于同步信号确定工作周期时,需在确定同步信号的帧周期后,根据该帧周期确定对应的工作周期。具体如图1a所示,同步信号A的帧周期需要在接收到同步信号A对应的下一同步信号 (即图1a示出的同步信号B)时方可确定。相应的,同步信号B的帧周期需在接收到同步信号C时方可确定。如图1a所示的时刻A,在时刻A,同步信号A对应的工作周期A已经结束。由于尚未接收到同步信号,即同步信号B 的帧周期尚未确定。故此,图像传感器只能延续执行工作周期A。第二个工作周期A结束后,由于同步信号B的帧周期已经确定,则图像传感器当前应执行的工作周期为同步信号B对应的工作周期B。此时则会产生如图1a示出的相位偏差,即同步相位差。
交通路况的监控场景中,路口的电子警察相机需要获取红绿灯的变化,以避免因红绿灯闪烁(例如红色、绿色和黄色信号灯间的转换)对图像曝光造成影响。相关技术中,电子警察相机多采用市电信号作为同步信号来控制快门的开启时刻。为保证图像的画质,图像传感器对图像进行曝光需控制当前帧图像的曝光结束时刻在前一帧图像的读出时刻之前。具体如图1b所示,首个同步信号到来时,图像传感器对第一帧图像开始曝光。由于图像传感器对图像的读出时间是固定的。当下一同步信号到来时,第一帧图像的读出还未结束而第二帧图像的曝光已经结束。这种错误的曝光会导致图像出现过曝等画质问题。
由此可见,传统的曝光方式将同步信号直接作用于图像传感器的控制时序时,同步信号的信号频率超出图像传感器的功率范围时会导致图像曝光异常。且由于图像传感器的读出时间固定,传统的曝光方式可能导致当前帧图像的曝光结束时刻在前一帧图像的读出结束之前,进而造成图像曝光异常的问题。
为解决上述问题,本申请的发明构思为:通过当前所接收的有效同步信号的时刻确定上一同步信号的第一帧周期。由此,所得第一帧周期处于图像传感器功率范围内。通过第一帧周期和第一帧周期确定第一相位差后,根据第一相位差和相位阈值的大小关系调整第一帧周期,并将调整后的第一帧周期作为当前帧图像对应的工作周期,即第二帧间隔。由于市电信号频率较为稳定,基于上一同步信号的帧周期所确定的第一相位差可表征沿用第一帧间隔对当前帧图像进行曝光处理所产生的同步相位差。基于此,本申请实施例中的有效同步信号并不直接作用于图像传感器的控制时序,通过有效同步信号的帧周期确定当前帧图像的工作周期,并基于相位阈值对同步相位差进行调整,以此避免因同步信号的信号频率超出图像传感器工作范围而导致图像曝光异常的情况。
下面结合附图对本申请实施例提供的一种图像曝光方法进行详细说明。
参见图2,为根据本申请一个实施例的应用环境的示意图。
如图2所示,该应用环境中例如可以包括网络10、服务器20、至少一个监控设备30,以及红绿交通灯40。其中,图2示出的监控设备30包括监控设备30_1、30_2以及30_N,监控设备30_1和监控设备30_2可如图2示出的包含多种摄像头模组的监控摄像头,监控设备30_N可如图2示出的电子警察相机,电子警察相机即可理解为交通路网中对实时路况进行监控的监控摄像头模组,电子警察相机相比于监控摄像头更适用于对路况中流动的车辆进行图像捕捉。
监控设备30以接入红绿交通灯40的市电信号作为同步信号,控制内部图像传感器对监控到的视频帧图像进行曝光处理。实施时,可在接收到同步信号时控制图像传感器对当前帧图像进行曝光,并将曝光后的图像通过网络10发送给服务器20存储。
在一些可能的实施例中,监控设备30根据图像传感器的帧率范围对所接收的同步信号进行筛选,将超出图像传感器帧率范围的同步信号视为无效同步信号,并丢弃。
为便于理解本申请实施例提供的图像曝光方法,下面以电子警察相机以接入路口红绿交通灯的市电信号作为同步信号为例,并结合附图对本申请实施例中的图像曝光方法进行详细说明,具体如图3a所示,包括以下步骤:
应理解的是,上述应用场景仅为了便于说明本申请实施例所提供的技术方案,而非对应用场景进行限定。凡以信号频率相对稳定的,例如市电信号等作为同步信号,并基于同步信号执行图像曝光的场景均适用于本申请。
相关技术中,电子警察相机多采用市电信号作为同步信号来控制快门的开启时刻。由于同步信号的信号频率存在超过图像传感器功率范围的可能,将同步信号直接作用于图像传感器(即,在接收同步信号时刻开始对帧图像进行曝光处理)会导致图像曝光异常。
为解决上述问题,本申请实施例根据电子警察相机的图像传感器的帧率范围对所接收的同步信号进行筛选,将超出帧率范围的同步信号作为无效同步信号进行剔除。以此避免因同步信号的信号频率超出图像传感器帧率范围进而导致图像曝光异常的情况。具体的,电子警察相机执行步骤301:基于当前接收到的有效同步信号的时刻,确定上一同步信号对应的第一帧周期;其中,所述有效同步信号是基于所述监控设备的性能指标确定的。
具体如图3b所示,例如图像传感器的帧率范围对应的信号频率范围为 48~52赫兹。可设置0~22毫秒的计时器,通过设置该计时器在每次计数后归零重新计数,以使计时器每次记录的时刻表征该时刻对应同步信号的帧周期。当电子警察相机启用外同步模式时,计时器开始启用并记录接收同步信号的时刻,若所记录时刻未处于18~22毫秒内,则表示该同步信号的信号频率超出图像传感器的帧率范围,需将该同步信号视为无效同步信号并剔除。若所记录时刻处于18~22毫秒内,则表示该同步信号的信号频率未超出图像传感器的帧率范围,图像传感器可基于该同步信号控制对帧图像的曝光处理。此时需将该同步信号作为有效同步信号。
若上一同步信号为有效同步信号,则首先确定接收上一同步信号的时刻,并将该时刻作为第一时刻。进一步的,将当前接收到有效同步信号的时刻作为第二时刻,将第一时刻和第二时刻差值的绝对值作为第一帧周期。相应的,若上一同步信号为无效同步信号,则采用该预设时间范围对应最大的帧率作为第一帧周期。仍以上述预设时间范围为18~22毫秒的例子说明,若上一同步信号为无效同步信号,则此时的第一帧周期应为22。由此可避免由于同步信号帧周期超出监控设备性能进而影响图像曝光的情况。
由于市电信号的频率相对稳定,电子警察相机在通过上述步骤301确定第一帧周期后,可将第一帧周期视为对当前帧图像处理的工作周期。由于前文中已经说明,基于同步信号的帧周期确定图像传感器的工作周期会产生同步相位差。由于同步相位差的存在会对图像曝光造成影响,进而导致图像曝光异常的情况。为解决该问题,电子警察相机执行步骤302:根据所述第一帧周期和第一帧间隔确定第一相位差。
其中,第一帧间隔表征监控设备对前一帧图像进行曝光处理的工作周期。前文已经说明同步信号相位差是如何产生的,此处不再赘述。实施时,电子警察相机确定生成第一帧间隔的第三时刻,并将第二时刻和第三时刻的差值的绝对值作为第一相位差。具体的,电子警察相机记录图像传感器产生第一帧间隔的时刻A,并记录将当前接收到有效同步信号的时刻B(即第二时刻)。将时刻A和时刻B的差值的绝对值作为第一相位差。
在确定第一相位差后,电子警察相机执行步骤303:根据所述第一相位差和相位阈值的大小关系对所述第一帧周期进行调整得到第二帧间隔;其中,所述第二帧间隔表征所述监控设备对当前帧图像进行曝光处理的工作周期。
考虑到不同厂商生成的图像传感器的控制方法虽存在差异,但控制信号 (即工作周期)的产生原则保持一致,即图像传感器曝光结束时间与帧间隔对齐。曝光结束与帧间隔对齐表征电子警察相机的快门与延迟后的有效同步信号保持同步。那么通过设定出预设调整值可以调整曝光的效果。对于电子警察相机间的同步,可以控制多相机曝光同步,或者曝光互不干扰等需求。
实施时,若第一相位差大于相位阈值,则将第一帧周期和预设调整值之和作为当前工作周期对应的行场信号参数,并根据行场信号参数生成第二帧间隔;若第一相位差小于相位阈值,则将第一帧周期和预设调整值之差作为行场信号参数,并根据行场信号参数生成第二帧间隔;其中,预设调整值是基于监控设备的图像传感器确定的,预设调整值为正数。
具体的,可根据图像传感器的内部参数设置相位阈值。该相位阈值用于与同步相位差进行比较,进而对当前工作周期进行调整。如图3c所示,当前接收到有效同步信号的时刻即为确定上一同步信号的第一帧周期的时刻,该时刻与图像传感器产生第一帧间隔的时间差的绝对值即为第一相位差。若第一相位差大于相位阈值,则表明将第一帧周期作为当前帧图像的工作周期(即第二帧间隔)的周期偏短,可能导致当前帧图像的工作周期结束后,下一有效同步信号还未到来,即形成同步相位差。此时需基于图像传感器的内部参数确定预设调整值。并将预设调整值与第一帧周期之和作为当前帧图像的工作周期,以使当前帧图像的工作周期延长,尽可能使当前帧图像的工作周期结束时刻与下一有效同步信号的接收时刻保持一致。相应的,若第一相位差大于相位阈值,则表明将第一帧周期作为当前帧图像的工作周期的周期偏长。可能导致接收下一有效同步信号时,当前帧图像的工作周期尚未结束,即形成同步相位差。此时可将第一帧周期与预设调整值之差作为当前帧图像的工作周期,以使当前帧图像的工作周期缩短,尽可能使当前帧图像的工作周期结束时刻与下一有效同步信号的接收时刻保持一致。通过上述流程,通过反复迭代多个工作周期,可实现同步稳定时,当前帧间隔在有效同步信号附近波动,以此实现相位的动态平衡和校准。
在一些可能的实施例中,电子警察相机可基于内部参数执行内同步。故此,在根据第一相位差和相位阈值的大小关系对第一帧周期进行调整得到第二帧间隔之前,需要确定当前帧图像的曝光方式。若曝光方式为内同步曝光,则获取预设的内同步帧周期参数,并将内同步帧周期参数作为第二帧间隔。
电子警察相机在确定当前帧图像的工作周期之后,执行步骤304:采用所述第二帧间隔对所述当前帧图像进行曝光处理。
在一些可能的实施例中,采用第二帧间隔对当前帧图像进行曝光处理时,若检测到需要对帧图像进行补光,则在第二帧间隔对应的曝光时段内控制补光灯对帧图像进行补光;其中,曝光时段为监控设备在第二帧间隔内,控制图像传感器对帧图像进行曝光的时间。
具体如图3d所示,电子警察相机在当前帧图像的曝光开始时刻控制开启爆闪灯,并控制频闪灯的关闭时刻和当前帧图像的曝光结束时刻保持一致。由于针对当前帧图像的工作周期,工作周期一致,根据电子警察相机的行信号和行计数器即可在预定的时刻控制频爆闪灯进行补光,从而提升补光效果。
基于相同的发明构思,本申请还提供一种图像曝光装置400,具体如图4 所示,该装置包括:
帧周期确定模块401,被配置为执行基于当前接收到的有效同步信号的时刻,确定上一同步信号对应的第一帧周期;其中,所述有效同步信号是基于所述监控设备的性能指标确定的;
相位差确定模块402,被配置为执行根据所述第一帧周期和第一帧间隔确定第一相位差,其中所述第一帧间隔表征监控设备对前一帧图像进行曝光处理的工作周期;
帧间隔确定模块403,被配置为执行根据所述第一相位差和相位阈值的大小关系对所述第一帧周期进行调整得到第二帧间隔;其中,所述第二帧间隔表征所述监控设备对当前帧图像进行曝光处理的工作周期;
曝光处理模块404,被配置为执行采用所述第二帧间隔对所述当前帧图像进行曝光处理。
在一些可能的实施例中,所述有效同步信号是基于以下方式确定的:
针对接收的每一同步信号,确定所述同步信号的帧周期;
若所述帧周期在预设时间范围内,则将所述同步信号作为有效同步信号;
若所述帧周期未在所述预设时间范围内,则将所述同步喜好作为无效同步信号;其中,所述预设时间范围是基于所述监控设备的性能指标确定的。
在一些可能的实施例中,若上一同步信号为有效同步信号,执行所述基于当前接收到的有效同步信号的时刻,确定上一同步信号对应的第一帧周期,所述帧周期确定模块401被配置为:
确定接收所述上一同步信号的时刻,并将所述时刻作为第一时刻;
将当前接收到有效同步信号的时刻作为第二时刻,将所述第一时刻和所述第二时刻差值的绝对值作为所述第一帧周期。
在一些可能的实施例中,若上一同步信号为无效同步信号,执行所述基于当前接收到的有效同步信号的时刻,确定上一同步信号对应的第一帧周期,所述帧周期确定模块401被配置为:
根据所述预设时间范围最大值确定所述第一帧周期。
在一些可能的实施例中,执行所述根据所述第一帧周期和第一帧间隔确定第一相位差,所述相位差确定模块402被配置为:
确定生成第一帧间隔的第三时刻;
将所述第二时刻和所述第三时刻的差值的绝对值作为所述第一相位差。
在一些可能的实施例中,执行所述根据所述第一相位差和相位阈值的大小关系对所述第一帧周期进行调整得到第二帧间隔,所述帧间隔确定模块403被配置为:
若所述第一相位差大于所述相位阈值,则将所述第一帧周期和预设调整值之和作为当前工作周期对应的行场信号参数,并根据所述行场信号参数生成所述第二帧间隔;
若所述第一相位差小于所述相位阈值,则将所述第一帧周期和所述预设调整值之差作为所述行场信号参数,并根据所述行场信号参数生成所述第二帧间隔;其中,所述预设调整值是基于所述监控设备的图像传感器确定的,所述预设调整值为正数。
在一些可能的实施例中,执行所述根据所述第一相位差和相位阈值的大小关系对所述第一帧周期进行调整得到第二帧间隔之前,所述帧间隔确定模块 403还被配置为:
确定所述当前帧图像的曝光方式;
若所述曝光方式为内同步曝光,则获取所述监控设备的内同步帧周期参数,并将所述内同步帧周期参数作为所述第二帧间隔。
在一些可能的实施例中,执行所述采用所述第二帧间隔对所述当前帧图像进行曝光处理时,所述曝光处理模块404被配置为:
若检测到需要对所述帧图像进行补光,则在所述第二帧间隔对应的曝光时段内控制补光灯对所述帧图像进行补光;其中,所述曝光时段为所述监控设备在所述第二帧间隔内,控制图像传感器对所述帧图像进行曝光的时间。
下面参照图5来描述根据本申请的这种实施方式的电子设备130。图5显示的电子设备130仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,电子设备130以通用电子设备的形式表现。电子设备130的组件可以包括但不限于:上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
总线133表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器132可以包括易失性存储器形式的可读介质,例如随机存取存储器 (RAM)1321和/或高速缓存存储器1322,还可以进一步包括只读存储器(ROM) 1323。
存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325,这样的程序模块1324包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等) 通信,还可与一个或者多个使得用户能与电子设备130交互的设备通信,和/ 或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备 (例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O) 接口135进行。并且,电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网) 通信。如图所示,网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解,尽管图中未示出,可以结合电子设备130使用其它硬件和 /或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器132,上述指令可由装置300的处理器131执行以完成本申请提供的图像曝光方法。可选地,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器131执行时实现如本申请提供的图像曝光方法。
在示例性实施例中,本申请提供的一种图像曝光方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种图像曝光方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于图像缩放的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在电子设备上运行。然而,本申请的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务端上执行。在涉及远程电子设备的情形中,远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN) —连接到用户电子设备,或者,可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程图像缩放设备的处理器以产生一个机器,使得通过计算机或其他可编程图像缩放设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程图像缩放设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程图像缩放设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (9)
1.一种图像曝光方法,其特征在于,应用于监控设备,所述方法包括:
基于当前接收到的有效同步信号的时刻,确定上一同步信号对应的第一帧周期;其中,所述有效同步信号是基于所述监控设备的性能指标确定的;
根据所述第一帧周期和第一帧间隔确定第一相位差,其中所述第一帧间隔表征监控设备对前一帧图像进行曝光处理的工作周期;
根据所述第一相位差和相位阈值的大小关系对所述第一帧周期进行调整得到第二帧间隔;其中,所述第二帧间隔表征所述监控设备对当前帧图像进行曝光处理的工作周期;
采用所述第二帧间隔对所述当前帧图像进行曝光处理;所述有效同步信号是基于以下方式确定的:
针对接收的每一同步信号,确定所述同步信号的帧周期;
若所述帧周期在预设时间范围内,则将所述同步信号作为有效同步信号;
若所述帧周期未在所述预设时间范围内,则将所述同步信号作为无效同步信号;其中,所述预设时间范围是基于所述监控设备的性能指标确定的。
2.根据权利要求1所述的方法,其特征在于,若上一同步信号为有效同步信号,所述基于当前接收到的有效同步信号的时刻,确定上一同步信号对应的第一帧周期,包括:
确定接收所述上一同步信号的时刻,并将所述时刻作为第一时刻;
将当前接收到有效同步信号的时刻作为第二时刻,将所述第一时刻和所述第二时刻差值的绝对值作为所述第一帧周期。
3.根据权利要求1所述的方法,其特征在于,若上一同步信号为无效同步信号,所述基于当前接收到的有效同步信号的时刻,确定上一同步信号对应的第一帧周期,包括:
根据所述预设时间范围最大值确定所述第一帧周期。
4.根据权利要求2所述的方法,其特征在于,所述根据所述第一帧周期和第一帧间隔确定第一相位差,包括:
确定生成第一帧间隔的第三时刻;
将所述第二时刻和所述第三时刻的差值的绝对值作为所述第一相位差。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一相位差和相位阈值的大小关系对所述第一帧周期进行调整得到第二帧间隔,包括:
若所述第一相位差大于所述相位阈值,则将所述第一帧周期和预设调整值之和作为当前工作周期对应的行场信号参数,并根据所述行场信号参数生成所述第二帧间隔;
若所述第一相位差小于所述相位阈值,则将所述第一帧周期和所述预设调整值之差作为所述行场信号参数,并根据所述行场信号参数生成所述第二帧间隔;其中,所述预设调整值是基于所述监控设备的图像传感器确定的,所述预设调整值为正数。
6.根据权利要求1所述的方法,其特征在于,所述根据所述第一相位差和相位阈值的大小关系对所述第一帧周期进行调整得到第二帧间隔之前,所述方法还包括:
确定所述当前帧图像的曝光方式;
若所述曝光方式为内同步曝光,则获取所述监控设备的内同步帧周期参数,并将所述内同步帧周期参数作为所述第二帧间隔。
7.根据权利要求1-6中任一所述的方法,其特征在于,所述采用所述第二帧间隔对所述当前帧图像进行曝光处理时,所述方法还包括:
若检测到需要对所述帧图像进行补光,则在所述第二帧间隔对应的曝光时段内控制补光灯对所述帧图像进行补光;其中,所述曝光时段为所述监控设备在所述第二帧间隔内,控制图像传感器对所述帧图像进行曝光的时间。
8.一种图像曝光装置,其特征在于,所述装置包括:
帧周期确定模块,被配置为执行基于当前接收到的有效同步信号的时刻,确定上一同步信号对应的第一帧周期;其中,所述有效同步信号是基于监控设备的性能指标确定的;
相位差确定模块,被配置为执行根据所述第一帧周期和第一帧间隔确定第一相位差,其中所述第一帧间隔表征监控设备对前一帧图像进行曝光处理的工作周期;
帧间隔确定模块,被配置为执行根据所述第一相位差和相位阈值的大小关系对所述第一帧周期进行调整得到第二帧间隔;其中,所述第二帧间隔表征所述监控设备对当前帧图像进行曝光处理的工作周期;
曝光处理模块,被配置为执行采用所述第二帧间隔对所述当前帧图像进行曝光处理;所述有效同步信号是基于以下方式确定的:
针对接收的每一同步信号,确定所述同步信号的帧周期;
若所述帧周期在预设时间范围内,则将所述同步信号作为有效同步信号;
若所述帧周期未在所述预设时间范围内,则将所述同步信号作为无效同步信号;其中,所述预设时间范围是基于所述监控设备的性能指标确定的。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的图像曝光方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110844454.7A CN113473036B (zh) | 2021-07-26 | 2021-07-26 | 一种图像曝光方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110844454.7A CN113473036B (zh) | 2021-07-26 | 2021-07-26 | 一种图像曝光方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113473036A CN113473036A (zh) | 2021-10-01 |
CN113473036B true CN113473036B (zh) | 2023-03-17 |
Family
ID=77882359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110844454.7A Active CN113473036B (zh) | 2021-07-26 | 2021-07-26 | 一种图像曝光方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113473036B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115484355A (zh) * | 2022-07-01 | 2022-12-16 | 浙江大华技术股份有限公司 | 一种多路相机同步方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014168907A (ja) * | 2013-03-04 | 2014-09-18 | Ricoh Co Ltd | 画像形成装置、光源点灯制御方法及びプログラム |
JP2021093034A (ja) * | 2019-12-11 | 2021-06-17 | 株式会社リコー | データ処理装置、画像読取装置、画像形成装置及びデータ処理方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200630852A (en) * | 2005-02-24 | 2006-09-01 | Sonix Technology Co Ltd | Image output and input systems |
JP5163728B2 (ja) * | 2010-10-13 | 2013-03-13 | セイコーエプソン株式会社 | タイミングジェネレーター、撮影装置、ドットクロック出力方法 |
CN101977284B (zh) * | 2010-11-29 | 2012-07-18 | 杭州海康威视软件有限公司 | 摄像系统和摄像方法 |
CN103957361B (zh) * | 2014-03-06 | 2017-07-14 | 浙江宇视科技有限公司 | 一种监控相机的曝光方法及其装置 |
CN109040622B (zh) * | 2018-08-22 | 2020-07-31 | 中国电子科技集团公司第四十四研究所 | Cmos图像传感器曝光时序控制方法 |
CN111741185B (zh) * | 2020-06-24 | 2022-04-26 | 杭州海康威视数字技术股份有限公司 | 补光控制方法、装置、系统及设备、存储介质 |
CN113038027B (zh) * | 2021-03-05 | 2022-08-19 | 上海商汤临港智能科技有限公司 | 曝光控制方法、装置、设备以及存储介质 |
-
2021
- 2021-07-26 CN CN202110844454.7A patent/CN113473036B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014168907A (ja) * | 2013-03-04 | 2014-09-18 | Ricoh Co Ltd | 画像形成装置、光源点灯制御方法及びプログラム |
JP2021093034A (ja) * | 2019-12-11 | 2021-06-17 | 株式会社リコー | データ処理装置、画像読取装置、画像形成装置及びデータ処理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113473036A (zh) | 2021-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111741185B (zh) | 补光控制方法、装置、系统及设备、存储介质 | |
WO2021022868A1 (zh) | 一种摄像机补光方法及装置 | |
CN113473036B (zh) | 一种图像曝光方法、装置和电子设备 | |
US8392730B2 (en) | Current sharing method of DC power supply and device thereof | |
CN112019835B (zh) | 动态视觉传感器模组的帧率验证装置、方法及存储介质 | |
WO2017092445A1 (zh) | 视频监控设备的工作模式的切换 | |
CN109391799A (zh) | 一种监控视频同步方法、装置及视频采集设备 | |
CN111508225B (zh) | 信息处理、交通控制方法、装置及设备、存储介质 | |
US20200036505A1 (en) | Network Time Correction Method and Apparatus | |
CN117119201B (zh) | 压缩视频的传输方法、装置、设备及存储介质 | |
CN112558514B (zh) | 一种多设备硬件同步方法 | |
CN110233965B (zh) | 一种设备控制方法、装置及智能设备 | |
CN113364989B (zh) | 一种相机频闪的控制方法、装置、电子设备和存储介质 | |
CN115484355A (zh) | 一种多路相机同步方法及装置 | |
CN102801921A (zh) | 一种卡口摄像机 | |
CN103957361B (zh) | 一种监控相机的曝光方法及其装置 | |
CN114627096A (zh) | 一种图像频闪检测方法及相关装置 | |
JP7349575B2 (ja) | サービス検出方法、装置、機器、及び記憶媒体 | |
CN118433972B (zh) | 一种基于计算机视觉和bim技术的照明控制系统及方法 | |
CN110287640A (zh) | 照明设备的寿命预估方法、装置、存储介质及电子设备 | |
CN114040125B (zh) | 用于同轴线分离式摄像头的同步曝光控制方法、系统 | |
CN113992530B (zh) | 波特率识别方法、装置、电子设备和存储介质 | |
CN112230834B (zh) | 一种调节智能设备的背光的方法及设备 | |
US10299346B2 (en) | System and method for monitoring back light module, and a display apparatus | |
JP2003319248A (ja) | 露出制御装置及び監視カメラ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |