CN118102109A - 一种图像采集设备的控制方法、装置、设备及存储介质 - Google Patents

一种图像采集设备的控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN118102109A
CN118102109A CN202311674586.5A CN202311674586A CN118102109A CN 118102109 A CN118102109 A CN 118102109A CN 202311674586 A CN202311674586 A CN 202311674586A CN 118102109 A CN118102109 A CN 118102109A
Authority
CN
China
Prior art keywords
image acquisition
image
acquisition equipment
phase
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311674586.5A
Other languages
English (en)
Inventor
张瑜
郝佳男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusen Weilai Technology Co Ltd
Original Assignee
Beijing Tusen Weilai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusen Weilai Technology Co Ltd filed Critical Beijing Tusen Weilai Technology Co Ltd
Priority to CN202311674586.5A priority Critical patent/CN118102109A/zh
Publication of CN118102109A publication Critical patent/CN118102109A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals
    • H04N5/067Arrangements or circuits at the transmitter end
    • H04N5/073Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/12Devices in which the synchronising signals are only operative if a phase difference occurs between synchronising and synchronised scanning devices, e.g. flywheel synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

本发明实施例提供一种图像采集设备的控制方法、装置、设备及存储介质,涉及图像采集设备领域,用以实现图像采集设备的工作时序信号与外部触发信号同步。所述方法包括:接收图像采集设备采集的图像数据;对图像数据进行解析,根据解析结果获取图像时序,并根据图像时序确定图像采集设备输出图像数据的帧同步信号;确定帧同步信号与预先设置的触发信号之间的相位偏移量;基于相位偏移量,调整控制信号的相位,控制信号用于对图像采集设备的工作时序进行调整。

Description

一种图像采集设备的控制方法、装置、设备及存储介质
技术领域
本发明涉及图像采集设备领域,尤其涉及一种图像采集设备的控制方法、装置、设备及存储介质。
背景技术
图像采集设备已普遍应用于家庭场景或工作领域中,但部分不具备trigger(单帧触发)功能的图像采集设备(如SONY(索尼公司)的一些车规级图像采集设备),通常情况下是无法实现与外部触发信号同步的,其中,外部触发信号是由图像采集设备的预留端口所接收的外部信号,从而对图像采集设备进行边沿触发或电平触发,形成外部触发信号。同时,在多个图像采集设备联动时,也无法同时进行曝光。
综上所述,现有技术中图像采集设备的工作时序信号无法与外部触发信号实现同步。
发明内容
本发明实施例提供一种图像采集设备的控制方法、装置、设备及存储介质,用以实现图像采集设备的工作时序信号与外部触发信号同步。
第一方面,本发明实施例提供一种图像采集设备的控制方法,方法包括:
接收图像采集设备采集的图像数据;
对图像数据进行解析,根据解析结果获取图像时序,并根据图像时序确定图像采集设备输出图像数据的帧同步信号;
确定帧同步信号与预先设置的触发信号之间的相位偏移量;
基于相位偏移量,调整控制信号的相位,控制信号用于对图像采集设备的工作时序进行调整。
本发明实施例提供的图像采集设备的控制方法,首先接收图像采集设备采集的图像数据,对图像数据进行解析,根据解析结果获取图像时序,并根据图像时序确定图像采集设备输出图像数据的帧同步信号,然后确定帧同步信号与触发信号之间的相位偏移量,最后基于相位偏移量,调整控制信号的相位,控制信号用于对图像采集设备的工作时序进行调整。与现有技术相比,将触发信号与图像采集设备的图像输出时序相比较计算得出相位差,并根据比对结果进行图像采集设备的时序控制,由于图像采集设备具有时序调整信号引脚,因此可以通过调整控制信号,进而对图像采集设备的工作时序的调整,最终实现图像输出时序与触发信号的时序同步。
在一种可能的实施方式中,基于相位偏移量,调整控制信号的相位,包括:
在确定图像采集设备的图像数据输出时刻与图像采集设备的曝光开始时刻一致时,利用相位偏移量对控制信号的相位进行调整。
在一种可能的实施方式中,基于相位偏移量,调整控制信号的相位,还包括:
在确定图像采集设备的图像数据输出时刻与图像采集设备的曝光开始时刻不一致时,确定图像数据输出时刻与曝光开始时刻之间的等待时长;
利用相位偏移量对控制信号的相位进行调整,并将调整后控制信号的触发时刻提前等待时长。
在一种可能的实施方式中,利用相位偏移量对控制信号的相位进行调整,包括:
将相位偏移量分为多个小于预设移动量阈值的移动量,预设移动量阈值为单次调整允许的最大相位移动量;
基于多个小于预设移动量阈值的移动量,以逐步趋近的方式对控制信号的相位进行调整。
在一种可能的实施方式中,当同时连接多个图像采集设备,且多个图像采集设备的曝光时长不同时,方法还包括:
接收多个图像采集设备发送的图像亮度值;
基于多个图像采集设备的图像亮度值,确定多个图像采集设备的统一曝光时长;
基于统一曝光时长与目标图像采集设备的图像亮度值,确定目标图像采集设备的亮度增益,目标图像采集设备为多个图像采集设备中的任意一个;
将目标图像采集设备的亮度增益配置目标图像采集设备,并控制目标图像采集设备以统一曝光时长进行曝光。
本发明实施例提供的图像采集设备的控制方法,当同时连接多个图像采集设备,且多个图像采集设备的曝光时长不同时,方法还包括:首先接收多个图像采集设备发送的图像亮度值,然后基于多个图像采集设备的图像亮度值,确定多个图像采集设备的统一曝光时长,基于统一曝光时长与目标图像采集设备的图像亮度值,确定目标图像采集设备的亮度增益,目标图像采集设备为多个图像采集设备中的任意一个,最后将目标图像采集设备的亮度增益配置目标图像采集设备,并控制目标图像采集设备以统一曝光时长进行曝光。与现有技术相比,在同时连接多个图像采集设备时,避免了由于多个图像采集设备的曝光时长不同,而导致的只能同时开始曝光,无法同时结束曝光的问题,通过为每一个图像采集设备配置各自的亮度增益、和统一的曝光时长,实现多个图像采集设备同步曝光。
在一种可能的实施方式中,基于统一曝光时长与目标图像采集设备的图像亮度值,确定目标图像采集设备的亮度增益,包括:
将目标图像采集设备的图像亮度值,根据目标图像采集设备预先设置的亮度权重进行加权求和,除以多个图像采集设备的亮度权重之和,确定多个图像采集设备的亮度均值;
将目标图像采集设备的图像亮度值与亮度均值的亮度差值,确定为目标图像采集设备的亮度增益。
第二方面,本发明实施例提供一种图像采集设备的控制装置,装置包括:
接收单元,用于接收图像采集设备采集的图像数据;
解析单元,用于对图像数据进行解析,根据解析结果获取图像时序,并根据图像时序确定图像采集设备输出图像数据的帧同步信号;
确定单元,用于确定帧同步信号与预先设置的触发信号之间的相位偏移量;
控制单元,用于基于相位偏移量,调整控制信号的相位,控制信号用于对图像采集设备的工作时序进行调整。
在一种可能的实施方式中,控制单元,具体用于:
在确定图像采集设备的图像数据输出时刻与图像采集设备的曝光开始时刻一致时,利用相位偏移量对控制信号的相位进行调整。
在一种可能的实施方式中,控制单元,具体还用于:
在确定图像采集设备的图像数据输出时刻与图像采集设备的曝光开始时刻不一致时,确定图像数据输出时刻与曝光开始时刻之间的等待时长;
利用相位偏移量对控制信号的相位进行调整,并将调整后控制信号的触发时刻提前等待时长。
在一种可能的实施方式中,当同时连接多个图像采集设备,且多个图像采集设备的曝光时长不同时,装置还包括处理单元,处理单元用于:
接收多个图像采集设备发送的图像亮度值;
基于多个图像采集设备的图像亮度值,确定多个图像采集设备的统一曝光时长;
基于统一曝光时长与目标图像采集设备的图像亮度值,确定目标图像采集设备的亮度增益,目标图像采集设备为多个图像采集设备中的任意一个;
将目标图像采集设备的亮度增益配置目标图像采集设备,并控制目标图像采集设备以统一曝光时长进行曝光。
在一种可能的实施方式中,处理单元,具体用于:
将目标图像采集设备的图像亮度值,根据目标图像采集设备预先设置的亮度权重进行加权求和,除以多个图像采集设备的亮度权重之和,确定多个图像采集设备的亮度均值;
将目标图像采集设备的图像亮度值与亮度均值的亮度差值,确定为目标图像采集设备的亮度增益。
第三方面,本发明实施例还提供一种图像采集设备的控制系统,系统包括主控模块,与主控模块分别相互连接的图像采集设备、缓存模块、存储模块、接口模块,和电源模块,其中,
图像采集设备,用于将输出的图像数据发送至主控模块;
主控模块,用于对接收到的图像数据进行解析,根据解析结果获取图像时序,并根据图像时序确定图像采集设备输出图像数据的帧同步信号,确定帧同步信号与预先设置的触发信号之间的相位偏移量,基于相位偏移量,调整控制信号的相位,控制信号用于对图像采集设备的工作时序进行调整;
缓存模块,用于缓存主控模块中所应用的启动代码;
存储模块,用于存储主控模块中处理的图像数据;
接口模块,用于为主控模块进行网络通信;
电源模块,用于为图像采集设备和主控模块供电。
在一种可能的实施方式中,系统还包括:
连接于图像采集设备与主控模块之间的串行器和解串器,其中,
串行器用于将图像采集设备输出的图像数据进行并行-串行转换,生成串行数据并发送至解串器,解串器用于接收串行器发送的串行数据并进行串行-并行转换,并将转换后的图像数据发送至主控模块。
第四方面,本发明实施例还提供一种图像采集设备的控制设备,包括:
至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令,当计算机程序指令被处理器执行时,以实现本发明实施例第一方面提供的图像采集设备的控制方法。
第五方面,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序指令,当计算机程序指令被处理器执行时,使得图像采集设备的控制设备能够执行本发明实施例第一方面提供的图像采集设备的控制方法。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
图1为本发明实施例提供的一种图像采集设备的控制系统的结构示意图;
图2为本发明实施例提供的另一图像采集设备的控制系统的结构示意图;
图3为本发明实施例提供的一种帧同步信号与行同步信号的信号时序图;
图4为本发明实施例提供的另一帧同步信号与行同步信号的信号时序图;
图5为本发明实施例提供的一种帧同步信号与触发信号的信号时序图;
图6为本发明实施例提供的一种控制信号相位的调整示意图;
图7为本发明实施例提供的另一控制信号相位的调整示意图;
图8为本发明实施例提供的又一图像采集设备的控制系统的结构示意图;
图9为本发明实施例提供的一种图像采集设备的控制方法的示意流程图;
图10为本发明实施例提供的一种图像采集设备的控制装置的结构示意图;
图11为本发明实施例提供的一种图像采集设备的控制设备的结构示意图。
具体实施方式
鉴于现有技术中,对于不具备trigger(单帧触发功能)功能的图像采集设备(如SONY的一些车规级图像采集设备),无法实现与外部触发信号(trigger信号)同步的情况,本发明实施例提供一种图像采集设备的控制方案,通过使用FPGA对trigger功能缺失的图像采集设备的接口时序进行控制,同时FPGA会对trigger信号进行监控,将trigger信号与图像采集设备的图像输出时序相比较计算得出相位差,并根据比对结果进行图像采集设备的时序控制,进而达到与trigger作用相似的功能。下面结合附图与具体实施例,对本发明实施例提供的图像采集设备的控制方法做详细说明。
进一步地,trigger信号必须是固定频率,且图像采集设备的帧率为频率的整倍数,例如,图像采集设备帧率为60FPS,trigger信号频率为稳定的20HZ。针对这个前提条件,在自动驾驶,机器人等领域是非常容易满足的,所以本发明实施例中的方案也是可以普遍应用到自动驾驶,机器人等领域的。
图1示例性的示出了本发明实施例中提供的一种图像采集设备的控制系统的结构示意图,如图1所示,该系统包括主控模块11、缓存模块12、存储模块13、图像采集设备14、电源模块15、接口模块16。
其中,主控模块用于接收图像采集设备输出的图像数据,其可以是FPGA(FieldProgrammable Gate Array,现场可编程门阵列)或者带有可编程逻辑的SOC(System onChip,片上系统);缓存模块用于在系统运行时进行数据缓存,其可以是DDR(Double DataRate,双倍速率)存储器;存储模块用于存储启动代码,其可以是SPI flash(serialperipheral interface flash,串行闪存),或者SD卡(Secure Digital Card,安全数字卡),或者NOR flash(或非型闪存),或者nand flash(与非型闪存),或者emmc(EmbeddedMulti Media Card,嵌入式多媒体控制器);图像采集设备用于采集图像数据,其接口可以是MIPI(Mobile Industry Processor Interface,移动产业处理器接口),或者HiSpi(High-Speed Pixel Interface,高速串行像素接口),或者DVP(digital video port,数字视频端口);接口模块可以是GMII接口(Gigabit Media Independant Interface,千兆媒体独立接口),或者RGMII接口(Reduced Gigabit Media Independent Interface,吉比特媒体独立接口);本发明对此均不作限定。
图2示例性的示出了本发明实施例中提供的另一图像采集设备同步系统的结构示意图,如图2所示,该系统包括主控模块21、缓存模块22、存储模块23、图像采集设备24、电源模块25、接口模块26、解串器27和串行器28。
其中,解串器和串行器的接口可以是FPD LINK III接口(双向控制接口),或者GMSL/GMSL2接口(吉比特多媒体串行链路),或者V-BY-ONE接口(专门面向图像传输开发出的数字接口),本发明对此均不作限定。
进一步地,图像采集设备的工作分为两部分,第一部分是感光单元进行曝光,第二部分是对感光单元做AD转换以及一些其他处理后输出,由于主控模块只能被动接收图像采集设备输出的图像数据,所以只能根据接收到的图像的时序来做判断,主控模块接收到的图像时序与图像采集设备的工作时序存在“固定(即使有偏差也是ns级别,可以忽略)”时间差,因此可以反推图像采集设备内部的时序。无论是MIPI接口,还是DVP接口,或者其他形式的接口输出的图像,都可以恢复出包含vsync(Vertical Synchronization,垂直同步信号)和hsync(Horizontal Synchronization,行同步信号)的时序,其中,vsync可以用来表示一帧图像的开始,hsync可以用来表示一行图像的开始。
如图3所示为本发明实施例提供的一种帧同步信号与行同步信号的信号时序图,如图4所示为本发明实施例提供的另一帧同步信号与行同步信号的信号时序图,由于主控模块内解析出来的帧同步信号与图像采集设备内部的工作时序存在固定的时间差,因此可以通过该帧同步信号来判断图像采集设备的时序情况。
进一步地,由于帧同步信号加上一定的偏移就可以表示图像采集设备内部的工作时序,因此监控trigger(单帧触发)信号与帧同步信号的相位差即可。如图5所示,trigger信号与vsync信号之间存在固定时间差,trigger信号与图像采集设备内部工作时序信号保持一致。
进一步地,针对如何控制图像采集设备进而实现trigger触发同步,以下提供三种方案,下面结合具体实施例作详细说明。
实施例一
在一种可能的实施方式中,部分图像采集设备具有时序调整信号fsync(framesynchronizer,帧同步)引脚,其功能是实现对图像采集设备的工作时序进行微调,进而实现多个图像采集设备数据同步输出,由于控制图像采集设备数据输出会间接控制其曝光时序,因此可以通过主控模块来精确控制fsync信号的时序,进而可以逐步的实现与trigger相似的功能。
需要说明的是,图像采集设备与主控模块之间可以直接进行信号交互,也可以将图像采集设备的数据经过串行器和解串器发送至主控模块,同时主控模块通过解串器和串行器将控制信号发送至图像采集设备,本发明对此不作限定。
当fsync信号在一定范围内变动的时候,图像采集设备会调节自身的实现与之形成一定的相位关系来保持同步,因此我们可以利用这一特性,将通过图像采集设备输出图像解析出来的vsync与trigger信号做比较,根据比较结果来确定二者之间的相位偏移量,从而确定fsync的相位变化,控制fsync信号的输出,最终实现对图像采集设备的图像时序的控制。
如图6所示,由于部分图像采集设备所接收的fsync信号的变动范围不能过大,否则将造成图像采集设备工作异常,因此我们针对此类图像采集设备可以采取逐步趋近的方法。在每一帧里,每次调整一定值的相位,该相位不能超过图像采集设备允许的变动范围。通过多帧的逐步调整,使得fsync信号与trigger同步。图6中trigger信号是固定频率,通过调整fsync信号的位置来控制vsync与trigger信号的对齐。由此可以实现不具备trigger功能的图像采集设备的图像时序与外部固定频率的trigger信号同步,具体实施时,可以有以下步骤:
S1,主控模块接收图像采集设备发送的图像数据,并对其进行解析,获取图像时序,确定帧同步信号vsync。
S2,将vsync信号与trigger信号进行比较,根据比较结果确定两者之间的相位偏移量。
S3,根据S2确定的相位偏移量,对fsync信号进行相位调整,同时图像采集设备会调节自身工作时序与fsync信号形成一定的相位关系来保持同步,因此调整fsync信号的相位,相当于控制图像采集设备的工作时序进行调整。
在一种可能的实施方式中,在fsync进行相位调整时,由图像采集设备预先设置fsync信号的单次调整的最大相位移动量,fsync信号基于所述最大相位移动量逐步趋近,直到完成相位偏移量的调整。
因此,fsync信号的相位变化会引起图像采集设备内部工作时序的变化,当主控模块再次接收到图像采集设备发送的图像数据时,由于图像数据解析所得的vsync信号与图像采集设备内部工作时序存在固定时间差,因此当该工作时序发生变化时,vsync信号也随之变化,与trigger信号再次进行比较,根据比较结果再次对fsync信号进行调整,直到fsync信号与trigger信号实现同步,即图像采集设备的图像时序与外部固定频率的trigger信号实现同步。
实施例二
在一种可能的实施方式中,同样是对于不具备trigger功能的图像采集设备,在完成了实施例一中的同步之后,实现了图像时序与trigger信号的同步,即trigger信号到来,图像采集设备在可接受的时间差内输出图像数据,但是对于一些图像采集设备来讲,图像数据输出不代表图像采集设备开始曝光,在帧起始之后需要等待一个SHS(等待时间)才开始曝光,当trigger信号到来,图像采集设备开始图像输出,但是并没有开始曝光,因此,trigger信号的触发时刻与曝光起始时刻是存在时间差的。
具体实施时,如图7所示每秒钟的帧率是预设的,可以得出一帧的时长。在每帧中,曝光时长也是预设的,可以通过自动曝光模块获取当前图像采集设备的曝光时长,用一帧的时长减去曝光时长,即为SHS时间。通过实施例一种的方法,可以得到fsync的频率和相位,在该基础上,将fsync信号在时间上提前SHS时长,图像采集设备根据fsync信号提前触发一帧,并在等待SHS时长后开始曝光,该曝光时长与trigger信号一致,达到图像曝光与trigger信号同步的效果,具体实施时,可以有以下步骤:
S1,主控模块接收图像采集设备发送的图像数据,并对其进行解析,获取图像时序,确定帧同步信号vsync。
S2,将vsync信号与trigger信号进行比较,根据比较结果确定两者之间的相位偏移量。
S3,主控模块获取图像采集设备的曝光时长,并根据其预设帧率获取一帧的时长,计算两者之差确定SHS时长。
具体实施时,图像采集设备的帧率是预设的,可以得出一帧的时长。在每帧中,曝光时长也是预设的,因此主动模块可以获取当前图像采集设备一帧的时间和曝光时长,两者之差即为SHS时长。
S4,根据S2确定的相位偏移量,和根据S3确定的SHS时长,利用相位偏移量对控制信号的相位进行调整,并将调整后控制信号的触发时刻提前等待时长。
实施例三
如图8所示,为本发明实施例提供的又一图像采集设备控制系统的结构示意图,在很多机器视觉应用中,需要多个图像采集设备进行同时开始曝光,同时结束曝光,而实际应用场景中由于自动曝光算法开始的必要性,导致可以实现trigger到来,同时开始曝光,但是不能实现同时结束曝光。例如,在一辆自动驾驶车辆中,面向车前方的图像采集设备感受到的光线较强,面向车两侧的图像采集设备感受到的光线较弱,这种情况下,对车两侧的图像采集设备设置较长的曝光时长,对车前方的图像采集设备设置较短的曝光时长。这样,如果使用相同的FSYNC,会导致有的图像采集设备提前结束曝光,有些稍晚结束曝光。因此本发明实施例提供一种多图像采集设备联动方案,可以实现多图像采集设备同时开始曝光,同时结束曝光。
具体实施时,可以有以下步骤:
S1,给每个图像采集设备设置一个亮度权重。
具体实施时,可以按照图像采集设备周围的光线强度设置其亮度权重,例如,车辆前方的图像采集设备光线强度较高,光线充足,则可以将其亮度权重设置为1;车辆两侧的图像采集设备光线亮度较弱,则可以将其亮度权重设置为0.8。
S2,需要联动的图像采集设备动态地在每一帧把自己统计的图像亮度值发送至主控模块。
S3,主控模块根据各个图像采集设备的图像亮度值来确定一个合适的曝光时长,即参与联动的图像采集设备的曝光时长是相同的。
具体实施时,可以预设多个不同的场景对应的整体亮度值,每个整体亮度值对应一个预设的曝光时长。
进一步地,整体亮度值可以是一个指定图像采集设备的感受到的亮度值,也可以是多个图像采集设备感受到的亮度值的均值,本发明对此不作限定。
S4,根据每一个图像采集设备的图像亮度值及其对应的亮度权重,确定每一个图像采集设备的亮度增益。
具体实施时,可以将多个图像采集设备的图像亮度值与其对应的亮度权重乘积进行加权求和,然后除以多个图像采集设备的权重之和,得到亮度均值,将各图像采集设备的图像亮度值与该亮度均值进行对比,得到每一个图像采集设备的亮度差值,将所述亮度差值确定为各图像采集设备的亮度增益。
S5,将曝光时长发给所有参与联动的图像采集设备,将不同的亮度增益发给对应的图像采集设备。
S6,在多个图像采集设备的曝光时长相同的情况下,对于接收到的光线强度较弱的图像采集设备,需要通过调高其亮度增益,来实现相同的曝光时长,也即通过调节亮度增益来补偿曝光时长;同时,对于接收到的光线强度较强的图像采集设备,需要通过降低其亮度增益,来实现相同的曝光时长,也即通过调节亮度增益来减少曝光时长。
在一种可能的实施方式中,为了保证多个图像采集设备在实现同时开始曝光,且同时结束曝光功能的前提下,能够带来较好的图像质量,因此,联动在一起的图像采集设备需要有至少三分之一的视野是重合的。
如图9所示,本发明实施例提供一种图像采集设备的控制方法,方法包括:
步骤901,接收图像采集设备采集的图像数据。
步骤902,对图像数据进行解析,根据解析结果获取图像时序,并根据图像时序确定图像采集设备输出图像数据的帧同步信号。
步骤903,确定帧同步信号与预先设置的触发信号之间的相位偏移量。
步骤904,基于相位偏移量,调整控制信号的相位,控制信号用于对图像采集设备的工作时序进行调整。
在一种可能的实施方式中,基于相位偏移量,调整控制信号的相位,包括:
在确定图像采集设备的图像数据输出时刻与图像采集设备的曝光开始时刻一致时,利用相位偏移量对控制信号的相位进行调整。
在一种可能的实施方式中,基于相位偏移量,调整控制信号的相位,还包括:
在确定图像采集设备的图像数据输出时刻与图像采集设备的曝光开始时刻不一致时,确定图像数据输出时刻与曝光开始时刻之间的等待时长;
利用相位偏移量对控制信号的相位进行调整,并将调整后控制信号的触发时刻提前等待时长。
在一种可能的实施方式中,利用相位偏移量对控制信号的相位进行调整,包括:
将相位偏移量分为多个小于预设移动量阈值的移动量,预设移动量阈值为单次调整允许的最大相位移动量;
基于多个小于预设移动量阈值的移动量,以逐步趋近的方式对控制信号的相位进行调整。
在一种可能的实施方式中,当同时连接多个图像采集设备,且多个图像采集设备的曝光时长不同时,方法还包括:
接收多个图像采集设备发送的图像亮度值;
基于多个图像采集设备的图像亮度值,确定多个图像采集设备的统一曝光时长;
基于统一曝光时长与目标图像采集设备的图像亮度值,确定目标图像采集设备的亮度增益,目标图像采集设备为多个图像采集设备中的任意一个;
将目标图像采集设备的亮度增益配置目标图像采集设备,并控制目标图像采集设备以统一曝光时长进行曝光。
在一种可能的实施方式中,基于统一曝光时长与目标图像采集设备的图像亮度值,确定目标图像采集设备的亮度增益,包括:
将目标图像采集设备的图像亮度值,根据目标图像采集设备预先设置的亮度权重进行加权求和,除以多个图像采集设备的亮度权重之和,确定多个图像采集设备的亮度均值;
将目标图像采集设备的图像亮度值与亮度均值的亮度差值,确定为目标图像采集设备的亮度增益。
如图10所示,本发明实施例提供一种图像采集设备的控制装置,装置包括:
接收单元101,用于接收图像采集设备采集的图像数据;
解析单元102,用于对图像数据进行解析,根据解析结果获取图像时序,并根据图像时序确定图像采集设备输出图像数据的帧同步信号;
确定单元103,用于确定帧同步信号与预先设置的触发信号之间的相位偏移量;
控制单元104,用于基于相位偏移量,调整控制信号的相位,控制信号用于对图像采集设备的工作时序进行调整。
在一种可能的实施方式中,控制单元104,具体用于:
在确定图像采集设备的图像数据输出时刻与图像采集设备的曝光开始时刻一致时,利用相位偏移量对控制信号的相位进行调整。
在一种可能的实施方式中,控制单元104,具体还用于:
在确定图像采集设备的图像数据输出时刻与图像采集设备的曝光开始时刻不一致时,确定图像数据输出时刻与曝光开始时刻之间的等待时长;
利用相位偏移量对控制信号的相位进行调整,并将调整后控制信号的触发时刻提前等待时长。
在一种可能的实施方式中,当同时连接多个图像采集设备,且多个图像采集设备的曝光时长不同时,装置还包括处理单元105,处理单元105用于:
接收多个图像采集设备发送的图像亮度值;
基于多个图像采集设备的图像亮度值,确定多个图像采集设备的统一曝光时长;
基于统一曝光时长与目标图像采集设备的图像亮度值,确定目标图像采集设备的亮度增益,目标图像采集设备为多个图像采集设备中的任意一个;
将目标图像采集设备的亮度增益配置目标图像采集设备,并控制目标图像采集设备以统一曝光时长进行曝光。
在一种可能的实施方式中,处理单元105,具体用于:
将目标图像采集设备的图像亮度值,根据目标图像采集设备预先设置的亮度权重进行加权求和,除以多个图像采集设备的亮度权重之和,确定多个图像采集设备的亮度均值;
将目标图像采集设备的图像亮度值与亮度均值的亮度差值,确定为目标图像采集设备的亮度增益。
基于上述本发明实施例相同构思,本发明实施例还提供一种图像采集设备的控制设备。
本发明实施例还提供一种图像采集设备的控制系统,系统包括主控模块,与主控模块分别相互连接的图像采集设备、缓存模块、存储模块、接口模块,和电源模块,其中,
图像采集设备,用于将输出的图像数据发送至主控模块;
主控模块,用于对接收到的图像数据进行解析,根据解析结果获取图像时序,并根据图像时序确定图像采集设备输出图像数据的帧同步信号,确定帧同步信号与预先设置的触发信号之间的相位偏移量,基于相位偏移量,调整控制信号的相位,控制信号用于对图像采集设备的工作时序进行调整;
缓存模块,用于缓存主控模块中所应用的启动代码;
存储模块,用于存储主控模块中处理的图像数据;
接口模块,用于为主控模块进行网络通信;
电源模块,用于为图像采集设备和主控模块供电。
在一种可能的实施方式中,系统还包括:
连接于图像采集设备与主控模块之间的串行器和解串器,其中,
串行器用于将图像采集设备输出的图像数据进行并行-串行转换,生成串行数据并发送至解串器,解串器用于接收串行器发送的串行数据并进行串行-并行转换,并将转换后的图像数据发送至主控模块。
如图11所示,本发明实施例还提供一种图像采集设备的控制设备110,包括:
至少一个处理器1101、至少一个存储器1102以及存储在存储器中的计算机程序指令,当计算机程序指令被处理器1101执行时,以实现本发明实施例中提供的图像采集设备的控制方法。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器1102,上述指令可由图像采集设备的控制设备的处理器1101执行以完成上述方法。
可选地,存储介质可以是非临时性计算机可读存储介质,例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种图像采集设备的控制方法,其特征在于,所述方法包括:
针对多个图像采集设备中的每个图像采集设备:
接收图像采集设备采集的图像数据;
对所述图像数据进行解析,根据解析结果获取图像时序,并根据所述图像时序确定所述图像采集设备输出图像数据的帧同步信号;
确定所述帧同步信号与预先设置的触发信号之间的相位偏移量;
基于所述相位偏移量,调整控制信号的相位,
所述方法还包括:
将不同的亮度增益发给对应的图像采集设备,
控制所述多个图像采集设备以所述统一曝光时长和不同的亮度增益进行曝光。
2.根据权利要求1所述的方法,还包括:
利用控制信号对所述图像采集设备的工作时序进行调整。
3.根据权利要求1所述的方法,其中,所述基于所述相位偏移量,调整控制信号的相位,包括:
在确定所述图像采集设备的图像数据输出时刻与所述图像采集设备的曝光开始时刻一致时,利用所述相位偏移量对所述控制信号的相位进行调整。
4.根据权利要求1所述的方法,其特征在于,所述基于所述相位偏移量,调整控制信号的相位,还包括:
在确定所述图像采集设备的图像数据输出时刻与所述图像采集设备的曝光开始时刻不一致时,确定所述图像数据输出时刻与所述曝光开始时刻之间的等待时长;
利用所述相位偏移量对所述控制信号的相位进行调整;
将调整后控制信号的触发时刻提前所述等待时长。
5.根据权利要求3或4所述的方法,其特征在于,所述利用所述相位偏移量对所述控制信号的相位进行调整,包括:
将所述相位偏移量分为多个小于预设移动量阈值的移动量,所述预设移动量阈值为单次调整允许的最大相位移动量;
基于所述多个小于预设移动量阈值的移动量,以逐步趋近的方式对所述控制信号的相位进行调整。
6.根据权利要求1所述的方法,还包括:
接收所述多个图像采集设备发送的图像亮度值;
基于所述多个图像采集设备的图像亮度值,确定所述多个图像采集设备的统一曝光时长;
基于所述统一曝光时长与目标图像采集设备的图像亮度值,确定所述目标图像采集设备的亮度增益,所述目标图像采集设备为所述多个图像采集设备中的任意一个。
7.根据权利要求6所述的方法,其特征在于,所述基于所述统一曝光时长与目标图像采集设备的图像亮度值,确定所述目标图像采集设备的亮度增益,包括:
将目标图像采集设备的图像亮度值,根据所述目标图像采集设备预先设置的亮度权重进行加权求和,除以所述多个图像采集设备的亮度权重之和,确定所述多个图像采集设备的亮度均值;
将所述目标图像采集设备的图像亮度值与所述亮度均值的亮度差值,确定为所述目标图像采集设备的亮度增益。
8.一种图像采集设备的控制方法,其特征在于,所述方法包括:
接收图像采集设备采集的图像数据;
对所述图像数据进行解析,根据解析结果获取图像时序,并根据所述图像时序确定所述图像采集设备输出图像数据的帧同步信号;
确定所述帧同步信号与预先设置的触发信号之间的相位偏移量;
基于所述相位偏移量,调整控制信号的相位,所述控制信号用于对所述图像采集设备的工作时序进行调整。
9.根据权利要求8所述的方法,其特征在于,所述基于所述相位偏移量,调整控制信号的相位,包括:
在确定所述图像采集设备的图像数据输出时刻与所述图像采集设备的曝光开始时刻一致时,利用所述相位偏移量对所述控制信号的相位进行调整。
10.根据权利要求8所述的方法,其特征在于,所述基于所述相位偏移量,调整控制信号的相位,还包括:
在确定所述图像采集设备的图像数据输出时刻与所述图像采集设备的曝光开始时刻不一致时,确定所述图像数据输出时刻与所述曝光开始时刻之间的等待时长;
利用所述相位偏移量对所述控制信号的相位进行调整,并将调整后控制信号的触发时刻提前所述等待时长。
11.根据权利要求9或10所述的方法,其特征在于,所述利用所述相位偏移量对所述控制信号的相位进行调整,包括:
将所述相位偏移量分为多个小于预设移动量阈值的移动量,所述预设移动量阈值为单次调整允许的最大相位移动量;
基于所述多个小于预设移动量阈值的移动量,以逐步趋近的方式对所述控制信号的相位进行调整。
12.一种图像采集设备的控制系统,其特征在于,所述系统包括主控模块,与所述主控模块分别相互连接的多个图像采集设备,其中,
所述图像采集设备,用于将输出的图像数据发送至所述主控模块;
所述主控模块,用于:
针对多个图像采集设备中的每个图像采集设备:
接收图像采集设备采集的图像数据;
对所述图像数据进行解析,根据解析结果获取图像时序,并根据所述图像时序确定所述图像采集设备输出图像数据的帧同步信号;
确定所述帧同步信号与预先设置的触发信号之间的相位偏移量;
基于所述相位偏移量,调整控制信号的相位,
所述所述主控模块还用于:
将不同的亮度增益发给对应的图像采集设备,
控制所述多个图像采集设备以所述统一曝光时长和不同的亮度增益进行曝光。
13.根据权利要求12所述的系统,其特征在于,所述系统还包括:
连接于所述图像采集设备与所述主控模块之间的串行器和解串器,其中,
所述串行器用于将所述图像采集设备输出的图像数据进行并行-串行转换,生成串行数据并发送至所述解串器,所述解串器用于接收所述串行器发送的串行数据并进行串行-并行转换,并将转换后的图像数据发送至所述主控模块。
14.一种图像采集设备的控制设备,其特征在于,包括:至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令,当所述计算机程序指令被所述处理器执行时实现如权利要求1-11中任一项所述的图像采集设备的控制方法。
15.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,当所述计算机程序指令被处理器执行时实现如权利要求1-11中任一项所述的图像采集设备的控制方法。
CN202311674586.5A 2020-08-07 2020-08-07 一种图像采集设备的控制方法、装置、设备及存储介质 Pending CN118102109A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311674586.5A CN118102109A (zh) 2020-08-07 2020-08-07 一种图像采集设备的控制方法、装置、设备及存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202311674586.5A CN118102109A (zh) 2020-08-07 2020-08-07 一种图像采集设备的控制方法、装置、设备及存储介质
CN202010787944.3A CN114071022B (zh) 2020-08-07 2020-08-07 一种图像采集设备的控制方法、装置、设备及存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010787944.3A Division CN114071022B (zh) 2020-08-07 2020-08-07 一种图像采集设备的控制方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN118102109A true CN118102109A (zh) 2024-05-28

Family

ID=77249771

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010787944.3A Active CN114071022B (zh) 2020-08-07 2020-08-07 一种图像采集设备的控制方法、装置、设备及存储介质
CN202311674586.5A Pending CN118102109A (zh) 2020-08-07 2020-08-07 一种图像采集设备的控制方法、装置、设备及存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010787944.3A Active CN114071022B (zh) 2020-08-07 2020-08-07 一种图像采集设备的控制方法、装置、设备及存储介质

Country Status (5)

Country Link
US (2) US11706533B2 (zh)
EP (1) EP3952266A1 (zh)
JP (1) JP2022031262A (zh)
CN (2) CN114071022B (zh)
AU (1) AU2021212121A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117354483A (zh) * 2022-06-28 2024-01-05 天远三维(天津)科技有限公司 一种同步校验方法、装置、电子设备及存储介质
CN115484355A (zh) * 2022-07-01 2022-12-16 浙江大华技术股份有限公司 一种多路相机同步方法及装置
CN117998029B (zh) * 2024-04-03 2024-07-12 福龙马城服机器人科技有限公司 一种车载相机的权重授时方法
CN118338116B (zh) * 2024-06-12 2024-08-30 广东粤水电装备集团有限公司 一种脉冲焊接过程中图像采集方法和装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011061323A (ja) * 2009-09-07 2011-03-24 Toshiba Corp 同期信号制御回路及び表示装置
CN102438117B (zh) * 2010-09-29 2014-06-11 联芯科技有限公司 手持终端上的摄像头图像数据采集方法及手持终端
CN102651799B (zh) * 2011-02-24 2015-07-01 安凯(广州)微电子技术有限公司 一种采集图像数据的方法
CN103108125B (zh) * 2013-01-07 2015-08-19 华中科技大学 一种多相机系统的取像同步控制设备及其方法
US9041813B1 (en) * 2014-02-14 2015-05-26 Maxim Integrated Products, Inc. Multiple camera synchronization system
JP6194819B2 (ja) * 2014-03-03 2017-09-13 Smk株式会社 画像処理システム
WO2015136798A1 (ja) * 2014-03-13 2015-09-17 ソニー株式会社 撮像装置、撮像システム、および、撮像装置の制御方法
WO2015156057A1 (ja) * 2014-04-10 2015-10-15 株式会社島津製作所 撮像装置の制御装置
CN103957344B (zh) * 2014-04-28 2017-05-24 广州杰赛科技股份有限公司 多摄像装置的视频同步方法和系统
CN104601900B (zh) * 2015-01-16 2017-11-21 杭州戈虎达科技有限公司 用于智能交互微投设备的图像数据采集方法
US10536633B2 (en) * 2015-02-06 2020-01-14 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging system and imaging apparatus including the same, and image processing method
JP6834976B2 (ja) * 2015-11-17 2021-02-24 ソニー株式会社 マルチカメラシステム、マルチカメラシステムの制御方法およびカメラ
CN106131407A (zh) * 2016-07-11 2016-11-16 深圳看到科技有限公司 拍摄同步方法及同步装置
US10326943B2 (en) * 2017-03-29 2019-06-18 Ncr Corporation Overhead camera synchronization
CN107231533B (zh) * 2017-06-12 2019-12-13 深圳市瑞立视多媒体科技有限公司 一种同步曝光方法、装置及终端设备
CN109302567A (zh) * 2017-07-25 2019-02-01 珠海全志科技股份有限公司 摄像头图像低延迟同步系统及图像低延迟同步方法
US10972637B2 (en) * 2018-03-13 2021-04-06 Lyft, Inc. Systems and methods for synchronizing sensor capture
CN110248111B (zh) * 2018-04-28 2020-08-28 Oppo广东移动通信有限公司 控制拍摄的方法、装置、电子设备及计算机可读存储介质
CN108848354B (zh) * 2018-08-06 2021-02-09 四川省广播电视科研所 一种vr内容摄像系统及其工作方法
CN109640051B (zh) * 2018-12-20 2020-12-11 长沙全度影像科技有限公司 一种大场景的分布式拼接监控系统
CN111182226B (zh) * 2019-07-16 2021-07-23 北京欧比邻科技有限公司 一种多相机同步工作的方法、装置、介质和电子设备
US11388315B2 (en) * 2020-05-29 2022-07-12 Canon Kabushiki Kaisha Apparatus of synchronizing a video synchronizing signal with another signal and method of controlling the apparatus

Also Published As

Publication number Publication date
EP3952266A1 (en) 2022-02-09
CN114071022A (zh) 2022-02-18
US20240022824A1 (en) 2024-01-18
JP2022031262A (ja) 2022-02-18
US20220046160A1 (en) 2022-02-10
CN114071022B (zh) 2023-12-15
US11706533B2 (en) 2023-07-18
AU2021212121A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
CN114071022B (zh) 一种图像采集设备的控制方法、装置、设备及存储介质
CN107948463B (zh) 一种相机同步方法、装置及系统
KR102656682B1 (ko) Gm 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치
US10592552B1 (en) Determining real-time timestamps for robotic sensor data
WO2019023868A1 (zh) 一种图像拍摄的控制方法、控制装置及控制系统
DE102015101578A1 (de) Mehrkamera-Synchronisierungssystem
JP5551824B2 (ja) 撮像装置
CN109302567A (zh) 摄像头图像低延迟同步系统及图像低延迟同步方法
EP2182717A2 (en) Wireless image transferring apparatus, wireless image receiving apparatus and wireless image transmitting apparatus, and wireless image transferring method, wireless image receiving method and wireless image transmitting method
CN113329174B (zh) 多目摄像机的控制方法、装置、系统和电子装置
CN113794850B (zh) 时序修正方法、装置、电子设备及可读存储介质
US9258543B2 (en) Method and device for generating three-dimensional image
JP2009147831A (ja) 画像伝送装置及びワイヤレス画像受信装置
CN110933253B (zh) 一种数据帧同步的信源端、主机端、同步装置及方法
CN107256688B (zh) 一种亮度自适应的led显示屏温度控制系统
CN117201709A (zh) 视频处理器、视频数据处理方法和显示装置
CN110855851A (zh) 一种视频同步装置及方法
CN105989789B (zh) 自时序控制器传送数据的方法以及时序控制器与显示系统
CN107222688B (zh) 32路画面轮巡的显示系统及方法
CN112135007B (zh) 一种流媒体视角切换方法及系统
CN114040125B (zh) 用于同轴线分离式摄像头的同步曝光控制方法、系统
CN105376550A (zh) 影像同步方法及其系统
EP4184913A1 (en) Fusion apparatus for multiple data transmission channels, and electronic device
CN110753189B (zh) 一种相机取像方法及系统
CN112995493B (zh) 一种图像处理设备、方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination