CN117835016A - 去除双通rgb镜头红外曝光帧的装置及方法 - Google Patents

去除双通rgb镜头红外曝光帧的装置及方法 Download PDF

Info

Publication number
CN117835016A
CN117835016A CN202410253657.2A CN202410253657A CN117835016A CN 117835016 A CN117835016 A CN 117835016A CN 202410253657 A CN202410253657 A CN 202410253657A CN 117835016 A CN117835016 A CN 117835016A
Authority
CN
China
Prior art keywords
frame
time
infrared
lighting
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410253657.2A
Other languages
English (en)
Other versions
CN117835016B (zh
Inventor
于金喜
艾绍华
梅海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Ruiwei Information Technology Co ltd
Original Assignee
Xiamen Ruiwei Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Ruiwei Information Technology Co ltd filed Critical Xiamen Ruiwei Information Technology Co ltd
Priority to CN202410253657.2A priority Critical patent/CN117835016B/zh
Publication of CN117835016A publication Critical patent/CN117835016A/zh
Application granted granted Critical
Publication of CN117835016B publication Critical patent/CN117835016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)

Abstract

本发明公开去除双通RGB镜头红外曝光帧的装置及方法，包括处理器及连接处理器的红外灯、红外摄像头及双通摄像头，红外摄像头及双通摄像头设置相同的输出帧率，并限制相同的最大曝光时长；设置红外灯闪烁周期时长，周期内亮灯时长，灭灯时长，红外灯的亮灯时长与摄像头最大曝光时长相同，使双通摄像头的RGB帧序列中，红外曝光帧与正常帧交替出现，筛选出其中的红外曝光帧丢弃掉，正常帧送入编码器编码后输出给猫眼。本发明通过控制红外灯的闪烁周期与亮灯时长，使RGB视频流的红外曝光帧与非曝光帧交替产生，再将红外曝光帧丢弃掉，得到非红外曝光帧的RGB视频流，输出给猫眼，使猫眼看到的视频流不会出现画面闪烁的问题。

Description

去除双通RGB镜头红外曝光帧的装置及方法
技术领域
本发明涉及人脸死别图像处理的技术领域，特别是指一种去除双通RGB镜头红外曝光帧的方法及装置。
背景技术
目前人脸识别模组同类技术应用有两种，一种是IR+单通RGB镜头，一种是IR+双通RGB镜头，一个摄像头一般包括一个传感器（Sensor）和一个带模拟高清视频流输出功能的图像信号处理器（ISP）。
IR+单通RGB方案，猫眼视频流不会有闪光问题，但在夜晚或者弱光环境下，单通RGB无法看清人脸，无法与IR组成双目深度活体方案，活体算法降级为单目活体算法。
IR+双通RGB方案，双通RGB镜头可以满足猫眼视频流功能，也可得到灰度图与红外镜头组成双目深度活体摄像头。在黑暗环境，补光灯打开，双通RGB也可以看到清晰人脸，不受黑暗环境限制。但是在识别过程中同时打开猫眼视频流，红外灯闪烁导致猫眼看到的视频流出现画面闪烁问题，给用户不好的体验。
有鉴于此，本发明人针对现有IR+双通RGB未臻完善所导致的诸多缺失及不便而深入构思，且积极研究改良试做而开发出本发明。
发明内容
本发明的目的在于提供一种去除双通RGB镜头红外曝光帧的方法及装置，以解决现有技术中红外灯闪烁导致猫眼看到的视频流出现画面闪烁问题。
为了达成上述目的，本发明的解决方案是：
一种去除双通RGB镜头红外曝光帧的装置，其包括处理器、红外灯、红外摄像头及双通摄像头，红外灯、红外摄像头及双通摄像头分别连接处理器，红外摄像头及双通摄像头设置相同的输出帧率，并限制相同的最大曝光时长Texp；设置红外灯闪烁周期时长T1，周期内亮灯时长T2，灭灯时长T3，红外灯的亮灯时长T2与摄像头最大曝光时长Texp相同，使两个摄像头的RGB帧序列中，红外曝光帧与正常帧交替出现，筛选出其中的红外曝光帧丢弃掉，正常帧送入编码器编码后输出给猫眼。
进一步，所述处理器包括摄像头启动控制模块，摄像头启动控制模块控制两个摄像头的启动时序，让两个摄像头的帧同步输出到处理器，误差不大于1ms；记录第一个摄像头的启动时刻和启动耗时，增加一定的延时，再启动第二个摄像头，两个摄像头启动间隔一个帧周期，后续两个摄像头的帧序列是同步的。
进一步，所述处理器包括红外灯闪烁周期修正模块，红外灯闪烁周期修正模块计算红外灯闪烁周期参数，主要包括亮灯开始和结束时间，将闪烁周期时长T1和亮灯时长T2设置为固定值，只要计算出亮灯开始和结束时间中的一个，就能计算出另外一个，亮灯开始时间会每个闪烁周期计算一次，用图像帧送入ISP处理的时间作为曝光结束时间，也即是亮灯结束时间Tend，由于亮灯时长T2为固定值，计算出亮灯开始时间Tstart，Tstart=Tend－T2，如果红外灯闪烁周期修正模块不再更新Tstart、Tend，则红外灯的闪烁周期参数根据之前的参数持续迭代计算出来。
进一步，所述处理器包括红外灯闪烁控制模块，红外灯闪烁控制模块根据计算的闪烁周期参数Tstart、Tend，控制红外灯的亮灭，当前时间大于等于Tstart，亮灯，当前时间大于等于Tend，灭灯；并且，根据当前周期的亮灭时刻，计算下一个闪烁周期的亮灭时刻Tnext-end=Tend+T1。
进一步，所述处理器包括红外曝光帧过滤模块，红外曝光帧过滤模块工作在RGB帧送入到编码器之前，把红外灯曝光的RGB帧丢弃掉，正常帧则经过编码器编码后通过UVC输出到猫眼，具体过程为：首先用取帧接口取到RGB帧，读取其帧时间戳，转化成毫秒单位，记为Tframe，再调用接口获取当前的最大曝光时长Texp，计算出此帧的曝光开始时间Tframe-exp=Tframe－Texp，如果Tframe-exp在当前闪烁周期的[Tstart,Tend]内则是红外曝光帧，需要丢弃，否则送入编码器，UVC为一种USB视频捕获设备定义的协议标准。
本发明还提供一种去除双通RGB镜头红外曝光帧的方法，包括处理器、红外灯、红外摄像头及双通摄像头，在两个摄像头启动之前需要设置红外摄像头及双通摄像头相同的输出帧率，并限制相同的最大曝光时长Texp，设置红外灯闪烁周期时长T1、周期内亮灯时长T2及灭灯时长T3，红外灯的亮灯时长T2与摄像头最大曝光时长Texp相同，具体包括以下步骤：
S1、控制两个摄像头的启动时序，让两个摄像头的帧同步输出到处理器；
S2、记录第一个摄像头的启动时刻和启动耗时，增加延时后再启动第二个摄像头，两个摄像头的启动间隔一个帧周期，后续两个摄像头的帧序列是同步的；
S3、两个摄像头的sensor将图像帧同步送入ISP处理，sensor为摄像头的传感器，ISP为摄像头的图像信号处理器；
S4、红外灯闪烁周期修正模块计算红外灯闪烁周期参数，主要包括亮灯开始和结束时间，步骤S3的图像帧送入ISP的时刻为曝光结束时间，也即是亮灯结束时间Tend，根据亮灯时长T2，计算出亮灯开始时间Tstart=Tend－T2；
S5、红外灯闪烁控制模块根据步骤S4计算得到的亮灯开始时间Tstart和亮灯结束时间Tend控制红外灯的亮灭，若当前时间大于等于Tstart，则亮灯，若当前时间大于等于Tend，则灭灯；并根据当前周期的亮灭时刻计算下一个闪烁周期的亮灯开始和结束时间：
Tnext-start=Tstart+T1；
Tnext-end=Tend+T1；
S6、红外曝光帧过滤模块获取RGB帧，并读取帧时间戳，记为Tframe，再获取当前的最大曝光时长Texp，计算出此帧的曝光开始时间Tframe-exp，Tframe-exp=Tframe－Texp，如果Tframe-exp在当前闪烁周期的[Tstart,Tend]内，则是红外曝光帧，需要丢弃，否则送入编码器；
S7、将正常帧送入编码器进行解码后输出没有红外曝光帧的图像。
进一步，所述步骤S5中，红外灯闪烁控制模块的控制流程包括以下步骤：
A1、获取ISP处理当前IR或RGB帧数据的时间T-ir；
A2、判断T-ir是否有更新，若是则进入A3，若否则返回A1；
A3、计算红外灯本次闪烁周期的亮灯开始时间Tstart和亮灯结束时间Tend，Tend=T-ir，Tstart=Tend－T2，T2为亮灯时长；
A4、获取当前的系统时间T-cur；
A5、判断系统时间T-cur是否≥亮灯开始时间Tstart，并且处于灯灭状态，若是则进入步骤A6，否则进入步骤A1；
A6、红外灯亮，且设置亮灯状态；
A7、判断系统时间T-cur是否≥亮灯结束时间Tend，并且处于亮灯状态，若是则进入步骤A8，否则进入步骤A1；
A8、红外灯灭，且设置灭灯状态。
进一步，步骤S6中，红外曝光帧过滤模块的过滤流程包括以下步骤：
B1、获取当前最新的RGB帧，读取帧时间戳Tframe；
B2、获取当前最新的RGB曝光参数，读取最大曝光时长Texp；
B3、计算此帧的曝光开始时间Tframe-exp=Tframe-Texp，Tframe-exp为曝光开始时间；
B4、判断是否Tframe-exp≥Texp&&Tframe-exp≤Tend，Tend为亮灯结束时间；若是则进入步骤B5，若否则进入步骤B6；
B5、此帧为红外曝光帧，丢弃；
B6、此帧为正常帧，送入编码器。
本发明还提供一种红外灯闪烁与帧曝光时间保持同步的控制方法，其包括以下步骤：
G1、将红外灯闪烁周期时长T1和亮灯时长T2设置为固定值；
G2、读取图像帧送入ISP处理的时间，该时间即为曝光结束时间，也就是红外灯亮灯结束时间，记为Tend；
G3、计算亮灯开始时间Tstart，Tstart=Tend－T2，亮灯开始时间每个闪烁周期计算一次；
G4、获取当前的系统时间T-cur；
G5、判断系统时间T-cur是否≥亮灯开始时间Tstart，并且处于灯灭状态，若是则进入步骤G6，否则进入步骤G2；
G6、红外灯亮，且设置亮灯状态；
G7、判断系统时间T-cur是否≥亮灯结束时间Tend，并且处于亮灯状态，若是则进入步骤G8，否则进入步骤G2；
G8、红外灯灭，且设置灭灯状态。
本发明还提供一种RGB帧序列中红外曝光帧的筛选方法，其包括以下步骤：
K1、获取RGB帧，读取帧时间戳Tframe；
K2、获取RGB曝光参数，读取最大曝光时长Texp；
K3、计算此RGB帧的曝光开始时间Tframe-exp，Tframe-exp=Tframe-Texp；
K4、判断是否Tframe-exp≥Texp&&Tframe-exp≤Tend，Tend为亮灯结束时间；若是则为红外曝光帧，否则为正常帧。
采用上述方案后，本发明去除双通道RGB镜头红外曝光帧的装置及方法，是基于IR+双通RGB摄像头，通过去除RGB镜头中的红外曝光帧解决猫眼视频流的闪烁问题，提升产品竞争力。
本发明通过控制红外灯的闪烁周期与亮灯时长，使RGB视频流的红外曝光帧与非曝光帧交替产生，再将红外曝光帧丢弃掉，得到非红外曝光帧的RGB视频流，输出给猫眼，使猫眼看到的视频流不会出现画面闪烁的问题。本发明可以解决IR+双通RGB方案在红外灯闪烁情况下的副作用，无需硬件改动，提升产品竞争力。
附图说明
图1为本发明的硬件结构框图。
图2为本发明两个摄像头的帧序列示意图。
图3为本发明红外灯闪烁控制的流程图。
图4为本发明红外曝光帧过滤的流程图。
具体实施方式
为了进一步解释本发明的技术方案，下面通过具体实施例来对本发明进行详细阐述。
如图1所示，本发明揭示了一种去除双通RGB镜头红外曝光帧的装置，其包括处理器、红外灯、红外摄像头及双通摄像头，红外灯、红外摄像头及双通摄像头分别连接处理器，红外摄像头及双通摄像头设置相同的输出帧率（本实施例将输出帧率设定为30fps），并限制相同的最大曝光时长Texp（本实施例设定最大曝光时长Texp为33ms），两个摄像头的sensor较佳采用统一型号，便于控制两个摄像头的曝光参数与帧率保持。设置红外灯闪烁周期时长T1(本实施例设为66ms），周期内亮灯时长T2（本实施例设为33ms），灭灯时长T3（本实施例设为33m），红外灯的亮灯时长T2与摄像头最大曝光时长Texp相同，使两个摄像头的RGB帧序列中，红外曝光帧与正常帧交替出现，筛选出其中的红外曝光帧丢弃掉，正常帧送入编码器编码后输出给猫眼。
所述处理器包括摄像头启动控制模块、红外灯闪烁周期修正模块、红外灯闪烁控制模块及红外曝光帧过滤模块，摄像头启动控制模块，控制两个摄像头的启动时序，让两个摄像头的帧同步输出到处理器，误差不大于1ms。记录第一个摄像头的启动时刻和启动耗时，增加一定的延时，再启动第二个摄像头，两个摄像头启动间隔一个帧周期（本实施例为33ms），后续两个摄像头的帧序列是同步的，如图2所示。
所述红外灯闪烁周期修正模块，负责计算红外灯闪烁周期参数，主要包括亮灯开始和结束时间，将闪烁周期时长T1(66ms)和亮灯时长T2(33ms)设置为固定值，只要计算出亮灯开始和结束时间中的一个，就可以计算出另外一个。另外，为了保证红外闪烁与帧率同步，亮灯开始时间会每个闪烁周期计算一次，不断修正，解决累计的偏差。理论上亮灯开始和结束时间就是图像帧的曝光开始和结束时刻，但是我们无法从sensor直接获取到曝光开始和结束信号；但可以获取到的是图像帧送入ISP处理的时间，我们用图像帧送入ISP处理的时刻作为曝光结束时刻，也即是亮灯结束时间Tend，由于亮灯时长T2为固定值33ms，计算出亮灯开始时间Tstart=Tend－T2。
红外灯闪烁控制模块根据计算的闪烁周期参数Tstart、Tend，控制红外灯的亮灭。当前时间大于等于Tstart，亮灯，当前时间大于等于Tend，灭灯。另外。根据当前周期的亮灭时刻，计算下一个闪烁周期的亮灭时刻Tnext-end=Tend+T1。
如果红外灯闪烁周期修正模块不再更新Tstart、Tend，则红外灯的闪烁周期参数可以根据之前的参数持续迭代计算出来。
红外曝光帧过滤模块，工作在RGB帧送入到编码器之前，把红外灯曝光的RGB帧丢弃掉，正常帧则经过编码器编码后通过UVC输出到猫眼。具体过程为：首先用取帧接口取到RGB帧，读取其帧时间戳，转化成毫秒单位，记为Tframe，再调用接口获取当前的最大曝光时长Texp，计算出此帧的曝光开始时间：
Tframe-exp=Tframe－Texp。
如果Tframe-exp在当前闪烁周期的[Tstart,Tend]内则是红外曝光帧，需要丢弃，否则送入编码器。
本发明还揭示了一种去除双通RGB镜头红外曝光帧的方法，其采用所述去除双通RGB镜头红外曝光帧的装置，在摄像头启动之前需要设置红外摄像头及双通摄像头相同的输出帧率，并限制相同的最大曝光时长Texp，设置红外灯闪烁周期时长T1、周期内亮灯时长T2及灭灯时长T3，红外灯的亮灯时长T2与摄像头最大曝光时长Texp相同，具体包括以下步骤：
S1、摄像头启动控制模块控制两个摄像头的启动时序，让两个摄像头的帧同步输出到处理器；
S2、记录第一个摄像头的启动时刻和启动耗时，增加延时后再启动第二个摄像头，两个摄像头的启动间隔一个帧周期，后续两个摄像头的帧序列是同步的；
S3、两个摄像头的sensor将图像帧同步送入ISP；
S4、红外灯闪烁周期修正模块计算红外灯闪烁周期参数，主要包括亮灯开始和结束时间，步骤S3的图像帧送入ISP的时刻为曝光结束时间，也即是亮灯结束时间Tend，根据亮灯时长T2，计算出亮灯开始时间Tstart=Tend－T2；
S5、红外灯闪烁控制模块根据步骤S4计算得到的亮灯开始时间Tstart和亮灯结束时间Tend控制红外灯的亮灭，若当前时间大于等于Tstart，则亮灯，若当前时间大于等于Tend，则灭灯；并根据当前周期的亮灭时刻计算下一个闪烁周期的亮灯开始和结束时间：
Tnext-start=Tstart+T1；
Tnext-end=Tend+T1；
S6、红外曝光帧过滤模块获取RGB帧，并读取帧时间戳，记为Tframe，再获取当前的最大曝光时长Texp，计算出此帧的曝光开始时间Tframe-exp，Tframe-exp=Tframe－Texp，如果Tframe-exp在当前闪烁周期的[Tstart,Tend]内，则是红外曝光帧，需要丢弃，否则送入编码器；
S7、将正常帧送入编码器进行解码后输出没有红外曝光帧的图像。
如图3所示，所述步骤S5中，红外灯闪烁控制模块的控制流程包括以下步骤：
A1、获取ISP处理当前IR或RGB帧数据的时间T-ir；
A2、判断T-ir是否有更新，若是则进入A3，若否则返回A1；
A3、计算红外灯本次闪烁周期的亮灯开始时间Tstart和亮灯结束时间Tend，Tend=T-ir，Tstart=Tend－T2，T2为亮灯时长；
A4、获取当前的系统时间T-cur；
A5、判断系统时间T-cur是否≥亮灯开始时间Tstart，并且处于灯灭状态，若是则进入步骤A6，否则进入步骤A1；
A6、红外灯亮，且设置亮灯状态；
A7、判断系统时间T-cur是否≥亮灯结束时间Tend，并且处于亮灯状态，若是则进入步骤A8，否则进入步骤A1；
A8、红外灯灭，且设置灭灯状态。
如图4所示，步骤S6中，红外曝光帧过滤模块的过滤流程包括以下步骤：
B1、获取当前最新的RGB帧，读取帧时间戳Tframe；
B2、获取当前最新的RGB曝光参数，读取最大曝光时长Texp；
B3、计算此帧的曝光开始时间Tframe-exp=Tframe-Texp，Tframe-exp为曝光开始时间；
B4、判断是否Tframe-exp≥Texp&&Tframe-exp≤Tend，Tend为亮灯结束时间；若是则进入步骤B5，若否则进入步骤B6；
B5、此帧为红外曝光帧，丢弃；
B6、此帧为正常帧，送入编码器。
本发明还揭示了一种红外灯闪烁与帧曝光时间保持同步的控制方法，其包括以下步骤：
G1、将红外灯闪烁周期时长T1和亮灯时长T2设置为固定值；
G2、读取图像帧送入ISP处理的时间，该时间即为曝光结束时间，也就是红外灯亮灯结束时间，记为Tend；
G3、计算亮灯开始时间Tstart，Tstart=Tend－T2，亮灯开始时间每个闪烁周期计算一次；
G4、获取当前的系统时间T-cur；
G5、判断系统时间T-cur是否≥亮灯开始时间Tstart，并且处于灯灭状态，若是则进入步骤G6，否则进入步骤G2；
G6、红外灯亮，且设置亮灯状态；
G7、判断系统时间T-cur是否≥亮灯结束时间Tend，并且处于亮灯状态，若是则进入步骤G8，否则进入步骤G2；
G8、红外灯灭，且设置灭灯状态。
本发明还揭示了一种RGB帧序列中红外曝光帧的筛选方法，其包括以下步骤：
K1、获取RGB帧，读取帧时间戳Tframe；
K2、获取RGB曝光参数，读取最大曝光时长Texp；
K3、计算此RGB帧的曝光开始时间Tframe-exp，Tframe-exp=Tframe-Texp；
K4、判断是否Tframe-exp≥Texp&&Tframe-exp≤Tend，Tend为亮灯结束时间；若是则为红外曝光帧，否则为正常帧。
上述实施例和图式并非限定本发明的产品形态和式样，任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应视为不脱离本发明的专利范畴。

Claims (8)

1.一种去除双通RGB镜头红外曝光帧的装置，其特征在于，包括：处理器、红外灯、红外摄像头及双通摄像头，红外灯、红外摄像头及双通摄像头分别连接处理器，红外摄像头及双通摄像头设置相同的输出帧率，并限制相同的最大曝光时长Texp；设置红外灯闪烁周期时长T1，周期内亮灯时长T2，灭灯时长T3，红外灯的亮灯时长T2与摄像头最大曝光时长Texp相同，使双通摄像头的RGB帧序列中，红外曝光帧与正常帧交替出现，筛选出其中的红外曝光帧丢弃掉，正常帧送入编码器编码后输出给猫眼。
2.如权利要求1所述的去除双通RGB镜头红外曝光帧的装置，其特征在于：所述处理器包括摄像头启动控制模块，摄像头启动控制模块控制两个摄像头的启动时序，让两个摄像头的帧同步输出到处理器，误差不大于1ms；记录第一个摄像头的启动时刻和启动耗时，再启动第二个摄像头，两个摄像头启动间隔一个帧周期，后续两个摄像头的帧序列是同步的。
3.如权利要求1或2所述的去除双通RGB镜头红外曝光帧的装置，其特征在于：所述处理器包括红外灯闪烁周期修正模块，红外灯闪烁周期修正模块计算红外灯闪烁周期参数，主要包括亮灯开始和结束时间，将闪烁周期时长T1和亮灯时长T2设置为固定值，只要计算出亮灯开始和结束时间中的一个，就能计算出另外一个，亮灯开始时间会每个闪烁周期计算一次，用图像帧送入ISP处理的时间作为曝光结束时间，也即是亮灯结束时间Tend ，由于亮灯时长T2为固定值，计算出亮灯开始时间Tstart，Tstart=Tend－T2，如果红外灯闪烁周期修正模块不再更新Tstart、Tend ，则红外灯的闪烁周期参数根据之前的参数持续迭代计算出来。
4.如权利要求3所述的去除双通RGB镜头红外曝光帧的装置，其特征在于：所述处理器包括红外灯闪烁控制模块，红外灯闪烁控制模块根据计算的闪烁周期参数Tstart、Tend ，控制红外灯的亮灭，当前时间大于等于Tstart，亮灯，当前时间大于等于Tend ，灭灯；并且，根据当前周期的亮灭时刻，计算下一个闪烁周期的亮灭时刻Tnext-end=Tend+T1。
5.如权利要求4所述的去除双通RGB镜头红外曝光帧的装置，其特征在于：所述处理器包括红外曝光帧过滤模块，红外曝光帧过滤模块工作在RGB帧送入到编码器之前，把红外灯曝光的RGB帧丢弃掉，正常帧则经过编码器编码后输出。
6.一种去除双通RGB镜头红外曝光帧的方法，其特征在于，包括：处理器、红外灯、红外摄像头及双通摄像头，在两个摄像头启动之前需要设置红外摄像头及双通摄像头相同的输出帧率，并限制相同的最大曝光时长Texp，设置红外灯闪烁周期时长T1、周期内亮灯时长T2及灭灯时长T3，红外灯的亮灯时长T2与摄像头最大曝光时长Texp相同，具体包括以下步骤：
S1、控制两个摄像头的启动时序，让两个摄像头的帧同步输出到处理器；
S2、记录第一个摄像头的启动时刻和启动耗时，增加延时后再启动第二个摄像头，两个摄像头的启动间隔一个帧周期，后续两个摄像头的帧序列是同步的；
S3、两个摄像头的sensor将图像帧同步送入ISP处理，sensor为摄像头的传感器，ISP为摄像头的图像信号处理器；
S4、红外灯闪烁周期修正模块计算红外灯闪烁周期参数，主要包括亮灯开始和结束时间，步骤S3的图像帧送入ISP的时刻为曝光结束时间，也即是亮灯结束时间Tend ，根据亮灯时长T2，计算出亮灯开始时间Tstart=Tend－T2；
S5、红外灯闪烁控制模块根据步骤S4计算得到的亮灯开始时间Tstart和亮灯结束时间Tend 控制红外灯的亮灭，若当前时间大于等于Tstart，则亮灯，若当前时间大于等于Tend ，则灭灯；并根据当前周期的亮灭时刻计算下一个闪烁周期的亮灯开始和结束时间：
Tnext-start=Tstart+T1；
Tnext-end=Tend+T1；
S6、红外曝光帧过滤模块获取RGB帧，并读取帧时间戳，记为Tframe，再获取当前的最大曝光时长Texp，计算出此帧的曝光开始时间Tframe-exp，Tframe-exp=Tframe－Texp，如果Tframe-exp在当前闪烁周期的[Tstart,Tend]内，则是红外曝光帧，需要丢弃，否则送入编码器；
S7、将正常帧送入编码器进行解码后输出没有红外曝光帧的图像。
7.如权利要求6所述的去除双通RGB镜头红外曝光帧的方法，其特征在于：所述步骤S5中，红外灯闪烁控制模块的控制流程包括以下步骤：
A1、获取ISP处理当前IR或RGB帧数据的时间T-ir；
A2、判断T-ir是否有更新，若是则进入A3，若否则返回A1；
A3、计算红外灯本次闪烁周期的亮灯开始时间Tstart和亮灯结束时间Tend，Tend=T-ir，Tstart=Tend－T2，T2为亮灯时长；
A4、获取当前系统相对时间T-cur；
A5、判断系统时间T-cur是否≥亮灯开始时间Tstart，并且处于灯灭状态，若是则进入步骤A6，否则进入步骤A1；
A6、红外灯亮，且设置亮灯状态；
A7、判断系统时间T-cur是否≥亮灯结束时间Tend，并且处于亮灯状态，若是则进入步骤A8，否则进入步骤A1；
A8、红外灯灭，且设置灭灯状态。
8.如权利要求6所述的去除双通RGB镜头红外曝光帧的方法，其特征在于：步骤S6中，红外曝光帧过滤模块的过滤流程包括以下步骤：
B1、获取当前最新的RGB帧，读取帧时间戳Tframe；
B2、获取当前最新的RGB曝光参数，读取最大曝光时长Texp；
B3、计算此帧的曝光开始时间Tframe-exp=Tframe-Texp，Tframe-exp为曝光开始时间；
B4、判断是否Tframe-exp≥Texp && Tframe-exp≤Tend，Tend为亮灯结束时间；若是则进入步骤B5，若否则进入步骤B6；
B5、此帧为红外曝光帧，丢弃；
B6、此帧为正常帧，送入编码器。
CN202410253657.2A 2024-03-06 2024-03-06 去除双通rgb镜头红外曝光帧的装置及方法 Active CN117835016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410253657.2A CN117835016B (zh) 2024-03-06 2024-03-06 去除双通rgb镜头红外曝光帧的装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410253657.2A CN117835016B (zh) 2024-03-06 2024-03-06 去除双通rgb镜头红外曝光帧的装置及方法

Publications (2)

Publication Number Publication Date
CN117835016A true CN117835016A (zh) 2024-04-05
CN117835016B CN117835016B (zh) 2024-04-30

Family

ID=90517691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410253657.2A Active CN117835016B (zh) 2024-03-06 2024-03-06 去除双通rgb镜头红外曝光帧的装置及方法

Country Status (1)

Country Link
CN (1) CN117835016B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152604A (ja) * 2000-11-10 2002-05-24 Toshiba Corp フリッカ除去装置
JP2006310971A (ja) * 2005-04-26 2006-11-09 Casio Comput Co Ltd 撮像装置、露出制御方法及びプログラム
CN102006423A (zh) * 2010-11-15 2011-04-06 无锡中星微电子有限公司 一种消除摄像头闪烁现象的方法、装置及一种摄像头
JP2016066991A (ja) * 2014-09-24 2016-04-28 株式会社Ｊｖｃケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
US20170237887A1 (en) * 2014-11-13 2017-08-17 Panasonic Intellectual Property Management Co. Ltd. Imaging device and imaging method
CN108401118A (zh) * 2018-03-05 2018-08-14 北京中科虹霸科技有限公司 控制红外灯开灯时间的虹膜采集装置及方法
CN109618099A (zh) * 2019-01-10 2019-04-12 深圳英飞拓科技股份有限公司 双光谱摄像机图像融合方法及装置
CN111710061A (zh) * 2020-06-28 2020-09-25 北京嘀嘀无限科技发展有限公司 图像采集系统、方法、装置及存储介质
CN113014748A (zh) * 2019-12-19 2021-06-22 深圳瑞为智能科技有限公司 一种摄像头红外灯动态补光系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152604A (ja) * 2000-11-10 2002-05-24 Toshiba Corp フリッカ除去装置
JP2006310971A (ja) * 2005-04-26 2006-11-09 Casio Comput Co Ltd 撮像装置、露出制御方法及びプログラム
CN102006423A (zh) * 2010-11-15 2011-04-06 无锡中星微电子有限公司 一种消除摄像头闪烁现象的方法、装置及一种摄像头
JP2016066991A (ja) * 2014-09-24 2016-04-28 株式会社Ｊｖｃケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
US20170237887A1 (en) * 2014-11-13 2017-08-17 Panasonic Intellectual Property Management Co. Ltd. Imaging device and imaging method
CN108401118A (zh) * 2018-03-05 2018-08-14 北京中科虹霸科技有限公司 控制红外灯开灯时间的虹膜采集装置及方法
CN109618099A (zh) * 2019-01-10 2019-04-12 深圳英飞拓科技股份有限公司 双光谱摄像机图像融合方法及装置
CN113014748A (zh) * 2019-12-19 2021-06-22 深圳瑞为智能科技有限公司 一种摄像头红外灯动态补光系统及方法
CN111710061A (zh) * 2020-06-28 2020-09-25 北京嘀嘀无限科技发展有限公司 图像采集系统、方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ELENA-VALENTINA DUMITRAȘCU: "Novel_methods_for_measuring_the_shutter_speed_of_film_cameras_using_image_processing", 2022 INTERNATIONAL SYMPOSIUM ON ELECTRONICS AND TELECOMMUNICATIONS (ISETC), 16 January 2023 (2023-01-16), pages 1 - 4 *
李永博: "基于双曝光相机的高动态成像系统设计", 中国硕士论文库, 31 December 2022 (2022-12-31), pages 1 - 72 *

Also Published As

Publication number Publication date
CN117835016B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
US8350903B2 (en) Vehicle-mounted image processing device, and method for controlling vehicle-mounted image processing device
JP6471953B2 (ja) 撮像装置、撮像システム、及び撮像方法
JP5257695B2 (ja) 監視装置
CN108401118B (zh) 控制红外灯开灯时间的虹膜采集装置及方法
US8552873B2 (en) Method and system for detecting a driving state of a driver in a vehicle
JP2004525573A5 (zh)
EP3040021A1 (en) Organ imaging apparatus
KR20080085198A (ko) 이미지 캡처 장치에서의 자동 플릭커 보정
US10757338B2 (en) Imaging apparatus capable of determining whether an apodization filter is present or not and selecting first and second program diagrams
KR100607467B1 (ko) 프레임 그래버
JP7039183B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20160088466A (ko) 선명한 상의 촬영이 가능한 감시 카메라
CN117835016B (zh) 去除双通rgb镜头红外曝光帧的装置及方法
US6940556B1 (en) Electronic still camera and information recording appartus
EP3474544B1 (en) Image processing device, image processing method, and program
US10805526B2 (en) Imaging apparatus, imaging method, and computer program product
JP2008230464A (ja) 車載カメラ用自動露出装置
JP2017092876A (ja) 撮像装置、撮像システム、及び撮像方法
JP5215879B2 (ja) 撮像装置及びその制御方法及びプログラム
WO2021175211A1 (zh) 一种基于曝光控制的视频采集方法及装置
JP2008182369A (ja) 撮像装置
JP2009042098A (ja) 画像処理式物体検出装置
JP2008042694A (ja) 画像処理装置、撮像装置及び画像処理方法
JP4524065B2 (ja) デジタルカメラ
JP6379840B2 (ja) 制御装置、制御システム、制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant