CN113890960A - 卷帘式曝光相机延迟测定装置、方法、控制器及存储介质 - Google Patents

卷帘式曝光相机延迟测定装置、方法、控制器及存储介质 Download PDF

Info

Publication number
CN113890960A
CN113890960A CN202111002154.0A CN202111002154A CN113890960A CN 113890960 A CN113890960 A CN 113890960A CN 202111002154 A CN202111002154 A CN 202111002154A CN 113890960 A CN113890960 A CN 113890960A
Authority
CN
China
Prior art keywords
color
color ratio
color component
rolling shutter
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111002154.0A
Other languages
English (en)
Other versions
CN113890960B (zh
Inventor
李丰军
周剑光
谈文韬
周友松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Automotive Innovation Co Ltd
Original Assignee
China Automotive Innovation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Automotive Innovation Co Ltd filed Critical China Automotive Innovation Co Ltd
Priority to CN202111002154.0A priority Critical patent/CN113890960B/zh
Publication of CN113890960A publication Critical patent/CN113890960A/zh
Application granted granted Critical
Publication of CN113890960B publication Critical patent/CN113890960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end

Abstract

本发明公开了一种卷帘式曝光相机延迟测定装置、方法、控制器及存储介质，其中，方法包括：获取光源产生模块的颜色比值门限；获取输入图像；计算输入图像中各行对应的颜色比值；判断颜色比值计算结果中是否存在目标颜色比值；其中，目标颜色比值为大于颜色比值门限的颜色比值；若否，获取与当前图像相邻的下一帧图像作为输入图像，转向计算输入图像中各行对应的颜色比值的步骤；若是，获取目标颜色比值对应的目标行数，基于目标行数计算实际采样时延。本发明实现了卷帘式曝光相机采样时机与系统延迟的高精度测定，有利于实现多传感器信息的高精度匹配。

Description

卷帘式曝光相机延迟测定装置、方法、控制器及存储介质
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种卷帘式曝光相机延迟测 定装置、方法、控制器及存储介质。
背景技术
目前自动驾驶车辆目标感知需要使用大量传感器，车辆在高速运行时， 多传感器目标信息需要更高的同步精度，使多传感器信息融合后同一能够 重叠，以保证驾驶安全。激光雷达与相机都是常用的传感器，在实际应用 中，出于成本，灵敏度等多方面因素考虑，卷帘式曝光相机应用较多。
图1是现有技术中的卷帘式曝光时间示意图，具体的如图1所示，卷 帘式曝光相机采用各行独立的曝光方式，tV为单帧图像时间，texp为曝光时 间，tH为单行输出时间，同时是各行曝光错位时间。一些情况下，图像首 末行时间相差接近1帧。并且应用在汽车上的卷帘式曝光相机多为含ISP 计算单元的相机模组，该类相机的真实采样时机以及处理系统控制采样时 机之间存在延迟。图2是本发明实施例提供的1080行相机的测试时序示意 图，具体的如图2所示，VSync为卷帘式曝光相机实际同步信号、sync为 卷帘式曝光相机控制同步信号(粗同步)；各行为纵坐标，各行的曝光时间为 横坐标；图中间两条虚线之间的部分为LED点亮时间，长度为300tH，结 束点与同步信号上升沿对齐。其中，实际同步信号VSync与控制同步信号 Sync不是同时发出的，两者之间的时延△ts会使得相机输出结果与激光雷 达输出结果进行数据融合时出现较大的误差，甚至失效。
因此，有必要提供一种时延测定方法以减小卷帘式曝光相机实际同步 信号与控制同步信号之间的延迟。
发明内容
本发明旨在提供一种卷帘式曝光相机采样时机与系统延迟测定装置， 以及依赖该装置的延迟测定方法，实现行级精度(<10行)延迟测定。为此， 本发明第一方面提出一种卷帘式曝光相机延迟测定装置，包括卷帘式曝光 相机、光源产生模块、导光结构和初始化控制器；
所述卷帘式曝光相机与所述光源产生模块之间的距离小于预设长度， 所述导光结构设置在所述光源产生模块与所述卷帘式曝光相机之间，所述 导光结构用于使测试光源的光亮在所述相机画面上沿行方向均匀分布，所 述卷帘式曝光相机和所述光源产生模块均与所述初始化控制器连接；
所述初始化控制器用于向所述卷帘式曝光相机发送与所述卷帘式曝光 相机的拍摄帧率匹配的同步信号，以及向所述光源产生模块发送控制所述 测试光源亮暗的测试光源控制信号，以使所述测试光源的点亮时间结束点 与所述同步信号的上升沿重合；
所述卷帘式曝光相机能够响应于所述同步信号进行粗同步；所述光源 产生模块能够响应于所述测试光源控制信号按预设时序点亮所述测试光 源；其中，所述测试光源具有至少两种显示颜色，相邻时序的所述测试光 源具有不同的显示颜色。
本发明第二方面提出一种卷帘式曝光相机延迟测定方法，所述方法是 基于如本发明第一方面所述的卷帘式曝光相机延迟测定装置执行的，所述 方法包括：
获取光源产生模块的颜色比值门限；
获取输入图像；
计算所述输入图像中各行对应的颜色比值；
判断颜色比值计算结果中是否存在目标颜色比值；其中，所述目标颜 色比值为大于所述颜色比值门限的颜色比值；
若否，获取与当前图像相邻的下一帧图像作为所述输入图像，转向所 述计算所述输入图像中各行对应的颜色比值的步骤；
若是，获取所述目标颜色比值对应的目标行数，基于所述目标行数计 算实际采样时延。
进一步地，所述计算所述输入图像中各行对应的颜色比值，包括：
计算所述输入图像中各行在第一区域内的第一颜色分量和，得到多个 第一颜色分量和，每个所述第一颜色分量和具有唯一对应的行号；
计算所述输入图像中各行在第二区域内的第二颜色分量和，得到多个 第二颜色分量和，每个所述第二颜色分量和具有唯一对应的行号；
计算具有相同行号的所述第一颜色分量和与所述第二颜色分量和的比 值，得到所述输入图像中各行对应的所述颜色比值，每个所述颜色比值具 有唯一对应的行号。
进一步地，所述第一颜色分量和是对所述输入图像中各行符合第一预 设条件的像素分别按行号求和得到的，所述第一预设条件为像素点位于第 一区域内且像素点的显示颜色为第一颜色；
所述第二颜色分量和是对所述输入图像中各行符合第二预设条件的像 素分别按行号求和得到的，所述第二预设条件为像素点位于第二区域内且 像素点的显示颜色为第二颜色。
进一步地，所述获取光源产生模块的颜色比值门限，包括：
获取k帧图像；其中，k>10且k为正整数；
计算每帧图像中各行在第一区域内的第一颜色分量和以及第二区域内 的第二颜色分量和，得到k组颜色分量计算结果；
基于k组所述颜色分量计算结果确定每帧图像对应的第二颜色分量和 的最大值，得到k个所述第二颜色分量和的最大值；
基于k组所述颜色分量计算结果获取每帧图像中与所述第二颜色分量 和最大值对应的目标第一颜色分量和，得到k个所述目标第一颜色分量和； 其中，所述目标第一颜色分量和是与所述第二颜色分量和的最大值具有相 同行号的所述第一颜色分量和；
对k个所述目标第一颜色分量和进行求和，得到第一求和结果；
对k个所述第二颜色分量和的最大值进行求和，得到第二求和结果；
计算所述第二求和结果与所述第一求和结果的比值，得到所述光源产 生模块的颜色比值门限。
进一步地，所述第一区域包括自各行第一个像素点至各行第一预设位 置点之间的区域，同行设置的所述第一预设位置点与所述第一个像素点之 间的距离大于0且小于1/2行宽度；
所述第二区域包括各行第二预设位置点至各行最后一个像素点之间的 区域，同行设置的所述第二预设位置点与所述最后一个像素点之间的距离 大于0且小于1/2行宽度。
进一步地，所述基于所述目标行数计算实际采样时延，包括采用下述 公式计算实际采样时延：
Δts＝tV-(VBP+VSW+vstart+q-m-1)tH
其中，Δts为实际采样时延；
tV为单帧图像时间；
VBP为单帧图像时间的场同步后沿，即在垂直同步周期之后帧开头时 的无效行数；
VSW为单帧图像时间的场同步脉冲，即本帧数据输出结束到下一帧垂 直同步周期开始之前的无效行数；
Vstart为第一次检测到所述颜色比值大于所述颜色比值门限时所在行的 行号；
q为用于时延测定的点亮时长，q>m；
m为用于所述颜色比值门限测定的点亮时长；
tH为单行输出时间。
进一步地，所述基于所述目标行数计算实际采样时延之后，还包括：
判断所述输入图像的累计帧数是否达到预设帧数；
若是，根据所述实际采样时延和所述预设帧数求实际采样时延的均值；
若否，获取与当前图像相邻的下一帧图像作为所述输入图像，转向所 述计算所述输入图像中各行对应的颜色比值的步骤。
本发明第三方面提出一种卷帘式曝光相机延迟测定控制器，该延迟测 定控制器应用于如本发明第一方面所述的卷帘式曝光相机延迟测定装置 中，包括：
门限获取模块，用于获取光源产生模块的颜色比值门限；
第一图像获取模块，用于获取输入图像；
颜色比值计算模块，用于计算所述输入图像中各行对应的颜色比值；
颜色比值判断模块，用于判断颜色比值计算结果中是否存在目标颜色 比值；其中，所述目标颜色比值为大于所述颜色比值门限的颜色比值；若 否，转向第二图像获取模块；若是，转向时延计算模块；
所述第二图形获取模块用于获取与当前图像相邻的下一帧图像作为所 述输入图像，转向所述计算所述输入图像中各行对应的颜色比值的步骤；
所述时延计算模块用于获取所述目标颜色比值对应的目标行数，基于 所述目标行数计算实际采样时延。
本发明第三方面提出一种电子设备，所述电子设备包括处理器和存储 器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集， 所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理 器加载并执行以实现本发明第一方面提出的卷帘式曝光相机延迟测定方 法。
本发明第四方面提出一种计算机可读存储介质，所述存储介质中存储 有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、 所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现本发 明第一方面提出的卷帘式曝光相机延迟测定方法。
本发明实施例提供的一种卷帘式曝光相机延迟测定装置、方法、控制 器及存储介质实现了卷帘式曝光相机采样时机与系统延迟的高精度测定， 测定精度可达到行级别(<10行)，所测得的高精度延迟可用于修正获取图像 的各行时间戳，根据修正后的时间戳确定物体在画幅中的位置，可实现多 传感器信息的高精度匹配。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面 的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对 实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地， 下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员 来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是现有技术中的卷帘式曝光时间示意图；
图2是本发明实施例提供的相机同步信号、LED点亮时机与相机时序 的关系示意图；
图3是本发明实施例提供的一种卷帘式曝光相机延迟测定装置的原理 图；
图4是本发明实施例提供的一种卷帘式曝光相机延迟测定方法的流程 图；
图5是本发明实施例提供的步骤S110的流程图；
图6是本发明实施例提供的步骤S130的流程图；
图7是本发明实施例提供的另一种卷帘式曝光相机延迟测定方法的流 程图；
图8是本发明实施例提供的一种卷帘式曝光相机延迟测定控制器的结 构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本 发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。 基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提 下所获得的所有其他实施例，都属于本发明保护的范围。所述实施例的示 例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
实施例
图3是本发明实施例提供的一种卷帘式曝光相机延迟测定装置的原理 图，具体的如图3所示，该卷帘式曝光相机延迟测定装置包括卷帘式曝光 相机、光源产生模块、导光结构和初始化控制器；
卷帘式曝光相机与光源产生模块之间的距离小于预设长度，该预设长 度大于0m且小于等于1m；导光结构，例如导光板，设置在光源产生模块 与卷帘式曝光相机之间，导光结构用于使测试光源的光亮在相机画面上沿 行方向均匀分布，且各自等分左右画幅，卷帘式曝光相机和光源产生模块 均与初始化控制器连接；为了保证曝光时间足够大，卷帘式曝光相机需安 装在暗室或较暗环境中。
初始化控制器用于向卷帘式曝光相机发送与的拍摄帧率匹配的同步信 号进行粗同步，以及向光源产生模块发送控制测试光源亮暗的测试光源控 制信号，以使测试光源的点亮时间结束点与同步信号的上升沿重合。其中， 初始化控制器可以设置在FPGA芯片或MCU芯片内，根据实际情况，其他 类型的控制芯片也可以在本文中应用。
卷帘式曝光相机能够响应于同步信号进行粗同步，卷帘式曝光相机的 帧率为Fs，常见为30、50、60帧，根据实际需要，帧率也可以设置为其他 值例如40帧、70帧等；光源产生模块能够响应于测试光源控制信号按预设 时序点亮测试光源；为了保证通道独立，测试光源应具有至少两种显示颜 色，显示颜色可以是红色、绿色或蓝色，相邻时序的测试光源具有不同的 显示颜色。
图4是本发明实施例提供的一种卷帘式曝光相机延迟测定方法的流程 图。具体的如图4所示，本发明实施例还提供了一种卷帘式曝光相机延迟 测定方法，该方法是基于本说明书实施例记载的卷帘式曝光相机延迟测定 装置执行的，该方法包括以下步骤：
S110：获取光源产生模块的颜色比值门限；
S120：获取输入图像；
步骤S120之前需要对测定装置进行初始化操作，初始化操作可以包括： 按关闭LED 30帧，等待相机与系统之间的粗同步稳定；使光源产生模块的 至少两个测试光源按tV循环点亮，点亮时长q行，q>m。为了尽可能保证 有数值超过门限，优选的将q的取值范围设置为q>2m，此处选用300行， 点亮起止时间点，如图2所示；例如，按照绿亮01、红亮10、红绿亮11 的循环顺序按tV循环点亮。本发明实施例设计的多色LED交替、低占空比 闪烁的方案有利于区分同一图像内的跨帧曝光时间点。
S130：计算输入图像中各行对应的颜色比值；
S140：判断颜色比值计算结果中是否存在目标颜色比值；其中，目标 颜色比值为大于颜色比值门限的颜色比值；
S150：若否，获取与当前图像相邻的下一帧图像作为输入图像，转向 步骤S130；
S160：若是，获取目标颜色比值对应的目标行数，基于目标行数计算 实际采样时延。
在一些实施例中，因为绿灯先亮，当第一次检测到第vstart行颜色比值 大于门限时，依据图像的时序关系，可采用下述公式计算实际采样时延Δts：
Δts＝tV-(VBP+VSW+vstart+q-m-1)tH
其中，Δts为实际采样时延；
tV为单帧图像时间；
VBP为单帧图像时间的场同步后沿，即在垂直同步周期之后帧开头时 的无效行数；
VSW为单帧图像时间的场同步脉冲，即本帧数据输出结束到下一帧垂 直同步周期开始之前的无效行数；
Vstart为第一次检测到所述颜色比值大于所述颜色比值门限时所在行的 行号；
q为用于时延测定的点亮时长，q>m；
m为用于所述颜色比值门限测定的点亮时长；
tH为单行输出时间。
需要说明的是，本说明书提供了如实施例或流程图所述的方法操作步 骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。 实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表 唯一的执行顺序。例如，步骤S110与步骤S120可以按照附图3所示的顺 序执行，在可替代的方案中，步骤S120可以发生在步骤S110之前，或者 步骤S110与步骤S120同步执行。在实际中的系统或服务器产品执行时， 可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处 理器或者多线程处理的环境)。
图5是本发明实施例提供的步骤S110的流程图，具体的如图5所示， 在一个实施例中，步骤S110包括：
S111：获取k帧图像；
为保证颜色比值门限的可靠性，k的取值应满足k>10且k为正整数； 例如，k的取值可以是11、20、30等，还可以是满足上述取值条件的其他 值，本实施例不以此为限。
在获取k帧图像之前，还需要将第一测试光源设置为按卷帘式曝光相 机帧率Fs周期性点亮，点亮时间m行，在一个示例中，第一测试光源可以 是绿色LED，点亮时间可以是100行。
S112：计算每帧图像中各行在第一区域内的第一颜色分量和以及第二 区域内的第二颜色分量和，得到k组颜色分量计算结果；
在一个实施例中，每帧图像内，计算各行前1/3红色分量和以及后1/3 绿色分量和，pixRk(v,h)表示第k帧、第v行、第h列的红色像素；pixGk(v,h)， 表示第k帧、第v行、第h列的绿色像素；
绿色分量和的计算公式如下
Figure RE-GDA0003366574180000091
红色分量和的计算公式如下
Figure RE-GDA0003366574180000092
具体的，第一区域包括自各行第一个像素点至各行第一预设位置点之 间的区域，同行设置的第一预设位置点与第一个像素点之间的距离大于0 且小于1/2行宽度；同行设置的第一预设位置点与第一个像素点之间的距离 是根据导光板实际散逸情况确定的。例如，第一区域可以是各行前1/3段， 或者符合上述条件的其他范围，例如各行的前1/4段、各行的前2/5段等， 本实施例不以此为限。
具体的，第二区域包括各行第二预设位置点至各行最后一个像素点之 间的区域，同行设置的第二预设位置点与最后一个像素点之间的距离大于0 且小于1/2行宽度。同行设置的第二预设位置点与最后一个像素点之间的距 离是根据导光板实际散逸情况确定的。例如，第二区域可以是各行后1/3 段，或者符合上述条件的其他范围，例如各行的后1/4段、各行的后2/5段 等，本实施例不以此为限。
具体的，第一区域与第二区域的长度是相等的。
S113：基于k组颜色分量计算结果确定每帧图像对应的第二颜色分量 和的最大值，得到k个第二颜色分量和的最大值；
S114：基于k组颜色分量计算结果获取每帧图像中与第二颜色分量和 最大值对应的目标第一颜色分量和，得到k个目标第一颜色分量和；其中， 目标第一颜色分量和是与第二颜色分量和的最大值具有相同行号的第一颜 色分量和；
S115：对k个目标第一颜色分量和进行求和，得到第一求和结果；
S116：对k个第二颜色分量和的最大值进行求和，得到第二求和结果；
根据第一颜色分量和可以得到第一区域的亮度信息，根据第二颜色分 量和可以得到第二区域的亮度信息，根据各区域的亮度信息可以进一步确 定各行的采集时间，这样，通过颜色比值就可以实现图像内各行采集时间 精确测定。
需要说明的是，步骤S115与步骤S116可以按附图5示出的顺序执行， 也可以按照步骤S115在后、步骤S116在先的顺序执行，步骤S115、步骤 S116还可以同步执行。
S117：计算第二求和结果与第一求和结果的比值，得到光源产生模块 的颜色比值门限。
Figure BDA0003235863080000101
此处采用比值式统计门限是为了减弱帧间曝光与增益不同对测量结果 的影响。
图6是本发明实施例提供的步骤S130的流程图，具体的如图6所示， 在一些实施例中，步骤S130包括：
S131：计算输入图像中各行在第一区域内的第一颜色分量和，得到多 个第一颜色分量和，每个第一颜色分量和具有唯一对应的行号；
具体的，第一颜色分量和是对输入图像中各行符合第一预设条件的像 素分别按行号求和得到的，第一预设条件为像素点位于第一区域内且像素 点的显示颜色为第一颜色。
S132：计算输入图像中各行在第二区域内的第二颜色分量和，得到多 个第二颜色分量和，每个第二颜色分量和具有唯一对应的行号；
具体的，第二颜色分量和是对输入图像中各行符合第二预设条件的像 素分别按行号求和得到的，第二预设条件为像素点位于第二区域内且像素 点的显示颜色为第二颜色。
S133：计算具有相同行号的第一颜色分量和与第二颜色分量和的比值， 得到输入图像中各行对应的颜色比值，每个颜色比值具有唯一对应的行号。
在一些实施例中，通过对不同颜色的测试光源进行多帧计算可累积得 到相对ts0的行级别延迟。图7是本发明实施例提供的另一种卷帘式曝光相 机延迟测定方法的流程图，具体的如图7所示，步骤S160之后还包括以下 步骤：
S170：判断输入图像的累计帧数是否达到预设帧数；若是，转向步骤 S180；若否，转向步骤S150；
S180：根据实际采样时延和预设帧数求实际采样时延的均值。
需要说明的是，本发明并不受所描述的动作顺序的限制，因为依据本 发明，某些步骤可以采用其它顺序或者同时进行。
图8是本发明实施例提供的一种卷帘式曝光相机延迟测定控制器的结 构框图，具体的如图8所示，本发明实施例提供的一种卷帘式曝光相机延 迟测定控制器应用于如上述实施例记载的卷帘式曝光相机延迟测定装置 中，该延迟测定控制器包括以下模块：
门限获取模块210，用于获取光源产生模块的颜色比值门限；
第一图像获取模块220，用于获取输入图像；
颜色比值计算模块230，用于计算输入图像中各行对应的颜色比值；
颜色比值判断模块240，用于判断颜色比值计算结果中是否存在目标颜 色比值；其中，目标颜色比值为大于颜色比值门限的颜色比值；若否，转 向第二图像获取模块250；若是，转向时延计算模块260；
第二图形获取模块250用于获取与当前图像相邻的下一帧图像作为输 入图像，转向计算输入图像中各行对应的颜色比值的步骤；
时延计算模块260用于获取目标颜色比值对应的目标行数，基于目标 行数计算实际采样时延。
需要说明的是，图8示出的延迟测定可以与上述实施例记载的初始化 控制器设置在相同或不同的芯片中，图8示出的延迟测定控制器的功能与 装置实施例记载的初始化控制器的功能是不同的，图8示出的延迟测定控 制器用于计算实际采样时延，而装置实施例记载的初始化控制器用于控制 测定装置的初始化，初始化操作可以包括：按关闭LED 30帧，等待相机与 系统之间的粗同步稳定；使光源产生模块的至少两个测试光源按tV循环点亮，点亮时长q(q>2m)行等。
本发明的实施例还提供了一种电子设备，电子设备包括处理器和存储 器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至 少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现 如方法实施例中的卷帘式曝光相机延迟测定方法。
本发明的实施例还提供了一种存储介质，所述存储介质可设置于服务 器之中以保存用于实现方法实施例中的卷帘式曝光相机延迟测定方法相关 的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该 至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法 实施例提供的卷帘式曝光相机延迟测定方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网 络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介 质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、 随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者 光盘等各种可以存储程序代码的介质。
需要说明的是，本发明实施例提供的一种卷帘式曝光相机延迟测定装 置、方法、控制器及存储介质，可以应用在背景技术中记载的多传感器同 步融合的场景下，也可以应用在其他具有高时间精度要求的场景下，本发 明实施例不以此为限。
由上述本发明提供的一种卷帘式曝光相机延迟测定装置、方法、控制 器及存储介质的实施例可见，本发明实施例实现了卷帘式曝光相机采样时 间的行级别测定，所测得的高精度延迟可用于修正获取图像的各行时间戳， 根据修正后的时间戳确定物体在画幅中的位置，可实现多传感器信息的高 精度匹配。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实 施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所 附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步 骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。 另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能 实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的 或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相 同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的 不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法 实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以 通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可 以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存 储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发 明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在 本发明的保护范围之内。

Claims (10)

1.一种卷帘式曝光相机延迟测定装置，其特征在于，包括卷帘式曝光相机、光源产生模块、导光结构和初始化控制器；
所述卷帘式曝光相机与所述光源产生模块之间的距离小于预设长度，所述导光结构设置在所述光源产生模块与所述卷帘式曝光相机之间，所述导光结构用于使测试光源的光亮在所述相机画面上沿行方向均匀分布，所述卷帘式曝光相机和所述光源产生模块均与所述初始化控制器连接；
所述初始化控制器用于向所述卷帘式曝光相机发送与所述卷帘式曝光相机的拍摄帧率匹配的同步信号，以及向所述光源产生模块发送控制所述测试光源亮暗的测试光源控制信号，以使所述测试光源的点亮时间结束点与所述同步信号的上升沿重合；
所述卷帘式曝光相机能够响应于所述同步信号进行粗同步；所述光源产生模块能够响应于所述测试光源控制信号按预设时序点亮所述测试光源；其中，所述测试光源具有至少两种显示颜色，相邻时序的所述测试光源具有不同的显示颜色。
2.一种卷帘式曝光相机延迟测定方法，其特征在于，所述方法是基于权利要求1所述的卷帘式曝光相机延迟测定装置执行的，所述方法包括：
获取光源产生模块的颜色比值门限；
获取输入图像；
计算所述输入图像中各行对应的颜色比值；
判断颜色比值计算结果中是否存在目标颜色比值；其中，所述目标颜色比值为大于所述颜色比值门限的颜色比值；
若否，获取与当前图像相邻的下一帧图像作为所述输入图像，转向所述计算所述输入图像中各行对应的颜色比值的步骤；
若是，获取所述目标颜色比值对应的目标行数，基于所述目标行数计算实际采样时延。
3.根据权利要求2所述的卷帘式曝光相机延迟测定方法，其特征在于，所述计算所述输入图像中各行对应的颜色比值，包括：
计算所述输入图像中各行在第一区域内的第一颜色分量和，得到多个第一颜色分量和，每个所述第一颜色分量和具有唯一对应的行号；
计算所述输入图像中各行在第二区域内的第二颜色分量和，得到多个第二颜色分量和，每个所述第二颜色分量和具有唯一对应的行号；
计算具有相同行号的所述第一颜色分量和与所述第二颜色分量和的比值，得到所述输入图像中各行对应的所述颜色比值，每个所述颜色比值具有唯一对应的行号。
4.根据权利要求3所述的卷帘式曝光相机延迟测定方法，其特征在于，所述第一颜色分量和是对所述输入图像中各行符合第一预设条件的像素分别按行号求和得到的，所述第一预设条件为像素点位于第一区域内且像素点的显示颜色为第一颜色；
所述第二颜色分量和是对所述输入图像中各行符合第二预设条件的像素分别按行号求和得到的，所述第二预设条件为像素点位于第二区域内且像素点的显示颜色为第二颜色。
5.根据权利要求2所述的卷帘式曝光相机延迟测定方法，其特征在于，所述获取光源产生模块的颜色比值门限，包括：
获取k帧图像；其中，k>10且k为正整数；
计算每帧图像中各行在第一区域内的第一颜色分量和以及第二区域内的第二颜色分量和，得到k组颜色分量计算结果；
基于k组所述颜色分量计算结果确定每帧图像对应的第二颜色分量和的最大值，得到k个所述第二颜色分量和的最大值；
基于k组所述颜色分量计算结果获取每帧图像中与所述第二颜色分量和最大值对应的目标第一颜色分量和，得到k个所述目标第一颜色分量和；其中，所述目标第一颜色分量和是与所述第二颜色分量和的最大值具有相同行号的所述第一颜色分量和；
对k个所述目标第一颜色分量和进行求和，得到第一求和结果；
对k个所述第二颜色分量和的最大值进行求和，得到第二求和结果；
计算所述第二求和结果与所述第一求和结果的比值，得到所述光源产生模块的颜色比值门限。
6.根据权利要求3-5任一项所述的卷帘式曝光相机延迟测定方法，其特征在于，所述第一区域包括自各行第一个像素点至各行第一预设位置点之间的区域，同行设置的所述第一预设位置点与所述第一个像素点之间的距离大于0且小于1/2行宽度；
所述第二区域包括各行第二预设位置点至各行最后一个像素点之间的区域，同行设置的所述第二预设位置点与所述最后一个像素点之间的距离大于0且小于1/2行宽度。
7.根据权利要求2所述的卷帘式曝光相机延迟测定方法，其特征在于，所述基于所述目标行数计算实际采样时延，包括采用下述公式计算实际采样时延：
Δts＝tV-(VBP+VSW+vstart+q-m-1)tH
其中，Δts为实际采样时延；
tV为单帧图像时间；
VBP为单帧图像时间的场同步后沿，即在垂直同步周期之后帧开头时的无效行数；
VSW为单帧图像时间的场同步脉冲，即本帧数据输出结束到下一帧垂直同步周期开始之前的无效行数；
Vstart为第一次检测到所述颜色比值大于所述颜色比值门限时所在行的行号；
q为用于时延测定的点亮时长，q>m；
m为用于所述颜色比值门限测定的点亮时长；
tH为单行输出时间。
8.根据权利要求2所述的卷帘式曝光相机延迟测定方法，其特征在于，所述基于所述目标行数计算实际采样时延之后，还包括：
判断所述输入图像的累计帧数是否达到预设帧数；
若是，根据所述实际采样时延和所述预设帧数求实际采样时延的均值；
若否，获取与当前图像相邻的下一帧图像作为所述输入图像，转向所述计算所述输入图像中各行对应的颜色比值的步骤。
9.一种卷帘式曝光相机延迟测定控制器，其特征在于，该延迟测定控制器应用于如权利要求1所述的卷帘式曝光相机延迟测定装置中，包括：
门限获取模块，用于获取光源产生模块的颜色比值门限；
第一图像获取模块，用于获取输入图像；
颜色比值计算模块，用于计算所述输入图像中各行对应的颜色比值；
颜色比值判断模块，用于判断颜色比值计算结果中是否存在目标颜色比值；其中，所述目标颜色比值为大于所述颜色比值门限的颜色比值；若否，转向第二图像获取模块；若是，转向时延计算模块；
所述第二图形获取模块用于获取与当前图像相邻的下一帧图像作为所述输入图像，转向所述计算所述输入图像中各行对应的颜色比值的步骤；
所述时延计算模块用于获取所述目标颜色比值对应的目标行数，基于所述目标行数计算实际采样时延。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求2-8任一项所述的卷帘式曝光相机延迟测定方法。
CN202111002154.0A 2021-08-30 2021-08-30 卷帘式曝光相机延迟测定装置、方法、控制器及存储介质 Active CN113890960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111002154.0A CN113890960B (zh) 2021-08-30 2021-08-30 卷帘式曝光相机延迟测定装置、方法、控制器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111002154.0A CN113890960B (zh) 2021-08-30 2021-08-30 卷帘式曝光相机延迟测定装置、方法、控制器及存储介质

Publications (2)

Publication Number Publication Date
CN113890960A true CN113890960A (zh) 2022-01-04
CN113890960B CN113890960B (zh) 2023-12-29

Family

ID=79011720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111002154.0A Active CN113890960B (zh) 2021-08-30 2021-08-30 卷帘式曝光相机延迟测定装置、方法、控制器及存储介质

Country Status (1)

Country Link
CN (1) CN113890960B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311029A (ja) * 2005-04-27 2006-11-09 Olympus Corp 表示画像撮像方法および装置
CN103676453A (zh) * 2012-09-11 2014-03-26 北京航天计量测试技术研究所 一种相机快门延时时间测量方法及其装置
CN104284104A (zh) * 2014-10-30 2015-01-14 北京思比科微电子技术股份有限公司 Cmos图像传感器中实现小于1行曝光的方法
US20150185080A1 (en) * 2013-12-27 2015-07-02 Seiko Epson Corporation Optical module, electronic apparatus, and method of driving optical module
US9077961B1 (en) * 2013-02-05 2015-07-07 Lucasfilm Entertainment Company Ltd. Rolling shutter timing tester
US20150215547A1 (en) * 2014-01-26 2015-07-30 Matthew Stefan Muller Periodic fringe imaging with structured pattern illumination and electronic rolling shutter detection
US20170280060A1 (en) * 2016-03-23 2017-09-28 Canon Kabushiki Kaisha Image capture system, image capturing apparatus, lens unit, control methods therefor, and storage medium
JP2018011328A (ja) * 2017-09-01 2018-01-18 株式会社リコー 光電変換素子、画像読取装置、画像形成装置及び画像読取方法
JP2018082313A (ja) * 2016-11-16 2018-05-24 本田技研工業株式会社 周辺監視装置
US10033928B1 (en) * 2015-10-29 2018-07-24 Gopro, Inc. Apparatus and methods for rolling shutter compensation for multi-camera systems
CN110072065A (zh) * 2018-01-23 2019-07-30 舜宇光学（浙江）研究院有限公司 适用于卷帘曝光深度相机的投射器工作时间控制方法及其应用

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311029A (ja) * 2005-04-27 2006-11-09 Olympus Corp 表示画像撮像方法および装置
CN103676453A (zh) * 2012-09-11 2014-03-26 北京航天计量测试技术研究所 一种相机快门延时时间测量方法及其装置
US9077961B1 (en) * 2013-02-05 2015-07-07 Lucasfilm Entertainment Company Ltd. Rolling shutter timing tester
US20150185080A1 (en) * 2013-12-27 2015-07-02 Seiko Epson Corporation Optical module, electronic apparatus, and method of driving optical module
US20150215547A1 (en) * 2014-01-26 2015-07-30 Matthew Stefan Muller Periodic fringe imaging with structured pattern illumination and electronic rolling shutter detection
CN104284104A (zh) * 2014-10-30 2015-01-14 北京思比科微电子技术股份有限公司 Cmos图像传感器中实现小于1行曝光的方法
US10033928B1 (en) * 2015-10-29 2018-07-24 Gopro, Inc. Apparatus and methods for rolling shutter compensation for multi-camera systems
US20170280060A1 (en) * 2016-03-23 2017-09-28 Canon Kabushiki Kaisha Image capture system, image capturing apparatus, lens unit, control methods therefor, and storage medium
JP2018082313A (ja) * 2016-11-16 2018-05-24 本田技研工業株式会社 周辺監視装置
JP2018011328A (ja) * 2017-09-01 2018-01-18 株式会社リコー 光電変換素子、画像読取装置、画像形成装置及び画像読取方法
CN110072065A (zh) * 2018-01-23 2019-07-30 舜宇光学（浙江）研究院有限公司 适用于卷帘曝光深度相机的投射器工作时间控制方法及其应用

Also Published As

Publication number Publication date
CN113890960B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
US20240118218A1 (en) Stroboscopic stepped illumination defect detection system
US8743238B2 (en) Image processing apparatus, imaging apparatus, image processing method, and white balance adjustment method
RU2627933C2 (ru) Устройство захвата изображения и способ управления им
TWI389559B (zh) 前景影像分離方法
US20190188860A1 (en) Detection system
EP2607840B1 (en) Optical measuring device with autofocus
EP2717069B1 (en) Method for determining and/or compensating range offset of a range sensor
US20080291288A1 (en) Technique of Motion Estimation When Acquiring An Image of A Scene That May Be Illuminated With A Time Varying Luminance
WO2015124212A1 (en) System and method for processing input images before generating a high dynamic range image
CN106572310B (zh) 一种补光强度控制方法与摄像机
CN112040139B (zh) 一种相机成像的补光方法
US11221207B2 (en) Optical distance measurement system
CN110231018B (zh) 一种结构光测距方法、装置及计算机可读存储介质
CN110971892B (zh) 曝光延时测量方法、装置及存储介质
US20170307869A1 (en) Microscope and method for obtaining a high dynamic range synthesized image of an object
CN110728944A (zh) 显示装置及显示方法
CN110933324B (zh) 频闪光源使用方法、装置及存储介质
US11528466B2 (en) Method and system to calibrate a camera clock using flicker
CN113890960A (zh) 卷帘式曝光相机延迟测定装置、方法、控制器及存储介质
US20190045101A1 (en) Image pickup apparatus that performs flash shooting suitable for both main subject and background and control method therefor
US20080291291A1 (en) Apparatus and method for detecting flicker noise and computer readable medium stored thereon computer executable instructions for performing the method
CN108833797A (zh) 一种提高车载双目视觉系统性能的装置及其使用方法
CN115457905B (zh) Led显示屏的自适应调光补偿方法、装置、系统和电子设备
CN115379068A (zh) 一种多摄像头同步方法及装置
CN103873786A (zh) 影像调整方法以及使用这个影像调整方法的光学导航装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant