CN112040139B - 一种相机成像的补光方法 - Google Patents

一种相机成像的补光方法 Download PDF

Info

Publication number
CN112040139B
CN112040139B CN202010940645.9A CN202010940645A CN112040139B CN 112040139 B CN112040139 B CN 112040139B CN 202010940645 A CN202010940645 A CN 202010940645A CN 112040139 B CN112040139 B CN 112040139B
Authority
CN
China
Prior art keywords
light
frame
exposure
image
structured light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010940645.9A
Other languages
English (en)
Other versions
CN112040139A (zh
Inventor
张官兴
王赟
郭蔚
黄康莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ewa Intelligent Technology Co ltd
Shaoxing Ewa Technology Co ltd
Original Assignee
Shanghai Ewa Intelligent Technology Co ltd
Shaoxing Ewa Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ewa Intelligent Technology Co ltd, Shaoxing Ewa Technology Co ltd filed Critical Shanghai Ewa Intelligent Technology Co ltd
Priority to CN202010940645.9A priority Critical patent/CN112040139B/zh
Publication of CN112040139A publication Critical patent/CN112040139A/zh
Application granted granted Critical
Publication of CN112040139B publication Critical patent/CN112040139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种相机成像的补光方法，包括如下步骤：S1：对相机所处环境进行测光，获取补光指令；S2：根据当前帧曝光周期确定补光帧闪周期；S3：根据S1获得的补光指令，开始点亮结构光光源；S4：当前帧在一个帧曝光周期内曝光结束后，根据S1获得的补光指令关闭结构光光源；S5：根据S2所得的补光帧闪周期，重复上述S3和S4。本发明所提供的相机成像的补光方法，在帧率输出不变的情况下，通过调整曝光时长对应的调整补光时长；即通过缩短曝光时长，同时提高帧间隔，对应的减少补光时长，进而降低了功耗，提高了补光器件的寿命。

Description

一种相机成像的补光方法
技术领域
本发明涉及图像采集技术领域，具体涉及一种相机成像的补光方法。
背景技术
图像传感器的作用是将光学图像转换为数字信号，该信号随后可由图像信号处理器处理。广泛用于相机的两种图像传感器类型为科学级电荷耦合器件(CCD)和科学互补金属氧化物半导体(CMOS)。随着CMOS工艺的改进和相关技术的发展以及成本优势，CMOS图像传感器越来越多的被各类成像设备采用。
CMOS图像传感器作为一种感光元器件，为了获取清晰可用的图像或图像序列，在弱光或黑暗条件下为了提高成像效果，需要为其进行补光。若是为获得单张图像则一般采用闪光灯的方式为场景补光，若为获得视频图像序列则采用常亮补光灯对场景进行补光。
但是，在一般的低帧率视频采集过程中，采用常亮补光方式一是功耗高，二是降低了补光灯的寿命。
因此，需要提供一种能降低成像设备补光平均功耗和提高补光元件寿命的补光方法。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种相机成像的补光方法。
本发明提供了一种相机成像的补光方法，具有这样的特征，包括如下步骤：S1：对相机所处环境进行测光，获取补光指令；S2：根据当前帧曝光周期确定补光帧闪周期；S3：根据S1获得的补光指令，开始点亮补光灯光源；S4：当前帧在一个帧曝光周期内曝光结束后，根据S1获得的补光指令关闭补光灯光源；S5：根据S2所得的补光帧闪周期，重复上述S3和S4。
本发明所提供了一种相机成像的补光方法，还具有这样的特征，所述帧曝光周期包括帧曝光时间和帧间隔时间，在帧曝光时间内图像传感器接收光信号，在帧间隔时间段内图像传感器停止曝光。
本发明所提供了一种相机成像的补光方法，还具有这样的特征，所述补光帧闪周期包括点亮时间和熄灭时间。
本发明所提供了一种相机成像的补光方法，还具有这样的特征，所述补光灯光源包括散斑结构光源、可见光光源、红外光源、编码结构光源和激光光源中的一种或多种。
本发明所提供了一种相机成像的补光方法，还具有这样的特征，所述相机为双目相机，且所述双目相机的双目结构光投影的成像方法包括如下步骤：步骤1：在双目相机相邻两帧曝光期间至少投影一种空间位置不一致的结构光；步骤2：对步骤1中得到的相邻两帧进行帧差运算和降噪处理，获得双目投影结构光图形F’；步骤3：对双目投影结构光图形F’L,F’R进行双目立体匹配计算，获得初步视差信息D’(x,y)，基于所得初步视差信息，原左右图像Fk或/和Fk+1中进行立体匹配,获得精细视差信息，此时只需要在目标图像中获取初步视差时目标图像相邻两个匹配点范围内进行搜索匹配且当点内内距离小于等于最大搜索范围时以点内搜索范围为准，当点内内距大于最大搜索范围dmax时以最大搜索范围dmax为准。
本发明所提供了一种相机成像的补光方法，还具有这样的特征，在结构光左右图形F’L,F’R中选取其中一个为参考结构光图像，则另一图像为目标结构光图像所述步骤3为在参考结构光图像中选取一点PL(y,x)，通过双目匹配原理获得目标结构光中视差为D’1时匹配代价最小点PR(y,x+D’1)为对应的匹配点。
同理确定参考结构光图中与PL(y,x)点相邻的点PL_k(y,x+k)对应的匹配点PR_k(y,x+k+D’2)；
确定目标结构光图像中相邻两点点内距离范围S＝(x+k+D’2)-(x+D’1)与dmax大小；
根据所述比较结果，确定后续立体匹配视差搜索范围。
本发明所提供了一种相机成像的补光方法，还具有这样的特征，所述S2还包括：S2.1：调整当前帧曝光周期；S2.2：根据S2.1所调整的当前帧曝光周期，确定补光灯频闪周期。
本发明所提供了一种相机成像的补光方法，还具有这样的特征，所述S2.1包括将场景照度划分不同照度等级，根据当前所处的场景照度等级确定曝光时间。
本发明所提供了一种相机成像的补光方法，还具有这样的特征，所述S2.1包括根据当前帧中感兴趣目标远近确定曝光时间，当目标近时，压缩曝光周期中的曝光时间。
本发明所提供了一种相机成像的补光方法，还具有这样的特征，所述S2.2包括：先获取首帧图像，经图像分析模块获得不少于一个的感兴趣目标区域，基于感兴趣目标区域在图像中为边界位置，确定感兴趣区域曝光起始时刻，基于该时刻确定后续帧补光周期及起始时刻。
有益效果
本发明所提供的相机成像的补光方法，在帧率输出不变的情况下，通过调整曝光时长对应的调整投影时长；即通过缩短曝光时长，同时提高帧间隔，对应的减少投影时长，进而降低了功耗，提高了补光/投影器件的寿命。
附图说明
图1本发明所提供的相机成像的补光方法的流程图；
图2本发明所提供的实施例中补光灯点亮时序示意图；
图3本发明所提供的实施例中基于卷帘快门曝光原理的补光灯补光示意图；
图4本发明所提供的实施例中对感兴趣区域进行补光原理图；
图5a本发明所提供的实施例中双帧结构光投影的原理图；
图5b本发明所提供的实施例中单帧结构光投影的原理图；
图6本发明所提供的实施例中双帧投影不同空间结构的散斑图像示意图；
图7本发明所提供的实施例中帧差运算后结构光散斑示意图；
图8本发明所提供的实施例中的结构光散斑双目匹配示意图；以及，
图9本发明所提供的实施例中精细视差获取示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明所提供的切割装置作具体阐述。
如图1所示，为相机成像的补光方法的流程图，该实施例所提供的补光方法包括如下步骤：
S1：对相机所处环境进行测光，获取补光指令；
补光指令为根据环境光测光，当现场场景光照度低于预设阈值，则控制单元点亮补光灯，并按照一定的频率进行频闪补光；若当前深度相机激活，则控制电源按照一定频率点亮结构光光源，向目标进行结构光投影；且相邻两帧至少投影一种结构光；同时可通过侦测的目标距离远近，降低结构光投影功率，或缩短曝光时长，对应的缩短投影时长，进一步的降低了设备功耗和结构光投影光源作为补光灯的寿命。
S2：根据当前帧曝光周期确定补光帧闪周期，其中，帧曝光周期包括帧曝光时间和帧间隔时间，在帧曝光时间内图像传感器接收光信号，在帧间隔时间段内图像传感器停止曝光。补光帧闪周期包括点亮时间和熄灭时间：曝光周期跟频闪周期是对应的，同步控制信号来调整曝光周期的空占比，对应的调整结构光频闪的空占比。
S2.1：调整当前帧曝光周期；
将场景照度划分为不同照度等级，包括等级A、等级B和等级C，等级A为有其他光源，例如日光或灯光等的正常照度、等级B为弱光照度，例如傍晚等光照不足的情况、等级C为暗光照顾，例如光照极为不足的情况。根据当前场景的照度调整当前帧曝光周期，
S2.2：根据S2.1所调整的当前帧曝光周期，确定补光灯频闪周期。
S3：根据S1获得的补光指令，开始点亮补光灯；
S4：当前帧在一个帧曝光周期内曝光结束后，根据S1获得的补光指令关闭补光灯；
S5：根据S2所得的补光帧闪周期，重复上述S3和S4。
如图2所示，为上述实施例的帧曝光周期曝光时间压缩和补光灯点亮周期点亮压缩示意图。
上述实施例中的补光灯为结构光投影光源。结构光是通过红外激光发光器件向目标投影一片具有特定结构的红外光斑。结构光投影光源成像采用双目结构光投影成像方法，双目投影结构光给目标提供更丰富的纹理，便于左右图像中对极线上的像素点进行匹配，其中首先确定参考结构光图像，如将左图作为参考结构光图像，然后通过在参考结构光图像中选取一点与目标结构光图像中对极线上的点进行匹配，从而获得初步视差信息。该方法包括如下步骤：
步骤1：如图5a为双帧投影结构光的原理图、图5b为单帧投影的投影结构光原理图；在双目相机相邻两帧曝光期间至少投影一种空间位置不一致的结构光，如一帧投，一帧不投或者两帧都投且投影空间位置不一致；得到如图6所示的双帧投影不同空间结构的散斑图像示意图，圆点和菱形点没有重合，即空间位置不一致，空间位置不一致增加了投影密度，如果空间位置一致的话在做帧差运算的时候就不能获得斑点图。
步骤2：对步骤1中得到的相邻两帧进行帧差运算和降噪处理，获得双目投影结构光图形F’；得到如图7所示的帧差运算后结构光散斑示意图。
步骤3：对双目投影结构光图形F’L,F’R进行双目立体匹配计算，获得初步视差信息D’(x,y)；
在左参考结构光图像中选取一点PL(y,x)，通过双目匹配原理获得右目标结构光图像中视差为D’1时匹配代价最小点PR(y,x+D’1)为对应的匹配点；同理确定参考结构光图中与PL(y,x)点相邻的点PL_k(y,x+k)对应的匹配点PR_k(y,x+k+D’2)；
确定目标结构光图像中相邻两点点内距离范围S＝(x+k+D’2)-(x+D’1)与dmax大小；
根据所述比较结果，确定后续立体匹配视差搜索范围；
如图8所示的结构光散斑双目匹配示意图；
然后基于上述初步视差信息，在原左右图像Fk或/和Fk+1中进行立体匹配,获得精细视差信息，如图9所提供的精细视差获取示意图所示，此时只需要在获取初步视差时图像中相邻两个匹配点范围内进行搜索匹配且当点内内距离小于等于最大搜索范围时以点内搜索范围为准，当点内内距大于最大索范围dmax时以最大搜索范围为准。
获得了投影点处的视差值后，要计算除投影点以外的像素点的视差值；比如左图(参考图像)中极线上相邻两个点PL(y,x)和点PL_k(y,x+k)与右图(目标图像)中的点PR(y,x+D’1)和点PR_k(y,x+k+D’2)，在经过上一步匹配完成了获得了初步视差信息,接下来就计算投影点外的像素的视差值，此时只要计算左图中点PL(y,x)和点PL_k(y,x+k)中间像素与右图中对应点PR(y,x+D’1)和点PR_k(y,x+k+D’2)之间的像素点的视差就可以了，一般的来说投影点很密集(而且是双帧都投影)，因此两个点的距离大概率会落在最大视差搜索范围内，因此只需要在两点内进行代价匹配计算，大大减少了了匹配搜索时长；
在另一实施例中，该补光方法包括如下步骤：
S1：对相机所处环境进行测光，获取补光指令；
补光指令为根据环境光测光，当现场场景光照度低于预设阈值，则控制单元点亮补光灯，并按照一定的频率进行频闪补光；若当前深度相机激活，则控制电源按照一定频率点亮结构光光源，向目标进行结构光投影；且相邻两帧至少投影一种结构光；同时可通过侦测的目标距离远近，若目标较近，则可降低结构光投影功率，或缩短曝光时长，对应的缩短投影时长，进一步的降低了设备功耗和结构光投影光源作为补光灯的器件寿命。
S2：根据当前帧曝光周期确定补光帧闪周期，其中，帧曝光周期包括帧曝光时间和帧间隔时间，在帧曝光时间内图像传感器接收光信号，在帧间隔时间段内图像传感器停止曝光。补光帧闪周期包括点亮时间和熄灭时间：曝光周期跟频闪周期是对应的，同步控制信号来调整曝光周期的空占比，对应的调整结构光频闪的空占比。
S2.1：调整当前帧曝光周期；
根据当前帧中感兴趣目标远近确定曝光时间，在第一帧时相机大概估计出感兴趣目标的远近，设定一个目标阈值，当目标近时，压缩曝光周期中的曝光时间，降低补光灯点亮周期和/或降低补光灯功率；
S2.2：根据S2.1所调整的当前帧曝光周期，确定补光灯频闪周期。
如图3所示，为上述实施例中不同光照条件下通过压缩帧曝光周期中曝光时间的同步补光原理图。
S3：根据S1获得的补光指令，开始点亮补光灯；
S4：当前帧在一个帧曝光周期内曝光结束后，根据S1获得的补光指令关闭补光灯；
S5：根据S2所得的补光帧闪周期，重复上述S3和S4。
上述实施例中的补光灯为结构光投影光源。结构光是通过红外激光发光器件向目标投影一片具有特定结构的红外光斑。结构光投影光源成像采用双目结构光投影成像方法，双目投影结构光给目标提供更丰富的纹理，便于左右图像中对极线上的像素点进行匹配，其中首先确定参考结构光图像，如将左图作为参考结构光图像，然后通过在参考结构光图像中选取一点与目标结构光图像中对极线上的点进行匹配，从而获得初步视差信息。该方法包括如下步骤：
步骤1：如图5a为双帧投影结构光的原理图、图5b为单帧投影的投影结构光原理图；在双目相机相邻两帧曝光期间至少投影一种空间位置不一致的结构光，如一帧投，一帧不投或者两帧都投且投影空间位置不一致；得到如图6所示的双帧投影不同空间结构的散斑图像示意图，圆点和菱形点没有重合，即空间位置不一致，空间位置不一致增加了投影密度，如果空间位置一致的话在做帧差运算的时候就不能获得斑点图。
步骤2：对步骤1中得到的相邻两帧进行帧差运算和降噪处理，获得双目投影结构光图形F’；得到如图7所示的帧差运算后结构光散斑示意图。
步骤3：对双目投影结构光图形F’L,F’R进行双目立体匹配计算，获得初步视差信息D’(x,y)；
在左参考结构光图像中选取一点PL(y,x)，通过双目匹配原理获得右目标结构光图像中视差为D’1时匹配代价最小点PR(y,x+D’1)为对应的匹配点；同理确定参考结构光图中与PL(y,x)点相邻的点PL_k(y,x+k)对应的匹配点PR_k(y,x+k+D’2)；
确定目标结构光图像中相邻两点点内距离范围S＝(x+k+D’2)-(x+D’1)与dmax大小；
根据所述比较结果，确定后续立体匹配视差搜索范围；
然后基于上述初步视差信息，在原左右图像Fk或/和Fk+1中进行立体匹配,获得精细视差信息，如图9所提供的精细视差获取示意图所示，此时只需要在获取初步视差时图像中相邻两个匹配点范围内进行搜索匹配且当点内内距离小于等于最大搜索范围时以点内搜索范围为准，当点内内距大于最大索范围dmax时以最大搜索范围为准。
获得了投影点处的视差值后，要计算除投影点以外的像素点的视差值；比如左图(参考图像)中极线上相邻两个点PL(y,x)和点PL_k(y,x+k)与右图(目标图像)中的点PR(y,x+D’1)和点PR_k(y,x+k+D’2，在经过上一步匹配完成了获得了初步视差信息,接下来就计算投影点外的像素的视差值，此时只要计算左图中点PL(y,x)和点PL_k(y,x+k)中间像素与右图中对应点PR(y,x+D’1)和点PR_k(y,x+k+D’2)之间的像素点的视差就可以了，一般的来说投影点很密集(而且是双帧都投影)，因此两个点的距离大概率会落在最大视差搜索范围内，因此只需要在两点内进行代价匹配计算，大大减少了匹配搜索时长；
在本发明的另一实施例中，该补光方法包括如下步骤：
S1：对相机所处环境进行测光，获取补光指令；
补光指令为根据环境光测光，当现场场景光照度低于预设阈值，则控制单元点亮补光灯，并按照一定的频率进行频闪补光；若当前深度相机激活，则控制电源按照一定频率点亮结构光光源，向目标进行结构光投影；且相邻两帧至少投影一种结构光；同时可通过侦测的目标距离远近，降低结构光投影功率，或缩短曝光市场，对应的缩短投影时长，进一步的降低了设备功耗和结构光投影光源作为补光灯的寿命。
S2：根据当前帧曝光周期确定补光帧闪周期，其中，帧曝光周期包括帧曝光时间和帧间隔时间，在帧曝光时间内图像传感器接收光信号，在帧间隔时间段内图像传感器停止曝光。补光帧闪周期包括点亮时间和熄灭时间：曝光周期跟频闪周期是对应的，同步控制信号来调整曝光周期的空占比，对应的调整结构光频闪的空占比。
先获取首帧图像，经图像分析模块获得不少于一个的感兴趣目标区域，基于感兴趣目标区域在图像中为边界位置，确定感兴趣区域曝光起始时刻，基于该时刻确定后续帧补光周期。感兴趣目标区域即为第一个曝光像素是在图像传感器阵列中的哪一行，哪一列开始，最后一个像素是在哪儿结束，从而确定图像传感器阵列中哪些区域为感兴趣目标区域。
如图4所示，为上述实施例中对感兴趣区域进行补光原理图。
S3：根据S1获得的补光指令，开始点亮补光灯；
S4：当前帧在一个帧曝光周期内曝光结束后，根据S1获得的补光指令关闭补光灯；
S5：根据S2所得的补光帧闪周期，重复上述S3和S4。
上述实施例中的补光灯为结构光投影光源。结构光是通过红外激光发光器件向目标投影一片具有特定结构的红外光斑。结构光投影光源成像采用双目结构光投影成像方法，双目投影结构光给目标提供更丰富的纹理，便于左右图像中对极线上的像素点进行匹配，其中首先确定参考结构光图像，如将左图作为参考结构光图像，然后通过在参考结构光图像中选取一点与目标结构光图像中对极线上的点进行匹配，从而获得初步视差信息。该方法包括如下步骤：
步骤1：如图5a为双帧投影结构光的原理图、图5b为单帧投影的投影结构光原理图；在双目相机相邻两帧曝光期间至少投影一种空间位置不一致的结构光，如一帧投，一帧不投或者两帧都投且投影空间位置不一致；得到如图6所示的双帧投影不同空间结构的散斑图像示意图，圆点和菱形点没有重合，即空间位置不一致，空间位置不一致增加了投影密度，如果空间位置一致的话在做帧差运算的时候就不能获得斑点图。
步骤2：对步骤1中得到的相邻两帧进行帧差运算和降噪处理，获得双目投影结构光图形F’；得到如图7所示的帧差运算后结构光散斑示意图。
步骤3：对双目投影结构光图形F’L,F’R进行双目立体匹配计算，获得初步视差信息D’(x,y)；
在左参考结构光图像中选取一点PL(y,x)，通过双目匹配原理获得右目标结构光图像中视差为D’1时匹配代价最小点PR(y,x+D’1)为对应的匹配点；同理确定参考结构光图中与PL(y,x)点相邻的点PL_k(y,x+k)对应的匹配点PR_k(y,x+k+D’2)；
确定目标结构光图像中相邻两点点内距离范围S＝(x+k+D’2)-(x+D’1)与dmax大小；
根据所述比较结果，确定后续立体匹配视差搜索范围；
如图8所示的结构光散斑双目匹配示意图；
步骤4：然后基于上述初步视差信息，在原左右图像Fk或/和Fk+1中进行立体匹配,获得精细视差信息，如图9所提供的精细视差获取示意图所示，此时只需要在获取初步视差时图像中相邻两个匹配点范围内进行搜索匹配且当点内内距离小于等于最大搜索范围时以点内搜索范围为准，当点内内距大于最大索范围dmax时以最大搜索范围为准。
获得了投影点处的视差值后，要计算除投影点以外的像素点的视差值；比如左图(参考图像)中极线上相邻两个点PL(y,x)和点PL_k(y,x+k)与右图(目标图像)中的点PR(y,x+D’1)和点PR_k(y,x+k+D’2，在经过上一步匹配完成了获得了初步视差信息,接下来就计算投影点外的像素的视差值，此时只要计算左图中点PL(y,x)和点PL_k(y,x+k)中间像素与右图中对应点PR(y,x+D’1)和点PR_k(y,x+k+D’2之间的像素点的视差就可以了，一般的来说投影点很密集(而且是双帧都投影)，因此两个点的距离大概率会落在最大视差搜索范围内，因此只需要在两点内进行代价匹配计算，大大减少了匹配搜索时长；
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (4)

1.一种相机成像的补光方法，所述相机成像基于卷帘快门曝光方式，其特征在于，包括如下步骤：
S1：对相机所处环境进行测光，获取补光指令；
S2：根据当前帧曝光周期确定补光帧闪周期，其中，帧曝光周期包括帧曝光时间和帧曝光间隔时间，在帧曝光时间内图像传感器接收光信号，在帧间隔时间段内图像传感器停止曝光，补光帧闪周期包括点亮时间和熄灭时间，曝光周期跟频闪周期是对应的，同步控制信号来调整曝光周期的空占比，对应的调整结构光频闪的空占比；
S3：根据S1获得的补光指令，开始点亮补光灯光源，所述补光灯光源包括散斑结构光源；
S4：当前帧在一个帧曝光周期内曝光结束后，根据S1获得的补光指令关闭补光灯光源；
S5：根据S2所得的补光帧闪周期，重复上述S3和S4，
其中，所述补光指令为根据环境光测光，当现场场景光照度低于预设阈值，则控制单元点亮补光灯，并按照一定的频率进行频闪补光；若当前深度相机激活，则控制电源按照一定频率点亮结构光光源，向目标进行结构光投影；且相邻两帧至少投影一种结构光；同时可通过侦测的目标距离远近，降低结构光投影功率，或缩短曝光时长；
所述S2还包括：
S2.1：调整当前帧曝光周期；
S2.2：根据S2.1所调整的当前帧曝光周期，确定补光灯频闪周期，具体为先获取首帧图像，经图像分析模块获得不少于一个的感兴趣目标区域，基于感兴趣目标区域在图像中为边界位置，确定感兴趣区域曝光起始时刻，基于该时刻确定后续帧补光周期及起始时刻；
所述S2.1包括将场景照度划分不同照度等级，根据当前所处的场景照度等级确定曝光时间。
2.根据权利要求1所述的相机成像的补光方法，其特征在于，所述相机为双目相机，所述双目相机的双目结构光投影的成像方法包括如下步骤：
步骤1：在双目相机相邻两帧曝光期间至少投影一种空间位置不一致的结构光；
步骤2：对步骤1中得到的相邻两帧进行帧差运算和降噪处理，获得双目投影结构光图形F’；
步骤3：对双目投影结构光左右图形F’L,F’R进行双目立体匹配计算，获得初步视差信息D’(x,y)，基于所得初步视差信息，在原左右图像Fk或/和Fk+1中进行立体匹配,获得精细视差信息，此时只需要在目标图像中获取初步视差时相邻两个匹配点范围内进行搜索匹配且当点内内距离小于等于最大搜索范围时以点内搜索范围为准，当点内内距大于最大搜索范围dmax时以最大搜索范围dmax为准。
3.根据权利要求2所述的相机成像的补光方法，其特征在于，在结构光左右图形F’L,F’R中选取一个为参考结构光图像，则另一图像为目标结构光图像，所述步骤3为在参考结构光图像中选取一点PL(y,x)，通过双目匹配原理获得目标结构光图像中视差为D’1时匹配代价最小点PR(y,x+D’1)为对应的匹配点；
同理确定参考结构光图像中与PL(y,x)点相邻的点PL_k(y,x+k)对应的匹配点PR_k(y,x+k+D’2)；
确定目标结构光图像中相邻两点点内距离范围S＝(x+k+D’1)-(x+D’1)与dmax大小；
根据比较结果，确定后续立体匹配视差搜索范围。
4.根据权利要求1所述的相机成像的补光方法，其特征在于，所述S2.1包括根据当前帧中感兴趣目标远近确定曝光时间，当目标近时，压缩曝光周期中的曝光时间。
CN202010940645.9A 2020-09-09 2020-09-09 一种相机成像的补光方法 Active CN112040139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010940645.9A CN112040139B (zh) 2020-09-09 2020-09-09 一种相机成像的补光方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010940645.9A CN112040139B (zh) 2020-09-09 2020-09-09 一种相机成像的补光方法

Publications (2)

Publication Number Publication Date
CN112040139A CN112040139A (zh) 2020-12-04
CN112040139B true CN112040139B (zh) 2022-07-29

Family

ID=73583941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010940645.9A Active CN112040139B (zh) 2020-09-09 2020-09-09 一种相机成像的补光方法

Country Status (1)

Country Link
CN (1) CN112040139B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113382164A (zh) * 2021-05-27 2021-09-10 北京优彩科技有限公司 一种图像采集方法及装置
CN113225876B (zh) * 2021-05-28 2022-11-29 浙江大华技术股份有限公司 监控设备的补光方法和装置、存储介质及电子设备
CN113905184A (zh) * 2021-09-18 2022-01-07 重庆紫光华山智安科技有限公司 一种图像采集方法、设备及介质
CN114245042B (zh) * 2021-12-16 2023-12-26 重庆紫光华山智安科技有限公司 补光方法、成像装置、电子设备及可读存储介质
CN117808861A (zh) * 2022-09-26 2024-04-02 神顶科技（南京）有限公司 一种双目视觉系统的运行方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521399B1 (en) * 2014-07-08 2016-12-13 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
CN108259744A (zh) * 2018-01-24 2018-07-06 北京图森未来科技有限公司 图像采集控制方法及其装置、图像采集系统和tof相机
CN108416239A (zh) * 2018-01-31 2018-08-17 深圳盈达信息科技有限公司 一种条码识别引擎及其降低功耗的控制方法
CN109165548A (zh) * 2018-07-06 2019-01-08 深圳虹识技术有限公司 一种补光的方法和设备
CN109740393A (zh) * 2018-12-06 2019-05-10 无锡盈达聚力科技有限公司 条码扫描系统及方法
CN109903324A (zh) * 2019-04-08 2019-06-18 京东方科技集团股份有限公司 一种深度图像获取方法及装置
CN110044292A (zh) * 2018-01-16 2019-07-23 郑州宇通客车股份有限公司 一种基于线结构光的三维测量方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373008B2 (en) * 2016-03-31 2019-08-06 Princeton Identity, Inc. Systems and methods of biometric analysis with adaptive trigger
CN106454044B (zh) * 2016-10-25 2020-04-10 浙江宇视科技有限公司 一种爆闪补光装置及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521399B1 (en) * 2014-07-08 2016-12-13 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
CN110044292A (zh) * 2018-01-16 2019-07-23 郑州宇通客车股份有限公司 一种基于线结构光的三维测量方法和系统
CN108259744A (zh) * 2018-01-24 2018-07-06 北京图森未来科技有限公司 图像采集控制方法及其装置、图像采集系统和tof相机
CN108416239A (zh) * 2018-01-31 2018-08-17 深圳盈达信息科技有限公司 一种条码识别引擎及其降低功耗的控制方法
CN109165548A (zh) * 2018-07-06 2019-01-08 深圳虹识技术有限公司 一种补光的方法和设备
CN109740393A (zh) * 2018-12-06 2019-05-10 无锡盈达聚力科技有限公司 条码扫描系统及方法
CN109903324A (zh) * 2019-04-08 2019-06-18 京东方科技集团股份有限公司 一种深度图像获取方法及装置

Also Published As

Publication number Publication date
CN112040139A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112040139B (zh) 一种相机成像的补光方法
CN107743590B (zh) 用于使用飞行时间传感器来执行曝光估计的方法及设备
CN107948538B (zh) 成像方法、装置、移动终端和存储介质
JP5108093B2 (ja) 撮像装置及び撮像方法
CN102754426B (zh) 通过亮度和运动选择拍摄条件
CN101889435B (zh) 照相机闪光模块及其控制方法
US7333144B2 (en) Electronic flash device and camera having the same
JP7336431B2 (ja) 撮像装置およびその制御方法、プログラム
US10194129B2 (en) Method of taking pictures for generating three-dimensional image data
CN107846556B (zh) 成像方法、装置、移动终端和存储介质
JP5728498B2 (ja) 撮像装置及びその発光量制御方法
TWI422946B (zh) 照明控制模組、包含其之攝影機及照明控制方法
JP2007135140A (ja) 撮像装置
KR20140035274A (ko) 촬상장치 및 제어 방법
JP2004212385A (ja) 撮影装置とその撮影装置の撮影方法及び制御方法
US10609265B2 (en) Methods and apparatus for synchronizing camera flash and sensor blanking
JP2003066321A (ja) Ａｆ制御装置およびａｆ制御方法
JP6465671B2 (ja) 調光制御装置、その制御方法、および制御プログラム、並びに撮像装置
JP2016086246A (ja) 画像処理装置及び方法、及び撮像装置
EP1531356A1 (en) Exposure compensation method and system employing photometric matrix and flash
CN102879975A (zh) 具有焦点检测装置的照相机
JP2008236032A (ja) 撮影装置
EP2658245B1 (en) System and method of adjusting camera image data
JP2012248992A (ja) デジタルカメラ
JP5549813B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant