CN110572563B - 一种调制权值矩阵确定方法、装置及电子设备 - Google Patents

一种调制权值矩阵确定方法、装置及电子设备 Download PDF

Info

Publication number
CN110572563B
CN110572563B CN201810570380.0A CN201810570380A CN110572563B CN 110572563 B CN110572563 B CN 110572563B CN 201810570380 A CN201810570380 A CN 201810570380A CN 110572563 B CN110572563 B CN 110572563B
Authority
CN
China
Prior art keywords
modulation weight
pixel point
dmd
modulation
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810570380.0A
Other languages
English (en)
Other versions
CN110572563A (zh
Inventor
任健
尤灿
马伟民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810570380.0A priority Critical patent/CN110572563B/zh
Publication of CN110572563A publication Critical patent/CN110572563A/zh
Application granted granted Critical
Publication of CN110572563B publication Critical patent/CN110572563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供了一种调制权值矩阵确定方法、装置、电子设备及计算机可读存储介质。该方法包括：判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点；该目标图像为经过数字微镜阵列DMD调光后该图像传感器所采集的图像；如果是，按照与预定权值调整条件对应的更新趋势，更新DMD当前对应的调制权值矩阵中的、目标像素点对应的调制权值，以更新后的调制权值矩阵调整所述DMD，并返回所述判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点的步骤；否则，将DMD当前对应的调制权值矩阵，确定为DMD调光所需的目标调制权值矩阵。可见，通过本方案，可以快速有效地确定DMD调光所需的目标调制权值矩阵。

Description

一种调制权值矩阵确定方法、装置及电子设备
技术领域
本发明涉及安防监控技术领域，特别是涉及一种调制权值矩阵确定方法、装置及电子设备。
背景技术
安防监控场景复杂多变，由于光照、环境等因素的影响，监控场景中光线的亮暗差异很大，而目前的CCD(Charge-coupled Device，电荷耦合元件)等图像传感器应用在这样的监控场景时成像效果较差，原因在于：由于受到图像传感器的有效感光区域的，图像传感器采集到的图像中会出现大面积饱和的区域。
目前，基于DMD(Digital Micromirror Device，数字微镜阵列)的高动态范围成像技术，利用DMD作为附加空间光调制器，与图像传感器相结合进行高动态场景观测，可以提高图像传感器在明暗差别较大场景下的成像效果。具体的，利用DMD和图像传感器进行成像时，一个微镜单元对应于图像传感器所采集图像中的一个像素点；而通过控制微镜单元在一个周期内处于正态和负态的时间，可以实现关于该微镜单元所对应像素点的光强调制；并且，在具体应用中，通过调制权值矩阵来进行光强调制适用于：对于入射光的光强大于有效感光区域的最大光强的场景。其中，微镜单元在一个周期内处于正态时间的比例也称为对应像素点的调制权值，各个像素点的调制权值组成了调制权值矩阵。由于应用场景中入射光的光强无法预测，因此如何快速有效地确定DMD调光所需的目标调制权值矩阵极为重要。
发明内容
本发明实施例的目的在于提供一种调制权值矩阵确定方法、装置及电子设备，以快速有效地确定DMD调光所需的目标调制权值矩阵。具体技术方案如下：
第一方面，本发明实施例所提供的一种调制权值矩阵确定方法，包括：
判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点；其中，所述目标图像为经过数字微镜阵列DMD调光后所述图像传感器所采集的图像；
如果是，按照与所述预定权值调整条件对应的更新趋势，更新所述DMD当前对应的调制权值矩阵中的、所述目标像素点对应的调制权值，以更新后的调制权值矩阵调整所述DMD，并返回所述判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点的步骤；
否则，将所述DMD当前对应的调制权值矩阵，确定为所述DMD调光所需的目标调制权值矩阵。
可选地，所述判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点的步骤，包括：
判断图像传感器采集的目标图像中，是否存在符合第一调整条件的目标像素点，所述第一调整条件为：光强大于所述图像传感器的有效感光区域内的最大光强；
相应的，所述更新趋势包括：与所述第一调整条件对应的第一趋势，所述第一趋势为调低调制权值。
可选地，所述按照与所述预定权值调整条件对应的更新趋势，更新所述DMD当前对应的调制权值矩阵中的、所述目标像素点对应的调制权值的步骤，包括：
针对每一目标像素点，确定与第一调整条件对应的第一趋势相匹配的目标调整范围，并以所述目标调整范围的中间值，更新所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值；
其中，所述目标调整范围的最大值为：所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值，所述目标调整范围的最小值为：预设调制权值或基于预设调整幅度和所述目标调整范围的最大值所确定的调制权值。
可选地，所述判断图像传感器采集的目标图像中，是否存在符合第一调整条件的目标像素点的步骤，包括：
当非首次判断时，判断图像传感器采集的目标图像的第一类像素点中，是否存在满足第一调整条件或满足第二调整条件的目标像素点；所述第二调整条件为：光强小于预设光强阈值；
其中，所述第一类像素点为：与上次确定出的目标像素点位置相同的像素点，所述预设光强阈值小于所述有效感光区域的最大光强且大于所述有效感光区域的最小光强；
相应的，所述更新趋势还包括：与所述第二调整条件对应的第二趋势，所述第二趋势为调高调制权值。
可选地，所述按照与所述预定权值调整条件对应的更新趋势，更新所述DMD当前对应的调制权值矩阵中的、所述目标像素点对应的调制权值的步骤，包括：
针对每一符合第一调整条件的目标像素点，确定与第一调整条件对应的第一趋势相匹配的第一调整范围，并以所述第一调整范围的中间值，更新所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值；其中，所述第一调整范围的最大值为：所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值，所述第一调整范围的最小值为：第一像素点所对应的第一调整范围的最小值，所述第一像素点为：上次确定出的与该目标像素点位置相同的像素点，第一次所确定的第一调整范围的最小值为：预设调制权值或基于预设调整幅度和所述第一调整范围的最大值所确定的调制权值；
针对每一符合第二调整条件的目标像素点，确定与第二调整条件对应的第二趋势相匹配的第二调整范围，并以所述第二调整范围的中间值，更新所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值；其中，所述第二调整范围的最小值为：所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值，所述第二调整范围的最大值为：第二像素点所对应的第二调整范围的最大值，所述第二像素点为：上次确定出的与该目标像素点位置相同的像素点。
可选地，当判断出图像传感器采集的目标图像中，不存在符合预定权值调整条件的目标像素点之后，所述将所述DMD当前对应的调制权值矩阵，确定为所述DMD调光所需的目标调制权值矩阵的步骤之前，所述方法还包括：
确定图像传感器采集的目标图像中像素点的光强最大值和光强最小值；
根据第一调制权值和第二调制权值，修正所述DMD当前对应的调制权值矩阵中的各个调制权值；
其中，所述第一调制权值为：所述DMD当前对应的调制权值矩阵中、具有所述光强最大值的像素点对应的调制权值，第二调制权值为：所述DMD当前对应的调制权值矩阵中、具有所述光强最小值的像素点对应的调制权值。
可选地，所述根据第一调制权值和第二调制权值，修正所述DMD当前对应的调制权值矩阵中的各个调制权值的步骤，包括：
根据第一调制权值和第二调制权值，计算所述DMD当前对应的调制权值矩阵中的每一调制权值对应的修正值；
针对所述DMD当前对应的调制权值矩阵中的每一调制权值，以该调制权值和该调制权值对应的修正值之和，更新该调制权值。
可选地，计算所述DMD当前对应的调制权值矩阵中的每一调制权值对应的修正值所利用的公式包括：
Figure BDA0001685605830000041
其中，Ti为调制权值D(Pi)对应的修正值，
Figure BDA0001685605830000042
Dmin为所述第二调制权值，Dmax为所述第一调制权值，Thmax为所述有效感光区域内的最大光强，Thmin为所述有效感光区域内的最小光强。
可选地，所述以更新后的调制权值矩阵调整所述DMD的步骤，包括：
针对所述DMD中的每一微镜单元，根据控制该微镜单元翻转的PWM波形序列的占空比，确定控制该微镜单元翻转的PWM波形序列的频率；
针对所述DMD中的每一微镜单元，按照所确定的频率以及控制该微镜单元翻转的PWM波形序列的占空比，控制该微镜单元进行翻转；
其中，控制该微镜单元翻转的PWM波形序列的占空比等于：更新后的调制权值矩阵中的、该微镜单元对应的调制权值。
可选地，所述根据控制该微镜单元翻转的PWM波形序列的占空比，确定控制该微镜单元翻转的PWM波形序列的频率的步骤，包括：
当控制该微镜单元翻转的PWM波形序列的占空比不大于50％时，确定控制该微镜单元翻转的PWM波形序列的频率为：D*Qmax；
当控制该微镜单元翻转的PWM波形序列的占空比小于50％时，确定控制该微镜单元翻转的PWM波形序列的频率为：(1-D)*Qmax；
其中，D为控制该微镜单元翻转的PWM波形序列的占空比，Qmax为所述DMD中微镜单元的最高翻转频率。
第二方面，本发明实施例提供了一种调制权值矩阵确定装置，包括：
判断单元，用于判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点，如果是，触发第一处理单元，否则，触发第二处理单；其中，所述目标图像为经过数字微镜阵列DMD调光后所述图像传感器所采集的图像；
所述第一处理单元，用于按照与所述预定权值调整条件对应的更新趋势，更新所述DMD当前对应的调制权值矩阵中的、所述目标像素点对应的调制权值，以更新后的调制权值矩阵调整所述DMD，并触发所述判断单元；
所述第二处理单元，用于将所述DMD当前对应的调制权值矩阵，确定为所述DMD调光所需的目标调制权值矩阵。
可选地，所述判断单元包括：
判断子单元，用于判断图像传感器采集的目标图像中，是否存在符合第一调整条件的目标像素点，所述第一调整条件为：光强大于所述图像传感器的有效感光区域内的最大光强；
相应的，所述更新趋势趋势包括：与所述第一调整条件对应的第一趋势，所述第一趋势为调低调制权值。
可选地，所述第一处理单元按照与所述预定权值调整条件对应的更新趋势，更新所述DMD当前对应的调制权值矩阵中的、所述目标像素点对应的调制权值，具体为：
针对每一目标像素点，确定与第一调整条件对应的第一趋势相匹配的目标调整范围，并以所述目标调整范围的中间值，更新所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值；
其中，所述目标调整范围的最大值为：所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值，所述目标调整范围的最小值为：预设调制权值或基于预设调整幅度和所述目标调整范围的最大值所确定的调制权值。
可选地，所述判断子单元具体用于：
当非首次判断时，判断图像传感器采集的目标图像的第一类像素点中，是否存在满足第一调整条件或满足第二调整条件的目标像素点；所述第二调整条件为：光强小于预设光强阈值；
其中，所述第一类像素点为：与上次确定出的目标像素点位置相同的像素点，所述预设光强阈值小于所述有效感光区域的最大光强且大于所述有效感光区域的最小光强；
相应的，所述更新趋势还包括：与所述第二调整条件对应的第二趋势，所述第二趋势为调高调制权值。
可选地，所述第一处理单元按照与所述预定权值调整条件对应的更新趋势，更新所述DMD当前对应的调制权值矩阵中的、所述目标像素点对应的调制权值，具体为：
针对每一符合第一调整条件的目标像素点，确定与第一调整条件对应的第一趋势相匹配的第一调整范围，并以所述第一调整范围的中间值，更新所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值；其中，所述第一调整范围的最大值为：所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值，所述第一调整范围的最小值为：第一像素点所对应的第一调整范围的最小值，所述第一像素点为：上次确定出的与该目标像素点位置相同的像素点，第一次所确定的第一调整范围的最小值为：预设调制权值或基于预设调整幅度和所述第一调整范围的最大值所确定的调制权值；
针对每一符合第二调整条件的目标像素点，确定与第二调整条件对应的第二趋势相匹配的第二调整范围，并以所述第二调整范围的中间值，更新所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值；其中，所述第二调整范围的最小值为：所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值，所述第二调整范围的最大值为：第二像素点所对应的第二调整范围的最大值，所述第二像素点为：上次确定出的与该目标像素点位置相同的像素点。
可选地，本发明实施例所提供的一种调制权值矩阵确定装置还可以包括：
光强确定单元，用于当所述判断单元判断出图像传感器采集的目标图像中，不存在符合预定权值调整条件的目标像素点之后，所述第二处理单元将所述DMD当前对应的调制权值矩阵，确定为所述DMD调光所需的目标调制权值矩阵之前，确定图像传感器采集的目标图像中像素点的光强最大值和光强最小值；
修正单元，用于根据第一调制权值和第二调制权值，修正所述DMD当前对应的调制权值矩阵中的各个调制权值；
其中，所述第一调制权值为：所述DMD当前对应的调制权值矩阵中、具有所述光强最大值的像素点对应的调制权值，第二调制权值为：所述DMD当前对应的调制权值矩阵中、具有所述光强最小值的像素点对应的调制权值。
可选地，所述修正单元具体用于：
根据第一调制权值和第二调制权值，计算所述DMD当前对应的调制权值矩阵中的每一调制权值对应的修正值；
针对所述DMD当前对应的调制权值矩阵中的每一调制权值，以该调制权值和该调制权值对应的修正值之和，更新该调制权值。
可选地，所述修正单元计算所述DMD当前对应的调制权值矩阵中的每一调制权值对应的修正值所利用的公式包括：
Figure BDA0001685605830000071
其中，Ti为调制权值D(Pi)对应的修正值，
Figure BDA0001685605830000072
Dmin为所述第二调制权值，Dmax为所述第一调制权值，Thmax为所述有效感光区域内的最大光强，Thmin为所述有效感光区域内的最小光强。
可选地，所述第一处理单元以更新后的调制权值矩阵调整所述DMD，具体为：
针对所述DMD中的每一微镜单元，根据控制该微镜单元翻转的PWM波形序列的占空比，确定控制该微镜单元翻转的PWM波形序列的频率；
针对所述DMD中的每一微镜单元，按照所确定的频率以及控制该微镜单元翻转的PWM波形序列的占空比，控制该微镜单元进行翻转；
其中，控制该微镜单元翻转的PWM波形序列的占空比等于：更新后的调制权值矩阵中的、该微镜单元对应的调制权值。
可选地，所述第一处理单元根据控制该微镜单元翻转的PWM波形序列的占空比，确定控制该微镜单元翻转的PWM波形序列的频率，具体为：
当控制该微镜单元翻转的PWM波形序列的占空比不大于50％时，确定控制该微镜单元翻转的PWM波形序列的频率为：D*Qmax；
当控制该微镜单元翻转的PWM波形序列的占空比小于50％时，确定控制该微镜单元翻转的PWM波形序列的频率为：(1-D)*Qmax；
其中，D为控制该微镜单元翻转的PWM波形序列的占空比，Qmax为所述DMD中微镜单元的最高翻转频率。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现本发明实施例所提供的调制权值矩阵确定方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例所提供的调制权值矩阵确定方法的步骤。
本发明实施例提供的方案中，在调制权值矩阵的确定过程中，采用迭代方式来更新调制权值矩阵；并且，每次更新时，按照与该预定权值调整条件对应的更新趋势，更新该DMD当前对应的调制权值矩阵中的、目标像素点对应的调制权值。由于每次更新给定了更新趋势，因此，使得调制权值的更新具有方向性，避免盲目更新。可见，通过本方案，可以快速有效地确定DMD调光所需的目标调制权值矩阵。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种成像系统的结构图；
图2为本发明实施例提供的一种调制权值矩阵确定方法的流程示意图；
图3为本发明实施例提供的一种调制权值矩阵确定方法的另一流程示意图；
图4中(a)、(b)分别为定频方式、变频方式获得的PWM波形序列；
图5为本发明实施例提供的一种调制权值矩阵确定装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了方便理解方案，首先对DMD的结构、工作原理等相关内容进行介绍。
数字微镜阵列DMD是一种集成在芯片上的快速数字光开关反射阵列，是由许多小型铝制反射镜面(即微镜单元)构成，通过每个微镜单元的地址进行寻址对相应微镜单元进行旋转操作。微镜单元的旋转角度只有两种状态，分别是-12°(负态)和+12°(正态)。当DMD受到光源照射时，正负两态的微镜单元将入射光分别以不同的角度反射来调整入射光线角度，这样，可以将这两态的微镜单元对应成像系统的亮暗两种像素，从而使投射到DMD上的光线有选择地反射而形成黑白点像素。
本发明实施例中，图像传感器104与DMD102相结合的成像系统的结构如图1所示。在传统监控摄像机镜头内增加DMD102，应用场景经过透镜101投射于DMD102上，DMD102对光强进行调制后将图像反射到转置镜片103上，转置镜片103再将图像反射到CCD(ChargeCoupled Device，电荷藕合器件)/CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等图像传感器104上，无用的光则被光强吸收装置105吸收(光强吸收装置105用于吸收未反射到图像传感器104的光，以避免未反射到图像传感器104的光导致监控摄像机温度升高，影响监控摄像机的性能)。为了提高可控性，DMD102微镜单元与图像传感器104所采集图像的像素点一一对应，例如图像传感器104所采集图像具有200万个像素点，则DMD102同样需要有200万个微镜单元。
任一图像传感器具有对应的有效感光区域，该有效感光区域为图像传感器的固有工作参数，当入射光的光强处于有效感光区域(Thmin,Thmax)时，图像传感器的成像效果好。当入射光的光强超出该有效感光区域时，可以利用DMD来对光强进行调制。其中，利用DMD来对光强进行调制，具体为：根据图像各像素点的光强状态去调节对应的微镜单元处于正态与负态的时间长短，通过调整微镜单元对应的PWM(Pulse Width Modulation，脉冲宽度调制)波形序列的占空比来实现对应像素点的光强控制，使超过有效感光区域的光强调节至图像传感器的有效感光区域内，其中，微镜单元对应的PWM波形序列的占空比即为与该微镜单元对应的像素点的调制权值。
设L(x,y)为图像中坐标为(x,y)处的像素点对应于实际场景的实际入射光强，即为光强调制前的光强，D(x,y)为坐标为(x,y)处的像素点的调制权值，则经过光强调制后的图像中坐标为(x,y)处的像素点光强E(x,y)为：
E(x,y)＝δ(x,y)L(x,y)D(x,y)
其中δ(x,y)为系统其它影响因素，由系统本身决定。
可以理解的是，若当前帧图像中像素点的实际入射光强超过有效感光区域的最大光强，则需要确定一个合适的调制权值矩阵，这样在采集下一帧图像时DMD对各个像素点进行光强调制从而将光强调制到有效感光区域内。由于应用场景中入射光的光强是无法预测的，因此只有通过搜索的方法确定调制权值矩阵，即通过尝试不同的调制权值矩阵，使场景内所有像素点的光强都调制到图像传感器的有效感光区域内。
为了快速有效地确定DMD调光所需的目标调制权值矩阵，本发明实施例提供了一种调制权值矩阵确定方法、装置及电子设备。
下面对本发明实施例提供的一种调制权值矩阵确定方法进行介绍。
需要说明的是，本发明实施例所提供的一种调制权值矩阵确定方法的执行主体可以为一种调制权值矩阵确定装置，其中，该调制权值矩阵确定装置运行于电子设备中。在具体应用中，该电子设备可以为：包含图像传感器和DMD的图像采集设备，当然并不局限于此。
参见图2，本发明实施例提供的一种调制权值矩阵确定方法，包括如下步骤：
S201，判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点，如果是，执行S202，否则，执行S203；
其中，该目标图像为经过数字微镜阵列DMD调光后该图像传感器所采集的图像。
对于图像传感器所采集的目标图像而言，尽管该目标图像为经过DMD调光后该图像传感器所采集的图像，但是，该目标图像中可能存在光强仍需被调整的像素点，也就是说，DMD当前对应的调制权值矩阵不为DMD调光所需的目标调制权值矩阵。而为了快速有效地确定DMD调光所需的调制权值矩阵，本发明实施例所提供方案中，对经过DMD调光后图像传感器所采集图像中的像素点进行分析，即判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点，进而，根据不同的判断结果执行不同的操作。
另外，可以理解的是，在调制权值矩阵的确定过程中，图像传感器在采集第一帧目标图像时，DMD调光所基于的调制权值矩阵可以为DMD的初始调制权值矩阵，也可以不为DMD的初始调制权值矩阵。其中，该初始调制权值矩阵中各个调制权值可以为相同的初始值，例如：各个调制权值均为100％，当然，初始调制权值矩阵中各个调制权值可以为不同的初始值。
其中，预定权值调整条件为预先设定的需要进行光强调制的像素点所需要具备的条件，例如预定权值调整条件可以为像素点的光强超过预设阈值，当然并不局限于此。
需要说明的是，所述判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点的步骤的具体实现方式存在多种。为了方案清楚及布局清晰，后续对所述判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点的步骤的具体实现方式进行举例介绍。
S202，按照与该预定权值调整条件对应的更新趋势，更新该DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值，以更新后的调制权值矩阵调整该DMD，并返回S201；
当判断出该图像传感器采集的目标图像中，存在符合预定权值调整条件的目标像素点时，可以更新该DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值。并且，由于在确定出一预定权值调制条件后，目标像素的光强的调整趋势即被确定出来，进一步的，目标像素点对应的调制权值的更新趋势也被确定出，也就是，预定权值调整条件可以对应有更新趋势。因此，可以按照与该预定权值调整条件对应的更新趋势，更新该DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值。
并且，由于一次更新可能无法将该DMD对应的调制权值矩阵更新为DMD调光所需的目标调制权值矩阵，因此，需要通过迭代过程，对该DMD对应的调制权值矩阵进行多次调整。那么，在更新该DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值后，可以以更新后的调制权值矩阵调整该DMD，并返回执行S201的步骤。需要强调的是，每次执行S201所利用的目标图像均为：经过DMD基于当前对应的调制权值矩阵调光后该图像传感器所采集的图像，也就是说，每次执行S201即为检验DMD当前对应的调制权值矩阵是否能够将目标图像的各个像素点的光强调制到有效感光区域内。并且，以更新后的调制权值矩阵调整该DMD的具体实现方式可以为现有技术中的实现方式，例如：采取固定位宽的PWM波形序列对DMD进行更新，在此不做赘述。
需要说明的是，不同的预定权值调整条件对应的不同的更新趋势，那么，所述按照与该预定权值调整条件对应的更新趋势，更新该DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值的步骤的具体实现方式也不同。为了方案清楚及布局清晰，后续一并介绍所述判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点的步骤的具体实现方式，以及，所述按照与该预定权值调整条件对应的更新趋势，更新该DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值的步骤的具体实现方式。
S203，将该DMD当前对应的调制权值矩阵，确定为该DMD调光所需的目标调制权值矩阵。
当判断出该图像传感器采集的目标图像中，不存在符合预定权值调整条件的目标像素点时，可以将该DMD当前对应的调制权值矩阵，确定为该DMD调光所需的目标调制权值矩阵，至此完成调制权值矩阵的确定过程。
本发明实施例提供的方案中，在调制权值矩阵的确定过程中，采用迭代方式来更新调制权值矩阵；并且，每次更新时，按照与该预定权值调整条件对应的更新趋势，更新该DMD当前对应的调制权值矩阵中的、目标像素点对应的调制权值。由于每次更新给定了更新趋势，因此，使得调制权值的更新具有方向性，避免盲目更新。可见，通过本方案，可以快速有效地确定DMD调光所需的目标调制权值矩阵。
下面介绍所述判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点的步骤的具体实现方式，以及，所述按照与该预定权值调整条件对应的更新趋势，更新该DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值的步骤的具体实现方式。
(1)对于图像传感器所采集图像中的任一像素点而言，该像素点的光强可能处于该有效感光区域内，也可能处于该有效感光区域外。对图像传感器所采集图像中的任一像素点而言，当该像素点的光强超过该有效感光区域的最大光强时，则需要对后续图像传感器所采集图像中该像素点处的光强进行光强调制，以提高后续图像传感器所采集图像中该像素点处的成像效果。
因此，在第一种具体实现方式中，所述判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点的步骤，可以包括：
判断图像传感器采集的目标图像中，是否存在符合第一调整条件的目标像素点，如果存在，则执行S202，如果不存在，则执行S203；所述第一调整条件为：光强大于该图像传感器的有效感光区域内的最大光强。
相应的，所述更新趋势包括：与该第一调整条件对应的第一趋势，该第一趋势为调低调制权值。
在该第一种具体实现方式中，对于迭代过程中图像传感器所采集的每一目标图像，均判断目标图像中是否存在符合第一调整条件的目标像素点，如果存在，则对目标像素点对应的调制权值进行调整。具体的，当每次判断出目标图像中存在光强大于有效感光区域的最大光强的目标像素点时，可以调低该DMD当前对应的调制权值矩阵中的、目标像素点的调制权值。
需要说明的是，对该DMD当前对应的调制权值矩阵中的、目标像素点的调制权值进行调低的方式有多种，例如，按照预定幅度调低。可选地，可以利用二分法来完成调制权值的更新，具体的，所述按照与该预定权值调整条件对应的更新趋势，更新该DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值的步骤，可以包括：
针对每一目标像素点，确定与第一调整条件对应的第一趋势相匹配的目标调整范围，并以该目标调整范围的中间值，更新该DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值；
其中，该目标调整范围的最大值为：该DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值，该目标调整范围的最小值为：预设调制权值或基于预设调整幅度和所述目标调整范围的最大值所确定的调制权值。
(2)为了保证光强调制过程中所调制出的像素点的光强，不被调制到接近或低于有效感光区域的最小光强，从而进一步保证图像成像效果，在非首次判断时，所述判断图像传感器采集的目标图像中，是否存在符合第一调整条件的目标像素点的步骤可以包括：
判断图像传感器采集的目标图像的第一类像素点中，是否存在满足第一调整条件或满足第二调整条件的目标像素点；该第二调整条件为：光强小于预设光强阈值；其中，该第一类像素点为：与上次确定出的目标像素点位置相同的像素点，该预设光强阈值小于该有效感光区域的最大光强且大于该有效感光区域的最小光强。
也就是说，在第二种具体实现方式中，所述判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点的步骤，可以包括：
当首次判断时，判断图像传感器采集的目标图像中，是否存在符合第一调整条件的目标像素点，如果存在，则执行S202，如果不存在，则执行S203；
当非首次判断时，判断图像传感器采集的目标图像的第一类像素点中，是否存在满足第一调整条件或满足第二调整条件的目标像素点，如果存在，执行S202；如果不存在，执行S203。
相应的，该更新趋势在包括与第一调整条件对应的第一趋势的前提下，还可以包括：与该第二调整条件对应的第二趋势，该第二趋势为调高调制权值。
其中，该预设光强阈值可以设置为接近有效感光区域的最大光强Thmax的数值，如设置为0.95Thmax，这样，在迭代过程中，可以逐步将首次判断时确定的目标像素点的光强均调制到接近有效感光区域的最大光强并小于有效感光区域的最大光强的范围内。可以理解的，在光强调制前目标像素点的光强较强，而在光强调制后目标像素点的光强依然较强，也就是说目标像素点的光强没有失真。
对于该第二种具体实现方式，在第二次判断时，从第一类像素点中，确定光强大于有效感光区域内的最大光强或光强小于预设光强阈值的目标像素点，并且，在后续调整权值时，只调整这些重新确定的目标像素点对应的调制权值；而对于第一类像素点中，光强处于有效感光区域的最大光强与预设光强阈值之间的像素点对应的调制权值不做调整。这样，在迭代过程中，就逐步的将首次判断时确定的目标像素点的光强均调制到了有效感光区域的最大光强与预设光强阈值之间；并且，由于预设光强阈值大于有效感光区域的最小光强，因此，对目标像素点的光强调制幅度不至于过大而使得目标像素点的光强失真。
并且，在首次判断时，当判断出目标图像中存在光强大于有效感光区域的最大光强的目标像素点时，可以调低该DMD当前对应的调制权值矩阵中的、该目标像素点的调制权值。在非首次判断时，当判断出目标图像的第一类像素点中，存在满足第一调整条件目标像素点时，可以调低该DMD当前对应的调制权值矩阵中的、该目标像素点的调制权值；而当判断出目标图像的第一类像素点中，存在满足第二调整条件目标像素点时，可以调高该DMD当前对应的调制权值矩阵中的、该目标像素点的调制权值。
需要说明的是，对该DMD当前对应的调制权值矩阵中的、目标像素点的调制权值进行调低或调高的方式有多种，例如，按照预定幅度调低或调高。可选地，可以利用二分法来完成调制权值的更新，具体的，按照与该预定权值调整条件对应的更新趋势，更新该DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值的步骤，可以包括：
针对每一符合第一调整条件的目标像素点，确定与第一调整条件对应的第一趋势相匹配的第一调整范围，并以该第一调整范围的中间值，更新该DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值；其中，该第一调整范围的最大值为：该DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值，该第一调整范围的最小值为：第一像素点所对应的第一调整范围的最小值，所述第一像素点为：上次确定出的与该目标像素点位置相同的像素点，第一次所确定的第一调整范围的最小值为：预设调制权值或基于预设调整幅度和该第一调整范围的最大值所确定的调制权值；
针对每一符合第二调整条件的目标像素点，确定与第二调整条件对应的第二趋势相匹配的第二调整范围，并以该第二调整范围的中间值，更新该DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值；其中，该第二调整范围的最小值为：该DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值，该第二调整范围的最大值为：第二像素点所对应的第二调整范围的最大值，所述第二像素点为：上次确定出的与该目标像素点位置相同的像素点。
为了便于理解方案，下面对利用二分法来完成调制权值的更新的具体实现方式进行举例说明：
(1)在首次判断时，判断出目标图像中像素点A的光强大于有效感光区域的最大光强，且在DMD当前对应的调制权值矩阵中，像素点A对应的调制权值为80％，此时，可以将像素点A对应的调制权值减小。这种情况下，由于预先设置了调制权值的变化范围(例如变化范围为低于当前调制权值不超过10％)，因此，确定像素点A对应的调制权值的调整范围为(70％，80％)。由于采用二分法进行更新，因此，将该DMD当前对应的调制权值矩阵中的、该像素点A对应的调制权值更新为：(70％，80％)的中间值，即75％。
(2)在第二次判断时，判断结果有两种情况：
情况一，如果判断出目标图像中与像素点A位置相同的像素点A’的光强大于有效感光区域的最大光强，表示需要将像素点A’在当前调制权值矩阵中对应的调制权值继续减小。由于像素点A’当前对应的调制权值为75％，上一次确定出的调整范围中最小值为70％，因此，确定像素点A’对应的调整范围为(70％，75％)。当采用二分法时，将该DMD当前对应的调制权值矩阵中的、该像素点A’对应的调制权值更新为：(70％，75％)的中间值，即72.5％。
情况二，如果判断出目标图像中与像素点A位置相同的像素点A’的光强小于预设光强阈值，表示需要将像素点A’在当前调制权值矩阵中对应的调制权值增大。由于像素点A’当前对应的调制权值为75％，上一次确定出的调整范围中最大值为80％，因此，确定像素点A’对应的调整范围为(75％，80％)。当采用二分法时，将该DMD当前对应的调制权值矩阵中的、该像素点A’对应的调制权值更新为：(75％，80％)的中间值，即77.5％。
(3)针对第二次判断结果中的情况一，在第三次判断时，判断结果同样有两种情况：
情况一，如果判断出目标图像中与像素点A’位置相同的像素点A”的光强大于有效感光区域的最大光强，表示需要将像素点A”在当前调制权值矩阵中对应的调制权值继续减小。由于像素点A”当前对应的调制权值为72.5％，上一次确定出的调整范围中最小值为70％，因此，确定像素点A”对应的调整范围为(70％，72.5％)。当采用二分法时，将该DMD当前对应的调制权值矩阵中的、该像素点A”对应的调制权值更新为：(70％，72.5％)的中间值，即71.25％。
情况二，如果判断出当前目标图像中与像素点A’位置相同的像素点A”的光强小于预设光强阈值，表示需要将像素点A”在当前调制权值矩阵中对应的调制权值增大。由于像素点A”当前对应的调制权值为72.5％，上一次确定出的调整范围中的最大值为75％，因此，确定像素点A”对应的调整范围为(72.5％，75％)。当采用二分法时，将该DMD当前对应的调制权值矩阵中的、该像素点A”对应的调制权值更新为：(72.5％，75％)的中间值，即73.75％。
(4)针对第二次判断结果中的情况二，在第三次判断时，判断结果同样也是有两种情况：
情况一，如果判断出当前目标图像中与像素点A’位置相同的像素点A”的光强大于有效感光区域的最大光强，表示需要将像素点A”在当前调制权值矩阵中对应的调制权值继续减小。由于像素点A”当前对应的调制权值为77.5％，上一次确定出的调整范围的最小值为75％，因此，确定像素点A”对应的调整范围为(75％，77.5％)。当采用二分法时，将该DMD当前对应的调制权值矩阵中的、该像素点A”对应的调制权值更新为：(75％，77.5％)的中间值，即76.25％。
情况二，如果判断出当前目标图像中与像素点A’位置相同的像素点A”的光强小于预设光强阈值，表示需要将像素点A”在当前调制权值矩阵中对应的调制权值增大。由于像素点A”当前对应的调制权值为77.5％，上一次确定出的调整范围的最大值为80％，因此，确定像素点A”对应的调整范围为(77.5％，80％)。当采用二分法时，将该DMD当前对应的调制权值矩阵中的、该像素点A”对应的调制权值更新为：(77.5％，80％)的中间值，即78.75％。
以此类推，可以在每次迭代的过程中将像素点对应的调制权值的搜索范围缩小一半，从而可以快速的确定像素点对应的最佳调制权值，且在迭代过程中会不断的确定出入射光的光强超过有效感光区域的像素点的最佳调制权值，直到最终确定出入射光的光强最大的像素点对应的最佳调制权值，也就完成了目标调制权值矩阵的确定过程。
另外，当判断出图像传感器采集的目标图像中，不存在符合预定权值调整条件的目标像素点时，该DMD当前对应的调制权值矩阵可能会将各个像素点的光强调制到处于有效感光区域的一个区间中，例如有效感光区域为(100，800)，而基于该DMD当前对应的调制权值矩阵调制后的像素点的光强范围为(200，600)，这种情况下，光强范围为(100，200)和(600，800)的像素点处的图像细节将会缺失。因此，当判断出图像传感器采集的目标图像中，不存在符合预定权值调整条件的目标像素点时，可以对该DMD当前对应的调制权值矩阵进行进一步整体优化，以充分发挥图像传感器的感光能力，使基于最终确定的调制权值矩阵进行光强调制后采集的图像，不仅具有高动态范围，还拥有更多的细节特征。实际上，图像相邻像素点光强差值并不大，因此可以将各像素点的光强尽可能均匀的分布在敏感区域(Thmin,Thmax)范围内。
基于上述的对调制权值矩阵进行进一步整体优化的需求，如图3所示，当判断出图像传感器采集的目标图像中，不存在符合预定权值调整条件的目标像素点之后，所述将该DMD当前对应的调制权值矩阵，确定为该DMD调光所需的目标调制权值矩阵的步骤之前，本发明实施例所提供的调制权值矩阵确定方法还可以包括：
S203a，确定图像传感器采集的目标图像中像素点的光强最大值和光强最小值；
S203b，根据第一调制权值和第二调制权值，修正该DMD当前对应的调制权值矩阵中的各个调制权值。
其中，该第一调制权值为：该DMD当前对应的调制权值矩阵中、具有该光强最大值的像素点对应的调制权值，第二调制权值为：该DMD当前对应的调制权值矩阵中、具有该光强最小值的像素点对应的调制权值。
需要强调的是，S203中，所述将该DMD当前对应的调制权值矩阵，确定为该DMD调光所需的目标调制权值矩阵的步骤，可以包括：
在对该DMD当前对应的调制权值矩阵中的各个调制权值进行修正后，将该DMD当前对应的调制权值矩阵，确定为该DMD调光所需的目标调制权值矩阵。
具体的，所述根据第一调制权值和第二调制权值，修正该DMD当前对应的调制权值矩阵中的各个调制权值的步骤，可以包括：
根据第一调制权值和第二调制权值，计算该DMD当前对应的调制权值矩阵中的每一调制权值对应的修正值；
针对该DMD当前对应的调制权值矩阵中的每一调制权值，以该调制权值和该调制权值对应的修正值之和，更新该调制权值。
具体的，计算该DMD当前对应的调制权值矩阵中的每一调制权值对应的修正值所利用的公式可以包括：
Figure BDA0001685605830000201
其中，Ti为调制权值D(Pi)对应的修正值，
Figure BDA0001685605830000202
Dmin为所述第二调制权值，Dmax为所述第一调制权值，Thmax为该有效感光区域内的最大光强，Thmin为该有效感光区域内的最小光强。
另外，在图2所示实施例的基础上，作为本发明实施例中的一种具体实现方式，所述以更新后的调制权值矩阵调整所述DMD的步骤，可以包括：
针对该DMD中的每一微镜单元，根据控制该微镜单元翻转的PWM波形序列的占空比，确定控制该微镜单元翻转的PWM波形序列的频率；
针对该DMD中的每一微镜单元，按照所确定的频率以及控制该微镜单元翻转的PWM波形序列的占空比，控制该微镜单元进行翻转；
其中，控制该微镜单元翻转的PWM波形序列的占空比等于：更新后的调制权值矩阵中的、该微镜单元对应的调制权值。
本领域技术人员可以理解的是，DMD中各个微镜单元的翻转可以基于脉冲调制的波形序列进行控制，因此，每一像素点在调制权值矩阵中对应的调制权值，也就是控制该像素点对应的微镜单元翻转的PWM波形序列的占空比。本发明实施例利用PWM波形序列的占空比来确定PWM波形序列的频率，当各个微镜单元对应的PWM波形序列的占空比不同时，所确定的PWM波形序列的频率也就不同，也就是说PWM波形序列的频率随着占空比的变化而变化，这样可以达到变频脉冲控制微镜单元翻转的目的，从而提高DMD光强调制的精细度。
具体的，所述根据控制该微镜单元翻转的PWM波形序列的占空比，确定控制该微镜单元翻转的PWM波形序列的频率的步骤，可以包括：
当控制该微镜单元翻转的PWM波形序列的占空比不大于50％时，确定控制该微镜单元翻转的PWM波形序列的频率为：D*Qmax；
当控制该微镜单元翻转的PWM波形序列的占空比小于50％时，确定控制该微镜单元翻转的PWM波形序列的频率为：(1-D)*Qmax；
其中，D为控制该微镜单元翻转的PWM波形序列的占空比，Qmax为所述DMD中微镜单元的最高翻转频率。
可见，通过改变各个微镜单元处于正态时间的长短，来表现出不同的灰度层次，并采用脉宽调制(PWM)的原理控制微镜单元的状态的切换。PWM波形序列的频率越高，则微镜单元可表现的灰度等级就越多，这样对图像的光强调制就越精细。为了能够使PWM波形序列的频率达到更高水平，本实施例采用了变频方式实现PWM脉宽调制，即不同的占空比对应不同的PWM频率。
为了便于理解方案，下面对上述采用变频方式控制微镜单元翻转的方法进行原理性解释。设数字微镜阵列的微镜单元的翻转频率最高为Qmax，即微镜单元至少要在目前状态停留时间
Figure BDA0001685605830000211
后才能切换到下一个状态。设在一个周期内微镜单元处于正态的时间为Lt，处于负态的时间为Nt，且Lt≥Tmin，Nt≥Tmin。
则，PWM波形序列的占空比D为：
Figure BDA0001685605830000212
PWM波形序列的频率Ppwm为：
Figure BDA0001685605830000213
为了使Ppwm最大化，Lt与Nt应尽可能小，因此可以得到如下所示的Ppwm与D的关系：
当D≤50％时，取Lt→Tmin，则
Figure BDA0001685605830000214
此时，
Figure BDA0001685605830000215
当D＞50％时，取Nt→Tmin，则
Figure BDA0001685605830000216
此时，
Figure BDA0001685605830000217
根据上述关系式可以得到如表一所示的各个参数之间的关系：
表一
Figure BDA0001685605830000221
由上表可以看出，PWM波形序列的频率随着占空比的变化而变化，在确定出调制权值矩阵后，根据控制微镜单元翻转的PWM波形序列的占空比来计算出PWM波形序列的频率，以此达到变频脉冲控制的目的，而这种变频脉冲控制的方式可以提高数字微镜阵列调制后的光强的精细程度。
由上述图1所示实施例中相关描述可知，现有技术采用的是固定位宽的PWM波形序列来对微镜单元的翻转进行控制以实现正态和负态的切换，这是一种固定频率的脉冲控制方法，如采用8位数据实现28＝256种光强等级调制，令微镜单元的切换速度为S，则PWM波形序列的周期为256S，所以PWM波形序列的频率最大为
Figure BDA0001685605830000231
因此当占空比为50％时，微镜单元每过128S时间切换一次。而本实施例中，采用变频方式对微镜单元的翻转进行控制，可以最大限度的利用微镜单元的切换速度，例如同样当占空比为50％时，本实施例中微镜单元每过S时间就可以翻转一次，这样使微镜单元的翻转频率最大提高了128倍。举例而言，如图4所示，图4中(a)、(b)分别为定频方式、变频方式获得的PWM波形序列，且上下分别为占空比为5％、50％时的PWM波形序列，由图4可知，定频方式获得的PWM波形序列中波形的周期是固定的，而变频方式获得的PWM波形序列中波形的周期是变化的，当占空比为50％时，变频方式获得的PWM波形序列的周期最小(周期为2S)，也就是说在占空比为50％时微镜单元每过S时间就可以翻转一次。因此，本实施例控制微镜单元翻转的方法能够使光强调制更加精细。
相应于上述方法实施例，本发明实施例还提供了一种调制权值矩阵确定装置。如图5所示，本发明实施例所提供的一种调制权值矩阵确定装置，可以包括：
判断单元510，用于判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点，如果是，触发第一处理单元，否则，触发第二处理单；其中，所述目标图像为经过数字微镜阵列DMD调光后所述图像传感器所采集的图像；
所述第一处理单元520，用于按照与所述预定权值调整条件对应的更新趋势，更新所述DMD当前对应的调制权值矩阵中的、所述目标像素点对应的调制权值，以更新后的调制权值矩阵调整所述DMD，并触发所述判断单元；
所述第二处理单元530，用于将所述DMD当前对应的调制权值矩阵，确定为所述DMD调光所需的目标调制权值矩阵。
本发明实施例提供的方案中，在调制权值矩阵的确定过程中，采用迭代方式来更新调制权值矩阵；并且，每次更新时，按照与该预定权值调整条件对应的更新趋势，更新该DMD当前对应的调制权值矩阵中的、目标像素点对应的调制权值。由于每次更新给定了更新趋势，因此，使得调制权值的更新具有方向性，避免盲目更新。可见，通过本方案，可以快速有效地确定DMD调光所需的目标调制权值矩阵。
可选地，所述判断单元510可以包括：
判断子单元，用于判断图像传感器采集的目标图像中，是否存在符合第一调整条件的目标像素点，所述第一调整条件为：光强大于所述图像传感器的有效感光区域内的最大光强；
相应的，所述更新趋势趋势包括：与所述第一调整条件对应的第一趋势，所述第一趋势为调低调制权值。
可选地，所述第一处理单元520按照与所述预定权值调整条件对应的更新趋势，更新所述DMD当前对应的调制权值矩阵中的、所述目标像素点对应的调制权值，具体为：
针对每一目标像素点，确定与第一调整条件对应的第一趋势相匹配的目标调整范围，并以所述目标调整范围的中间值，更新所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值；
其中，所述目标调整范围的最大值为：所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值，所述目标调整范围的最小值为：预设调制权值或基于预设调整幅度和所述目标调整范围的最大值所确定的调制权值。
可选地，所述判断子单元具体用于：
当非首次判断时，判断图像传感器采集的目标图像的第一类像素点中，是否存在满足第一调整条件或满足第二调整条件的目标像素点；所述第二调整条件为：光强小于预设光强阈值；
其中，所述第一类像素点为：与上次确定出的目标像素点位置相同的像素点，所述预设光强阈值小于所述有效感光区域的最大光强且大于所述有效感光区域的最小光强；
相应的，所述更新趋势还包括：与所述第二调整条件对应的第二趋势，所述第二趋势为调高调制权值。
可选地，所述第一处理单元520按照与所述预定权值调整条件对应的更新趋势，更新所述DMD当前对应的调制权值矩阵中的、所述目标像素点对应的调制权值，具体为：
针对每一符合第一调整条件的目标像素点，确定与第一调整条件对应的第一趋势相匹配的第一调整范围，并以所述第一调整范围的中间值，更新所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值；其中，所述第一调整范围的最大值为：所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值，所述第一调整范围的最小值为：第一像素点所对应的第一调整范围的最小值，所述第一像素点为：上次确定出的与该目标像素点位置相同的像素点，第一次所确定的第一调整范围的最小值为：预设调制权值或基于预设调整幅度和所述第一调整范围的最大值所确定的调制权值；
针对每一符合第二调整条件的目标像素点，确定与第二调整条件对应的第二趋势相匹配的第二调整范围，并以所述第二调整范围的中间值，更新所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值；其中，所述第二调整范围的最小值为：所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值，所述第二调整范围的最大值为：第二像素点所对应的第二调整范围的最大值，所述第二像素点为：上次确定出的与该目标像素点位置相同的像素点。
可选地，本发明实施例所提供的一种调制权值矩阵确定装置还可以包括：
光强确定单元，用于当所述判断单元判断出图像传感器采集的目标图像中，不存在符合预定权值调整条件的目标像素点之后，所述第二处理单元将所述DMD当前对应的调制权值矩阵，确定为所述DMD调光所需的目标调制权值矩阵之前，确定图像传感器采集的目标图像中像素点的光强最大值和光强最小值；
修正单元，用于根据第一调制权值和第二调制权值，修正所述DMD当前对应的调制权值矩阵中的各个调制权值；
其中，所述第一调制权值为：所述DMD当前对应的调制权值矩阵中、具有所述光强最大值的像素点对应的调制权值，第二调制权值为：所述DMD当前对应的调制权值矩阵中、具有所述光强最小值的像素点对应的调制权值。
可选地，所述修正单元具体用于：
根据第一调制权值和第二调制权值，计算所述DMD当前对应的调制权值矩阵中的每一调制权值对应的修正值；
针对所述DMD当前对应的调制权值矩阵中的每一调制权值，以该调制权值和该调制权值对应的修正值之和，更新该调制权值。
可选地，所述修正单元计算所述DMD当前对应的调制权值矩阵中的每一调制权值对应的修正值所利用的公式包括：
Figure BDA0001685605830000261
其中，Ti为调制权值D(Pi)对应的修正值，
Figure BDA0001685605830000262
Dmin为所述第二调制权值，Dmax为所述第一调制权值，Thmax为所述有效感光区域内的最大光强，Thmin为所述有效感光区域内的最小光强。
可选地，所述第一处理单元520以更新后的调制权值矩阵调整所述DMD，具体为：
针对所述DMD中的每一微镜单元，根据控制该微镜单元翻转的PWM波形序列的占空比，确定控制该微镜单元翻转的PWM波形序列的频率；
针对所述DMD中的每一微镜单元，按照所确定的频率以及控制该微镜单元翻转的PWM波形序列的占空比，控制该微镜单元进行翻转；
其中，控制该微镜单元翻转的PWM波形序列的占空比等于：更新后的调制权值矩阵中的、该微镜单元对应的调制权值。
可选地，所述第一处理单元520根据控制该微镜单元翻转的PWM波形序列的占空比，确定控制该微镜单元翻转的PWM波形序列的频率，具体为：
当控制该微镜单元翻转的PWM波形序列的占空比不大于50％时，确定控制该微镜单元翻转的PWM波形序列的频率为：D*Qmax；
当控制该微镜单元翻转的PWM波形序列的占空比小于50％时，确定控制该微镜单元翻转的PWM波形序列的频率为：(1-D)*Qmax；
其中，D为控制该微镜单元翻转的PWM波形序列的占空比，Qmax为所述DMD中微镜单元的最高翻转频率。
另外，本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，本发明实施例所提供的一种调制权值矩阵确定方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例所提供的一种调制权值矩阵确定方法的步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备以及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种调制权值矩阵确定方法，其特征在于，所述方法包括：
判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点；其中，所述目标图像为经过数字微镜阵列DMD调光后所述图像传感器所采集的图像；所述预定权值调整条件是根据像素点的光强以及所述图像传感器的有效感光区域设定的；
如果是，按照与所述预定权值调整条件对应的更新趋势，更新所述DMD当前对应的调制权值矩阵中的、所述目标像素点对应的调制权值；
针对所述DMD中的每一微镜单元，根据控制该微镜单元翻转的PWM波形序列的占空比，确定控制该微镜单元翻转的PWM波形序列的频率；
针对所述DMD中的每一微镜单元，按照所确定的频率以及控制该微镜单元翻转的PWM波形序列的占空比，控制该微镜单元进行翻转；并返回所述判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点的步骤；其中，所述更新趋势为能够使得所述目标像素点的光强趋向于所述有效感光区域的趋势，控制该微镜单元翻转的PWM波形序列的占空比等于：更新后的调制权值矩阵中的、该微镜单元对应的调制权值；
否则，将所述DMD当前对应的调制权值矩阵，确定为所述DMD调光所需的目标调制权值矩阵。
2.根据权利要求1所述的方法，其特征在于，所述判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点的步骤，包括：
判断图像传感器采集的目标图像中，是否存在符合第一调整条件的目标像素点，所述第一调整条件为：光强大于所述图像传感器的有效感光区域内的最大光强；
相应的，所述更新趋势包括：与所述第一调整条件对应的第一趋势，所述第一趋势为调低调制权值。
3.根据权利要求2所述的方法，其特征在于，所述按照与所述预定权值调整条件对应的更新趋势，更新所述DMD当前对应的调制权值矩阵中的、所述目标像素点对应的调制权值的步骤，包括：
针对每一目标像素点，确定与第一调整条件对应的第一趋势相匹配的目标调整范围，并以所述目标调整范围的中间值，更新所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值；
其中，所述目标调整范围的最大值为：所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值，所述目标调整范围的最小值为：预设调制权值或基于预设调整幅度和所述目标调整范围的最大值所确定的调制权值。
4.根据权利要求2所述的方法，其特征在于，所述判断图像传感器采集的目标图像中，是否存在符合第一调整条件的目标像素点的步骤，包括：
当非首次判断时，判断图像传感器采集的目标图像的第一类像素点中，是否存在满足第一调整条件或满足第二调整条件的目标像素点；所述第二调整条件为：光强小于预设光强阈值；
其中，所述第一类像素点为：与上次确定出的目标像素点位置相同的像素点，所述预设光强阈值小于所述有效感光区域的最大光强且大于所述有效感光区域的最小光强；
相应的，所述更新趋势还包括：与所述第二调整条件对应的第二趋势，所述第二趋势为调高调制权值。
5.根据权利要求4所述的方法，其特征在于，所述按照与所述预定权值调整条件对应的更新趋势，更新所述DMD当前对应的调制权值矩阵中的、所述目标像素点对应的调制权值的步骤，包括：
针对每一符合第一调整条件的目标像素点，确定与第一调整条件对应的第一趋势相匹配的第一调整范围，并以所述第一调整范围的中间值，更新所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值；其中，所述第一调整范围的最大值为：所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值，所述第一调整范围的最小值为：第一像素点所对应的第一调整范围的最小值，所述第一像素点为：上次确定出的与该目标像素点位置相同的像素点，第一次所确定的第一调整范围的最小值为：预设调制权值或基于预设调整幅度和所述第一调整范围的最大值所确定的调制权值；
针对每一符合第二调整条件的目标像素点，确定与第二调整条件对应的第二趋势相匹配的第二调整范围，并以所述第二调整范围的中间值，更新所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值；其中，所述第二调整范围的最小值为：所述DMD当前对应的调制权值矩阵中的、该目标像素点对应的调制权值，所述第二调整范围的最大值为：第二像素点所对应的第二调整范围的最大值，所述第二像素点为：上次确定出的与该目标像素点位置相同的像素点。
6.根据权利要求1-5任一项所述的方法，其特征在于，当判断出图像传感器采集的目标图像中，不存在符合预定权值调整条件的目标像素点之后，所述将所述DMD当前对应的调制权值矩阵，确定为所述DMD调光所需的目标调制权值矩阵的步骤之前，所述方法还包括：
确定图像传感器采集的目标图像中像素点的光强最大值和光强最小值；
根据第一调制权值和第二调制权值，修正所述DMD当前对应的调制权值矩阵中的各个调制权值；
其中，所述第一调制权值为：所述DMD当前对应的调制权值矩阵中、具有所述光强最大值的像素点对应的调制权值，第二调制权值为：所述DMD当前对应的调制权值矩阵中、具有所述光强最小值的像素点对应的调制权值。
7.根据权利要求6所述的方法，其特征在于，所述根据第一调制权值和第二调制权值，修正所述DMD当前对应的调制权值矩阵中的各个调制权值的步骤，包括：
根据第一调制权值和第二调制权值，计算所述DMD当前对应的调制权值矩阵中的每一调制权值对应的修正值；
针对所述DMD当前对应的调制权值矩阵中的每一调制权值，以该调制权值和该调制权值对应的修正值之和，更新该调制权值。
8.根据权利要求7所述的方法，其特征在于，计算所述DMD当前对应的调制权值矩阵中的每一调制权值对应的修正值所利用的公式包括：
Figure FDA0003215154240000031
其中，Ti为调制权值D(Pi)对应的修正值，
Figure FDA0003215154240000041
Dmin为所述第二调制权值，Dmax为所述第一调制权值，Thmax为所述图像传感器的有效感光区域内的最大光强，Thmin为所述有效感光区域内的最小光强。
9.根据权利要求1所述的方法，其特征在于，所述根据控制该微镜单元翻转的PWM波形序列的占空比，确定控制该微镜单元翻转的PWM波形序列的频率的步骤，包括：
当控制该微镜单元翻转的PWM波形序列的占空比不大于50％时，确定控制该微镜单元翻转的PWM波形序列的频率为：D*Qmax；
当控制该微镜单元翻转的PWM波形序列的占空比小于50％时，确定控制该微镜单元翻转的PWM波形序列的频率为：(1-D)*Qmax；
其中，D为控制该微镜单元翻转的PWM波形序列的占空比，Qmax为所述DMD中微镜单元的最高翻转频率。
10.一种调制权值矩阵确定装置，其特征在于，包括：
判断单元，用于判断图像传感器采集的目标图像中，是否存在符合预定权值调整条件的目标像素点，如果是，触发第一处理单元，否则，触发第二处理单元；其中，所述目标图像为经过数字微镜阵列DMD调光后所述图像传感器所采集的图像；所述预定权值调整条件是根据像素点的光强以及所述图像传感器的有效感光区域设定的；
所述第一处理单元，用于按照与所述预定权值调整条件对应的更新趋势，更新所述DMD当前对应的调制权值矩阵中的、所述目标像素点对应的调制权值，针对所述DMD中的每一微镜单元，根据控制该微镜单元翻转的PWM波形序列的占空比，确定控制该微镜单元翻转的PWM波形序列的频率；针对所述DMD中的每一微镜单元，按照所确定的频率以及控制该微镜单元翻转的PWM波形序列的占空比，控制该微镜单元进行翻转，并触发所述判断单元；其中，所述更新趋势为能够使得所述目标像素点的光强趋向于所述有效感光区域的趋势，控制该微镜单元翻转的PWM波形序列的占空比等于：更新后的调制权值矩阵中的、该微镜单元对应的调制权值；
所述第二处理单元，用于将所述DMD当前对应的调制权值矩阵，确定为所述DMD调光所需的目标调制权值矩阵。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法步骤。
CN201810570380.0A 2018-06-05 2018-06-05 一种调制权值矩阵确定方法、装置及电子设备 Active CN110572563B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810570380.0A CN110572563B (zh) 2018-06-05 2018-06-05 一种调制权值矩阵确定方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810570380.0A CN110572563B (zh) 2018-06-05 2018-06-05 一种调制权值矩阵确定方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110572563A CN110572563A (zh) 2019-12-13
CN110572563B true CN110572563B (zh) 2021-10-15

Family

ID=68772175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810570380.0A Active CN110572563B (zh) 2018-06-05 2018-06-05 一种调制权值矩阵确定方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110572563B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116234118A (zh) * 2023-03-15 2023-06-06 深圳市紫光照明技术股份有限公司 基于光照的自动调光系统和方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360192A (zh) * 2008-08-15 2009-02-04 苏州大学 一种数字光学成像系统及其成像方法
US8237835B1 (en) * 2011-05-19 2012-08-07 Aeon Imaging, LLC Confocal imaging device using spatially modulated illumination with electronic rolling shutter detection
CN103069806A (zh) * 2010-08-12 2013-04-24 伊斯曼柯达公司 用于投影的光源调制
US8760542B2 (en) * 2010-08-11 2014-06-24 Inview Technology Corporation Compensation of compressive imaging measurements based on measurements from power meter
CN104159042A (zh) * 2014-07-29 2014-11-19 中国科学院长春光学精密机械与物理研究所 高动态范围成像的dmd快速调光方法
CN104394327A (zh) * 2014-11-18 2015-03-04 章建国 基于像素点控制的智能补光系统
JP2017032631A (ja) * 2015-07-29 2017-02-09 Ｎｅｃディスプレイソリューションズ株式会社 プロジェクタ
CN107071248A (zh) * 2017-03-31 2017-08-18 天津大学 一种用于提取强反射表面几何特征的高动态范围成像方法
CN107302667A (zh) * 2017-08-17 2017-10-27 中国人民解放军国防科技大学 一种相机可互换动态分光成像系统及其应用于高动态成像的方法
CN107682646A (zh) * 2017-09-30 2018-02-09 中国船舶重工集团公司第七〇九研究所 基于dmd的高动态范围空域快速调光方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360192A (zh) * 2008-08-15 2009-02-04 苏州大学 一种数字光学成像系统及其成像方法
US8760542B2 (en) * 2010-08-11 2014-06-24 Inview Technology Corporation Compensation of compressive imaging measurements based on measurements from power meter
CN103069806A (zh) * 2010-08-12 2013-04-24 伊斯曼柯达公司 用于投影的光源调制
US8237835B1 (en) * 2011-05-19 2012-08-07 Aeon Imaging, LLC Confocal imaging device using spatially modulated illumination with electronic rolling shutter detection
CN104159042A (zh) * 2014-07-29 2014-11-19 中国科学院长春光学精密机械与物理研究所 高动态范围成像的dmd快速调光方法
CN104394327A (zh) * 2014-11-18 2015-03-04 章建国 基于像素点控制的智能补光系统
JP2017032631A (ja) * 2015-07-29 2017-02-09 Ｎｅｃディスプレイソリューションズ株式会社 プロジェクタ
CN107071248A (zh) * 2017-03-31 2017-08-18 天津大学 一种用于提取强反射表面几何特征的高动态范围成像方法
CN107302667A (zh) * 2017-08-17 2017-10-27 中国人民解放军国防科技大学 一种相机可互换动态分光成像系统及其应用于高动态成像的方法
CN107682646A (zh) * 2017-09-30 2018-02-09 中国船舶重工集团公司第七〇九研究所 基于dmd的高动态范围空域快速调光方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高动态调光成像系统畸变的自校正;吴培等;《光学精密工程》;20151015(第10期) *

Also Published As

Publication number Publication date
CN110572563A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
US10931885B2 (en) Illumination processing method and apparatus for adjusting light transmittance
US9438815B2 (en) Control device, control method, and control system with multiple dynamic ranges
US8896625B2 (en) Method and system for fusing images
JP6005915B2 (ja) 適応型自動露出制御方法
TWI720445B (zh) 攝像機裝置中圖像融合的方法及相關裝置
CN105190424A (zh) 具有场景自适应自动曝光补偿的成像装置
JP2008526149A (ja) デジタル画像形成の露出
CN106060249A (zh) 一种拍照防抖方法及移动终端
CN107071292A (zh) 一种补光方法及终端
JP2006025411A (ja) 自動露出補正方法及び補正装置
US9736386B2 (en) Control device, control method, and exposure control system
EP2752710B1 (en) Lens device, camera system, and exposure control method
JP2021052396A (ja) 複数のイメージセンサにより獲得されるイメージデータに基づいてビデオｈｄｒ処理を遂行するための電子装置
CN111654609B (zh) 一种实现摄像机低功耗的控制方法、摄像机
CN110572563B (zh) 一种调制权值矩阵确定方法、装置及电子设备
US9704273B2 (en) Image processing device, method, and imaging device
US20200007732A1 (en) Image processing method and electronic device
CN107682646B (zh) 基于dmd的高动态范围空域快速调光方法及系统
US20110149131A1 (en) Photographing Apparatus and Photographing Method
US20230020060A1 (en) Imaging support apparatus, imaging apparatus, imaging support method, and program
US9942459B2 (en) Method and system for image quality learning with solid state image sensors
CN113347352B (zh) 拍摄参数调整方法及装置、电子设备、计算机存储介质
CN106027917A (zh) 摄像设备及其控制方法
Fernández-Berni et al. Single-exposure HDR technique based on tunable balance between local and global adaptation
US9288461B2 (en) Apparatus and method for processing image, and computer-readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant