CN115696027A - 拍摄方法、装置、控制器、设备和计算机可读存储介质 - Google Patents
拍摄方法、装置、控制器、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN115696027A CN115696027A CN202110828028.4A CN202110828028A CN115696027A CN 115696027 A CN115696027 A CN 115696027A CN 202110828028 A CN202110828028 A CN 202110828028A CN 115696027 A CN115696027 A CN 115696027A
- Authority
- CN
- China
- Prior art keywords
- brightness
- preview image
- target sub
- shooting
- regions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例提供了一种拍摄方法、装置、控制器、设备和计算机可读存储介质，包括：获取当前场景的预览图像；对预览图像进行特征提取，得到预览图像的亮度特征信息；将亮度特征信息输入至策略生成模型，得到曝光策略，其中，策略生成模型由神经网络根据样本图像所对应的亮度特征信息训练得到；基于曝光策略对当前场景进行拍摄。在预览期间会提取当前场景的预览图像的亮度特征信息并输入至训练好的策略生成模型，由于策略生成模型是由神经网络根据样本图像所对应的亮度特征信息训练得到的，因此，策略生成模型会响应输出当前场景的预览图像所对应的曝光策略，进而可以在拍摄时采用策略生成模型输出的曝光策略进行拍摄处理，从而能够提升拍摄质量。
Description
技术领域
本发明实施例涉及但不限于拍摄技术领域，尤其涉及一种拍摄方法、拍摄装置、控制器、拍摄设备和计算机可读存储介质。
背景技术
目前，受制于传感器的物理特性，例如动态范围、噪声等，当拍摄室外逆光场景时，有些区域需要增强，有的区域需要减弱，因此可以通过HDR(High-Dynamic Range,高动态光照渲染)处理获得理想的宽动态范围的图像。现有的处理技术是使用多组曝光合成，压制高亮场景亮度并提升低亮场景亮度，因此，现有的处理技术需要有准确的曝光参数。但是，现有的HDR的触发机制多是利用整幅亮度的统计特种、决策数或预设阈值判断，均在识别场景能力有限，并且识别场景后不能精确指导曝光参数，从而影响拍摄质量。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供了一种拍摄方法、拍摄装置、控制器、拍摄设备和计算机可读存储介质，能够得到更准确的曝光策略，从而提升拍摄质量。
第一方面，本发明实施例提供了一种拍摄方法，包括：获取当前场景的预览图像；对所述预览图像进行特征提取，得到所述预览图像的亮度特征信息；将所述亮度特征信息输入至策略生成模型，得到曝光策略，其中，所述策略生成模型由神经网络根据样本图像所对应的亮度特征信息训练得到；基于所述曝光策略对所述当前场景进行拍摄。
第二方面，本发明实施例还提供了一种拍摄装置，包括处理器、存储器、拍摄部件和显示屏幕，所述处理器分别连接至所述存储器、所述拍摄部件和所述显示屏幕，所述处理器包括特征提取单元和策略生成单元，所述拍摄部件包括光学摄像头；所述拍摄部件用于通过所述光学摄像头获取当前场景对应的预览图像；所述显示屏幕用于显示所述当前场景对应的所述预览图像；所述特征提取单元用于获取所述显示屏幕所显示的所述预览图像，并对所述预览图像进行特征提取，得到所述预览图像的亮度特征信息；所述策略生成单元用于将所述亮度特征信息输入至所述处理器中预先训练好的策略生成模型，得到曝光策略，其中，所述策略生成模型由神经网络根据样本图像所对应的亮度特征信息训练得到；所述拍摄部件还用于获取所述曝光策略，并基于所述曝光策略通过所述光学摄像头对所述当前场景进行拍摄。
第三方面，本发明实施例还提供了一种控制器，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的拍摄方法。
第四方面，本发明实施例还提供了一种拍摄设备，包括如上述第二方面所述的拍摄装置或者如上述第三方面所述的控制器。
第五方面，本发明实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述第一方面所述的拍摄方法。
本发明实施例包括：首先获取当前场景的预览图像，然后对所述预览图像进行特征提取，得到所述预览图像的亮度特征信息，接着将所述亮度特征信息输入至策略生成模型，得到曝光策略，其中，所述策略生成模型由神经网络根据样本图像所对应的亮度特征信息训练得到，最后基于上述的曝光策略对所述当前场景进行拍摄。根据本发明实施例的技术方案，在拍摄的预览期间，本发明实施例会提取当前场景的预览图像的亮度特征信息并输入至训练好的策略生成模型，由于本发明实施例的策略生成模型是由神经网络根据样本图像所对应的亮度特征信息训练得到的，因此，策略生成模型会响应输出当前场景的预览图像所对应的曝光策略，进而可以在按下拍摄按键时采用策略生成模型输出的曝光策略进行拍摄处理，由于策略生成模型输出的曝光策略的准确性更高，因此本发明实施例能够提升拍摄质量。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1是本发明一个实施例提供的用于执行拍摄方法的系统架构平台的示意图；
图2是本发明一个实施例提供的拍摄方法的流程图；
图3是本发明一个实施例提供的拍摄方法中提取亮度特征信息的流程图；
图4是本发明一个实施例提供的拍摄方法中获取亮度位置权重的流程图；
图5是本发明一个实施例提供的拍摄方法中获取亮度占比权重的流程图；
图6是本发明一个实施例提供的拍摄方法中根据亮度位置权重、亮度占比权重和亮度区间比例得到亮度特征信息的流程图；
图7是本发明一个实施例提供的曝光策略组合示意图；
图8是本发明一个实施例提供的神经网络模型的构造示意图；
图9是本发明一个实施例提供的拍摄装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在相关技术中，受制于传感器的物理特性，例如动态范围、噪声等，当拍摄室外逆光场景时，有些区域需要增强，有的区域需要减弱，因此可以通过HDR处理获得理想的宽动态范围的图像。现有的处理技术是使用多组曝光合成，压制高亮场景亮度并提升低亮场景亮度，因此，现有的处理技术需要有准确的曝光参数。但是，现有的HDR的触发机制多是利用整幅亮度的统计特种、决策数或预设阈值判断，均在识别场景能力有限，并且识别场景后不能精确指导曝光参数，从而影响拍摄质量。
需要说明的是，现有的多帧动态计算，单帧场景决策树识别，整幅特征亮度识别HDR场景，不够准确，不能精确指导HDR时多曝光参数的选择。
基于上述情况，本发明实施例提供了一种拍摄方法、拍摄装置、控制器、拍摄设备和计算机可读存储介质，该拍摄方法包括但不限于如下步骤：获取当前场景的预览图像；对预览图像进行特征提取，得到预览图像的亮度特征信息；将亮度特征信息输入至策略生成模型，得到曝光策略，其中，策略生成模型由神经网络根据样本图像所对应的亮度特征信息训练得到；基于曝光策略对当前场景进行拍摄。根据本发明实施例的技术方案，在拍摄的预览期间，本发明实施例会提取当前场景的预览图像的亮度特征信息并输入至训练好的策略生成模型，由于本发明实施例的策略生成模型是由神经网络根据样本图像所对应的亮度特征信息训练得到的，因此，策略生成模型会响应输出当前场景的预览图像所对应的曝光策略，进而可以在按下拍摄按键时采用策略生成模型输出的曝光策略进行拍摄处理，由于策略生成模型输出的曝光策略的准确性更高，因此本发明实施例能够提升拍摄质量。
下面结合附图，对本发明实施例作进一步阐述。
如图1所示，图1是本发明一个实施例提供的用于执行拍摄方法的系统架构平台的示意图。
在图1的示例中，该系统架构平台100设置有处理器110和存储器120，其中，处理器110和存储器120可以通过总线或者其他方式连接，图1中以通过总线连接为例。
存储器120作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器120可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器120可选包括相对于处理器110远程设置的存储器120，这些远程存储器可以通过网络连接至该系统架构平台。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员可以理解的是，该系统架构平台可以应用于3G通信网络系统、LTE通信网络系统、5G通信网络系统以及后续演进的移动通信网络系统等，本实施例对此并不作具体限定。
本领域技术人员可以理解的是，图1中示出的系统架构平台并不构成对本发明实施例的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
在图1所示的系统架构平台中，处理器110可以调用储存在存储器120中的拍摄程序，从而执行拍摄方法。
基于上述系统架构平台，下面提出本发明的拍摄方法的各个实施例。
如图2所示，图2是本发明一个实施例提供的拍摄方法的流程图，该方法包括但不限于有步骤S100、步骤S200、步骤S300和步骤S400。
步骤S100、获取当前场景的预览图像；
步骤S200、对预览图像进行特征提取，得到预览图像的亮度特征信息；
步骤S300、将亮度特征信息输入至策略生成模型，得到曝光策略，其中，策略生成模型由神经网络根据样本图像所对应的亮度特征信息训练得到；
步骤S400、基于曝光策略对当前场景进行拍摄。
具体地，本发明实施例在拍摄的预览期间，会提取当前场景的预览图像的亮度特征信息并输入至训练好的策略生成模型，由于本发明实施例的策略生成模型是由神经网络根据样本图像所对应的亮度特征信息训练得到的，因此，策略生成模型会响应输出当前场景的预览图像所对应的曝光策略，进而可以在按下拍摄按键时采用策略生成模型输出的曝光策略进行拍摄处理，由于策略生成模型输出的曝光策略的准确性更高，因此本发明实施例能够提升拍摄质量。
值得注意的是，关于上述步骤S100中的获取当前场景的预览图像，该预览图像是指在按下快门之前拍摄设备的屏幕所显示的图像。示例性地，预览图像是指用户拿着拍摄设备对着景色并且没有按下拍摄按键之前拍摄设备的屏幕所显示的图像。
另外，值得注意的是，关于上述的策略生成模型，为预设的已经训练好的模型。在训练期间，本发明实施例会将提取样本图像的亮度特征信息，并作为神经网络的输入，使神经网络输出对应的曝光策略。当训练好策略生成模型之后，若将当前场景的预览图像的亮度特征信息输入至策略生成模型，策略生成模型会响应输出更加准确的曝光策略。
可以理解的是，关于上述样本图像的数量，可以为多张。
另外，可以理解的是，关于上述的曝光策略，可以为多个曝光参数。
另外，可以理解的是，关于上述的神经网络，是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
另外，如图3所示，图3是本发明一个实施例提供的拍摄方法中提取亮度特征信息的流程图，关于上述步骤S200，包括但不限于有步骤S410、步骤S420、步骤S430和步骤S440。
步骤S410、对预览图像进行划分以得到多个子区域，并从多个子区域中确定多个目标子区域；
步骤S420、对于每个目标子区域，根据目标子区域的亮度值计算出累积亮度分布数值，并根据累积亮度分布数值和预设亮度阈值得到目标子区域的亮度区间比例；
步骤S430、获取每个目标子区域的亮度位置权重；
步骤S440、根据所有目标子区域的亮度位置权重和亮度区间比例，计算得到预览图像的亮度特征信息。
具体地，本发明实施例在提取过程中，会对预览图像进行划分，从而得到多个子区域，并从多个子区域中选择一定数量的目标子区域；接着计算每个目标子区域的累积亮度分布数值，即与高低亮度的CDF(cumulative distribution function，累积分布函数)值；由于本发明实施例会设置有预设亮度阈值，该预设亮度阈值表征一定的亮度区间，因此，本发明实施例会根据累积亮度分布数值和预设亮度阈值得到目标子区域的亮度区间比例，即在每个亮度区间的占比；接着，由于不同的目标子区域的位置不同，其距离曝光中心的距离也不同，因此，本发明实施例还会获取目标子区域的亮度位置权重；最后，本发明实施例会根据所有目标子区域的亮度位置权重和亮度区间比例，计算得到预览图像的亮度特征信息，从而实现预览图像的亮度特征信息的提取。
需要说明的是，本发明实施例通过计算当前场景对应的预览图像的不同区域的亮度分布情况，提取亮度特征值作为神经网络的输入，将标定的场景分类作为神经网络的输出，预训练完毕后网络结构，可以有效地解决需要曝光融合场景中的曝光参数的选择。
值得注意的是，关于上述的预设亮度阈值，可以包括但不限于预设高亮阈值和预设低亮阈值，对应地，由于存在不同范围的预设亮度阈值，因此，对于每个目标子区域，本发明实施例所得到的亮度区间比例也对应包括但不限于高亮区间比例和低亮区间比例；对应地，由于存在高亮区间比例和低亮区间比例，因此后续所得到的亮度特征信息也对应包括高亮区间特征信息和低亮区间特征信息。
具体地，当预设亮度阈值包括预设高亮阈值和预设低亮阈值，关于上述步骤S420中的根据累积亮度分布数值和预设亮度阈值得到目标子区域的亮度区间比例，包括：根据累积亮度分布数值和预设高亮阈值得到目标子区域的高亮区间比例，以及根据累积亮度分布数值和预设低亮阈值得到目标子区域的低亮区间比例；
另外，对应地，关于上述步骤S440中的根据所有目标子区域的亮度位置权重和亮度区间比例，计算得到预览图像的亮度特征信息，包括：根据所有目标子区域的亮度位置权重和高亮区间比例计算得到预览图像的高亮区间特征信息，以及根据所有目标子区域的亮度位置权重和低亮区间比例计算得到预览图像的低亮区间特征信息。
另外，值得注意的是，目标子区域的数量小于或等于子区域的数量，具体地，子区域的数量和目标子区域的数量可以一致，或者，子区域的数量和目标子区域的数量可以不一致。
具体地，当子区域的数量和目标子区域的数量为一致时，所划分的子区域全部均为目标子区域，因此，关于上述的亮度位置权重可以是指预览图像的全局亮度位置权重。
又或者，当子区域的数量和目标子区域的数量为不一致时，即目标子区域的数量少于子区域的数量时，即所划分的子区域中只有部分子区域为目标子区域，因此，关于上述的亮度位置权重可以是指预览图像的局部亮度位置权重。
另外，当目标子区域的数量小于子区域的数量时，目标子区域位于预览图像的中心位置或者位于预览图像的四周位置，又或者，本发明实施例可以根据用户的需求选择所感兴趣的位置。
另外，如图4所示，图4是本发明一个实施例提供的拍摄方法中获取亮度位置权重的流程图，关于上述步骤S430，包括但不限于有步骤S510和步骤S520。
步骤S510、获取目标子区域和预览图像中预设位置之间的距离信息；
步骤S520、根据距离信息计算得到每个目标子区域的亮度位置权重。
具体地，由于不同的目标子区域的位置不同，其距离曝光中心的距离也不同，因此，本发明实施例还会获取目标子区域和预览图像中预设位置之间的距离信息，并根据距离信息计算得到每个目标子区域的亮度位置权重。
可以理解的是，关于上述的预设位置，可以但不限于是指曝光中心的位置或者预览图像的中心位置。
另外，如图5所示，图5是本发明一个实施例提供的拍摄方法中获取亮度占比权重的流程图，本发明实施例的拍摄方法还包括但不限于有步骤S600。
步骤S600、根据目标子区域的亮度区间比例，计算得到亮度占比权重。
具体地，本发明实施例还会根据亮度占比数值即亮度区间比例来调整权重值。
需要说明的是，相比于上述的亮度位置权重，这里所提及的亮度占比权重用于曝光策略的微调，而上述的亮度位置权重用于曝光策略的粗调。
基于图5，如图6所示，图6是本发明一个实施例提供的拍摄方法中根据亮度位置权重、亮度占比权重和亮度区间比例得到亮度特征信息的流程图，关于上述步骤S440，包括但不限于有步骤S700。
步骤S700、根据所有目标子区域的亮度位置权重、亮度占比权重和亮度区间比例，计算得到预览图像的亮度特征信息。
具体地，本发明实施例在输入至策略生成模型时，还可以将亮度占比权重也一并输入至策略生成模型，由于亮度占比权重能够起到曝光策略的微调作用，因此，步骤S700中策略生成模型所输出的亮度特征信息会更加准确。
基于图2至图6中的方法步骤，在子区域的数量为M*N的情况下，目标子区域的数量为i*j，其中，i≤M，j≤N；累积亮度分布数值为cdfi,j,i∈[1,M],j∈[1,N]；当预设高亮阈值为[lum3,lum4]，预设低亮阈值为[lum1,lum2]，其中，lum4>lum3≥lum2>lum1。
具体地，高亮区间比例由如下公式得到：Li,j＝cdfi,j(lum4)-cdfi,j(lum3)，其中，Li,j为高亮区间比例；
低亮区间比例由如下公式得到：Di,j＝cdfi,j(lum2)-cdfi,j(lum1)，其中，Di,j为低亮区间比例。
另外，亮度位置权重可以由如下公式得到：
其中，Wd(i,j)为亮度位置权重，δ1为可调参数。
另外，亮度占比权重可以由如下公式得到：
其中，Wa(lum)为亮度位置权重，δ2和u为可调参数。
另外，高亮区间特征信息可以由如下公式得到：
其中，vlk为高亮区间特征信息；
另外，低亮区间特征信息可以由如下公式得到：
其中，vdk为低亮区间特征信息。
基于图2至图6中的方法步骤以及上述的推导公式，本发明实施例提供了一个整体的实施方案，具体如下：
步骤一，获取大小为(w,h)图像的亮度值，Lumi,j表示位置在(i,j)处的亮度：
Lumi,j＝Max(Ri,j,Gi,j,Bi,j),i≤h,j≤w
步骤二，将获得的亮度图像划分为M*N个子区域，分别计算各个子区域的累积亮度分布数值：cdfm,n,m∈[1,M],n∈[1,N]。设置预设低亮阈值：[lum1,lum2]，设置预设高亮阈值：[lum3,lum4]，其中，lum4>lum3≥lum2>lum1。
获得各个子区域的高亮比例，即高亮区间比例：Lm,n＝cdfm,n(lum4)-cdfm,n(lum3)
获得各个子区域的低亮比例，即低亮区间比例：Dm,n＝cdfm,n(lum2)-cdfm,n(lum1)
步骤三，获得待统计区域的权重：
全局亮度权重Wd，即全局亮度位置权重Wd，根据距离中心的远近调整权重，权重示例如下但不限于如下形式：
其中，δ1为可调参数，m≤M,n≤N。
占比权重Wa，即亮度占比权重Wa，根据亮度占比数值调整权重值，权重示例如下但不限于如下形式：
其中，Wa(lum)为亮度位置权重，δ2和u为可调参数，m≤M,n≤N。
需要说明的是，权重也可用表中存储，计算时采用LUT(Look-Up-Table，显示查找表)方式实现，以简化计算及增加效率。
局部亮度权重Wd:分配不同位置子区域中权重数值，得到ROI(region ofinterest，感兴趣区域)区域：Wd(i,j)。
示例性地，例如中心区域Wd(i,j)，如下表1的形式分布：
| 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 0 | 0 | 1 | 1 | 1 | 0 | 0 |
| 0 | 0 | 1 | 1 | 1 | 0 | 0 |
| 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 0 | 0 | 0 | 0 | 0 | 0 | 0 |
表1
又或者，示例性地，例如四周区域Wd(i,j)，如下表2的类似形式：
| 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| 1 | 1 | 0 | 0 | 0 | 1 | 1 |
| 1 | 1 | 0 | 0 | 0 | 1 | 1 |
| 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| 1 | 1 | 1 | 1 | 1 | 1 | 1 |
表2
又或者，其他边角，对角等局部区域采用类似的方法，从而得到不同的局部特征权重表。
步骤四，通过加权平均得到图像的亮度特征分布值，即亮度特征信息。
通过局部或者全局的权重获得整幅图像的2k个特征值(k>1),其中亮区和暗区两个权重Wd,Wa可以不同，可以通过如下计算出亮区和暗区权重相同：
亮区特征值，即高亮区间特征信息：
暗区特征值，即低亮区间特征信息：
需要说明的是，计算时权重也可用LUT方式实现，从而得到一组亮度特征信息组成的2k维向量：
vecin＝vector(vl1,vd1,...,vlk,vdk)
步骤五，用计算得到的特征向量输入训练好的神经网络，得到准确的曝光策略，以启动HDR算法并合成多个图片。
将曝光策略分类为对应的输出值，通过实际拍摄照片，标定照片在HDR算法中需要的曝光策略值。如曝光策略输出为一个L维向量：vecout＝vector(exp1,...,expL)
关于曝光参数的选择方法，示例性地，将HDR合成需要三张不同曝光参数下的照片，在正常曝光的照片外，将另外的高低曝光参数组合，作为神经网络的输出，例如将低曝EV-分为三挡
将高曝EV+分为三档：
其中，曝光策略组合可以如图7所示，图7是本发明一个实施例提供的曝光策略组合示意图。
具体地，本发明实施例可以选择对应样本照片所需的曝光策略，作为网络的输出，之后训练网络得到最优结构。
当HDR融合不局限于三种曝光程度(正常，低曝，高曝)时，每增加一种需要融合的照片，就增加一种曝光设置，示例性地，当五张照片融合时，可以将低曝光细化：在原有的三融合基础上，再增加两种曝光设置：EV--＝[ev--1,ev--2,ev--3,...]，EV++＝[ev++1,ev++2,ev++3,...]。
可以理解的是，上述所用的神经网络模型构造可以参考图8所示的形式。即在输入层与输出层之间包括一个或多个隐藏层来更好的进行线性划分或提高回归效果等。在其他较佳实施方式中，也可以使用其他任意适用的神经网络模型。
当输入的特征特征向量及输出值较多时，根据需要调整网络结果，例如增减网络节点，增加网络层级等，来满足输出满足需求。在拍摄时，训练好的网络在终端内通过硬件支持或者软件固化的方式运行，预览时，计算当前场景的亮度特征数值，输入网络中计算得到启动HDR需要的曝光参数，生效后，拍摄照片完成HDR的照片融合。
关于本发明实施例的拍摄方法，通过子区域统计整幅画面的亮度分布，计算子区域的CDF值获得高亮及低亮比例值，设计了几种权重系数获得当前场景的亮度分布特征：通过距离中心远近的不同获得距离权重，获取全局亮低亮度分布特征；通过亮度占比的不同调整不同亮度的权重，获取亮低亮度分布特征；调整权重分布中间为1，四周为0，获得局部的高低亮度分布特征值；调整权重分布中间为0，四周为1，获得局部的高低亮度分布特征值。
根据标定的图片，将场景的逆光程度或者HDR的曝光组合作为输出值，训练网络，得到网络结构。拍摄时，通过几种权重得到全局或者局部亮度特征的值输入已经训练好的网络中，从而得到逆光的程度或者HDR触发的所需的曝光参数。
另外，需要说明的是，关于策略生成模型的训练过程和当前场景的拍摄过程，其方法步骤均相类似。
具体地，策略生成模型的训练过程如下：获取多张样本图像，并对样本图像进行划分以得到多个子区域，并从多个子区域中确定多个目标子区域；然后，对于样本图像中每个目标子区域，根据样本图像中的目标子区域的亮度值计算出累积亮度分布数值，并根据累积亮度分布数值和预设高亮阈值得到目标子区域的高亮区间比例，以及根据累积亮度分布数值和预设低亮阈值得到目标子区域的低亮区间比例；接着，获取目标子区域和样本图像中预设位置之间的距离信息，并根据距离信息计算得到每个目标子区域的亮度位置权重；接着，根据目标子区域的亮度区间比例，计算得到亮度占比权重；接着，根据所有目标子区域的亮度位置权重、亮度占比权重和亮度区间比例，计算得到样本图像的亮度特征信息；最后，用计算得到的亮度特征信息对神经网络进行训练，用曝光参数组合对应的类别向量作为网络的输出，从而得到逆光的程度或HDR触发所需的曝光参数。
基于上述实施例的拍摄方法，下面提出本发明的拍摄装置的各个实施例。
如图9所示，图9是本发明一个实施例提供的拍摄装置的结构示意图，该拍摄装置200包括但不限于处理器110、存储器120、拍摄部件130和显示屏幕140，其中，处理器110分别连接至存储器120、拍摄部件130和显示屏幕140，处理器110包括但不限于有特征提取单元111和策略生成单元112，处理器110可以调用储存在存储器120中的拍摄程序，从而执行拍摄方法，拍摄部件130包括但不限于有光学摄像头131。
具体地，拍摄部件130通过光学摄像头131对准要拍摄的当前场景，并将当前场景对应的预览图像显示在显示屏幕140上；接着，处理器110中的特征提取单元111能够获取显示屏幕140所显示的预览图像，并对预览图像进行特征提取，得到预览图像的亮度特征信息；接着，处理器110中的策略生成单元112会将亮度特征信息输入至处理器110中预先训练好的策略生成模型，得到曝光策略，其中，策略生成模型由神经网络根据样本图像所对应的亮度特征信息训练得到；最后，拍摄部件130会获取得到的曝光策略，并基于曝光策略通过光学摄像头131对当前场景进行拍摄。
值得注意的是，本发明实施例的拍摄装置的具体实施方式和技术效果，可以参照上述实施例的拍摄方法的具体实施方式和技术效果。
基于上述实施例的拍摄方法，下面提出本发明的控制器、拍摄设备和计算机可读存储介质的各个实施例。
另外，本发明的一个实施例提供了一种控制器，该控制器包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。
处理器和存储器可以通过总线或者其他方式连接。
需要说明的是，本实施例中的控制器，可以对应为包括有如图1所示实施例中的存储器和处理器，能够构成图1所示实施例中的系统架构平台的一部分，两者属于相同的发明构思，因此两者具有相同的实现原理以及有益效果，此处不再详述。
实现上述实施例的拍摄方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例的拍摄方法，例如，执行以上描述的图2中的方法步骤S100至S400、图3中的方法步骤S410至S440、图4中的方法步骤S510至S520、图5中的方法步骤S600、图6中的方法步骤S700。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，本发明的一个实施例提供了一种拍摄拍摄设备，包括上述实施例的拍摄装置或者上述实施例的控制器。
具体地，本发明实施例的拍摄拍摄设备可以是终端设备，例如手机、平板电脑、可穿戴拍摄设备等。其中，拍摄拍摄设备自身可以携带有摄像头，用于拍摄图像。
还应当理解的是，在本发明其他一些实施例中，上述实施例的拍摄拍摄设备也可以不是终端拍摄设备，而是能够实现拍摄功能的台式计算机或者服务器。
此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，当计算机可执行指令用于执行上述的拍摄方法，例如，执行以上描述的图2中的方法步骤S100至S400、图3中的方法步骤S410至S440、图4中的方法步骤S510至S520、图5中的方法步骤S600、图6中的方法步骤S700。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。
Claims (14)
1.一种拍摄方法，包括：
获取当前场景的预览图像；
对所述预览图像进行特征提取，得到所述预览图像的亮度特征信息；
将所述亮度特征信息输入至策略生成模型，得到曝光策略，其中，所述策略生成模型由神经网络根据样本图像所对应的亮度特征信息训练得到；
基于所述曝光策略对所述当前场景进行拍摄。
2.根据权利要求1所述的拍摄方法，其特征在于，所述对所述预览图像进行特征提取，得到所述预览图像的亮度特征信息，包括：
对所述预览图像进行划分以得到多个子区域，并从所述多个子区域中确定多个目标子区域；
对于每个所述目标子区域，根据所述目标子区域的亮度值计算出累积亮度分布数值，并根据所述累积亮度分布数值和预设亮度阈值得到所述目标子区域的亮度区间比例；
获取每个所述目标子区域的亮度位置权重；
根据所有所述目标子区域的所述亮度位置权重和所述亮度区间比例，计算得到所述预览图像的亮度特征信息。
3.根据权利要求2所述的拍摄方法，其特征在于，所述预设亮度阈值包括预设高亮阈值和预设低亮阈值；
对应地，所述根据所述累积亮度分布数值和预设亮度阈值得到所述目标子区域的亮度区间比例，包括：根据所述累积亮度分布数值和所述预设高亮阈值得到所述目标子区域的高亮区间比例，以及根据所述累积亮度分布数值和所述预设低亮阈值得到所述目标子区域的低亮区间比例；
对应地，所述根据所有所述目标子区域的所述亮度位置权重和所述亮度区间比例，计算得到所述预览图像的亮度特征信息，包括：根据所有所述目标子区域的所述亮度位置权重和所述高亮区间比例计算得到所述预览图像的高亮区间特征信息，以及根据所有所述目标子区域的所述亮度位置权重和所述低亮区间比例计算得到所述预览图像的低亮区间特征信息。
4.根据权利要求2所述的拍摄方法，其特征在于，每个所述目标子区域的亮度位置权重由如下得到：
获取所述目标子区域和所述预览图像中预设位置之间的距离信息；
根据所述距离信息计算得到每个所述目标子区域的所述亮度位置权重。
5.根据权利要求3所述的拍摄方法，其特征在于，所述拍摄方法还包括：根据所述目标子区域的亮度区间比例，计算得到亮度占比权重；
对应地，所述根据所有所述目标子区域的所述亮度位置权重和所述亮度区间比例，计算得到所述预览图像的亮度特征信息，包括：
根据所有所述目标子区域的所述亮度位置权重、所述亮度占比权重和所述亮度区间比例，计算得到所述预览图像的亮度特征信息。
6.根据权利要求5所述的拍摄方法，其特征在于，在所述子区域的数量为M*N的情况下，所述目标子区域的数量为i*j，其中，i≤M，j≤N；
所述累积亮度分布数值为cdfi,j,i∈[1,M],j∈[1,N]；当预设高亮阈值为[lum3,lum4]，所述预设低亮阈值为[lum1,lum2]，其中，lum4>lum3≥lum2>lum1；
所述高亮区间比例由如下公式得到：Li,j＝cdfi,j(lum4)-cdfi,j(lum3)，其中，所述Li,j为所述高亮区间比例；
所述低亮区间比例由如下公式得到：Di,j＝cdfi,j(lum2)-cdfi,j(lum1)，其中，所述Di,j为所述低亮区间比例。
7.根据权利要求6所述的拍摄方法，其特征在于，所述亮度位置权重由如下公式得到：
其中，所述Wd(i,j)为所述亮度位置权重，所述δ1为可调参数。
8.根据权利要求7所述的拍摄方法，其特征在于，所述亮度占比权重由如下公式得到：
其中，所述Wa(lum)为所述亮度位置权重，所述δ2和所述u为可调参数。
9.根据权利要求8所述的拍摄方法，其特征在于，所述高亮区间特征信息由如下公式得到：
其中，所述vlk为所述高亮区间特征信息；
所述低亮区间特征信息由如下公式得到：
其中，所述vdk为所述低亮区间特征信息。
10.根据权利要求2至9中任意一项所述的拍摄方法，其特征在于，当所述目标子区域的数量小于所述子区域的数量，所述目标子区域位于所述预览图像的中心位置或者位于所述预览图像的四周位置。
11.一种拍摄装置，其特征在于，包括处理器、存储器、拍摄部件和显示屏幕，所述处理器分别连接至所述存储器、所述拍摄部件和所述显示屏幕，所述处理器包括特征提取单元和策略生成单元，所述拍摄部件包括光学摄像头；
所述拍摄部件用于通过所述光学摄像头获取当前场景对应的预览图像；
所述显示屏幕用于显示所述当前场景对应的所述预览图像；
所述特征提取单元用于获取所述显示屏幕所显示的所述预览图像，并对所述预览图像进行特征提取，得到所述预览图像的亮度特征信息；
所述策略生成单元用于将所述亮度特征信息输入至所述处理器中预先训练好的策略生成模型，得到曝光策略，其中，所述策略生成模型由神经网络根据样本图像所对应的亮度特征信息训练得到；
所述拍摄部件还用于获取所述曝光策略，并基于所述曝光策略通过所述光学摄像头对所述当前场景进行拍摄。
12.一种控制器，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至10中任意一项所述的拍摄方法。
13.一种拍摄设备，其特征在于，包括如权利要求11所述的拍摄装置或者如权利要求12所述的控制器。
14.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至10中任意一项所述的拍摄方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110828028.4A CN115696027A (zh) | 2021-07-22 | 2021-07-22 | 拍摄方法、装置、控制器、设备和计算机可读存储介质 |
| PCT/CN2022/099221 WO2023000878A1 (zh) | 2021-07-22 | 2022-06-16 | 拍摄方法、装置、控制器、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110828028.4A CN115696027A (zh) | 2021-07-22 | 2021-07-22 | 拍摄方法、装置、控制器、设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115696027A true CN115696027A (zh) | 2023-02-03 |
Family
ID=84979817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110828028.4A Pending CN115696027A (zh) | 2021-07-22 | 2021-07-22 | 拍摄方法、装置、控制器、设备和计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115696027A (zh) |
| WO (1) | WO2023000878A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116193264A (zh) * | 2023-04-21 | 2023-05-30 | 中国传媒大学 | 基于曝光参数的摄像机调节方法及系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2942047B2 (ja) * | 1991-03-15 | 1999-08-30 | シャープ株式会社 | ビデオカメラ |
| JPH0534762A (ja) * | 1991-07-25 | 1993-02-12 | Sanyo Electric Co Ltd | オートアイリス機能付きカメラ |
| JP3367975B2 (ja) * | 1992-01-14 | 2003-01-20 | シャープ株式会社 | オートアイリス回路 |
| JPH06326919A (ja) * | 1993-05-13 | 1994-11-25 | Sanyo Electric Co Ltd | 自動露出調節装置 |
| JPH09281544A (ja) * | 1996-04-16 | 1997-10-31 | Nikon Corp | カメラの測光装置 |
| JP4798446B2 (ja) * | 2006-08-31 | 2011-10-19 | Ｎｋワークス株式会社 | 撮影画像補正方法及び撮影画像補正モジュール |
| JP6562770B2 (ja) * | 2015-08-24 | 2019-08-21 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
| CN111447405B (zh) * | 2019-01-17 | 2021-10-29 | 杭州海康威视数字技术股份有限公司 | 一种针对视频监控的曝光方法及装置 |
| CN111654594B (zh) * | 2020-06-16 | 2022-05-17 | Oppo广东移动通信有限公司 | 图像拍摄方法、图像拍摄装置、移动终端及存储介质 |
-
2021
- 2021-07-22 CN CN202110828028.4A patent/CN115696027A/zh active Pending
-
2022
- 2022-06-16 WO PCT/CN2022/099221 patent/WO2023000878A1/zh active Application Filing
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116193264A (zh) * | 2023-04-21 | 2023-05-30 | 中国传媒大学 | 基于曝光参数的摄像机调节方法及系统 |
| CN116193264B (zh) * | 2023-04-21 | 2023-06-23 | 中国传媒大学 | 基于曝光参数的摄像机调节方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023000878A1 (zh) | 2023-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104301624B (zh) | 一种图像拍摄亮度控制方法及装置 | |
| CN110445988B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP6395810B2 (ja) | 動きゴーストフィルタリングのための基準画像選択 | |
| CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN109862282B (zh) | 人物图像处理方法和装置 | |
| CN101527860B (zh) | 白平衡控制设备及其控制方法和摄像设备 | |
| CN108337445B (zh) | 拍照方法、相关设备及计算机存储介质 | |
| CN101877765B (zh) | 图像变换设备及控制图像变换设备操作的方法 | |
| JP6218389B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN108616689B (zh) | 基于人像的高动态范围图像获取方法、装置及设备 | |
| JP2007067907A (ja) | 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム | |
| CN105635565A (zh) | 一种拍摄方法及设备 | |
| CN106357987A (zh) | 一种曝光方法和装置 | |
| WO2012098768A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置 | |
| CN104144298A (zh) | 一种宽动态图像合成方法 | |
| CN111327824A (zh) | 拍摄参数的选择方法、装置、存储介质及电子设备 | |
| KR20110043833A (ko) | 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치 | |
| CN104823437A (zh) | 一种图片处理方法、装置 | |
| CN112653845B (zh) | 曝光控制方法、装置、电子设备及可读存储介质 | |
| CN103797782A (zh) | 图像处理装置、程序 | |
| CN112312035B (zh) | 曝光参数调节方法、曝光参数调节装置和电子设备 | |
| CN114531551B (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| EP3363193B1 (en) | Device and method for reducing the set of exposure times for high dynamic range video imaging | |
| WO2023000878A1 (zh) | 拍摄方法、装置、控制器、设备和计算机可读存储介质 | |
| CN113989387A (zh) | 相机拍摄参数调整方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |