CN113824884B - 拍摄方法与装置、摄影设备及计算机可读存储介质 - Google Patents
拍摄方法与装置、摄影设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113824884B CN113824884B CN202111222007.4A CN202111222007A CN113824884B CN 113824884 B CN113824884 B CN 113824884B CN 202111222007 A CN202111222007 A CN 202111222007A CN 113824884 B CN113824884 B CN 113824884B
- Authority
- CN
- China
- Prior art keywords
- photographing
- shooting
- reference image
- image
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013136 deep learning model Methods 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims description 36
- 230000000875 corresponding effect Effects 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 15
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种拍摄方法、拍摄装置、摄影设备及非易失性计算机可读存储介质。拍摄方法包括：获取参考图像；将参考图像输入训练好的深度学习模型以获取参考图像对应的工作环境；根据工作环境设置摄影设备的工作模式；及根据设置的工作模式进行拍摄。本申请实施方式的拍摄方法、拍摄装置、摄影设备及非易失性计算机可读存储介质能够利用深度学习模型根据参考图像识别参考图像对应的工作环境，以判断出摄影设备当前处在的工作环境，以能够根据工作环境设置摄影设备的工作模式，使摄影设备的工作模式能够准确地适配摄影设备的实施拍摄画面。
Description
技术领域
本申请涉及摄影技术领域，特别涉及一种摄影设备的拍摄方法、拍摄装置、摄影设备及非易失性计算机可读存储介质。
背景技术
一些摄影设备采用光敏传感器确定当前工作环境的亮度信息，以便于对应调整调整摄影设备的工作模式、摄影相关的参数等。一些摄影设备采用软件模拟光敏传感器的效果判断当前工作环境的亮度信息，然而采用软件模拟光敏传感器需要采集的大量参数参与亮度判断，例如曝光量，曝光时间，红外光线强度，白平衡参数等等，通过拟合的方式确定这些参数与亮度之间的关系，判断亮度的准确度有限。并且，若摄影设备的镜头不同，则需要配置的参数也不同，需要重新进行调试，导致软件模拟的光敏传感器难以广泛适用于各种摄影设备。
发明内容
本申请实施方式提供了一种拍摄方法、拍摄装置、摄影设备及非易失性计算机可读存储介质。
本申请实施方式的拍摄方法包括：获取参考图像；将所述参考图像输入训练好的深度学习模型以获取所述参考图像对应的工作环境；根据所述工作环境设置摄影设备的工作模式；及根据设置的所述工作模式进行拍摄。
本申请实施方式的拍摄装置包括获取模块、深度学习模块、模式切换模块及拍摄模块。所述获取模块用于获取参考图像。所述深度学习模块用于将所述参考图像输入训练好的深度学习模型以获取工作环境。所述模式切换模块用于根据所述工作环境设置摄影设备的工作模式。所述拍摄模块用于根据设置的所述工作模式进行拍摄。
本申请实施方式的摄影设备包括设备本体、一个或多个处理器、存储器及一个或多个程序，其中，一个或多个所述程序被存储在所述存储器中，并且被一个或多个所述处理器执行，所述程序包括用于执行拍摄方法的指令。所述处理器用于执行本申请实施方式所述的拍摄方法。拍摄方法包括：获取参考图像；将所述参考图像输入训练好的深度学习模型以获取所述参考图像对应的工作环境；根据所述工作环境设置摄影设备的工作模式；及根据设置的所述工作模式进行拍摄。
本申请实施方式的一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器实现本申请实施方式所述的拍摄方法。拍摄方法包括：获取参考图像；将所述参考图像输入训练好的深度学习模型以获取所述参考图像对应的工作环境；根据所述工作环境设置摄影设备的工作模式；及根据设置的所述工作模式进行拍摄。
本申请实施方式的拍摄方法、拍摄装置、摄影设备及非易失性计算机可读存储介质能够能够
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的拍摄方法的流程示意图；
图2是本申请某些实施方式的摄影设备的结构示意图；
图3是本申请某些实施方式的拍摄装置的结构示意图；
图4是本申请某些实施方式的拍摄方法的流程示意图；
图5是本申请某些实施方式的拍摄方法的流程示意图；
图6是本申请某些实施方式的拍摄方法的流程示意图；
图7是本申请某些实施方式的拍摄方法的流程示意图；
图8是本申请某些实施方式的计算机可读存储介质与处理器的连接关系示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
一些摄影设备采用光敏传感器确定当前工作环境的亮度信息，以便于对应调整调整摄影设备的工作模式、摄影相关的参数等。然而，光敏传感器容易受外界环境影响，例如在强光、高温、低温环境下光敏传感器的准确度会受到影响，在背光或多光源的场景下，光敏传感器的准确度也会受到影响。一旦光敏传感器出现误判，会导致摄影设备误切换工作模式/误调整摄影参数，影响最终的成像质量。一些摄影设备采用软件模拟光敏传感器的效果判断当前工作环境的亮度信息，然而采用软件模拟光敏传感器需要采集的大量参数参与亮度判断，例如曝光量，曝光时间，红外光线强度，白平衡参数等等，通过拟合的方式确定这些参数与亮度之间的关系，判断亮度的准确度有限。并且，若摄影设备的镜头不同，则需要配置的参数也不同，需要重新进行调试，导致软件模拟的光敏传感器难以广泛适用于各种摄影设备。
本申请实施方式提供一种拍摄方法，通过卷积神经网络算法实现光敏的功能，自动识别摄影设备当前的工作环境中的亮度信息，以使摄影设备能够根据当前的工作环境选择合适的工作模式，获取高质量的图像。
请参阅图1，本申请实施方式的拍摄方法包括：
01：获取参考图像；
02：将参考图像输入训练好的深度学习模型以获取参考图像对应的工作环境；
03：根据工作环境设置摄影设备100的工作模式；及
04：根据设置的工作模式进行拍摄。
请结合图2，本申请实施方式还提供一种摄影设备100，摄影设备100包括设备本体40、一个或多个处理器30、存储器20；及一个或多个程序，其中，一个或多个程序被存储在存储器20中，并且被一个或多个处理器30执行，程序包括用于执行01至04任意一项的拍摄方法的指令。处理器30用于执行方法01、02、03及04，即处理器30用于获取参考图像；将参考图像输入训练好的深度学习模型以获取参考图像对应的工作环境；根据工作环境设置摄影设备100的工作模式；及根据设置的工作模式进行拍摄。
请结合图3，本申请实施方式还提供一种拍摄装置10，拍摄装置10可应用于摄影设备100。拍摄装置10包括获取模块11、深度学习模块12、模式切换模块13及拍摄模块14。获取模块11用于实现方法01。深度学习模块12用于实现方法02。模式切换模块13用于实现方法03。拍摄模块14用于实现方法04。即，获取模块11用于获取参考图像。深度学习模块12用于将参考图像输入训练好的深度学习模型以获取参考图像对应的工作环境。模式切换模块13用于根据工作环境设置摄影设备100的工作模式。拍摄模块14用于根据设置的工作模式进行拍摄。
其中，摄影设备100可以是手机、照相机、摄像机、平板电脑、显示设备、笔记本电脑、智能手表、头显设备、监控设备、游戏机、可移动平台等设备，在此不一一列举。如图2所示，本申请实施方式以摄影设备100是摄像机为例进行说明，可以理解，摄影设备100的具体形式并不限于摄像机。
深度学习模块12可以是可用于神经网络计算的芯片，例如CPU（centralprocessing unit，CPU）、GPU（graphics processing unit，GPU）、FPGA（FieldProgrammable Gate Array，FPGA）、ASIC（Application Specific Integrated Circuit，ASIC）等，在此不一一列举。
深度学习模型主要用于判断摄影设备100当前工作环境的光线强弱，以替代硬件光敏，降低硬件成本。在某些实施方式中，深度学习模型可以是卷积神经网络模型、循环神经网络模型、对抗神经网络模型、及深度信念网络模型等深度学习模型中的一种，或多种的组合，在此不作限制。输入深度学习模型的参考图像为摄影设备100在当前工作环境拍摄获取的图像，深度学习模型仅根据参考图像即可获取参考图像对应的工作环境，无需硬件设备采集环境信息，例如采集红外光强度、白平衡参数等信息，也无需获取摄影设备100的拍摄参数，例如获取曝光量、曝光时间等拍摄参数，对输入的要求简单，容易实现，同时能够避免环境信息、拍摄参数等数据不精确导致的对光线强弱判断不准确的问题。
在一些情况下，环境的光线强度与摄影设备100实际拍摄的图像亮度并非正相关。例如，在拍摄背光环境下，摄影设备100的实际拍摄画面比较亮，但光敏传感器可能处在较暗的光线下，如果根据传统的光敏传感器判断摄影设备100的工作环境，很可能判断摄影设备100处于低亮度的工作环境，导致摄影设备100进入低亮度的工作环境对应的工作模式。本申请的实施方式根据参考图像判断摄影设备100的工作环境，由于参考图像是摄影设备100的实际拍摄画面，因此根据参考图像判断出的工作环境能够很好的匹配摄影设备100的实际工作环境，能够根据摄影设备100的实际拍摄画面设置对应的工作模式，以使摄影设备100当前的工作模式适配摄影设备100当前的实际拍摄画面。
其中，参考图像可以是摄影设备100在当前工作环境拍摄的单帧图像、单帧图像的缩略图、或拍摄的视频中提取的单帧图像等，在此不作限制。输入的参考图像的数量可以是单帧或多帧图像，例如1帧、2帧、3帧、4帧或更多帧图像，在此不作限制。在某些实施方式中，摄影设备100长时间处于工作状态，在此情况下可以预设时间周期，在每个时间周期开始时获取一次参考图像，并利用深度学习模型根据参考图像获取对应的工作环境，在该时间周期内摄影设备100的工作模式由该工作环境确定。预设时间周期越短，则判断工作环境的频率越高，对工作环境的判断结果的时效性越高，根据工作环境设置的工作模式越能够准确地适配摄影设备100的实施拍摄画面。
作为一个示例，在某一周期开始时，摄影设备100截取该周期的起始时刻采集到的图像作为参考图像，将参考图像输入深度学习模型后判断出参考图像对应的工作环境是夜间低亮度环境，则摄影设备100对应进入红外拍摄模式，或者用户根据深度学习模型输出的工作环境手动将摄影设备100设置为红外拍摄模式，以开启摄影设备100的红外光源50补光。
本申请实施方式的拍摄方法、拍摄装置10及摄影设备100能够利用深度学习模型根据参考图像识别参考图像对应的工作环境，以判断出摄影设备100当前处在的工作环境，以能够根据工作环境设置摄影设备100的工作模式，使摄影设备100的工作模式能够准确地适配摄影设备100的实施拍摄画面。相较于光敏传感器确定工作环境的方式，本申请实施方式的拍摄方法根据摄影设备100实际采集到的参考图像判断工作环境，即基于摄影设备100的实际拍摄画面判断摄影设备100实际拍摄时的工作环境，能够避免自然光强度和实际拍摄画面亮度不匹配时所导致的误判断工作环境，具有较高的准确度。
下面结合附图作进一步说明。
请参阅图4，在某些实施方式中，方法02中训练好的深度学习模型是经过以下训练步骤形成：
021：构建深度学习模型；
022：获取训练图像；
023：对训练图像进行标注以获取标注图像；
024：将标注图像划分为训练集和验证集；及
025：将训练集输入深度学习模型，用梯度下降法更新卷积神经网络的权值以训练深度学习模型，并通过验证集进行验证。
请结合图2，在某些实施方式中，处理器30还可用于执行方法021、022、023、024及025，即处理器30还可用于构建深度学习模型；获取训练图像；对训练图像进行标注以获取标注图像；将标注图像划分为训练集和验证集；及将训练集输入深度学习模型，用梯度下降法更新卷积神经网络的权值以训练深度学习模型，并通过验证集进行验证。
请结合图3，在某些实施方式中，深度学习模块12还可用于实现方法021、022、023、024及025，即深度学习模块12还可用于构建深度学习模型；获取训练图像；对训练图像进行标注以获取标注图像；将标注图像划分为训练集和验证集；及将训练集输入深度学习模型，用梯度下降法更新卷积神经网络的权值以训练深度学习模型，并通过验证集进行验证。
在某些实施方式中，深度学习模型为卷积神经网络模型，包括卷积层、池化层及全连接层，用于提取图像特征并完成识别和分类。卷积核的初始权值可以随机生成，或者以预设值例如经验值作为初始权值，在此不作限制。训练图像用于训练深度学习模型。在一个实施例中，训练图像是摄影设备100采集的历史图像，或者摄影设备100采集的历史视频中按帧分离出的图像，如此，在摄影设备100持续采集图像的过程中，能够利用摄影设备100采集的历史图像作为训练图像用于更新优化深度学习模型。
在某些实施方式中，可人工以工作环境对训练图像进行标注，将训练图像按工作环境进行分类获取标注图像。作为一个示例，工作环境包括高亮环境和低亮环境，可从摄影设备100采集的历史图像中挑选明显的高亮度图像和低亮度图像作为训练图像，将训练图像中的高亮图像标注为“0”，低亮图像标注为“1”，以获取包括标注“0”和标注“1”的标注图像，其中，“0”和“1”是标注值。在其他实施方式中，工作环境可进一步分类，例如，工作环境包括高亮环境、中亮环境、低亮环境；再例如，工作环境包括白天高亮环境、白天中亮环境、白天低亮环境、夜间高亮环境、夜间中亮环境、夜间低亮环境等，在此不做限制。
在某些实施方式中，可将标注图像随机划分为训练集和验证集，训练集用于训练深度学习模型，验证集用于验证训练结果。在一个实施例中，训练集和验证集的比例为8：2，训练集和验证集的比例还可以是7：3、7.1：2.9等，在此不作限制。将训练集输入深度学习模型后由深度学习模型得到输出值，结合输出值和标注值（标注图像对应的值）对输出值做归一化处理以获取输入深度学习模型的图像属于某一标注图像的概率值。根据此概率值判断输入的图像类型，并确定输入的图像属于哪一种工作环境。例如，工作环境包括高亮环境和低亮环境，深度学习模型计算出输入的图像是高亮图像的概率为95%，是低亮图像的概率为5%，则确定输入的图像是高亮图像，对应高亮环境，最终获取的输入的图像对应的工作环境为高亮环境。
在某些实施方式中，用梯度下降法更新卷积神经网络的权值。作为一个示例，将卷积神经网络的学习率α设置为0.001，以卷积神经网络的输出值与标注值的差值作为梯度值▽J，设卷积神经网络自身随机生成服从高斯分布的权值为θ0，更新后卷积神经网络的权值为θ1，则θ1←θ0-α×▽J，即θ1←θ0-0.001×▽J。其中，“←”表示赋值操作。学习率α的取值不局限于本示例的0.001，还可以是其他预设值，在此不作限制。
在某些实施方式中，深度学习模型可用于识别图像中的光源，并根据图像中的光源确定输入的图像属于哪一种工作环境。在夜间环境中往往存在用于照明的光源，例如路灯、车灯、建筑物的霓虹灯等。这些光源的存在可能导致摄影设备100的当前拍摄画面具有一定的亮度，影响对当前工作场景的判断。然而，如果拍摄画面中出现光源，也正说明当前的环境处于需要照明的夜间/低亮环境，本申请的实施方式利用这一特性通过深度学习模型识别图像中的光源，以根据图像中的光源确定输入的图像属于哪一种工作环境。
具体地，在某些实施方式中，深度学习模型包括第一模型和第二模型。第一模型用于识别图像中的光源，第二模型用于识别图像对应的工作环境。在训练第一模型时，可从摄影设备100采集的历史图像中挑选明显的低亮度且包含有光源的图像以及低亮度且不含有光源的图像作为训练图像，将训练图像中不含有光源的图像标注为“0”，含有光源的图像标注为“1”，然后按照类似前文所述的训练方式进行训练，使第一模型能够计算出输入的图像含有光源的概率值。在一个实施例中，在输入的图像含有光源的概率值高于70%的情况下确定该图像含有光源。
在一个实施例中，对摄影设备100采集的参考图像进行光源检测，在检测到预定数量的光源的情况下提高该参考图像是低亮图像的概率的权重。其中，预定数量的光源可以是1个光源、2个光源、3个光源或更多个光源等，在此不一一列举。作为一个示例，深度学习模型计算出输入的图像是低亮图像的概率为80%，并且该图像中包括光源，在该图像中包括光源的情况下深度学习模型将该图像是低亮图像的概率权重提高，例如再乘以1.1倍的权重系数，最终得到输入的图像是高亮图像的概率为88%。在一个实施例中，光源的数量越高，则当前的工作环境为低亮/夜间环境的可能性越大，低亮图像的权重系数越高。例如当光源为1个时权重系数为1.1，当光源为2个时权重系数为1.2，在此不一一列举。[cxy1]
在一个实施例中，当高亮图像的概率和低亮图像的概率之差的绝对值小于或等于5%时，若该图像含有光源，则确定该图像对应的工作环境为低亮环境。例如第一模型确定图像中含有光源，第二模型给出输入深度学习模型的图像是高亮图像的概率为52%，是低亮图像的概率为48%，，则深度学习模型确定该输入图像对应的工作环境为低亮环境。
在某些实施方式中，上述第一模型和第二模型的功能在同一深度学习模型中实现。
在某些实施方式中，拍摄方法还包括：
识别参考图像中的光源；及
将识别结果及参考图像输入训练好的深度学习模型以获取参考图像对应的工作环境。[cxy2]
其中，识别参考图像中的光源，具体包括：
对参考图像做二值化处理以获取参考图像的灰度图；
计算灰度图的灰度梯度；及
根据灰度图的灰度梯度确定光源。
具体地，在低亮图像中，光源部分的灰度值明显低于光源附近的环境的灰度值，因此可计算灰度图的灰度梯度，找出灰度梯度较大的区域并判断该区域是否为光源。
请参阅图5，在某些实施方式中，021：构建深度学习模型，包括：
0211：构建特征提取模块，特征提取模块包括卷积层和池化层；
0212：构建识别分类模块，识别分类模块包括池化层和全连接层；及
0213：将特征提取模块和识别分类模块连接组成深度学习模型。
请结合图2，在某些实施方式中，处理器30还可用于执行方法0211、0212及0213，即处理器30还可用于构建特征提取模块，特征提取模块包括卷积层和池化层；构建识别分类模块，识别分类模块包括池化层和全连接层；及将特征提取模块和识别分类模块连接组成深度学习模型。
请结合图3，在某些实施方式中，深度学习模块12还可用于实现方法0211、0212及0213，即深度学习模块12还可用于构建特征提取模块，特征提取模块包括卷积层和池化层；构建识别分类模块，识别分类模块包括池化层和全连接层；及将特征提取模块和识别分类模块连接组成深度学习模型。
作为一个示例，特征提取模块共有16层，结构依次为第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第五卷积层、第六卷积层、第七卷积层、第三池化层、第八卷积层、第九卷积层、第四池化层、第十卷积层、第十一卷积层、及第五池化层。其中。卷积核的大小为3×3，步长为1，激活函数采用ReLU函数。第一池化层至第五池化层均设置为最大池化，池化区域核的大小为2×2，步长为2。第一卷积层及第二卷积层的卷积核个数均为32，第三卷积层及第四卷积层的卷积核个数均为64，第五卷积层至第十一卷积层的卷积核个数均为128。识别分类模块共有3层，结构依次为第六池化层、第一全连接层、及第二全连接层。其中，第六池化层设置为最大池化，池化区域核的大小为2×2，步长为2。第一全连接层及第二全连接层的神经元个数均为1024，每个神经元的值表示对于每个分类的概率分数。卷积神经网络由特征提取模块和识别分类模块连接组成，本实施例的深度学习模型能够很好的适应各种主流分辨率的图像，
其中，卷积核的大小、卷积的步长、卷积层的数量、及激活函数并不局限与上述实施例的示例，可根据用户的需求具体设置，此处不作限制。卷积核越大，则提取特征的范围越大，卷积的步长越小，则特征提取的精度越高，卷积层的数量越多，则对图像的抽象化程度越高。激活函数还可以采用Sigmoid、SoftMax等，在此不一一列举。
请参阅图6，在某些实施方式中，工作环境包括高亮场景和低亮场景，工作模式包括红外拍摄模式，03：根据工作环境设置摄影设备100的工作模式，包括：
031：在高亮场景退出红外拍摄模式；及
032：在低亮场景进入红外拍摄模式。
请结合图2，在某些实施方式中，摄影设备100还包括红外光源50，在红外拍摄模式下所述红外光源50开启。处理器30还可用于执行方法031及032，即处理器30还可用于在高亮场景退出红外拍摄模式；及在低亮场景进入红外拍摄模式。
请结合图3，在某些实施方式中，模式切换模块13还可用于实现方法031及032，即模式切换模块13还可用于在高亮场景退出红外拍摄模式；及在低亮场景进入红外拍摄模式。
在红外光源50的辅助下，摄影设备100能够在自然光较暗的环境清楚地拍摄到物体。在一个实施例中，摄影设备100默认处于正常拍摄模式，当卷积神经网络输出的工作环境为低亮场景时，摄影设备100进入红外拍摄模式，开启红外光源50；当卷积神经网络输出的工作环境为高亮场景时，若摄影设备100处于红外拍摄模式，则退出红外拍摄模式并关闭红外光源50，若摄影设备100处于正常拍摄模式，则保持正常拍摄模式不变。
在某些实施方式中，摄影设备100包括辅助光源，辅助光源可以是红外光源50，还可以是自然光光源。在低亮场景下，摄影设备100进入光源开启模式，开启辅助光源补光。
请参阅图7，在某些实施方式中，拍摄方法还包括：
05：获取摄影设备100拍摄参考图像时的参考参数及参考图像的清晰度；
06：根据参考参数、清晰度及工作环境获取摄影设备100的工作参数；及
07：根据工作模式及工作参数调节摄影设备100进行拍摄。
请结合图2，在某些实施方式中，处理器30还可用于执行方法05、06及07，即处理器30还可用于获取摄影设备100拍摄参考图像时的参考参数及参考图像的清晰度；根据参考参数、清晰度及工作环境获取摄影设备100的工作参数；及根据工作模式及工作参数调节摄影设备100进行拍摄。
请结合图3，在某些实施方式中，获取模块11还可用于实现方法05，深度学习模块12还可用于实现方法06，拍摄模块14还可用于实现方法07。即获取模块11还可用于获取摄影设备100拍摄参考图像时的参考参数及参考图像的清晰度。深度学习模块12可用于根据参考参数、清晰度及工作环境获取摄影设备100的工作参数。拍摄模块14还可用于根据工作模式及工作参数调节摄影设备100进行拍摄。
在某些实施方式中，参考参数包括曝光量、曝光时间、红外光线强度及白平衡参数中的至少一种。神经网络模型包括工作环境模型和工作参数模型，工作环境模型用于根据输入的参考图像输出该参考图像对应的工作环境。工作参数模型用于根据输入的参考图像对应的工作环境、摄影设备100拍摄参考图像时的参考参数、及参考图像的清晰度输出工作参数。具体地，工作参数模型用于获取同一类工作环境中，清晰度较高的图像对应的拍摄参数，以输出该工作环境下较优的工作参数，当摄影设备100在该工作环境下进行拍摄时采用该工作参数能够获得清晰度较高的图像。
作为一个示例，参考参数包括曝光量H0、曝光时间T0、红外光线强度Q0及白平衡参数W0。工作环境包括高亮环境和低亮环境。在某一时刻，摄影设备100采集到一帧参考图像P1，将参考图像P1输入工作环境模型后输出的工作环境是高亮环境，再将高亮环境、参考图像P1的参考参数及参考图像P1的清晰度S0输入工作参数模型，工作参数模型输出工作参数，工作参数包括曝光量H1、曝光时间T1、红外光线强度Q1及白平衡参数W1。当摄影设备100将当前的拍摄参数调节为曝光量H1、曝光时间T1、红外光线强度Q1及白平衡参数W1在当前的高亮环境进行拍摄时，采集到的图像的清晰度相较于参考图像P1的清晰度S0能够有所提高。
在某些实施方式中，神经网络模型包括工作环境模型、清晰度模型及工作参数模型，工作环境模型用于根据输入的参考图像输出该参考图像对应的工作环境。清晰度模型用于根据输入的参考图像输出该参考图像的清晰度。工作参数模型用于根据参考图像对应的工作环境、参考图像的清晰度、及摄影设备100拍摄参考图像时的参考参数拟合出同一工作环境下清晰度和参考参数之间的函数关系曲线，并根据该函数关系曲线输出工作参数。以能够根据工作参数调节摄影设备100，使采集到的图像具有更高的清晰度。
综上，本申请的实施方式根据摄影设备100采集的图像判断摄影设备100当前的亮度环境。如此，可以根据摄影设备100的实际拍摄画面的亮度情况确定摄影设备100的工作模式，能够避免采用传统的光敏传感器时出现的摄影设备100的实际拍摄画面的亮度情况与环境中自然光的强度不能很好地对应的问题，使摄影设备100能够准确地切换工作模式满足拍摄需求。
请参阅图8，本申请实施方式的一个或多个包含计算机程序401的非易失性计算机可读存储介质400，当计算机程序401被一个或多个处理器30执行时，使得处理器30可执行上述任一实施方式的拍摄方法，例如实现步骤01、02、03、04、05、06、07、021、022、023、024、025、0211、0212、0213、031及032中的一项或多项步骤。
例如，当计算机程序401被一个或多个处理器30执行时，使得处理器30执行以下步骤：
01：获取参考图像；
02：将参考图像输入训练好的深度学习模型以获取参考图像对应的工作环境；
03：根据工作环境设置摄影设备100的工作模式；及
04：根据设置的工作模式进行拍摄。
再例如，在计算机程序401被一个或多个处理器30执行时，使得处理器30执行以下步骤：
01：获取参考图像；
02：将参考图像输入训练好的深度学习模型以获取参考图像对应的工作环境；
05：获取摄影设备100拍摄参考图像时的参考参数及参考图像的清晰度；
06：根据参考参数、清晰度及工作环境获取摄影设备100的工作参数；
03：根据工作环境设置摄影设备100的工作模式；
04：根据设置的工作模式进行拍摄；及
07：根据工作模式及工作参数调节摄影设备100进行拍摄。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本邻域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本邻域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (10)
1.一种摄影设备的拍摄方法，其特征在于，所述拍摄方法包括：
获取参考图像；
识别所述参考图像中的光源；
将识别出的所述光源的数量及所述参考图像输入训练好的深度学习模型以获取所述参考图像对应的工作环境，所述工作环境包括高亮场景和低亮场景，其中，获取到的所述工作环境为低亮场景的概率权重与识别出的所述光源的数量正相关；
根据所述工作环境设置摄影设备的工作模式；及
根据设置的所述工作模式进行拍摄。
2.根据权利要求1所述的拍摄方法，其特征在于，所述深度学习模型是经过以下训练步骤形成：
构建所述深度学习模型；
获取训练图像；
对所述训练图像进行标注以获取标注图像；
将所述标注图像划分为训练集和验证集；及
将所述训练集输入所述深度学习模型，用梯度下降法更新卷积神经网络的权值以训练所述深度学习模型，并通过所述验证集进行验证。
3.根据权利要求2所述的拍摄方法，其特征在于，所述构建所述深度学习模型，包括：
构建特征提取模块，所述特征提取模块包括卷积层和池化层；
构建识别分类模块，所述识别分类模块包括池化层和全连接层；及
将所述特征提取模块和识别分类模块连接组成所述深度学习模型。
4.根据权利要求1所述的拍摄方法，其特征在于，所述工作模式包括红外拍摄模式，所述根据所述工作环境设置摄影设备的工作模式，包括：
在所述高亮场景退出所述红外拍摄模式；及
在所述低亮场景进入所述红外拍摄模式。
5.根据权利要求1所述的拍摄方法，其特征在于，所述拍摄方法还包括：
获取所述摄影设备拍摄所述参考图像时的参考参数及所述参考图像的清晰度；
根据所述参考参数、所述清晰度及所述工作环境获取所述拍摄设备的工作参数；及
根据所述工作模式及所述工作参数调节所述摄影设备进行拍摄。
6.根据权利要求5所述的拍摄方法，其特征在于，所述参考参数包括曝光量、曝光时间、红外光线强度及白平衡参数中的至少一种。
7.一种拍摄装置，其特征在于，包括：
获取模块，所述获取模块用于获取参考图像；
深度学习模块，所述深度学习模块用于识别所述参考图像中的光源，将识别出的所述光源的数量及所述参考图像输入训练好的深度学习模型以获取工作环境，所述工作环境包括高亮场景和低亮场景，其中，获取到的所述工作环境为低亮场景的概率权重与识别出的所述光源的数量正相关；
模式切换模块，所述模式切换模块用于根据所述工作环境设置摄影设备的工作模式；及
拍摄模块，所述拍摄模块用于根据设置的所述工作模式进行拍摄。
8.一种摄影设备，其特征在于，包括：
设备本体；
一个或多个处理器、存储器；及
一个或多个程序，其中，一个或多个所述程序被存储在所述存储器中，并且被一个或多个所述处理器执行，所述程序包括用于执行权利要求1至6任意一项所述的拍摄方法的指令。
9.根据权利要求8所述的摄影设备，其特征在于，所述摄影设备还包括红外光源，在红外拍摄模式下所述红外光源开启。
10.一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，实现权利要求1至6任意一项所述的拍摄方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111222007.4A CN113824884B (zh) | 2021-10-20 | 2021-10-20 | 拍摄方法与装置、摄影设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111222007.4A CN113824884B (zh) | 2021-10-20 | 2021-10-20 | 拍摄方法与装置、摄影设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113824884A CN113824884A (zh) | 2021-12-21 |
| CN113824884B true CN113824884B (zh) | 2023-08-08 |
Family
ID=78920543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111222007.4A Active CN113824884B (zh) | 2021-10-20 | 2021-10-20 | 拍摄方法与装置、摄影设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113824884B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114364099B (zh) * | 2022-01-13 | 2023-07-18 | 达闼机器人股份有限公司 | 调节智能灯光设备的方法、机器人及电子设备 |
| CN117541478A (zh) * | 2022-02-28 | 2024-02-09 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
| CN116456201B (zh) * | 2023-06-16 | 2023-10-17 | 四川三思德科技有限公司 | 一种结合红外摄像的微光图像中热源干扰去除方法及系统 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107026967A (zh) * | 2016-02-01 | 2017-08-08 | 杭州海康威视数字技术股份有限公司 | 一种摄像机工作模式切换方法及装置 |
| CN107534732A (zh) * | 2015-04-23 | 2018-01-02 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法及图像处理程序 |
| CN107622281A (zh) * | 2017-09-20 | 2018-01-23 | 广东欧珀移动通信有限公司 | 图像分类方法、装置、存储介质及移动终端 |
| CN107820020A (zh) * | 2017-12-06 | 2018-03-20 | 广东欧珀移动通信有限公司 | 拍摄参数的调整方法、装置、存储介质及移动终端 |
| CN107911581A (zh) * | 2017-11-15 | 2018-04-13 | 深圳市共进电子股份有限公司 | 网络摄像机红外切换方法、装置、存储介质及网络摄像机 |
| CN108377340A (zh) * | 2018-05-10 | 2018-08-07 | 杭州雄迈集成电路技术有限公司 | 一种基于rgb-ir传感器日夜模式自动切换方法及装置 |
| CN109684965A (zh) * | 2018-12-17 | 2019-04-26 | 上海资汇信息科技有限公司 | 一种基于近红外成像与深度学习的人脸识别系统 |
| CN109727293A (zh) * | 2018-12-31 | 2019-05-07 | 广东博媒广告传播有限公司 | 一种户外媒体灯光自动识别系统 |
| CN110188285A (zh) * | 2019-04-26 | 2019-08-30 | 中德（珠海）人工智能研究院有限公司 | 图像专业性的深度卷积神经网络预测 |
| CN110574040A (zh) * | 2018-02-14 | 2019-12-13 | 深圳市大疆创新科技有限公司 | 自动抓拍方法及装置、无人机及存储介质 |
| CN111385477A (zh) * | 2020-03-17 | 2020-07-07 | 浙江大华技术股份有限公司 | 摄像机的模式切换控制方法、装置、摄像机和存储介质 |
| CN111489401A (zh) * | 2020-03-18 | 2020-08-04 | 华南理工大学 | 一种图像颜色恒常性处理方法、系统、设备和存储介质 |
| CN111654594A (zh) * | 2020-06-16 | 2020-09-11 | Oppo广东移动通信有限公司 | 图像拍摄方法、图像拍摄装置、移动终端及存储介质 |
| WO2020238775A1 (zh) * | 2019-05-28 | 2020-12-03 | 华为技术有限公司 | 一种场景识别方法、一种场景识别装置及一种电子设备 |
| CN112381054A (zh) * | 2020-12-02 | 2021-02-19 | 东方网力科技股份有限公司 | 摄像机的工作状态检测方法及相关设备、系统 |
| CN112995510A (zh) * | 2021-02-25 | 2021-06-18 | 深圳市中西视通科技有限公司 | 一种安防监控摄像机环境光检测方法及系统 |
| CN113515992A (zh) * | 2020-11-06 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 目标识别方法、设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5932474B2 (ja) * | 2012-05-09 | 2016-06-08 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| US10785419B2 (en) * | 2019-01-25 | 2020-09-22 | Pixart Imaging Inc. | Light sensor chip, image processing device and operating method thereof |
| CN113472994B (zh) * | 2020-03-30 | 2023-03-24 | 北京小米移动软件有限公司 | 拍照方法及装置、移动终端及存储介质 |
-
2021
- 2021-10-20 CN CN202111222007.4A patent/CN113824884B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107534732A (zh) * | 2015-04-23 | 2018-01-02 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法及图像处理程序 |
| CN107026967A (zh) * | 2016-02-01 | 2017-08-08 | 杭州海康威视数字技术股份有限公司 | 一种摄像机工作模式切换方法及装置 |
| CN107622281A (zh) * | 2017-09-20 | 2018-01-23 | 广东欧珀移动通信有限公司 | 图像分类方法、装置、存储介质及移动终端 |
| CN107911581A (zh) * | 2017-11-15 | 2018-04-13 | 深圳市共进电子股份有限公司 | 网络摄像机红外切换方法、装置、存储介质及网络摄像机 |
| CN107820020A (zh) * | 2017-12-06 | 2018-03-20 | 广东欧珀移动通信有限公司 | 拍摄参数的调整方法、装置、存储介质及移动终端 |
| CN110574040A (zh) * | 2018-02-14 | 2019-12-13 | 深圳市大疆创新科技有限公司 | 自动抓拍方法及装置、无人机及存储介质 |
| CN108377340A (zh) * | 2018-05-10 | 2018-08-07 | 杭州雄迈集成电路技术有限公司 | 一种基于rgb-ir传感器日夜模式自动切换方法及装置 |
| CN109684965A (zh) * | 2018-12-17 | 2019-04-26 | 上海资汇信息科技有限公司 | 一种基于近红外成像与深度学习的人脸识别系统 |
| CN109727293A (zh) * | 2018-12-31 | 2019-05-07 | 广东博媒广告传播有限公司 | 一种户外媒体灯光自动识别系统 |
| CN110188285A (zh) * | 2019-04-26 | 2019-08-30 | 中德（珠海）人工智能研究院有限公司 | 图像专业性的深度卷积神经网络预测 |
| WO2020238775A1 (zh) * | 2019-05-28 | 2020-12-03 | 华为技术有限公司 | 一种场景识别方法、一种场景识别装置及一种电子设备 |
| CN111385477A (zh) * | 2020-03-17 | 2020-07-07 | 浙江大华技术股份有限公司 | 摄像机的模式切换控制方法、装置、摄像机和存储介质 |
| CN111489401A (zh) * | 2020-03-18 | 2020-08-04 | 华南理工大学 | 一种图像颜色恒常性处理方法、系统、设备和存储介质 |
| CN111654594A (zh) * | 2020-06-16 | 2020-09-11 | Oppo广东移动通信有限公司 | 图像拍摄方法、图像拍摄装置、移动终端及存储介质 |
| CN113515992A (zh) * | 2020-11-06 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 目标识别方法、设备及存储介质 |
| CN112381054A (zh) * | 2020-12-02 | 2021-02-19 | 东方网力科技股份有限公司 | 摄像机的工作状态检测方法及相关设备、系统 |
| CN112995510A (zh) * | 2021-02-25 | 2021-06-18 | 深圳市中西视通科技有限公司 | 一种安防监控摄像机环境光检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113824884A (zh) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113824884B (zh) | 拍摄方法与装置、摄影设备及计算机可读存储介质 | |
| CN111402135B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN108764370B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN110149482B (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
| US20210174082A1 (en) | System and method for providing dominant scene classification by semantic segmentation | |
| CN108495050B (zh) | 拍照方法、装置、终端及计算机可读存储介质 | |
| CN111741211B (zh) | 图像显示方法和设备 | |
| CN108197546B (zh) | 人脸识别中光照处理方法、装置、计算机设备及存储介质 | |
| EP3598736B1 (en) | Method and apparatus for processing image | |
| CN108810413B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110807759B (zh) | 照片质量的评价方法及装置、电子设备、可读存储介质 | |
| CN109089041A (zh) | 拍摄场景的识别方法、装置、电子设备和存储介质 | |
| CN111598065B (zh) | 深度图像获取方法及活体识别方法、设备、电路和介质 | |
| CN113596344B (zh) | 拍摄处理方法、装置、电子设备和可读存储介质 | |
| CN113688820B (zh) | 频闪条带信息识别方法、装置和电子设备 | |
| CN113507570B (zh) | 曝光补偿方法、装置和电子设备 | |
| JP2015130615A (ja) | 撮像装置、その制御方法及びプログラム | |
| CN114257738A (zh) | 自动曝光方法、装置、设备及存储介质 | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN113673474B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN113989387A (zh) | 相机拍摄参数调整方法、装置及电子设备 | |
| CN113824874A (zh) | 辅助摄像方法、装置、电子设备及存储介质 | |
| CN115868170A (zh) | 电子设备和电子设备的控制方法 | |
| CN108629329B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108881740B (zh) | 图像方法和装置、电子设备、计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |