CN111586282A - 拍摄方法、装置、终端及可读存储介质 - Google Patents

拍摄方法、装置、终端及可读存储介质 Download PDF

Info

Publication number
CN111586282A
CN111586282A CN201910124239.2A CN201910124239A CN111586282A CN 111586282 A CN111586282 A CN 111586282A CN 201910124239 A CN201910124239 A CN 201910124239A CN 111586282 A CN111586282 A CN 111586282A
Authority
CN
China
Prior art keywords
shooting
moon
image
mode
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910124239.2A
Other languages
English (en)
Other versions
CN111586282B (zh
Inventor
雷磊
冯超禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201910124239.2A priority Critical patent/CN111586282B/zh
Priority to US16/544,471 priority patent/US11158027B2/en
Priority to EP19194137.6A priority patent/EP3697079A1/en
Publication of CN111586282A publication Critical patent/CN111586282A/zh
Application granted granted Critical
Publication of CN111586282B publication Critical patent/CN111586282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本公开是关于一种拍摄方法、装置、终端及可读存储介质,属于图像处理领域。所述方法包括:显示拍摄程序的拍摄预览界面,所述拍摄预览图像中显示有拍摄预览图像;调用机器学习模型识别所述拍摄预览图像的拍摄场景;当所述拍摄场景属于月亮拍摄场景时,启动所述拍摄程序中的月亮拍摄模式,所述月亮拍摄模式是用于拍摄星空中的月亮所设置的拍摄模式。本公开能够拍摄得到图像质量较佳的月亮图像,由于月亮拍摄模式具有对应的拍摄参数,而非Auto模式自动生成的拍摄参数,因此能够解决适用于人像或周边景物的Auto模式无法调整到合适的拍摄参数,导致最终的图像拍摄质量较差的问题。

Description

拍摄方法、装置、终端及可读存储介质
技术领域
本公开涉及图像处理领域,特别涉及一种拍摄方法、装置、终端及可读存储介质。
背景技术
拍照功能是移动终端上使用最为广泛的功能。
用户在使用移动终端进行拍摄时,主要是对人像或周边景物进行拍摄。移动终端中的拍摄程序提供有Auto(自动)模式,能够自动根据摄像头采集的拍摄预览图像对拍摄参数进行合理的调整。
但某些用户会使用移动终端去拍摄星空中的月亮,由于月亮离移动终端的距离较远,以及月亮与星空的亮度区别较大等原因,适用于人像或周边景物的Auto模式无法调整到合适的拍摄参数,导致最终的图像拍摄质量较差。
发明内容
本公开实施例提供了一种拍摄方法、装置、终端及可读存储介质,可以用于解决适用于人像或周边景物的Auto模式无法调整到合适的拍摄参数,导致最终的图像拍摄质量较差的问题。所述技术方案如下:
根据本公开的第一方面,提供了一种拍摄方法,所述方法包括:
显示拍摄程序的拍摄预览界面,所述拍摄预览图像中显示有拍摄预览图像;
调用机器学习模型识别所述拍摄预览图像的拍摄场景;
当所述拍摄场景属于月亮拍摄场景时,启动所述拍摄程序中的月亮拍摄模式,所述月亮拍摄模式是用于拍摄星空中的月亮所设置的拍摄模式。
在一个可选的实施例中,当所述拍摄场景属于月亮拍摄场景时,启动所述拍摄程序中的月亮拍摄模式,包括:
当数码变焦ZOOM的等级大于预设等级且所述拍摄场景属于月亮拍摄场景时,启动所述拍摄程序中的月亮拍摄模式。
在一个可选的实施例中,所述当数码变焦ZOOM的等级大于预设等级且所述拍摄场景属于月亮拍摄场景时,启动所述拍摄程序中的月亮拍摄模式,包括:
当所述数码变焦ZOOM的等级大于预设等级且所述拍摄场景属于月亮拍摄场景时,在所述拍摄预览界面上显示所述月亮拍摄模式的启动控件;
在接收到所述启动控件上的触发信号时,启动所述拍摄程序中的月亮拍摄模式。
在一个可选的实施例中,所述月亮拍摄模式的启动控件是:所述月亮拍摄模式和夜间拍摄模式的切换控件。
在一个可选的实施例中,所述调用机器学习模型识别所述拍摄预览图像的拍摄场景,包括:
获取摄像头的元数据;
根据所述元数据检测所述拍摄预览图像是否为液晶显示屏所显示的画面;
当所述拍摄预览图像不是所述液晶显示屏所显示的画面时,调用所述机器学习模型识别所述拍摄预览图像的拍摄场景。
在一个可选的实施例中,所述调用机器学习模型识别所述拍摄预览图像的拍摄场景,包括:
获取终端的姿态数据;
根据所述姿态数据检测所述终端的拍摄姿态是否为仰视拍摄姿态;
当所述姿态数据是仰视拍摄姿态时,调用所述机器学习模型识别所述拍摄预览图像的拍摄场景。
在一个可选的实施例中,所述调用机器学习模型识别所述拍摄预览图像的拍摄场景,包括:
对所述拍摄预览图像的聚焦区域进行图像语义识别;
当所述图像语义识别结果为所述聚焦区域是点光源类型时,调用所述机器学习模型识别所述拍摄预览图像的拍摄场景。
在一个可选的实施例中,所述方法应用于同时设置有广角摄像头和长焦摄像头的终端中,所述启动拍摄程序中的月亮拍摄模式之后,还包括:
将拍摄所使用的摄像头从广角摄像头切换至长焦摄像头。
在一个可选的实施例中,所述机器学习模型是基于训练集中的样本图像采用误差反向传播算法训练得到的,所述训练集包括:正样本图像集和负样本图像集;
所述正样本图像集包括:测试终端拍摄的月亮图像和人造月亮图像;
所述负样本图像集包括:非月亮图像。
在一个可选的实施例中,所述人造月亮图像是将夜空图像和月亮区域图像合成得到的图像,所述月亮区域图像是从所述测试终端拍摄的月亮图像中抠图得到的。
在一个可选的实施例中,所述非月亮图像包括路灯图像。
根据本公开的第二方面,提供了一种拍摄装置,所述装置包括:
显示模块,被配置为显示拍摄程序的拍摄预览界面,所述拍摄预览图像中显示有拍摄预览图像;
处理模块,被配置为调用机器学习模型识别所述拍摄预览图像的拍摄场景;
拍摄模块,被配置为当所述拍摄场景属于月亮拍摄场景时,启动所述拍摄程序中的月亮拍摄模式,所述月亮拍摄模式是用于拍摄星空中的月亮所设置的拍摄模式。
在一个可选的实施例中,所述拍摄模块,被配置为当数码变焦ZOOM的等级大于预设等级且所述拍摄场景属于月亮拍摄场景时,启动所述拍摄程序中的月亮拍摄模式。
在一个可选的实施例中,所述拍摄模块,被配置为当所述数码变焦ZOOM的等级大于预设等级且所述拍摄场景属于月亮拍摄场景时,在所述拍摄预览界面上显示所述月亮拍摄模式的启动控件;
在接收到所述启动控件上的触发信号时,启动所述拍摄程序中的月亮拍摄模式。
在一个可选的实施例中,所述月亮拍摄模式的启动控件是:所述月亮拍摄模式和夜间拍摄模式的切换控件。
在一个可选的实施例中,所述处理模块,被配置为获取摄像头的元数据;根据所述元数据检测所述拍摄预览图像是否为液晶显示屏所显示的画面;当所述拍摄预览图像不是所述液晶显示屏所显示的画面时,调用所述机器学习模型识别所述拍摄预览图像的拍摄场景。
在一个可选的实施例中,所述处理模块,被配置为获取终端的姿态数据;根据所述姿态数据检测所述终端的拍摄姿态是否为仰视拍摄姿态;当所述姿态数据是仰视拍摄姿态时,调用所述机器学习模型识别所述拍摄预览图像的拍摄场景。
在一个可选的实施例中,所述处理模块,被配置为对所述拍摄预览图像的聚焦区域进行图像语义识别;当所述图像语义识别结果为所述聚焦区域是点光源类型时,调用所述机器学习模型识别所述拍摄预览图像的拍摄场景。
在一个可选的实施例中,所述装置应用于同时设置有广角摄像头和长焦摄像头的终端中,
所述处理模块,被配置为将拍摄所使用的摄像头从广角摄像头切换至长焦摄像头。
在一个可选的实施例中,所述机器学习模型是基于训练集中的样本图像采用误差反向传播算法训练得到的,所述训练集包括:正样本图像集和负样本图像集;
所述正样本图像集包括:测试终端拍摄的月亮图像和人造月亮图像;
所述负样本图像集包括:非月亮图像。
在一个可选的实施例中,所述人造月亮图像是将夜空图像和月亮区域图像合成得到的图像,所述月亮区域图像是从所述测试终端拍摄的月亮图像中抠图得到的。
在一个可选的实施例中,所述非月亮图像包括路灯图像。
根据本公开的第三方面,提供了一种终端,所述终端包括:处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上第一方面所述的拍摄方法。
根据本公开的第四方面,提供了一种计算机可读存储介质,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上第一方面所述的拍摄方法。
本公开实施例提供的技术方案至少包括以下有益效果:
通过调用机器学习模型来识别拍摄预览图像的拍摄场景,当拍摄场景属于月亮场景时启动拍摄程序中的月亮拍摄模式进行拍摄,能够拍摄得到图像质量较佳的月亮图像,由于月亮拍摄模式具有对应的拍摄参数,而非Auto模式自动生成的拍摄参数,因此能够解决适用于人像或周边景物的Auto模式无法调整到合适的拍摄参数,导致最终的图像拍摄质量较差的问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的拍摄方法的流程图;
图2是本公开一个示意性实施例提供的用于识别月亮拍摄场景的机器学习模型的示意图;
图3是本公开另一个示意性实施例提供的用于识别月亮拍摄场景的机器学习模型的示意图;
图4是本公开另一个示意性实施例提供的拍摄方法的流程图;
图5是本公开一个示意性实施例提供的拍摄方法的界面示意图;
图6是本公开另一个示意性实施例提供的拍摄方法的流程图;
图7是根据一示例性实施例示出的一种拍摄装置的框图;
图8是根据一示例性实施例示出的一种终端的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1示出了本申请一个示例性实施例提供的拍摄方法的流程图。该方法可以由设置有摄像头的终端来实现,该方法包括:
步骤102,显示拍摄程序的拍摄预览界面,该拍摄预览图像中显示有拍摄预览图像;
终端上提供有拍摄程序,该拍摄程序可以是终端厂商提供的默认拍摄程序,也可以是用户自行安装的第三方拍摄程序。
当需要进行拍摄时,用户启动终端上的拍摄程序。比如,用户在终端的触摸屏上点击拍摄程序的图标,从而启动拍摄程序。
在拍摄程序启动后,显示拍摄程序的拍摄预览界面,该拍摄预览界面中显示有拍摄预览图像。可选地,该拍摄预览界面中还显示有拍摄按钮、多种拍摄模式的启动控件、闪光灯开关、前后摄像头切换按钮、定时拍照按钮等控件中的至少一种。
其中,拍摄预览图像是当前正在使用的摄像头所拍摄的图像,在接收到快门信号后,拍摄预览图像将被保存为拍摄图像。
步骤104,调用机器学习模型识别拍摄预览图像的拍摄场景;
终端将拍摄预览图像输入至机器学习模型中,进行拍摄场景的识别。
该机器学习模型用于识别当前的拍摄场景是否为月亮拍摄场景。月亮拍摄场景是当前拍摄对象是月亮的场景。
可选地,该机器学习模型是神经网络模型,比如卷积神经网络模型。
步骤106,当拍摄场景属于月亮拍摄场景时,启动拍摄程序中的月亮拍摄模式。
月亮拍摄模式是用于拍摄星空中的月亮所设置的拍摄模式。月亮拍摄模式下的拍摄参数是针对月亮拍摄场景所设置的拍摄参数。
可选地,月亮拍摄模式下的拍摄参数包括:
1、将自动曝光模式(Automatic Exposure,AE)的测光方式设置为局部测光方式,局部测光方式是根据亮度值大于第一阈值的像素区域进行测光的方式;
2、将自动变焦模式(Automatic Focus,AF)的对焦焦距设置为无穷远焦距,或,将自动变焦模式的对焦焦距设置为预设焦距,预设焦距与无穷远焦距之间的差值小于第二阈值。
综上所述,本实施例提供的拍摄方法,通过调用机器学习模型来识别拍摄预览图像的拍摄场景,当拍摄场景属于月亮场景时启动拍摄程序中的月亮拍摄模式进行拍摄,能够拍摄得到图像质量较佳的月亮图像,由于月亮拍摄模式具有对应的拍摄参数,而非Auto模式自动生成的拍摄参数,因此能够解决适用于人像或周边景物的Auto模式无法调整到合适的拍摄参数,导致最终的图像拍摄质量较差的问题。
在基于图1的可选实施例中,终端中设置的机器学习模型为多个,每个机器学习模型用于识别一种拍摄场景。多个机器学习模型包括但不限于:用于识别夜景拍摄场景的第一机器学习模型、用于识别月亮拍摄场景的第二机器学习模型、用于识别人像拍摄场景的第三机器学习模型、用于识别微矩拍摄场景的第四机器学习模型、用于识别美食拍摄场景的第五机器学习模型、用于识别花卉拍摄场景的第六机器学习模型等。
可选地,由于月亮拍摄模式是夜景拍摄模式中的一种情形,在第一机器学习模型22识别出当前拍摄场景属于夜景拍摄场景后,再调用第二机器学习模型24识别当前拍摄场景是否属于月亮拍摄场景,以及是否属于普通场景或其他AI拍摄场景,示意性的如图2所示。
在基于图1的可选实施例中,终端中设置的机器学习模型是多个子机器学习模型所组成的机器学习模型20,用于识别月亮拍摄场景的机器学习模型24是多个子机器学习模型中的一个,当每个子机器学习模型输出各自的识别结果后,由融合层24来输出最终的识别结果,示意性的如图3所示。
在基于图1的可选实施例中,上述用于识别月亮拍摄场景的机器学习模型是基于训练中的样本图像采用误差反向传播算法(Error Back Propagation)训练得到的,该训练集包括:正样本图像集和负样本图像集。其中,
正样本图像集包括:测试终端拍摄的月亮图像和人造月亮图像。测试终端是在研发过程中所使用的终端,测试终端的性能与上述终端的性能相同或相近。
一方面,研发人员通过使用测试终端中的Auto模式对不同时间、不同地点、不同环境光场景下的月亮进行拍摄,得到多张月亮图像添加至正样本图像集。
另一方面,研发人员还可以将测试终端拍摄的月亮图像中的月亮区域通过抠图方式抠出,得到月亮局部图像。然后搜集(比如网络下载)不包含月亮的夜空图像,该夜空图像可以是仰视角度拍摄的夜空图像,该夜空图像可以包括建筑物等环境元素。研发人员通过将夜空图像和月亮局部图像进行合成,得到人造月亮图像添加至正样本图像集。
负样本图像集包括:非月亮图像。非月亮图像包括:不包括月亮的图像,以及包含疑似月亮但不是月亮的夜空图像。其中,疑似月亮但不是月亮的夜空图像包括:路灯图像。
上述拍摄方法可以应用于设置有单个摄像头的终端中,还可以应用于设置有多个摄像头的终端中,设置有多个摄像头的终端包括:设置有两个摄像头的双摄终端、设置有三个摄像头的三摄终端、设置有四个摄像头的四摄终端。
下面采用图4实施例对上述拍摄方法应用于单个摄像头的终端中来举例说明;并采用图6实施例对上述拍摄方法应用于多个摄像头的终端中来举例说明。
图4示出了本申请另一示例性实施例提供的拍摄方法的流程图。该方法可以由设置有单个摄像头的终端来实现,该方法包括:
步骤401,启动拍摄程序;
终端上提供有拍摄程序,该拍摄程序可以是终端厂商提供的默认拍摄程序,也可以是用户自行安装的第三方拍摄程序。
当需要进行拍摄时,用户启动终端上的拍摄程序。比如,用户在终端的触摸屏上点击拍摄程序的图标,从而启动拍摄程序。
步骤402,显示拍摄程序的拍摄预览界面,拍摄预览图像中显示有拍摄预览图像;
在拍摄程序启动后,显示拍摄程序的拍摄预览界面,该拍摄预览界面中显示有拍摄预览图像。可选地,该拍摄预览界面中还显示有拍摄按钮、多种拍摄模式的启动控件、闪光灯开关、前后摄像头切换按钮、定时拍照按钮等控件中的至少一种。
参考图5,拍摄预览界面的上部51从左到右分别显示有闪光灯开启/关闭控件,高动态范围图像(High-Dynamic Range,HDR)开启/关闭控件,AI功能开启/关闭控件、特效模式开启/关闭控件。拍摄预览界面的中部52显示有拍摄预览画面,拍摄预览界面的下部从左到右分别显示有相册启动按钮53、拍照按钮54和前后摄像头切换按钮55。可选地,拍摄预览界面的中部52还显示有ZOOM等级56。
可选地,拍摄预览界面还具有设置数码变焦ZOOM的变焦等级的功能。数码变焦是指采用数码差值的方式实现变焦距拍摄。在一些实施例中,数码变焦的可用等级区间包括:1倍变焦(1.0X)至10倍变焦(10.X)。
可选地,用户在拍摄预览界面中进行双指放大手势,控制拍摄程序中的数码变焦等级变大;用户在拍摄预览界面中进行双指缩小手势,控制拍摄程序中的数码变焦等级变小。
步骤403,当数码变焦的等级大于预设等级时,调用机器学习模型识别拍摄预览图像的拍摄场景;
当ZOOM的等级大于预设等级时,终端调用机器学习模型来识别拍摄预览图像的拍摄场景。该机器学习模型是用于识别月亮拍摄场景的模型。
由于在夜景拍摄模式下用户调大ZOOM的等级时,有较大概率是希望拍摄月亮。在一个可选的实施例中,当ZOOM的等级大于预设等级且当前处于夜景拍摄模式时,调用机器学习模型来识别拍摄预览图像的拍摄场景。
预设等级是基于用户的常用ZOOM等级中的较大值来设置的,常用ZOOM等级是用于拍摄人像或周边景物时的等级。可选地,预设等级为4.0X。
步骤404,当拍摄场景属于月亮拍摄场景时,启动拍摄程序中的月亮拍摄模式,月亮拍摄模式是用于拍摄星空中的月亮所设置的拍摄模式;
可选地,拍摄程序中提供有多种拍摄模式:人像拍摄模式、美食拍摄模式、夜景拍摄模式、花卉拍摄模式、微距拍摄模式、大光圈拍摄模式、月亮拍摄模式等。每种拍摄模式具有各自对应的拍摄参数。
可选地,当拍摄场景属于月亮拍摄场景时,在拍摄预览界面上显示月亮拍摄模式的启动控件。在接收到该启动控件上的触发信号时,启动拍摄程序中的月亮拍摄模式。该启动控件可以是按钮控件、切换控件等。比如,该启动控件是月亮拍摄模式和夜景拍摄模式的切换控件。
参考图5所示,以该启动控件是月亮拍摄模式和夜景拍摄模式的切换控件57为例,当用户点击该控件57的左侧时,拍摄程序的拍摄模式切换为夜景拍摄模式;当用户点击该控件的右侧57时,拍摄程序的拍摄模式切换为月亮拍摄模式。
步骤405,调整拍摄程序中的拍摄参数为月亮拍摄模式所对应的拍摄参数;
拍摄参数包括:自动曝光模式(Automatic Exposure,AE)参数、自动变焦模式(Automatic Focus,AF)参数、ZOOM参数、色温参数(也称白平衡)和清晰度参数(也称锐度)中的至少一种。
可选地,调整月亮拍摄模式下的拍摄参数,至少包括:
1、将AE的测光方式设置为局部测光方式,局部测光方式是根据亮度值大于第一阈值的像素区域进行测光的方式。
其中,自动曝光模式的默认方式是全局测光模式,全局测光模式是采用拍摄预览图像中的所有像素点的亮度值进行测光。由于月亮拍摄场景下,月亮区域在整个拍摄预览图像中的占据的区域较小,而其他区域基本为黑色的夜空区域,采用全局测光方式测量得到的曝光值偏小,会导致拍摄到的月亮图像过度曝光。
因此,当拍摄程序处于月亮拍摄模式时,终端将AE的测光方式修改为局部测光方式,局部测光方式是根据亮度值大于第一阈值的像素区域进行测光的方式。比如,颜色编码方式采用YUV(亮度和色度分离)方式时,采用亮度Y大于50的像素点进行测光。也即,终端将拍摄预览图像中的月亮局部区域作为测光时的区域,尽量忽略非月亮区域。
2、将AF的对焦焦距设置为无穷远焦距,或,将自动变焦模式的对焦焦距设置为预设焦距,预设焦距与无穷远焦距之间的差值小于第二阈值。
由于月亮离终端的距离较远,远大于用户日常拍摄所使用的焦距。在月亮拍摄模式下,可将AF的对焦焦距设置为无穷远焦距,或者接近于无穷远焦距。
可选地,调整月亮拍摄模式下的拍摄参数,还包括如下几种方式中的至少一种:
3、将ZOOM的可用等级区间从第一等级区间增加为第二等级区间,第二等级区域的最大等级大于第一等级区间的最大等级;
由于月亮离终端的距离较远,除了将AF的对焦焦距设置为无穷远焦距之外,还可以将ZOOM的可用等级区间从第一等级区间增加为第二等级区间,第二等级区域的最大等级大于第一等级区间的最大等级。第一等级区间是Auto模式或夜景模式所使用的ZOOM等级区间。
可选地,第一等级区间和第二等级区间的最小等级相同,第二等级区间的最大等级是第一等级区间的最大等级的两倍。比如,第一等级区间是[1.0X,10X],第二等级区间是[1.0X,20X]。
可选地,第二等级区间的最小等级等于第一等级区间的最大等级,第二等级区间的最大等级是第一等级区间的最大等级的两倍。比如,第一等级区间是[1.0X,10X],第二等级区间是[10X,20X]。
4、将亮度值大于第一阈值的像素区域的色温调整至预设色温区间;
在月亮拍摄模式下,拍摄预览图像的白平衡主要受月亮区域的影响,终端将亮度值大于第一阈值的像素区域的色温(也即月亮区域)调整至预设色温区间。或者说,基于亮度值大于第一阈值的像素区域的色温(也即月亮区域)将拍摄参数中的色温调整至预设色温区间。可选地,该预设色温区间包括:4500K到5000K,K是单位开尔文的缩写。
5、将图像清晰度调整至预设清晰度区间。
在月亮拍摄模式下,终端还通过动态调整算法将拍摄预览图像中的图像清晰度(锐度)调整至预设清晰度区间。可选地,清晰度调整和ZOOM的等级调整可以相互关联,比如将ZOOM的等级动态调整至接近最大等级的某个等级上,从而得到较好的图像清晰度。
步骤406,在拍摄程序的拍摄预览界面,显示根据月亮拍摄模式所对应的拍摄参数得到的拍摄预览图像;
步骤407,在接收到快门信号时,将拍摄预览图像拍摄为月亮图像。
快门信号是用于触发拍照的信号。快门信号是由用户触发的,或者由终端自行产生的。比如,快门信号是用户触摸拍摄按钮产生的,或者,快门信号是用户双击或音量下键产生的,本实施例对快门信号的产生方式不加以限定。
综上所述,本实施例提供的方法,通过调用机器学习模型来识别拍摄预览图像的拍摄场景,当拍摄场景属于月亮场景时启动拍摄程序中的月亮拍摄模式进行拍摄,能够拍摄得到图像质量较佳的月亮图像。
本实施例提供的方法,还通过在ZOOM的等级大于预设等级时,调用机器学习模型来识别拍摄预览图像的拍摄场景,在用户意图可能是拍摄月亮时才调用机器学习模型来进行计算,能够减少不必要的计算量,减少因机器学习模型的计算所带来的性能占用和耗电损失。
本实施例提供的方法,通过将AE的测光模式调整为局部测光模式,可以避免全局测光模式在月亮拍摄场景下的测光不准,从而避免月亮区域过度曝光,拍摄得到合理曝光的月亮图像。
本实施例提供的方法,通过将AF的对焦焦距调整为无穷远或接近无穷远,可以解决月亮离终端的距离太远,自动对焦可能无法对焦到合适焦距的缺陷,提高月亮图像的拍摄质量。
本实施例提供的方法,还通过将ZOOM的可用等级区间调整为第二等级区间,可以解决月亮离终端的距离太远,Auto模式下使用的等级区间可能无法变焦到合适焦距的缺陷,采用更高的第二等级区间来提高月亮图像的拍摄质量。
图6示出了本申请另一示例性实施例提供的拍摄方法的流程图。该方法可以由设置有多个摄像头的终端来实现,该多个摄像头包括广角(wide)摄像头和长焦(tele)摄像头,该方法包括:
步骤601,启动拍摄程序;
终端上提供有拍摄程序,该拍摄程序可以是终端厂商提供的默认拍摄程序,也可以是用户自行安装的第三方拍摄程序。
当需要进行拍摄时,用户启动终端上的拍摄程序。比如,用户在终端的触摸屏上点击拍摄程序的图标,从而启动拍摄程序。
步骤602,显示拍摄程序的拍摄预览界面,拍摄预览图像中显示有拍摄预览图像;
在拍摄程序启动后,显示拍摄程序的拍摄预览界面,该拍摄预览界面中显示有拍摄预览图像。可选地,该拍摄预览界面中还显示有拍摄按钮、多种拍摄模式的启动控件、闪光灯开关、前后摄像头切换按钮、定时拍照按钮等控件中的至少一种。
参考图5,拍摄预览界面的上部51从左到右分别显示有闪光灯开启/关闭控件,高动态范围图像(High-Dynamic Range,HDR)开启/关闭控件,AI功能开启/关闭控件、特效模式开启/关闭控件。拍摄预览界面的中部52显示有拍摄预览画面,拍摄预览界面的下部从左到右分别显示有相册启动按钮53、拍照按钮54和前后摄像头切换按钮55。可选地,拍摄预览界面的中部52还显示有ZOOM等级56。
可选地,拍摄预览界面还具有设置数码变焦ZOOM的变焦等级的功能。数码变焦是指采用数码差值的方式实现变焦距拍摄。在一些实施例中,数码变焦的可用等级区间包括:1倍变焦(1.0X)至10倍变焦(10.X)。
可选地,用户在拍摄预览界面中进行双指放大手势,控制拍摄程序中的数码变焦等级变大;用户在拍摄预览界面中进行双指缩小手势,控制拍摄程序中的数码变焦等级变小。
步骤603,当数码变焦的等级大于预设等级时,调用机器学习模型识别拍摄预览图像的拍摄场景;
当ZOOM的等级大于预设等级时,终端调用机器学习模型来识别拍摄预览图像的拍摄场景。该机器学习模型是用于识别月亮拍摄场景的模型。
由于在夜景拍摄模式下用户调大ZOOM的等级时,有较大概率是希望拍摄月亮。在一个可选的实施例中,当ZOOM的等级大于预设等级且当前处于夜景拍摄模式时,调用机器学习模型来识别拍摄预览图像的拍摄场景。
预设等级是基于用户的常用ZOOM等级中的较大值来设置的,常用ZOOM等级是用于拍摄人像或周边景物时的等级。可选地,预设等级为4.0X。
步骤604,当拍摄场景属于月亮拍摄场景时,启动拍摄程序中的月亮拍摄模式,月亮拍摄模式是用于拍摄星空中的月亮所设置的拍摄模式;
可选地,拍摄程序中提供有多种拍摄模式:人像拍摄模式、美食拍摄模式、夜景拍摄模式、花卉拍摄模式、微距拍摄模式、大光圈拍摄模式、月亮拍摄模式等。每种拍摄模式具有各自对应的拍摄参数。
可选地,当拍摄场景属于月亮拍摄场景时,在拍摄预览界面上显示月亮拍摄模式的启动控件。在接收到该启动控件上的触发信号时,启动拍摄程序中的月亮拍摄模式。该启动控件可以是按钮控件、切换控件等。比如,该启动控件是月亮拍摄模式和夜景拍摄模式的切换控件。
参考图5所示,以该启动控件是月亮拍摄模式和夜景拍摄模式的切换控件为例,当用户点击该控件的左侧时,拍摄程序的拍摄模式切换为夜景拍摄模式;当用户点击该控件的右侧时,拍摄程序的拍摄模式切换为月亮拍摄模式。
步骤605,将拍摄所使用的摄像头从广角摄像头切换至长焦摄像头;
步骤606,调整拍摄程序中的拍摄参数为月亮拍摄模式所对应的拍摄参数;
拍摄参数包括:AE参数、AF参数、ZOOM参数、色温参数(也称白平衡)和清晰度参数(也称锐度)中的至少一种。
可选地,调整月亮拍摄模式下的拍摄参数,至少包括:
1、将AE的测光方式设置为局部测光方式,局部测光方式是根据亮度值大于第一阈值的像素区域进行测光的方式。
其中,自动曝光模式的默认方式是全局测光模式,全局测光模式是采用拍摄预览图像中的所有像素点的亮度值进行测光。由于月亮拍摄场景下,月亮区域在整个拍摄预览图像中的占据的区域较小,而其他区域基本为黑色的夜空区域,采用全局测光方式测量得到的曝光值偏小,会导致拍摄到的月亮图像过度曝光。
因此,当拍摄程序处于月亮拍摄模式时,终端将AE的测光方式修改为局部测光方式,局部测光方式是根据亮度值大于第一阈值的像素区域进行测光的方式。比如,颜色编码方式采用YUV(亮度和色度分离)方式时,采用亮度Y大于50的像素点进行测光。也即,终端将拍摄预览图像中的月亮局部区域作为测光时的区域,尽量忽略非月亮区域。
2、将AF的对焦焦距设置为无穷远焦距,或,将自动变焦模式的对焦焦距设置为预设焦距,预设焦距与无穷远焦距之间的差值小于第二阈值。
由于月亮离终端的距离较远,远大于用户日常拍摄所使用的焦距。在月亮拍摄模式下,可将AF的对焦焦距设置为无穷远焦距,或者接近于无穷远焦距。
可选地,调整月亮拍摄模式下的拍摄参数,还包括如下几种方式中的至少一种:
3、将ZOOM的可用等级区间从第一等级区间增加为第二等级区间,第二等级区域的最大等级大于第一等级区间的最大等级;
由于月亮离终端的距离较远,除了将AF的对焦焦距设置为无穷远焦距之外,还可以将ZOOM的可用等级区间从第一等级区间增加为第二等级区间,第二等级区域的最大等级大于第一等级区间的最大等级。第一等级区间是Auto模式或夜景模式所使用的ZOOM等级区间。
可选地,第一等级区间和第二等级区间的最小等级相同,第二等级区间的最大等级是第一等级区间的最大等级的两倍。比如,第一等级区间是[1.0X,10X],第二等级区间是[1.0X,20X]。
可选地,第二等级区间的最小等级等于第一等级区间的最大等级,第二等级区间的最大等级是第一等级区间的最大等级的两倍。比如,第一等级区间是[1.0X,10X],第二等级区间是[10X,20X]。
4、将亮度值大于第一阈值的像素区域的色温调整至预设色温区间;
在月亮拍摄模式下,拍摄预览图像的白平衡主要受月亮区域的影响,终端将亮度值大于第一阈值的像素区域的色温(也即月亮区域)调整至预设色温区间。或者说,基于亮度值大于第一阈值的像素区域的色温(也即月亮区域)将拍摄参数中的色温调整至预设色温区间。可选地,该预设色温区间包括:4500K到5000K,K是单位开尔文的缩写。
5、将图像清晰度调整至预设清晰度区间。
在月亮拍摄模式下,终端还通过动态调整算法将拍摄预览图像中的图像清晰度(锐度)调整至预设清晰度区间。可选地,清晰度调整和ZOOM的等级调整可以相互关联,比如将ZOOM的等级动态调整至接近最大等级的某个等级上,从而得到较好的图像清晰度。
步骤607,在拍摄程序的拍摄预览界面,显示根据月亮拍摄模式所对应的拍摄参数得到的拍摄预览图像;
步骤608,在接收到快门信号时,将拍摄预览图像拍摄为月亮图像。
快门信号是用于触发拍照的信号。快门信号是由用户触发的,或者由终端自行产生的。比如,快门信号是用户触摸拍摄按钮产生的,或者,快门信号是用户双击或音量下键产生的,本实施例对快门信号的产生方式不加以限定。
综上所述,本实施例提供的方法,通过调用机器学习模型来识别拍摄预览图像的拍摄场景,当拍摄场景属于月亮场景时启动拍摄程序中的月亮拍摄模式进行拍摄,能够拍摄得到图像质量较佳的月亮图像。
本实施例提供的方法,还通过在ZOOM的等级大于预设等级时,调用机器学习模型来识别拍摄预览图像的拍摄场景,在用户意图可能是拍摄月亮时才调用机器学习模型来进行计算,能够减少不必要的计算量,减少因机器学习模型的计算所带来的性能占用和耗电损失。
本实施例提供的方法,还通过在启动月亮拍摄模式时,将默认使用的摄像头从广角摄像头切换为长焦摄像头,利用长焦摄像头的长焦拍摄特性来拍摄的道德更好的月亮图像。
本实施例提供的方法,通过将AE的测光模式调整为局部测光模式,可以避免全局测光模式在月亮拍摄场景下的测光不准,从而避免月亮区域过度曝光,拍摄得到合理曝光的月亮图像。
本实施例提供的方法,通过将AF的对焦焦距调整为无穷远或接近无穷远,可以解决月亮离终端的距离太远,自动对焦可能无法对焦到合适焦距的缺陷,提高月亮图像的拍摄质量。
本实施例提供的方法,还通过将ZOOM的可用等级区间调整为第二等级区间,可以解决月亮离终端的距离太远,Auto模式下使用的等级区间可能无法变焦到合适焦距的缺陷,采用更高的第二等级区间来提高月亮图像的拍摄质量。
由于机器学习模型的计算量较高,出于尽量减少不必要的计算和提高终端的人工智能程度的目的,在基于上述各个实施例的可选实施例中,终端在调用机器学习模型进行拍摄场景识别之前,还需要判断当前拍摄场景是否符合预检条件,当符合预检条件时,调用机器学习模型识别拍摄预览图像的拍摄场景。
可选地,预检条件的判断过程包括但不限于如下三种方式中的至少一种。
第一,获取摄像头的元数据(meta data);根据元数据检测拍摄预览图像是否为液晶显示屏所显示的画面;当拍摄预览图像不是液晶显示屏所显示的画面时,调用机器学习模型识别拍摄预览图像的拍摄场景。
考虑到用户采用终端对液晶显示屏(比如电脑、平板或其它手机)上显示的月亮图像进行拍摄时,并不是真正的月亮拍摄场景,因此终端获取摄像头的元数据,根据元数据检测拍摄预览图像是否为液晶显示屏所显示的画面。比如,元数据包括曝光时间和感光度(ISO),当曝光时间小于第三阈值且感光度小于第四阈值时,确定拍摄预览图像是液晶显示屏所显示的画面;当曝光时间不小于第三阈值且感光度不小于第四阈值时,确定拍摄预览图像不是液晶显示屏所显示的画面。
当拍摄预览图像不是液晶显示屏所显示的画面时,调用机器学习模型识别拍摄预览图像的拍摄场景;当拍摄预览图像是液晶显示屏所显示的画面时,不调用该机器学习模型识别拍摄预览图像的拍摄场景,而执行其他处理。其他处理包括但不限于:调用其他机器学习模型来识别拍摄预览图像的拍摄场景,或者,使用Auto模式来进行拍摄等。
第二,获取终端的姿态数据;根据姿态数据检测终端的拍摄姿态是否为仰视拍摄姿态;当姿态数据是仰视拍摄姿态时,调用机器学习模型识别拍摄预览图像的拍摄场景。
终端的姿态数据可以是重力加速度传感器和/或角速度传感器采集到的姿态数据。
可选地,重力加速度在各个坐标轴上的分量用于确定终端当前姿态是否为仰视姿态。重力加速度在各个坐标轴上的分量变化,和/或,角速度在各个坐标轴上的分量变化用于确定终端当前姿态是否为拍摄姿态(拍摄姿态是终端相对静止的状态)。
可选地,当终端当前姿态为平视姿态或俯视姿态时,不属于月亮拍摄场景,不需要启动机器学习模型进行拍摄场景的识别;当终端处于剧烈运动或旋转时,也不属于月亮拍摄场景,不需要启动机器学习模型进行拍摄场景的识别。
第三,对拍摄预览图像的聚焦区域进行图像语义识别;当图像语义识别结果为聚焦区域是点光源类型时,调用机器学习模型识别拍摄预览图像的拍摄场景。
可选地,聚焦区域是对焦点所在的区域,当对焦点发生变化时,聚焦区域也会发生变化。或者,聚焦区域是相对固定的区域,比如聚焦区域是位于拍摄窗口的中上部区域。
可选地,月亮拍摄模式属于点光源拍摄模式中的一种,当拍摄预览图像中的聚焦区域不是点光源类型时,也不需要调用机器学习模型识别拍摄预览图像的拍摄场景。
综上所述,本实施例提供的方法,通过在满足预检条件时,才调用机器学习模型来进行拍摄场景的识别,能够减少机器学习模型中不必要的计算量。而且,由于该预检条件是基于摄像头的元数据、终端的姿态数据或图像语义识别等多种辅助数据来设定的,还能够提高拍摄程序的智能化程度。
上述各个实施例所提供的终端中,还可以设置有AI(Artificial Intelligence,人工智能)芯片,上述有关机器学习模型的计算过程由AI芯片来进行计算,从而提高机器学习模型的计算速度。该终端可以是移动终端,比如智能手机、平板电脑、便携式电脑、MP3、MP4等。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图7是根据一示例性实施例示出的一种拍摄装置的框图,该拍摄装置可以通过软件、硬件或者两者的结合实现成为终端的部分或者全部。该拍摄装置可以包括:
显示模块720,被配置为显示拍摄程序的拍摄预览界面,所述拍摄预览图像中显示有拍摄预览图像;
处理模块740,被配置为调用机器学习模型识别所述拍摄预览图像的拍摄场景;
拍摄模块760,被配置为当所述拍摄场景属于月亮拍摄场景时,启动所述拍摄程序中的月亮拍摄模式,所述月亮拍摄模式是用于拍摄星空中的月亮所设置的拍摄模式。
在一个可选的实施例中,所述拍摄模块760,被配置为当数码变焦ZOOM的等级大于预设等级且所述拍摄场景属于月亮拍摄场景时,启动所述拍摄程序中的月亮拍摄模式。
在一个可选的实施例中,所述拍摄模块760,被配置为当所述数码变焦ZOOM的等级大于预设等级且所述拍摄场景属于月亮拍摄场景时,在所述拍摄预览界面上显示所述月亮拍摄模式的启动控件;在接收到所述启动控件上的触发信号时,启动所述拍摄程序中的月亮拍摄模式。
在一个可选的实施例中,所述月亮拍摄模式的启动控件是:所述月亮拍摄模式和夜间拍摄模式的切换控件。
在一个可选的实施例中,所述处理模块740,被配置为获取摄像头的元数据;根据所述元数据检测所述拍摄预览图像是否为液晶显示屏所显示的画面;当所述拍摄预览图像不是所述液晶显示屏所显示的画面时,调用所述机器学习模型识别所述拍摄预览图像的拍摄场景。
在一个可选的实施例中,所述处理模块740,被配置为获取终端的姿态数据;根据所述姿态数据检测所述终端的拍摄姿态是否为仰视拍摄姿态;当所述姿态数据是仰视拍摄姿态时,调用所述机器学习模型识别所述拍摄预览图像的拍摄场景。
在一个可选的实施例中,所述处理模块740,被配置为对所述拍摄预览图像的聚焦区域进行图像语义识别;当所述图像语义识别结果为所述聚焦区域是点光源类型时,调用所述机器学习模型识别所述拍摄预览图像的拍摄场景。
在一个可选的实施例中,所述装置应用于同时设置有广角摄像头和长焦摄像头的终端中,
所述处理模块740,被配置为将拍摄所使用的摄像头从广角摄像头切换至长焦摄像头。
在一个可选的实施例中,所述机器学习模型是基于训练集中的样本图像采用误差反向传播算法训练得到的,所述训练集包括:正样本图像集和负样本图像集;
所述正样本图像集包括:测试终端拍摄的月亮图像和人造月亮图像;
所述负样本图像集包括:非月亮图像。
在一个可选的实施例中,所述人造月亮图像是将夜空图像和月亮区域图像合成得到的图像,所述月亮区域图像是从所述测试终端拍摄的月亮图像中抠图得到的。
在一个可选的实施例中,所述非月亮图像包括路灯图像。
需要说明的一点是,上述实施例提供的拍摄装置在拍摄月亮图像时,仅以上述各个功能模块的划分进行举例说明,实际应用中,可以根据实际需要而将上述功能分配由不同的功能模块完成,即将设备的内容结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开一示例性实施例还提供了一种拍摄装置,能够实现本公开提供的拍摄方法。该装置包括:处理器,以及用于存储处理器的可执行指令的存储器。其中,处理器被配置为执行上述各个方法实施例所提供的拍摄方法。
图8是根据一示例性实施例示出的一种终端800的框图。例如,终端800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,终端800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)接口812,传感器组件814,以及通信组件816。
处理组件802通常控制终端800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在终端800的操作。这些数据的示例包括用于在终端800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图像,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为终端800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为终端800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述终端800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当终端800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当终端800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为终端800提供各个方面的状态评估。例如,传感器组件814可以检测到终端800的打开/关闭状态,组件的相对定位,例如所述组件为终端800的显示器和小键盘,传感器组件814还可以检测终端800或终端800一个组件的位置改变,用户与终端800接触的存在或不存在,终端800方位或加速/减速和终端800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于终端800和其他设备之间有线或无线方式的通信。终端800可以接入基于通信标准的无线网络,如Wi-Fi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。
在示例性实施例中,终端800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述拍摄方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由终端800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端800的处理器执行时,使得终端800能够执行上述各个方法实施例提供的拍摄方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (24)

1.一种拍摄方法,其特征在于,所述方法包括:
显示拍摄程序的拍摄预览界面,所述拍摄预览图像中显示有拍摄预览图像;
调用机器学习模型识别所述拍摄预览图像的拍摄场景;
当所述拍摄场景属于月亮拍摄场景时,启动所述拍摄程序中的月亮拍摄模式,所述月亮拍摄模式是用于拍摄星空中的月亮所设置的拍摄模式。
2.根据权利要求1所述的方法,其特征在于,当所述拍摄场景属于月亮拍摄场景时,启动所述拍摄程序中的月亮拍摄模式,包括:
当数码变焦ZOOM的等级大于预设等级且所述拍摄场景属于月亮拍摄场景时,启动所述拍摄程序中的月亮拍摄模式。
3.根据权利要求2所述的方法,其特征在于,所述当数码变焦ZOOM的等级大于预设等级且所述拍摄场景属于月亮拍摄场景时,启动所述拍摄程序中的月亮拍摄模式,包括:
当所述数码变焦ZOOM的等级大于预设等级且所述拍摄场景属于月亮拍摄场景时,在所述拍摄预览界面上显示所述月亮拍摄模式的启动控件;
在接收到所述启动控件上的触发信号时,启动所述拍摄程序中的月亮拍摄模式。
4.根据权利要求3所述的方法,其特征在于,所述月亮拍摄模式的启动控件是:所述月亮拍摄模式和夜间拍摄模式的切换控件。
5.根据权利要求1至4任一所述的方法,其特征在于,所述调用机器学习模型识别所述拍摄预览图像的拍摄场景,包括:
获取摄像头的元数据;
根据所述元数据检测所述拍摄预览图像是否为液晶显示屏所显示的画面;
当所述拍摄预览图像不是所述液晶显示屏所显示的画面时,调用所述机器学习模型识别所述拍摄预览图像的拍摄场景。
6.根据权利要求1至4任一所述的方法,其特征在于,所述调用机器学习模型识别所述拍摄预览图像的拍摄场景,包括:
获取终端的姿态数据;
根据所述姿态数据检测所述终端的拍摄姿态是否为仰视拍摄姿态;
当所述姿态数据是仰视拍摄姿态时,调用所述机器学习模型识别所述拍摄预览图像的拍摄场景。
7.根据权利要求1至4任一所述的方法,其特征在于,所述调用机器学习模型识别所述拍摄预览图像的拍摄场景,包括:
对所述拍摄预览图像的聚焦区域进行图像语义识别;
当所述图像语义识别结果为所述聚焦区域是点光源类型时,调用所述机器学习模型识别所述拍摄预览图像的拍摄场景。
8.根据权利要求1至4任一所述的方法,其特征在于,所述方法应用于同时设置有广角摄像头和长焦摄像头的终端中,所述启动拍摄程序中的月亮拍摄模式之后,还包括:
将拍摄所使用的摄像头从广角摄像头切换至长焦摄像头。
9.根据权利要求1至4任一所述的方法,其特征在于,所述机器学习模型是基于训练集中的样本图像采用误差反向传播算法训练得到的,所述训练集包括:正样本图像集和负样本图像集;
所述正样本图像集包括:测试终端拍摄的月亮图像和人造月亮图像;
所述负样本图像集包括:非月亮图像。
10.根据权利要求8所述的方法,其特征在于,所述人造月亮图像是将夜空图像和月亮区域图像合成得到的图像,所述月亮区域图像是从所述测试终端拍摄的月亮图像中抠图得到的。
11.根据权利要求8所述的方法,其特征在于,所述非月亮图像包括路灯图像。
12.一种拍摄装置,其特征在于,所述装置包括:
显示模块,被配置为显示拍摄程序的拍摄预览界面,所述拍摄预览图像中显示有拍摄预览图像;
处理模块,被配置为调用机器学习模型识别所述拍摄预览图像的拍摄场景;
拍摄模块,被配置为当所述拍摄场景属于月亮拍摄场景时,启动所述拍摄程序中的月亮拍摄模式,所述月亮拍摄模式是用于拍摄星空中的月亮所设置的拍摄模式。
13.根据权利要求12所述的装置,其特征在于,
所述拍摄模块,被配置为当数码变焦ZOOM的等级大于预设等级且所述拍摄场景属于月亮拍摄场景时,启动所述拍摄程序中的月亮拍摄模式。
14.根据权利要求13所述的装置,其特征在于,
所述拍摄模块,被配置为当所述数码变焦ZOOM的等级大于预设等级且所述拍摄场景属于月亮拍摄场景时,在所述拍摄预览界面上显示所述月亮拍摄模式的启动控件;
在接收到所述启动控件上的触发信号时,启动所述拍摄程序中的月亮拍摄模式。
15.根据权利要求14所述的装置,其特征在于,所述月亮拍摄模式的启动控件是:所述月亮拍摄模式和夜间拍摄模式的切换控件。
16.根据权利要求12至15任一所述的装置,其特征在于,
所述处理模块,被配置为获取摄像头的元数据;根据所述元数据检测所述拍摄预览图像是否为液晶显示屏所显示的画面;当所述拍摄预览图像不是所述液晶显示屏所显示的画面时,调用所述机器学习模型识别所述拍摄预览图像的拍摄场景。
17.根据权利要求12至15任一所述的装置,其特征在于,
所述处理模块,被配置为获取终端的姿态数据;根据所述姿态数据检测所述终端的拍摄姿态是否为仰视拍摄姿态;当所述姿态数据是仰视拍摄姿态时,调用所述机器学习模型识别所述拍摄预览图像的拍摄场景。
18.根据权利要求12至15任一所述的装置,其特征在于,
所述处理模块,被配置为对所述拍摄预览图像的聚焦区域进行图像语义识别;当所述图像语义识别结果为所述聚焦区域是点光源类型时,调用所述机器学习模型识别所述拍摄预览图像的拍摄场景。
19.根据权利要求12至15任一所述的装置,其特征在于,所述装置应用于同时设置有广角摄像头和长焦摄像头的终端中,
所述处理模块,被配置为将拍摄所使用的摄像头从广角摄像头切换至长焦摄像头。
20.根据权利要求12至15任一所述的装置,其特征在于,所述机器学习模型是基于训练集中的样本图像采用误差反向传播算法训练得到的,所述训练集包括:正样本图像集和负样本图像集;
所述正样本图像集包括:测试终端拍摄的月亮图像和人造月亮图像;
所述负样本图像集包括:非月亮图像。
21.根据权利要求19所述的装置,其特征在于,所述人造月亮图像是将夜空图像和月亮区域图像合成得到的图像,所述月亮区域图像是从所述测试终端拍摄的月亮图像中抠图得到的。
22.根据权利要求19所述的装置,其特征在于,所述非月亮图像包括路灯图像。
23.一种终端,其特征在于,所述终端包括:处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至11任一所述的拍摄方法。
24.一种计算机可读存储介质,其特征在于,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至11任一所述的拍摄方法。
CN201910124239.2A 2019-02-18 2019-02-18 拍摄方法、装置、终端及可读存储介质 Active CN111586282B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910124239.2A CN111586282B (zh) 2019-02-18 2019-02-18 拍摄方法、装置、终端及可读存储介质
US16/544,471 US11158027B2 (en) 2019-02-18 2019-08-19 Image capturing method and apparatus, and terminal
EP19194137.6A EP3697079A1 (en) 2019-02-18 2019-08-28 Image capturing method and apparatus, and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910124239.2A CN111586282B (zh) 2019-02-18 2019-02-18 拍摄方法、装置、终端及可读存储介质

Publications (2)

Publication Number Publication Date
CN111586282A true CN111586282A (zh) 2020-08-25
CN111586282B CN111586282B (zh) 2021-08-10

Family

ID=67810384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910124239.2A Active CN111586282B (zh) 2019-02-18 2019-02-18 拍摄方法、装置、终端及可读存储介质

Country Status (3)

Country Link
US (1) US11158027B2 (zh)
EP (1) EP3697079A1 (zh)
CN (1) CN111586282B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511750A (zh) * 2020-11-30 2021-03-16 维沃移动通信有限公司 视频拍摄方法、装置、设备及介质
CN113315870A (zh) * 2021-05-26 2021-08-27 Oppo广东移动通信有限公司 信息显示方法、装置、电子设备及存储介质
CN114143429A (zh) * 2021-11-30 2022-03-04 惠州Tcl移动通信有限公司 图像拍摄方法、装置、电子设备和计算机可读存储介质
CN114615439A (zh) * 2022-03-08 2022-06-10 北京有竹居网络技术有限公司 一种曝光统计方法、装置、电子设备及介质
CN115103107A (zh) * 2022-06-01 2022-09-23 上海传英信息技术有限公司 对焦控制方法、智能终端和存储介质
WO2023045808A1 (zh) * 2021-09-26 2023-03-30 哲库科技(上海)有限公司 图像数据采集方法、装置、终端及存储介质
CN116684726A (zh) * 2022-11-18 2023-09-01 荣耀终端有限公司 一种检测月亮的方法和电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114071004A (zh) * 2020-08-06 2022-02-18 北京小米移动软件有限公司 月亮图像获取方法和装置、电子设备、存储介质
CN112351207A (zh) * 2020-10-30 2021-02-09 维沃移动通信有限公司 拍摄控制方法和电子设备
CN115049909A (zh) * 2021-02-25 2022-09-13 华为技术有限公司 场景识别方法及装置
USD992582S1 (en) * 2021-03-29 2023-07-18 Beijing Xiaomi Mobile Software Co., Ltd. Display screen or portion thereof with animated graphical user interface

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945217A (zh) * 2009-07-07 2011-01-12 三星电子株式会社 拍摄设备和方法
CN102404506A (zh) * 2010-09-16 2012-04-04 奥林巴斯映像株式会社 摄影设备
US20130188061A1 (en) * 2009-09-01 2013-07-25 Geovector Corp. Photographer's Guidance Systems
US20170208239A1 (en) * 2016-01-20 2017-07-20 Chiun Mai Communication Systems, Inc. Multiple lenses system, operation method and electronic device employing the same
US20170359494A1 (en) * 2016-06-12 2017-12-14 Apple Inc. Switchover control techniques for dual-sensor camera system
CN107820020A (zh) * 2017-12-06 2018-03-20 广东欧珀移动通信有限公司 拍摄参数的调整方法、装置、存储介质及移动终端
CN108632536A (zh) * 2018-07-31 2018-10-09 Oppo广东移动通信有限公司 一种相机控制方法及装置、终端、存储介质
CN109218619A (zh) * 2018-10-12 2019-01-15 北京旷视科技有限公司 图像获取方法、装置和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100134641A1 (en) * 2008-12-01 2010-06-03 Samsung Electronics Co., Ltd. Image capturing device for high-resolution images and extended field-of-view images
US9019415B2 (en) * 2012-07-26 2015-04-28 Qualcomm Incorporated Method and apparatus for dual camera shutter
KR101545883B1 (ko) * 2012-10-30 2015-08-20 삼성전자주식회사 단말의 카메라 제어 방법 및 그 단말
KR102032347B1 (ko) * 2013-02-26 2019-10-15 삼성전자 주식회사 이미지 센서 위치를 이용한 이미지 영역 설정 장치 및 방법
US10484598B2 (en) * 2015-08-20 2019-11-19 Sony Corporation System and method for controlling capture of images
JP6574645B2 (ja) * 2015-08-28 2019-09-11 キヤノン株式会社 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム
US10565696B2 (en) * 2017-06-05 2020-02-18 Qualcomm Incorporated Systems and methods for producing image feedback
KR102438201B1 (ko) 2017-12-01 2022-08-30 삼성전자주식회사 사진 촬영과 관련된 추천 정보를 제공하는 방법 및 시스템
CN109951633B (zh) * 2019-02-18 2022-01-11 华为技术有限公司 一种拍摄月亮的方法和电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945217A (zh) * 2009-07-07 2011-01-12 三星电子株式会社 拍摄设备和方法
US20130188061A1 (en) * 2009-09-01 2013-07-25 Geovector Corp. Photographer's Guidance Systems
CN102404506A (zh) * 2010-09-16 2012-04-04 奥林巴斯映像株式会社 摄影设备
US20170208239A1 (en) * 2016-01-20 2017-07-20 Chiun Mai Communication Systems, Inc. Multiple lenses system, operation method and electronic device employing the same
US20170359494A1 (en) * 2016-06-12 2017-12-14 Apple Inc. Switchover control techniques for dual-sensor camera system
CN107820020A (zh) * 2017-12-06 2018-03-20 广东欧珀移动通信有限公司 拍摄参数的调整方法、装置、存储介质及移动终端
CN108632536A (zh) * 2018-07-31 2018-10-09 Oppo广东移动通信有限公司 一种相机控制方法及装置、终端、存储介质
CN109218619A (zh) * 2018-10-12 2019-01-15 北京旷视科技有限公司 图像获取方法、装置和系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511750A (zh) * 2020-11-30 2021-03-16 维沃移动通信有限公司 视频拍摄方法、装置、设备及介质
CN112511750B (zh) * 2020-11-30 2022-11-29 维沃移动通信有限公司 视频拍摄方法、装置、设备及介质
CN113315870A (zh) * 2021-05-26 2021-08-27 Oppo广东移动通信有限公司 信息显示方法、装置、电子设备及存储介质
CN113315870B (zh) * 2021-05-26 2024-05-28 Oppo广东移动通信有限公司 信息显示方法、装置、电子设备及存储介质
WO2023045808A1 (zh) * 2021-09-26 2023-03-30 哲库科技(上海)有限公司 图像数据采集方法、装置、终端及存储介质
CN114143429B (zh) * 2021-11-30 2024-03-19 惠州Tcl移动通信有限公司 图像拍摄方法、装置、电子设备和计算机可读存储介质
CN114143429A (zh) * 2021-11-30 2022-03-04 惠州Tcl移动通信有限公司 图像拍摄方法、装置、电子设备和计算机可读存储介质
CN114615439A (zh) * 2022-03-08 2022-06-10 北京有竹居网络技术有限公司 一种曝光统计方法、装置、电子设备及介质
CN114615439B (zh) * 2022-03-08 2024-03-05 北京有竹居网络技术有限公司 一种曝光统计方法、装置、电子设备及介质
CN115103107B (zh) * 2022-06-01 2023-11-07 上海传英信息技术有限公司 对焦控制方法、智能终端和存储介质
CN115103107A (zh) * 2022-06-01 2022-09-23 上海传英信息技术有限公司 对焦控制方法、智能终端和存储介质
CN116684726A (zh) * 2022-11-18 2023-09-01 荣耀终端有限公司 一种检测月亮的方法和电子设备
CN116684726B (zh) * 2022-11-18 2024-04-19 荣耀终端有限公司 一种检测月亮的方法和电子设备

Also Published As

Publication number Publication date
CN111586282B (zh) 2021-08-10
US11158027B2 (en) 2021-10-26
US20200265554A1 (en) 2020-08-20
EP3697079A1 (en) 2020-08-19

Similar Documents

Publication Publication Date Title
CN111586282B (zh) 拍摄方法、装置、终端及可读存储介质
CN108419016B (zh) 拍摄方法、装置及终端
CN108462833B (zh) 拍摄方法、装置及计算机可读存储介质
CN108040204B (zh) 一种基于多摄像头的图像拍摄方法、装置及存储介质
CN107463052B (zh) 拍摄曝光方法及装置
CN104811609A (zh) 拍摄参数调整方法和装置
CN111385456A (zh) 拍照预览方法、装置及存储介质
CN113364965A (zh) 基于多摄像头的拍摄方法、装置及电子设备
CN111586296B (zh) 图像拍摄方法、图像拍摄装置及存储介质
CN111586280B (zh) 拍摄方法、装置、终端及可读存储介质
CN111461950B (zh) 图像处理方法及装置
CN114338956B (zh) 图像处理方法、图像处理装置及存储介质
CN111277754B (zh) 移动终端拍摄方法及装置
CN116152078A (zh) 图像处理方法、装置、系统及存储介质
CN114979455A (zh) 拍摄方法、装置以及存储介质
KR20210157289A (ko) 촬영 프리뷰 이미지를 표시하는 방법, 장치 및 매체
CN107707819B (zh) 图像拍摄方法、装置及存储介质
CN111464753B (zh) 照片的拍摄方法、装置及存储介质
CN114339017B (zh) 远景对焦方法、装置及存储介质
WO2023230860A1 (zh) 变焦方法、变焦装置、电子设备及存储介质
CN109862252B (zh) 图像拍摄方法及装置
CN107317977B (zh) 拍摄方法及装置
CN117395504A (zh) 图像的获取方法、装置及存储介质
CN117278849A (zh) 一种对焦方法、装置、电子设备、及存储介质
CN118118789A (zh) 图像生成方法、装置以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant