CN117412177A - 拍摄方法、装置、介质及芯片 - Google Patents
拍摄方法、装置、介质及芯片 Download PDFInfo
- Publication number
- CN117412177A CN117412177A CN202210788540.5A CN202210788540A CN117412177A CN 117412177 A CN117412177 A CN 117412177A CN 202210788540 A CN202210788540 A CN 202210788540A CN 117412177 A CN117412177 A CN 117412177A
- Authority
- CN
- China
- Prior art keywords
- brightness
- raw
- frame
- preview
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 110
- 238000012545 processing Methods 0.000 claims description 91
- 230000008859 change Effects 0.000 claims description 43
- 230000002159 abnormal effect Effects 0.000 claims description 40
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 23
- 230000009467 reduction Effects 0.000 claims description 20
- 238000013135 deep learning Methods 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 238000011946 reduction process Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000002222 downregulating effect Effects 0.000 claims 1
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000005282 brightening Methods 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本公开涉及一种拍摄方法、装置、介质及芯片，属于图像信息处理领域，能够提高环境亮度暗情况下的成片清晰度和成片率。一种拍摄方法，包括：获取预览流；根据所述预览流，检测被拍摄主体的运动速度；若所述运动速度超过预设速度阈值，则根据所述运动速度对所述预览流中预览帧的初始曝光时间进行下调，得到第一曝光时间；基于所述第一曝光时间，得到拍摄图片。
Description
技术领域
本公开涉及图像信息处理领域，尤其涉及一种拍摄方法、装置、介质及芯片。
背景技术
相关技术中，在夜晚拍照时，由于光线较暗，为了保证画面亮度以及恢复更多的纹理细节、还原拍摄场景的颜色饱和度，快门时间通常设置的较长。然而，在夜晚拍摄运动物体时，快门时间越长，拍摄的图片越模糊，成片中主体(也即运动主体)会出现严重的鬼影和拖影，成片率较低，严重影响用户体验。
发明内容
为克服相关技术中存在的问题，本公开提供一种拍摄方法、装置、介质及芯片。
根据本公开实施例的第一方面，提供一种拍摄方法，包括：获取预览流；根据所述预览流，检测被拍摄主体的运动速度；若所述运动速度超过预设速度阈值，则根据所述运动速度对所述预览流中预览帧的初始曝光时间进行下调，得到第一曝光时间；基于所述第一曝光时间，得到拍摄图片。
可选地，所述根据所述预览流，检测被拍摄主体的运动速度，包括：确定所述预览帧间的变化；基于所述变化，确定所述被拍摄主体的运动速度；
或者
所述根据所述预览流，检测被拍摄主体的运动速度，包括：采用深度学习方法对所述预览帧中所述被拍摄主体的运动状态进行评估；基于所述评估结果确定所述被拍摄主体的运动速度。
可选地，所述基于所述变化，确定所述被拍摄主体的运动速度，包括：基于所述预览帧的不同区域所对应的所述变化以及所对应的权重，确定所述被拍摄主体的运动速度，其中，所述预览帧的具有所述被拍摄主体的区域所对应的权重大于所述预览帧的没有所述被拍摄主体的区域所对应的权重。
可选地，所述方法还包括：对基于N个连续的所述预览帧确定的所述运动速度进行平滑处理，得到最终的运动速度。
可选地，在所述确定所述预览帧间的变化之前，所述方法还包括：确定所述预览帧的不同区域所对应的区域亮度；对所述区域亮度低于第二亮度的区域进行自适应提亮操作，其中，所述第二亮度为容易造成运动速度误检测的临界亮度。
可选地，所述根据所述运动速度对所述预览流中预览帧的初始曝光时间进行下调，包括：根据所述运动速度与曝光时间的预设对应关系，对所述初始曝光时间进行下调。
可选地，所述基于所述第一曝光时间，得到拍摄图片，包括：利用所述第一曝光时间，得到raw图；基于所述当前环境亮度所处的亮度范围以及当前场景是否是使得所述raw图间产生差异的异常场景，对所述raw图进行处理，得到拍摄图片。
可选地，所述基于所述当前环境亮度所处的亮度范围以及当前场景是否是使得所述raw图间产生差异的异常场景，对所述raw图进行处理，包括：确定所述当前环境亮度所处的亮度范围并确定所述当前场景是否为使得所述raw图间产生差异的所述异常场景，其中，所述亮度范围包括第一亮度范围和第二亮度范围，所述第一亮度范围内的环境亮度大于所述第二亮度范围内的环境亮度，所述第一亮度范围指的是利用所述当前环境亮度处于所述第一亮度范围情况下得到的其中一帧raw图就能够恢复足够的细节的亮度范围，所述第二亮度范围指的是利用所述当前环境亮度处于所述第二亮度范围情况下得到的其中一帧raw图不能够恢复足够的细节的亮度范围；若所述当前场景为所述异常场景，则采用单帧处理操作对所述raw图进行处理，其中，所述单帧处理操作指的是从所述raw图中选取一帧进行处理的操作；若所述当前场景不是所述异常场景而且所述当前环境亮度处于所述第一亮度范围内，则采用所述单帧处理操作对所述raw图进行处理；若所述当前场景不是所述异常场景而且所述当前环境亮度处于所述第二亮度范围内，则采用多帧处理操作对所述raw图进行处理，所述多帧处理操作指的是从所述raw中选取多个帧进行处理的操作。
可选地，所述异常场景包括亮度突变场景和抖动场景中的至少一者，其中：所述亮度突变场景指的是所述raw图之间的亮度差异大于预设亮度差的场景；所述抖动场景指的是终端设备存在抖动的场景。
可选地，所述方法还包括：确定每一帧raw图的中间区域的亮度均值，作为每一帧raw图的亮度。
可选地，所述方法还包括：获取所述终端设备的运动传感器的角速度信息；基于所述角速度信息，确定所述终端设备是否存在抖动。
可选地，所述单帧处理操作包括：利用终端设备的测光参数将所述raw图的亮度调整为基本相当的程度；确定亮度调整后的raw图的模糊度；根据所述模糊度，从所述raw图中选取最清晰的一帧raw图；对选取的raw图进行降噪处理，得到所述拍摄图片。
可选地，所述多帧处理操作包括：利用终端设备的测光参数将所述raw图的亮度调整为基本相当的程度；确定亮度调整后的raw图的模糊度；根据所述模糊度，从所述raw图中选取最清晰的M帧raw图，其中M为大于等于2的正整数；将所述M帧raw图中最清晰的一帧raw图作为主帧；采用对齐方法将所述M帧raw图中主帧之外的帧向着所述主帧进行映射变换，以将所述M帧raw图对齐；对对齐后的所述M帧raw图进行运动区域检测，并在所述主帧之外的帧的检测到的运动区域中填充所述主帧中检测到的运动区域的信息；对填充后的帧和所述主帧进行降噪处理，得到所述拍摄图片。
可选地，所述对齐方法为将全局对齐和光流对齐相结合的方法，或者为基于深度学习的对齐方法。
可选地，在执行所述对齐之前，所述方法还包括：确定所述raw图的不同区域所对应的区域亮度；对所述区域亮度低于第三亮度的区域进行自适应提亮操作，其中，所述第三亮度为容易造成误对齐的临界亮度。
可选地，所述确定亮度调整后的raw图的模糊度，包括：使用基于特征金字塔的模糊度计算方法、基于梯度变化的模糊度计算方法、基于深度学习方法的模糊度计算方法中的至少一者来确定亮度调整后的raw图的模糊度。
可选地，在确定所述模糊度之前，所述方法还包括：利用对焦信息筛除无用图像。
可选地，所述降噪处理为AI降噪处理。
根据本公开实施例的第二方面，提供一种拍摄装置，包括：获取模块，用于获取预览流；检测模块，用于根据所述预览流，检测被拍摄主体的运动速度；调整模块，用于若所述运动速度超过预设速度阈值，则根据所述运动速度对所述预览流中预览帧的初始曝光时间进行下调，得到第一曝光时间，；处理模块，用于基于所述第一曝光时间，得到拍摄图片。
根据本公开实施例的第三方面，提供一种拍摄装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行根据第一方面任一项所述方法的步骤。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现第一方面任一项所述方法的步骤。
根据本公开实施例的第五方面，提供一种芯片，其特征在于，包括处理器和接口；所述处理器用于读取指令以执行第一方面任一项所述的方法。
通过采用上述技术方案，由于在被拍摄主体的运动速度超过预设速度阈值的情况下，这说明被拍摄主体的当前运动速度快，则根据运动速度对预览流中预览帧的初始曝光时间进行了下调，下调曝光时间可以保证图像中的主体清晰，因此解决了拍摄运动速度快的主体时出现的模糊、涂抹、鬼影等现象，可以帮助用户清晰捕捉到运动主体的精彩瞬间，保证了成像中运动主体的清晰度，提升了成片率。另外，与相关技术中延长快门时间的方案相比，本申请通过下调曝光时间，避免了长曝光时间下的抖动问题(例如，在手持拍摄时，如果曝光时间过长，则很容易手抖)，从而可以获取到更加清晰的输出图像，提升拍照成片率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种拍摄方法的流程图。
图2是根据一示例性实施例示出的对raw图进行处理的流程图。
图3是根据一示例性实施例示出的单帧处理操作的流程图。
图4是根据一示例性实施例示出的多帧处理操作的流程图。
图5是根据一示例性实施例示出的一种拍摄装置的示意框图。
图6是根据一示例性实施例示出的一种用于拍摄的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
图1是根据一示例性实施例示出的一种拍摄方法的流程图。该拍摄方法能够应用于任何具有拍摄功能的终端设备，例如手机、平板电脑、iPad等。如图1所示，该拍摄方法包括以下步骤S11至S14。
在步骤S11中，获取预览流。
预览流指的是在打开终端设备的拍照功能之后，供用户对要拍摄的场景进行预览的数据流。
在步骤S12中，根据预览流，检测被拍摄主体的运动速度。
被拍摄主体指的是要被拍摄的主要对象，例如人、动物、运动中的车辆等等。
在一些实施例中，根据预览流，检测被拍摄主体的运动速度，可以通过以下方式来实现：确定预览帧间的变化；基于变化，确定被拍摄主体的运动速度。例如，可以通过检测被拍摄主体在不同预览帧中的不同位置，来确定预览帧间的变化。
另外，基于变化，确定被拍摄主体的运动速度，可以包括：基于预览帧的不同区域所对应的变化以及所对应的权重，确定被拍摄主体的运动速度，其中，预览帧的具有被拍摄主体的区域所对应的权重大于预览帧的没有被拍摄主体的区域所对应的权重。通过对预览帧中不同区域使用不同的权重，也即加大被拍摄主体所在区域的权重，减小其他区域的权重，能够使得运动检测结果更关注被拍摄主体所在的运动区域，防止了运动检测的误检和漏检现象，提高了运动检测的准确性。举例而言，假设预览帧被划分成了区域1、区域2、区域3和区域4，其所对应的权重分别为a1、a2、a3和a4，而且，被拍摄主体位于区域1中，则可以将a1设置成比a2、a3和a4都要大。在确定了每个区域所对应的变化之后，就可以将不同区域所对应的变化以及所对应的权重进行加权，得到被拍摄主体的运动速度，例如，假设区域1、区域2、区域3和区域4所对应的变化速度分别是v1、v2、v3和v4，则被拍摄主体的运动速度为a1×v1+a2×v2+a3×v3+a4×v4。
上述通过加权处理而得到的被拍摄主体的运动速度是基于2个连续的预览帧而得到的运动速度。但是，在一些实施例中，还可以对基于N个连续的预览帧确定的运动速度进行平滑处理，得到最终的运动速度。以连续的预览帧1、预览帧2、预览帧3和预览帧4为例，在基于预览帧1和预览帧2确定了运动速度1、基于预览帧2和预览帧3确定了运动速度2、基于预览帧3和预览帧4确定了运动速度3之后，可以对运动速度1、运动速度2和运动速度3进行平滑处理，例如对它们取均值、取均方值等，从而得到最终的运动速度，这样就能够防止运动检测的误检和漏检现象，使得所确定的运动速度的准确性更高。
另外，预览帧的画面过暗，容易导致运动误检测。预览帧画面过暗通常是由于环境亮度比较暗而导致的，例如在夜晚场景、白天阴天场景中，由于环境亮度过暗，所以预览帧的画面也会过暗。所以，在确定预览帧间的变化之前，根据本公开实施例的方法还可以包括以下步骤：确定预览帧的不同区域所对应的区域亮度；对区域亮度低于第二亮度的区域进行自适应提亮操作，其中，第二亮度为容易造成运动速度误检测的临界亮度。也即，如果区域亮度低于第二亮度，则说明该区域的亮度过暗，容易造成运动误检测，所以通过对该区域进行自适应提亮操作以增加该区域的亮度，有效消除了环境亮度暗情况下场景信息不足的影响，防止了运动检测的误检和漏检现象，确保了能够获得更为准确的运动速度检测值。
在一些实施例中，根据预览流，检测被拍摄主体的运动速度，还可以通过以下方式来实现：采用深度学习方法对预览帧中被拍摄主体的运动状态进行评估；基于评估结果确定被拍摄主体的运动速度。这样，就能够获取到更加准确的运动速度检测值。
在步骤S13中，若运动速度超过预设速度阈值，这说明被拍摄主体的运动速度快，拍摄的照片容易出现模糊、涂抹、鬼影等问题，因此，在这种情况下，可以根据运动速度对预览流中预览帧的初始曝光时间进行下调，得到第一曝光时间。
初始曝光时间指的是打开终端设备的拍摄功能时的默认曝光时间。
在一些实施例中，可以根据运动速度与曝光时间的预设对应关系，对初始曝光时间进行下调。预设对应关系可以是预设对应表或者预设函数对应关系等。例如，假设在预设对应表中，运动速度1对应的曝光时间是p1，运动速度2对应的曝光时间是p2等等，则如果在步骤S12中确定出的被拍摄主体的运动速度是运动速度2，则在步骤S13中就可以依据预设对应表，将初始曝光时间下调至p2。
在一些实施例中，下调曝光时间的考虑因素除了被拍摄主体的运动速度之外，还可以考虑当前环境亮度。例如，可以检测当前环境亮度和被拍摄主体的运动速度，如果被拍摄主体的运动速度超过预设速度阈值而且当前环境亮度低于第一亮度，则根据运动速度对预览流中预览帧的初始曝光时间进行下调，下调的方式与如上所述的下调方式类似。这里，第一亮度指的是因环境亮度而影响拍摄图片质量的临界亮度，也即，在环境亮度大于第一亮度的情况下，环境亮度对拍摄图片质量的影响很小或者完全没有影响，而在环境亮度小于第一亮度的情况下(例如，在夜晚场景、白天但阴天场景等情况下)，环境亮度对拍摄图片质量就会有着明显的影响。在一些实施例中，当前环境亮度指的是拍摄所处的当前环境的亮度，其可以利用终端设备的测光参数来检测。通过如上配置，就能够保证环境亮度暗的情况下图像中被拍摄主体的清晰。
在步骤S14中，基于第一曝光时间，得到拍摄图片。
在一些实施例中，步骤S14可以采用如下方式来实现。
首先，基于第一曝光时间，得到raw图。例如，如果在下调了曝光时间之后，终端设备仍然是继续处于拍照预览阶段，则可以使用该第一曝光时间获取预览帧，并将获取到的预览帧缓存到终端设备中，这样就得到了raw图。如果在下调了曝光时间之后的某个时刻，用户按下了快门，则使用第一曝光时间进行曝光并拍摄，这样也能够得到raw图。也即，利用第一曝光时间，得到了多帧的短曝光raw图。
然后，对raw图进行处理，得到拍摄图片。
在一些实施例中，如果终端设备使用的是零延时模式(zero shutter lag，ZSL)进行拍摄，则需要进行处理的raw图就来自被缓存的预览帧，或者来自被缓存的预览帧以及用户按下快门后所拍下的raw图。如果终端设备使用的是常规的拍摄模式，也即非ZSL模式，则需要进行处理的raw图就来自用户按下快门后所拍下的raw图。
通过采用上述技术方案，由于在被拍摄主体的运动速度超过预设速度阈值的情况下，也即被拍摄主体的运动速度快的情况下，根据运动速度对预览流中预览帧的初始曝光时间进行了下调，下调曝光时间可以保证图像中的主体清晰，因此解决了拍摄运动速度快的主体时出现的模糊、涂抹、鬼影等现象，可以帮助用户清晰捕捉到运动主体的精彩瞬间，保证了成像中运动主体的清晰度，提升了成片率。另外，与相关技术中延长快门时间的方案相比，本申请通过下调曝光时间，避免了长曝光时间下的抖动问题(例如，在手持拍摄时，如果曝光时间过长，则很容易手抖)，从而可以获取到更加清晰的输出图像，提升拍照成片率。根据本公开实施例的方法适用于各种环境下的成片质量改善，例如，环境亮度高的场景(例如，晴天)、环境亮度暗的场景(例如夜晚、白天但阴天)等。
在一些实施例中，步骤S14中所述的基于第一曝光时间，得到拍摄图片，可以包括：利用第一曝光时间，得到raw图；基于当前环境亮度所处的亮度范围以及当前场景是否是使得raw图间产生差异的异常场景，对raw图进行处理，得到拍摄图片，这将在下文中结合图2进行详细描述。当前环境亮度指的是拍摄所处的当前环境的亮度，其可以利用终端设备的测光参数来检测。
通过采用上述技术方案，就能够在处理raw图时考虑到当前环境亮度所处的亮度范围以及异常场景，避免了因为亮度因素、异常场景因素等对最终处理结果的影响，从而能够获取到更加清晰的输出图像，提升拍照成片率。
图2是根据一示例性实施例示出的基于当前环境亮度所处的亮度范围以及当前场景是否是使得raw图间产生差异的异常场景对raw图进行处理的流程图。如图2所示，该方法包括以下步骤S21至S25。
在步骤S21中，确定当前场景是否为异常场景。其中，异常场景为使得raw图间产生差异的场景。如果当前场景是异常场景，则转至步骤S22，如果当前场景不是异常场景，则转至步骤S23。
异常场景可以包括亮度突变场景和抖动场景中的至少一者。亮度突变场景指的是raw图之间的亮度差异大于预设亮度差的场景。抖动场景指的是终端设备存在抖动的场景。
亮度突变场景可以通过以下方式来确定。首先，确定每一帧raw图的中间区域的亮度均值，作为每一帧raw图的亮度，例如确定第i帧raw图的中间区域的亮度均值，作为第i帧raw图的亮度。其中，将每一帧raw图的中间区域的亮度均值作为该帧raw图的亮度的原因在于raw图具有中间区域亮、四周暗的特性。然后，确定各帧raw图之间的亮度差异，例如确定第i帧raw图与第j帧raw图之间的亮度差异。然后，如果亮度差异大于预设亮度差，则说明当前环境存在着亮度跳变，可以确定当前环境属于亮度突变场景。
抖动场景可以通过如下方式来确定。首先，获取终端设备的运动传感器(例如陀螺仪等)的角速度信息。然后，基于角速度信息，确定终端设备是否存在抖动。如果角速度变化较大，例如角速度变化差值大于预设角速度差值，则说明终端设备处于不稳定状态，也即处于抖动状态。抖动会导致多帧图像间图像内容差异较大。
在步骤S22中，由于步骤S21中确定当前场景为异常场景，而异常场景会使得raw图间产生差异，所以异常场景会对多帧处理操作的结果产生影响，其中多帧处理操作指的是从raw图中选取多个帧进行处理的操作。所以在异常场景下，采用单帧处理操作对raw图进行处理，其中，单帧处理操作指的是从raw图中选取一帧进行处理的操作，这样就能够保证异常场景下成片效果的稳定，提升了整体拍照成片率。
在步骤S23中，由于在步骤S21中确定当前场景不是异常场景，所以在步骤S23中，进一步确定当前环境亮度所处的亮度范围，以便能够基于步骤S23的确定结果来决定随后采用单帧处理操作还是多帧处理操作对raw图进行处理。其中，亮度范围包括第一亮度范围和第二亮度范围，第一亮度范围内的环境亮度大于第二亮度范围内的环境亮度，第一亮度范围指的是利用当前环境亮度处于第一亮度范围情况下得到的其中一帧raw图就能够恢复足够的细节的亮度范围，第二亮度范围指的是利用当前环境亮度处于第二亮度范围情况下得到的其中一帧raw图不能够恢复足够的细节的亮度范围。举例而言，第一亮度范围可以是环境亮度大于第四亮度但小于第一亮度的范围，第二亮度范围可以是环境亮度大于第五亮度但小于第四亮度的范围，第四亮度是利用一帧raw图就能够恢复足够的细节的临界亮度，第一亮度指的是如前所述的因环境亮度而影响拍摄图片质量的临界亮度。再例如，第一亮度范围可以是环境亮度大于第四亮度的范围，第二亮度范围可以是环境亮度小于第四亮度的范围。
若当前环境处于第一亮度范围，则转至步骤S24，若当前环境处于第二亮度范围，则转至步骤S25。
在步骤S24中，由于当前场景不是异常场景而且当前环境亮度处于第一亮度范围内，所以采用单帧处理操作对raw图进行处理。单帧处理操作在相对较亮的环境照度场景下可以生成与多帧处理操作基本相当的解析力恢复效果(也即，能够恢复与多帧处理操作基本相当的图像细节)。因此，在这种情况下采用单帧处理操作对raw图进行处理，不仅保证了环境亮度暗的大环境下的快速成图，而且还能够保留环境亮度暗的大环境下的细纹理。
在步骤S25中，若当前场景不是异常场景而且当前环境亮度处于第二亮度范围内，则采用多帧处理操作对raw图进行处理。在相对较暗的场景下，采用多帧处理操作能够恢复更多的细节，从而不仅保证了环境亮度暗的大环境下的快速成图，而且还能够保留环境亮度暗的大环境下的细纹理。
通过采用上述技术方案，由于在异常场景以及不同的亮度范围内，采用了不同的raw图处理方案，因此不仅保证了快速成图，而且还能够保留细纹理，解决了在环境亮度暗的情况下、异常场景下拍摄运动速度快的主体时出现的模糊、涂抹、鬼影等现象，可以帮助用户清晰捕捉到运动主体的精彩瞬间，保证了成像中运动主体的清晰度，提升了环境亮度暗的情况下、异常场景下的成片率。
图3是根据一示例性实施例示出的单帧处理操作的流程图。如图3所示，该单帧处理操作包括以下步骤S31至步骤S34。
在步骤S31中，利用终端设备的测光参数将raw图的亮度调整为基本相当的程度。例如，利用测光参数中的gain值对raw图的亮度进行调整。通过将raw图的亮度调整为基本相当的程度，就能够消除各帧raw图之间亮度的差异，提高后续步骤中模糊度计算的准确性。
在步骤S32中，确定亮度调整后的raw图的模糊度。
在一些实施例中，可以使用各种算法来确定模糊度，例如，利用基于特征金字塔的模糊度计算方法、基于梯度变化的模糊度计算方法、基于深度学习方法的模糊度计算方法等中的至少一者来确定模糊度。基于梯度变化的模糊度计算方法指的是计算raw图中的梯度变化，基于梯度变化确定模糊度，其中，如果一幅图像包含更多的梯度变化，则说明该图像中包含更多的边缘信息，而边缘越多，则图像越清晰。基于特征金字塔的模糊度计算方法与基于梯度变化的模糊度计算方法相比，其计算结果更加准确。基于深度学习方法的模糊度计算方法能够归回图像清晰度。
在步骤S33中，根据模糊度，从raw图中选取最清晰的一帧raw图。通过使用模糊度选帧方法，既可以准确选到模糊度最小的帧，又能够保证成片的整体清晰度。
在步骤S34中，对选取的raw图进行降噪处理，得到拍摄图片。
在一些实施例中，可以采用各种降噪处理方法，例如使用深度学习网络进行AI降噪处理。AI降噪算法和传统降噪方法相比，噪声去除的更为干净，且保留了更多的局部细节，尤其是在环境照度暗的场景(例如夜晚、白天阴天等)，传统降噪方法更容易出现噪声残留。也即，使用深度学习网络进行AI降噪处理，解决了传统降噪算法噪声大、细节涂抹的问题，也解决了因硬件限制导致的成像噪声大的问题。
通过采用上述技术方案，解决了拍摄运动速度快的主体时出现的模糊、涂抹、鬼影等现象，可以帮助用户清晰捕捉到运动主体的精彩瞬间，保证了成像中运动主体的清晰度，提升了成片率。
在一些实施例中，在步骤S32之前，也即在确定模糊度之前，还可以利用对焦信息筛除无用图像，这样就能够减小模糊度计算量。
图4是根据一示例性实施例示出的多帧处理操作的流程图。如图4所示，该多帧处理操作包括以下步骤S41至S47。
在步骤S41中，利用终端设备的测光参数将raw图的亮度调整为基本相当的程度。例如，利用测光参数中的gain值对raw图的亮度进行调整。通过将raw图的亮度调整为基本相当的程度，就能够消除各帧raw图之间亮度的差异，提高后续步骤中模糊度计算的准确性。
在步骤S42中，确定亮度调整后的raw图的模糊度。
在一些实施例中，可以使用各种算法来确定模糊度，例如，基于特征金字塔的模糊度计算方法、基于梯度变化的模糊度计算方法、基于深度学习方法的模糊度计算方法等等。基于梯度变化的模糊度计算方法指的是计算raw图中的梯度变化，基于梯度变化确定模糊度，其中，如果一幅图像包含更多的梯度变化，则说明该图像中包含更多的边缘信息，而边缘越多，则图像越清晰。基于特征金字塔的模糊度计算方法与基于梯度变化的模糊度计算方法相比，其计算结果更加准确。基于深度学习方法的模糊度计算方法能够归回图像清晰度。
在步骤S43中，根据模糊度，从raw图中选取最清晰的M帧raw图，其中M为大于等于2的正整数。通过使用模糊度选帧方法，既可以准确选到模糊度最小的帧，又能够保证成片的整体清晰度。
在步骤S44中，将M帧raw图中最清晰的一帧raw图作为主帧。
在步骤S45中，采用对齐方法将M帧raw图中主帧之外的帧向着主帧进行映射变换，以将M帧raw图对齐。
在一些实施例中，对齐方法可以为：将全局对齐和光流对齐相结合的方法，例如先执行全局对齐再执行光流对齐，或者先执行光流对齐再执行全局对齐，这提升了对齐的准确性，并减少了对齐带来的重复纹理的变形等负面问题；或者为基于深度学习的对齐方法，基于深度学习的对齐方法能够生成更加准确的光流图，使得对齐结果的纹理更加清晰细腻。
在步骤S46中，对对齐后的M帧raw图进行运动区域检测，并在主帧之外的帧的检测到的运动区域中填充主帧中检测到的运动区域的信息。由于拍摄场景中存在运动主体，所以M帧raw图中每帧的运动主体在图像中位于不同的位置，而通过在主帧之外的帧的检测到的运动区域中填充主帧中检测到的运动区域的信息，则能够达到去除涂抹、鬼影的目的。
在步骤S47中，对填充后的帧和主帧进行降噪处理，得到拍摄图片。也即利用M帧raw图得到了一张拍摄图片。
在一些实施例中，可以采用各种降噪处理方法，例如使用深度学习网络进行AI降噪处理。AI降噪算法和传统降噪方法相比，噪声去除的更为干净，且保留了更多的局部细节，尤其是在环境照度暗的场景(例如夜晚、白天阴天等)，传统降噪方法更容易出现噪声残留。也即，使用深度学习网络进行AI降噪处理，解决了传统降噪算法噪声大、细节涂抹的问题，也解决了因硬件限制导致的成像噪声大的问题。
通过采用上述技术方案，解决了拍摄运动速度快的主体时出现的模糊、涂抹、鬼影等现象，可以帮助用户清晰捕捉到运动主体的精彩瞬间，保证了成像中运动主体的清晰度，提升了成片率。
在一些实施例中，在步骤S42之前，也即在确定模糊度之前，还可以利用对焦信息筛除无用图像，这样就能够减小模糊度计算量。
在一些实施例中，在执行步骤S45中的对齐操作之前，还可以执行以下操作：确定raw图的不同区域所对应的区域亮度；对区域亮度低于第三亮度的区域进行自适应提亮操作，其中，第三亮度为容易造成误对齐的临界亮度。也即，如果raw图中某个区域的区域亮度低于第三亮度，则说明该区域的亮度过暗，容易出现误对齐造成纹理变形，所以通过对该区域进行自适应提亮操作以增加该区域的亮度，能够使得所选的M帧raw图在非运动区域(也即不存在运动的被拍摄主体的区域)的像素上是基本对齐的，提升了对齐的准确度。
图5是根据一示例性实施例示出的一种拍摄装置的示意框图。该拍摄装置能够应用于任何具有拍摄功能的终端设备，例如手机、平板电脑、iPad等。如图5所示，该拍摄装置包括：获取模块51，用于获取预览流；检测模块52，用于根据预览流，检测被拍摄主体的运动速度；调整模块53，用于若运动速度超过预设速度阈值，则根据运动速度对预览流中预览帧的初始曝光时间进行下调，得到第一曝光时间；处理模块54，用于利用第一曝光时间，得到拍摄图片。
通过采用上述技术方案，由于在被拍摄主体的运动速度超过预设速度阈值的情况下，也即在被拍摄主体的运动速度快的情况下，根据运动速度对预览流中预览帧的初始曝光时间进行了下调，下调曝光时间可以保证图像中的主体清晰，因此解决了拍摄运动速度快的主体时出现的模糊、涂抹、鬼影等现象，可以帮助用户清晰捕捉到运动主体的精彩瞬间，保证了成像中运动主体的清晰度，提升了成片率。另外，与相关技术中延长快门时间的方案相比，本申请通过下调曝光时间，避免了长曝光时间下的抖动问题(例如，在手持拍摄时，如果曝光时间过长，则很容易手抖)，从而可以获取到更加清晰的输出图像，提升拍照成片率。根据本公开实施例的装置适用于各种环境下的成片质量改善，例如，环境亮度高的场景(例如，晴天)、环境亮度暗的场景(例如夜晚、白天但阴天)等。
可选地，所述根据所述预览流，检测被拍摄主体的运动速度，包括：确定所述预览帧间的变化；基于所述变化，确定所述被拍摄主体的运动速度；
或者
所述根据所述预览流，检测被拍摄主体的运动速度，包括：采用深度学习方法对所述预览帧中所述被拍摄主体的运动状态进行评估；基于所述评估结果确定所述被拍摄主体的运动速度。
可选地，所述基于所述变化，确定所述被拍摄主体的运动速度，包括：基于所述预览帧的不同区域所对应的所述变化以及所对应的权重，确定所述被拍摄主体的运动速度，其中，所述预览帧的具有所述被拍摄主体的区域所对应的权重大于所述预览帧的没有所述被拍摄主体的区域所对应的权重。
可选地，所述检测模块52还用于：对基于N个连续的所述预览帧确定的所述运动速度进行平滑处理，得到最终的运动速度。
可选地，所述检测模块52还用于，在所述确定所述预览帧间的变化之前：确定所述预览帧的不同区域所对应的区域亮度；对所述区域亮度低于第二亮度的区域进行自适应提亮操作，其中，所述第二亮度为容易造成运动速度误检测的临界亮度。
可选地，所述根据所述运动速度对所述预览流中预览帧的初始曝光时间进行下调，包括：根据所述运动速度与曝光时间的预设对应关系，对所述初始曝光时间进行下调。
可选地，所述基于所述第一曝光时间，得到拍摄图片，包括：利用所述第一曝光时间，得到raw图；基于当前环境亮度所处的亮度范围以及当前场景是否是使得所述raw图间产生差异的异常场景，对所述raw图进行处理，得到拍摄图片。
可选地，所述基于当前环境亮度所处的亮度范围以及当前场景是否是使得所述raw图间产生差异的异常场景，对所述raw图进行处理，包括：确定所述当前环境亮度所处的亮度范围并确定所述当前场景是否为使得所述raw图间产生差异的所述异常场景，其中，所述亮度范围包括第一亮度范围和第二亮度范围，所述第一亮度范围内的环境亮度大于所述第二亮度范围内的环境亮度，所述第一亮度范围指的是利用所述当前环境亮度处于所述第一亮度范围情况下得到的其中一帧raw图就能够恢复足够的细节的亮度范围，所述第二亮度范围指的是利用所述当前环境亮度处于所述第二亮度范围情况下得到的其中一帧raw图不能够恢复足够的细节的亮度范围；若所述当前场景为所述异常场景，则采用单帧处理操作对所述raw图进行处理，其中，所述单帧处理操作指的是从所述raw图中选取一帧进行处理的操作；若所述当前场景不是所述异常场景而且所述当前环境亮度处于所述第一亮度范围内，则采用所述单帧处理操作对所述raw图进行处理；若所述当前场景不是所述异常场景而且所述当前环境亮度处于所述第二亮度范围内，则采用多帧处理操作对所述raw图进行处理，所述多帧处理操作指的是从所述raw中选取多个帧进行处理的操作。
可选地，所述异常场景包括亮度突变场景和抖动场景中的至少一者，其中：所述亮度突变场景指的是所述raw图之间的亮度差异大于预设亮度差的场景；所述抖动场景指的是终端设备存在抖动的场景。
可选地，所述处理模块54还用于：确定每一帧raw图的中间区域的亮度均值，作为每一帧raw图的亮度。
可选地，所述处理模块54还用于：获取所述终端设备的运动传感器的角速度信息；基于所述角速度信息，确定所述终端设备是否存在抖动。
可选地，所述单帧处理操作包括：利用终端设备的测光参数将所述raw图的亮度调整为基本相当的程度；确定亮度调整后的raw图的模糊度；根据所述模糊度，从所述raw图中选取最清晰的一帧raw图；对选取的raw图进行降噪处理，得到所述拍摄图片。
可选地，所述多帧处理操作包括：利用终端设备的测光参数将所述raw图的亮度调整为基本相当的程度；确定亮度调整后的raw图的模糊度；根据所述模糊度，从所述raw图中选取最清晰的M帧raw图，其中M为大于等于2的正整数；将所述M帧raw图中最清晰的一帧raw图作为主帧；采用对齐方法将所述M帧raw图中主帧之外的帧向着所述主帧进行映射变换，以将所述M帧raw图对齐；对对齐后的所述M帧raw图进行运动区域检测，并在所述主帧之外的帧的检测到的运动区域中填充所述主帧中检测到的运动区域的信息；对填充后的帧和所述主帧进行降噪处理，得到所述拍摄图片。
可选地，所述对齐方法为将全局对齐和光流对齐相结合的方法，或者为基于深度学习的对齐方法。
可选地，所述处理模块54还用于，在执行所述对齐之前：确定所述raw图的不同区域所对应的区域亮度；对所述区域亮度低于第三亮度的区域进行自适应提亮操作，其中，所述第三亮度为容易造成误对齐的临界亮度。
可选地，所述确定亮度调整后的raw图的模糊度，包括：使用基于特征金字塔的模糊度计算方法、基于梯度变化的模糊度计算方法、基于深度学习方法的模糊度计算方法中的至少一者来确定亮度调整后的raw图的模糊度。
可选地，所述处理模块54还用于，在确定所述模糊度之前：利用对焦信息筛除无用图像。
可选地，所述降噪处理为AI降噪处理。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的拍摄方法的步骤。
本公开还提供一种拍摄装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行根据本公开的方法的步骤。
本公开还提供一种芯片，包括处理器和接口；所述处理器用于读取指令以执行本公开提供的方法的步骤。
另外，需要说明的是，本公开中提及的亮度的单位可以是勒克斯指数(Luxindex)或者其他亮度单位。对于勒克斯指数而言，其数值越小，所表示的亮度越亮。以前文中提及的“环境亮度大于第四亮度”为例，假设第四亮度的勒克斯指数数值为290，则环境亮度的勒克斯指数数值就应该小于290，才能满足环境亮度大于第四亮度的要求。
图6是根据一示例性实施例示出的一种用于拍摄的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的拍摄方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
输入/输出接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述拍摄方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述拍摄方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
上述装置除了可以是独立的电子设备外，也可是独立电子设备的一部分，例如在一种实施例中，该装置可以是集成电路(Integrated Circuit，IC)或芯片，其中该集成电路可以是一个IC，也可以是多个IC的集合；该芯片可以包括但不限于以下种类：GPU(GraphicsProcessing Unit，图形处理器)、CPU(Central Processing Unit，中央处理器)、FPGA(Field Programmable Gate Array，可编程逻辑阵列)、DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、SOC(System on Chip，SoC，片上系统或系统级芯片)等。上述的集成电路或芯片中可以用于执行可执行指令(或代码)，以实现上述的拍摄方法。其中该可执行指令可以存储在该集成电路或芯片中，也可以从其他的装置或设备获取，例如该集成电路或芯片中包括处理器、存储器，以及用于与其他的装置通信的接口。该可执行指令可以存储于该存储器中，当该可执行指令被处理器执行时实现上述的拍摄方法；或者，该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行，以实现上述的拍摄方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的拍摄方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (22)
1.一种拍摄方法，其特征在于，包括：
获取预览流；
根据所述预览流，检测被拍摄主体的运动速度；
若所述运动速度超过预设速度阈值，则根据所述运动速度对所述预览流中预览帧的初始曝光时间进行下调，得到第一曝光时间；
基于所述第一曝光时间，得到拍摄图片。
2.根据权利要求1所述的方法，其特征在于，所述根据所述预览流，检测被拍摄主体的运动速度，包括：确定所述预览帧间的变化；基于所述变化，确定所述被拍摄主体的运动速度；
或者
所述根据所述预览流，检测被拍摄主体的运动速度，包括：采用深度学习方法对所述预览帧中所述被拍摄主体的运动状态进行评估；基于所述评估结果确定所述被拍摄主体的运动速度。
3.根据权利要求2所述的方法，其特征在于，所述基于所述变化，确定所述被拍摄主体的运动速度，包括：
基于所述预览帧的不同区域所对应的所述变化以及所对应的权重，确定所述被拍摄主体的运动速度，其中，所述预览帧的具有所述被拍摄主体的区域所对应的权重大于所述预览帧的没有所述被拍摄主体的区域所对应的权重。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
对基于N个连续的所述预览帧确定的所述运动速度进行平滑处理，得到最终的运动速度。
5.根据权利要求2至4中任一项所述的方法，其特征在于，在所述确定所述预览帧间的变化之前，所述方法还包括：
确定所述预览帧的不同区域所对应的区域亮度；
对所述区域亮度低于第二亮度的区域进行自适应提亮操作，其中，所述第二亮度为容易造成运动速度误检测的临界亮度。
6.根据权利要求1所述的方法，其特征在于，所述根据所述运动速度对所述预览流中预览帧的初始曝光时间进行下调，包括：
根据所述运动速度与曝光时间的预设对应关系，对所述初始曝光时间进行下调。
7.根据权利要求1所述的方法，其特征在于，所述基于所述第一曝光时间，得到拍摄图片，包括：
利用所述第一曝光时间，得到raw图；
基于当前环境亮度所处的亮度范围以及当前场景是否是使得所述raw图间产生差异的异常场景，对所述raw图进行处理，得到拍摄图片。
8.根据权利要求7所述的方法，其特征在于，所述基于当前环境亮度所处的亮度范围以及当前场景是否是使得所述raw图间产生差异的异常场景，对所述raw图进行处理，包括：
确定所述当前环境亮度所处的亮度范围并确定所述当前场景是否为使得所述raw图间产生差异的所述异常场景，其中，所述亮度范围包括第一亮度范围和第二亮度范围，所述第一亮度范围内的环境亮度大于所述第二亮度范围内的环境亮度，所述第一亮度范围指的是利用所述当前环境亮度处于所述第一亮度范围情况下得到的其中一帧raw图就能够恢复足够的细节的亮度范围，所述第二亮度范围指的是利用所述当前环境亮度处于所述第二亮度范围情况下得到的其中一帧raw图不能够恢复足够的细节的亮度范围；
若所述当前场景为所述异常场景，则采用单帧处理操作对所述raw图进行处理，其中，所述单帧处理操作指的是从所述raw图中选取一帧进行处理的操作；
若所述当前场景不是所述异常场景而且所述当前环境亮度处于所述第一亮度范围内，则采用所述单帧处理操作对所述raw图进行处理；
若所述当前场景不是所述异常场景而且所述当前环境亮度处于所述第二亮度范围内，则采用多帧处理操作对所述raw图进行处理，所述多帧处理操作指的是从所述raw中选取多个帧进行处理的操作。
9.根据权利要求8所述的方法，其特征在于，所述异常场景包括亮度突变场景和抖动场景中的至少一者，其中：
所述亮度突变场景指的是所述raw图之间的亮度差异大于预设亮度差的场景；
所述抖动场景指的是终端设备存在抖动的场景。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
确定每一帧raw图的中间区域的亮度均值，作为每一帧raw图的亮度。
11.根据权利要求9所述的方法，其特征在于，所述方法还包括：
获取所述终端设备的运动传感器的角速度信息；
基于所述角速度信息，确定所述终端设备是否存在抖动。
12.根据权利要求8所述的方法，其特征在于，所述单帧处理操作包括：
利用终端设备的测光参数将所述raw图的亮度调整为基本相当的程度；
确定亮度调整后的raw图的模糊度；
根据所述模糊度，从所述raw图中选取最清晰的一帧raw图；
对选取的raw图进行降噪处理，得到所述拍摄图片。
13.根据权利要求8所述的方法，其特征在于，所述多帧处理操作包括：
利用终端设备的测光参数将所述raw图的亮度调整为基本相当的程度；
确定亮度调整后的raw图的模糊度；
根据所述模糊度，从所述raw图中选取最清晰的M帧raw图，其中M为大于等于2的正整数；
将所述M帧raw图中最清晰的一帧raw图作为主帧；
采用对齐方法将所述M帧raw图中主帧之外的帧向着所述主帧进行映射变换，以将所述M帧raw图对齐；
对对齐后的所述M帧raw图进行运动区域检测，并在所述主帧之外的帧的检测到的运动区域中填充所述主帧中检测到的运动区域的信息；
对填充后的帧和所述主帧进行降噪处理，得到所述拍摄图片。
14.根据权利要求13所述的方法，其特征在于，所述对齐方法为将全局对齐和光流对齐相结合的方法，或者为基于深度学习的对齐方法。
15.根据权利要求13所述的方法，其特征在于，在执行所述对齐之前，所述方法还包括：
确定所述raw图的不同区域所对应的区域亮度；
对所述区域亮度低于第三亮度的区域进行自适应提亮操作，其中，所述第三亮度为容易造成误对齐的临界亮度。
16.根据权利要求12或13所述的方法，其特征在于，所述确定亮度调整后的raw图的模糊度，包括：
使用基于特征金字塔的模糊度计算方法、基于梯度变化的模糊度计算方法、基于深度学习方法的模糊度计算方法中的至少一者来确定亮度调整后的raw图的模糊度。
17.根据权利要求12或13所述的方法，其特征在于，在确定所述模糊度之前，所述方法还包括：利用对焦信息筛除无用图像。
18.根据权利要求12或13所述的方法，其特征在于，所述降噪处理为AI降噪处理。
19.一种拍摄装置，其特征在于，包括：
获取模块，用于获取预览流；
检测模块，用于根据所述预览流，检测被拍摄主体的运动速度；
调整模块，用于若所述运动速度超过预设速度阈值，则根据所述运动速度对所述预览流中预览帧的初始曝光时间进行下调，得到第一曝光时间；
处理模块，用于基于所述第一曝光时间，得到拍摄图片。
20.一种拍摄装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行根据权利要求1至18中任一项所述方法的步骤。
21.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1～18中任一项所述方法的步骤。
22.一种芯片，其特征在于，包括处理器和接口；所述处理器用于读取指令以执行权利要求1～18中任一项所述的方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210788540.5A CN117412177A (zh) | 2022-07-04 | 2022-07-04 | 拍摄方法、装置、介质及芯片 |
| EP22204732.6A EP4304188A1 (en) | 2022-07-04 | 2022-10-31 | Photographing method and apparatus, medium and chip |
| US17/977,423 US20240005521A1 (en) | 2022-07-04 | 2022-10-31 | Photographing method and apparatus, medium and chip |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210788540.5A CN117412177A (zh) | 2022-07-04 | 2022-07-04 | 拍摄方法、装置、介质及芯片 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117412177A true CN117412177A (zh) | 2024-01-16 |
Family
ID=84044699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210788540.5A Pending CN117412177A (zh) | 2022-07-04 | 2022-07-04 | 拍摄方法、装置、介质及芯片 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240005521A1 (zh) |
| EP (1) | EP4304188A1 (zh) |
| CN (1) | CN117412177A (zh) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108495050B (zh) * | 2018-06-15 | 2020-09-04 | Oppo广东移动通信有限公司 | 拍照方法、装置、终端及计算机可读存储介质 |
| US20220138964A1 (en) * | 2020-10-30 | 2022-05-05 | Qualcomm Incorporated | Frame processing and/or capture instruction systems and techniques |
-
2022
- 2022-07-04 CN CN202210788540.5A patent/CN117412177A/zh active Pending
- 2022-10-31 US US17/977,423 patent/US20240005521A1/en active Pending
- 2022-10-31 EP EP22204732.6A patent/EP4304188A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4304188A1 (en) | 2024-01-10 |
| US20240005521A1 (en) | 2024-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN113472994B (zh) | 拍照方法及装置、移动终端及存储介质 | |
| CN106131441B (zh) | 拍照方法及装置、电子设备 | |
| EP3306913B1 (en) | Photographing method and apparatus | |
| CN112614064B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN108040204B (zh) | 一种基于多摄像头的图像拍摄方法、装置及存储介质 | |
| CN114500821B (zh) | 拍照方法及装置、终端及存储介质 | |
| CN112785537B (zh) | 图像处理方法、装置以及存储介质 | |
| CN113313788A (zh) | 图像处理方法和装置、电子设备以及计算机可读存储介质 | |
| CN107451972B (zh) | 图像增强方法、装置及计算机可读存储介质 | |
| CN112188095B (zh) | 拍照方法、拍照装置及存储介质 | |
| CN114079724B (zh) | 起跳抓拍方法、装置及存储介质 | |
| CN117412177A (zh) | 拍摄方法、装置、介质及芯片 | |
| CN116152078A (zh) | 图像处理方法、装置、系统及存储介质 | |
| CN117408885A (zh) | 图像处理方法、装置、介质及芯片 | |
| CN112651899A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN115953422B (zh) | 边缘检测方法、装置及介质 | |
| CN109447929B (zh) | 图像合成方法及装置 | |
| CN111050026B (zh) | 一种图像降噪控制方法、终端及计算机可读存储介质 | |
| CN118433527A (zh) | 对焦方法、装置、设备及存储介质 | |
| CN118283411A (zh) | 一种图像采集方法、装置及存储介质 | |
| CN118214950A (zh) | 一种图像拼接方法、装置及存储介质 | |
| CN118014873A (zh) | 图像的处理方法、装置、图像采集装置及存储介质 | |
| CN117278843A (zh) | 功耗控制方法及装置、电子设备及存储介质 | |
| CN113191994A (zh) | 图像处理方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |