CN114979504A - 相机拍摄参数确定方法、装置及存储介质 - Google Patents

相机拍摄参数确定方法、装置及存储介质 Download PDF

Info

Publication number
CN114979504A
CN114979504A CN202210575560.4A CN202210575560A CN114979504A CN 114979504 A CN114979504 A CN 114979504A CN 202210575560 A CN202210575560 A CN 202210575560A CN 114979504 A CN114979504 A CN 114979504A
Authority
CN
China
Prior art keywords
determining
exposure time
image
shooting
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210575560.4A
Other languages
English (en)
Other versions
CN114979504B (zh
Inventor
李煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Goodix Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Goodix Technology Co Ltd filed Critical Shenzhen Goodix Technology Co Ltd
Priority to CN202210575560.4A priority Critical patent/CN114979504B/zh
Publication of CN114979504A publication Critical patent/CN114979504A/zh
Application granted granted Critical
Publication of CN114979504B publication Critical patent/CN114979504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本申请提供一种相机拍摄参数确定方法、装置及存储介质,方法包括:获取相机拍摄的至少两张连续图像帧;根据所述至少两张连续图像帧,确定图像帧的运动像素比例;根据所述运动像素比例,确定所述相机拍摄图像的拍摄参数。本申请根据运动像素比例确定相机拍摄图像的拍摄参数,其中运动像素通过对连续的图像帧数据进行计算和判断得到,这种方法能同时处理相机抖动和场景中运动物体成像后造成的像素拖影,并且所占内存少,计算量很小,可以简单快速地确定拍摄参数。

Description

相机拍摄参数确定方法、装置及存储介质
技术领域
本申请涉及拍摄技术领域,尤其涉及一种相机拍摄参数确定方法、装置及存储介质。
背景技术
目前,绝大多数移动终端设备(如手机、平板电脑等)都内置有相机,随着拍摄技术的发展,移动终端设备拍摄图像的质量也越来越高。对于一些特殊拍摄场景,比如夜景,相机所拍摄的图像质量会低于其所拍摄的正常图像质量,因此,移动终端设备通常会对拍摄的夜景图像进行降噪处理,以提高图像质量。
目前,目前主流的降噪方案是采用多帧降噪(Multi-Frame Noise Reduction,MFNR)技术,MFNR利用相机获取的连续多帧具有相同曝光水平的数据(简称“等曝数据”)用于融合降噪。获得的单帧的数据质量会直接影响到MFNR的融合结果,因此在进入多帧降噪算法模块前关键是确定相机的拍摄参数,例如曝光时间、感光度(InternationalStandards Organization,ISO)、连续拍摄帧数等,合适的拍摄参数可以有助于获得高质量的多帧等曝数据,确定拍摄参数的过程称为曝光策略。
然而,如何确定相机的合适拍摄参数,优化曝光策略,以提高夜景降噪效果,成为需要解决的问题。
发明内容
本申请提供一种相机拍摄参数确定方法、装置及存储介质,用以解决现有技术存在的问题。
第一方面,本申请提供一种相机拍摄参数确定方法,包括:
获取相机拍摄的至少两张连续图像帧;
根据所述至少两张连续图像帧,确定图像帧的运动像素比例;
根据所述运动像素比例,确定所述相机拍摄图像的拍摄参数。
在一些实施例中,根据至少两张连续图像帧,确定图像帧的运动像素比例,包括:
对至少两张连续图像帧进行运动像素检测分类,得到图像帧中运动像素以及静止像素的分类结果;
确定图像帧中运动像素个数与像素总数的比值为图像帧的运动像素比例。
在一些实施例中,拍摄参数包括曝光时间、感光度ISO以及连续拍摄帧数中的至少一项或多项。
在一些实施例中,根据运动像素比例,确定图像传感器拍摄图像的拍摄参数,包括:
根据运动像素比例,确定图像传感器拍摄图像的曝光时间,其中,曝光时间与运动像素比例为负相关关系。
在一些实施例中,根据运动像素比例,确定图像传感器拍摄图像的拍摄参数,还包括:
根据曝光时间以及预设曝光参数确定感光度ISO,其中,预设曝光参数为图像传感器采用的自动曝光算法的曝光参数。
在一些实施例中,根据运动像素比例,确定图像传感器拍摄图像的拍摄参数,还包括:
根据曝光时间以及总曝光时间确定连续拍摄帧数,其中,总曝光时间通过对图像传感器进行标定得到。
在一些实施例中,根据曝光时间以及总曝光时间确定连续拍摄帧数,包括:
通过以下公式确定连续拍摄帧数:
n=ceil(ttotal/t)
其中,n表示连续拍摄帧数,t表示曝光时间,ttotal表示总曝光时间。
在一些实施例中,总曝光时间的标定过程包括:
设置当前照度等级为第一照度等级;
在当前照度等级下,采集第一数量的图像帧,并确定单帧对应的曝光时间以及感光度ISO;
从所述第一数量的图像帧中选择第二数量的图像帧,并确定第二数量的图像帧对应的信噪比,以及信噪比满足预期信噪比时的目标第二数量,其中,所述第二数量小于等于所述第一数量,所述预期信噪比为使得图像质量满足预设要求的信噪比;
根据所述目标第二数量确定所述当前照度等级对应的总曝光时间;
将所述当前照度等级调整为与所述第一照度等级不同的第二照度等级,并返回采集第一数量的图像帧的步骤,直至所有照度等级都存在对应的总曝光时间。
在一些实施例中,根据目标第二数量确定当前照度等级对应的总曝光时间,包括:
确定目标第二数量与单帧曝光时间的乘积为当前照度等级对应的总曝光时间。
第二方面,本申请提供一种相机拍摄参数确定装置,包括:
获取模块,用于获取相机拍摄的至少两张连续图像帧;
第一确定模块,用于根据所述至少两张连续图像帧,确定图像帧的运动像素比例;
第二确定模块,用于根据所述运动像素比例,确定所述相机拍摄图像的拍摄参数。
第三方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现上述的相机拍摄参数确定方法。
本申请提供的相机拍摄参数确定方法、装置及存储介质,方法包括:获取相机拍摄的至少两张连续图像帧;根据所述至少两张连续图像帧,确定图像帧的运动像素比例;根据所述运动像素比例,确定所述相机拍摄图像的拍摄参数。本申请根据运动像素比例确定相机拍摄图像的拍摄参数,其中运动像素通过对连续的图像帧数据进行计算和判断得到,这种方法能同时处理相机抖动和场景中运动物体成像后造成的像素拖影,并且所占内存少,计算量很小,可以简单快速地确定拍摄参数。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本申请实施例提供的相机拍摄参数确定方法的示意图;
图2为本申请实施例中确定总曝光时间的示意图;
图3为本申请实施例提供的相机拍摄参数确定装置的示意图;
图4为本申请实施例提供的终端设备的结构示意图;
图5为本申请实施例提供的终端设备中处理器的内部模块示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本申请实施例中所使用的单数形式的“一种”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
目前,绝大多数移动终端设备(如手机、平板电脑等)都内置有相机,随着拍摄技术的发展,移动终端设备拍摄图像的质量也越来越高。对于一些特殊拍摄场景,比如夜景,相机所拍摄的图像质量会低于其所拍摄的正常图像质量,因此,移动终端设备通常会对拍摄的夜景图像进行降噪处理,以提高图像质量。
目前,目前主流的降噪方案是采用多帧降噪(Multi-Frame Noise Reduction,MFNR)技术,MFNR利用相机获取的连续多帧具有相同曝光水平的数据(简称“等曝数据”)用于融合降噪。获得的单帧的数据质量会直接影响到MFNR的融合结果,因此在进入多帧降噪算法模块前关键是确定相机的拍摄参数(包括曝光时间、感光度ISO、连续拍摄帧数等),合适的拍摄参数可以有助于获得高质量的多帧等曝数据,确定拍摄参数的过程称为曝光策略。
在现有的相机采集多帧数据时的曝光策略中,主要集中在如何解决减少成像的拖影、提高图像数据的信噪比这两个问题。更少的拖影和更高的信噪比使得拍摄得到的数据更清晰,更干净。比如手机抖动会造成拍摄成像后像素的模糊,或场景中的运动物体在成像后会造成严重的拖影,因此一些已有的方法中会基于手机抖动或场景中的运动物体信息确定拍摄时的曝光时间。
例如,在现有的第一种相关方案中,基于减少成像时的拖影为出发点,提出了不同的解决方案,如基于手机的摄像头模组的抖动信息确定基准曝光时间或基准感光度ISO,基本规则是抖动幅度越大,基准曝光时间越短或基准ISO越大,这样减少了由手机抖动造成的成像拖影,其中手机的抖动信息通过手机内的陀螺仪得到;已知曝光时间(或ISO),基于目标图像亮度,便能确定ISO(或曝光时间)。然而,该方案只能减少由手机抖动造成的运动拖影,不能解决场景存在运动时成像拖影的问题,且并未提出优化数据的信噪比的方案或确定拍摄帧数的方案。
在现有的第二种相关方案中,通过估计场景的中像素的平均运动来确定曝光时间,具体来说,通过手机缓存的连续多帧的数据,采用近似的光流算法对连续的两帧计算像素的运动速度,由此得到一个速度序列,利用机器学习模型学习该序列并预测拍摄时图像中像素的平均速度,结合允许的最大拖影像素个数,确定曝光时间;确定了曝光时间后,基于目标灵敏度(target sensitivity)得到ISO,其中,target sensitivity是和目标图像亮度保持一一对应关系的标量,数值上等于曝光时间与ISO的乘积。但这两种方法并未给出如何确定帧数的方案。然而,该方案虽然能够根据场景中运动自适应调整曝光时间,但存在两个问题:一是需要缓存连续多帧的数据,具有较多的内存消耗,二是通过光流法计算像素运动速度,并基于机器学习模型学习预测拍摄时的速度,计算量显著增加,且并未提出优化数据的信噪比的方案或确定拍摄帧数的方案。
在现有的第三种相关方案中,提出采集多帧非等曝数据的曝光策略中,将采集帧数固定为3帧,以曝光时间和ISO作为自变量建立信噪比模型,在最大化信噪比的同时,确定各帧数据的曝光时间和ISO。然而,虽然该方案提出了优化信噪比模型,但是拍摄帧数为固定的3帧,并且优化算法具有较大的计算消耗。
因此,如何确定相机的合适拍摄参数,以提高夜景降噪效果,成为需要解决的问题。
本申请提供的相机拍摄参数确定方法,旨在解决现有技术的如上技术问题。
针对现有的相关方案所存在的问题,本申请提出的方案包括:第一,本申请根据运动像素比例确定曝光时间,运动像素个数占全图像素比例越高,曝光时间越短,其中运动像素通过对连续的图像帧数据进行计算和判断得到,这种方法能同时处理手机抖动和场景中运动造成的像素拖影,并且所占内存少,计算量很小。第二,通过提前的信噪比标定实验确定总曝光时间,结合确定的曝光时间,由此确定拍摄帧数,能够确保经过MFNR算法后得到的数据具有预期的信噪比。
相比于现有的相关方案,本申请能够简单快速地确定拍摄参数,在减少运动拖影的同时,确保MFNR得到数据的信噪比在预期范围内。
可以理解,本申请中相机拍摄参数确定方法的处理步骤可以由终端设备内部的处理器等结构实现。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
在一些实施例中,提供一种相机拍摄参数确定方法,该方法适用于使用多帧降噪技术的拍摄场景。
图1为本申请实施例提供的相机拍摄参数确定方法的示意图,如图1所示,该方法主要包括以下步骤:
S100、获取相机拍摄的至少两张连续图像帧;
其中,连续图像帧是指通过相机对所要拍摄的当前场景进行连续拍摄所得到的相邻图像帧。
连续图像帧可以是连续的两帧图像,例如相邻两帧的第一图像和第二图像;连续图像帧可以是连续的多帧图像,例如位于第一帧位置的第一图像、位于该第一图像后一帧位置的第二图像以及位于该第二图像后一帧位置的第三图像等。
S200、根据至少两张连续图像帧,确定图像帧的运动像素比例;
在得到至少两张连续图像帧,根据获取的至少两张连续图像帧确定图像帧的运动像素比例。
可选的,根据至少两张连续图像帧,确定图像帧的运动像素比例,包括:
S210、对至少两张连续图像帧进行运动像素检测分类,得到图像帧中运动像素以及静止像素的分类结果;
S220、确定图像帧中运动像素个数与像素总数的比值为图像帧的运动像素比例。
具体的,以连续图像帧包含连续的两帧图像(例如相邻两帧的第一图像和第二图像)为例进行解释说明,在获取相邻两帧的第一图像和第二图像后,以第一图像以及第二图像作为输入图像进行运动像素检测分类,输出和输入图像大小一致的掩膜(mask),mask对运动像素和静止像素分别做了标记。
可选的,运动像素检测分类可以基于直接从相机传感器读出的灰度图像数据(raw数据),raw数据记录了相机传感器的原始信息;此外,运动像素检测分类也可以基于RGB数据计算,RGB数据是一种通过RGB值来记录图像的数据,其中,R表示红色(Red),G表示绿色(Green),B表示蓝色(Blue)。
本实施例中,运动像素估计方法是对两帧图像数据直接相减得到差值图,为了得到更准确的估计结果,通过设置阈值抑制噪声对估计的干扰:当差值大于阈值的像素可认为是运动像素,差值低于阈值的像素认为是静止像素。
例如,以灰度图raw数据为例,当输入连续两帧图像数据M1和M2时,设定阈值为Th,若在像素i位置上,两帧图像数据之间的差值的绝对值大于阈值,则标记为1,否则标记为0,公式表示为:
Figure BDA0003662011920000081
从而,基于上述公式进行运动像素检测分类,得到图像帧中运动像素以及静止像素的分类结果;在完成对所有像素的分类后,可以对图像帧中运动像素以及像素总数进行统计,并以此确定图像帧的运动像素比例。
例如,设定N为mask中等于1的像素个数(即运动像素个数),M为mask中的像素总数,r为运动像素比例,则可以通过以下公式计算运动像素比例r:
r=N/M
S300、根据运动像素比例,确定相机拍摄图像的拍摄参数。
在计算得到运动像素比例后,可以基于运动像素比例进一步确定相机拍摄图像的拍摄参数,基于确定的拍摄参数拍摄图像数据,可以有助于处理手机抖动和场景中运动物体成像造成的拖影,从而可以得到质量更高的图像数据,进而,在根据连续多帧图像数据进行多帧降噪时,可以有助于提高降噪效果。
本实施例提供一种相机拍摄参数确定方法,根据运动像素比例确定相机拍摄图像的拍摄参数,其中运动像素通过对连续的图像帧数据进行计算和判断得到,这种方法能同时处理手机抖动和场景中运动物体成像造成的拖影,并且所占内存少,计算量很小。相比于现有的相关方案,本实施例可以简单快速地确定拍摄参数,减少运动拖影,从而有助于改善图像降噪效果,进而提高图像质量。
在一些实施例中,拍摄参数包括曝光时间、感光度ISO以及连续拍摄帧数中的至少一项或多项。例如,根据实际拍摄需求,拍摄参数可以是只包括曝光时间、感光度ISO或者连续拍摄帧数中的任一项,或者,拍摄参数也可以是包括曝光时间、感光度ISO或者连续拍摄帧数中的任两项,或者,拍摄参数同时包括曝光时间、感光度ISO以及连续拍摄帧数。
下面以拍摄参数同时包括曝光时间、感光度ISO以及连续拍摄帧数为例进行具体解释说明。
在一些实施例中,可以首先确定拍摄参数中的曝光时间,在确定曝光时间的过程中,根据运动像素比例,确定相机拍摄图像的拍摄参数,包括:
S310、根据运动像素比例,确定相机拍摄图像的曝光时间,其中,曝光时间与运动像素比例为负相关关系。
具体的,在基于输出的mask确定运动像素比例后,根据运动像素比例确定对应的曝光时间,运动像素比例与曝光时间之间的映射函数可以表示为t=f(r),其中,r为运动像素比例,t为曝光时间,二者为负相关关系,即r越大,得到的曝光时间t越小。具体的,当运动像素比例较高时,可以选择较短的曝光时间,当运动像素比例较低时,可以选择较长的曝光时间。从而,根据曝光时间与运动像素比例之间的负相关关系来确定曝光时间,可以有助于减少手机抖动和场景中运动造成的像素拖影,从而提高图像质量。
在一些实施例中,在确定得到拍摄参数中的曝光时间后,可以进一步确定拍摄参数中的感光度ISO,在确定感光度ISO的过程中,根据运动像素比例,确定相机拍摄图像的拍摄参数,还包括:
S320、根据曝光时间以及预设曝光参数确定ISO,其中,预设曝光参数为相机采用的自动曝光算法的曝光参数。
具体的,相机当前所采用的自动曝光算法的曝光参数确定了当前场景的成像数据的目标亮度,因此基于自动曝光算法的曝光参数和计算得到的曝光时间,结合ISO、曝光时间乘积、目标亮度的相关关系,可以确定此时的ISO。
例如,假设自动曝光算法的曝光参数中,预设的ISO表示为ISOauto,预设的曝光时间表示为tauto,t为曝光时间,ISOnew表示本步骤中确定的ISO,则本步骤通过以下公式确定ISOnew
Figure BDA0003662011920000091
在一些实施例中,在确定得到拍摄参数中的曝光时间后,可以进一步确定拍摄参数中的连续拍摄帧数,在确定连续拍摄帧数的过程中,根据运动像素比例,确定相机拍摄图像的拍摄参数,还包括:S330、根据曝光时间以及总曝光时间确定连续拍摄帧数,其中,总曝光时间通过对相机进行标定得到。
具体的,可以通过标定实验提前获得相机对于当前拍摄场景的总曝光时间,然后结合计算得到的曝光时间确定连续拍摄帧数。
可选的,根据曝光时间以及总曝光时间确定连续拍摄帧数,包括:
通过以下公式确定连续拍摄帧数:
n=ceil(ttotal/t)
其中,n表示连续拍摄帧数,t表示曝光时间,ttotal表示总曝光时间。
基于上述实施例,首先根据运动像素比例确定相机拍摄图像的曝光时间然后根据曝光时间以及预设曝光参数确定感光度ISO,以及根据曝光时间以及总曝光时间确定连续拍摄帧数,相机使用确定的曝光时间、感光度ISO以及连续拍摄帧数作为拍摄参数进行图像拍摄,从而有助于改善图像降噪效果,进而提高图像质量。
基于根据曝光时间以及总曝光时间确定连续拍摄帧数的实施例,下面对总曝光时间的确定过程进行解释说明。
在一些实施例中,总曝光时间的标定过程主要包括:首先,在不同照度等级下,采集不同帧数的图像数据,并从采集的图像数据中确定各不同帧数的图像数据对应的数据信噪比;然后,根据各数据信噪比,确定不同照度等级对应的、使得图像质量满足预设要求的预期信噪比,以及预期信噪比对应的目标帧数;最后,根据确定的目标帧数以及单帧曝光时间确定不同照度等级对应的总曝光时间。其中,预期信噪比可以根据用户的主观经验和/或图像数据对应的客观图像质量参数确定得到。
图2为本申请实施例中确定总曝光时间的示意图,如图2所示,单个照度等级下的总曝光时间的确定过程包括:
首先,初始化当前照度等级为第一照度等级,比如为1lux,在当前照度等级下,采集第一数量的图像帧,比如采集M帧图像数据(图像数据具体例如可以是RGB图像数据),并记录此时单帧曝光时间和ISO。然后,根据采集的图像数据,从所述第一数量的图像帧中分别选择不同第二数量的图像帧,并分别测试在输入不同第二数量帧数时所得结果的信噪比,例如,从采集的M帧图像数据中分别选择a帧、b帧、c帧等不同数量的图像帧,然后分别测试a帧、b帧、c帧等不同数量的图像帧各自对应的信噪比,如分别记为SNR_a、SNR_b、SNR_c等,然后从得到的多个信噪比中确定使得图像质量满足预设要求的预期信噪比,并根据此时预期信噪比确定对应的目标第二数量,即确定此时MFNR所需要的图像数据的帧数,并由此确定对应的总曝光时间。例如,若SNR_b满足预期信噪比,则目标第二数量为b,从而根据目标第二数量确定第一照度等级对应的总曝光时间。
例如,如下表1所示,针对某一种光源A,在照度等级分别为20lux和50lux及100lux下各采集16帧图像数据,然后从16帧图像数据中分别选择2,4,8,16帧的图像数据,并分别确定对应的信噪比X1-X12,然后从得到的多个信噪比中确定使得图像质量满足预设要求的预期信噪比,从而确定不同照度等级对应的目标第二数量,进而确定不同照度等级对应的总曝光时间。
Figure BDA0003662011920000111
表1
可选的,根据目标第二数量确定当前照度等级对应的总曝光时间,包括:确定目标第二数量与单帧曝光时间的乘积为当前照度等级对应的总曝光时间。
根据上述标定实验过程,可以统计不同光源不同照度条件下,不同帧数的数据经过MFNR得到的数据的信噪比,并根据预期信噪比确定目标帧数以及单帧曝光时间从而确定不同照度等级对应的总曝光时间,因而可以得到不同光源不同照度等级与总曝光时间的对应表,可以根据经过标定实验的上述对应表格确定拍摄参数。
可以理解,本实施例中总曝光时间是通过标定实验中的预期信噪比确定,对于相同的相机模组和曝光算法,每个拍摄场景只需要进行一次标定实验即可,因此可以避免造成复杂的计算量,也可以避免相机拍摄冗余的数据。
应该理解的是,虽然上述实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一些实施例中,提供一种相机拍摄参数确定装置。
图3为本申请实施例提供的相机拍摄参数确定装置的示意图,如图3所示,该装置包括:
获取模块100,用于获取相机拍摄的至少两张连续图像帧;
第一确定模块200,用于根据至少两张连续图像帧,确定图像帧的运动像素比例;
第二确定模块300,用于根据运动像素比例,确定相机拍摄图像的拍摄参数。
在一些实施例中,根据至少两张连续图像帧,确定图像帧的运动像素比例,包括:
对至少两张连续图像帧进行运动像素检测分类,得到图像帧中运动像素以及静止像素的分类结果;
确定图像帧中运动像素个数与像素总数的比值为图像帧的运动像素比例。
在一些实施例中,拍摄参数包括曝光时间、感光度ISO以及连续拍摄帧数中的至少一项或多项。
在一些实施例中,根据运动像素比例,确定相机拍摄图像的拍摄参数,包括:
根据运动像素比例,确定相机拍摄图像的曝光时间,其中,曝光时间与运动像素比例为负相关关系。
在一些实施例中,根据运动像素比例,确定相机拍摄图像的拍摄参数,还包括:
根据曝光时间以及预设曝光参数确定ISO,其中,预设曝光参数为相机采用的自动曝光算法的曝光参数。
在一些实施例中,根据运动像素比例,确定相机拍摄图像的拍摄参数,还包括:
根据曝光时间以及总曝光时间确定连续拍摄帧数,其中,总曝光时间通过对相机进行标定得到。
在一些实施例中,根据曝光时间以及总曝光时间确定连续拍摄帧数,包括:
通过以下公式确定连续拍摄帧数:
n=ceil(ttotal/t)
其中,n表示连续拍摄帧数,t表示曝光时间,ttotal表示总曝光时间。
在一些实施例中,总曝光时间的标定过程包括:
设置当前照度等级为第一照度等级;
在当前照度等级下,采集第一数量的图像帧,并确定单帧对应的曝光时间以及ISO;
从所述第一数量的图像帧中选择第二数量的图像帧,并确定第二数量的图像帧对应的信噪比,以及信噪比满足预期信噪比时的目标第二数量,其中,所述第二数量小于或等于所述第一数量,所述预期信噪比为使得图像质量满足预设要求的信噪比;
根据所述目标第二数量确定所述当前照度等级对应的总曝光时间;
将所述当前照度等级调整为与所述第一照度等级不同的第二照度等级,并返回采集第一数量的图像帧的步骤,直至所有照度等级都存在对应的总曝光时间。
在一些实施例中,根据目标第二数量确定当前照度等级对应的总曝光时间,包括:
确定目标第二数量与单帧曝光时间的乘积为当前照度等级对应的总曝光时间。
关于相机拍摄参数确定装置的具体限定可以参见上文中对于相机拍摄参数确定方法的限定,在此不再赘述。上述相机拍摄参数确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中,提供一种终端设备,该终端设备例如可以是手机或者平板电脑等。
图4为本申请实施例提供的终端设备的结构示意图,如图4所示,该终端设备,包括:处理器10、存储器20以及图像传感器30。
其中,图像传感器用于拍摄图像,存储器用于存储程序和数据,处理器调用存储器存储的程序,以执行以下技术方案:
获取图像传感器拍摄的至少两张连续图像帧;
根据至少两张连续图像帧,确定图像帧的运动像素比例;
根据运动像素比例,确定图像传感器拍摄图像的拍摄参数。
在一些实施例中,根据至少两张连续图像帧,确定图像帧的运动像素比例,包括:
对至少两张连续图像帧进行运动像素检测分类,得到图像帧中运动像素以及静止像素的分类结果;
确定图像帧中运动像素个数与像素总数的比值为图像帧的运动像素比例。
在一些实施例中,拍摄参数包括曝光时间、感光度ISO以及连续拍摄帧数中的至少一项或多项。
在一些实施例中,根据运动像素比例,确定图像传感器拍摄图像的拍摄参数,包括:
根据运动像素比例,确定图像传感器拍摄图像的曝光时间,其中,曝光时间与运动像素比例为负相关关系。
在一些实施例中,根据运动像素比例,确定图像传感器拍摄图像的拍摄参数,还包括:
根据曝光时间以及预设曝光参数确定ISO,其中,预设曝光参数为图像传感器采用的自动曝光算法的曝光参数。
在一些实施例中,根据运动像素比例,确定图像传感器拍摄图像的拍摄参数,还包括:
根据曝光时间以及总曝光时间确定连续拍摄帧数,其中,总曝光时间通过对图像传感器进行标定得到。
在一些实施例中,根据曝光时间以及总曝光时间确定连续拍摄帧数,包括:
通过以下公式确定连续拍摄帧数:
n=ceil(ttotal/t)
其中,n表示连续拍摄帧数,t表示曝光时间,ttotal表示总曝光时间。
在一些实施例中,总曝光时间的标定过程包括:
设置当前照度等级为第一照度等级;
在当前照度等级下,采集第一数量的图像帧,并确定单帧对应的曝光时间以及ISO;
从所述第一数量的图像帧中选择第二数量的图像帧,并确定第二数量的图像帧对应的信噪比,以及信噪比满足预期信噪比时的目标第二数量,其中,所述第二数量小于或等于所述第一数量,所述预期信噪比为使得图像质量满足预设要求的信噪比;
根据所述目标第二数量确定所述当前照度等级对应的总曝光时间;
将所述当前照度等级调整为与所述第一照度等级不同的第二照度等级,并返回采集第一数量的图像帧的步骤,直至所有照度等级都存在对应的总曝光时间。
在一些实施例中,根据目标第二数量确定当前照度等级对应的总曝光时间,包括:
确定目标第二数量与单帧曝光时间的乘积为当前照度等级对应的总曝光时间。
图5为本申请实施例提供的终端设备中处理器的内部模块示意图,如图5所示,该处理器10包括:运动像素判断模块11、曝光时间决策模块12、ISO决策模块13以及连续拍摄帧数决策模块14。
其中,运动像素判断模块11获取图像传感器(例如相机)拍摄的至少两张连续图像帧,并根据至少两张连续图像帧,确定图像帧的运动像素比例。具体的,运动像素判断模块11对至少两张连续图像帧进行运动像素检测分类,得到图像帧中运动像素以及静止像素的分类结果;确定图像帧中运动像素个数与像素总数的比值为图像帧的运动像素比例。
曝光时间决策模块12根据运动像素比例,确定图像传感器拍摄图像的曝光时间,其中,曝光时间与运动像素比例为负相关关系。
ISO决策模块13根据曝光时间以及预设曝光参数确定ISO,其中,预设曝光参数为图像传感器采用的自动曝光算法的曝光参数。
连续拍摄帧数决策模块14根据曝光时间以及总曝光时间确定连续拍摄帧数,其中,总曝光时间通过对图像传感器进行标定得到。
其中,根据曝光时间以及总曝光时间确定连续拍摄帧数,包括:
通过以下公式确定连续拍摄帧数:
n=ceil(ttotal/t)
其中,n表示连续拍摄帧数,t表示曝光时间,ttotal表示总曝光时间。
可选的,总曝光时间的标定过程包括:
设置当前照度等级为第一照度等级;
在当前照度等级下,采集第一数量的图像帧,并确定单帧对应的曝光时间以及ISO;
从所述第一数量的图像帧中选择不同第二数量的图像帧,并确定不同第二数量的图像帧对应的信噪比,以及信噪比满足预期信噪比时的目标第二数量,其中,所述第二数量小于或等于所述第一数量,所述预期信噪比为使得图像质量满足预设要求的信噪比;
根据所述目标第二数量确定所述当前照度等级对应的总曝光时间;
将所述当前照度等级调整为与所述第一照度等级不同的第二照度等级,并返回采集第一数量的图像帧的步骤,直至所有照度等级都存在对应的总曝光时间。
可选的,根据目标第二数量确定当前照度等级对应的总曝光时间,包括:
确定目标第二数量与单帧曝光时间的乘积为当前照度等级对应的总曝光时间。
在处理器确定得到曝光时间、ISO以及连续拍摄帧数以后,处理器将上述拍摄参数传输至图像传感器进行初始化,图像传感器使用处理器确定的拍摄参数拍摄连续多帧图像数据,并将拍摄的连续多帧图像数据传输至多帧降噪MFNR模块,多帧降噪MFNR模块再根据连续多帧图像数据进行融合降噪,从而得到图像质量较高的降噪后图像。
在上述终端设备中,存储器和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接,如可以通过总线连接。存储器中存储有实现数据访问控制方法的计算机执行指令,包括至少一个可以软件或固件的形式存储于存储器中的软件功能模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理。
存储器可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器用于存储程序,处理器在接收到执行指令后,执行程序。进一步地,上述存储器内的软件程序以及模块还可包括操作系统,其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动,并可与各种硬件或软件组件相互通信,从而提供其他软件组件的运行环境。
处理器可以是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在一些实施例中,提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现本申请各方法实施例的步骤。
在一些实施例中,提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本申请各方法实施例的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (11)

1.一种相机拍摄参数确定方法,其特征在于,包括:
获取相机拍摄的至少两张连续图像帧;
根据所述至少两张连续图像帧,确定图像帧的运动像素比例;
根据所述运动像素比例,确定所述相机拍摄图像的拍摄参数。
2.根据权利要求1所述的方法,其特征在于,所述根据所述至少两张连续图像帧,确定图像帧的运动像素比例,包括:
对所述至少两张连续图像帧进行运动像素检测分类,得到所述图像帧中运动像素以及静止像素的分类结果;
确定所述图像帧中运动像素个数与像素总数的比值为所述图像帧的运动像素比例。
3.根据权利要求1所述的方法,其特征在于,所述拍摄参数包括曝光时间、感光度ISO以及连续拍摄帧数中的至少一项或多项。
4.根据权利要求3所述的方法,其特征在于,所述根据所述运动像素比例,确定所述相机拍摄图像的拍摄参数,包括:
根据所述运动像素比例,确定所述相机拍摄图像的曝光时间,其中,所述曝光时间与所述运动像素比例为负相关关系。
5.根据权利要求4所述的方法,其特征在于,所述根据所述运动像素比例,确定所述相机拍摄图像的拍摄参数,还包括:
根据所述曝光时间以及预设曝光参数确定感光度ISO,其中,所述预设曝光参数为所述相机采用的自动曝光算法的曝光参数。
6.根据权利要求4或5所述的方法,其特征在于,所述根据所述运动像素比例,确定所述相机拍摄图像的拍摄参数,还包括:
根据所述曝光时间以及总曝光时间确定所述连续拍摄帧数,其中,所述总曝光时间通过对所述相机进行标定得到。
7.根据权利要求6所述的方法,其特征在于,根据所述曝光时间以及总曝光时间确定所述连续拍摄帧数,包括:
通过以下公式确定所述连续拍摄帧数:
n=ceil(ttotal/t)
其中,n表示所述连续拍摄帧数,t表示所述曝光时间,ttotal表示所述总曝光时间。
8.根据权利要求6所述的方法,其特征在于,所述总曝光时间的标定过程包括:
设置当前照度等级为第一照度等级;
在当前照度等级下,采集第一数量的图像帧,并确定单帧曝光时间以及感光度ISO;
从所述第一数量的图像帧中选择第二数量的图像帧,并确定第二数量的图像帧对应的信噪比,以及信噪比满足预期信噪比时的目标第二数量,其中,所述第二数量小于等于所述第一数量,所述预期信噪比为使得图像质量满足预设要求的信噪比;
根据所述目标第二数量确定所述当前照度等级对应的总曝光时间;
将所述当前照度等级调整为与所述第一照度等级不同的第二照度等级,并返回采集第一数量的图像帧的步骤,直至所有照度等级都存在对应的总曝光时间。
9.根据权利要求8所述的方法,其特征在于,根据所述目标第二数量确定所述当前照度等级对应的总曝光时间,包括:
确定所述目标第二数量与单帧曝光时间的乘积为所述当前照度等级对应的总曝光时间。
10.一种相机拍摄参数确定装置,其特征在于,包括:
获取模块,用于获取相机拍摄的至少两张连续图像帧;
第一确定模块,用于根据所述至少两张连续图像帧,确定图像帧的运动像素比例;
第二确定模块,用于根据所述运动像素比例,确定所述相机拍摄图像的拍摄参数。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-9任一项所述的相机拍摄参数确定方法。
CN202210575560.4A 2022-05-25 2022-05-25 相机拍摄参数确定方法、装置及存储介质 Active CN114979504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210575560.4A CN114979504B (zh) 2022-05-25 2022-05-25 相机拍摄参数确定方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210575560.4A CN114979504B (zh) 2022-05-25 2022-05-25 相机拍摄参数确定方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114979504A true CN114979504A (zh) 2022-08-30
CN114979504B CN114979504B (zh) 2024-05-07

Family

ID=82956423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210575560.4A Active CN114979504B (zh) 2022-05-25 2022-05-25 相机拍摄参数确定方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114979504B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118102099A (zh) * 2024-04-17 2024-05-28 江西省自然资源事业发展中心 一种自然资源监管视频拍摄防抖方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07236084A (ja) * 1994-02-22 1995-09-05 Sony Corp 撮像装置の信号処理回路
CN101304489A (zh) * 2008-06-20 2008-11-12 北京中星微电子有限公司 一种自动曝光方法及装置
CN106127698A (zh) * 2016-06-15 2016-11-16 深圳市万普拉斯科技有限公司 图像降噪处理方法和装置
CN106791475A (zh) * 2017-01-23 2017-05-31 上海兴芯微电子科技有限公司 曝光调整方法及所适用的车载摄像装置
CN109565547A (zh) * 2016-10-13 2019-04-02 松下知识产权经营株式会社 图像处理装置、图像处理方法以及图像处理电路
JP2020150448A (ja) * 2019-03-14 2020-09-17 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN112422837A (zh) * 2019-08-20 2021-02-26 北京迈格威科技有限公司 合成高动态范围图像的方法、装置、设备及存储介质
CN113489909A (zh) * 2021-07-30 2021-10-08 维沃移动通信有限公司 拍摄参数的确定方法、装置及电子设备
CN113592887A (zh) * 2021-06-25 2021-11-02 荣耀终端有限公司 视频拍摄方法、电子设备及计算机可读存储介质
CN114245003A (zh) * 2021-11-23 2022-03-25 浙江大华技术股份有限公司 曝光控制方法、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07236084A (ja) * 1994-02-22 1995-09-05 Sony Corp 撮像装置の信号処理回路
CN101304489A (zh) * 2008-06-20 2008-11-12 北京中星微电子有限公司 一种自动曝光方法及装置
CN106127698A (zh) * 2016-06-15 2016-11-16 深圳市万普拉斯科技有限公司 图像降噪处理方法和装置
CN109565547A (zh) * 2016-10-13 2019-04-02 松下知识产权经营株式会社 图像处理装置、图像处理方法以及图像处理电路
CN106791475A (zh) * 2017-01-23 2017-05-31 上海兴芯微电子科技有限公司 曝光调整方法及所适用的车载摄像装置
JP2020150448A (ja) * 2019-03-14 2020-09-17 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN112422837A (zh) * 2019-08-20 2021-02-26 北京迈格威科技有限公司 合成高动态范围图像的方法、装置、设备及存储介质
CN113592887A (zh) * 2021-06-25 2021-11-02 荣耀终端有限公司 视频拍摄方法、电子设备及计算机可读存储介质
CN113489909A (zh) * 2021-07-30 2021-10-08 维沃移动通信有限公司 拍摄参数的确定方法、装置及电子设备
CN114245003A (zh) * 2021-11-23 2022-03-25 浙江大华技术股份有限公司 曝光控制方法、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118102099A (zh) * 2024-04-17 2024-05-28 江西省自然资源事业发展中心 一种自然资源监管视频拍摄防抖方法和装置

Also Published As

Publication number Publication date
CN114979504B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN110149482B (zh) 对焦方法、装置、电子设备和计算机可读存储介质
CN104349066B (zh) 一种生成高动态范围图像的方法、装置
CN108322646B (zh) 图像处理方法、装置、存储介质及电子设备
US20200045219A1 (en) Control method, control apparatus, imaging device, and electronic device
CN108198152B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111028189A (zh) 图像处理方法、装置、存储介质及电子设备
CN110445988A (zh) 图像处理方法、装置、存储介质及电子设备
CN110213494B (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
CN110225248A (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
CN110536068A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN109922275B (zh) 曝光参数的自适应调整方法、装置及一种拍摄设备
CN110349163B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110213498B (zh) 图像生成方法和装置、电子设备、计算机可读存储介质
CN104052933A (zh) 动态范围模式的判定方法及其图像获取装置
US12033304B2 (en) Method for marking focused pixel, electronic device, storage medium, and chip
CN111385477A (zh) 摄像机的模式切换控制方法、装置、摄像机和存储介质
CN110248101A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN113313626A (zh) 图像处理方法、装置、电子设备及存储介质
CN109068060B (zh) 图像处理方法和装置、终端设备、计算机可读存储介质
CN110866486A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN112261292B (zh) 图像获取方法、终端、芯片及存储介质
CN113163127A (zh) 图像处理方法、装置、电子设备及存储介质
CN110490196A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN113298735A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant