CN106170058B - 一种曝光方法及移动终端 - Google Patents
一种曝光方法及移动终端 Download PDFInfo
- Publication number
- CN106170058B CN106170058B CN201610768638.9A CN201610768638A CN106170058B CN 106170058 B CN106170058 B CN 106170058B CN 201610768638 A CN201610768638 A CN 201610768638A CN 106170058 B CN106170058 B CN 106170058B
- Authority
- CN
- China
- Prior art keywords
- camera
- target
- exposure value
- value
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例提供了一种曝光方法及移动终端,该移动终端包括一个主摄像头和至少两个辅摄像头,该方法包括:获取主摄像头和至少两个辅摄像头中每个摄像头的曝光值以及主摄像头和至少两个辅摄像头中每个摄像头所采集图像的图像亮度值,得到N个图像亮度值;基于N个图像亮度值与预设的目标亮度值,确定目标摄像头,根据目标摄像头的图像亮度值和曝光值,以及预设的目标亮度值,计算目标曝光值,将主摄像头的下一帧图像的曝光值设置为目标曝光值,应用本发明实施例,主摄像头可以根据环境变化实时快速的得到目标曝光值,从而能够根据目标曝光值快速准确找到达到目标曝光值的最优曝光策略,从而实现更快速更平滑的曝光,以提高用户的拍摄体验。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种曝光方法及移动终端。
背景技术
随着电子技术的发展,使用带有摄像头的移动终端可以随时随地进行拍摄,并且可以通过移动网络将拍摄的照片实时进行分享。
移动终端的摄像头在拍摄过程中,摄像头根据当前拍摄环境,实时调整摄像头的曝光值,使拍摄的图像达到适合的亮度,这样图像才能够达到最佳拍摄效果。目前,摄像头的图像传感器是在当前曝光值下拍摄图像,使用当前图像的亮度判断当前的曝光值是否合适,然后根据当前的图像亮度和曝光值设置下一帧的曝光值以进行下一帧图像的拍摄,为了保证曝光的平滑性,需要从当前的曝光值逐步增大或减小曝光值使下一帧图像的亮度达到最佳效果。由此可见,目前的曝光方法不能根据环境亮度的变化实时获取最佳曝光值,并且需要从当前曝光值逐步增大或减小达到最佳曝光值,降低了曝光的速度。
发明内容
本发明实施例提出了一种曝光方法及移动终端,以解决目标摄像头不能根据环境亮度的变化实时获取最佳曝光值,并且需要从当前曝光值逐步增大或减小达到最佳曝光值,降低了曝光的速度及曝光不平滑的问题。
第一方面,本发明实施例提供了一种曝光方法,应用于移动终端,所述移动终端包括一个主摄像头和至少两个辅摄像头,所述方法包括:
获取所述主摄像头和至少两个辅摄像头中每个摄像头的曝光值;
获取所述主摄像头和至少两个辅摄像头中每个摄像头所采集图像的图像亮度值,得到N个图像亮度值;
基于所述N个图像亮度值与预设的目标亮度值,确定目标摄像头;
基于所述目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值;
将所述主摄像头的下一帧图像的曝光值设置为所述目标曝光值。
第二方面,提供了一种移动终端,包括一个主摄像头和至少两个辅摄像头,其特征在于,所述移动终端还包括:
曝光值获取模块,用于获取所述主摄像头和至少两个辅摄像头中每个摄像头的曝光值;
亮度值获取模块,用于获取所述主摄像头和至少两个辅摄像头中每个摄像头所采集图像的图像亮度值,得到N个图像亮度值;
目标摄像头确定模块,用于基于所述亮度值获取模块获取的所述N个图像亮度值与预设的目标亮度值,确定目标摄像头;
目标曝光值计算模块,用于基于所述目标摄像头确定模块确定的目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值;
目标曝光值设置模块,用于将所述主摄像头的下一帧图像的曝光值设置为所述目标曝光值计算模块计算的目标曝光值。
这样,在本发明实施例中,移动终端通过获取主摄像头和至少两个辅摄像头中每个摄像头的曝光值,以及主摄像头和至少两个辅摄像头中每个摄像头所采集图像的图像亮度值,基于图像亮度值与预设的目标亮度值,确定目标摄像头,并根据目标摄像头的图像亮度值和曝光值,以及预设的目标亮度值,计算目标曝光值,将主摄像头的下一帧图像的曝光值设置为目标曝光值,可见,应用本发明实施例,通过辅摄像头后台实时拍摄图像,根据图像亮度值得到与目标亮度最接近的目标摄像头并计算出主摄像头的目标曝光值,因此,主摄像头可以根据环境变化实时快速的得到目标曝光值,能够根据目标曝光值快速准确找到达到目标曝光值的最优曝光策略,从而实现更快速更平滑的曝光,以提高用户的拍摄体验。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一的一种曝光方法流程图;
图2是本发明实施例二的一种曝光方法流程图;
图3是本发明实施例三的一种曝光方法流程图;
图4是本发明实施例的一种曝光装置模块图;
图5是本发明实施例的一种曝光处理的流程图之一;
图5a是本发明实施例的一种曝光处理的流程图之二;
图6是本发明实施例四的一种移动终端的结构框图之一;
图6a是本发明实施例四的一种移动终端的结构框图之二;
图6b是本发明实施例四的一种移动终端的结构框图之三;
图6c是本发明实施例四的一种移动终端的结构框图之四;
图6d是本发明实施例四的一种移动终端的结构框图之五;
图6e是本发明实施例四的一种移动终端的结构框图之六;
图6f是本发明实施例四的目标曝光值计算模块的结构框图;
图6g是本发明实施例四的一种移动终端的结构框图之七;
图7是本发明实施例五的一种移动终端的结构框图;
图8是本发明实施例六的一种移动终端的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
图1是本发明实施例一的一种曝光方法流程图。
参照图1所示,本发明的一种曝光方法,应用于移动终端,该移动终端包括一个主摄像头和至少两个辅摄像头,该方法包括:
步骤101,获取所述主摄像头和至少两个辅摄像头中每个摄像头的曝光值。
本发明实施例中,移动终端设置有主摄像头和至少两个辅摄像头,主摄像头和至少两个辅摄像头的配置可以是相同的,即主摄像头和至少两个辅摄像头可以具有相同的光圈、焦距、最大曝光值、最小曝光值等,主摄像头可以是移动终端拍摄时输出预览图像或者最终输出拍摄图像的摄像头,辅摄像头可以是只在后台拍摄输出图像至图形信号处理(ISP,Image Signal Processing),并不将辅摄像头拍摄的图像进行预览和输出图像保存。实际应用中,移动终端有多个摄像头,为了得到环境的拍摄最佳亮度,可以分别获取所有摄像头的曝光值。
步骤102,获取所述主摄像头和至少两个辅摄像头中每个摄像头所采集图像的图像亮度值,得到N个图像亮度值。
在本发明实施例中,主摄像头和至少两个辅摄像头具有不同的曝光值,可以根据获取的曝光值,同时对当前环境下的景象拍摄图像,则获取拍摄的N张图像的N个图像亮度值,具体的,每个摄像头可以根据预先设置的曝光值进行图像采集,输出图像数据至ISP,ISP分别统计出每张图像的亮度值。
步骤103,基于所述N个图像亮度值与预设的目标亮度值,确定目标摄像头。
在一个拍摄场景中,拍摄的图像具有一个展现拍摄场景的最佳图像亮度值,可以将该图像亮度值定义为预设的目标亮度值。在本发明实施例中,可以将N个摄像头拍摄的图像的亮度值分别和目标亮度值做比较,将最接近目标亮度值的图像对应的摄像头确定为目标摄像头。
步骤104,基于所述目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值。
本发明实施例中,目标摄像头的曝光值是拍摄前预先设置的,因此,其拍摄的图像亮度值可能只是接近于目标亮度值,为了得到目标曝光值,可以根据目标亮度值、目标摄像头的曝光值以及目标摄像头拍摄的图像亮度值进行线性计算,得到目标亮度值对应的目标曝光值。
步骤105,将所述主摄像头的下一帧图像的曝光值设置为所述目标曝光值。
在实际应用中,曝光过程需要兼顾速度和平滑性,即从当前帧到下一帧的曝光过程中,既要变化快速又要兼顾亮度变化平滑,例如,在拍摄过程中实时预览时,预览界面图像转换快速而亮度变化平滑不出现明暗跳跃,用户就具有良好的拍摄体验,因此,在本发明实施例中,可以根据当前主摄像头的曝光值和目标曝光值,兼顾曝光的速度和平滑性,设置下一帧拍摄图像的曝光策略。
在本发明实施例中,移动终端通过获取主摄像头和至少两个辅摄像头中每个摄像头的曝光值,以及主摄像头和至少两个辅摄像头中每个摄像头所采集图像的图像亮度值,基于图像亮度值与预设的目标亮度值,确定目标摄像头,并根据目标摄像头的图像亮度值和曝光值,以及预设的目标亮度值,计算目标曝光值,将主摄像头的下一帧图像的曝光值设置为目标曝光值,可见,应用本发明实施例,通过辅摄像头后台实时拍摄图像,根据图像亮度值得到与目标亮度最接近的目标摄像头并计算出主摄像头的目标曝光值,因此,主摄像头可以根据环境变化实时快速的得到目标曝光值,从而能够根据目标曝光值快速准确找到达到目标曝光值的最优曝光策略,从而实现更快速更平滑的曝光,以提高用户的拍摄体验。
实施例二
图2是本发明实施例二的一种曝光方法流程图。
参照图2所示,本发明的一种曝光方法,应用于移动终端,移动终端包括一个主摄像头和至少两个辅摄像头,该方法包括:
步骤201,初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值。
本发明实施例中,移动终端可以包括一个主摄像头和至少两个辅摄像头,为了获取不同亮度值的图像,可以设置主摄像头和至少两个辅摄像头具有不同的曝光值,作为本发明的一种优选实施例,可以根据公式依次初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值;其中,expmin为所述摄像头的最小曝光值,expmax为所述摄像头的最大曝光值,i为第i个摄像头,N为所述移动终端的摄像头的总数,i的取值范围为0≤i≤N。
本发明实施例的移动终端有N个摄像头,为了控制每个摄像头获取不同亮度的图像,可以按上述公式设置每个摄像头的曝光值,N个摄像头的曝光值依次为:
本发明实施例中,将移动终端可曝光范围按照按摄像头个数N分成N-1份,以最小曝光值expmin为起点,依次递增设置每个摄像头的曝光值,当然,也可以按照其它的方式设置每个摄像头的曝光值,本发明对此不做限制。
步骤202,获取所述主摄像头和至少两个辅摄像头中每个摄像头的曝光值。
本发明实施例中,可以获取预先设置的主摄像头和至少两个辅摄像头的曝光值,将获取的曝光值传送至摄像头的应用处理器中。
步骤203,获取所述主摄像头和至少两个辅摄像头中每个摄像头所采集图像的图像亮度值,得到N个图像亮度值。
应用处理器根据获取的主摄像头和至少两个辅摄像头的曝光值,控制主摄像头和多个辅摄像头的图像传感器采集图像,具体的,可以根据曝光值设置摄像头的曝光时间、图像传感器的增强等,图像传感器将采集的图像传送至ISP,ISP统计出N个摄像头输出图像的图像亮度值。
步骤204,基于所述N个图像亮度值与预设的目标亮度值,确定目标摄像头。
在实际应用中,在一个拍摄场景中,拍摄的图像具有一个展现拍摄场景的最佳图像亮度,可以将该图像亮度定义为目标亮度,作为本发明的一种优选实施例,可以通过以下方式从N个摄像头中确定目标摄像头:
首先,对于所述N个图像亮度值中的每个图像亮度值,计算所述图像亮度值与预设的目标亮度值的差值,得到N个亮度差值。
本发明实施例中,将N个图像亮度值和目标亮度值做差值计算,例如,记目标亮度值为X,N个图像的亮度值为X0,X1,X2….Xi….Xn,可以分别将X0,X1,X2….Xi….Xn与X做差值计算得到多个亮度差值:X0-X,X1-X,X2-X,….Xi-X….Xn-X。
其次,提取所述N个亮度差值中取值最小的亮度差值。
实际应用中,将N个图像的亮度值和目标亮度值做差值计算得到N个亮度差值,亮度差值越小,可以说明该图像亮度越接近于目标亮度,因此,可以从N个亮度差值:X0-X,X1-X,X2-X,….Xi-X….Xn-X,筛选出取值最小的亮度差值。
最后,将所述取值最小的亮度差值对应的摄像头确定为目标摄像头。
具体实现中,可以根据最小的亮度差值,找到对应的摄像头,将该摄像头确定为目标摄像头。
步骤205,基于所述目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值。
本发明实施例中,目标摄像头的曝光值是预先设置的,其输出图像的图像亮度值和目标亮度值可能不相同,因此需要根据目标摄像头的图像亮度值和曝光值计算目标亮度值对应的目标曝光值,作为本发明的一种优选实施例,可以通过以下步骤计算出目标曝光值:
首先,获取所述目标摄像头对应的图像亮度值和曝光值。
本发明实施例中,目标摄像头的图像亮度值可以从ISP处理器获取,曝光值可以从应用处理器获取。
其次,根据公式计算得到所述目标曝光值。
在实际应用中,目标亮度值和目标摄像头的图像亮度值的差距是很小的,在这种情况下,曝光值和亮度接近线性,因此可以将目标亮度值和目标摄像头的图像亮度值做比值计算,为方便对本发明实施例做进一步说明,可以记目标亮度值为X,目标摄像头的图像亮度值为Xi。
由于曝光值和亮度值呈线性关系,可以根据公式计算得到目标曝光值。
其中exp为目标曝光值,expi为目标摄像头的曝光值,X为预设的目标亮度值,Xi为目标摄像头的图像亮度值。
步骤206,将所述主摄像头的下一帧图像的曝光值设置为所述目标曝光值。
在实际应用中,为了使曝光不出现明显的亮度跳跃,可以根据当前主摄像头的曝光值和目标曝光值,兼顾曝光的速度和亮度变化的平滑性,设置下一帧拍摄图像的目标曝光值。同时,为了能够实时根据环境变化计算出适合环境亮度的曝光值,完成主摄像头的曝光值设置后,可以通过辅摄像头重新获取图像亮度值,重新计算主摄像头的曝光值,当主摄像头完成下一帧的曝光后,可以直接设置曝光值。
在本发明实施例中,通过初始化主摄像头和至少两个辅摄像头的曝光值,主摄像头和至少两个辅摄像头根据曝光值分别输出图像,从输出的N张图像的图像亮度值中找出最接近目标亮度的图像,进而找出对应的摄像头作为目标摄像头,根据目标摄像头的图像亮度值和曝光值计算出目标曝光值,将主摄像头的下一帧图像的曝光值设置为目标曝光值,可见,应用本发明实施例,通过辅摄像头后台实时拍摄图像,根据图像亮度值得到与目标亮度最接近的目标摄像头并计算出主摄像头的目标曝光值,因此,主摄像头可以根据环境变化实时快速的得到目标曝光值,能够根据目标曝光值快速准确找到达到目标曝光值的最优曝光策略,从而实现更快速更平滑的曝光,以提高用户的拍摄体验。
实施例三
图3是本发明实施例三的一种曝光方法流程图。
参照图3所示,本发明实施例的一种曝光方法,应用于移动终端,移动终端包括一个主摄像头和至少两个辅摄像头,该方法包括:
步骤301,初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值。
本发明实施例中,可以设置主摄像头和至少两个辅摄像头具有不同的曝光值,作为本发明的一种优选实施例,初始化主摄像头和至少两个辅摄像头中每个摄像头的曝光值可以通过以下方式实现:
首先,将所述至少两个辅摄像头分为第一组摄像头和第二组摄像头。
在本发明实施例中,移动终端可以包括多个摄像头,例如可以是一个主摄像头和至少两个辅摄像头,可以将所有的摄像头分成第一组摄像头和第二组摄像头,每组摄像头的个数可以根据摄像头的实际个数进行分配,例如摄像头的个数为N,每组摄像头的个数可以为N/2,也可以根据N的个数实时调整,例如N为偶数则将摄像头平均分为两组,若N为奇数,则两组摄像头有一个公共的摄像头,本发明实施例对摄像头的分组方法不做限制。
其次,获取所述主摄像的曝光值。
本发明实施例中,主摄像头和至少两个辅摄像头在实时采集图像中,可以从应用处理器直接获取主摄像头的曝光值。
随后,根据公式依次设置所述第一组摄像头中的每个摄像头的曝光值。
本发明实施例中,可以以主摄像头的曝光值为基准,设置第一组摄像头的曝光范围值为主摄像头的曝光值的1/M倍,其中M的数值根据摄像头的个数进行选择,摄像头越多,M值可以设置得越大,根据公式可以得到第一组摄像头中每个摄像头的曝光值为:
最后,根据公式依次设置所述第二组摄像头中的每个摄像头的曝光值。
可以以主摄像头的曝光值为基准,设置第一组摄像头的曝光范围值为主摄像头的曝光值的M倍,其中M的数值根据摄像头的个数进行选择,摄像头越多,M值可以设置得越大,根据公式可以得到第二组摄像头中每个摄像头的曝光值为:
其中,expcur为主摄像头的曝光值,M为常量,N为所述移动终端的总摄像头的个数,i为第i个摄像头,
由上述可知,本发明实施例中,将所有摄像头分为第一组和第二组摄像头,以主摄像头的曝光值为基准,第一组摄像头依次递减设置曝光范围值为主摄像头曝光值的1/M倍第二组摄像头依次设置曝光范围值为主摄像头曝光值的M倍,并且,当主摄像头的曝光值更新时,实时重新调整两组摄像头的曝光值。
步骤302,获取所述主摄像头和至少两个辅摄像头中每个摄像头的曝光值。
本发明实施例中,可以获取预先设置的主摄像头和至少两个辅摄像头的曝光值,将获取的曝光值传送至摄像头的应用处理器中。
步骤303,获取所述主摄像头和至少两个辅摄像头中每个摄像头所采集图像的图像亮度值,得到N个图像亮度值。
实际应用中,可以根据曝光值设置摄像头的曝光时间、图像传感器的增强等,图像传感器将采集的图像传送至ISP,ISP统计出各个摄像头输出图像的图像亮度值,得到N个图像亮度值。
步骤304,基于所述N个图像亮度值与预设的目标亮度值,确定目标摄像头。
本发明实施例,可以分别将多个摄像头输出的图像亮度值和目标亮度值做差值计算,得到亮度差值,将最小亮度差值对应的摄像头确定为目标摄像头。
步骤305,判断所述目标摄像头是否为所述主摄像头。
在本发明实施例中,主摄像头也参与了分组和输出图像与目标亮度值进行比较,有可能主摄像头的图像亮度值最接近目标亮度值,因此需要判断目标摄像头是否是目标摄像头,若是,执行步骤306、步骤307,若否,执行步骤308、步骤309、步骤310。
步骤306,若所述目标摄像头为所述主摄像头,则获取所述目标摄像头对应的图像亮度值和曝光值。
当主摄像头的图像亮度值最接近目标亮度值时,可以理解为主摄像头即为目标摄像头,则可以获取目标摄像头对应的图像亮度值和曝光值。
步骤307,根据公式计算得到目标曝光值;
其中,exptar为目标曝光值,expcur为目标摄像头的曝光值,Xtar为预设的目标亮度值,Xcur为目标摄像头的图像亮度值。
步骤308,若所述目标摄像头不是所述主摄像头,则分别获取所述目标摄像头和所述主摄像头各自的曝光值。
本发明实施例中,由于环境的亮度变换,目标摄像头有可能不是主摄像头,则可以获取预置的目标摄像头和主摄像头各自的曝光值。
步骤309,基于所述目标摄像头和所述主摄像头各自的曝光值,确定主摄像头和所述目标摄像头的曝光值之间的倍数关系以及所述目标摄像头和主摄像头之间相隔的曝光值的个数。
主摄像头和至少两个辅摄像头的曝光值是预先设置的,可以根据主摄像头和目标摄像头的曝光值,得到倍数关系。例如:
主摄像头的曝光值为
目标摄像头的曝光值为
由上述可知,目标摄像头的曝光值和主摄像头的曝光值相差了7个即8倍,亦即目标摄像头和主摄像头之间相隔了6个摄像头的曝光值。
步骤310,按照所述倍数关系和曝光值的个数,确定所述目标曝光值。
本发明实施例中,已经得知主摄像头和目标摄像头的曝光值的倍数关系以及相隔的曝光值的个数,可以根据实际需要确定合适的目标曝光值。例如主摄像头的图像亮度是目标摄像头亮度的1/8,则可知当前图像亮度只有目标亮度的1/8所以会很暗。这个时候如果照顾收敛速度,可以选择三步曝光收敛,即每次曝光值是前一次的两倍。如果照顾平滑下则可以选择下一步设置为上一步的1.5倍曝光值,而且每次曝光后都重新调整多个摄像头的曝光值。本发明实施例还也可以根据其它曝光策略,选择目标曝光值,本发明实施例对此不做限制。
步骤311,将所述主摄像头的下一帧图像的曝光值设置为所述目标曝光值。
在实际应用中,为了使曝光不出现明显的亮度跳跃,可以根据当前主摄像头的曝光值和目标曝光值,结合主摄像头的光圈、快门速度及图像传感器的增益,兼顾曝光的速度和亮度变化的平滑性,设置下一帧拍摄图像的曝光值为目标曝光值。
步骤312,检测所述主摄像头是否完成本次曝光。
本发明实施例中,为了使用辅摄像头实时监控环境的亮度变化,可以实时监测主摄像头是否完成本次的曝光,拍摄图像,以便重新调整主摄像头和至少两个辅摄像头的曝光值。
步骤313,当检测到所述主摄像头完成本次曝光后,根据所述主摄像头的曝光值调整所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值。
实际应用中,当主摄像头获得目标曝光值后,可以重新设置辅摄像头的曝光值,例如根据主摄像头获得的目标曝光值,以及N个摄像头,重新预置辅摄像头的曝光值,以实现实时根据环境变化获取目标曝光值。
在本发明实施例中,通过将主摄像头的当前曝光值,按倍数和摄像头个数初始化多个辅摄像头的曝光值,主摄像头和至少两个辅摄像头根据曝光值分别输出图像,从输出的N张图像的图像亮度值中找出最接近目标亮度的图像,进而找出对应的摄像头作为目标摄像头,根据目标摄像头和主摄像头的曝光值的倍数关系,确定主摄像头的下一帧图像的目标曝光值,可见,应用本发明实施例,主摄像头可以根据当前曝光值和目标摄像头的曝光值的倍数关系,选择合适的曝光的倍数和次数,从而能够快速而准确调整曝光并保证使用者感觉不到亮度跳跃,且更加快速的实现曝光,并且主摄像头完成曝光后,根据主摄像头的曝光值实时调整N个摄像头的初始曝光值,能够更准确的根据环境的亮度变化,确定主摄像头下一帧图像的目标曝光值。
为使本领域技术人员更好地理解本发明实施例,以下采用具体的示例对于本发明实施例基于摄像头的曝光方法进行说明。
图4是本发明的一种曝光装置模块图。
参照图4所示,曝光装置包括摄像头模块401,图像处理模块402,应用处理器403。
摄像头模块401,包括N个摄像头,其中包括一个主置摄像头和至少两个辅摄像头。
主摄像头用于显示预览及拍照,另外N-1个摄像头是辅摄像头,用于设置不同的曝光值,输出具有不同图像亮度值的图像。
图像处理模块402,用于对N个摄像头的输出图像进行图像亮度值统计,并将图像亮度值传送给应用处理器403。
应用处理器403,接受图像处理模块402传送过来的N张图像的图像亮度值,对其进行对比计算,从而得出与目标亮度最接近的图像对应的目标摄像头。并通过主摄像头当前亮度值与目标摄像头的亮度值及曝光值进行计算,得出下一步主摄像头的目标曝光值设定,通过特定控制端口(一般是I2C)将目标曝光值设定写入主摄像头的图像传感器。
图5是本发明实施例的一种曝光处理的流程图。
如图5所示,一种曝光处理的步骤包括:
步骤501,初始化N个摄像头中每个摄像头的曝光值。
设置方法是将摄像头从最小曝光值expmin到最大曝光值expmax平均分为N-1段。N个摄像头的曝光值可以依次为:
即第i个摄像头的曝光值为
步骤502,获取N个摄像头中每个摄像头的曝光值。
步骤503,获取N个摄像头中每个摄像头所采集图像的图像亮度值,得到N个图像亮度值。
步骤504,基于N个图像亮度值和预设目标亮度值确定目标摄像头。
用ISP统计出的N个摄像头的图像亮度值,依次定位为X0,X1,X2….,Xn。并根据这些图像亮度值与目标亮度值X的差异大小确定目标摄像头。
步骤505,基于目标摄像头的亮度值和曝光值,以及预设的目标亮度值,计算目标曝光值。
具体的,可以根据公式计算得到目标曝光值。
其中exp为目标曝光值,expi为目标摄像头的曝光值,X为预设的目标亮度值,Xi为目标摄像头的图像亮度值。根据算出的目标曝光值exp与当前主摄像头的曝光值expcur的关系设置主摄像头的下一帧的目标曝光值。由于环境亮度值实时存在变化,为了能够实时根据环境变化计算出适合环境亮度的曝光值,完成主摄像头的曝光值设置后,可以通过辅摄像头重新获取图像亮度值,重新计算主摄像头的曝光值,以便主摄像头完成下一帧的曝光后,可以直接设置曝光值,亦即确定一帧图像的目标曝光值后,实时统计N个摄像头的曝光值,计算下一帧图像的目标曝光值。
步骤506,将主摄像头的下一帧图像的曝光值设置为目标曝光值。
具体的,通过特定总线将主摄像头的下一帧图像的曝光值设置为目标曝光值。
图5a是本发明实施例的另一种曝光处理的流程图。
如图5a所示,一种曝光处理的步骤包括:
步骤601,初始化N个摄像头中每个摄像头的曝光值。
本示例初始化摄像头的曝光值规则是:把所有的N个辅摄像头分为两组,每组为N/2个。根据主摄头的曝光值expcur,其中一组以expcur为起点,终点设置为expcur的M倍。另外一组以expcur为起点,终点设置为expcur的1/M倍。其中M的选择根据N的个数进行合适调节。
则其中一组摄像头中每个摄像头的曝光值依次为:
另外一组摄像头中每个摄像头的曝光值依次为:
每一帧辅摄像头的曝光值都根据该规则动态修改。
步骤602,获取N个摄像头中每个摄像头的曝光值。
N个摄像头根据曝光值输出图像至ISP,ISP统计N张图像的图像亮度值,传送至应用处理器。
步骤603,获取N个摄像头中每个摄像头所采集图像的图像亮度值,得到N个图像亮度值。
步骤604,基于所述N个图像亮度值与预设的目标亮度值,确定目标摄像头。
用ISP统计出的N个摄像头的图像亮度值,依次定位为X0,X1,X2….,Xn。并根据这些图像亮度值与目标亮度值X的差异大小确定目标摄像头。
步骤605,基于目标摄像头和主摄像头之间的曝光值之间倍数关系以及相隔曝光值的个数确定主摄像头的目标曝光值。
如果目标摄像头是主摄像头,则证明当前亮度值未变化或仅有很小变化,则仅需根据主摄像头亮度值与目标亮度值之前的关系微调主摄像头曝光值即可保证变化性和速度。
如果目标摄像头不是主摄像头,则根据目标摄像头的摄像头编号,可知目标摄像头的曝光值与主摄像头曝光值之间的倍数关系以及中间还有几个摄像头的曝光值。从主摄像头的亮度值Xcur与目标摄像头的亮度值Xi之间的所有亮度值之间的关系,可较容易找到亮度值不跳跃情况下的最快收敛速度。
在实际应用中,在确定主摄像头下一帧图像的曝光值为目标曝光值后,由于环境的亮度值存在变化,可以根据目标曝光值重新调整辅摄像头的曝光值,以能够实时获取接近环境的亮度值对应的曝光值,当主摄像头完成下一帧图像的曝光后,可以使用调整后的辅摄像头的曝光值及主摄像头的曝光值,重新计算主摄像头的曝光值,亦即根据主摄像头的曝光值重新初始化辅摄像头的曝光值。
步骤606,通过特定总线设置主摄像头及每个辅摄像头的曝光值。
在确定所有摄像头的曝光值后,通过特定总线,可以是I2C总线设置主摄像头和每个辅摄像头的曝光值。
综上所述,本发明提供的曝光方法,可以通过多种方式实现,前述几种方式仅仅是举例而已,本发明实施例对此不作限制。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
实施例四
图6是本发明实施例四的一种移动终端的结构框图。
参照图6所示,本发明实施例提供的一种移动终端700包括一个主摄像头和至少两个辅摄像头,能实现实施例一中拍照的方法的细节,并达到相同的效果。移动终端700还包括:
曝光值获取模块701,用于获取所述主摄像头和至少两个辅摄像头中每个摄像头的曝光值。
亮度值获取模块702,用于获取所述主摄像头和至少两个辅摄像头中每个摄像头所采集图像的图像亮度值,得到N个图像亮度值。
目标摄像头确定模块703,用于基于所述亮度值获取模块获取的所述N个图像亮度值与预设的目标亮度值,确定目标摄像头。
目标曝光值计算模块704,用于基于所述目标摄像头确定模块确定的目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值。
目标曝光值设置模块705,用于将所述主摄像头的下一帧图像的曝光值设置为所述目标曝光值计算模块计算的目标曝光值。
参照图6a所示,本发明实施例提供的另一移动终端700还包括曝光值初始化模块706。
曝光值初始化模块706,用于初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值。
参照图6b所示,本发明实施例提供的另一移动终端700中,所述目标摄像头确定模块703包括:
亮度差值计算子模块7031,用于对于所述N个图像亮度值中的每个图像亮度值,计算所述图像亮度值与预设的目标亮度值的差值,得到N个亮度差值。
最小亮度差值提取子模块7032,用于提取所述亮度差值计算子模块计算的N个亮度差值中取值最小的亮度差值;
目标摄像头确定子模块7033,用将所述最小亮度差值提取子模块提取的取值最小的亮度差值对应的摄像头确定为目标摄像头。
参照图6c所示,本发明实施例提供的另一移动终端800中,所述曝光值初始化模块706包括:
曝光值初始化子模块7061,用于根据公式依次初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值;
其中,expmin为所述摄像头的最小曝光值,expmax为所述摄像头的最大曝光值,i为第i个摄像头,N为所述移动终端的摄像头的总数,i的取值范围为0≤i≤N。
参照图6d所示,本发明实施例提供的另一移动终端800中,所述目标曝光值计算模块704包括:
第一亮度值和曝光值获取子模块7041,用于获取所述目标摄像头对应的图像亮度值和曝光值;
第一目标曝光值计算子模块7042,用于根据公式计算得到所述目标曝光值;
其中,exp为所述目标曝光值,expi为所述目标摄像头的曝光值,X为预设的目标亮度值,Xi为所述目标摄像头的图像亮度值。
参照图6e所示,本发明实施例提供的另一移动终端900中,所述初始化曝光值模块706包括:
摄像头分组子模块7062,用于将所述至少两个辅摄像头分为第一组摄像头和第二组摄像头;
主摄像头曝光值获取子模块7063,用于获取所述主摄像头的曝光值;
第一曝光值设置子模块7064,用于根据公式依次设置所述第一组摄像头中的每个摄像头的曝光值;
第二曝光值设置子模块7065,用于根据公式依次设置所述第二组摄像头中的每个摄像头的曝光值;
其中,expcur为主摄像头的曝光值,M为常量,N为所述移动终端的总摄像头的个数,i为第i个摄像头,
参照图6f所示,本发明实施例提供的另一移动终端900中,所述目标曝光值计算模块704包括:
目标摄像头判断子模块7043,用于判断所述目标摄像头是否为所述主摄像头;
第二亮度值和曝光值获取子模块7044,用于目标摄像头判断子模块判断所述述目标摄像头为所述主摄像头时,获取所述目标摄像头对应的图像亮度值和曝光值;
第二目标曝光值计算子模块7045,用于根据公式计算得到目标曝光值;
其中,exptar为所述目标曝光值,expcur为所述目标摄像头的曝光值,Xtar为预设的目标亮度值,Xcur为所述目标摄像头的图像亮度值。
曝光值获取子模块7046,用于若所述目标摄像头不是所述主摄像头,分别获取所述目标摄像头和所述主摄像头各自的曝光值;
曝光值倍数关系和个数确定子模块7047,用于基于所述曝光值获取子模块获取的目标摄像头和所述主摄像头各自的曝光值,确定主摄像头和所述目标摄像头的曝光值之间的倍数关系以及所述目标摄像头和主摄像头之间相隔的曝光值的个数;
目标曝光值确定子模块7048,用于按照所述曝光值倍数关系和个数确定子模块确定的倍数关系和曝光值的个数,确定所述目标曝光值。
参照图6g所示,本发明实施例提供的另一移动终端900中,还包括:
检测模块707,用于检测所述主摄像头是否完成本次曝光;
曝光值调整模块708,用于当所述检测模块检测到所述主摄像头完成本次曝光后,根据所述主摄像头的曝光值调整所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值。
移动终端能够实现图1至图6g的方法实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。
本发明实施例的移动终端,通过预设规则对主摄像头和至少两个辅摄像头设置不同的曝光值,并控制主摄像头和至少两个辅摄像头根据曝光值分别输出图像,基于图像的图像亮度值与预设的目标亮度值,确定目标摄像头,并根据目标摄像头的图像亮度值和曝光值,以及预设的目标亮度值,计算目标曝光值,将主摄像头的下一帧图像的曝光值设置为目标曝光值,可见,应用本发明实施例,主摄像头可以根据环境变化实时快速的得到目标曝光值,并且能够快速准确找到达到目标曝光值的最优曝光策略,从而实现更快速更平滑的曝光,以提高用户的拍摄体验。
实施例四
图7是本发明实施例提供的一种移动终端的结构框图,图7所示的移动终端1000包括:至少一个处理器1001、存储器1002、至少一个网络接口1004、一个拍摄组件1006和用户接口1003。移动终端1000中的各个组件通过总线系统1005耦合在一起。可理解,总线系统1005用于实现这些组件之间的连接通信。总线系统1005除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图7中将各种总线都标为总线系统1005。
其中,用户接口1003可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等。
可以理解,本发明实施例中的存储器1002可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本发明实施例描述的系统和方法的存储器1002旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器1002存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:操作系统10021和应用程序10022。
其中,操作系统10021,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序10022,包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序10022中。
在本发明实施例中,通过调用存储器1002存储的程序或指令,具体的,可以是应用程序10022中存储的程序或指令,处理器1001用于获取所述主摄像头和至少两个辅摄像头中每个摄像头的曝光值;获取所述主摄像头和至少两个辅摄像头中每个摄像头所采集图像的图像亮度值,得到N个图像亮度值;基于所述N个图像亮度值与预设的目标亮度值,确定目标摄像头;基于所述目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值;将所述主摄像头的下一帧图像的曝光值设置为所述目标曝光值。
上述本发明实施例揭示的方法可以应用于处理器1001中,或者由处理器1001实现。处理器1001可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1001中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1001可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1002,处理器1001读取存储器1002中的信息,结合其硬件完成上述方法的步骤。
拍摄组件1006包含一个主摄像头和至少两个辅摄像头,用于根据预设的曝光值拍摄图像,并将图像的亮度通过ISP传输至应用处理器1001。
可以理解的是,本发明实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits,ASIC)、数字信号处理器(Digital SignalProcessing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(ProgrammableLogic Device,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
优选的,处理器1001在执行所述获取所述主摄像头和至少两个辅摄像头中每个摄像头的曝光值的步骤之前,还用于:初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值。
优选的,处理器1001在执行初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值的步骤时,还用于:根据公式依次初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值;其中,expmin为所述摄像头的最小曝光值,expmax为所述摄像头的最大曝光值,i为第i个摄像头,N为所述移动终端的摄像头的总数,i的取值范围为0≤i≤N。
优选的,处理器1001在执行所述基于所述N个图像亮度值与预设的目标亮度值,确定目标摄像头的步骤时,还用于:对于所述N个图像亮度值中的每个图像亮度值,计算所述图像亮度值与预设的目标亮度值的差值,得到N个亮度差值;提取所述N个亮度差值中取值最小的亮度差值;将所述取值最小的亮度差值对应的摄像头确定为目标摄像头。
优选的,处理器1001在执行所述基于所述目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值的步骤,还用于:获取所述目标摄像头对应的图像亮度值和曝光值;
根据公式计算得到所述目标曝光值;
其中,exp为所述目标曝光值,expi为所述目标摄像头的曝光值,X为预设的目标亮度值,Xi为所述目标摄像头的图像亮度值。
优选的,处理器1001在执行所述初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值的步骤时,还用于:将所述至少两个辅摄像头分为第一组摄像头和第二组摄像头;获取所述主摄像头的曝光值;根据公式依次设置所述第一组摄像头中的每个摄像头的曝光值;根据公式依次设置所述第二组摄像头中的每个摄像头的曝光值;其中,expcur为主摄像头的曝光值,M为常量,N为所述移动终端的总摄像头的个数,i为第i个摄像头,
优选的,处理器1001在执行所述基于所述目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值的步骤时,还用于:判断所述目标摄像头是否为所述主摄像头;若所述目标摄像头为所述主摄像头,则获取所述目标摄像头对应的图像亮度值和曝光值;
根据公式计算得到目标曝光值;
其中,exptar为所述目标曝光值,expcur为所述目标摄像头的曝光值,Xtar为预设的目标亮度值,Xcur为所述目标摄像头的图像亮度值。
优选的,处理器1001还用于:若所述目标摄像头不是所述主摄像头,则分别获取所述目标摄像头和所述主摄像头各自的曝光值;基于所述目标摄像头和所述主摄像头各自的曝光值,确定主摄像头和所述目标摄像头的曝光值之间的倍数关系以及所述目标摄像头和主摄像头之间相隔的曝光值的个数;按照所述倍数关系和曝光值的个数,确定所述目标曝光值。
优选的,处理器1001在执行所述将所述主摄像头的下一帧图像的曝光值设置为所述目标曝光值的步骤之后,还用于:检测所述主摄像头是否完成本次曝光;当检测到所述主摄像头完成本次曝光后,根据所述主摄像头的曝光值调整所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值。
移动终端1000能够实现前述实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。
本发明实施例的移动终端1000,通过预设规则对主摄像头和至少两个辅摄像头设置不同的曝光值,并控制主摄像头和至少两个辅摄像头根据曝光值分别输出图像,基于图像的图像亮度值与预设的目标亮度值,确定目标摄像头,并根据目标摄像头的图像亮度值和曝光值,以及预设的目标亮度值,计算目标曝光值,将主摄像头的下一帧图像的曝光值设置为目标曝光值,可见,应用本发明实施例,主摄像头可以根据环境变化实时快速的得到目标曝光值,并且能够快速准确找到达到目标曝光值的最优曝光策略,从而实现更快速更平滑的曝光,以提高用户的拍摄体验。
实施例五
图8是本发明实施例提供的一种移动终端的结构框图。具体地,图8中的移动终端1100可以为手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、或车载电脑等。
图8中的移动终端1100包括射频(Radio Frequency,RF)电路1101、存储器1102、输入单元1103、显示单元1104、拍摄组件1105、处理器1106、音频电路1107、WiFi(WirelessFidelity)模块1108和电源1109。
其中,输入单元1103可用于接收用户输入的数字或字符信息,以及产生与移动终端1100的用户设置以及功能控制有关的信号输入。具体地,本发明实施例中,该输入单元1103可以包括触控面板11031。触控面板11031,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板11031上的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板11031可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给该处理器1106,并能接收处理器1106发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板11031。除了触控面板11031,输入单元1103还可以包括其他输入设备11032,其他输入设备11032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
其中,显示单元1104可用于显示由用户输入的信息或提供给用户的信息以及移动终端1100的各种菜单界面。显示单元1104可包括显示面板11041,可选的,可以采用LCD或有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板11041。
应注意,触控面板11031可以覆盖显示面板11041,形成触摸显示屏,当该触摸显示屏检测到在其上或附近的触摸操作后,传送给处理器1106以确定触摸事件的类型,随后处理器1106根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。
触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定,可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件,例如,设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。
其中处理器1106是移动终端1100的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在第一存储器11021内的软件程序和/或模块,以及调用存储在第二存储器11022内的数据,执行移动终端1100的各种功能和处理数据,从而对移动终端1100进行整体监控。可选的,处理器1106可包括一个或多个处理单元。
拍摄组件1105包括一个主摄像头和至少两个辅摄像头,用于根据预设的曝光值拍摄图像,并将图像的亮度通过ISP传输至处理器1106。
在本发明实施例中,通过调用存储该第一存储器11021内的软件程序和/或模块和/或该第二存储器11022内的数据,处理器1106用于获取所述主摄像头和至少两个辅摄像头中每个摄像头的曝光值;获取所述主摄像头和至少两个辅摄像头中每个摄像头所采集图像的图像亮度值,得到N个图像亮度值;基于所述N个图像亮度值与预设的目标亮度值,确定目标摄像头;基于所述目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值;将所述主摄像头的下一帧图像的曝光值设置为所述目标曝光值。
优选的,处理器1106在执行所述获取所述主摄像头和至少两个辅摄像头中每个摄像头的曝光值的步骤之前,还用于:初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值。
优选的,处理器1106在执行初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值的步骤时,还用于:根据公式依次初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值;其中,expmin为所述摄像头的最小曝光值,expmax为所述摄像头的最大曝光值,i为第i个摄像头,N为所述移动终端的摄像头的总数,i的取值范围为0≤i≤N。
优选的,处理器1106在执行所述基于所述N个图像亮度值与预设的目标亮度值,确定目标摄像头的步骤时,还用于:对于所述N个图像亮度值中的每个图像亮度值,计算所述图像亮度值与预设的目标亮度值的差值,得到N个亮度差值;提取所述N个亮度差值中取值最小的亮度差值;将所述取值最小的亮度差值对应的摄像头确定为目标摄像头。
优选的,处理器1106在执行所述基于所述目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值的步骤,还用于:获取所述目标摄像头对应的图像亮度值和曝光值;
根据公式计算得到所述目标曝光值;
其中,exp为所述目标曝光值,expi为所述目标摄像头的曝光值,X为预设的目标亮度值,Xi为所述目标摄像头的图像亮度值。
优选的,处理器1106在执行所述初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值的步骤时,还用于:将所述至少两个辅摄像头分为第一组摄像头和第二组摄像头;获取所述主摄像头的曝光值;根据公式依次设置所述第一组摄像头中的每个摄像头的曝光值;根据公式依次设置所述第二组摄像头中的每个摄像头的曝光值;其中,expcur为主摄像头的曝光值,M为常量,N为所述移动终端的总摄像头的个数,i为第i个摄像头,
优选的,处理器1106在执行所述基于所述目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值的步骤时,还用于:判断所述目标摄像头是否为所述主摄像头;若所述目标摄像头为所述主摄像头,则获取所述目标摄像头对应的图像亮度值和曝光值;
根据公式计算得到目标曝光值;
其中,exptar为所述目标曝光值,expcur为所述目标摄像头的曝光值,Xtar为预设的目标亮度值,Xcur为所述目标摄像头的图像亮度值。
优选的,处理器1106还用于:若所述目标摄像头不是所述主摄像头,则分别获取所述目标摄像头和所述主摄像头各自的曝光值;基于所述目标摄像头和所述主摄像头各自的曝光值,确定主摄像头和所述目标摄像头的曝光值之间的倍数关系以及所述目标摄像头和主摄像头之间相隔的曝光值的个数;按照所述倍数关系和曝光值的个数,确定所述目标曝光值。
优选的,处理器1106在执行所述将所述主摄像头的下一帧图像的曝光值设置为所述目标曝光值的步骤之后,还用于:检测所述主摄像头是否完成本次曝光;当检测到所述主摄像头完成本次曝光后,根据所述主摄像头的曝光值调整所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值。
移动终端1100能够实现前述实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。
本发明实施例的移动终端1100,通过预设规则对主摄像头和至少两个辅摄像头设置不同的曝光值,并控制主摄像头和至少两个辅摄像头根据曝光值分别输出图像,基于图像的图像亮度值与预设的目标亮度值,确定目标摄像头,并根据目标摄像头的图像亮度值和曝光值,以及预设的目标亮度值,计算目标曝光值,将主摄像头的下一帧图像的曝光值设置为目标曝光值,可见,应用本发明实施例,主摄像头可以根据环境变化实时快速的得到目标曝光值,并且能够快速准确找到达到目标曝光值的最优曝光策略,从而实现更快速更平滑的曝光,以提高用户的拍摄体验。
本领域普通技术人员可以意识到,结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (14)
1.一种曝光方法,应用于移动终端,所述移动终端包括一个主摄像头和至少两个辅摄像头,其特征在于,所述方法包括:
根据公式依次初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值;
其中,expmin为所述摄像头的最小曝光值,expmax为所述摄像头的最大曝光值,N为所述移动终端的摄像头的总数,其中,i为正整数,用于表征第i个摄像头;
获取所述主摄像头和至少两个辅摄像头中每个摄像头的曝光值;
获取所述主摄像头和至少两个辅摄像头中每个摄像头所采集图像的图像亮度值,得到N个图像亮度值;
基于所述N个图像亮度值与预设的目标亮度值,确定目标摄像头;
基于所述目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值;
将所述主摄像头的下一帧图像的曝光值设置为所述目标曝光值。
2.根据权利要求1所述的方法,其特征在于,所述基于所述N个图像亮度值与预设的目标亮度值,确定目标摄像头的步骤,包括:
对于所述N个图像亮度值中的每个图像亮度值,计算所述图像亮度值与预设的目标亮度值的差值,得到N个亮度差值;
提取所述N个亮度差值中取值最小的亮度差值;
将所述取值最小的亮度差值对应的摄像头确定为目标摄像头。
3.根据权利要求2所述的方法,其特征在于,所述基于所述目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值的步骤,包括:
获取所述目标摄像头对应的图像亮度值和曝光值;
根据公式计算得到所述目标曝光值;
其中,exp为所述目标曝光值,expi为所述目标摄像头的曝光值,X为预设的目标亮度值,Xi为所述目标摄像头的图像亮度值。
4.一种曝光方法,应用于移动终端,所述移动终端包括一个主摄像头和至少两个辅摄像头,其特征在于,包括:
初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值;
获取所述主摄像头和至少两个辅摄像头中每个摄像头的曝光值;
获取所述主摄像头和至少两个辅摄像头中每个摄像头所采集图像的图像亮度值,得到N个图像亮度值;
基于所述N个图像亮度值与预设的目标亮度值,确定目标摄像头;
基于所述目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值;
将所述主摄像头的下一帧图像的曝光值设置为所述目标曝光值;
其中,所述初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值的步骤,包括:
将所述至少两个辅摄像头分为第一组摄像头和第二组摄像头;
获取所述主摄像头的曝光值;
根据公式依次设置所述第一组摄像头中的每个摄像头的曝光值;
根据公式依次设置所述第二组摄像头中的每个摄像头的曝光值;
其中,expcur为主摄像头的曝光值,M为常量,N为所述移动终端的总摄像头的个数,其中,i为正整数,用于表征每组摄像头的第i个摄像头。
5.根据权利要求4所述的方法,其特征在于,所述基于所述目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值的步骤,包括:
判断所述目标摄像头是否为所述主摄像头;
若所述目标摄像头为所述主摄像头,则获取所述目标摄像头对应的图像亮度值和曝光值;
根据公式计算得到目标曝光值;
其中,exptar为所述目标曝光值,expcur为所述目标摄像头的曝光值,Xtar为预设的目标亮度值,Xcur为所述目标摄像头的图像亮度值。
6.根据权利要求5所述的方法,其特征在于,所述判断所述目标摄像头是否是主摄像头的步骤之后,所述方法还包括:
若所述目标摄像头不是所述主摄像头,则分别获取所述目标摄像头和所述主摄像头各自的曝光值;
基于所述目标摄像头和所述主摄像头各自的曝光值,确定主摄像头和所述目标摄像头的曝光值之间的倍数关系以及所述目标摄像头和主摄像头之间相隔的曝光值的个数;
按照所述倍数关系和曝光值的个数,确定所述目标曝光值。
7.根据权利要求6所述的方法,其特征在于,所述将所述主摄像头的下一帧图像的曝光值设置为所述目标曝光值的步骤之后,所述方法还包括:
检测所述主摄像头是否完成本次曝光;
当检测到所述主摄像头完成本次曝光后,根据所述主摄像头的曝光值调整所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值。
8.一种移动终端,包括一个主摄像头和至少两个辅摄像头,其特征在于,所述移动终端还包括:
曝光值初始化模块,用于初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值;
曝光值初始化子模块,用于根据公式依次初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值;
其中,expmin为所述摄像头的最小曝光值,expmax为所述摄像头的最大曝光值,N为所述移动终端的摄像头的总数,其中,i为正整数,用于表征第i个摄像头;
曝光值获取模块,用于获取所述主摄像头和至少两个辅摄像头中每个摄像头的曝光值;
亮度值获取模块,用于获取所述主摄像头和至少两个辅摄像头中每个摄像头所采集图像的图像亮度值,得到N个图像亮度值;
目标摄像头确定模块,用于基于所述亮度值获取模块获取的所述N个图像亮度值与预设的目标亮度值,确定目标摄像头;
目标曝光值计算模块,用于基于所述目标摄像头确定模块确定的目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值;
目标曝光值设置模块,用于将所述主摄像头的下一帧图像的曝光值设置为所述目标曝光值计算模块计算的目标曝光值。
9.根据权利要求8所述的移动终端,其特征在于,所述目标摄像头确定模块包括:
亮度差值计算子模块,用于对于所述N个图像亮度值中的每个图像亮度值,计算所述图像亮度值与预设的目标亮度值的差值,得到N个亮度差值;
最小亮度差值提取子模块,用于提取所述亮度差值计算子模块计算的N个亮度差值中取值最小的亮度差值;
目标摄像头确定子模块,用将所述最小亮度差值提取子模块提取的取值最小的亮度差值对应的摄像头确定为目标摄像头。
10.根据权利要求9所述的移动终端,其特征在于,所述目标曝光值计算模块包括:
第一亮度值和曝光值获取子模块,用于获取所述目标摄像头对应的图像亮度值和曝光值;
第一目标曝光值计算子模块,用于根据公式计算得到所述目标曝光值;
其中,exp为所述目标曝光值,expi为所述目标摄像头的曝光值,X为预设的目标亮度值,Xi为所述目标摄像头的图像亮度值。
11.一种移动终端,包括一个主摄像头和至少两个辅摄像头,其特征在于,所述移动终端还包括:
曝光值初始化模块,用于初始化所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值;
其中,所述曝光值初始化模块还包括:
摄像头分组子模块,用于将所述至少两个辅摄像头分为第一组摄像头和第二组摄像头;
主摄像头曝光值获取子模块,用于获取所述主摄像头的曝光值;
第一曝光值设置子模块,用于根据公式依次设置所述第一组摄像头中的每个摄像头的曝光值;
第二曝光值设置子模块,用于根据公式依次设置所述第二组摄像头中的每个摄像头的曝光值;
其中,expcur为主摄像头的曝光值,M为常量,N为所述移动终端的总摄像头的个数,其中,i为正整数,用于表征每组摄像头的第i个摄像头;
曝光值获取模块,用于获取所述主摄像头和至少两个辅摄像头中每个摄像头的曝光值;
亮度值获取模块,用于获取所述主摄像头和至少两个辅摄像头中每个摄像头所采集图像的图像亮度值,得到N个图像亮度值;
目标摄像头确定模块,用于基于所述亮度值获取模块获取的所述N个图像亮度值与预设的目标亮度值,确定目标摄像头;
目标曝光值计算模块,用于基于所述目标摄像头确定模块确定的目标摄像头的图像亮度值和曝光值,以及所述预设的目标亮度值,计算目标曝光值;
目标曝光值设置模块,用于将所述主摄像头的下一帧图像的曝光值设置为所述目标曝光值计算模块计算的目标曝光值。
12.根据权利要求11所述的移动终端,其特征在于,所述目标曝光值计算模块包括:
目标摄像头判断子模块,用于判断所述目标摄像头是否为所述主摄像头;
第二亮度值和曝光值获取子模块,用于目标摄像头判断子模块判断所述目标摄像头为所述主摄像头时,获取所述目标摄像头对应的图像亮度值和曝光值;
第二目标曝光值计算子模块,用于根据公式计算得到目标曝光值;
其中,exptar为所述目标曝光值,expcur为所述目标摄像头的曝光值,Xtar为预设的目标亮度值,Xcur为所述目标摄像头的图像亮度值。
13.根据权利要求12所述的移动终端,其特征在于,所述目标曝光值计算模块还包括:
曝光值获取子模块,用于若所述目标摄像头不是所述主摄像头,分别获取所述目标摄像头和所述主摄像头各自的曝光值;
曝光值倍数关系和个数确定子模块,用于基于所述曝光值获取子模块获取的目标摄像头和所述主摄像头各自的曝光值,确定主摄像头和所述目标摄像头的曝光值之间的倍数关系以及所述目标摄像头和主摄像头之间相隔的曝光值的个数;
目标曝光值确定子模块,用于按照所述曝光值倍数关系和个数确定子模块确定的倍数关系和曝光值的个数,确定所述目标曝光值。
14.根据权利要求13所述的移动终端,其特征在于,还包括:
检测模块,用于检测所述主摄像头是否完成本次曝光;
曝光值调整模块,用于当所述检测模块检测到所述主摄像头完成本次曝光后,根据所述主摄像头的曝光值调整所述主摄像头与至少两个辅摄像头中每个摄像头的曝光值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610768638.9A CN106170058B (zh) | 2016-08-30 | 2016-08-30 | 一种曝光方法及移动终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610768638.9A CN106170058B (zh) | 2016-08-30 | 2016-08-30 | 一种曝光方法及移动终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106170058A CN106170058A (zh) | 2016-11-30 |
CN106170058B true CN106170058B (zh) | 2019-05-17 |
Family
ID=57377068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610768638.9A Active CN106170058B (zh) | 2016-08-30 | 2016-08-30 | 一种曝光方法及移动终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106170058B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108270914A (zh) * | 2017-01-04 | 2018-07-10 | 中兴通讯股份有限公司 | 一种智能拍照方法及装置、智能终端 |
CN106625682B (zh) * | 2017-02-27 | 2019-01-25 | 四川豪特实业集团有限公司 | 移动机器人三维摄像头驱动系统 |
CN106878625B (zh) * | 2017-04-19 | 2019-10-11 | 宇龙计算机通信科技(深圳)有限公司 | 双摄像头同步曝光方法及系统 |
CN106982333B (zh) * | 2017-05-12 | 2020-03-27 | 深圳怡化电脑股份有限公司 | 一种图像传感器快速校正方法、装置及设备 |
CN107277352A (zh) * | 2017-06-30 | 2017-10-20 | 维沃移动通信有限公司 | 一种拍摄的方法和移动终端 |
CN107566749B (zh) * | 2017-09-25 | 2020-02-21 | 维沃移动通信有限公司 | 拍摄方法及移动终端 |
CN109165487B (zh) * | 2018-06-28 | 2020-12-29 | 努比亚技术有限公司 | 一种人脸解锁的方法、移动终端及计算机可读存储介质 |
CN109151336B (zh) * | 2018-10-15 | 2020-11-13 | 长沙智能驾驶研究院有限公司 | 摄像头的同步方法、装置、系统、存储介质及计算机设备 |
JP6690106B1 (ja) * | 2019-03-26 | 2020-04-28 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 決定装置、撮像システム、及び移動体 |
CN111757015B (zh) * | 2019-03-28 | 2021-12-03 | 杭州海康威视数字技术股份有限公司 | 一种曝光控制方法、装置及电子设备 |
CN110933304B (zh) * | 2019-11-27 | 2022-02-25 | RealMe重庆移动通信有限公司 | 待虚化区域的确定方法、装置、存储介质与终端设备 |
CN110868547A (zh) * | 2019-12-02 | 2020-03-06 | RealMe重庆移动通信有限公司 | 拍照控制方法、拍照控制装置、电子设备及存储介质 |
CN113452915A (zh) * | 2021-06-29 | 2021-09-28 | 展讯通信(天津)有限公司 | 一种摄像头切换的方法及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1377178A (zh) * | 2001-03-22 | 2002-10-30 | 佳能株式会社 | 图像拾取设备、曝光决定方法、程序、及存储介质 |
CN102369723A (zh) * | 2011-08-29 | 2012-03-07 | 华为终端有限公司 | 自动曝光方法、装置和成像设备 |
WO2015128897A1 (en) * | 2014-02-27 | 2015-09-03 | Sony Corporation | Digital cameras having reduced startup time, and related devices, methods, and computer program products |
CN105611037A (zh) * | 2015-07-22 | 2016-05-25 | 宇龙计算机通信科技(深圳)有限公司 | 终端的控制方法、终端的控制装置和终端 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110002630A (ko) * | 2009-07-02 | 2011-01-10 | 삼성전자주식회사 | 휴대 단말기의 카메라 운용 방법 및 장치 |
-
2016
- 2016-08-30 CN CN201610768638.9A patent/CN106170058B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1377178A (zh) * | 2001-03-22 | 2002-10-30 | 佳能株式会社 | 图像拾取设备、曝光决定方法、程序、及存储介质 |
CN102369723A (zh) * | 2011-08-29 | 2012-03-07 | 华为终端有限公司 | 自动曝光方法、装置和成像设备 |
WO2015128897A1 (en) * | 2014-02-27 | 2015-09-03 | Sony Corporation | Digital cameras having reduced startup time, and related devices, methods, and computer program products |
CN105611037A (zh) * | 2015-07-22 | 2016-05-25 | 宇龙计算机通信科技(深圳)有限公司 | 终端的控制方法、终端的控制装置和终端 |
Also Published As
Publication number | Publication date |
---|---|
CN106170058A (zh) | 2016-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106170058B (zh) | 一种曝光方法及移动终端 | |
CN106331510B (zh) | 一种逆光拍照方法及移动终端 | |
CN107395976B (zh) | 一种拍摄参数设置方法及移动终端 | |
CN105872148B (zh) | 一种高动态范围图像的生成方法及移动终端 | |
CN107205120B (zh) | 一种图像的处理方法和移动终端 | |
CN105827964B (zh) | 一种图像处理方法及移动终端 | |
CN107277387B (zh) | 高动态范围图像拍摄方法、终端及计算机可读存储介质 | |
CN105227858B (zh) | 一种图像处理方法及移动终端 | |
CN105847674B (zh) | 一种基于移动终端的预览图像处理方法及移动终端 | |
CN107231530B (zh) | 一种拍照方法及移动终端 | |
CN106254682B (zh) | 一种拍照方法及移动终端 | |
CN106060419B (zh) | 一种拍照方法及移动终端 | |
CN106954027B (zh) | 一种图像拍摄的方法及移动终端 | |
CN106027900A (zh) | 一种拍照方法及移动终端 | |
CN107026982B (zh) | 一种移动终端的拍照方法及移动终端 | |
CN106454086B (zh) | 一种图像处理方法和移动终端 | |
CN107395998A (zh) | 一种图像拍摄方法及移动终端 | |
CN107465874B (zh) | 一种暗电流处理方法及移动终端 | |
CN107147837A (zh) | 一种拍摄参数的设置方法和移动终端 | |
CN105827944B (zh) | 一种对焦方法及移动终端 | |
CN106791375B (zh) | 一种拍摄对焦方法及移动终端 | |
CN106454085B (zh) | 一种图像处理方法和移动终端 | |
CN105959574B (zh) | 一种拍照方法及移动终端 | |
CN106161932B (zh) | 一种拍照方法及移动终端 | |
CN105827970A (zh) | 一种图像处理方法及移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |