CN116939363B - 图像处理方法与电子设备 - Google Patents
图像处理方法与电子设备 Download PDFInfo
- Publication number
- CN116939363B CN116939363B CN202210318644.XA CN202210318644A CN116939363B CN 116939363 B CN116939363 B CN 116939363B CN 202210318644 A CN202210318644 A CN 202210318644A CN 116939363 B CN116939363 B CN 116939363B
- Authority
- CN
- China
- Prior art keywords
- image
- center point
- preview image
- area
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 73
- 230000004044 response Effects 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 101
- 230000015654 memory Effects 0.000 claims description 39
- 238000005520 cutting process Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 31
- 230000008569 process Effects 0.000 description 40
- 238000010586 diagram Methods 0.000 description 34
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 7
- 230000007704 transition Effects 0.000 description 5
- 241001464837 Viridiplantae Species 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004898 kneading Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及图像处理领域,提供了一种图像处理方法与电子设备,该图像处理方法应用于电子设备,包括:启动电子设备中的相机应用程序;显示第一预览图像,第一预览图像对应的变焦倍率为第一倍率,第一预览图像的中心点为第一中心点;确定第一预览图像中的第二中心点,第二中心点为目标区域的中心点,第一中心点与第二中心点不重合;检测到第一操作,第一操作指示电子设备的变焦倍率为第二倍率;响应于第一操作,显示第二预览图像,第二预览图像的中心点为第二中心点;基于本申请的技术方案,能够实现对拍摄景物中的目标区域进行自动变焦,提高用户拍摄体验。
Description
技术领域
本申请涉及图像处理领域,具体地,涉及一种图像处理方法与电子设备。
背景技术
随着多媒体技术和网络技术的飞速发展和广泛应用,人们在日常生活和生产活动中大量的使用图像信息。为了满足不同场景下的拍照需求,电子设备中的相机模组通常具有变焦能力,变焦能力可以包括光学变焦(optical zoom)或者数码变焦(digital zoom)等;光学变焦是指通过相机模组中的镜片移动来放大或者缩小拍摄景物;数码变焦是通过将图像的每个像素面积增大,从而达到放大远处拍摄景物的效果;对于光学变焦或者数码变焦,通常都是以电子设备中图像传感器的中心为变焦的中心点。
但是,当需要对拍摄景物中的目标区域进行放大时,例如,针对用户感兴趣区域进行放大,则需要用户移动电子设备将电子设备对准拍摄景物中的目标区域,从而导致用户体验较差。
因此,在电子设备不移动的情况下,如何对拍摄景物中的目标区域进行自动变焦成为一个亟需解决的问题。
发明内容
本申请提供了一种图像处理方法与电子设备,能够在电子设备不移动的情况下,实现对拍摄景物中的目标区域进行自动变焦;提高用户拍摄体验。
第一方面,提供了一种图像处理方法,所述图像处理方法应用于电子设备,包括:
启动所述电子设备中的相机应用程序;
显示第一预览图像,所述第一预览图像对应的变焦倍率为第一倍率,所述第一预览图像的中心点为第一中心点;
确定所述第一预览图像中的第二中心点,所述第二中心点为目标区域的中心点,所述第一中心点与所述第二中心点不重合;
检测到第一操作,所述第一操作指示所述电子设备的变焦倍率为第二倍率;
响应于所述第一操作,显示第二预览图像,所述第二预览图像的中心点为所述第二中心点。
应理解,第一预览图像中的目标区域可以是指第一预览图像中用户感兴趣的图像区域,或者,可以是指第一预览图像中需要跟踪进行变焦的图像区域。
本申请实施例提供的图像处理方法,在变焦拍摄的过程中可以实现基于目标区域的变焦;例如,在整个变焦拍摄过程中,无需采集变焦中心始终为传感器的中心,而是将变焦中心从传感器的中心平滑过渡至拍摄场景中目标区域的中心;使得用户在无需移动电子设备的情况下,针对拍摄场景中的目标区域实现追踪变焦,提高用户的拍摄体验。
结合第一方面,在第一方面的某些实现方式中,所述第二预览图像与所述目标区域重合。
应理解,第二预览图像与目标区域重合可以是指第二预览图像与目标区域部分重合,或者,第二预览图像与目标区域完全重合。
结合第一方面,在第一方面的某些实现方式中,所述第二预览图像包括所述目标区域。
结合第一方面,在第一方面的某些实现方式中,所述第二预览图像包括所述目标区域的一部分。
结合第一方面,在第一方面的某些实现方式中,在显示所述第一预览图像与所述第二预览图像时,所述电子设备所处的位置相同。
需要说明的是,电子设备所处的位置相同可以是指电子设备未发生偏转、平移、翻转等移动。
在本申请的实施例中,在电子设备所处的位置相同的情况下,即电子设备未发生移动的情况下,可以针对第一预览图像中的目标区域实现追踪变焦,提高用户的拍摄体验。
结合第一方面,在第一方面的某些实现方式中,还包括:
检测到第二操作,所述第二操作是指所述电子设备的变焦倍率为第三倍率;
响应于所述第二操作,显示第三预览图像,所述第三预览图像的中心点为第三中心点,所述第三中心点在所述第一中心点与所述第二中心点的连线上。
在本申请的实施例中,在检测到第一操作之前电子设备还可以检测到第二操作,第二操作指示电子设备的变焦倍率为第三倍率,第三倍率大于第一倍率且小于第二倍率;即在电子设备在变焦的过程中,变焦中心可以从第一中心点移动至第三中心点,再移动至第二中心点;从而避免第二预览图像的跳变,实现平滑变焦。
结合第一方面,在第一方面的某些实现方式中,所述第一中心点与所述第二中心点的连线上包括N个中心点,所述N个中心点中的每个中心点与至少一个变焦倍率对应,N为大于或者等于2的整数。
在一种可能的实现方式中,N个中心点包括第一中心点、第二中心点与N-2个中心点;其中,N-2个中心点位于第一中心点与第二中心点的连线上,N-2个中心点中的每个中心点可以对应一个变焦倍率;第二中心点可以对应至少一个变焦倍率。
在本申请的实施例中,第一中心点与第二中心点之间可以包括N个中心点,每个中心点可以对应一个变焦倍率,从而实现将变焦中心从第一中心点至第二中心点的平滑过渡;使得用户在无需移动电子设备的情况下,针对拍摄场景中的目标区域实现追踪变焦。
结合第一方面,在第一方面的某些实现方式中,还包括:
对所述第一中心点与所述第二中心点的连线进行等分,得到所述N个中心点。
在本申请的实施例中,可以将第一中心点与第二中心点之间的连线进行等分,从而在进行变焦的过程中,可以实现将变焦中心从第一中心点至第二中心点的平滑过渡;使得用户在无需移动电子设备的情况下,针对拍摄场景中的目标区域实现追踪变焦。
结合第一方面,在第一方面的某些实现方式中,还包括:
根据插值算法对所述第一中心点与所述第二中心点的连线进行分割,得到所述N个中心点。
在本申请的实施例中,可以通过插值算法对第一中心点与第二中心点之间的连线进行分割,从而在进行变焦的过程中,可以实现将变焦中心从第一中心点至第二中心点的平滑过渡;使得用户在无需移动电子设备的情况下,针对拍摄场景中的目标区域实现追踪变焦。
结合第一方面,在第一方面的某些实现方式中,所述响应于所述第一操作,显示第二预览图像,包括:
若所述目标区域的面积与所述第一预览图像的面积之间的比值小于或者等于第一预设阈值,采用第一像素合并方式显示所述第二预览图像;
若所述目标区域的面积与所述第一预览图像的面积之间的比值大于第一预设阈值,采用第二像素合并方式显示所述第二预览图像。
在本申请的实施例中,在目标区域的面积与所述第一预览图像的面积之间的比值小于或者等于第一预设阈值时,由于电子设备的视场角较小,因此获取的像素点数量较少;通过第一像素合并方式显示第二预览图像,可以增加图像中对应的像素点数量,从而提升图像的清晰度。
应理解,第一像素合并方式可以是指采用Remosaic方式读出图像;第二像素合并发方式可以是指采用Binning方式读出图像。
结合第一方面,在第一方面的某些实现方式中,所述采用第一像素合并方式显示所述第二预览图像,包括:
采用所述第二倍率对应的裁切区域对所述第一预览图像进行裁切处理,得到第一图像区域,所述第一图像区域中包括M个像素;
对所述M个像素进行重新排列处理,得到K个像素,M、K均为正整数,K大于M;
基于所述K个像素显示所述第二预览图像。
在本申请的实施例中,在目标区域的面积与所述第一预览图像的面积之间的比值小于或者等于第一预设阈值时,由于电子设备的视场角较小,因此获取的像素点数量较少;通过第一像素合并方式显示第二预览图像,可以增加图像中对应的像素点数量,从而提升图像的清晰度。
结合第一方面,在第一方面的某些实现方式中,所述采用第一像素合并方式显示所述第二预览图像,包括:
采用所述第二倍率对应的裁切区域对所述第一预览图像进行裁切处理,得到第一图像区域,所述第一图像区域中包括M个像素;
对所述M个像素进行合并处理,得到H个像素,M、H均为正整数,H小于M;
基于所述H个像素显示第二预览图像。
在本申请的实施例中,在目标区域的面积与所述第一预览图像的面积之间的比值大于第一预设阈值时,由于电子设备的视场角较大,因此获取的像素点数量较多;通过第二像素合并方式显示第二预览图像,可以减少电子设备的运算量,提升电子设备的性能。
结合第一方面,在第一方面的某些实现方式中,所述确定所述第一预览图像中的第二中心点,包括:
检测到用户对所述第一预览图像的点击操作,所述第二中心点为所述用户与所述电子设备的触碰点。
结合第一方面,在第一方面的某些实现方式中,所述确定所述第一预览图像中的第二中心点,包括:
检测到所述第一预览图像中的第一主体,所述第二中心点为所述第一主体的中心点。
结合第一方面,在第一方面的某些实现方式中,所述第二倍率是基于所述目标区域的面积与所述第一预览图像的面积之间的比值确定的。
结合第一方面,在第一方面的某些实现方式中,若所述目标区域的面积与所述第一预览图像的面积之间的比值小于或者等于1/4,所述第二倍率为2倍倍率。
结合第一方面,在第一方面的某些实现方式中,若所述目标区域的面积与所述第一预览图像的面积之间的比值小于或者等于1/9,所述第二倍率为3倍倍率。
结合第一方面,在第一方面的某些实现方式中,若所述目标区域的面积与所述第一预览图像的面积的之间的比值小于或者等于1/16,所述第二倍率为4倍倍率。
第二方面,提供了一种电子设备,所述电子设备包括:一个或多个处理器、存储器和显示屏;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
启动所述电子设备中的相机应用程序;
显示第一预览图像,所述第一预览图像对应的变焦倍率为第一倍率,所述第一预览图像的中心点为第一中心点;
确定所述第一预览图像中的第二中心点,所述第二中心点为目标区域的中心点,所述第一中心点与所述第二中心点不重合;
检测到第一操作,所述第一操作指示所述电子设备的变焦倍率为第二倍率;
响应于所述第一操作,显示第二预览图像,所述第二预览图像的中心点为所述第二中心点。
结合第二方面,在第二方面的某些实现方式中,所述第二预览图像与所述目标区域重合。
结合第二方面,在第二方面的某些实现方式中,所述第二预览图像包括所述目标区域。
结合第二方面,在第二方面的某些实现方式中,所述第二预览图像包括所述目标区域的一部分。
结合第二方面,在第二方面的某些实现方式中,在显示所述第一预览图像与所述第二预览图像时,所述电子设备所处的位置相同。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
检测到第三操作,所述第三操作是指所述电子设备的变焦倍率为第三倍率;
响应于所述第三操作,显示第三预览图像,所述第三预览图像的中心点为第三中心点,所述第三中心点在所述第一中心点与所述第二中心点的连线上。
结合第二方面,在第二方面的某些实现方式中,所述第一中心点与所述第二中心点的连线上包括N个中心点,所述N个中心点中的每个中心点与至少一个变焦倍率对应,N为大于或者等于2的整数。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
对所述第一中心点与所述第二中心点的连线进行等分,得到所述N个中心点。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
根据插值算法对所述第一中心点与所述第二中心点的连线进行分割,得到所述N个中心点。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
若所述目标区域的面积和所述第二预览图像的面积之间的比值小于或者等于第一预设阈值,采用第一像素合并方式显示所述第二预览图像;
若所述目标区域的面积和所述第二预览图像的面积之间的比值大于第一预设阈值,采用第二像素合并方式显示所述第二预览图像。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
采用所述第二倍率对应的裁切区域对所述第一预览图像进行裁切处理,得到第一图像区域,所述第一图像区域中包括M个像素;
对所述M个像素进行重新排列处理,得到K个像素,M、K均为正整数,K大于M;
基于所述K个像素显示所述第二预览图像。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
采用所述第二倍率对应的裁切区域对所述第一预览图像进行裁切处理,得到第一图像区域,所述第一图像区域中包括M个像素;
对所述M个像素进行合并处理,得到H个像素,M、H均为正整数,H小于M;
基于所述H个像素显示第二预览图像。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
检测到用户对所述第一预览图像的点击操作,所述第二中心点为所述用户与所述电子设备的触碰点。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
检测到所述第一预览图像中的第一主体,所述第二中心点为所述第一主体的中心点。
结合第二方面,在第二方面的某些实现方式中,所述第二倍率是基于所述目标区域的面积与所述第一预览图像的面积之间的比值确定的。
结合第二方面,在第二方面的某些实现方式中,若所述目标区域的面积与所述第一预览图像的面积之间的比值小于或者等于1/4,所述第二倍率为2倍倍率。
结合第二方面,在第二方面的某些实现方式中,若所述目标区域的面积与所述第一预览图像的面积之间的比值小于或者等于1/9,所述第二倍率为3倍倍率。
结合第二方面,在第二方面的某些实现方式中,若所述目标区域的面积与所述第一预览图像的面积的之间的比值小于或者等于1/16,所述第二倍率为4倍倍率。
第三方面,提供了一种电子设备,包括用于执行第一方面或者第一方面中任一种图像处理方法的模块/单元。
第四方面,提供一种电子设备,所述电子设备包括一个或多个处理器、存储器;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或者第一方面中的任一种方法。
第五方面,提供了一种芯片系统,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第一方面中的任一种方法。
第六方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序代码,当所述计算机程序代码被电子设备运行时,使得该电子设备执行第一方面或第一方面中的任一种方法。
第七方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码被电子设备运行时,使得该电子设备执行第一方面或第一面中的任一种方法。
本申请实施例提供的图像处理方法,在变焦拍摄的过程中可以实现基于目标区域的变焦;例如,在整个变焦拍摄过程中,无需采集变焦中心始终为传感器的中心,而是将变焦中心从传感器的中心平滑过渡至拍摄场景中目标区域的中心;使得用户在无需移动电子设备的情况下,针对拍摄场景中的目标区域实现追踪变焦,提高用户的拍摄体验。此外,在电子设备的视场角较小时,可以采用第一像素合并方式读出图像,从而避免变焦后图像的清晰度损失较大;提升变焦处理后图像的清晰度。
附图说明
图1是本申请实施例提供的一种像素合并方式的示意图;
图2是本申请实施例提供的另一种像素合并方式的示意图;
图3是本申请实施例提供的另一种像素合并方式的示意图;
图4是本申请实施例提供的另一种像素合并方式的示意图;
图5是一种适用于本申请的电子设备的硬件系统的示意图;
图6是一种适用于本申请的电子设备的软件系统的示意图;
图7是一种适用于本申请实施例的应用场景的示意图;
图8是本申请实施例提供的一种图像处理方法的界面示意图;
图9是本申请实施例提供的一种图像处理方法的界面示意图;
图10是本申请实施例提供的变焦中心平滑过渡的示意图;
图11是本申请实施例提供的一种图像处理方法的示意图;
图12是本申请实施例提供的一种图像处理方法的界面示意图;
图13是本申请实施例提供的一种图像处理方法的界面示意图;
图14是本申请实施例提供的一种图像处理方法的示意性流程图;
图15是本申请实施例提供的一种第二预览图像与目标区域重合的示意图;
图16是本申请实施例提供的一种图像处理方法的示意性流程图;
图17是本申请实施例提供的一种电子设备的结构示意图;
图18是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
在本申请的实施例中,以下术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
为了便于对本申请实施例的理解,首先对本申请实施例中涉及的相关概念进行简要说明。
1、像素合并(Binning)
电子设备在拍摄图像的过程中,目标对象反射的光线被摄像头采集,以使得该反射的光线传输至图像传感器。图像传感器上包括多个感光元件,每个感光元件采集到的电荷为一个像素,并对像素信息执行合并读出(Binning)操作。具体地说,Binning可以将n×n个像素合并为一个像素。例如,Binning可以将相邻的2×2个像素合成为一个像素;也就是说,相邻2×2个像素的颜色以一个像素的形式呈现。
示例性的,如图1中的(a)所示,电子设备获取图像后以Binning方式读出图像过程示意图。其中,如图1中的(a)为一个4×4的像素示意图,将相邻的2×2个像素合成为一个像素。图1中的(b)为Binning方式读出的像素示意图。例如,采用Binning方式,可以将图示1中的(a)所示的01区域中的2×2个像素,合并形成图1中的(b)所示的像素R;将图示1中的(a)所示的02区域中的2×2个像素,合并形成图1中的(b)所示的像素G;将图示1中的(a)所示的03区域中的2×2个像素,合并形成图1中的(b)所示的像素G;将图示1中的(a)所示的04区域中的2×2个像素,合并形成图1中的(b)所示的像素B。
其中,以输出图像格式是拜耳(Bayer)格式图像为例,Bayer格式的图像是指图像中仅包括红色、蓝色和绿色(即三原色)的图像。如,01区域中的2×2个像素形成的像素为红色(R),02区域中的2×2个像素形成的像素为绿色(G),03区域中的2×2个像素形成的像素为绿色(G),04区域中的2×2个像素形成的像素为蓝色(B)。
应理解,图1所示的可以是指采用Binning的四合一方式,即将图1中的(a)所示的2×2个像素合成为图1中的(b)所示的一个像素;此外,Binning还可以包括九合一方式,或者十六合一方式等;其中,九合一方式是指采用Binning将3×3个像素合并形成1个像素;十六合一方式是指采用Binning将4×4个像素合并形成1个像素。
示例性地,如图2中的(a)所示,电子设备获取图像后以Binning方式(例如,九合一的方式)读出图像过程示意图。其中,如图2中的(a)为一个6×6的像素示意图,将相邻的3×3个像素合成为一个像素;图2中的(b)为Binning方式读出的像素示意图。例如,采用Binning方式,可以将图示2中的(a)所示的05区域中的3×3个像素,合并形成图2中的(b)所示的像素R;将图示2中的(a)所示的06区域中的3×3个像素,合并形成图2中的(b)所示的像素G;将图示2中的(a)所示的07区域中的3×3个像素,合并形成图2中的(b)所示的像素G;将图示2中的(a)所示的08区域中的3×3个像素,合并形成图2中的(b)所示的像素B。
示例性地,如图3中的(a)所示,电子设备获取图像后以Binning方式(例如,十六合一的方式)读出图像过程示意图。其中,如图3中的(a)为一个6×6的像素示意图,将相邻的3×3个像素合成为一个像素;图3中的(b)为Binning方式读出的像素示意图。例如,采用Binning方式,可以将图示3中的(a)所示的09区域中的4×4个像素,合并形成图3中的(b)所示的像素R;将图示3中的(a)所示的10区域中的4×4个像素,合并形成图3中的(b)所示的像素G;将图示3中的(a)所示的11区域中的4×4个像素,合并形成图3中的(b)所示的像素G;将图示3中的(a)所示的12区域中的4×4个像素,合并形成图3中的(b)所示的像素B。
在本申请的实施例中,为了便于理解,将上述Binning方式可以称为“第二像素合并方式”;“第二像素合并方式”也可以被称为“第二像素排列方式”、“第二像素组合方式”或者“第二图像读出模式”等。
2、像素重排(Remosaic)
采用Remosaic方式读出图像时,将像素重新排列为Bayer格式图像。如,假设在图像中一个像素是由n×n个像素组成的;则采用Remosaic可以将该图像中的一个像素重新排列n×n个像素。
示例性的,图4中的(a)为一种像素的示意图,每个像素是可以由相邻的2×2个像素合成的。图4中的(b)为采用Remosaic方式读出的Bayer格式的图像示意。具体地说,图4中的(a)中像素A为红色,像素B和像素C为绿色,像素D为蓝色。将图4中的(a)中的每个像素分为3×3个像素,并分别重新排列。即采用Remosaic方式读出,读出的图像为图4中的(b)所示的Bayer格式的图像。
应理解,当电子设备在拍摄图像过程中,变焦倍数增大时,对图像的清晰度影响越大。例如,随着变焦倍数的增大,电子设备显示的取景范围会调整为被摄场景的一部分,摄像头对应的视场角(field of view,FOV)也会逐渐减小;摄像头对应的视场角减小,获取的像素数量减少,使得图像的清晰度降低;通过Remosaic的方式,可以将一个像素重新排列为多个Bayer格式的像素,从而可以增加像素的数量;像素数量增加后,图像的细节信息增加,从而可以提升图像的清晰度。
在本申请的实施例中,为了便于理解,将上述Remosaic方式可以称为“第一像素合并方式”;“第一像素合并方式”也可以被称为“第一像素排列方式”、“第一像素组合方式”或者“第一图像读出模式”等。
下面将结合附图,对本申请实施例中图像处理方法与电子设备进行描述。
图5示出了一种适用于本申请的电子设备的硬件系统。
电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、投影仪等等,本申请实施例对电子设备100的具体类型不作任何限制。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
需要说明的是,图5所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图5所示的部件更多或更少的部件,或者,电子设备100可以包括图5所示的部件中某些部件的组合,或者,电子设备100可以包括图5所示的部件中某些部件的子部件。图5示的部件可以以硬件、软件、或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。例如,处理器110可以包括以下处理单元中的至少一个:应用处理器(application processor,AP)、调制解调处理器、图形处理器(graphics processing unit,GPU)、图像信号处理器(image signal processor,ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor,DSP)、基带处理器、神经网络处理器(neural-network processing unit,NPU)。其中,不同的处理单元可以是独立的器件,也可以是集成的器件。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
图5所示的各模块间的连接关系只是示意性说明,并不构成对电子设备100的各模块间的连接关系的限定。可选地,电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
示例性地,在本申请的实施例中,可以在处理器110中执行确定第一中心点、第二中心点以及目标区域;此外,可以基于第一中心与第二中心点得到N个中心点;在变焦拍摄过程中,可以基于N个变焦中心点将变焦中心从第一中心平滑过渡至第二中心,在电子设备保持位置不变的情况下,实现拍摄场景中针对目标区域实现追踪变焦。
示例性地,在本申请的图像处理方法中确定目标区域以及目标中心点的相关步骤可以是在处理器110中执行的。
示例性地,显示屏194可以用于显示第一预览图像或者第二预览图像。
电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化,ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue,RGB),YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
示例性地,在本申请的实施例中,摄像头193可以用于获取第一预览图像或者第二预览图像。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1、MPEG2、MPEG3和MPEG4。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如,当快门被按下时,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。
加速度传感器180E可检测电子设备100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态,作为横竖屏切换和计步器等应用程序的输入参数。
距离传感器180F用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,例如在拍摄场景中,电子设备100可以利用距离传感器180F测距以实现快速对焦。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。
触摸传感器180K,也称为触控器件。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,并且与显示屏194设置于不同的位置。
上文详细描述了电子设备100的硬件系统,下面介绍电子设备100的软件系统。
图6是本申请实施例提供的电子设备的软件系统的示意图。
如图6所示,软件系统可以分为四层,从上至下分别为应用程序层、应用程序框架层、安卓运行时(Android Runtime)和系统库、以及内核层。
应用程序层可以包括相机、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。
本申请实施例的图像处理可以应用于相机应用程序;例如,可以通过本申请实施例提供的图像处理方法,在相机应用程序的变焦拍摄过程中,实现基于目标区域的变焦;具体地,在整个变焦拍摄过程中,电子设备的变焦中心无需始终为传感器的中心,而是将变焦中心从传感器的中心平滑过渡至拍摄场景中目标区域的中心;使得用户在无需移动电子设备的情况下,针对拍摄场景中的目标区域实现追踪变焦。
应用程序框架层为应用程序层的应用程序提供应用程序编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层可以包括一些预定义的函数。
例如,应用程序框架层包括窗口管理器、内容提供器、视图系统、电话管理器、资源管理器和通知管理器。
安卓运行时(Android Runtime)可以包括核心库和虚拟机。安卓运行时负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层可以运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理、堆栈管理、线程管理、安全和异常的管理、以及垃圾回收等功能。
系统库可以包括多个功能模块,例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:针对嵌入式系统的开放图形库(opengraphics library for embedded systems,OpenGL ES)和2D图形引擎(例如:skia图形库(skia graphics library,SGL))。
内核层是硬件和软件之间的层。内核层可以包括显示驱动、摄像头驱动、音频驱动和传感器驱动等驱动模块。
目前,为了满足不同场景下的拍照需求,电子设备中的相机模组通常具有变焦能力,变焦能力可以包括光学变焦或者数码变焦等;光学变焦是指通过相机模组中的镜片移动来放大或者缩小拍摄景物;数码变焦是通过将图像的每个像素面积增大,从而达到放大远处拍摄景物的效果;但是,对于光学变焦或者数码变焦,在变焦的过程中随着放大倍数的增大,变焦的中心点始终是在电子设备中传感器的中心;即在整个变焦过程对图像按照中心进行裁切,变焦过程中是沿着传感器成像的中心区域进行逐级裁切的;图像的中心始终为传感器成像的中心区域;若需要调整变焦中心,则需要移动电子设备的指向,使得电子设备指向变焦中心的目标对象进行变焦。在这种变焦处理方式下,当需要对拍摄景物中的目标区域进行放大时,例如,针对用户感兴趣区域进行放大,则需要用户移动电子设备将电子设备对准拍摄景物中的目标区域,否则无法实现针对目标区域的变焦操作,从而导致用户体验较差。
有鉴于此,本申请的实施例提供了一种图像处理方法,在变焦拍摄的过程中,可以实现基于目标区域的变焦;具体地,在整个变焦拍摄过程中,电子设备的变焦中心无需始终为传感器的中心,而是将变焦中心从传感器的中心平滑过渡至拍摄场景中目标区域的中心;使得用户在无需移动电子设备的情况下,针对拍摄场景中的目标区域实现追踪变焦,提高用户的拍摄体验。
图7是一种适用于本申请的应用场景的示意图。本申请实施例提供的图像处理方法可以应用于电子设备的变焦拍摄;例如,电子设备的变焦拍照或者变焦录制视频的过程中。
示例性地,图7中的(a)与图7中的(b)为现有的变焦处理的示意图;在电子设备拍摄目标对象时,电子设备显示如图7中的(a)所示的预览图像210,电子设备的变焦倍数是“1×”(1倍),即无变焦;电子设备检测到变焦操作后,例如,电子设备检测到2倍变焦操作后,可以显示如图7中的(b)所示的预览图像220;此时,电子设备显示变焦倍数是“2×”(2倍);其中,当电子设备响应于变焦操作,预览图像220是无变焦倍数时预览图像210的一部分。在现有的变焦处理过程中,变焦中心保持不变,即预览图像210的中心点与预览图像220的中心点相同。
示例性地,图7中的(c)与图7中的(d)为本申请实施例提供的图像处理方法的示意图;在电子设备拍摄目标对象时,电子设备显示如图7中的(c)所示的预览图像230,电子设备的变焦倍数是“1×”(1倍),即无变焦;电子设备检测到开启指向性变焦的操作,开始执行本申请实施例提供的图像处理方法,可以实现基于预览图像中的目标区域的追踪变焦;例如,电子设备检测到2倍变焦操作后,可以显示如图7中的(d)所示的预览图像240;预览图像230与预览图像240的中心点可以不同。
下面结合图8至图15对本申请实施例提供的图像处理方法进行详细的描述。
图8是本申请实施例提供的图像处理方法的界面示意图。
示例性地,如图8中的(a)所示,用户可以通过单击桌面301中的“相机”应用程序的图标302,指示电子设备运行相机应用,电子设备运行相机应用程序后,显示如图8中的(b)所示的拍摄界面。或者,电子设备处于锁屏状态时,用户可以通过在电子设备的显示屏上向右滑动的手势,指示电子设备运行相机应用,电子设备可以显示如图8中的(b)所示的拍摄界面。又或者,电子设备处于锁屏状态,锁屏界面上包括相机应用程序的图标,用户通过点击相机应用程序的图标,指示电子设备开启相机应用,则电子设备可以显示图8中的(b)所示的拍摄界面。又或者,电子设备在运行其他应用时,该应用具有调用相机应用程序的权限;用户通过点击相应的控件可以指示电子设备开启相机应用程序,则电子设备可以显示图8中的(b)所示的拍摄界面。例如,电子设备正在运行即时通信类应用程序时,用户可以通过选择相机功能的控件,指示电子设备开启相机应用程序;如图8中的(b)所示,拍摄界面中可以包括取景框303、拍摄控件以及功能控件;其中,拍摄控件包括控件304,设置控件等;功能控件包括:大光圈、人像、拍照和录像等;电子设备检测到对控件304的点击操作后,开始执行本方案提供的图像处理方法,即开始执行本方案提供的智能变焦方法。
在一些实现方式中,拍摄界面中还可以包括变焦倍数指示305。一般而言,电子设备的默认的变焦倍数为基本倍数,可以为“1×”。其中,变焦倍数可以理解为当前摄像头的焦距,相当于基准焦距的缩/放倍数;如图8中的(c)所示,拍摄界面306中还可以包括标尺307,标尺307可以用于指示当前的变焦倍数;用户可以在拍摄界面中拖动标尺中指示箭头,以调整手机使用的变焦倍率;例如,可以拖到标尺中的指示箭头,将相机应用程序的变焦倍率从“1×”调整至“2×”,显示如图8中的(d)所示的拍摄界面。
应理解,上述以点击控件304开始本申请实施例提供的图像处理方法进行举例说明,还可以通过图8中的(b)所示的设置控件中的设置选项选择开启本申请实施例提供的图像处理方法;或者,还可以在图8中的(b)设置其他控件,电子设备检测到对其他控件的点击操作开启本申请实施例的图像处理方法。
图9是本申请又一种实施例提供的图像处理方法的界面示意图。
示例性地,如图9中的(a)所示,用户可以通过单击桌面401中的“相机”应用程序的图标402,指示电子设备运行相机应用,电子设备运行相机应用,显示如图9中的(b)所示的拍摄界面。如图9中的(b)所示,拍摄界面中可以包括取景框403、拍摄控件以及功能控件;其中,拍摄控件包括控件404,设置控件等;功能控件包括:大光圈、人像、拍照和录像等;电子设备检测到对控件404的点击操作后,开始执行本方案提供的图像处理方法。
在一些实现方式中,拍摄界面中还可以包括变焦倍数指示405。一般而言,电子设备的默认的变焦倍数为基本倍数,可以为“1×”。其中,变焦倍数可以理解为当前摄像头的焦距,相当于基准焦距的缩/放倍数;如图9中的(c)所示,用户可以通过在电子设备的显示屏上做出双指(或者,三指)捏合的手势,减小电子设备使用的变焦倍率;或者,用户可以通过在电子设备的显示屏上做出双指(或者,三指)向外滑动的手势,即与捏合相反方向,增大手指间的距离,增大电子设备使用的变焦倍率。例如,可以在电子设备的显示屏上通过双指向外滑的手势,将相机应用程序的变焦倍率从“1×”调整至“2×”,显示如图9中的(d)所示的拍摄界面。
应理解,图9所示的运行相机应用程序的方式可以参见图8的相关描述,此处不再赘述。
还应理解,图8与图9所示的标尺位于取景框的底部,标尺也可以位于取景框的右侧;本申请对标尺的具体位置不作任何限定。
可选地,本申请的又一种实施例中电子设备可以开启智能变焦,电子设备通过识别与拍摄对象之间的距离自动调节变焦倍率;在变焦的过程中,可以执行本申请实施例提供的图像处理方法。
本申请实施例提供了一种图像处理方法,可以应用于图像的变焦拍摄;在变焦拍摄过程中,可以实现基于目标区域的变焦,目标区域可以是指用户感兴趣的图像区域,或者,目标区域可以是指需要跟踪进行变焦的图像区域;例如,电子设备的变焦中心无需始终为传感器的中心,而是将变焦中心从传感器的中心平滑过渡至目标区域的中心;例如,如图10中的(a)所示为现有的变焦处理的过程,在变焦拍摄中变焦中心始终位于点1;图10中的(b)所示为通过本申请实施例中的图像处理方法得到的变焦中心的示意图;其中,电子设备的传感器中心为点1,图像区域410为目标区域,目标区域的中心点为点4;通过本申请实施例提供的图像处理方法,在变焦拍摄中(例如,4次变焦包括从图像1变焦到图像2、图像3与图像4)可以实现变焦中心点从点1移动至点2、点3最终变焦中心点移动至点4,从而实现基于目标区域的指向性变焦;因此,通过本申请实施例提供的图像处理方法,可以在电子设备的位置相同的情况下,针对拍摄场景中的目标区域实现追踪变焦,提高用户的拍摄体验。
下面结合图11,对图10中的(b)所示的基于目标区域的变焦处理过程进行详细描述。图11所示的变焦处理过程可以包括以下步骤:
步骤一:在电子设备处于基准焦距的拍摄模式下,采集图像601;在图像601中,确定图像601中的目标区域602的面积大小与目标区域602的中心点;根据目标区域602的面积大小与目标区域602的中心点可以确定目标区域602的位置。
应理解,目标区域602可以是指用户感兴趣的图像区域,或者,目标区域602可以是指需要跟踪进行变焦的图像区域。
示例性地,电子设备的基准焦距可以是指变焦倍率为“1×”;其中,图像601的中心为A点;A点可以是基于电子设备中传感器的中心位置确定的。
示例性地,目标区域602的中心点所在的位置可以是基于以下方法得到的:
实现方式一
示例性地,电子设备显示图像601后,检测到用户对图像601中的点击操作;响应于用户的点击操作,可以将用户与图像601的接触点作为目标中心点;比如,用于点击图像601中的人像的下巴,则可以将人像的下巴作为目标中心点,即点D。
实现方式二
示例性地,可以对图像进行人像识别,识别图像601中的人像;将人像的中心点作为目标区域的中心点。
实现方式三
示例性地,可以基于识别策略确定图像601中的优先级级别较高的图像区域,将优先级级别较高的图像区域的中心点作为目标区域的中心点。
示例性地,识别策略可以是指拍摄场景中包括类别1、类别2或者类别3等;类别1的优先级高于类别2的优先级;类别2的优先级高于类别3的优先级;比如,对于人像拍摄模式,类别1可以是指人像、类别2可以是指绿植、类别3可以是指风景(例如,天空、远山等);比如,对于风景拍摄模式,类别1可以是指风景(例如,天空、远山等)、类别2可以是指绿植、类别3可以是指人像。
应理解,上述为对识别策略的举例说明,通过识别策略可以确定图像601中优先级较高的类别所在的图像区域,本申请对识别策略的具体内容不作任何限定。
实现方式四
示例性地,电子设备可以对第一预览图像中的主体进行识别;将主体所在的图像区域的中心点作为目标区域的中心点;例如,主体可以是指第一预览图像中的人像、绿植、风景或者动物中的任意一种;在识别到第一预览图像中的主体后,可以将主体所在的图像区域的中心点作为目标区域的中心点。
实现方式五
示例性地,假设图像601中包括至少两个主体时,可以在电子设备的显示屏中显示提示信息;将用户选择的至少两个主体中的目标主体的中心点作为目标区域的中心点。
示例性地,假设图像601中包括人像与月亮,可以在电子设备的显示屏中显示提示信息“变焦以人像为中心”并显示选择控件“是”与“否”;若检测到用户点击控件“是”,则将人像的中心作为目标区域的中心点;若检测到用户点击控件“否”,则可以将月亮的中心作为目标区域的中心点。应理解,通过上述实现方式一、实现方式二、实现方式三、实现方式四与实现方式五对确定目标区域602的中心点进行举例说明;也可以通过其他方式确定目标区域602的中心点,本申请对此不作任何限定。
在本申请的实施例中,目标区域602的中心点为目标变焦中心,在进行变焦的过程中,可以实现将变焦中心从传感器的中心(例如,A点)平滑过渡至目标变焦中心(例如,D点);使得用户在无需移动电子设备的情况下,针对拍摄场景中的目标区域实现追踪变焦。
可选地,可以确定图像601中目标区域602的面积大小。
示例性地,如图12所示,电子设备可以基于用户的指示来确定目标区域,目标区域的面积大小可为预设值。当电子设备检测到用户在屏幕上的点击操作对应的触碰点为D点时,以D点为中心确定目标区域,其中,提示框610用于标识目标区域。
可选地,用户可以对提示框610进行操作,以调整目标区域的大小和位置。示例性地,用户可以拖动提示框610的顶点区域来扩大或缩小目标区域。用户也可以拖动提示框610的边,来选择不同的目标区域。
示例性地,电子设备可以自动识别图像601中的不同图像区域,基于识别策略得到图像601中优先级较高的图像区域,目标区域602覆盖优先级较高的图像区域;如图13所示,电子设备识别图像601中包括用户图像区域620、长椅图像区域630以及鱼杆图像区域640,其中,用户图像区域620的优先级最高,则目标区域602覆盖用户图像区域620;目标区域602的面积大小可以是基于用户图像区域620确定的。
如图11所示,根据电子设备中传感器的中心位置可以确定图像601的中心点为A点,A点为单倍倍率的中心点;通过上述实现方式一至实现方式五可以确定目标区域602的中心点D点;基于目标区域602的面积大小可以确定D点对应的目标变焦倍率大小;例如,假设目标区域602的面积大小为A1,图像601的面积大小为A2,则D点可以看作是变焦倍率为的中心点。将A点与D点连接,得到A点与D点之间的连线;将A点与D点的连线进行分割;例如,可以根据相机应用程序中变焦标尺的刻度将A点与D点之间的连线进行等分;例如,若A点为单倍变焦倍率的中心,D点为2倍变焦倍率的中心,相机应用程序中变焦标尺的刻度为0.2,则可以将A点与D点之间等分为5部分,分别为1倍变焦倍率、1.2倍变焦倍率、1.4倍变焦倍率、1.6倍变焦倍率、1.8倍变焦倍率与2倍变焦倍率。
应理解,变焦过程中的裁切区域与变焦倍数相关;假设,单倍倍率的图像像素为N×M,检测到电子设备当前的变焦倍数为K倍变焦,则裁切区域的面积大小为为了确保目标区域显示的完整性,则裁切区域需要覆盖目标区域;由于2倍变焦倍率对应的裁切区域为1倍变焦倍率图像的1/4;因此,在目标区域602的面积大小等于或者小于1/4单倍变焦倍率对应的图像时,可以将目标区域的中心点看作是2倍变焦倍率对应的中心点。
在一个示例中,若目标区域602的面积大小等于或者小于1/4图像601的面积,则可以将目标区域602的中心点D点可以是2倍变焦倍率的中心点;假设,A点与D点之间的像素数量为100,A点为1倍变焦倍率对应的中心点,D点为2倍变焦倍率对应的中心点,如图11所示,可以将A点与D点之间等分为3部分,分别为中心点A、中心点B、中心点C与中心点D之间,每个变焦点之间的对角线像素间隔为100/3=33.3像素大小;中心点B可以表示1.33倍变焦的中心点;中心点C可以表示1.66倍变焦的中心点;中心点D可以表示2倍变焦的中心点。
在本申请的实施例中,如图11所示,根据单倍变焦的中心点A与目标区域的中心点D,在变焦过程中逐渐基于中心点B与中心点C进行裁剪,实现基于图像中的目标区域的平滑变焦;由于变焦中心点是逐渐从A点移动至D点的,因此可以避免预览图像出现跳变的问题。
在一个示例中,A点与D点之间也可以为不相等的分割;例如,可以通过插值算法将A点与D点之间的连接进行分割,比如,通过插值算法可以得到B1点与C1点,其中,A点可以表示单位变焦的中心点,D点可以表示2倍变焦的中心点,B1点可以表示1.2倍变焦的中心点;中心点C1点可以表示1.7倍变焦的中心点。
应理解,上述通过以等分与不等分对A点与D点之间的分割进行举例说明;在本申请的实施例中,在变焦拍摄时,变焦中心可以从传感器的中心(例如,A点)平滑过渡至目标区域的中心(例如,D点),本申请对A点与D点之间连线的具体分割方式不作任何限定。
示例性地,当电子设备处于单倍变焦时,电子设备的视场角(field of view,FOV)可以看作是原始拍摄角度范围的100%,如图11所示的图像601;当电子设备的变焦倍率调整至1.33倍变焦时,例如,电子设备的变焦中心从A点沿着AD连线移动33.3个像素大小至中心点B,电子设备的视场角变为原始拍摄角度范围的56.5%,如图像11所示的图像603;当电子设备的变焦倍率调整至1.66倍变焦时,例如,电子设备的变焦中心从B点沿着AD连线移动33.3个像素大小至中心点C,电子设备的视场角变为原始拍摄角度范围的36.3%,如图11所示的图像604;当电子设备的变焦倍率调整至2倍变焦时,例如,电子设备的变焦中心从C点沿着AD连线移动33.3个像素大小至中心点D,电子设备的视场角变为原始拍摄角度范围的25%,如图11所示的图像605。
需要说明的是,电子设备的视场角用于指示电子设备在拍摄目标对象的过程中,摄像头所能拍摄到的最大角度。若目标对象处于摄像头能够拍摄到的最大角度范围中,则目标对象反射的光照就能够被摄像头采集到,以使得目标对象的影像呈现在电子设备显示预览图像中。若目标对象处于摄像头能够拍摄到的最大角度范围之外,则目标对象反射的光照无法被摄像头采集到,这样,该目标对象的影像就无法出现在电子设备显示的预览图像中。一般而言,摄像头的视场角越大,则使用该摄像头时拍摄范围就越大;而摄像头的视场角越小,则使用该摄像头时拍摄范围就越小。视场角还可以被称为“视场范围”、“视野范围”、“视野区域”等。
步骤二:当电子设备进行1.33倍变焦时,由于电子设备的视场角变为原始拍摄角度范围的56.5%;因此,可以对图像601进行裁切;具体地,可以以图像601中的B点为中心点,裁剪图像601对应的视场角范围的56.5%,得到图像603。
步骤三:当电子设备进行1.66倍变焦时,由于电子设备的视场角变为原始拍摄角度范围的36.3%;因此,可以对图像601进行裁切;具体地,可以以图像601中的C点为中心点,裁剪图像601对应的视场角范围的36.3%,得到图像604。
步骤四:当电子设备进行2倍变焦时,由于电子设备的视场角变为原始拍摄角度范围的25%;因此,可以对图像601进行裁切;具体地,可以以图像601中的D点为中心点,裁剪图像601对应的视场角范围的25%,得到图像605。
示例性地,假设图像605为2倍变焦倍率对应的裁切区域大小,因此图像605的裁切区域大小为整个图像大小的1/4;若目标区域602的面积大小等于图像601面积大小的1/4,此时图像605与目标区域602相同;若目标区域602的面积大小小于图像601面积大小的1/4,则图像605包括目标区域602且以D点为中心点。如图11所示,图11是以目标区域602的面积大小为图像601面积大小的1/4进行举例说明,则图像605与目标区域602对应相同的图像内容。可选地,若对图像605继续进行变焦处理,即对图像601进行变焦倍率大于2的变焦处理时,可以以2倍变焦倍率对应的图像为基准进行进一步的裁切;比如,以图像605为基准,以D点为变焦中心点进行裁切。
在本申请的实施例中,在进行2倍变焦时由于电子设备的视场角是单倍变焦对应的视场角的25%,此时视场角较小,获取的像素点数量较少;若对图像601裁切后直接在电子设备中显示,则图像605对应图像的清晰度较低;进一步地,为了提高变焦处理后图像的清晰度,可以采用Remosaic方式对图像中的像素进行图像处理,得到图像605;通过采用Remosaic方式可以增加图像605中对应的像素点数量,从而提升图像的清晰度。
示例性地,假设电子设备的图像传感器采集的像素为4×4,图4中的(a)为通过采用Binning方式得到的1个拜耳格式的像素点;图4中的(b)为采用Remosaic方式得到的4个拜耳格式的像素点;对于相同像素数量,通过采用Remosaic方式,可以有效地提高像素点数量;从而提升图像的清晰度。
应理解,若采用2×2的Remosaic方式读出图像,即对图像传感器采集的像素2×2重新排列,则在变焦倍率对应的裁切区域小于或者等于整个图像区域的1/4时,采用Remosaic方式读出图像。
步骤五:在相机应用程序中显示目标区域602对应的图像。
示例性地,可以根据电子设备的显示屏分辨率大小,将图像605对应的图像内容调整至适合电子设备的显示规格的图像进行显示。
例如,当电子设备的相机应用程序的拍摄模式处于普通场景时(例如,单倍变焦场景),可以采用Binning方式读出图像,提升整个图像的动态范围与感光能力;在变焦过程中,若变焦倍率处于单倍变焦至两倍变焦的范围内,可以采用Binning方式读出图像;若变焦倍率处于两倍变焦以及两倍变焦以上,为了避免出现图像的清晰度降低的问题,可以采用Remosaic方式读出图像。
可选地,上述以采用2×2的Remosaic方式读出图像进行举例说明;采用Remosaic方式读出图像还可以是采用3×3的Remosaic方式读出图像,或者采用4×4的Remosaic方式读出图像。
示例性地,若采用3×3的Remosaic方式读出图像,即对图像传感器采集的像素3×3重新排列,则在变焦倍率对应的裁切区域小于或者等于整个图像区域的1/9时,采用Remosaic方式读出图像;在变焦倍率对应的裁切区域大于整个图像区域的1/9时,采用Binning方式读出图像。
示例性地,若采用4×4的Remosaic方式读出图像,即对图像传感器采集的像素4×4重新排列,则在变焦倍率对应的裁切区域小于或者等于整个图像区域的1/16时,采用Remosaic方式读出图像;在变焦倍率对应的裁切区域大于整个图像区域的1/16时,采用Binning方式读出图像。
应理解,上述为对采样Remosaic方式读出图像的举例描述,本申请对采样Remosaic方式读出图像的具体形式不作任何限定。
本申请实施例提供的图像处理方法,在变焦拍摄的过程中可以实现基于目标区域的变焦;例如,在整个变焦拍摄过程中,无需采集变焦中心始终为传感器的中心,而是将变焦中心从传感器的中心平滑过渡至拍摄场景中目标区域的中心;使得用户在无需移动电子设备的情况下,针对拍摄场景中的目标区域实现追踪变焦,提高用户的拍摄体验;此外,在变焦倍率较大时,可以通过采集采用Remosaic方式读出图像,从而避免变焦后图像的清晰度损失较大;提升变焦处理后图像的清晰度。
图14是本申请实施例提供的图像处理方法的示意图。图14所示的方法700包括步骤S710至步骤S750,下面分别对这些步骤进行详细的描述。
步骤S710、启动电子设备中的相机应用程序。
示例性地,启动电子设备的相机应用程序可以参见图8中的(a)的相关描述,此处不再赘述。
步骤S720、显示第一预览图像。
其中,第一预览图像对应的变焦倍率为第一倍率,第一预览图像的中心点为第一中心点。
示例性地,第一预览图像对应的变焦倍率为第一倍率,第一倍率可以为单倍变焦(1×);电子设备运行相机应用程序后,可以显示单倍变焦(1×)的对应的预览图像。
例如,第一预览图像可以如图8中的(b)所示的预览图像;或者,第一预览图像可以如图9中的(b)所示的预览图像;或者,第一预览图像可以如图11所示的图像601,第一中心点可以为A点。
步骤730、确定第二中心点。
其中,第二中心点为目标区域的中心点,第一中心点与所述第二中心点不重合。
应理解,第一中心点与第二中心点不重合可以是指第一中心点与第二中心点为位置不相同的两个点。
例如,如图11所示,第一中心点可以是指图像601中的A点;第二中心点可以是指目标区域602的中心点D点;或者,如图10中的(b)所示,第一中心点可以是指点1,第二中心点可以是指点4。
可选地,可以参见前述图11中实现方式一至实现方式五中确定目标区域的中心点所在位置的相关描述确定目标变焦点,此处不再赘述。
可选地,如图12所示,电子设备可以基于用户的指示来确定目标区域,目标区域的面积大小可为预设值。当电子设备检测到用户在屏幕上的点击操作对应的触碰点为D点时,以D点为中心确定目标区域,其中,提示框610用于标识目标区域。应理解,具体描述可以参见图12,此处不再赘述。
可选地,如图13所示,检测到第一预览图像中的目标拍摄对象(例如,图像区域620),目标区域包括目标拍摄对象所在的图像区域,目标拍摄对象是基于所述第一预览图像中拍摄对象的优先级确定的。应理解,具体描述可以参见图13,此处不再赘述。
可选地,电子设备检测到第一预览图像中的第一主体,第二中心点为所述第一主体的中心点;例如,第一主体可以是指第一预览图像中的人像、绿植、风景或者动物中的任意一种;在识别到第一预览图像中的第一主体后,可以将第一主体所在的图像区域的中心点作为目标区域的中心点。
步骤S740、检测到第一操作。
其中,所述第一操作指示电子设备的变焦倍率为第二变焦倍率。
示例性地,第一操作可以是指滑动操作,如图8中的(c)所示;或者,第一操作可以是指捏合操作,或者向外滑动操作,如图9中的(c)所示。
步骤S750、响应于第一操作,显示第二预览图像。
其中,第二预览图像对应的变焦倍率为第二倍率,第二预览图像的中心点为第二中心点。
可选地,第二预览图像与目标区域重合;例如,第二预览图像包括目标区域;或者,第二预览图像包括目标区域的一部分。
例如,如图15所示,目标区域为760、第二预览图像为770,其中,目标区域760中包括主体;第二预览图像770包括目标区域760可以是指第二预览图像770包括目标区域760与其他图像区域;即第二预览图像770中包括主体所在的图像区域与其他图像区域,如图15中的(a)所示;或者,第二预览图像770包括目标区域760可以是指第二预览图像770与目标区域760完全重合;即第二预览图像770与主体所在的图像区域重合,如图15中的(b)所示;第二预览图像770包括目标区域760中的一部分可以是指第二预览图像770包括目标区域760中的部分图像区域,即第二预览图像770包括一部分主体所在的图像区域,如图15中的(c)所示。
应理解,第二预览图像中包括目标区域,可以是指第二预览图像中覆盖目标区域;或者,第二预览图像中包括目标区域的图像内容。
示例性地,图15所示的目标区域760可以是指图10中的(b)所示的图像区域410;图15中的(a)所示的第二预览图像可以是指如图10中的(b)所示的图像3,图像3包括目标区域410与其他图像区域;其中,第二预览图像770的中心点可以是指点3,目标区域760的中心点可以是指点4;图15中的(b)所示的第二预览图像可以是指如图10中的(b)所示的图像4,图像4与目标区域410重合;即第二预览图像770的中心点与目标区域760的中心点重合,中心点为点4;图15中的(c)所示的第二预览图像770的中心点与目标区域760的中心点重合,中心点可以是指如图10中的(b)所示的图像区域410的中心点,即中心点为点4。
例如,第二预览图像可以如图8中的(d)所示的预览图像;或者,第二预览图像可以如图9中的(d)所示的预览图像;又或者,第二预览图像可以如图11所示的图像605。
可选地,在显示第一预览图像与第二预览图像时,电子设备所处的位置相同。
应理解,电子设备所处的位置相同可以是指电子设备未发生偏转、平移、翻转等移动。
可选地,上述图像处理方法还包括:检测到第二操作,第二操作指示所述电子设备的变焦倍率为第三倍率;响应于所述第二操作,显示第三预览图像,第三预览图像的中心点为第三中心点,第三中心点在所述第一中心点与第二中心点的连线上。例如,如图11所示,第三中心点可以是指B点,第三预览图像可以是指图像603;或者,第三中心点可以是指C点,第三预览图像可以是指图像604。
可选地,第一中心点与第二中心点的连线上包括N个中心点,N个中心点中的每个中心点与至少一个变焦倍率对应,N为大于或者等于2的整数;例如,如图11所示,第一中心点为A点,第二中心点为D点,N个中心点可以包括A点、B点、C点以及D点;具体描述可以参见图11的相关描述,此处不再赘述。
例如,N个中心点包括第一中心点、第二中心点与N-2个中心点;其中,N-2个中心点位于第一中心点与第二中心点的连线上,N-2个中心点中的每个中心点可以对应一个变焦倍率;第二中心点可以对应至少一个变焦倍率;例如,目标区域的面积(例如,A1)与第一预览图像(例如,A2)的面积之间的比值大小位于(1/9,1/4)之间,则第二中心点可以为2倍变焦倍率的中心点,或者第二中心点为倍变焦倍率的中心点。
可选地,可以将第一中心点与目标中心点之间的连线进行等分,得到N个中心点;或者,根据插值算法对第一中心点与所述目标中心点的连线进行划分,得到N个中心点;具体描述可以参见图11的相关描述,此处不再赘述。
可选地,响应于所述第一操作,显示第二预览图像,包括:
若目标区域的面积与第一预览图像的面积之间的比值小于或者等于第一预设阈值,采用第一像素合并方式显示第二预览图像;
若目标区域的面积与第一预览图像的面积之间的比值大于第一预设阈值,采用第二像素合并方式显示所述第二预览图像。其中,第一像素合并方式可以是指采用Remosaic方式读出图像,如图4所示;第二像素合并方式可以是指采用Binning方式读出图像,如图1至图3所示。
示例性地,若目标区域的面积与第一预览图像的面积之间的比值小于或者等于第一预设阈值,电子设备采用第二倍率对应的裁切区域对第一预览图像进行裁切处理,得到第一图像区域,第一图像区域中包括M个像素;对M个像素进行重新排列处理,得到K个像素,M、K均为正整数,K大于M;基于K个像素显示第二预览图像。
示例性地,若所述目标区域的面积与所述第一预览图像的面积之间的比值大于第一预设阈值,采用第二倍率对应的裁切区域对第一预览图像进行裁切处理,得到第一图像区域,第一图像区域中包括M个像素;对M个像素进行合并处理,得到H个像素,M、H均为正整数,H小于M;基于H个像素显示第二预览图像。
例如,若第一像素合并并方式为采用2×2的Remosaic方式读出图像,则第一预设阈值为1/4。
例如,若第一像素合并并方式为采用3×3的Remosaic方式读出图像,则第一预设阈值为1/9。
例如,若第一像素合并并方式为采用4×4的Remosaic方式读出图像,则第一预设阈值为1/16。
可选地,第二倍率是基于目标区域的面积与第一预览图像的面积之间的比值确定的。
例如,若目标区域的面积(例如,图11所示的图像602)与第一预览图像的面积(例如,图11所示的图像601)的之间的比值小于或者等于1/4,则第二倍率为2倍倍率,即2倍变焦倍率。
例如,若目标区域的面积(例如,图11所示的图像602)与第一预览图像的面积(例如,图11所示的图像601)的之间的比值小于或者等于1/9,则第二倍率为3倍倍率,即3倍变焦倍率。
例如,若目标区域的面积(例如,图11所示的图像602)与第一预览图像的面积(例如,图11所示的图像601)的之间的比值小于或者等于1/16,则第二倍率为4倍倍率,即4倍变焦倍率。
本申请实施例提供的图像处理方法,在变焦拍摄的过程中,可以实现基于目标区域的变焦;具体地,在整个变焦拍摄过程中,电子设备的变焦中心无需始终为传感器的中心,而是将变焦中心从传感器的中心平滑过渡至拍摄场景中目标区域的中心;使得用户在无需移动电子设备的情况下,针对拍摄场景中的目标区域实现追踪变焦,提高用户的拍摄体验。
图16是本申请实施例提供的图像处理方法的示意图。图16所示的方法800包括步骤S801至步骤S808,下面分别对这些步骤进行详细的描述。
步骤S801、电子设备运行相机应用程序。
示例性地,运行电子设备的相机应用程序可以参见图8中的(a)的相关描述,此处不再赘述。
步骤S802、电子设备显示第一预览图像,确定第一变焦中心。
应理解,第一变焦中心可以是指图14所示的第一中心点。
示例性地,第一预览图像对应的变焦倍率为第一倍率,第一倍率可以为单倍变焦(1×);电子设备运行相机应用程序后,可以显示单倍变焦(1×)的对应的预览图像。
例如,第一预览图像可以如图8中的(b)所示的预览图像;或者,第一预览图像可以如图9中的(b)所示的预览图像;或者,第一预览图像可以如图11所示的图像601。
例如,如图11所示,第一中心点可以是指图像601中的A点;或者,如图10中的(b)所示,第一中心点可以是指点1。
步骤S803、根据第一预览图像确定目标变焦中心与目标区域。
应理解,目标变焦中心可以是指图14所示的第二中心点。
例如,如图11所示,第二中心点可以是指目标区域602中的D点;或者,如图10中的(b)所示,第二中心点可以是指点4。
可选地,检测到用户对第一预览图像的第一操作,根据第一操作确定目标变焦中心点与目标区域。
示例性地,第一操作可以是指用于点击第一预览图像的操作,目标变焦中心点可以是指用户在第一预览图像中的触碰点;如图11所示,目标变焦中心可以是指图像601中的D点。
示例性地,如图12所示,检测到用户对电子设备的点击操作,目标中心点为用户与第一预览图像的触碰点(例如,D点);基于目标中心点与预设图像区域大小(例如,图像区域610)确定目标区域。应理解,具体描述可以参见图12,此处不再赘述。
示例性地,如图13所示,检测到第一预览图像中的目标拍摄对象(例如,图像区域620),目标区域包括目标拍摄对象所在的图像区域,目标拍摄对象是基于所述第一预览图像中拍摄对象的优先级确定的。应理解,具体描述可以参见图13,此处不再赘述。
可选地,目标变焦中心可以是指拍摄场景中目标区域的中心点;目标区域可以是指用户感兴趣的图像区域,或者,目标区域可以是指需要跟踪进行变焦的图像区域;确定目标变焦中心点的具体方法可以参见图像11中确定目标区域的中心点的实现方式一至实现方式五的相关描述,此处不再赘述。
可选地,可以基于目标区域的面积大小确定目标变焦中心点对应的变焦倍率。参见图11中的相关描述,此处不再赘述。
示例性地,可以将第一变焦中心与目标变焦中心之间的连线进行等分,得到N个变焦中心;或者,也可以通过插值算法将第一变焦中心与目标变焦中心之间的连接进行分割,得到N个变焦中心。参见图11中的相关描述,此处不再赘述。
可选地,N与相机中变焦的标尺刻度相关;比如,第一变焦中心点对应1倍变焦倍率,目标变焦中心点对应2倍变焦倍率;相机中1倍变焦至2倍变焦的标尺刻度为5份,即从1倍变焦至2倍变焦的过程为1×~1.2×~1.4×~1.6×~2×,则N可以等于5。
步骤S805、判断当前变焦倍率是否满足预设条件;若当前变焦倍率满足预设条件,则执行步骤S806;若当前变焦倍率不满足预设条件,则执行步骤S807。
示例性地,若第一像素合并方式是指4×4的Remosaic方式读出图像,则预设条件是指当前变焦倍率大于或者等于2倍变焦倍率;若当前的变焦倍率大于或者等于2倍变焦倍率,则当前变焦倍率满足预设条件,执行步骤S806;若当前的变焦倍率小于2倍变焦倍率,则当前变焦倍率满足预设条件,执行步骤S807。
步骤S806、采样第一像素合并方式生成第二预览图像。
示例性地,第一像素合并方式可以是指采用Remosaic方式读出图像。
步骤S807、采样第二像素合并方式生成第二预览图像。
示例性地,第二像素合并方式可以是指采用Binning方式读出图像。
其中,关于采用Remosaic方式读出图像与采用Binning方式读出图像前述已经说明,此处不再赘述。
步骤S808、显示第二预览图像,第二预览图像对应的变焦倍率为当前变焦倍率。
本申请实施例提供的图像处理方法,在变焦拍摄的过程中,可以实现基于目标区域的变焦;具体地,在整个变焦拍摄过程中,电子设备的变焦中心无需始终为传感器的中心,而是将变焦中心从传感器的中心平滑过渡至拍摄场景中目标区域的中心;使得用户在无需移动电子设备的情况下,针对拍摄场景中的目标区域实现追踪变焦,提高用户的拍摄体验。
可选地,若第一像素合并方式是指3×3的Remosaic方式读出图像,此时,若目标区域的面积大小小于或者等于第一预览图像的面积大小的1/9,则目标变焦中心对应的变焦倍率为3倍变焦倍率;若目标区域的面积大小大于第一预览图像的面积大小的1/9,则目标变焦中点对应的变焦倍率为其中,A1表示目标区域的面积大小;A2表示第一预览图像的大小,预设条件是指当前变焦倍率大于或者等于3倍变焦倍率。
可选地,若第一像素合并方式是指4×4的Remosaic方式读出图像,此时,若目标区域的面积大小小于或者等于第一预览图像的面积大小的1/16,则目标变焦中心对应的变焦倍率为4倍变焦倍率;若目标区域的面积大小大于第一预览图像的面积大小的1/16,则目标变焦中点对应的变焦倍率为其中,A1表示目标区域的面积大小;A2表示第一预览图像的大小,预设条件是指当前变焦倍率大于或者等于4倍变焦倍率。
本申请实施例提供的图像处理方法,在变焦拍摄的过程中可以实现基于目标区域的变焦;例如,在整个变焦拍摄过程中,无需采集变焦中心始终为传感器的中心,而是将变焦中心从传感器的中心平滑过渡至拍摄场景中目标区域的中心;使得用户在无需移动电子设备的情况下,针对拍摄场景中的目标区域实现追踪变焦,提高用户的拍摄体验。此外,在变焦倍率较大时,可以采用第一像素合并方式读出图像,从而避免变焦后图像的清晰度损失较大;提升变焦处理后图像的清晰度。
应理解,上述举例说明是为了帮助本领域技术人员理解本申请实施例,而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明,显然可以进行各种等价的修改或变化,这样的修改或变化也落入本申请实施例的范围内。
上文结合图1至图16详细描述了本申请实施例提供的图像处理方法;下面将结合图17与图18详细描述本申请的装置实施例。应理解,本申请实施例中的装置可以执行前述本申请实施例的各种方法,即以下各种产品的具体工作过程,可以参考前述方法实施例中的对应过程。
图17是本申请实施例提供的一种电子设备的结构示意图。该电子设备900包括处理模块910与显示模块920。
其中,处理模块910用于启动电子设备中的相机应用程序;显示模块920用于显示第一预览图像,第一预览图像对应的变焦倍率为第一倍率,第一预览图像的中心点为第一中心点;处理模块910还用于确定第一预览图像中的第二中心点,第二中心点为目标区域的中心点,第一中心点与第二中心点不重合;检测到第一操作,第一操作指示电子设备的变焦倍率为第二倍率;显示模块920还用于响应于第一操作,显示第二预览图像,第二预览图像的中心点为第二中心点。
可选地,作为一个实施例,所述第二预览图像与所述目标区域重合。
可选地,作为一个实施例,所述第二预览图像包括所述目标区域。
可选地,作为一个实施例,所述第二预览图像包括所述目标区域的一部分。
可选地,作为一个实施例,在显示所述第一预览图像与所述第二预览图像时,所述电子设备所处的位置相同。
可选地,作为一个实施例,所述处理模块910还用于:
检测到第二操作,所述第二操作指示所述电子设备的变焦倍率为第三倍率;
响应于所述第二操作,显示第三预览图像,所述第三预览图像的中心点为第三中心点,所述第三中心点在所述第一中心点与所述第二中心点的连线上。
可选地,作为一个实施例,所述第一中心点与所述第二中心点的连线上包括N个中心点,所述N个中心点中的每个中心点与至少一个变焦倍率对应,N为大于或者等于2的整数。
可选地,作为一个实施例,所述处理模块910还用于:
对所述第一中心点与所述第二中心点的连线进行等分,得到所述N个中心点。
可选地,作为一个实施例,所述处理模块910还用于:
根据插值算法对所述第一中心点与所述第二中心点的连线进行分割,得到所述N个中心点。
可选地,作为一个实施例,所述处理模块910具体用于:
若所述目标区域的面积和所述第一预览图像的面积之间的比值小于或者等于第一预设阈值,采用第一像素合并方式显示所述第二预览图像;
若所述目标区域的面积和所述第一预览图像的面积之间的比值大于第一预设阈值,采用第二像素合并方式显示所述第二预览图像。
可选地,作为一个实施例,所述处理模块910具体用于:
采用所述第二倍率对应的裁切区域对所述第一预览图像进行裁切处理,得到第一图像区域,所述第一图像区域中包括M个像素;
对所述M个像素进行重新排列处理,得到K个像素,M、K均为正整数,K大于M;
基于所述K个像素显示所述第二预览图像。
可选地,作为一个实施例,所述处理模块910具体用于:
采用所述第二倍率对应的裁切区域对所述第一预览图像进行裁切处理,得到第一图像区域,所述第一图像区域中包括M个像素;
对所述M个像素进行合并处理,得到H个像素,M、H均为正整数,H小于M;
基于所述H个像素显示第二预览图像。
可选地,作为一个实施例,所述处理模块910具体用于:
检测到用户对所述第一预览图像的点击操作,所述第二中心点为所述用户与所述电子设备的触碰点。
可选地,作为一个实施例,所述处理模块910具体用于:
检测到所述第一预览图像中的第一主体,所述第二中心点为所述第一主体的中心点。
可选地,作为一个实施例,所述第二倍率是基于所述目标区域的面积与所述第一预览图像的面积之间的比值确定的。
可选地,作为一个实施例,若所述目标区域的面积与所述第一预览图像的面积之间的比值小于或者等于1/4,所述第二倍率为2倍倍率。
可选地,作为一个实施例,若所述目标区域的面积与所述第一预览图像的面积之间的比值小于或者等于1/9,所述第二倍率为3倍倍率。
可选地,作为一个实施例,若所述目标区域的面积与所述第一预览图像的面积的之间的比值小于或者等于1/16,所述第二倍率为4倍倍率。
需要说明的是,上述电子设备900以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现,对此不作具体限定。
例如,“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此,在本申请的实施例中描述的各示例的单元,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
图18示出了本申请提供的一种电子设备的结构示意图。图18中的虚线表示该单元或该模块为可选的;电子设备1100可以用于实现上述方法实施例中描述的方法。
电子设备1100包括一个或多个处理器1101,该一个或多个处理器1101可支持电子设备1100实现方法实施例中的图像处理方法。处理器1101可以是通用处理器或者专用处理器。例如,处理器1101可以是中央处理器(central processing unit,CPU)、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integratedcircuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或者其它可编程逻辑器件,如分立门、晶体管逻辑器件或分立硬件组件。
处理器1101可以用于对电子设备1100进行控制,执行软件程序,处理软件程序的数据。电子设备1100还可以包括通信单元1105,用以实现信号的输入(接收)和输出(发送)。
例如,电子设备1100可以是芯片,通信单元1105可以是该芯片的输入和/或输出电路,或者,通信单元1105可以是该芯片的通信接口,该芯片可以作为终端设备或其它电子设备的组成部分。
又例如,电子设备1100可以是终端设备,通信单元1105可以是该终端设备的收发器,或者,通信单元1105可以是该终端设备的收发电路。
电子设备1100中可以包括一个或多个存储器1102,其上存有程序1104,程序1104可被处理器1101运行,生成指令1103,使得处理器1101根据指令1103执行上述方法实施例中描述的图像处理方法。
可选地,存储器11002中还可以存储有数据。
可选地,处理器1101还可以读取存储器1102中存储的数据,该数据可以与程序1104存储在相同的存储地址,该数据也可以与程序1104存储在不同的存储地址。
处理器1101和存储器1102可以单独设置,也可以集成在一起,例如,集成在终端设备的系统级芯片(system on chip,SOC)上。
示例性地,存储器1102可以用于存储本申请实施例中提供的图像处理方法的相关程序1104,处理器1101可以用于在执行图像处理时调用存储器1102中存储的图像处理方法的相关程序1104,执行本申请实施例的图像处理方法;例如,启动电子设备中的相机应用程序;显示第一预览图像,第一预览图像对应的变焦倍率为第一倍率,第一预览图像的中心点为第一中心点;确定第一预览图像中的第二中心点,第二中心点为目标区域的中心点,第一中心点与第二中心点不重合;检测到第一操作,第一操作指示电子设备的变焦倍率为第二倍率;响应于第一操作,显示第二预览图像,第二预览图像的中心点为第二中心点。
本申请还提供了一种计算机程序产品,该计算机程序产品被处理器1101执行时实现本申请中任一方法实施例的图像处理方法。
该计算机程序产品可以存储在存储器1102中,例如是程序1104,程序1104经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器1101执行的可执行目标文件。
本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时实现本申请中任一方法实施例所述的图像处理方法。该计算机程序可以是高级语言程序,也可以是可执行目标程序。
该计算机可读存储介质例如是存储器1102。存储器1102可以是易失性存储器或非易失性存储器,或者,存储器1102可以同时包括易失性存储器和非易失性存储器。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的电子设备的实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
另外,本文中的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准总之,以上所述仅为本申请技术方案的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (20)
1.一种图像处理方法,其特征在于,所述图像处理方法应用于电子设备,包括:
启动所述电子设备中的相机应用程序;
显示第一预览图像,所述第一预览图像对应的变焦倍率为第一倍率,所述第一预览图像的中心点为第一中心点;
确定所述第一预览图像中的第二中心点,所述第二中心点为目标区域的中心点,所述第一中心点与所述第二中心点不重合,所述第一中心点与所述第二中心点的连线上包括N个中心点,所述N个中心点中的每个中心点与至少一个变焦倍率对应,N为大于或者等于2的整数;
检测到第一操作,所述第一操作指示所述电子设备的变焦倍率为第二倍率;
响应于所述第一操作,显示第二预览图像,所述第二预览图像的中心点为所述第二中心点。
2.如权利要求1所述的图像处理方法,其特征在于,所述第二预览图像与所述目标区域重合。
3.如权利要求2所述的图像处理方法,其特征在于,所述第二预览图像包括所述目标区域。
4.如权利要求2所述的图像处理方法,其特征在于,所述第二预览图像包括所述目标区域的一部分。
5.如权利要求1所述的图像处理方法,其特征在于,在显示所述第一预览图像与所述第二预览图像时,所述电子设备所处的位置相同。
6.如权利要求1所述的图像处理方法,其特征在于,还包括:
检测到第二操作,所述第二操作指示所述电子设备的变焦倍率为第三倍率;
响应于所述第二操作,显示第三预览图像,所述第三预览图像的中心点为第三中心点,所述第三中心点在所述第一中心点与所述第二中心点的连线上。
7.如权利要求1所述的图像处理方法,其特征在于,还包括:
对所述第一中心点与所述第二中心点的连线进行等分,得到所述N个中心点。
8.如权利要求1所述的图像处理方法,其特征在于,还包括:
根据插值算法对所述第一中心点与所述第二中心点的连线进行分割,得到所述N个中心点。
9.如权利要求1所述的图像处理方法,其特征在于,所述响应于所述第一操作,显示第二预览图像,包括:
若所述目标区域的面积与所述第一预览图像的面积之间的比值小于或者等于第一预设阈值,采用第一像素合并方式显示所述第二预览图像;
若所述目标区域的面积与所述第一预览图像的面积之间的比值大于第一预设阈值,采用第二像素合并方式显示所述第二预览图像。
10.如权利要求9所述的图像处理方法,其特征在于,所述采用第一像素合并方式显示所述第二预览图像,包括:
采用所述第二倍率对应的裁切区域对所述第一预览图像进行裁切处理,得到第一图像区域,所述第一图像区域中包括M个像素;
对所述M个像素进行重新排列处理,得到K个像素,M、K均为正整数,K大于M;
基于所述K个像素显示所述第二预览图像。
11.如权利要求9所述的图像处理方法,其特征在于,所述采用第一像素合并方式显示所述第二预览图像,包括:
采用所述第二倍率对应的裁切区域对所述第一预览图像进行裁切处理,得到第一图像区域,所述第一图像区域中包括M个像素;
对所述M个像素进行合并处理,得到H个像素,M、H均为正整数,H小于M;
基于所述H个像素显示第二预览图像。
12.如权利要求1所述的图像处理方法,其特征在于,所述确定所述第一预览图像中的第二中心点,包括:
检测到用户对所述第一预览图像的点击操作,所述第二中心点为所述用户与所述电子设备的触碰点。
13.如权利要求1至12中的任一项所述的图像处理方法,其特征在于,所述确定所述第一预览图像中的第二中心点,包括:
检测到所述第一预览图像中的第一主体,所述第二中心点为所述第一主体的中心点。
14.如权利要求1至12中任一项所述的图像处理方法,其特征在于,所述第二倍率是基于所述目标区域的面积与所述第一预览图像的面积之间的比值确定的。
15.如权利要求14所述的图像处理方法,其特征在于,若所述目标区域的面积与所述第一预览图像的面积之间的比值小于或者等于1/4,所述第二倍率为2倍倍率。
16.如权利要求14所述的图像处理方法,其特征在于,若所述目标区域的面积与所述第一预览图像的面积之间的比值小于或者等于1/9,所述第二倍率为3倍倍率。
17.如权利要求14所述的图像处理方法,其特征在于,若所述目标区域的面积与所述第一预览图像的面积的之间的比值小于或者等于1/16,所述第二倍率为4倍倍率。
18.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于从所述存储器中调用并运行所述计算机程序,使得所述电子设备执行如权利要求1至17中任一项所述的图像处理方法。
19.一种芯片,其特征在于,包括处理器,当所述处理器执行指令时,所述处理器执行如权利要求1至17中任一项所述的图像处理方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储了计算机程序,当所述计算机程序被处理器执行时,使得处理器执行如权利要求1至17中任一项所述的图像处理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410412998.XA CN118450255A (zh) | 2022-03-29 | 2022-03-29 | 图像处理方法与电子设备 |
CN202210318644.XA CN116939363B (zh) | 2022-03-29 | 2022-03-29 | 图像处理方法与电子设备 |
PCT/CN2022/140810 WO2023185127A1 (zh) | 2022-03-29 | 2022-12-21 | 图像处理方法与电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210318644.XA CN116939363B (zh) | 2022-03-29 | 2022-03-29 | 图像处理方法与电子设备 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410412998.XA Division CN118450255A (zh) | 2022-03-29 | 2022-03-29 | 图像处理方法与电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116939363A CN116939363A (zh) | 2023-10-24 |
CN116939363B true CN116939363B (zh) | 2024-04-26 |
Family
ID=88198915
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410412998.XA Pending CN118450255A (zh) | 2022-03-29 | 2022-03-29 | 图像处理方法与电子设备 |
CN202210318644.XA Active CN116939363B (zh) | 2022-03-29 | 2022-03-29 | 图像处理方法与电子设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410412998.XA Pending CN118450255A (zh) | 2022-03-29 | 2022-03-29 | 图像处理方法与电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (2) | CN118450255A (zh) |
WO (1) | WO2023185127A1 (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111970439A (zh) * | 2020-08-10 | 2020-11-20 | Oppo(重庆)智能科技有限公司 | 图像处理方法和装置、终端和可读存储介质 |
CN112637481A (zh) * | 2020-11-25 | 2021-04-09 | 华为技术有限公司 | 图像缩放方法和装置 |
CN112954195A (zh) * | 2021-01-27 | 2021-06-11 | 维沃移动通信有限公司 | 对焦方法、装置、电子设备及介质 |
WO2021136050A1 (zh) * | 2019-12-31 | 2021-07-08 | 华为技术有限公司 | 一种图像拍摄方法及相关装置 |
CN113497881A (zh) * | 2020-03-20 | 2021-10-12 | 华为技术有限公司 | 图像处理方法及装置 |
CN113727016A (zh) * | 2021-06-15 | 2021-11-30 | 荣耀终端有限公司 | 一种拍摄方法及电子设备 |
WO2022022715A1 (zh) * | 2020-07-30 | 2022-02-03 | 华为技术有限公司 | 一种拍摄方法及设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107404619B (zh) * | 2016-07-29 | 2019-12-06 | Oppo广东移动通信有限公司 | 图像变焦处理方法、装置及终端设备 |
CN109286750B (zh) * | 2018-09-21 | 2020-10-27 | 重庆传音科技有限公司 | 一种基于智能终端的变焦方法及一种智能终端 |
CN112825543B (zh) * | 2019-11-20 | 2022-10-04 | 华为技术有限公司 | 一种拍摄的方法及设备 |
CN112532875B (zh) * | 2020-11-24 | 2022-08-19 | 展讯通信(上海)有限公司 | 终端设备及其图像处理方法、装置、存储介质 |
-
2022
- 2022-03-29 CN CN202410412998.XA patent/CN118450255A/zh active Pending
- 2022-03-29 CN CN202210318644.XA patent/CN116939363B/zh active Active
- 2022-12-21 WO PCT/CN2022/140810 patent/WO2023185127A1/zh unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021136050A1 (zh) * | 2019-12-31 | 2021-07-08 | 华为技术有限公司 | 一种图像拍摄方法及相关装置 |
CN113497881A (zh) * | 2020-03-20 | 2021-10-12 | 华为技术有限公司 | 图像处理方法及装置 |
WO2022022715A1 (zh) * | 2020-07-30 | 2022-02-03 | 华为技术有限公司 | 一种拍摄方法及设备 |
CN111970439A (zh) * | 2020-08-10 | 2020-11-20 | Oppo(重庆)智能科技有限公司 | 图像处理方法和装置、终端和可读存储介质 |
CN112637481A (zh) * | 2020-11-25 | 2021-04-09 | 华为技术有限公司 | 图像缩放方法和装置 |
CN112954195A (zh) * | 2021-01-27 | 2021-06-11 | 维沃移动通信有限公司 | 对焦方法、装置、电子设备及介质 |
CN113727016A (zh) * | 2021-06-15 | 2021-11-30 | 荣耀终端有限公司 | 一种拍摄方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2023185127A1 (zh) | 2023-10-05 |
CN116939363A (zh) | 2023-10-24 |
CN118450255A (zh) | 2024-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111212235B (zh) | 一种长焦拍摄的方法及电子设备 | |
CN113810604B (zh) | 文档拍摄方法、电子设备和存储介质 | |
CN113660408B (zh) | 一种视频拍摄防抖方法与装置 | |
CN113709355B (zh) | 滑动变焦的拍摄方法及电子设备 | |
CN113364976B (zh) | 一种图像的显示方法及电子设备 | |
CN115802158B (zh) | 切换摄像头的方法与电子设备 | |
CN116546316B (zh) | 切换摄像头的方法与电子设备 | |
EP4325877A1 (en) | Photographing method and related device | |
CN115526787A (zh) | 视频处理方法和装置 | |
CN116939357A (zh) | 微距拍摄方法、电子设备和计算机可读存储介质 | |
CN114531539B (zh) | 拍摄方法及电子设备 | |
CN114071009B (zh) | 一种拍摄方法及设备 | |
CN115550556A (zh) | 一种曝光强度调节方法及相关装置 | |
CN115767290B (zh) | 图像处理方法和电子设备 | |
CN113497880A (zh) | 一种拍摄图像的方法及电子设备 | |
CN116939363B (zh) | 图像处理方法与电子设备 | |
CN115767262B (zh) | 拍照方法及电子设备 | |
EP4228236A1 (en) | Image processing method and electronic device | |
WO2023060921A1 (zh) | 图像处理方法与电子设备 | |
CN116128739A (zh) | 下采样模型的训练方法、图像处理方法及装置 | |
CN116029951B (zh) | 图像处理方法与电子设备 | |
CN115767287B (zh) | 图像处理方法与电子设备 | |
CN116051386B (zh) | 图像处理方法及其相关设备 | |
CN114979458B (zh) | 一种图像的拍摄方法及电子设备 | |
CN117135459A (zh) | 图像防抖方法与电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |