CN117998203B - 一种图像处理方法、电子设备及存储介质 - Google Patents
一种图像处理方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117998203B CN117998203B CN202410398184.5A CN202410398184A CN117998203B CN 117998203 B CN117998203 B CN 117998203B CN 202410398184 A CN202410398184 A CN 202410398184A CN 117998203 B CN117998203 B CN 117998203B
- Authority
- CN
- China
- Prior art keywords
- focusing
- camera
- preset
- front camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 210000000707 wrist Anatomy 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 68
- 230000009471 action Effects 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 84
- 230000008447 perception Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 11
- 230000001960 triggered effect Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 description 33
- 230000001133 acceleration Effects 0.000 description 30
- 230000003287 optical effect Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000010295 mobile communication Methods 0.000 description 7
- 238000005282 brightening Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000003381 stabilizer Substances 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种图像处理方法、电子设备及存储介质,涉及终端技术领域。该方法包括:在显示第一界面的过程中,检测到翻腕动作。响应于翻腕动作,控制前置摄像头在预设对焦范围内对焦,预设对焦范围表示前置摄像头的对焦位置的变化范围,预设对焦范围在前置摄像头的固有对焦范围之内。获取前置摄像头在目标对焦位置采集的第一图像,并识别第一图像,根据所述第一图像的识别结果,显示第二界面。如此,可以提升电子设备自动对焦的速率,提升图像的识别率。
Description
技术领域
本申请涉及终端技术领域,尤其涉及一种图像处理方法、电子设备及存储介质。
背景技术
随着电子设备的发展,电子设备提供的功能也越来越多。拍摄功能是电子设备中被频繁使用的功能之一。用户可以使用电子设备的拍摄功能实现拍摄,得到图像。为了向用户提供更加便捷的拍摄功能,电子设备中的摄像头可以自动对焦,进一步简化拍摄流程。
但是,在一些拍摄场景中,电子设备难以快速对焦到拍摄对象,拍摄到的图像容易出现模糊不清的现象。
发明内容
本申请提供一种图像处理方法、电子设备及存储介质,用于提升电子设备自动对焦速率,快速拍摄到清晰的图像。
为达到上述目的,本申请的实施例采用如下技术方案:
第一方面,提供了一种图像处理方法,该方法包括:在电子设备显示第一界面的过程中,若检测到翻腕动作,则响应于翻腕动作,控制前置摄像头在预设对焦范围内对焦,获取前置摄像头在目标对焦位置采集的第一图像,目标对焦位置是图像的对比度为极大值或大于预设对比度的对焦位置。进一步地,电子设备识别第一图像,根据第一图像的识别结果,显示第二界面。
该方法中,预设对焦范围表示前置摄像头的对焦位置的变化范围。预设对焦范围在前置摄像头的固有对焦范围之内,即预设对焦范围是前置摄像头的固有对焦范围的真子集。例如,预设对焦范围的下限大于固有对焦范围的下限,预设对焦范围的上限小于固有对焦范围的上限。通过将电子设备的对焦位置限制在预设对焦范围内,电子设备在自动对焦过程中仅在预设对焦范围内进行对焦。如此,可以提升电子设备自动对焦的速率,使电子设备快速拍摄到清晰的图像,进而提升图像的识别率。
在第一方面的一种可能的实现方式中,电子设备采用安全预览管线控制前置摄像头在预设对焦范围内对焦,该安全预览管线用于提供反差检测自动对焦模式,反差检测自动对焦模式用于根据图像的对比度自动对焦。
在该实现方法中,电子设备通过安全预览管线提供的反差检测自动对焦模式控制前置摄像头对焦。安全预览管线可以提供安全预览模式,从而提升图像采集的安全性。在一些示例中,受限于电子设备的处理芯片,安全预览管线仅支持反差检测自动对焦模式,不支持其他对焦模式。在采用安全预览管线的情况下,电子设备通过反差检测自动对焦模式进行对焦。
在第一方面的另一种可能的实现方式中,前置摄像头包括马达和镜头,马达与镜头连接,马达用于驱动镜头移动。电子设备采用安全预览管线控制前置摄像头的马达带动镜头在预设位置区间内移动,获取多个第二图像。该前置摄像头的镜头在预设位置区间移动时,前置摄像头的对焦位置在预设对焦范围内变化,从而电子设备通过调整镜头位置,实现对焦位置的改变。进一步地,电子设备根据多个第二图像的对比度进行对焦。例如,电子设备将多个第二图像中对比度大于预设对比度时的第二图像对应的对焦位置确定为目标对焦位置,已完成对焦。或者,电子设备将多个第二图像中对比度是极大值或最大值时的第二图像对应的对焦位置确定为目标对焦位置,已完成对焦。
在第一方面的另一种可能的实现方式中,电子设备在非预览状态下获取多个第二图像,该非预览状态表示不显示前置摄像头采集的图像。可以理解的是,电子设备采用安全预览管线控制前置摄像头自动对焦,前置摄像头自动对焦的过程不会呈现给用户。通过这种方式,既可以提升图像采集的安全性,还可以为用户屏蔽图像识别的过程,提升用户的使用体验。
在第一方面的另一种可能的实现方式中,上述预设对焦范围是20厘米至40厘米。如此,预设对焦范围可涵盖用户惯用的对焦位置,从而为用户提供便利,提升用户的使用体验。
在第一方面的另一种可能的实现方式中,第一图像包括二维码。电子设备根据二维码的识别结果,显示识别结果指示的第二界面。如此,电子设备可提供翻腕扫码功能。
在第一方面的另一种可能的实现方式中,响应于翻腕动作,获取智慧感知信息,该智慧感知信息用于指示翻腕动作触发的感知功能。在智慧感知信息指示第一感知功能的情况下,控制前置摄像头在预设对焦范围内对焦。第一感知功能为扫码功能,如第一感知功能是上述翻腕扫码功能。通过智慧感知信息指示翻腕动作触发的感知功能,电子设备可以快速识别用户设置的感知功能。
在第一方面的另一种可能的实现方式中,若电子设备在预设对焦范围内确定目标对焦位置,则获取前置摄像头在目标对焦位置采集的第一图像,并生成第一提示信息,第一提示信息用于提示已完成对焦。
该实现方式中,电子设备在前置摄像头对焦到拍摄对象的情况下向用户发出提示信息,通过提示信息提醒用户已完成对焦。用户可以不再保持对准拍摄对象的姿势,提升用户的使用体验。
在第一方面的另一种可能的实现方式中,若在预设对焦范围内未确定目标对焦位置,则生成第二提示信息,第二提示信息用于提示用户移动前置摄像头,以使前置摄像头在预设对焦范围内确定目标对焦位置。
该实现方式中,电子设备在前置摄像头未对焦到拍摄对象的情况下向用户发出提示信息,可以提醒用户通过改变前置摄像头的拍摄位置实现前置摄像头对焦到拍摄对象,从而节省用户的等待时间,提升用户的使用体验。
第二方面,本申请提供一种电子设备,包括:前置摄像头、存储器、处理器及存储在存储器上的计算机程序。前置摄像头和存储器分别与处理器耦合。前置摄像头是变焦摄像头,用于采集图像。当处理器运行计算机程序时,使得电子设备执行上述第一方面及其任一种可能的实现方式所述的方法。
第三方面,本申请提供一种计算机可读存储介质,存储有计算机程序,当计算机程序被电子设备运行时,使得电子设备执行上述第一方面及其任一种可能的实现方式所述的方法。
第四方面,本申请提供一种包含程序指令的计算机程序产品,包括计算机程序,当计算机程序被电子设备运行时,使得计算机可以执行上述第一方面及其任一种可能的实现方式所述的方法。例如,该计算机可以是上述电子设备。
第五方面,本申请提供一种芯片系统,该芯片系统应用于电子设备。该芯片系统包括接口电路和处理器。接口电路和处理器通过线路互联。接口电路用于从存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令。当处理器执行计算机指令时,电子设备执行上述第一方面及其任一种可能的实现方式所述的方法。
附图说明
图1为本申请实施例提供的一种翻腕扫码场景的示意图;
图2为本申请实施例提供的一种电子设备示例手机100的硬件结构框图;
图3为本申请实施例提供的一种电子设备示例手机100的软件结构框图;
图4为本申请实施例提供的一种图像处理方法的流程图;
图5为本申请实施例提供的一种翻腕扫码功能设置的示意图;
图6为本申请实施例提供的一种二维码图像清晰度对比的示意图;
图7为本申请实施例提供的一种二维码图像识别率对比的示意图;
图8为本申请实施例提供的另一种图像处理方法的流程图。
具体实施方式
为了向用户提供更好的使用体验,电子设备的拍摄功能被使用在多种应用场景。在一些应用场景中,电子设备的拍摄功能与翻腕动作相结合,可实现翻腕动作触发图像识别。具体地,电子设备在检测到翻腕动作时,调用前置摄像头,通过前置摄像头采集图像,并对采集到的图像进行识别。
在一个示例中,以用户使用电子设备扫描二维码付款的应用场景为例。如图1所示,用户手持电子设备翻转。电子设备检测到翻腕动作,启动前置摄像头,通过前置摄像头采集包括二维码的图像。进一步地,电子设备对图像中的二维码进行识别,根据识别结果显示付款界面。如此,可实现翻腕动作触发扫码功能(可简称为翻腕扫码功能)。
在另一个示例中,再以人脸解锁的应用场景为例。用户手持电子设备翻转。电子设备若检测到翻腕动作,则通过前置摄像头采集用户的人脸图像,并对人脸图像进行识别。如果人脸图像的识别结果表示人脸图像中的人脸是目标人脸,则解锁电子设备。如此,可实现翻腕动作触发人脸解锁功能(可简称为翻腕解锁功能)。
在翻腕动作触发图像识别的应用场景中,电子设备采用前置摄像头拍摄图像。对于电子设备配置的前置摄像头而言,可以是定焦摄像头或者是变焦摄像头。定焦摄像头的镜头和焦距是固定的,需要用户调整电子设备与拍摄对象之间的拍摄距离实现电子设备对焦到拍摄对象。变焦摄像头的镜头位置和焦距是可变的,电子设备可以自动调节镜头位置实现电子设备自动对焦到拍摄对象。
自动对焦方式包括反差检测自动对焦(Contrast Detection Auto Focus,CDAF)和相位检测自动对焦(Phase Detection Auto Focus,PDAF)。
反差检测自动对焦可以简称为反差对焦或对比度对焦。反差检测自动对焦是根据图像的对比度进行自动对焦的方式。图像的对比度是用于衡量图像清晰度的参数之一。电子设备在自动对焦过程中,逐渐移动镜头,并获取图像的对比度。在图像的对比度是极大值时,图像最为清晰,此时可以认为对焦到拍摄对象。
相位检测自动对焦可以简称为相位对焦。相位检测自动对焦是根据摄像头采集的光线的相位进行自动对焦的方式。光线以不同角度进入摄像头的镜头时,会存在相位差。光线的相位差可以体现摄像头的对焦情况。在光线的相位差最小时,电子设备的摄像头针对拍摄对象对焦,此时拍摄的图像最为清晰。
在翻腕动作触发图像识别的应用场景中,电子设备通过安全预览(SecurePreview)管线控制前置摄像头自动对焦。安全预览管线仅支持反差检测自动对焦,不支持相位检测自动对焦。这种情况下,电子设备在检测到翻腕动作的情况下,通过安全预览管线调用前置摄像头,控制前置摄像头采用反差检测自动对焦方式针对拍摄对象进行对焦,以拍摄到清晰的拍摄对象。
但是,反差检测自动对焦方式的对焦速率较低,电子设备需要一步一步移动前置摄像头的镜头,调整前置摄像头的对焦位置。在镜头移动的过程中,电子设备需要比较在不同对焦位置采集到的图像的对比度,以确定对比度是极大值时的对焦位置(该对焦位置是对焦到拍摄对象的对焦位置)。图像的对比度计算容易受到抖动或者拍摄环境光照变化的影响,从而导致电子设备难以针对拍摄对象对焦。在翻腕动作触发图像识别的应用场景(可简称为翻腕识别场景)中,电子设备通过反差检测自动对焦可能会使对焦速率缓慢,电子设备容易拍摄到模糊的图像,出现图像难以被识别的情况。此外,在拍摄画面中的对象对应多种景深的情况下,电子设备可能会对焦到远距离的对象而导致近距离的对象失焦,从而电子设备难以针对近距离的对象进行识别。
有鉴于此,本申请实施例提供了一种方法,可以提高翻腕识别场景中电子设备进行反差检测自动对焦的对焦速率。具体地,电子设备在检测到翻腕动作的情况下,电子设备控制前置摄像头在预设对焦范围内对焦,确定目标对焦位置。该目标对焦位置是前置摄像头对焦到拍摄对象时的对焦位置。电子设备获取前置摄像头在目标对焦位置采集的第一图像,并对第一图像进行识别。进一步地,电子设备根据第一图像的识别结果显示界面。
预设对焦范围用于表示前置摄像头的对焦位置的变化范围。通过将电子设备的对焦位置限制在预设对焦范围内,电子设备在自动对焦过程中仅在预设对焦范围内进行对焦。如此,可以提升电子设备自动对焦的速率,使电子设备快速拍摄到清晰的图像,进而提升图像的识别率。
示例性的,本申请实施例中所述的电子设备可以是手机、平板电脑、桌面型电脑、膝上型电脑、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备、媒体播放器、可穿戴设备等设备。本申请实施例对电子设备的具体形态不作特殊限制。
本申请实施例中以电子设备是手机100为例,通过手机100介绍电子设备的硬件结构。如图2所示,手机100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
其中,处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU),驱动处理器等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。处理器110可以是手机100的神经中枢和指挥中心。处理器110可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。如此,避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行手机100的各种功能应用以及数据处理。例如,在本申请实施例中,处理器110可以通过执行存储在内部存储器121中的指令,内部存储器121可以包括存储程序区和存储数据区。
其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)、马达191的配置文件等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、通用闪存存储器(universal flash storage,UFS)等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为手机100供电。
手机100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。在一些实施例中,手机100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得手机100可以通过无线通信技术与网络以及其他设备通信。
移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。
无线通信模块160可以提供应用在手机100上的包括无线局域网(wireless localarea networks,WLAN)(如Wi-Fi网络),蓝牙(bluetooth,BT),全球导航卫星系统(globalnavigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。
在一些实现方式中,手机100可以通过移动通信模块150或无线通信模块160接入网络,如5G网络或Wi-Fi网络,并通过连接的网络显示界面,如显示付款界面、打车界面等。
手机100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放、录音等。在一些实现方式中,在手机100的前置摄像头未对焦到拍摄对象的情况下,手机100可以通过扬声器170A向用户播放提示信息,如播放语音提示信息。如此,手机100可以通过播放的提示信息提醒用户调整手机100的拍摄位置。
传感器模块180可以包括压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、霍尔传感器、触摸传感器、环境光传感器和距离传感器等传感器。手机100可通过传感器模块180采集各种数据。
陀螺仪传感器可以用于确定手机100的运动姿态。在一些实施例中,可以通过陀螺仪传感器确定手机100围绕三个轴(即x、y和z轴)的角速度。陀螺仪传感器可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器检测手机100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消手机100的抖动,实现防抖。陀螺仪传感器还可以用于导航,体感游戏场景。
加速度传感器可检测手机100在各个方向上(一般为三轴)加速度的大小。当手机100静止时可检测出重力的大小及方向。还可以用于识别手机100的姿态,应用于横竖屏切换、计步器等应用。
在一些实现方式中,手机100可以通过陀螺仪传感器采集的角速率数据以及加速度传感器采集的加速度数据,检测翻腕动作。
距离传感器可以用于测量距离。距离传感器可以是红外测距传感器、激活测距传感器等。手机100可以通过红外线或激光测量距离。在一些实现方式中,手机100可以利用距离传感器测距以实现快速对焦。在另一些实现方式中,手机100可以利用距离传感器测量拍摄对象到摄像头的距离。在该距离大于预设对焦范围的上限或者摄像头未拍摄到拍摄对象时,手机100向用户发出提示信息,通过提示信息提醒用户调整摄像头的拍摄位置。
手机100通过GPU、显示屏194以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。该显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),MiniLED,MicroLED,Micro-OLED,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。
在一些实现方式中,上述触摸传感器可以设置在显示屏194中,由触摸传感器与显示面板组成触摸屏,也称“触控屏”。触摸传感器也称“触控面板”,用于检测作用于其上或附近的触摸操作,如点击操作、滑动操作等。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。手机100可以通过显示屏194提供与触摸操作相关的视觉输出。
手机100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,手机100在拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点、亮度、颜色进行算法优化。ISP还可以对拍摄场景的曝光、色温等参数进行优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB、YUV等格式的图像信号。在一些实施例中,手机100可以包括1个或多个摄像头193。摄像头193可以是前置摄像头或后置摄像头。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。在一些实现方式中,手机100在前置摄像头对焦到拍摄对象的情况下,可以通过马达191产生振动以提示用户已经对焦到拍摄对象。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备的结构限定。在另一些实施例中,电子设备也可以包括比上述实施例提供的更多或者更少的模块,各个模块之间也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。本申请实施例中提供的电子设备的硬件结构也可以参见手机100的硬件结构。以下实施例中的方法均可以在具备上述硬件结构的电子设备中实现。
电子设备的软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构。本申请实施例以电子设备是上述手机100,电子设备的软件系统采用安卓(Android)系统的分层架构为例,示例性说明电子设备的软件结构。
手机100的分层架构分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。图3是本申请实施例的手机100的软件结构框图。示例性的,Android系统可以包括应用程序层、应用程序框架层、硬件抽象层(hardware abstraction layer,HAL)以及内核层。
应用程序层可以包括手机100中安装的一系列应用程序。例如,手机100的应用程序层包括相机应用、智慧感知应用、支付应用等应用程序,本申请实施例对此不做任何限制。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。例如,应用程序框架层可以包括相机服务器(Camera Server)、窗口管理服务等,本申请实施例对此不做任何限制。
硬件抽象层是对Linux内核驱动程序的封装、向上提供接口、屏蔽底层硬件的实现细节。例如,硬件抽象层中可以包括相机硬件抽象层等。相机硬件抽象层包括相机提供器(Camera provider)。相机提供器用于向相机服务器提供调用的接口。相机提供器包括自动对焦(Auto Focus,AF)模块。自动对焦模块用于提供反差检测自动对焦算法、相位检测自动对焦算法等自动对焦算法。
内核层是硬件和软件之间的层。内核层包括驱动程序和系统服务程序。驱动程序至少包括相机驱动、视频驱动(Video for Linux2,V4L2)、传感器驱动等。相机驱动用于提供摄像头的驱动程序。相机驱动包括图像传感器模块(可记为sensor,还可称为感光元件)、马达模块(可记为actuator)、存储模块(可记为eeprom)、光学图像稳定器模块(可记为ois)。其中,图像传感器模块用于控制摄像头的图像传感器将摄像头接收的光信号转换为电信号。马达模型用于控制摄像头的马达带动镜头移动,以调整摄像头的焦点位置。存储模块用于控制摄像头的存储器(如带电可擦可编程只读存储器(Electrically ErasableProgrammable Read Only Memory,EEPROM))存储图像传感器得到的电信号,即图像数据。光学图像稳定器模块用于控制摄像头的光学图像稳定器(Optical Image Stabilization,OIS)补偿镜头的光轴偏移。
可以理解的是,本申请实施例示意的分层架构,只是示意性说明,并不构成对电子设备的结构限定。在另一些实施例中,电子设备也可以包括比上述实施例提供的更多或者更少的软件层。例如,电子设备的分层架构还可以包括安卓运行时和系统库。安卓运行时负责安卓系统的调度和管理。系统库可以包括多个功能模块,如表面管理器(surfacemanager)、媒体库(Media Libraries)等。
为了便于理解,下面本申请实施例以电子设备具有图2和图3所示结构的手机100为例,结合翻腕扫码应用场景,示例性对手机100的软硬件交互过程进行说明。
手机100在显示第一界面的情况下,根据陀螺仪传感器采集的角速度数据以及加速度传感器采集的加速度数据检测到翻腕动作时,智慧感知应用响应于翻腕动作,通知相机服务器翻腕扫码事件。相机应用响应于翻腕扫码事件,向相机硬件抽象层中的相机提供器传递翻腕扫码事件。相机提供器响应于翻腕扫码事件,采用反差检测自动对焦算法通过视频驱动调用相机驱动。手机100的相机模块控制前置摄像头启动,并采用反差检测自动对焦算法自动对焦到二维码,实现二维码扫描。
以下实施例中以电子设备是手机100为例,结合翻腕扫码场景,示例性介绍本申请实施例提供的方法。如图4所示,本申请实施例提供的方法包括以下步骤:
S401,手机100显示第一界面。
手机100在用户操作下显示第一界面。例如,第一界面是桌面界面、网页浏览界面等。
在翻腕扫码场景中,为了降低翻腕扫码误触的概率,在一些实现方式中,手机100显示的第一界面是非锁屏界面。第一界面与锁屏界面不同。例如,手机100在锁屏的情况下,接收用户的解锁操作。响应于用户的解锁操作,手机100解锁。在解锁之后,手机100显示第一界面。
S402,在显示第一界面的过程中,手机100响应于翻腕动作,判断智慧感知信息是否指示第一感知功能。
翻腕动作可以理解为手机100发生翻转的动作。例如,翻腕动作可以包括水平翻转动作(如手机100从显示屏朝上翻转到显示屏朝下的动作)、垂直翻转动作(如手机100从顶部朝上翻转到顶部朝下的动作)等。在显示第一界面的过程中,手机100可以根据手机100的角速率数据和加速度数据,检测翻腕动作。手机100通过陀螺仪传感器采集手机100的角速度数据,以及通过加速度传感器采集手机100的加速度数据。陀螺仪传感器采集的角速度数据可以包括三轴(即x轴、y轴和z轴)角速度数据。三轴角速度数据是陀螺仪传感器自身坐标系的三个坐标轴的角速度数据。加速度传感器采集的加速度数据可以包括三轴(即x轴、y轴和z轴)加速度数据。三轴加速度数据是加速度传感器自身坐标系的三个坐标轴的加速度数据。为了便于角速度数据和加速度数据的处理,体现手机100的姿态,在一些实现方式中,陀螺仪传感器的坐标系与加速度传感器的坐标系可以与手机100的坐标系一致。
在一些实现方式中,手机100可以利用预设模型检测翻腕动作。预设模型用于检测翻腕动作。例如,预设模型是训练完成的机器学习模型。预设模型可以是基于翻腕动作的正样本数据(包括手机100处于翻腕动作时采集的角速度数据和加速度数据)和正样本数据的第一标签(如指示翻腕动作的标签),以及非翻腕动作的负样本数据(包括手机100处于非翻腕动作时采集的角速度数据和加速度数据)和负样本数据的第二标签(如指示非翻腕动作的标签),对机器学习模型进行多轮训练得到的。手机100将同一时刻或同一时间段采集到的角速度数据和加速度数据输入预设模型,得到预设模型输出的检测结果。该检测结果用于指示是否检测到翻腕动作。
在另一些实现方式中,手机100根据第一预设时长内(如1秒、0.5秒等)采集到的角速度数据和加速度数据,判断手机100在第一预设时长内朝向的变化角度是否大于预设角度。手机100的朝向是垂直于手机100显示屏所在平面的方向。该朝向可以与手机100显示屏的光线发出方向相同或相反。若手机100在第一预设时长内朝向的变化角度大于预设角度,如大于90度,可以认为手机100检测到了翻腕动作。
可以理解的是,手机100的陀螺仪传感器可以以一定频率持续采集角速度数据。相应地,手机100的加速度传感器也可以以一定频率持续采集加速度数据。如此,手机100可以根据角速度数据和加速度数据实时检测手机100的翻腕动作。角速度数据的采集频率与加速度数据的采集频率可以相同,也可以不同。在一些实现方式中,手机100在解锁后才有扫描二维码的需求,手机100则可以在处于解锁亮屏状态的情况下,获取陀螺仪传感器采集的角速度数据以及加速度传感器采集的加速度数据,并根据角速度数据和加速度数据检测翻腕动作。
手机100响应于翻腕动作,获取智慧感知信息,并判断智慧感知信息是否指示第一感知功能。该智慧感知信息用于指示翻腕动作触发的感知功能。例如,手机100的翻腕动作可触发智慧感知应用的扫码或显示二维码(或简称为亮码)等感知功能。智慧感知信息可以为第一信息(如“0”)或第二信息(如“1”)。第一信息和第二信息不同。若智慧感知信息是第一信息,则智慧感知信息指示第一感知功能。若智慧感知信息是第二信息,则智慧感知信息指示第二感知功能。
第一感知功能是扫码功能。第一感知功能是由翻腕动作触发的扫码功能,还可以称为翻腕扫码功能。第二感知功能是与第一感知功能不同的感知功能。例如,第二感知功能是亮码功能。第二感知功能是由翻腕动作触发的亮码功能,还可以称为翻腕亮码功能。
若智慧感知信息指示第一感知功能,表示手机100已开启翻腕扫码功能,手机100则执行S403。
若智慧感知信息指示第二感知功能,表示手机100开启了翻腕扫码功能之外的其他感知功能,如开启了翻腕亮码功能。这种情况下,手机100则执行其他感知功能对应的流程。以第二感知功能是翻腕亮码功能为例,手机100则进一步显示二维码,如显示付款码。
在一些实现方式中,手机100可以根据用户操作设置智慧感知信息。在一个示例中,如图5所示,手机100的设置页面中包括WLAN选项、蓝牙选项、移动网络选项和智慧感知功能(或称为感知功能)的选项(如“智慧感知”选项)。手机100响应于用户点击“智慧感知”选项的用户操作,跳转至智慧感知页面。智慧感知页面包括翻腕扫码的开关选项以及翻腕亮码的开关选项。若手机100在未开启翻腕扫码功能的情况下,接收到用户点击翻腕扫码的开关选项的用户操作,则开启翻腕扫码功能,并将智慧感知信息设置为第一信息。若手机100在未开启翻腕亮码功能的情况下,接收到用户点击翻腕亮码的开关选项的用户操作,则开启翻腕亮码功能,并将智慧感知信息设置为第二信息。翻腕扫码功能与翻腕亮码功能不能同时开启。
上述示例中,手机100响应于用户在设置页面中点击“智慧感知”选项的用户操作,进入智慧感知页面。在另一些示例中,在手机100未开启智慧感知功能的情况下,手机100可以在检测到翻腕动作之后,在界面中弹出智慧感知功能的设置消息。如在界面顶部弹出智慧感知功能的设置消息。该设置消息用于提醒用户开启智慧感知功能。若手机100接收到用户点击设置消息的用户操作,手机100则显示智慧感知页面。通过这种方式,手机100可以向用户提供进入智慧感知页面的快捷方式,方便用户快速开启智慧感知功能。
S403,手机100控制前置摄像头在预设对焦范围内对焦。
手机100包括前置摄像头。前置摄像头是与手机100的显示屏(或主屏幕)设置在同一侧的摄像头。例如,前置摄像头设置在手机100显示第一界面的一侧。预设对焦范围用于表示前置摄像头的对焦位置的变化范围。前置摄像头的对焦位置是前置摄像头的焦点在光轴上相对于镜头的光心的位置或距离。预设对焦范围可以根据实际应用场景或需求进行设置。预设对焦范围从第一对焦位置到第二对焦位置。第二对焦位置大于第一对焦位置。第一对焦位置是预设对焦范围的下边界,第二对焦位置是预设对焦范围的上边界。例如,在翻腕扫码场景中,用户手持手机100扫描二维码时,二维码与手机100之间的距离大致在20厘米至40厘米之间。第一对焦位置可以设置为20厘米,第二对焦位置可以设置为40厘米,即预设对焦范围可以设置在20厘米至40厘米。如此,预设对焦范围可涵盖用户惯用的对焦位置,手机100基于反差检测自动对焦算法控制前置摄像头在20厘米至40厘米内自动对焦。
预设对焦范围在前置摄像头的固有对焦范围之内。前置摄像头的固有对焦范围是从第三对焦位置到第四对焦位置。第四对焦位置大于第三对焦位置。第三对焦位置是固有对焦范围的下边界,第四对焦位置是固有对焦范围的上边界。预设对焦范围的第一对焦位置大于固有对焦范围的第三对焦位置,预设对焦范围的第二对焦位置小于固有对焦范围的第四对焦位置。前置摄像头的固有对焦范围与前置摄像头的硬件配置相关。例如,前置摄像头的固有对焦范围是11厘米至无穷远。本申请实施例中,手机100控制前置摄像头在预设对焦范围内对焦,相比于在前置摄像头的固有对焦范围内对焦而言,可以缩短前置摄像头的镜头的移动范围,加快手机100自动对焦的速率。
可以理解的是,摄像头的焦点包括物方焦点和像方焦点。以镜头的光心为中点,光心将镜头的光轴划分为两部分,一部分是拍摄对象的部分,另一部分是成像的部分。物方焦点是光轴上拍摄对象所在部分的焦点。像方焦点是光轴上成像部分的焦点。本申请实施例中所述的焦点是物方焦点。当前置摄像头对焦时,前置摄像头的对焦位置是物方焦点在光轴上的位置。例如,以镜头的光心为原点,以光轴上远离光心的方向为正方向。前置摄像头的对焦位置是物方焦点在光轴的位置。
在一些实现方式中,手机100采用安全预览管线控制前置摄像头在预设对焦范围内对焦。安全预览管线用于提供反差检测自动对焦模式。例如,手机100的相机提供器采用安全预览管线控制前置摄像头通过反差检测自动对焦模式在预设对焦范围内对焦。
该实现方式中,反差检测自动对焦模式用于根据图像的对比度自动对焦。手机100的安全预览管线控制前置摄像头在自动对焦过程中以预设移动步长(如1厘米)逐渐改变对焦位置,在不同对焦位置处采集第二图像。前置摄像头可以以预设频率(如30帧每秒)在不同对焦位置处采集第二图像。手机100的前置摄像头采集的多个第二图像对应的对焦位置不同。手机100计算各个第二图像的对比度。手机100进一步根据各个第二图像的对比度进行自动对焦。
例如,手机100根据第二图像的最大亮度值与最小亮度值的亮度差确定该第二图像的对比度。对比度可以等于该图像的亮度差与亮度和的比值。其中,一个图像的亮度差是该图像的最大亮度值与最小亮度值的差值;一个图像的亮度和是该图像的最大亮度值与最小亮度值的和。进一步地,手机100比较各个第二图像的对比度,查找对比度是极大值的第二图像对应的对焦位置。对比度是极大值的第二图像对应的对焦位置可以认为是对焦到拍摄对象的焦点位置,该对焦位置可称为目标对焦位置。
可以理解的是,安全预览管线可以提供安全预览模式。在安全预览模式下,手机100以非预览状态获取前置摄像头采集的多个第二图像。非预览状态可以理解为,不显示前置摄像头采集第二图像的状态。手机100通过前置摄像头采集的第二图像不会呈现给用户,手机100不会在显示屏中显示第二图像的预览窗口。
当然,除了安全预览管线之外,手机100中还存在通用预览管线(如记为PreviewPipeline)。通用预览管线用于在预览状态下获取摄像头(如前置摄像头或后置摄像头)采集的多个图像。预览状态可以理解为,显示摄像头采集图像的状态。手机100通过摄像头采集的图像会呈现给用户,手机100在自动对焦过程中会在显示屏中显示图像的预览窗口。通用预览管线支持相位检测自动对焦模式。例如,在自拍场景中,手机100响应于用户点击相机应用的用户操作,采用预览管线控制前置摄像头通过相位检测自动对焦模式在固有对焦范围进行对焦,并在预览窗口中显示摄像头采集的图像。在前置摄像头对焦到拍摄对象(如人脸)之后,手机100还可以在预览窗口中显示对焦框,通过对焦框指示当前对焦到的拍摄对象。
本申请实施例中,手机100采用安全预览管线控制前置摄像头自动对焦,前置摄像头自动对焦的过程不会呈现给用户。通过这种方式,既可以提升二维码扫描的安全性,还可以为用户屏蔽二维码扫描的过程,提升用户的使用体验。
在一些实现方式中,手机100可以将多个第二图像中对比度是极大值的第二图像对应的对焦位置确定为目标对焦位置。例如,以对焦位置作为自变量,以图像的对比度作为因变量。手机100在控制前置摄像头对焦的过程中,对比度随着对焦位置在预设对焦范围内的变化而变化。前置摄像头的对焦位置从预设对焦范围的最小值开始增大。随着对焦位置的逐渐增大,如果第二图像的对比度先上升再下降,则可以确定对比度的极大值。对比度的极大值是在对比度先上升再下降的区间内的最大值。手机100可以将对比度取极大值时对应的对焦位置确定为目标对焦位置。在确定目标对焦位置之后,手机100还可以控制前置摄像头的马达将镜头推动回对比度是极大值时的对焦位置。该实现方式中,前置摄像头在目标对焦位置采集的图像最为清晰。目标对焦位置可以认为是精确对焦时的焦点位置。
为了进一步提升前置摄像头对焦的速度,手机100可以在第二图像的对比度随着对焦位置的逐渐增加而变化的过程中,若第二图像的对比度大于预设对比度,则将对比度大于预设对比度时第二图像对应的对焦位置确定为目标对焦位置。该实现方式中,前置摄像头在目标对焦位置采集的图像可能不是最清晰的图像,但是不影响图像识别的效果。目标对焦位置可以认为是粗略对焦时的焦点位置。
下面通过一个示例介绍手机100通过安全预览管线控制前置摄像头自动对焦的过程。前置摄像头包括马达和镜头。前置摄像头的马达与镜头连接,用于带动镜头移动,改变前置摄像头的焦点位置。
本示例中,手机100的相机提供器响应于翻腕扫描事件,采用安全预览管线支持的反差检测自动对焦模式控制前置摄像头在预设对焦范围内对焦。在自动对焦过程中,前置摄像头的马达带动镜头在预设位置区间内移动。预设位置区间表示镜头位置的变化区间。例如,前置摄像头的马达从预设位置区间的最小值开始推动镜头移动。镜头位置从预设位置区间的最小值逐渐增大。预设位置区间对应于预设对焦范围。前置摄像头的镜头在预设位置区间移动时,前置摄像头的对焦位置在预设对焦范围内变化。相机提供器的自动对焦模块根据前置摄像头在不同对焦位置采集的第二图像的对比度,确定目标对焦位置。
可以理解的是,预设位置区间用于表示镜头位置的变化区间。焦点位置与镜头位置存在对应关系。前置摄像头的马达推动镜头移动,镜头位置发生改变,焦点位置也随之改变。示例性的,镜头位置可以通过位置参数表示。预设位置区间从位置参数的第一位置参数值到第二位置参数值。第二位置参数值小于第一位置参数值。第一位置参数值是预设位置区间的下边界(即最小值),第二位置参数值是预设位置区间的上边界(即最大值)。例如,以第一位置参数值是50、第一位置参数值是100为例,预设位置区间是位置参数从50至100。若预设对焦范围内是20厘米至40厘米,则第一位置参数值50对应于第一对焦位置20厘米,第二位置参数值100对应于第二对焦位置40厘米。
S404,手机100判断前置摄像头是否完成对焦。
若手机100根据第二图像的对比度,在预设对焦范围内查找到了目标对焦位置,可以认为前置摄像头已完成对焦。例如,如果在前置摄像头对焦的过程中,手机100查找到对比度大于预设对比度时的目标对焦位置,则认为前置摄像头已完成对焦。或者,如果在前置摄像头对焦的过程中,手机100查找到对比度是极大值时的目标对焦位置,则认为前置摄像头已完成对焦。
若手机100在预设对焦范围内未查找到目标对焦位置,可以认为前置摄像头未完成对焦。例如,如果在前置摄像头对焦的过程中,手机100未查找到对比度大于预设对比度时的目标对焦位置,则认为前置摄像头未完成对焦。或者,如果在前置摄像头对焦的过程中,手机100未查找到对比度是极大值时的目标对焦位置,则认为前置摄像头未完成对焦。
如果手机100已完成对焦,手机100则执行S405。
如果手机100未完成对焦,手机100则可以返回S403,继续在预设对焦范围内对焦,确定目标对焦位置。
在一些实现方式中,若手机100在预设对焦范围对焦到拍摄对象(即二维码),即手机100已完成对焦,手机100还可以生成第一提示信息。第一提示信息用于提示已对焦到拍摄对象。第一提示信息可以是语音提示、振动提示、文字消息提示等。例如,若手机100在预设对焦范围对焦到拍摄对象,手机100则发出振动提示,通过振动提示通知用户已完成对焦。
通过在前置摄像头对焦到拍摄对象的情况下向用户发出提示信息,可以提醒用户已完成对焦,用户可以不再保持手持手机100对准拍摄对象的姿势,提升用户的使用体验。
在另一些实现方式中,若手机100在预设对焦范围内未对焦到拍摄对象(即二维码),即手机100未完成对焦,手机100还可以生成第二提示信息。第二提示信息用于提示用户移动前置摄像头,以使前置摄像头在预设对焦范围内对焦到拍摄对象。第二提示信息可以是语音提示、振动提示、文字消息提示等。例如,若手机100的对焦时长达到第二预设时长时尚未完成对焦,手机100则发出第二提示信息。
在该实现方式的一个示例中,手机100可以在前置摄像头附近设置位置传感器,或者,手机100在前置摄像头中设置位置传感器。位置传感器用于测量拍摄对象到前置摄像头的距离。如果拍摄对象到前置摄像头的距离大于预设对焦范围的上限,即拍摄对象到前置摄像头的距离大于第二对焦位置,手机100则向用户发出用于提示用于缩短拍摄对象与前置摄像头之间距离的第二提示信息。如果拍摄对象到前置摄像头的距离小于预设对焦范围的下限,即拍摄对象到前置摄像头的距离小于第一对焦位置,手机100则向用户发出用于提示用于增加拍摄对象与前置摄像头之间距离的第二提示信息。
通过在前置摄像头未对焦到拍摄对象的情况下向用户发出提示信息,可以提醒用户通过改变前置摄像头的拍摄位置实现前置摄像头对焦到拍摄对象,从而节省用户的等待时间,提升用户的使用体验。
S405,手机100获取前置摄像头在目标对焦位置采集的第一图像。
在手机100完成对焦确定目标对焦位置的情况下,手机100的相机提供器获取前置摄像头在目标对焦位置采集的第一图像,并向智慧感知应用传输第一图像。
在一些实现方式中,手机100在预设对焦范围内确定目标对焦位置之后,可以控制前置摄像头的马达带动镜头移动至目标对焦位置对应的镜头位置,在目标对焦位置采集图像,得到第一图像。第一图像是前置摄像头在目标对焦位置采集的图像,可以提供较为清晰的二维码图像。
S406,手机100识别第一图像,根据第一图像的识别结果,显示第二界面。
手机100在获取第一图像之后,对第一图像中的拍摄对象(即二维码)进行识别,得到二维码的识别结果。例如,手机100的智慧感知应用对第一图像中的二维码进行解析,得到二维码中携带的信息(即二维码的识别结果)。二维码中携带的信息可以是文本、网址、应用或小程序的链接(如共享单车小程序的链接、支付应用的链接)等。手机100根据二维码携带的信息,在显示屏显示第二界面。例如,以二维码中携带的信息是支付应用的链接为例,手机100在解析出二维码携带的信息之后,跳转到支付应用的付款界面。
本申请实施例中,以翻腕扫码场景为例,介绍了翻腕动作触发手机100控制前置摄像头扫码的过程。在前置摄像头扫码过程中,前置摄像头的对焦位置限制在预设对焦范围内,从而可以提升手机100自动对焦的速率,使手机100快速拍摄到清晰的二维码,提升二维码的识别率。
示例性的,在图像清晰度方面,在手机100未采用本申请实施例提供的方法拍摄二维码的情况下,手机100拍摄到二维码图像如图6的(1)所示。在手机100采用本申请实施例提供的方法拍摄二维码的情况下,手机100拍摄到二维码图像如图6的(2)所示。可以看到,采用本申请实施例提供的方法拍摄到的二维码图像更加清晰。
此外,在图像识别率方面,在手机100未采用本申请实施例提供的方法拍摄二维码的情况下,型号1的手机100成功识别出二维码图像的识别率如图7的(1)所示。以翻腕扫码的次数20次为例,手机100在20次成功识别出二维码1的次数是16次(记为16/20),二维码1识别率是80%;手机100在20次成功识别出二维码2的次数是13次(记为13/20),二维码2识别率是65%;手机100在20次成功识别出二维码3的次数是10次(记为10/20),二维码3识别率是50%。在手机100采用本申请实施例提供的方法拍摄二维码的情况下,型号1的手机100成功识别出二维码图像的识别率如图7的(2)所示。以翻腕扫码的次数40次为例,手机100在40次成功识别出二维码1的次数是37次(记为37/40),二维码1识别率是92.5%;手机100在40次成功识别出二维码2的次数是38次(记为38/40),二维码2识别率是95%;手机100在40次成功识别出二维码3的次数是38次(记为38/40),二维码3识别率是95%。在手机100采用本申请实施例提供的方法拍摄二维码的情况下,型号2的手机100成功识别出二维码图像的识别率如图7的(3)所示。以翻腕扫码的次数20次为例,手机100在20次成功识别出二维码1的次数是20次(记为20/20),二维码1识别率是100%;手机100在20次成功识别出二维码2的次数是19次(记为19/20),二维码2识别率是95%;手机100在20次成功识别出二维码3的次数是19次(记为19/20),二维码3识别率是95%。
可见,本申请实施例提供的方法可提升二维码成功识别的识别率。
下面再结合上述图3所示的手机100的软件结构,示例性介绍翻腕扫描场景中手机100执行步骤的流程。如图8所示,本申请实施例提供的方法包括:
S801,智慧感知应用响应于翻腕事件,获取智慧感知信息。
翻腕事件是翻腕动作触发的事件。智慧感知应用可以接收其他模块上报的翻腕事件。例如,手机100的传感器驱动或传感器中枢(Sensor Hub)(或称为传感集线器)根据加速度数据和角速度数据识别翻腕动作。在识别到翻腕动作的情况下,手机100的传感器驱动或传感器中枢向智慧感知应用上报翻腕动作对应的翻腕事件。
S802,若智慧感知信息指示第一感知功能,智慧感知应用通知相机服务器第一感知功能对应的翻腕扫码事件。
第一感知功能是扫码功能。在智慧感知信息指示第一感知功能的情况下,智慧感知应用确定翻腕事件是翻腕扫码功能对应的翻腕扫码事件,并将翻腕扫码事件通知给相机服务器。
S803,相机服务器通知相机提供器翻腕扫码事件。
相机服务器作为智慧感知应用与相机提供器的接口,向相机提供器传递智慧感知应用通知的翻腕扫码事件。
S804,相机提供器响应于翻腕扫码事件,采用安全预览管线控制前置摄像头在预设对焦范围内对焦,获取前置摄像头在目标对焦位置采集的第一图像。
相机提供器响应于翻腕扫码事件,创建安全预览用例对象(如记为UsecaseSecurePreview)。安全预览用例对象采用安全预览管线调用算法自动对焦模块,自动对焦模块控制前置摄像头基于反差检测自动对焦算法在预设对焦范围内对焦,确定前置摄像头对焦到二维码的目标对焦位置。相机提供器获取前置摄像头在目标对焦位置采集的第一图像。
S805,相机提供器向智慧感知应用传输第一图像。
S806,智慧感知应用对第一图像中的二维码进行识别。
智慧感知应用对第一图像中的二维码进行解析,得到二维码的识别结果。二维码的识别结果可以是文本、网址、应用或小程序的链接(如共享单车小程序的链接、支付应用的链接)等。
S807,在二维码的识别结果指示支付应用的情况下,智慧感知应用调用支付应用,使手机100显示支付应用的付款界面。
在二维码的识别结果指示支付应用的情况下,智慧感知应用调用支付应用。支付应用进一步向其他进程(如显示管理器)发送付款界面显示请求,使手机100显示支付应用的付款界面。
需要说明的是,本申请技术方案中所使用的个人信息仅限于取得个人单独同意的信息,包括但不限于在用户使用该功能前,通知并提醒用户阅读相关用户协议(通知),并签署包括授权相关用户信息的该协议(授权)。
本申请另一些实施例中还提供了一种电子设备,包括:前置摄像头、存储器、处理器及存储在存储器上的计算机程序。前置摄像头为变焦摄像头,用于采集图像。当计算机程序被处理器执行时,电子设备可执行上述方法实施例中的各个功能或者步骤。当然,电子设备还可以包括其他硬件结构。例如,电子设备还包括传感器、通信模块等硬件结构。该电子设备的结构可以参考图2所示的手机100的结构。
本申请实施例还提供一种芯片系统,该芯片系统应用于电子设备。该芯片系统包括至少一个处理器和至少一个接口电路。处理器和接口电路可通过线路互联。例如,接口电路可用于从其它装置(例如存储器)接收信号。又例如,接口电路可用于向其它装置(例如处理器)发送信号。示例性的,接口电路可读取存储器中存储的计算机程序,并将该计算机程序发送给处理器。当计算机程序被处理器执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机可读存储介质,该计算机存储介质包括计算机程序,当计算机程序在上述电子设备上运行时,使得电子设备执行上述方法实施例中的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,当计算机程序在计算机上运行时,使得计算机执行上述方法实施例中各个功能或者步骤。例如,该计算机可以是上述电子设备。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种图像处理方法,其特征在于,应用于电子设备,所述电子设备包括前置摄像头,所述前置摄像头是变焦摄像头;所述方法包括:
在显示第一界面的过程中,检测到翻腕动作;
响应于所述翻腕动作,控制所述前置摄像头在预设对焦范围内对焦,其中,所述预设对焦范围表示所述前置摄像头的对焦位置的变化范围,所述预设对焦范围在所述前置摄像头的固有对焦范围之内,所述预设对焦范围涵盖了用户惯用的对焦位置,所述预设对焦范围设置在20厘米至40厘米;所述控制所述前置摄像头在预设对焦范围内对焦,包括:采用安全预览管线控制所述前置摄像头的对焦位置在所述预设对焦范围内变化;获取所述前置摄像头在所述预设对焦范围内采集的多个第二图像;根据所述多个第二图像的对比度确定目标对焦位置;
获取所述前置摄像头在所述目标对焦位置采集的第一图像,其中,所述目标对焦位置是图像的对比度为极大值或大于预设对比度的对焦位置;
识别所述第一图像;
根据所述第一图像的识别结果,显示第二界面。
2.根据权利要求1所述的方法,其特征在于,所述前置摄像头包括马达和镜头,所述马达与所述镜头连接,所述马达用于驱动所述镜头移动;采用安全预览管线控制所述前置摄像头的对焦位置在所述预设对焦范围内变化,包括:
采用安全预览管线控制所述前置摄像头的马达带动所述镜头在预设位置区间内移动;其中,所述前置摄像头的镜头在所述预设位置区间移动时,所述前置摄像头的对焦位置在预设对焦范围内变化。
3.根据权利要求1所述的方法,其特征在于,获取所述前置摄像头在所述预设对焦范围内采集的多个第二图像,包括:
在非预览状态下获取所述多个第二图像;其中,所述非预览状态表示不显示所述前置摄像头采集的图像。
4.根据权利要求1所述的方法,其特征在于,所述第一图像包括二维码;根据所述第一图像的识别结果,显示第二界面,包括:
根据所述二维码的识别结果,显示所述识别结果指示的第二界面。
5.根据权利要求4所述的方法,其特征在于,响应于所述翻腕动作,控制所述前置摄像头在预设对焦范围内对焦,包括:
响应于所述翻腕动作,获取智慧感知信息,其中,所述智慧感知信息用于指示所述翻腕动作触发的感知功能;
在所述智慧感知信息指示第一感知功能的情况下,控制所述前置摄像头在预设对焦范围内对焦,其中,所述第一感知功能为扫码功能。
6.根据权利要求1-5中任一项所述的方法,其特征在于,获取所述前置摄像头在目标对焦位置采集的第一图像,包括:
若在所述预设对焦范围内确定目标对焦位置,则获取所述前置摄像头在所述目标对焦位置采集的第一图像;
所述方法还包括:生成第一提示信息,所述第一提示信息用于提示已完成对焦。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
若在所述预设对焦范围内未确定目标对焦位置,则生成第二提示信息,所述第二提示信息用于提示用户移动所述前置摄像头,以使所述前置摄像头在所述预设对焦范围内确定所述目标对焦位置。
8.一种电子设备,其特征在于,包括前置摄像头、存储器、处理器及存储在存储器上的计算机程序,所述前置摄像头是变焦摄像头,所述前置摄像头用于采集图像;当所述处理器运行所述计算机程序时,使得所述电子设备执行权利要求1-7中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,存储有计算机程序,当所述计算机程序被电子设备运行时,使得所述电子设备执行权利要求1-7中任一项所述的方法。
10.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序被电子设备运行时,使得所述电子设备执行权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410398184.5A CN117998203B (zh) | 2024-04-03 | 2024-04-03 | 一种图像处理方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410398184.5A CN117998203B (zh) | 2024-04-03 | 2024-04-03 | 一种图像处理方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117998203A CN117998203A (zh) | 2024-05-07 |
CN117998203B true CN117998203B (zh) | 2024-09-06 |
Family
ID=90895670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410398184.5A Active CN117998203B (zh) | 2024-04-03 | 2024-04-03 | 一种图像处理方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117998203B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105007420A (zh) * | 2015-07-14 | 2015-10-28 | 广东欧珀移动通信有限公司 | 一种对焦方法及移动终端 |
CN117077703A (zh) * | 2023-09-14 | 2023-11-17 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112333380B (zh) * | 2019-06-24 | 2021-10-15 | 华为技术有限公司 | 一种拍摄方法及设备 |
CN114554000B (zh) * | 2020-11-20 | 2023-06-20 | 华为终端有限公司 | 摄像头调用方法、系统、电子设备及存储介质 |
CN115134517A (zh) * | 2021-03-29 | 2022-09-30 | 北京小米移动软件有限公司 | 拍摄控制方法、装置及存储介质 |
CN113727016A (zh) * | 2021-06-15 | 2021-11-30 | 荣耀终端有限公司 | 一种拍摄方法及电子设备 |
CN116055874B (zh) * | 2021-06-29 | 2023-10-20 | 荣耀终端有限公司 | 一种对焦方法和电子设备 |
CN118261595A (zh) * | 2021-08-06 | 2024-06-28 | 荣耀终端有限公司 | 支付方法及相关装置 |
-
2024
- 2024-04-03 CN CN202410398184.5A patent/CN117998203B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105007420A (zh) * | 2015-07-14 | 2015-10-28 | 广东欧珀移动通信有限公司 | 一种对焦方法及移动终端 |
CN117077703A (zh) * | 2023-09-14 | 2023-11-17 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117998203A (zh) | 2024-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4044580B1 (en) | Capturing method and electronic device | |
CN112333380B (zh) | 一种拍摄方法及设备 | |
US11785329B2 (en) | Camera switching method for terminal, and terminal | |
KR102381713B1 (ko) | 촬영 방법, 촬영 장치, 및 이동 단말 | |
CN108399349B (zh) | 图像识别方法及装置 | |
US20220020165A1 (en) | Method for Obtaining Depth Information and Electronic Device | |
CN116055874B (zh) | 一种对焦方法和电子设备 | |
CN113452898B (zh) | 一种拍照方法及装置 | |
CN110839128B (zh) | 拍照行为检测方法、装置及存储介质 | |
CN113660408B (zh) | 一种视频拍摄防抖方法与装置 | |
CN113824873A (zh) | 一种图像处理的方法及相关电子设备 | |
CN115209057A (zh) | 一种拍摄对焦方法及相关电子设备 | |
WO2023072088A1 (zh) | 对焦方法及装置 | |
CN115150542B (zh) | 一种视频防抖方法及相关设备 | |
CN117998203B (zh) | 一种图像处理方法、电子设备及存储介质 | |
CN115484383B (zh) | 拍摄方法及相关装置 | |
CN114302063B (zh) | 一种拍摄方法及设备 | |
CN114979458A (zh) | 一种图像的拍摄方法及电子设备 | |
CN116723382B (zh) | 一种拍摄方法及相关设备 | |
CN117425071B (zh) | 一种图像采集方法、电子设备及存储介质 | |
CN115150543B (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
CN116703742A (zh) | 识别模糊图像的方法和电子设备 | |
CN117041728A (zh) | 对焦方法及装置、电子设备、可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |