CN111510630A - 图像处理方法、装置及存储介质 - Google Patents

图像处理方法、装置及存储介质 Download PDF

Info

Publication number
CN111510630A
CN111510630A CN202010333546.4A CN202010333546A CN111510630A CN 111510630 A CN111510630 A CN 111510630A CN 202010333546 A CN202010333546 A CN 202010333546A CN 111510630 A CN111510630 A CN 111510630A
Authority
CN
China
Prior art keywords
image
target
parameters
parameter
shake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010333546.4A
Other languages
English (en)
Other versions
CN111510630B (zh
Inventor
王文东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010333546.4A priority Critical patent/CN111510630B/zh
Publication of CN111510630A publication Critical patent/CN111510630A/zh
Application granted granted Critical
Publication of CN111510630B publication Critical patent/CN111510630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction

Abstract

本申请公开了一种图像处理方法、装置及存储介质,应用于电子设备,所述电子设备包括第一摄像头,所述方法包括:通过所述第一摄像头获取第一图像;确定目标对象在所述第一图像中的眼球注视点;获取所述电子设备的目标电子防抖参数;确定与所述目标电子防抖参数对应的目标图像处理参数;依据所述目标图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第二图像。采用本申请实施例在拍摄图像时,能够实现以眼球注视点对图像进行裁剪,得到满足用户实际需求的防抖图像。

Description

图像处理方法、装置及存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法、装置及存储介质。
背景技术
随着电子设备(如手机、平板电脑等等)的大量普及应用,电子设备能够支持的应用越来越多,功能越来越强大,电子设备向着多样化、个性化的方向发展,成为用户生活中不可缺少的电子用品。
现在的拍照防抖主要有两种,光学防抖技术(optical image stabilization,OIS)和电子防抖技术(electric Image stabilization,EIS),该两种视频防抖技术在拍摄图像时,对图像的裁剪均以中心为基础来裁剪,但用户拍摄视频关注点并未一定为视频中心,因此,裁剪图像不一定满足用户需求。
发明内容
本申请实施例提供一种图像处理方法、装置及存储介质,能够实现以眼球注视点对图像进行裁剪,得到满足用户实际需求的防抖图像。
第一方面,本申请实施例提供一种图像处理方法,应用于电子设备,所述电子设备包括第一摄像头,所述方法包括:
通过所述第一摄像头获取第一图像;
确定目标对象在所述第一图像中的眼球注视点;
获取所述电子设备的目标电子防抖参数;
确定与所述目标电子防抖参数对应的目标图像处理参数;
依据所述目标图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第二图像。
第二方面,本申请实施例提供一种图像处理装置,应用于电子设备,所述电子设备包括第一摄像头,所述装置包括:第一获取单元、第一确定单元、第二获取单元、第二确定单元和处理单元,其中,
所述第一获取单元,用于通过所述第一摄像头获取第一图像;
所述第一确定单元,用于确定目标对象在所述第一图像中的眼球注视点;
所述第二获取单元,用于获取所述电子设备的目标电子防抖参数;
所述第二确定单元,用于确定与所述目标电子防抖参数对应的目标图像处理参数;
所述处理单元,用于依据所述目标图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第二图像。
第三方面,本申请实施例提供一种电子设备,该电子设备包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质用于存储计算机程序,其中,上述计算机程序被处理器执行,以实现如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例,具有如下有益效果:
可以看出,在本申请实施例中所描述的图像处理方法、装置及存储介质,应用于电子设备,电子设备包括第一摄像头,通过第一摄像头获取第一图像,确定目标对象在第一图像中的眼球注视点,获取电子设备的目标电子防抖参数,确定与目标电子防抖参数对应的目标图像处理参数,依据目标图像处理参数、眼球注视点对第一图像进行处理,得到第二图像,由于拍摄图像时,确定了用户关注该拍摄图像的眼球关注点,并基于电子防抖确定相应地图像处理参数,并以眼球注视点、图像处理参数对图像进行裁剪,得到满足用户实际需求的防抖图像。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的硬件结构示意图;
图2是本申请实施例提供的一种图像处理方法的软件架构图;
图3A是本申请实施例提供的一种图像处理方法的流程示意图;
图3B是本申请实施例提供的应用场景的演示示意图;
图3C是本申请实施例提供的另一应用场景的演示示意图;
图3D是本申请实施例提供的另一应用场景的演示示意图;
图3E是本申请实施例提供的数据交互演示示意图;
图3F是本申请实施例提供的基于四叉树的存储结构分割屏幕区域的演示示意图;
图3G是本申请实施例提供的眼球跟踪定位精度分布图的演示示意图;
图4是本申请实施例提供的一种图像处理方法的交互图;
图5是本申请实施例提供的一种电子设备的另一硬件结构示意图;
图6A是本申请实施例提供的一种图像处理装置的结构示意图;
图6B是本申请实施例提供的另一种图像处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
以下,对本申请中的部分用语进行解释说明,以便于本领域技术人员理解。
电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(例如智能手表、智能眼镜、智能手环、计步器等)、智能相机(如智能单反摄像机、高速摄像机)、计算设备或通信连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(UserEquipment,UE),移动台(Mobile Station,MS),终端设备(terminal device)等等。为方便描述,上面提到的设备统称为电子设备。
如图1所示,图1是本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器、存储器、信号处理器、收发器、显示屏、扬声器、麦克风、随机存取存储器(Random Access Memory,RAM)、摄像头、传感器和红外光(Infrared light source,IR)等等。其中,存储器、信号处理器、显示屏、扬声器、麦克风、RAM、摄像头、传感器、IR与处理器连接,收发器与信号处理器连接。
其中,显示屏可以是液晶显示器(Liquid Crystal Display,LCD)、有机或无机发光二极管(Organic Light-Emitting Diode,OLED)、有源矩阵有机发光二极体面板(ActiveMatrix/Organic Light Emitting Diode,AMOLED)等。
其中,该摄像头可以是普通摄像头、也可以是红外摄像,在此不作限定。该摄像头可以是前置摄像头或后置摄像头,在此不作限定。
其中,传感器包括以下至少一种:光感传感器、陀螺仪、红外接近传感器、指纹传感器、压力传感器等等。其中,光感传感器,也称为环境光传感器,用于检测环境光亮度。光线传感器可以包括光敏元件和模数转换器。其中,光敏元件用于将采集的光信号转换为电信号,模数转换器用于将上述电信号转换为数字信号。可选的,光线传感器还可以包括信号放大器,信号放大器可以将光敏元件转换的电信号进行放大后输出至模数转换器。上述光敏元件可以包括光电二极管、光电三极管、光敏电阻、硅光电池中的至少一种。
其中,处理器是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器内的软体程序和/或模块,以及调用存储在存储器内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个电子设备内的各个部分,通过运行或执行存储在存储器内的指令、程序、代码集或指令集,以及调用存储在存储器内的数据,执行电子设备的各种功能和处理数据。处理器可以包括一个或多个处理单元,例如:处理器可以包括中央处理器(Central Processing Unit,CPU)、应用处理器(application processor,AP)、调制解调处理器、图形处理器(graphicsprocessing unit,GPU)、图像信号处理器(image signal processor,ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor,DSP)、基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样,电子设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
处理器中可以设置存储器,用于存储指令和数据。在一些实施例中,处理器中的存储器为高速缓冲存储器。该存储器可以保存处理器刚用过或循环使用的指令或数据。如果处理器需要再次使用该指令或数据,可从所述存储器中直接调用。避免重复存取,减少处理器的等待时间,提高系统效率。
处理器可以包括一个或多个接口,例如集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuit sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronousreceiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processorinterface,MIPI),通用输入输出(general-purpose input/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serialbus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。处理器可以包含多组I2C接口,通过不同的I2C接口可以分别耦合触摸传感器,充电器,闪光灯,摄像头等。例如:处理器可以通过I2C接口耦合触摸传感器,使处理器与触摸传感器通过I2C接口通信,实现电子设备的触摸功能。
I2S接口可以用于音频通信。处理器可以包含多组I2S接口,通过I2S接口与音频模块耦合,实现处理器与音频模块之间的通信。音频模块可以通过I2S接口向无线通信模块传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。音频模块与无线通信模块可以通过PCM接口耦合,具体可以通过PCM接口向无线通信模块传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。UART接口通常被用于连接处理器与无线通信模块。例如:处理器通过UART接口与无线通信模块中的蓝牙模块通信,实现蓝牙功能。音频模块可以通过UART接口向无线通信模块传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器与显示屏、摄像头等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(display serialinterface,DSI)等。在一些实施例中,处理器和摄像头通过CSI接口通信,实现电子设备的拍摄功能。处理器和显示屏通过DSI接口通信,实现电子设备的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器与摄像头、显示屏、无线通信模块、音频模块、传感器模块等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口是符合USB标准规范的接口,具体可以是Mini USB接口、Micro USB接口、USB Type C接口等。USB接口可以用于连接充电器为电子设备充电,也可以用于电子设备与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,上述处理器在实际产品中可以映射为系统级芯片(System on aChip,SOC),上述处理单元和/或接口也可以不集成到处理器中,单独通过一块通信芯片或者电子元器件实现对应的功能。上述各模块间的接口连接关系,只是示意性说明,并不构成对电子设备的结构的唯一限定。
存储器可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选地,该存储器包括非瞬时性计算机可读介质(non-transitorycomputer-readable storage medium)。存储器可用于存储指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等,该操作系统可以是安卓(Android)系统(包括基于Android系统深度开发的系统)、苹果公司开发的IOS系统(包括基于IOS系统深度开发的系统)或其它系统。存储数据区还可以存储电子设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
其中,处理器可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器中。
其中,存储器用于存储软体程序和/或模块,处理器通过运行存储在存储器的软件程序和/或模块,从而执行电子设备的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的软体程序等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中,IR用于照射人眼,在人眼上产生亮斑(glint),摄像头用于拍摄人眼,得到包括亮斑和瞳孔(pupil)的图像。
如图2所示,图2是本申请实施例提供的一种图像处理方法的软件架构图。该软件架构图包括四层,其中,第一层为应用层,其可以包括电子书、浏览器、启动器、系统、解锁、移动支付、兴趣点跟踪等应用。第二层可以包括眼球追踪服务(OEyeTrackerService),其具体包括:眼球追踪授权(OEyeTrackerAuthentication)、眼球追踪策略(OEyeTrackerStrategy)、眼球追踪算法(OEyeTrackerAlgo)和眼球追踪参数(OEyeTrackerParams)等模块,其中,OEyeTrackerService通过眼球追踪SDK(OEyeTrackerSDK)接口与第一层的应用连接起来;第二层还包括相机NDK界面(CameraNDKInterface)、相机服务(CameraService),CameraNDKInterface与OEyeTrackerService连接,CameraService与CameraNDKInterface相互连接。第三层为硬件抽象层,其可以包括谷歌HAL界面(Google HAL Interface)、高通HAL界面(Qualcomm HALInterface)、电子防抖模块、Cam X、Chi-cdk等,高通HAL界面(Qualcomm HAL Interface)可以连接电子防抖模块,Google HAL Interface与第二层的CameraService连接,QualcommHAL Interface与Google HAL Interface连接,Cam X分别与Qualcomm HAL Interface和Chi-cdk连接,第四层为底层驱动,其包括RGB传感器(RGB sensor)、数字信号处理器(DSP)、红外传感器(IR sensor)、激光(Laser)和发光二极管(LED)等,IR sensor与第三层的Cam X连接。OEyeTrackerService与OEyeTrackerSDK之间的连接、CameraService与CameraNDKInterface之间的连接以及Google HAL Interface与CameraService之间的连接均通过Binder架构。
其中,OEyeTrackerSDK负责为普通应用提供获取注视点以及输入的api,形式为jar/aar包。OEyeTrackerService负责管理注视点算法、注视点后处理、输入处理以及鉴权和参数设置。EyeTrackerAlgo是眼球追踪的核心算法,包括本申请中的确定注视点函数的算法。OEyeTrackerStrategy与算法后处理相关,如滤波、注视点跳动、注视点转监听、注视点输入。OEyeTrackerAuthentication回调各模块,负责鉴权请求者是否被允许。OEyeTrackerParam负责解析配置和热更新配置。电子防抖模块用于实现电子防抖功能,其原理是将CCD先固定在一个能上下左右移动的支架上,通过陀螺仪感应相机抖动的方向及幅度,然后传感器将这些数据传送至处理器进行筛选、放大,计算出可以抵消抖动的CCD移动量。
眼球注视点为用户的眼球注视电子设备所在平面的注视点位置,眼球追踪软件开发工具包接口是电子设备为眼球追踪应用提供的软件开发工具包(software developmentkit,SDK)接口,负责为眼球追踪应用提供获取注视点以及输入的应用程序接口(application programming interface,API)接口。眼球追踪服务还可通过照相机原生开发工具包(Native Development Kit,NDK)接口调用相机应用,照相机应用可以调用第一摄像头,通过第一摄像头采集第一图像。
如图3A所示,图3A是本申请实施例提供的一种图像处理方法的流程示意图,应用于如图1或图2所示的电子设备,所述方法包括:
301、通过所述第一摄像头获取第一图像。
其中,电子设备可以包括第一摄像头,第一摄像头可以为后置摄像头或者侧置摄像头或者前置摄像头,第一摄像头还可以为单摄像头、双摄像头或者多摄像头,单摄像头可以为红外摄像头、可见光摄像头(普通视角摄像头或者广角摄像头),双摄像头可以为普通视角摄像头+广角摄像头,或者,红外摄像头+可见光摄像头。
具体实现中,电子设备在接收到拍摄指令的情况下,可以通过第一摄像头获取第一图像,第一图像可以为一张拍摄图像或者视频中的任一帧图像。在拍摄第一图像的过程中,还可以采用防抖技术实现拍摄,得到第一图像,即第一图像可以为采用防抖技术得到的图像,防抖技术可以为以下至少一种:电子防抖技术或者光学防抖技术。如图3B所示,电子设备可以通过第一摄像头实现拍摄,得到第一图像,并将其在显示屏上进行显示。
具体实现中,在第一摄像头为前置摄像头时,如图3C所示,目标对象则可以在进行自拍,通过第一摄像头既可以获取第一图像,又可以获取目标对象注视第一图像中的眼球注视点。
具体实现中,在第一摄像头不为前置摄像头时,电子设备还可以包括第二摄像头,第二摄像头可以为前置摄像头,第二摄像头可以用于实现眼球跟踪功能。如图3D所示,通过第一摄像头对被拍摄对象进行拍摄,得到第一图像,并将第一图像展示在显示屏上,而目标对象则是注视着第一图像,则可以在第一图像中确定目标对象对应的眼球注视点。
可选地,上述步骤301,通过所述第一摄像头获取第一图像,可以包括如下步骤:
11、获取目标环境参数;
12、确定与所述目标环境参数对应的目标拍摄参数;
13、通过所述第一摄像头依据所述目标拍摄参数进行拍摄,得到所述第一图像。
其中,本申请实施例中,环境参数可以为以下至少一种:天气、温度、湿度、磁场干扰参数、海拔、地理位置、环境光线强度等等,在此不做限定。环境参数可以由环境传感器进行采集,环境传感器可以为以下至少一种:气象传感器、温度传感器、湿度传感器、磁场检测传感器、指南针、定位传感器、环境光传感器等等,在此不做限定。拍摄参数可以为以下至少一种:感光度、曝光时长、白平衡参数、背景虚化参数、补光灯工作参数等等,在此不做限定。补光灯工作参数可以为以下至少一种:补光灯工作电流、补光灯工作电压、补光灯工作功率、补光灯工作频率、补光灯颜色、补光灯亮度、补光灯的补光方向等等,在此不做限定。
具体实现中,电子设备可以获取目标环境参数,电子设备中还可以预先存储环境参数与拍摄参数之间的映射关系,确定所述目标环境参数对应的目标拍摄参数,控制第一摄像头依据目标拍摄参数进行拍摄,可以得到第一图像,如此,可以得到与环境相宜的拍摄图像。
302、确定目标对象在所述第一图像中的眼球注视点。
其中,电子设备可以通过第二摄像头确定目标对象在第一图像中的眼球注视点,即通过第二摄像头对目标对象的人眼进行眼球跟踪,可以得到目标对象关注第一图像中的眼球注视点。
303、获取所述电子设备的目标电子防抖参数。
其中,电子设备中可以设置陀螺仪(GYRO),通过陀螺仪可以检测电子设备的抖音参数,进而,依据抖动参数可以确定出相应的防抖参数。电子设备中可以预先电子防抖模块,目标防抖参数可以为以下至少一种:抖动补偿参数、电子防抖模块的工作电压、电子防抖模块的工作电流、电子防抖模块的工作功率等等,在此不做限定,其中,抖动补偿参数可以用于抵消抖动的电荷耦合器件(charge coupled device,CCD)移动量。
在一个可能的示例中,上述步骤303,获取所述电子设备的目标防抖参数,可以包括如下步骤:
31、确定所述电子设备的目标抖动参数;
32、按照预设的抖动参数与防抖参数之间的映射关系,确定所述目标抖动参数对应的所述目标防抖参数。
其中,本申请实施例中,抖动参数可以为陀螺仪检测数据,抖动参数可以为以下至少一种:抖动方向、抖动速度和抖动偏移量等等,在此不做限定。抖动参数在一定程度上可以反映电子设备的抖动程度。
具体实现中,电子设备可以通过陀螺仪确定该电子设备的目标抖动参数,电子设备中还可以预先存储预设的抖动参数与防抖参数之间的映射关系,进而,可以通过该映射关系确定目标抖动参数对应的目标防抖参数。
在一个可能的示例中,上述步骤31之前,还可以包括如下步骤:
A1、确定所述电子设备的抖动偏移量;
A2、在所述抖动偏移量小于预设阈值时,执行所述确定所述电子设备的目标抖动参数。
其中,预设阈值可以由用户自行设置或者系统默认。具体实现中,电子设备可以通过陀螺仪确定该电子设备的抖动偏移量,抖动偏移量可以用于表述电子设备的抖动程度,进而,在抖动偏移量小于预设阈值时,可以执行步骤31,如此,可以在抖动较小时,实现相应的电子防抖。
进一步地,上述步骤A1之后,还可以包括如下步骤:
A3、在所述抖动偏移量大于或等于所述预设阈值时,获取预设图像处理参数;
A4、依据所述预设图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第三图像。
其中,预设图像处理参数可以预先保存在电子设备中,预设图像处理参数可以为以下至少一种:图像增强参数、白平衡参数、美颜参数、图像裁剪参数等等,在此不做限定,图像裁剪参数可以为以下至少一种:图像裁剪尺寸、图像裁剪区域、图像裁剪边缘轮廓形状等等,在此不做限定。具体实现中,在抖动偏移量大于或等于预设阈值时,则可以认为用户在拍摄动态图像或者运动图像,进而,可以不对电子设备进行防抖操作,而是可以直接依据预设图像处理参数、眼球注视点对所述第一图像进行处理,得到第三图像,如此,可以裁剪到用户关注的运动图像或者动态图像。
在一个可能的示例中,上述步骤A1,确定所述电子设备的抖动偏移量,可以包括如下步骤:
A11、获取所述电子设备在预设时间段的抖动变化曲线,所述抖动变化曲线的横轴为时间,纵轴为幅值;
A12、对所述抖动变化曲线进行采样,得到多个幅值;
A13、依据所述多个幅值确定平均幅值;
A14、按照预设的幅值与偏移量之间的映射关系,确定所述平均幅值对应的第一偏移量;
A15、依据所述多个幅值进行均方差运算,得到目标均方差;
A16、按照预设的均方差与调整系数之间的映射关系,确定所述目标均方差对应的目标调整系数;
A17、依据所述目标调整系数对所述第一偏移量进行调整,得到所述电子设备的抖动偏移量。
其中,上述预设时间段可以预先设置或者系统默认,预设时间段可以为接收到拍摄指令之后的一段时间。电子设备中还可以预先存储预设的幅值与偏移量之间的映射关系,以及预设的均方差与调整系数之间的映射关系。
具体实现中,抖动变化曲线可以通过陀螺仪进行采集,抖动变化曲线的横轴为时间,纵轴为幅值,幅值可以用于表示抖动幅度,电子设备可以对该抖动变化曲线进行采样,得到多个幅值,具体的采样方式可以为每隔预设时间间隔进行采样,或者,随机采样,预设时间间隔可以预先设置或者系统默认。
进而,电子设备可以依据该多个幅值确定平均幅值,并且可以按照预设的幅值与偏移量之间的映射关系确定该平均幅值对应的第一偏移量,另外,电子设备还可以依据多个幅值进行均方差运算,得到目标均方差,均方差在一定程度上反映了抖动的稳定程度,抖动的稳定程度从侧面反映了抖动的稳定性,因此,电子设备可以按照预设的均方差与调整系数之间的映射关系,确定目标均方差对应的目标调整系数。
本申请实施例中,调整系数的取值范围可以为-0.15~0.15之间,当然,取值范围也可以由用户自行设置或者系统自行更新,进一步地,电子设备可以依据目标调整系数对第一偏移量进行调整,得到抖动偏移量,抖动偏移量的具体计算方式可以参照如下公式:
抖动偏移量=(1+目标调整系数)*第一偏移量
如此,可以通过幅值初步确定偏移量,并且可以根据抖动稳定性(均方差),对偏移量进行调整以达到精准确定抖动偏移程度的目的,有助于精准检测电子设备的抖动情况。
304、确定与所述目标电子防抖参数对应的目标图像处理参数;
其中,本申请实施例中,图像处理参数可以为以下至少一种:图像增强参数、去模糊算法、去模糊算法的控制参数、图像裁剪参数等等,在此不做限定。其中,去模糊算法的控制参数用于调节去模糊程度,图像裁剪参数可以为以下至少一种:图像裁剪尺寸、图像裁剪区域、图像裁剪边缘轮廓形状等等,在此不做限定。图像增强参数可以为以下至少一种:图像增强算法、图像增强算法控制参数等等,在此不做限定。图像增强算法可以为以下至少一种:直方图均衡化、小波去噪、灰度拉伸等等,在此不做限定。图像增强算法控制参数可以理解为用于控制图像增强算法的图像增强程度。
在一个可能的示例中,上述步骤304,确定与所述目标电子防抖参数对应的目标图像处理参数,可以按照如下方式实施:
按照预设的电子防抖参数与图像处理参数之间的映射关系,确定所述目标电子防抖参数对应的所述目标图像处理参数。
其中,电子设备中可以预先存储预设的电子防抖参数与图像处理参数之间的映射关系,该映射关系可以如下所示:
电子防抖参数 图像处理参数
电子防抖参数1 图像处理参数1
电子防抖参数2 图像处理参数2
电子防抖参数n 图像处理参数n
其中,通过大量试验,可以得到电子防抖参数与图像处理参数之间的映射关系,例如,电子防抖参数1对应图像处理参数1。具体实现中,电子设备依据确定上述映射关系,可以确定目标电子防抖参数对应的目标图像处理参数,如此,可以依据电子防抖情况,实现与之相应的图像处理参数。
305、依据所述目标图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第二图像。
其中,电子设备可以将眼球注视点作为一个基准点,进而,依据目标图像处理参数对第一图像处理进行处理,得到第二图像,基准点可以为第二图像的中心、质心或者重心,在此不做限定。
在一个可能的示例中,所述目标图像处理参数包括图像裁剪参数和图像增强参数,上述步骤305,依据所述目标图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第二图像,可以包括如下步骤:
B51、以所述眼球注视点为中心,依据所述图像裁剪参数对所述第一图像进行裁剪,得到裁剪区域图像;
B52、通过所述图像增强参数对所述裁剪区域图像进行图像增强,得到所述第二图像。
其中,在目标图像处理参数包括图像裁剪参数和图像增强参数时,电子设备可以以眼球注视点为中心,依据图像裁剪参数对所述第一图像进行裁剪,得到裁剪区域图像,并通过图像增强参数对裁剪区域图像进行图像增强,得到第二图像,如此,可以实现以眼球注视点对图像进行裁剪,得到满足用户实际需求的更为清晰的防抖图像。
其中,如图3E所示,电子设备运行相机应用,启动相机服务和眼球追踪服务,相机应用可向眼球追踪服务请求获得拍摄者注视显示屏上的注视位置,眼球追踪服务请求数据,通过摄像头采集图像,得到第一图像,将第一图像反馈给眼球跟踪算法,由眼球跟踪算法确定第一图像中的眼球注视位置,将眼球注视位置反馈给相机应用,相机应用通过相机服务、以及硬件抽象模块通知EIS电子防抖模块确定相应的防抖参数,具体地,由EIS电子防抖模块根据抖动参数、防抖参数确定相应的目标防抖参数,再由相机应用依据目标防抖参数确定目标图像处理参数,由相机应用通过目标图像处理参数、眼球注视位置对第一图像进行处理,得到第二图像,并可以在显示屏上展示第二图像。
在一个可能的示例中,上述步骤301,通过所述第一摄像头获取第一图像之前,还可以包括如下步骤:
C1、在屏幕上确定N个注视点,所述N为大于1的整数;
C2、确定所述N个注视点中每一注视点对应的眼球跟踪定位对应的精度值,得到N个精度值;
C3、确定所述N个精度值中每一精度值对应的插值参数,得到N个插值参数;
C4、依据所述N个插值参数对所述屏幕的每一像素点进行插值运算,得到所述屏幕对应的眼球跟踪定位精度分布图;
则,上述步骤305,依据所述目标图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第二图像,包括:
D51、获取所述眼球注视点对应的目标眼球跟踪定位精度;
D52、按照预设的眼球跟踪定位精度与微调参数之间的映射关系,确定所述目标眼球跟踪定位精度对应的目标微调参数;
D53、根据所述目标微调参数对所述目标图像处理参数进行调节,得到最终图像处理参数;
D54、依据所述最终图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第二图像。
其中,插值参数可以为以下至少一种:插值算法、插值算法对应插值控制参数、插值区域参数等等,在此不做限定。其中,插值算法可以为以下至少一种:线性插值算法、非线性插值算法、双线性插值算法、最邻近插值算法、三次多项式插值法等等,在此不做限定,插值算法对应的插值控制参数可以理解为插值算法对应的控制参数,用于调节插值程度的调节参数,插值区域参数可以理解为在具体哪个区域范围内进行插值,插值区域参数可以包括以下至少一种:区域形状、区域位置、区域面积等等,在此不做限定。
具体实现中,由于每一注视点对应一个眼球(瞳孔)实际关注位置,以及由眼球跟踪算法计算的预测关注位置,实际关注位置和预测关注位置之间有一定的偏差,该偏差决定了眼球跟踪定位对应的精度值,因此,本申请实施例中,电子设备可以确定N个注视点中每一注视点对应的眼球跟踪定位对应的精度值,得到N个精度值。
另外,具体实现中,由于N个精度值中每一精度值对应的位置不一定或者以及每一精度值大小不一样,则插值参数也不一样,因此,可以确定N个精度值中每一精度值对应的插值参数,得到N个插值参数,N个插值参数中每一插值参数可以负责为一个独立区域进行插值运算,N个插值参数则可以实现对整个屏幕进行插值运算,从而,得到屏幕对应的眼球跟踪定位精度分布图,例如,具体实现中,电子设备可以采用四叉树的存储结构分割屏幕区域,并可以对每个区域内的定位精度值进行双线性插值运算。
进一步地,电子设备中可以预先存储预设的眼球跟踪定位精度与微调参数之间的映射关系,进而,电子设备可以获取眼球注视点对应的目标眼球跟踪定位精度,并按照预设的眼球跟踪定位精度与微调参数之间的映射关系,确定目标眼球跟踪定位精度对应的目标微调参数,本申请实施例中,微调参数的取值范围可以为-0.1~0.1之间,进而,可以根据目标微调参数对目标图像处理参数进行调节,得到最终图像处理参数,即最终图像处理参数=(1+目标微调参数)*目标图像处理参数,最后,依据最终图像处理参数、眼球注视点对第一图像进行处理,得到第二图像,如此,可以依据眼球跟踪精度,尽可能地实现以眼球注视点、图像处理参数对图像进行裁剪,得到满足用户实际需求的防抖图像。
在一个可能的示例中,上述步骤C2,确定所述N个注视点中每一注视点对应的眼球跟踪定位对应的精度值,可以包括如下步骤:
C21、确定注视点i对应的瞳孔注视的第一坐标位置,所述注视点i为所述N个注视点中的任一注视点;
C22、确定所述注视点i对应的由预先存储的眼球跟踪算法确定的第二坐标位置;
C23、根据所述第一坐标位置和所述第二坐标位置确定所述注视点i对应的眼球跟踪定位对应的精度值。
其中,电子设备中可以预先存储眼球跟踪算法,眼球跟踪算法用于实现眼球定位,以注视点i为例,注视点i为N个注视点中的任一注视点,电子设备可以确定注视点i对应的瞳孔注视的第一坐标位置,即注视点i的第一坐标位置(实际注视位置),电子设备还可以通过预先存储的眼球跟踪算法确定注视点i对应的第二坐标位置(预测注视位置),进而,可以根据第一坐标位置和第二坐标位置确定注视点i对应的眼球跟踪定位对应的精度值,例如,可以计算第一坐标位置与第二坐标位置之间的目标欧式距离,按照预设的欧式距离与精度值之间的映射关系,确定目标欧式距离对应的精度值,如此,可以确定实际注视位置与由眼球跟踪算法预测的注视位置之间的精度值。
具体实现中,电子设备可以基于注视点的位置为每一注视点规划一个独立区域,以便于后续依据该注视点对应的插值参数进行插值运算,如图3F所示,以3个注视点为例(注视点1、注视点2和注视点3),采用四叉树的存储结构分割屏幕区域,当然,还可以增加注视点,每增加一个注视点,则可以依据注视点所在的位置划分区域。实际应用中,在存在多个注视点时,可以对多个注视点进行编号,依据编号顺序进行区域划分。
在一个可能的示例中,上述步骤C3,确定所述N个精度值中每一精度值对应的插值参数,得到N个插值参数,可以包括如下步骤:
C31、获取精度值j对应的眼球与所述屏幕之间的目标屏幕状态参数,所述精度值j为所述N个精度值中的任一精度值;
C32、按照预设的屏幕状态参数与插值参数之间的映射关系,确定所述目标屏幕状态参数对应的插值参数j。
其中,本申请实施例中,屏幕状态参数可以为以下至少一种:屏幕尺寸大小、屏幕状态、注视点与用户瞳孔之间的距离、注视点与用户瞳孔之间的角度等等,在此不做限定。其中,屏幕状态可以为横屏状态或者竖屏状态。
具体实现中,以精度值j为例,精度值j为N个精度值中的任一精度值。电子设备可以获取精度值j对应的眼球与屏幕之间的目标屏幕状态参数,电子设备中还可以预先存储预设的屏幕状态参数与插值参数之间的映射关系,进而,可以按照预设的屏幕状态参数与插值参数之间的映射关系,确定目标屏幕状态参数对应的插值参数j,以此类推,可以确定每一精度值对应的插值参数。
在一个可能的示例中,上述步骤C4,依据所述N个插值参数对所述屏幕的每一像素点进行插值运算,得到所述屏幕对应的眼球跟踪定位精度分布图,可以包括如下步骤:
C41、确定所述N个插值参数中每一插值参数对应的插值区域,得到N个待插值区域,所述N个待插值区域涵盖所述屏幕的每一像素点;
C42、根据所述N个插值参数、所述N个精度值对所述N个待插值区域进行插值运算,得到所述屏幕对应的眼球跟踪定位精度分布图。
其中,电子设备可以确定N个插值参数中每一插值参数对应的待插值区域,得到N个待插值区域,该待插值区域可以预先规划,每一待插值区域对应一个注视点,也可以将以N个注视点中每一注视点一定范围内的区域作为待插值区域,进而,可以根据N个插值参数、N个精度值对N个待插值区域进行插值运算,得到屏幕对应的眼球跟踪定位精度分布图,即N个待插值区域可以以该待插值区域对应的注视点的精度值为基准,并以其对应的插值参数进行插值运算,可以快速生成整个屏幕对应的眼球跟踪定位精度分布图。
具体实现中,电子设备可以获取至少一个精度阈值,并且给予该至少一个精度阈值,将眼球跟踪定位精度分布图划分多个精度等级区域,每一精度等级区域可以对应一个精度等级标签,每一精度等级区域也可以对应一种显示颜色。进一步地,电子设备中还可以预先存储预设的应用与精度等级之间的映射关系,进而,可以确定每一精度等级区域对应的应用,或者,电子设备中还可以预先存储预设的功能与精度等级之间的映射关系,进而,可以确定每一精度等级区域对应的功能,如此,可以依据不同区域的精度,实现不同应用或者功能的眼球跟踪定位,有助于实现精准眼球跟踪定位功能,提升了用户体验。
举例说明下,以2个精度阈值为例,如图3G所示,通过2个精度阈值可以将屏幕区域划分为低精度等级区域、中精度等级区域和高精度等级区域。
可以看出,在本申请实施例中所描述的图像处理方法,应用于电子设备,电子设备包括第一摄像头,一方面可以在抖动较小时,实现相应的电子防抖。
另一方面,在抖动偏移量大于或等于预设阈值时,则可以认为用户在拍摄动态图像或者运动图像,进而,可以不对电子设备进行防抖操作,而是可以直接依据预设图像处理参数、眼球注视点对所述第一图像进行处理,得到第三图像,如此,可以裁剪到用户关注的运动图像或者动态图像。
与上述图3A所示的实施例一致地,请参阅图4,图4是本申请实施例提供的一种图像处理方法的流程示意图,如图所示,应用于如图1或图2所示的电子设备,所述电子设备包括第一摄像头,本图像处理方法包括:
401、通过所述第一摄像头获取第一图像。
402、确定目标对象在所述第一图像中的眼球注视点。
403、确定所述电子设备的抖动偏移量。
404、在所述抖动偏移量小于预设阈值时,确定所述电子设备的目标抖动参数。
405、按照预设的抖动参数与防抖参数之间的映射关系,确定所述目标抖动参数对应的目标防抖参数。
406、确定与所述目标电子防抖参数对应的目标图像处理参数。
407、依据所述目标图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第二图像。
408、在所述抖动偏移量大于或等于所述预设阈值时,获取预设图像处理参数。
409、依据所述预设图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第三图像。
其中,上述步骤401-步骤409的具体描述可以参照如图3A所描述的图像处理方法的相应步骤,在此不再赘述。
可以看出,在本申请实施例中所描述的图像处理方法,应用于电子设备,电子设备包括第一摄像头,通过第一摄像头获取第一图像,确定目标对象在第一图像中的眼球注视点,获取电子设备的目标电子防抖参数,确定与目标电子防抖参数对应的目标图像处理参数,依据目标图像处理参数、眼球注视点对第一图像进行处理,得到第二图像,由于拍摄图像时,确定了用户关注该拍摄图像的眼球关注点,并基于电子防抖确定相应地图像处理参数,并以眼球注视点、图像处理参数对图像进行裁剪,得到满足用户实际需求的防抖图像。
与上述实施例一致地,请参阅图5,图5是本申请实施例提供的一种电子设备的结构示意图,如图所示,该电子设备包括处理器、存储器、第一摄像头、通信接口以及一个或多个程序,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,本申请实施例中,上述程序包括用于执行以下步骤的指令:
通过所述第一摄像头获取第一图像;
确定目标对象在所述第一图像中的眼球注视点;
获取所述电子设备的目标电子防抖参数;
确定与所述目标电子防抖参数对应的目标图像处理参数;
依据所述目标图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第二图像。
可以看出,在本申请实施例中所描述的电子设备,电子设备包括第一摄像头,通过第一摄像头获取第一图像,确定目标对象在第一图像中的眼球注视点,获取电子设备的目标电子防抖参数,确定与目标电子防抖参数对应的目标图像处理参数,依据目标图像处理参数、眼球注视点对第一图像进行处理,得到第二图像,由于拍摄图像时,确定了用户关注该拍摄图像的眼球关注点,并基于电子防抖确定相应地图像处理参数,并以眼球注视点、图像处理参数对图像进行裁剪,得到满足用户实际需求的防抖图像。
在一个可能的示例中,在所述确定与所述目标电子防抖参数对应的目标图像处理参数方面,上述程序包括用于执行以下步骤的指令:
按照预设的电子防抖参数与图像处理参数之间的映射关系,确定所述目标电子防抖参数对应的所述目标图像处理参数。
在一个可能的示例中,所述目标图像处理参数包括图像裁剪参数和图像增强参数,在所述依据所述目标图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第二图像方面,上述程序包括用于执行以下步骤的指令:
以所述眼球注视点为中心,依据所述图像裁剪参数对所述第一图像进行裁剪,得到裁剪区域图像;
通过所述图像增强参数对所述裁剪区域图像进行图像增强,得到所述第二图像。
在一个可能的示例中,在所述获取所述电子设备的目标防抖参数方面,上述程序包括用于执行以下步骤的指令:
确定所述电子设备的目标抖动参数;
按照预设的抖动参数与防抖参数之间的映射关系,确定所述目标抖动参数对应的所述目标防抖参数。
在一个可能的示例中,上述程序还包括用于执行以下步骤的指令:
确定所述电子设备的抖动偏移量;
在所述抖动偏移量小于预设阈值时,执行所述确定所述电子设备的目标抖动参数。
在一个可能的示例中,上述程序还包括用于执行以下步骤的指令:
在所述抖动偏移量大于或等于所述预设阈值时,获取预设图像处理参数;
依据所述预设图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第三图像。
在一个可能的示例中,在所述确定所述电子设备的抖动偏移量方面,上述程序包括用于执行以下步骤的指令:
获取所述电子设备在预设时间段的抖动变化曲线,所述抖动变化曲线的横轴为时间,纵轴为幅值;
对所述抖动变化曲线进行采样,得到多个幅值;
依据所述多个幅值确定平均幅值;
按照预设的幅值与偏移量之间的映射关系,确定所述平均幅值对应的第一偏移量;
依据所述多个幅值进行均方差运算,得到目标均方差;
按照预设的均方差与调整系数之间的映射关系,确定所述目标均方差对应的目标调整系数;
依据所述目标调整系数对所述第一偏移量进行调整,得到所述电子设备的抖动偏移量。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图6A是本申请实施例中所涉及的图像处理装置600的功能单元组成框图。该图像处理装置600,应用于电子设备,所述电子设备包括第一摄像头,所述装置600包括:第一获取单元601、第一确定单元602、第二获取单元603、第二确定单元604和处理单元605,其中,所述第一获取单元601,用于通过所述第一摄像头获取第一图像;
所述第一确定单元602,用于确定目标对象在所述第一图像中的眼球注视点;
所述第二获取单元603,用于获取所述电子设备的目标电子防抖参数;
所述第二确定单元604,用于确定与所述目标电子防抖参数对应的目标图像处理参数;
所述处理单元605,用于依据所述目标图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第二图像。
可以看出,在本申请实施例中所描述的图像处理装置,应用于电子设备,电子设备包括第一摄像头,通过第一摄像头获取第一图像,确定目标对象在第一图像中的眼球注视点,获取电子设备的目标电子防抖参数,确定与目标电子防抖参数对应的目标图像处理参数,依据目标图像处理参数、眼球注视点对第一图像进行处理,得到第二图像,由于拍摄图像时,确定了用户关注该拍摄图像的眼球关注点,并基于电子防抖确定相应地图像处理参数,并以眼球注视点、图像处理参数对图像进行裁剪,得到满足用户实际需求的防抖图像。
在一个可能的示例中,在所述确定与所述目标电子防抖参数对应的目标图像处理参数方面,所述第二确定单元604具体用于:
按照预设的电子防抖参数与图像处理参数之间的映射关系,确定所述目标电子防抖参数对应的所述目标图像处理参数。
在一个可能的示例中,所述目标图像处理参数包括图像裁剪参数和图像增强参数,在所述依据所述目标图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第二图像方面,所述处理单元605具体用于:
以所述眼球注视点为中心,依据所述图像裁剪参数对所述第一图像进行裁剪,得到裁剪区域图像;
通过所述图像增强参数对所述裁剪区域图像进行图像增强,得到所述第二图像。
在一个可能的示例中,在所述获取所述电子设备的目标防抖参数方面,所述第二获取单元603具体用于:
确定所述电子设备的目标抖动参数;
按照预设的抖动参数与防抖参数之间的映射关系,确定所述目标抖动参数对应的所述目标防抖参数。
进一步地,在一个可能的示例中,如图6B所示,图6B为图6A所示的图像处理装置的又一变型结构,其与图6A相比较,还可以包括:第三确定单元606,具体如下:
所述第三确定单元606,用于确定所述电子设备的抖动偏移量;
由所述第二获取单元603在所述抖动偏移量小于预设阈值时,执行所述确定所述电子设备的目标抖动参数。
进一步地,在一个可能的示例中,具体如下:
所述第二获取单元603还具体用于:在所述抖动偏移量大于或等于所述预设阈值时,获取预设图像处理参数;
所述处理单元605,用于依据所述预设图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第三图像。
进一步地,在一个可能的示例中,在所述确定所述电子设备的抖动偏移量方面,所述第三确定单元606具体用于:
获取所述电子设备在预设时间段的抖动变化曲线,所述抖动变化曲线的横轴为时间,纵轴为幅值;
对所述抖动变化曲线进行采样,得到多个幅值;
依据所述多个幅值确定平均幅值;
按照预设的幅值与偏移量之间的映射关系,确定所述平均幅值对应的第一偏移量;
依据所述多个幅值进行均方差运算,得到目标均方差;
按照预设的均方差与调整系数之间的映射关系,确定所述目标均方差对应的目标调整系数;
依据所述目标调整系数对所述第一偏移量进行调整,得到所述电子设备的抖动偏移量。
需要说明的是,第一确定单元602、第二获取单元603、第二确定单元604、处理单元605和第三确定单元606均可通过处理器实现,第一获取单元601可以通过第一摄像头实现。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法,其特征在于,应用于电子设备,所述电子设备包括第一摄像头,所述方法包括:
通过所述第一摄像头获取第一图像;
确定目标对象在所述第一图像中的眼球注视点;
获取所述电子设备的目标电子防抖参数;
确定与所述目标电子防抖参数对应的目标图像处理参数;
依据所述目标图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第二图像。
2.根据权利要求1所述的方法,其特征在于,所述确定与所述目标电子防抖参数对应的目标图像处理参数,包括:
按照预设的电子防抖参数与图像处理参数之间的映射关系,确定所述目标电子防抖参数对应的所述目标图像处理参数。
3.根据权利要求1或2所述的方法,其特征在于,所述目标图像处理参数包括图像裁剪参数和图像增强参数,所述依据所述目标图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第二图像,包括:
以所述眼球注视点为中心,依据所述图像裁剪参数对所述第一图像进行裁剪,得到裁剪区域图像;
通过所述图像增强参数对所述裁剪区域图像进行图像增强,得到所述第二图像。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述获取所述电子设备的目标防抖参数,包括:
确定所述电子设备的目标抖动参数;
按照预设的抖动参数与防抖参数之间的映射关系,确定所述目标抖动参数对应的所述目标防抖参数。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
确定所述电子设备的抖动偏移量;
在所述抖动偏移量小于预设阈值时,执行所述确定所述电子设备的目标抖动参数。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在所述抖动偏移量大于或等于所述预设阈值时,获取预设图像处理参数;
依据所述预设图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第三图像。
7.根据权利要求5或6所述的方法,其特征在于,所述确定所述电子设备的抖动偏移量,包括:
获取所述电子设备在预设时间段的抖动变化曲线,所述抖动变化曲线的横轴为时间,纵轴为幅值;
对所述抖动变化曲线进行采样,得到多个幅值;
依据所述多个幅值确定平均幅值;
按照预设的幅值与偏移量之间的映射关系,确定所述平均幅值对应的第一偏移量;
依据所述多个幅值进行均方差运算,得到目标均方差;
按照预设的均方差与调整系数之间的映射关系,确定所述目标均方差对应的目标调整系数;
依据所述目标调整系数对所述第一偏移量进行调整,得到所述电子设备的抖动偏移量。
8.一种图像处理装置,其特征在于,应用于电子设备,所述电子设备包括第一摄像头,所述装置包括:第一获取单元、第一确定单元、第二获取单元、第二确定单元和处理单元,其中,
所述第一获取单元,用于通过所述第一摄像头获取第一图像;
所述第一确定单元,用于确定目标对象在所述第一图像中的眼球注视点;
所述第二获取单元,用于获取所述电子设备的目标电子防抖参数;
所述第二确定单元,用于确定与所述目标电子防抖参数对应的目标图像处理参数;
所述处理单元,用于依据所述目标图像处理参数、所述眼球注视点对所述第一图像进行处理,得到第二图像。
9.一种电子设备,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现权利要求1至7任意一项所述的方法。
CN202010333546.4A 2020-04-24 2020-04-24 图像处理方法、装置及存储介质 Active CN111510630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010333546.4A CN111510630B (zh) 2020-04-24 2020-04-24 图像处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010333546.4A CN111510630B (zh) 2020-04-24 2020-04-24 图像处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111510630A true CN111510630A (zh) 2020-08-07
CN111510630B CN111510630B (zh) 2021-09-28

Family

ID=71877980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010333546.4A Active CN111510630B (zh) 2020-04-24 2020-04-24 图像处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111510630B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112153282A (zh) * 2020-09-18 2020-12-29 Oppo广东移动通信有限公司 图像处理架构、方法、存储介质及电子设备
CN112473138A (zh) * 2020-12-10 2021-03-12 网易(杭州)网络有限公司 游戏的显示控制方法及装置、可读存储介质、电子设备
CN112561839A (zh) * 2020-12-02 2021-03-26 北京有竹居网络技术有限公司 视频裁剪方法、装置、存储介质及电子设备
CN112672058A (zh) * 2020-12-26 2021-04-16 维沃移动通信有限公司 拍摄方法及装置
CN113766133A (zh) * 2021-09-17 2021-12-07 维沃移动通信有限公司 视频录制方法及装置
CN114143457A (zh) * 2021-11-24 2022-03-04 维沃移动通信有限公司 拍摄方法、装置和电子设备
CN114610220A (zh) * 2022-03-25 2022-06-10 Oppo广东移动通信有限公司 显示控制方法及装置、计算机可读存储介质和电子设备
CN115601244A (zh) * 2021-07-07 2023-01-13 荣耀终端有限公司(Cn) 图像处理方法、装置和电子设备
CN117472256A (zh) * 2023-12-26 2024-01-30 荣耀终端有限公司 图像处理方法及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104918572A (zh) * 2012-09-10 2015-09-16 艾尔比特系统有限公司 用于外科手术的视频捕获和显示的数字系统
US20160210503A1 (en) * 2011-07-14 2016-07-21 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CN106331464A (zh) * 2015-06-30 2017-01-11 北京智谷睿拓技术服务有限公司 拍摄控制方法、拍摄控制装置及用户设备
CN106331498A (zh) * 2016-09-13 2017-01-11 青岛海信移动通信技术股份有限公司 用于移动终端的图像处理方法及装置
CN106470308A (zh) * 2015-08-18 2017-03-01 联想(北京)有限公司 图像处理方法以及电子设备
CN108415955A (zh) * 2018-02-06 2018-08-17 杭州电子科技大学 一种基于眼动注视点移动轨迹的感兴趣点数据库建立方法
US20180335839A1 (en) * 2017-05-22 2018-11-22 Htc Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
CN110166697A (zh) * 2019-06-28 2019-08-23 Oppo广东移动通信有限公司 摄像头防抖方法、装置、电子设备和计算机可读存储介质
CN110427108A (zh) * 2019-07-26 2019-11-08 Oppo广东移动通信有限公司 基于眼球追踪的拍照方法及相关产品

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160210503A1 (en) * 2011-07-14 2016-07-21 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CN104918572A (zh) * 2012-09-10 2015-09-16 艾尔比特系统有限公司 用于外科手术的视频捕获和显示的数字系统
CN106331464A (zh) * 2015-06-30 2017-01-11 北京智谷睿拓技术服务有限公司 拍摄控制方法、拍摄控制装置及用户设备
CN106470308A (zh) * 2015-08-18 2017-03-01 联想(北京)有限公司 图像处理方法以及电子设备
CN106331498A (zh) * 2016-09-13 2017-01-11 青岛海信移动通信技术股份有限公司 用于移动终端的图像处理方法及装置
US20180335839A1 (en) * 2017-05-22 2018-11-22 Htc Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
CN108415955A (zh) * 2018-02-06 2018-08-17 杭州电子科技大学 一种基于眼动注视点移动轨迹的感兴趣点数据库建立方法
CN110166697A (zh) * 2019-06-28 2019-08-23 Oppo广东移动通信有限公司 摄像头防抖方法、装置、电子设备和计算机可读存储介质
CN110427108A (zh) * 2019-07-26 2019-11-08 Oppo广东移动通信有限公司 基于眼球追踪的拍照方法及相关产品

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112153282A (zh) * 2020-09-18 2020-12-29 Oppo广东移动通信有限公司 图像处理架构、方法、存储介质及电子设备
CN112561839A (zh) * 2020-12-02 2021-03-26 北京有竹居网络技术有限公司 视频裁剪方法、装置、存储介质及电子设备
CN112561839B (zh) * 2020-12-02 2022-08-19 北京有竹居网络技术有限公司 视频裁剪方法、装置、存储介质及电子设备
CN112473138A (zh) * 2020-12-10 2021-03-12 网易(杭州)网络有限公司 游戏的显示控制方法及装置、可读存储介质、电子设备
CN112473138B (zh) * 2020-12-10 2023-11-17 网易(杭州)网络有限公司 游戏的显示控制方法及装置、可读存储介质、电子设备
CN112672058A (zh) * 2020-12-26 2021-04-16 维沃移动通信有限公司 拍摄方法及装置
CN115601244A (zh) * 2021-07-07 2023-01-13 荣耀终端有限公司(Cn) 图像处理方法、装置和电子设备
CN115601244B (zh) * 2021-07-07 2023-12-12 荣耀终端有限公司 图像处理方法、装置和电子设备
CN113766133B (zh) * 2021-09-17 2023-05-26 维沃移动通信有限公司 视频录制方法及装置
CN113766133A (zh) * 2021-09-17 2021-12-07 维沃移动通信有限公司 视频录制方法及装置
CN114143457A (zh) * 2021-11-24 2022-03-04 维沃移动通信有限公司 拍摄方法、装置和电子设备
CN114143457B (zh) * 2021-11-24 2024-02-27 维沃移动通信有限公司 拍摄方法、装置和电子设备
CN114610220A (zh) * 2022-03-25 2022-06-10 Oppo广东移动通信有限公司 显示控制方法及装置、计算机可读存储介质和电子设备
CN117472256A (zh) * 2023-12-26 2024-01-30 荣耀终端有限公司 图像处理方法及电子设备

Also Published As

Publication number Publication date
CN111510630B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN111510630B (zh) 图像处理方法、装置及存储介质
CN111050269B (zh) 音频处理方法和电子设备
KR102390184B1 (ko) 전자 장치 및 전자 장치의 영상 표시 방법
CN110035141B (zh) 一种拍摄方法及设备
WO2020019356A1 (zh) 一种终端切换摄像头的方法及终端
CN107767333B (zh) 美颜拍照的方法、设备及计算机可存储介质
WO2021104485A1 (zh) 一种拍摄方法及电子设备
CN111552389B (zh) 注视点抖动消除方法、装置及存储介质
CN112799508B (zh) 显示方法与装置、电子设备及存储介质
CN113810601B (zh) 终端的图像处理方法、装置和终端设备
WO2021013132A1 (zh) 输入方法及电子设备
US11470246B2 (en) Intelligent photographing method and system, and related apparatus
WO2021078001A1 (zh) 一种图像增强方法及装置
CN112947755A (zh) 手势控制方法与装置、电子设备及存储介质
CN111400605A (zh) 基于眼球追踪的推荐方法及装置
WO2020015149A1 (zh) 一种皱纹检测方法及电子设备
CN113572956A (zh) 一种对焦的方法及相关设备
CN111768352A (zh) 图像处理方法及装置
CN113850709A (zh) 图像变换方法和装置
CN110930372A (zh) 一种图像处理方法、电子设备及计算机可读存储介质
WO2022033344A1 (zh) 视频防抖方法、终端设备和计算机可读存储介质
WO2022170866A1 (zh) 数据传输方法、装置及存储介质
WO2022095906A1 (zh) 一种按键映射方法、电子设备及系统
CN115150542B (zh) 一种视频防抖方法及相关设备
CN114973347B (zh) 一种活体检测方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant