CN116489500A - 图像处理方法及其装置 - Google Patents

图像处理方法及其装置 Download PDF

Info

Publication number
CN116489500A
CN116489500A CN202310272804.6A CN202310272804A CN116489500A CN 116489500 A CN116489500 A CN 116489500A CN 202310272804 A CN202310272804 A CN 202310272804A CN 116489500 A CN116489500 A CN 116489500A
Authority
CN
China
Prior art keywords
image
algorithm
noise reduction
eyeball
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310272804.6A
Other languages
English (en)
Inventor
唐超影
李长阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202310272804.6A priority Critical patent/CN116489500A/zh
Publication of CN116489500A publication Critical patent/CN116489500A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Abstract

本申请实施例提供了一种图像处理方法及其装置,属于电子设备技术领域;在显示拍摄预览画面的情况下,通过算法确定用户的视线焦点在拍摄预览画面中的位置;之后采用第一算法对拍摄预览画面中视线焦点所在位置对应的目标区域进行第一处理,采用第二算法对拍摄预览画面中除目标区域外的区域进行第二处理;其中,第一算法处理后的画面信噪比高于第二算法处理后的画面信噪比。

Description

图像处理方法及其装置
技术领域
本申请涉及电子设备技术领域,特别涉及一种图像处理方法、装置、电子设备及可读存储介质。
背景技术
电子设备制造工艺与图像处理软件算法的逐日精进,使得便携式摄影设备的成像质量正快速在用户群体中建立良好口碑,移动便携摄影的优势也日益体现。在使用此类设备进行拍摄的过程中,用户为获取到满意的目标图像,在正式摄影前常会使用预览模式进行观察;预览模式下获取的图像虽不会被保存,但仍然需要设备处理器进行计算处理。
相关技术中,为降低预览模式下设备处理器对于取景画面的获取及解析压力,设备在预览模式下的图像通路通常采取较为简单的图像算法。在保证一定预览质量的同时能够降低设备处理器对于所拍摄图像的计算量,同时减少设备功耗发热。
但现有方案中,经过简化后的预览图像与实际拍摄结果仍存在较为明显的显示差异,由于大多数用户并不了解图像预览的相关概念,所见非所得的成像结果容易给用户的拍摄体验带来矛盾与困扰。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备及可读存储介质,以解决现有技术中通过简易图像处理算法生成的预览画面与实际拍摄效果不一致,给用户造成较大观感差异矛盾的问题。
第一方面,本申请实施例提供了一种图像处理方法,所述方法包括:
在显示拍摄预览画面的情况下,确定用户的视线焦点在所述拍摄预览画面中的位置;
采用第一算法对所述拍摄预览画面中所述位置对应的目标区域进行第一处理,采用第二算法对所述拍摄预览画面中除所述目标区域外的区域进行第二处理;
其中,所述第一算法处理后的画面信噪比高于所述第二算法处理后的画面信噪比。
第二方面,本申请实施例提供了一种图像处理装置,所述装置包括:
视线定位模块,用于在显示拍摄预览画面的情况下,确定用户的视线焦点在所述拍摄预览画面中的位置;
第一图像区域处理模块,用于采用第一算法对所述拍摄预览画面中所述位置对应的第一区域进行第一处理;
第二图像区域处理模块,用于采用第二算法对所述拍摄预览画面中除所述第一区域外的区域进行第二处理;
其中,所述第一算法处理后的画面信噪比高于所述第二算法处理后的画面信噪比。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
第六方面,本申请实施例提供了一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中,在显示拍摄预览画面的情况下,通过算法确定用户的视线焦点在拍摄预览画面中的位置;之后采用第一算法对拍摄预览画面中视线焦点所在位置对应的目标区域进行第一处理,采用第二算法对拍摄预览画面中除目标区域外的区域进行第二处理;其中,第一算法处理后的画面信噪比高于第二算法处理后的画面信噪比。最终通过显示设备显示经过降噪处理后的降噪图像。在拍摄画面的预览模式下,对于识别到的人眼注视区域的预览画面采用图像处理算法进行区域信噪比优化,使得注视区域中的图像效果更佳,在降低设备对于图像处理功耗的同时减少对于因成像质量差异,给用户的拍摄体验带来的视觉矛盾与困扰。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本申请实施例提供的一种图像处理方法的简要实施步骤流图;
图2示出了本申请实施例提供的一种摄像设备的使用场景示意图;
图3示出了本申请实施例提供的一种人眼视线目光对于注视区域的注视效果示意图;
图4示出了本申请实施例提供的一种图像处理方法的执行步骤关系图;
图5示出了本申请实施例提供的一种图像处理方法的详细实施步骤流图;
图6示出了本申请实施例提供的一种人脸检测识别结果图;
图7示出了本申请实施例提供的另一种人脸检测识别结果图;
图8示出了本申请实施例提供的一种眼球图像的识别结果图;
图9示出了本申请实施例提供的一种眼球图像二值化处理效果展示图;
图10示出了本申请实施例提供的一种人眼虹膜区域识别结果示意图;
图11示出了本申请实施例提供的一种视线注视坐标偏移量对比图;
图12示出了本申请实施例提供的一种图像降噪处理流程图;
图13示出了本申请实施例提供的一种图像处理装置的功能模块组成示意图;
图14是本申请实施例提供的一种电子设备的功能组件关系图;
图15是本申请实施例提供的另一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的一种马达振动波形生成方法进行详细地说明。
参照图1,图1是本申请实施例提供的一种图像处理方法的简要实施步骤流图;如图1所示,所述方法包括:
S101:在显示拍摄预览画面的情况下,确定用户的视线焦点在所述拍摄预览画面中的位置。
参照图2,示出了本申请实施例提供的一种摄像设备的使用场景示意图;如图2所示,在实际使用场景中用户的视线直视在摄像设备的显示屏200上,在通过摄像设备的后置摄像模组进行取景拍摄的过程中,调用设备的前置摄像模组201对用户视线所在方向进行画面捕捉,以确定用户对摄像设备显示屏的注视区域202。
对于移动摄像设备的拍摄使用过程中,用户视线的并非聚焦于显示屏画面中的所有内容,而是专注于画面中的某一区域。本申请实施例所提供的一种图像处理方法,能够在用户使用摄像设备进行拍摄作业的同时,通过调用前置摄像头对用户人脸及眼部进行动态识别,并依靠相关算法计算出用户当前视线在显示屏上的注视区域202。
对于注视区域202所显示的画面内容进行针对性优化,使得即使在预览模式下用户注视区域202画面的成像质量与实际拍摄的成果图像质量基本贴近,减少预览模式与实际成像的图像区别给用户带来的观感差异,优化拍摄体验。
S102:采用第一算法对所述拍摄预览画面中所述位置对应的目标区域进行第一处理,采用第二算法对所述拍摄预览画面中除所述目标区域外的区域进行第二处理;其中,所述第一算法处理后的画面信噪比高于所述第二算法处理后的画面信噪比。
在设备通过前置摄像头获取到用户当前的注视区域202之后,系统将对预览画面内与注视区域202重叠部分的内容进行图像优化处理,以获得在显示屏上展示的优化图像。
在本申请实施例中,对于预览画面的优化处理采取的方式为视频降噪算法,包括但不限于如快速密集光流算法进行运动矢量估计,也可以是任意包括传统降噪算法以及基于卷积神经网络(CNN,Convolutional Neural Networks)的光流估计算法等。
进行图像优化处理后,在预览画面中只有与注视区域202所重叠部分的图像发生了变化,其显示效果与实际拍摄的最终成片观感接近。
预览画面
需要说明的是,在实际应用中用户在显示屏上的注视区域202并非一成不变的,随着用户眼镜与显示屏之间的相对距离、用户目光聚焦位置的变化,注视区域的大小和位置也可能同步发生变化。
参照图3,示出了本申请实施例提供的一种人眼视线目光对于注视区域的注视效果示意图。其中,图3(a)与图3(b)表示前置摄像头所捕获到的人脸图像203;图3(c)表示图3(a)中人眼对于显示屏中画面的注视区域的效果关系图,图3(d)表示图3(b)中人眼对于显示屏中画面的注视区域的效果关系图。在图3(c)中,人眼所聚焦的注视区域202位于显示屏画面的中心位置,而随着图3(b)中人眼眼球的转动,注视区域202也同样转移至画面的左下角。
因此,在本申请实施例所提供的一种图像处理方法中对于注视区域的识别获取为动态获取,对于后置摄像模组拍摄到的预览画面也将专注于对注视区域202内的像素内容进行优化。
在对预览画面进行优化处理后,通过摄像设备的显示屏200最终展示优化后的降噪图像。继续参照图3,经过降噪处理后显示屏上显示的画面内容仍包括原取经框所展示的全部内容,但由于进过处理后注视区域202中画面的图像信噪比要高于非注视区域的图像信噪比,因此,注视区域202中画面的显示效果会较非注视区域效果更佳。
参照图4,示出了本申请实施例提供的一种图像处理方法的执行步骤关系图;针对前视摄像头获取的人脸图像,先经过视线定位模块对目标注视区域进行定位,之后与后置摄像头获取的预览画面一同发送至视频图像处理单元,针对预览画面中与目标注视区域重叠部分内容进行针对性优化,最终经过显示屏进行输出显示。
本申请实施例提供的一种图像处理方法,在显示拍摄预览画面的情况下,通过算法确定用户的视线焦点在拍摄预览画面中的位置;之后采用第一算法对拍摄预览画面中视线焦点所在位置对应的目标区域进行第一处理,采用第二算法对拍摄预览画面中除目标区域外的区域进行第二处理;其中,第一算法处理后的画面信噪比高于第二算法处理后的画面信噪比。最终通过显示设备显示经过降噪处理后的降噪图像。在拍摄画面的预览模式下,对于识别到的人眼注视区域的预览画面采用图像处理算法进行区域信噪比优化,使得注视区域中的图像效果更佳,在降低设备对于图像处理功耗的同时减少对于因成像质量差异,给用户的拍摄体验带来的视觉矛盾与困扰。
参照图5,图5是本申请实施例提供的一种图像处理方法的详细实施步骤流图;如图5所示,所述方法的实施步骤包括:
步骤301:通过后置摄像模组采集原始图像信号。
本申请实施例提供的一种适用于摄像终端的图像处理方法,以手机为例。在用户通过手持或手机支架等形式进行拍摄的过程中,后置摄像模组位于手机背面,前置摄像模组与显示屏位于同一侧,面向用户。
通过后置摄像头对准带拍摄物体,通过后置摄像模组采集原始图像信号,被拍摄物体的反射光线经摄像模组进入设备内部,经由光线传感器(CMOS image sensor)将模拟信号转化为数字信号。
步骤302:通过预设的预览图像处理算法,对所述原始图像信号进行预览处理,获得预览画面。
在光线传感器对获取到拍摄的原始图像信号后,通过预设的预览图像处理算法对原始图像信号进行预览图像处理,生成原始预览画面。在此过程中,预览画面具体为包含被拍摄内容完整画幅的初步影像,尚未经过任何后期修饰处理。
需要说明的是,预览画面只存在于手机系统及存储硬件内部,与最终在手机显示屏上所展示的画面并非完全相同,在手机通过显示屏展示预览状态下的内容前还需要进行进一步处理。
步骤303:在通过所述后置摄像模组获得预览画面的过程中,通过所述前置摄像模组确定当前用户的目标注视区域;所述目标注视区域用于表征当前用户在所述显示屏上所注视的显示区域。
可选的,在一种实施例中,所述步骤303具体可以包括:
子步骤3031:通过人脸识别算法对所述前置摄像模组获取的人脸图像进行人脸识别,获得所述人脸图像中人眼的中心位置坐标。
通过对前置摄像头捕捉到的人脸图像进行识别的具体过程,可以采用任意人脸检测算法。优选的,在本申请实施例中采用包括传统检测算法及神经网络算法对人脸图像进行人脸识别检测。
可选的,在一种实施例中,所述子步骤3031还可以包括:
子步骤30311:通过所述人脸识别算法确定所述人脸图像中的人眼位置坐标与人眼区域尺寸。
参照图6,示出了本申请实施例提供的一种人脸检测识别结果图;如图6所示,通过人脸检测算法,获得当前人脸画面中人脸的大致范围,通过如图6所示矩形虚线框进行标注。此外,在人脸检测算法的检测结果中,获得人眼的坐标位置与人眼区域的尺寸。
其中,人眼位置坐标用于表征在人眼在人脸图像中的相对位置坐标,人眼区域尺寸用于限定人眼在人脸图像画面中的画面大小。
子步骤30312:通过所述人眼位置坐标与所述人眼区域尺寸生成人眼识别框,所述人眼识别框包括左眼识别框和右眼识别框。
通过人眼位置坐标与人眼区域尺寸生成人眼识别框,如图6所示。其中包括左眼识别框与右眼识别框,人脸检测算法的检测结果中,左眼的位置坐标为(xL,yL),右眼为(xR,yR)。具体地,本申请实施例所采取的人脸识别算法获取的人眼位置坐标为人眼识别框左上角的顶角坐标。
进一步地,考虑到实际中人的左右眼尺寸差异相对较小,因此对于左眼识别框与右眼识别框的区域尺寸采取相同尺寸数值;如图6所示,生成的左眼识别框的水平边缘框线长度为Ew,垂直边缘线框长度为Eh。
由于人眼形状相对而言为不规则形,通过生成人眼识别框能够量化当前画面中人眼的位置与大小,便于精确地定位人眼中心。
子步骤30313:根据所述左眼识别框与所述右眼识别框,确定人眼的所述中心位置坐标。
在获得左眼识别框与右眼识别框后,即可据此定位人眼的中心位置坐标。参照图7,示出了本申请实施例提供的另一种人脸检测识别结果图;将左眼识别框与右眼识别框的中心连线的中点,作为人眼中心位置。如图7所示在人脸画面中以黑色十字标记了人眼中心,在此实施例中,人眼中心位置的坐标为(pfc,qfc)。
人眼中心位置大致确定了人脸的几何中心所在,通过人眼的中心位置坐标能够灵活地分析人脸在当前人脸图像中的相对位置。
子步骤3032:根据人眼的所述位置坐标计算获得人脸偏移量;所述人脸偏移量用于表征当前时刻人眼的中心位置坐标,与所述人脸图像画面中心的位置坐标的差值。
继续参照图7,当前的人脸图像为画幅水平长为Q,垂直宽为P的矩形图。将(p0,q0)作为人脸图像的中心坐标,其中,p0与q0分别为框图的长与宽的一半,即如图7所示,当前矩形框图中央所标注的十字线即为人脸图像框图的几何中心。
将人眼的中心位置坐标与人脸画面中心的位置坐标作差,即可得到人脸偏移量。即:
ΔDx=pfc-p0 (1)
ΔDy=qfc-q0 (2)
其中,ΔDx表示人脸偏移量在水平方向上的分量,ΔDy表示人脸偏移量在垂直方向上的分量。
在实际应用过程中,人脸图像反映了当前用户的脸部与前置摄像头的相对位置,随着人脸位置的改变,其直线在显示屏上的注视位置也将随即发生改变。
子步骤3033:根据所述人脸图像、所述人脸偏移量和所述中心位置坐标,通过眼球中心估计算法确定用户视线在所述显示屏中的所述目标注视区域。
在获得人脸偏移量之后,还需要进一步对眼球的注视方向作进一步的识别,从而精确定位用户视线在显示屏上的注视区域。
可选的,在一种实施例中,所述子步骤3033还可以包括:
子步骤30331:获取预设的区域尺寸。
参照图3,在本申请实施例中对于人眼在显示屏上的注视区域设定为矩形区域,在获取过程中对于矩形区域的边框尺寸为开发人员预设的尺寸,可根据实际使用需要进行调节,最终影响注视区域202在显示屏中的实际大小。
子步骤30332:根据所述人脸图像,通过所述眼球中心估计算法确定眼球偏移量。
确定用户视线在显示屏中的目标注视区域,首先需要确定当前用户的眼球偏移量。首先需要对人眼的眼球中心位置坐标进行计算;参照图8,示出了本申请实施例提供的一种眼球图像的识别结果图。其中(ex0,ey0)表示眼球的中心坐标,而(ex,ey)则表示当前眼球中心,即虹膜中心的位置坐标,Δdx即表示眼球偏移量。
可选的,在一种实施例中,所述子步骤30332还可以包括:
子步骤303321:通过所述眼球追踪算法对所述人脸图像进行识别,确定人眼的虹虹膜半径、眼球中心坐标和虹膜缩放系数;其中,所述虹膜缩放系数为所述虹膜半径与标准视距的比值,所述标准视距为预设的人眼到所述显示屏的基准距离。
在本申请实施例中,获得的原始人脸图像为彩色图像,为了简化识别计算,可以先将原始图像进行二值化处理,变为阈值图像。参照图9,示出了本申请实施例提供的一种眼球图像二值化处理效果展示图。二值化阈值可以由最大类间方差、人眼区域亮度均值计算得到,也可以为经验值;对二值化后的图像进行形态学操作本实施例中使用开操作去除二值图像中的噪点。具体地,图9(e)为对眼部图像的二值化初步处理结果,可以注意到,眼球中虹膜内部与上眼皮处仍存在少量白色噪点,通过调整阈值范围进行去噪能够更精确的显示虹膜所在位置的范围,以对比明确的黑白关系进行区分,获得干净的二值图像,如图9(f)所示。
进一步地,根据二值化处理后人眼图计算虹膜半径r。参照图10,示出了本申请实施例提供的一种人眼虹膜区域识别结果示意图。具体以人眼虹膜中心位置(ex,ey)为中心,搜寻0值像素占比最大的圆形区域目标区域,0值表示在二值化图中黑色像素所表征的值;在图10中,图10(g)白色虚线所在圆形区域的0值像素占比为100%,但0值像素总数少于图10(h)中白色虚线所标注的圆形区域;图10(i)中0值像素更多,但由于虚线所框定的圆形区域还包含虹膜以外的眼白部分像素,因此整体0值占比较少。因此,优选的虹膜半径r取图10(h)中所示的半径。
根据虹膜半径r,通过如下公式3计算缩放系数a:
其中,rstand为标准视距距离下的虹膜半径,所述标准视距为预设的人眼到所述显示屏的基准距离。由于人眼虹膜大小差异不大,因此,能够根据虹膜大小标准化人眼距屏幕距离。
子步骤303322:根据所述虹膜缩放系数和视距补偿值,确定眼球中心坐标;所述视距方向补偿值用于对眼球中心坐标进行校正。
在获得虹膜缩放系数之后,结合视距方向补偿值生成眼球中心坐标。具体地,通过下述计算公式4获得眼球中心坐标:
其中,Ew与Eh分别为人眼识别框的水平边缘框线长度与垂直边缘线框长度;εw与εh分别为水平防线与竖直方向的视距补偿值。具体地,由在标准视距下记录视线平视时的眼球中心位置及人眼大小计算获得,即:
其中,(excailb,eycalib)表示在标准距离下记录视线平视时的眼球中心位置坐标,(Ewcailb,Ehcalib)表示人眼大小。
子步骤303323:根据所述虹膜中心坐标与所述眼球中心坐标的差值,获得所述眼球偏移量。
继续参照图8,将获得的人眼眼球中心坐标与虹膜中心坐标作差,即可获得眼球偏移量。即:
Δdx=ex-ex0 (7)
Δdy=ey-ey0 (8)
获得眼球偏移量后,即可进一步计算得到用户在显示屏中的注视位置坐标。
子步骤30333:根据所述人脸偏移量与所述眼球偏移量,确定用户视线在所述显示屏中的注视位置坐标。
承接步骤3032与子步骤30332,根据获得的人脸偏移量(ΔDx,ΔDy)与眼球偏移量(Δdx,Δdy),确定用户视线在所述显示屏中的注视位置坐标(Xsight,Ysight);通过如下公式9与公式10,获得注视位置坐标:
其中,H、W分别为后置摄像模组获取视频图像的高和宽,kε为标准距离下眼球偏移量与视线所在画面位置的映射系数,kf为标准距离下人脸偏移量与人脸在画面中偏移量的对应映射系数,均由标定得到。
参照图11,示出了本申请实施例提供的一种视线注视坐标偏移量对比图;其中,
具体地以水平方向为例,在人脸处于前置画面正中心时,即人脸偏移量ΔDx=0,令屏幕中显示目标点并使视线注视到该点,如图11(j)中黑色十字,记录此时的眼球偏移量则:
再令视线平视,即Δdx=0,人脸平移至视线正好落于目标点处,如图11(k)中黑色十字,记录此时的则:
获得视线位置坐标后,即可进一步计算得到用户在显示屏中的注视区域。
子步骤30334:根据所述注视位置坐标与所述区域尺寸,获得所述目标注视区域;所述目标注视区域为以所述注视位置坐标为几何中心,以所述区域尺寸为边长的矩形区域。
具体地,定义以视线落在屏幕中的位置坐标(Xsight,Ysight)为中心,预设的区域尺寸为边长的矩形区域为目标注视区域,记为εsight。需要说明的是,区域尺寸为开发人员根据实际使用需要所定义的尺寸,可由认为更改大小。在本申请实施例所提供的一种优选方案中,预设的区域尺寸边长为为后置摄像模组获取视频图像的高H和宽W的1/8。
步骤304:通过图像优化算法对所述预览画面中,与所述目标注视图像区域重叠部分的图像区域进行降噪处理,获得与预览画面对应的降噪图像。
本步骤具体可参照上述步骤102,本实施例此处不再赘述。
可选的,在一种实施例中,所述步骤304还可以包括:
子步骤3041:在第一时刻提取所述预览画面中与所述目标注视区域重叠部分的第一图像区域,以及在第二时刻提取所述预览画面中与所述目标注视区域重叠部分的第一图像区域;所述第一时刻与所述第二时刻为相邻的图像采集时刻。
本实施例中视频处理算法为视频降噪算法,需要获取相邻两时刻下的帧图像。以常规视频降噪处理流程为例,首先获取第一时刻下,预览画面中与目标注视区域重叠部分的第一图像区域I0,以及在第二时刻下提取预览画面中与目标注视区域重叠部分的第一图像区域I1
通过前后图像帧进行相关匹配计算,能够使得优化得到的图像具有更高的相关度,表现为画面过渡更加流畅自然。
子步骤3042:根据所述第一图像区域和所述第二图像区域,通过所述图像优化算法处理,获得所述降噪图像。
具体地参照图12,示出了本申请实施例提供的一种图像降噪处理流程图。其中,I0为第一时刻下的第一图像区域,I1为第二时刻下的第一图像区域,Iout为最终输出结果的降噪图像。
可选的,所述图像优化算法包括:时域降噪算法和空域降噪算法。
在一种实施例中,所述子步骤3042还可以包括:
子步骤30421:将所述第一图像区域与所述第二图像区域进行图像配准,获得所述第一时刻的第一配准区域。
承接子步骤3041,将第一图像区域I0与第二图像区域I1进行图像配准,获得第一时刻的第一配准区域
图像配准为常规图像处理方法,本实施例在此不做赘述。
子步骤30422:通过所述时域降噪算法对所述第二图像区域和所述第一配准区域进行时域降噪处理,获得所述第二时刻的时域降噪区域。
将第二图像区域I1和第一配准区域作为目标输入,进行时域降噪处理即根据对应空间坐标处的像素值差异进行像素值加权,输出时域降噪结果/>
子步骤30423:通过所述空域降噪算法对所述第二图像区域进行空域降噪处理,获得所述第二时刻的空域降噪。
对应子步骤30422,在对第二图像区域I1和第一配准区域进行时域降噪的同时,对第二图像区域I1进行空域降噪,得到空域降噪区域/>
子步骤30424:将所述时域降噪区域与所述空域降噪区域进行加权融合处理,获得融合后的优化区域,得到包含所述优化区域的降噪图像,所述降噪图像为所述第二时刻的图像。
最后根据时域降噪强度对和/>进行像素值加权,得到视频降噪后的优化区域Iout,生成包含优化区域的降噪图像,即为在显示屏上进行输出的目标降噪图像。
步骤305:通过灰度投影算法和双边滤波算法对所述预览画面中,与所述目标注视区域不重叠部分的非注视区域进行降噪处理,获得包括优化后的非注视区域的降噪图像。
对于预览模式下摄像终端的非注视区域所显示的内容,则采取较为简易的降噪算法进行处理。在本申请实施例中,注视区域εsight采用快速密集光流算法进行运动矢量估计,也可以是任意包括传统算法以及基于卷积神经网络(CNN)的光流估计算法空域降噪采用基于CNN的图像降噪,也可以是类似三维块匹配算法(BM3D,Block Matching 3D)等复杂的传统降噪算法。
而对于非注视区域,则使用灰度投影算法估计运动矢量,空域降噪采用双边滤波,本实施例在此不做赘述。
步骤306:通过所述显示屏显示所述降噪图像。
在对预览画面中,确定的注视区域与非注视区域进行不同的降噪处理后,通过摄像设备的显示屏200最终展示优化后的降噪图像。继续参照图3,经过降噪处理后显示屏上显示的画面内容仍包括原取经框所展示的全部内容,但注视区域202中画面的显示效果会与非注视区域存在一定效果差距。
综上所述,本申请实施例提供的一种图像处理方法,在显示拍摄预览画面的情况下,通过算法确定用户的视线焦点在拍摄预览画面中的位置;之后采用第一算法对拍摄预览画面中视线焦点所在位置对应的目标区域进行第一处理,采用第二算法对拍摄预览画面中除目标区域外的区域进行第二处理;其中,第一算法处理后的画面信噪比高于第二算法处理后的画面信噪比。最终通过显示设备显示经过降噪处理后的降噪图像。在拍摄画面的预览模式下,对于识别到的人眼注视区域的预览画面采用图像处理算法进行区域信噪比优化,使得注视区域中的图像效果更佳,在降低设备对于图像处理功耗的同时减少对于因成像质量差异,给用户的拍摄体验带来的视觉矛盾与困扰。
参照图13,图13是本申请实施例提供的一种图像处理装置400的功能模块组成示意图;如图13所示,所述装置包括:
视线定位模块401,用于在通过所述后置摄像模组获得预览画面的过程中,通过所述前置摄像模组确定当前用户的目标注视区域;所述目标注视区域用于表征当前用户在所述显示屏上所注视的显示区域;
第一图像区域处理模块402,用于采用第一算法对所述拍摄预览画面中所述位置对应的第一区域进行第一处理;
第二图像区域处理模块403,用于采用第二算法对所述拍摄预览画面中除所述第一区域外的区域进行第二处理。
可选的,在一种实施例中,所述装置还包括:
图像信号获取模块,用于通过所述后置摄像模组采集原始图像信号;
图像预览处理模块,用于通过预设的预览图像处理算法,对所述原始图像信号进行预览图像处理,获得所述预览画面。
可选的,在一种实施例中,所述第一图像区域处理模块402还包括:
时刻区域提取子模块,用于确定第一时刻所述拍摄预览画面中与所述位置对应的第一目标区域,以及第二时刻所述拍摄预览画面中与所述位置对应的第二目标区域;其中,所述第一时刻与所述第二时刻为相邻的图像采集时刻,所述第一算法包括:时域降噪算法和空域降噪算法;
图像区域配准子模块,用于将所述第一目标区域中的画面,与所述第二目标区域中的画面进行图像配准,获得所述第一时刻的第一配准区域;
第一降噪处理子模块,用于通过所述时域降噪算法对所述第二目标区域和所述第一配准区域进行时域降噪处理,得到所述第二时刻的时域降噪区域;
第二降噪处理子模块,用于通过所述空域降噪算法对所述第二目标区域进行空域降噪处理,得到所述第二时刻的空域降噪区域;
区域融合处理子模块,用于将所述时域降噪区域与所述空域降噪区域进行加权融合处理。
可选的,在一种实施例中,所述视线定位模块401还包括:
中心坐标确定子模块,用于通过人脸识别算法对所述前置摄像模组获取的人脸图像进行人脸识别,获得所述人脸图像中人眼的中心位置坐标;
人脸偏移量确定子模块,用于根据人眼的所述位置坐标计算获得人脸偏移量;所述人脸偏移量用于表征当前时刻人眼的中心位置坐标,与所述人脸图像画面中心的位置坐标的差值;
视线焦点确定子模块,用于根据所述面部图像、所述人脸偏移量以及所述中心位置坐标,通过眼球中心估计算法确定用户的视线焦点在所述拍摄预览画面中的位置。
可选的,在一种实施例中,所述视线焦点确定子模块,还包括:
眼球偏移量确定单元,用于根据所述面部图像,通过所述眼球中心估计算法确定眼球偏移量;
视线焦点确定单元,用于根据所述人脸偏移量与所述眼球偏移量,确定用户的视线焦点在所述拍摄预览画面中的位置。
可选的,在一种实施例中,所述眼球偏移量确定单元,包括:
虹膜参数获取子单元,用于通过所述眼球追踪算法对所述面部图像进行识别,确定人眼的虹虹膜半径、虹膜中心坐标和虹膜缩放系数;其中,所述虹膜缩放系数为所述虹膜半径与标准视距的比值,所述标准视距为预设的人眼到所述显示屏的基准距离;
眼球坐标校正子单元,用于根据所述虹膜缩放系数和视距补偿值,确定眼球中心坐标;所述视距补偿值用于对眼球中心坐标进行校正;
眼球偏移量确定子单元,用于根据所述虹膜中心坐标与所述眼球中心坐标的差值,获得所述眼球偏移量。
综上所述,本申请实施例提供的一种图像处理装置,在用户通过摄像终端的后置摄像模组获得预览画面的同时,调用前置摄像模组以确定当前用户的目标注视区域;其中,目标注视区域用于表征当前用户在摄像终端的显示屏上所注视的显示区域;通过图像优化算法对预览画面中,与目标注视图像区域重叠部分的图像区域进行降噪处理,以获得与预览画面对应的降噪图像;最终通过摄像终端的显示屏显示经过降噪处理后的降噪图像。在拍摄终端的预览模式下,对于识别到的人眼注视区域所现实的预览画面采用优化的图像处理算法进行区域优化,使得注视区域中的图像效果更加接近实际拍摄的成品效果;在降低设备对于图像处理功耗的同时减少对于因成像质量差异,给用户的拍摄体验带来的视觉矛盾与困扰。
本申请实施例中的一种图像处理装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的一种图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为IOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的一种图像处理装置能够实现1至图11的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图13所示,本申请实施例还提供一种电子设备M00,包括处理器M01和存储器M02,存储器M02上存储有可在所述处理器M01上运行的程序或指令,该程序或指令被处理器M01执行时实现上述一种马达振动波形生成方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图14为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解,电子设备1000还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图14中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器101用于:
在显示拍摄预览画面的情况下,确定用户的视线焦点在所述拍摄预览画面中的位置;
采用第一算法对所述拍摄预览画面中所述位置对应的目标区域进行第一处理,采用第二算法对所述拍摄预览画面中除所述目标区域外的区域进行第二处理。
本申请实施例提供的一种图像处理方法,在用户通过摄像终端的后置摄像模组获得预览画面的同时,调用前置摄像模组以确定当前用户的目标注视区域;其中,目标注视区域用于表征当前用户在摄像终端的显示屏上所注视的显示区域;通过图像优化算法对预览画面中,与目标注视图像区域重叠部分的图像区域进行降噪处理,以获得与预览画面对应的降噪图像;最终通过摄像终端的显示屏显示经过降噪处理后的降噪图像。在拍摄终端的预览模式下,对于识别到的人眼注视区域所现实的预览画面采用优化的图像处理算法进行区域优化,使得注视区域中的图像效果更加接近实际拍摄的成品效果;在降低设备对于图像处理功耗的同时减少对于因成像质量差异,给用户的拍摄体验带来的视觉矛盾与困扰。
可选地,处理器1010还用于:
确定第一时刻所述拍摄预览画面中与所述位置对应的第一目标区域,以及第二时刻所述拍摄预览画面中与所述位置对应的第二目标区域;其中,所述第一时刻与所述第二时刻为相邻的图像采集时刻,所述第一算法包括:时域降噪算法和空域降噪算法;
将所述第一目标区域中的画面,与所述第二目标区域中的画面进行图像配准,获得所述第一时刻的第一配准区域;
通过所述时域降噪算法对所述第二目标区域和所述第一配准区域进行时域降噪处理,得到所述第二时刻的时域降噪区域;
通过所述空域降噪算法对所述第二目标区域进行空域降噪处理,得到所述第二时刻的空域降噪区域;
将所述时域降噪区域与所述空域降噪区域进行加权融合处理。
可选的,处理器1010还用于:
通过人脸识别算法对用户的面部图像进行人脸识别,确定所述面部图像中人眼的中心位置坐标;
根据所述中心位置坐标确定人脸偏移量,其中,所述人脸偏移量表示所述中心位置坐标与所述面部图像的中心的位置坐标的差值;
根据所述面部图像、所述人脸偏移量以及所述中心位置坐标,通过眼球中心估计算法确定用户的视线焦点在所述拍摄预览画面中的位置。
可选的,处理器1010还用于:
根据所述面部图像,通过所述眼球中心估计算法确定眼球偏移量;
根据所述人脸偏移量与所述眼球偏移量,确定用户的视线焦点在所述拍摄预览画面中的位置。
可选的,处理器1010还用于:
通过所述眼球追踪算法对所述面部图像进行识别,确定人眼的虹虹膜半径、虹膜中心坐标和虹膜缩放系数;其中,所述虹膜缩放系数为所述虹膜半径与标准视距的比值,所述标准视距为预设的人眼到所述显示屏的基准距离;
根据所述虹膜缩放系数和视距补偿值,确定眼球中心坐标;所述视距补偿值用于对眼球中心坐标进行校正;
根据所述虹膜中心坐标与所述眼球中心坐标的差值,获得所述眼球偏移量。
本申请实施例提供的一种图像处理方法,在用户通过摄像终端的后置摄像模组获得预览画面的同时,调用前置摄像模组以确定当前用户的目标注视区域;其中,目标注视区域用于表征当前用户在摄像终端的显示屏上所注视的显示区域;通过图像优化算法对预览画面中,与目标注视图像区域重叠部分的图像区域进行降噪处理,以获得与预览画面对应的降噪图像;最终通过摄像终端的显示屏显示经过降噪处理后的降噪图像。在拍摄终端的预览模式下,对于识别到的人眼注视区域所现实的预览画面采用优化的图像处理算法进行区域优化,使得注视区域中的图像效果更加接近实际拍摄的成品效果;在降低设备对于图像处理功耗的同时减少对于因成像质量差异,给用户的拍摄体验带来的视觉矛盾与困扰。
应理解的是,本申请实施例中,输入单元1004可以包括图形处理器(GraphicsProcessing Unit,GPU)10041和麦克风10042,图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071,也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器1009可以包括易失性存储器或非易失性存储器,或者,存储器1009可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。
处理器1010可包括一个或多个处理单元;可选的,处理器1010集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述一种图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述一种预览视频方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述预览视频方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法,其特征在于,所述方法包括:
在显示拍摄预览画面的情况下,确定用户的视线焦点在所述拍摄预览画面中的位置;
采用第一算法对所述拍摄预览画面中所述位置对应的目标区域进行第一处理,采用第二算法对所述拍摄预览画面中除所述目标区域外的区域进行第二处理;
其中,所述第一算法处理后的画面信噪比高于所述第二算法处理后的画面信噪比。
2.根据权利要求1所述的方法,其特征在于,所述采用第一算法对所述拍摄预览画面中所述位置对应的目标区域进行第一处理,包括:
确定第一时刻所述拍摄预览画面中与所述位置对应的第一目标区域,以及第二时刻所述拍摄预览画面中与所述位置对应的第二目标区域;其中,所述第一时刻与所述第二时刻为相邻的图像采集时刻,所述第一算法包括:时域降噪算法和空域降噪算法;
将所述第一目标区域中的画面,与所述第二目标区域中的画面进行图像配准,获得所述第一时刻的第一配准区域;
通过所述时域降噪算法对所述第二目标区域和所述第一配准区域进行时域降噪处理,得到所述第二时刻的时域降噪区域;
通过所述空域降噪算法对所述第二目标区域进行空域降噪处理,得到所述第二时刻的空域降噪区域;
将所述时域降噪区域与所述空域降噪区域进行加权融合处理。
3.根据权利要求1所述的方法,其特征在于,所述确定用户的视线焦点在所述拍摄预览画面中的位置,包括:
通过人脸识别算法对用户的面部图像进行人脸识别,确定所述面部图像中人眼的中心位置坐标;
根据所述中心位置坐标确定人脸偏移量,其中,所述人脸偏移量表示所述中心位置坐标与所述面部图像的中心的位置坐标的差值;
根据所述面部图像、所述人脸偏移量以及所述中心位置坐标,通过眼球中心估计算法确定用户的视线焦点在所述拍摄预览画面中的位置。
4.根据权利要求3所述的方法,其特征在于,所述根据所述面部图像、所述人脸偏移量以及所述中心位置坐标,通过眼球中心估计算法确定用户的视线焦点在所述拍摄预览画面中的位置,包括:
根据所述面部图像,通过所述眼球中心估计算法确定眼球偏移量;
根据所述人脸偏移量与所述眼球偏移量,确定用户的视线焦点在所述拍摄预览画面中的位置。
5.根据权利要求4所述的方法,其特征在于,所述根据所述面部图像,通过所述眼球中心估计算法确定眼球偏移量,包括:
通过所述眼球追踪算法对所述面部图像进行识别,确定人眼的虹虹膜半径、虹膜中心坐标和虹膜缩放系数;其中,所述虹膜缩放系数为所述虹膜半径与标准视距的比值,所述标准视距为预设的人眼到所述显示屏的基准距离;
根据所述虹膜缩放系数和视距补偿值,确定眼球中心坐标;所述视距补偿值用于对眼球中心坐标进行校正;
根据所述虹膜中心坐标与所述眼球中心坐标的差值,获得所述眼球偏移量。
6.一种图像处理装置,其特征在于,所述装置包括:
视线定位模块,用于在显示拍摄预览画面的情况下,确定用户的视线焦点在所述拍摄预览画面中的位置;
第一图像区域处理模块,用于采用第一算法对所述拍摄预览画面中所述位置对应的第一区域进行第一处理;
第二图像区域处理模块,用于采用第二算法对所述拍摄预览画面中除所述第一区域外的区域进行第二处理;
其中,所述第一算法处理后的画面信噪比高于所述第二算法处理后的画面信噪比。
7.根据权利要求6所述的装置,其特征在于,所述第一图像区域处理模块,包括:
时刻区域提取子模块,用于确定第一时刻所述拍摄预览画面中与所述位置对应的第一目标区域,以及第二时刻所述拍摄预览画面中与所述位置对应的第二目标区域;其中,所述第一时刻与所述第二时刻为相邻的图像采集时刻,所述第一算法包括:时域降噪算法和空域降噪算法;
图像区域配准子模块,用于将所述第一目标区域中的画面,与所述第二目标区域中的画面进行图像配准,获得所述第一时刻的第一配准区域;
第一降噪处理子模块,用于通过所述时域降噪算法对所述第二目标区域和所述第一配准区域进行时域降噪处理,得到所述第二时刻的时域降噪区域;
第二降噪处理子模块,用于通过所述空域降噪算法对所述第二目标区域进行空域降噪处理,得到所述第二时刻的空域降噪区域;
区域融合处理子模块,用于将所述时域降噪区域与所述空域降噪区域进行加权融合处理。
8.根据权利要求6所述的装置,其特征在于,所述视线定位模块,包括:
中心坐标确定子模块,用于通过人脸识别算法对用户的面部图像进行人脸识别,确定所述面部图像中人眼的中心位置坐标;
人脸偏移量确定子模块,用于根据所述中心位置坐标确定人脸偏移量,其中,所述人脸偏移量表示所述中心位置坐标与所述面部图像的中心的位置坐标的差值;
视线焦点确定子模块,用于根据所述面部图像、所述人脸偏移量以及所述中心位置坐标,通过眼球中心估计算法确定用户的视线焦点在所述拍摄预览画面中的位置。
9.根据权利要求8所述的装置,其特征在于,所述视线焦点确定子模块,包括:
眼球偏移量确定单元,用于根据所述面部图像,通过所述眼球中心估计算法确定眼球偏移量;
视线焦点确定单元,用于根据所述人脸偏移量与所述眼球偏移量,确定用户的视线焦点在所述拍摄预览画面中的位置。
10.根据权利要求9所述的装置,其特征在于,所述眼球偏移量确定单元,包括:
虹膜参数获取子单元,用于通过所述眼球追踪算法对所述面部图像进行识别,确定人眼的虹虹膜半径、虹膜中心坐标和虹膜缩放系数;其中,所述虹膜缩放系数为所述虹膜半径与标准视距的比值,所述标准视距为预设的人眼到所述显示屏的基准距离;
眼球坐标校正子单元,用于根据所述虹膜缩放系数和视距补偿值,确定眼球中心坐标;所述视距补偿值用于对眼球中心坐标进行校正;
眼球偏移量确定子单元,用于根据所述虹膜中心坐标与所述眼球中心坐标的差值,获得所述眼球偏移量。
CN202310272804.6A 2023-03-17 2023-03-17 图像处理方法及其装置 Pending CN116489500A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310272804.6A CN116489500A (zh) 2023-03-17 2023-03-17 图像处理方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310272804.6A CN116489500A (zh) 2023-03-17 2023-03-17 图像处理方法及其装置

Publications (1)

Publication Number Publication Date
CN116489500A true CN116489500A (zh) 2023-07-25

Family

ID=87210998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310272804.6A Pending CN116489500A (zh) 2023-03-17 2023-03-17 图像处理方法及其装置

Country Status (1)

Country Link
CN (1) CN116489500A (zh)

Similar Documents

Publication Publication Date Title
US10284817B2 (en) Device for and method of corneal imaging
US10534982B2 (en) Neural network training for three dimensional (3D) gaze prediction with calibration parameters
CN108919958B (zh) 一种图像传输方法、装置、终端设备及存储介质
EP3547216B1 (en) Deep learning for three dimensional (3d) gaze prediction
US10805543B2 (en) Display method, system and computer-readable recording medium thereof
US6456262B1 (en) Microdisplay with eye gaze detection
CN109993115B (zh) 图像处理方法、装置及可穿戴设备
US10671890B2 (en) Training of a neural network for three dimensional (3D) gaze prediction
CN104834901A (zh) 一种基于双目立体视觉的人脸检测方法、装置及系统
CN114910052B (zh) 一种基于摄像头的测距方法、控制方法、装置和电子设备
CN115209057B (zh) 一种拍摄对焦方法及相关电子设备
CN112183200B (zh) 一种基于视频图像的眼动追踪方法和系统
WO2018076172A1 (zh) 一种图像显示方法及终端
US20190213713A1 (en) Mobile device, and image processing method for mobile device
CN111385481A (zh) 图像处理方法及装置、电子设备及存储介质
CN116489500A (zh) 图像处理方法及其装置
CN114895790A (zh) 一种人机交互方法、装置、电子设备和存储介质
WO2019190561A1 (en) Deep learning for three dimensional (3d) gaze prediction
WO2022007247A1 (zh) 头戴式设备及其渲染方法、存储介质
CN108919957A (zh) 一种图像传输方法、装置、终端设备及存储介质
US20240073564A1 (en) Region of interest sampling and retrieval for artificial reality systems
US20230244307A1 (en) Visual assistance
KR101879813B1 (ko) 눈 맞춤 가능한 영상 촬영 핸드폰
Du et al. Location Estimation from an Indoor Selfie
CN115798014A (zh) 图像处理方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination