CN110544317A - 图像处理方法、装置、电子设备和可读存储介质 - Google Patents

图像处理方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN110544317A
CN110544317A CN201910811431.9A CN201910811431A CN110544317A CN 110544317 A CN110544317 A CN 110544317A CN 201910811431 A CN201910811431 A CN 201910811431A CN 110544317 A CN110544317 A CN 110544317A
Authority
CN
China
Prior art keywords
image
target object
eye
eye image
adjusting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910811431.9A
Other languages
English (en)
Inventor
王力军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201910811431.9A priority Critical patent/CN110544317A/zh
Publication of CN110544317A publication Critical patent/CN110544317A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

本公开提供了一种图像处理方法,包括获取由图像采集装置采集的目标对象的对象图像,其中,所述对象图像中包括所述目标对象的眼部图像;获取所述目标对象的特征信息;基于所述特征信息,确定目标对象相对于所述图像采集装置的朝向信息;基于所述朝向信息确定目标对象的对象状态;以及在所述对象状态满足预设条件的情况下,调整所述眼部图像。本公开还提供了一种图像处理装置、一种电子设备以及一种计算机可读存储介质。

Description

图像处理方法、装置、电子设备和可读存储介质
技术领域
本公开涉及一种图像处理方法、装置、电子设备和可读存储介质。
背景技术
在现代化生活中,往往会使用到电子设备的采集图像的功能。例如通过摄像头拍照,或者通过摄像头实现视频聊天。然而在拍照或者在视频聊天等情景中,用户往往会看电子设备的屏幕而不是摄像头,导致采集到的图像真实感较差。例如用户甲和用户乙进行视频通信,用户甲往往注视显示屏幕,用户乙通过视频窗口看到的包含用户甲的视频图像中,用户甲可能是处于类似低头的状态,而没有对视的感觉。
发明内容
本公开的一个方面提供了一种图像处理方法,包括:获取由图像采集装置采集的目标对象的对象图像,其中,对象图像中包括目标对象的眼部图像;获取目标对象的特征信息;基于特征信息,确定目标对象相对于图像采集装置的朝向信息;基于朝向信息确定目标对象的对象状态;以及在对象状态满足预设条件的情况下,调整眼部图像。
可选地,特征信息包括目标对象的三维面部模型,三维面部模型通过红外光获得。
可选地,基于特征信息确定目标对象相对于图像采集装置的朝向信息包括:基于三维面部模型,确定三维面部模型中面部的中心线;确定中心线左侧的面部第一特征点到中心线的第一距离;确定中心线右侧的面部中第二特征点到中心线的第二距离;以及基于第一距离和第二距离确定目标对象的面部相对于图像采集装置的朝向信息。
可选地,在对象状态满足预设条件的情况下,调整眼部图像包括在对象状态表明目标对象的面部朝向图像采集装置的情况下,调整眼部图像。
可选地,调整眼部图像包括调整眼部图像中的有色部分到目标位置,目标位置包括:在采集对象图像的情况下,目标对象的眼部看向图像采集装置时,眼部图像在对象图像中的位置。
可选地,特征信息包括三维面部模型,调整眼部图像中的有色部分到目标位置包括:基于三维面部模型中眼部图像的有色部分的位置,确定图像采集装置与目标对象的眼部有色部分的中心点的连线;确定目标对象的眼部的光轴与连线之间的夹角;以及调整眼部图像中有色部分到与夹角适配的目标位置。
可选地,在调整眼部图像中的有色部分到目标位置之后,方法还包括:调整眼部图像中有色部分的面积,使得面积与眼部图像相适配。
本公开的另一个方面提供了一种图像处理装置,包括:第一获取模块,用于获取由图像采集装置采集的目标对象的对象图像,其中,所述对象图像中包括所述目标对象的眼部图像;第二获取模块,用于获取所述目标对象的特征信息;第一确定模块,用于基于所述特征信息,确定目标对象相对于所述图像采集装置的朝向信息;第二确定模块,用于基于所述朝向信息确定目标对象的对象状态;以及调整模块,用于在所述对象状态满足预设条件的情况下,调整所述眼部图像到目标位置。
本公开的另一个方面提供了一种电子设备,包括处理器以及存储器,用于存储可执行指令,其中,当所述指令被所述处理器执行时,使得所述处理器执行上述的方法。
本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
附图说明
为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中:
图1示意性示出了根据本公开的实施例的图像处理方法的应用场景;
图2示意性示出了根据本公开实施例的信息处理方法的流程图;
图3A示意性示出了根据本公开实施例的确定目标对象相对于图像采集装置的朝向信息的方法流程图;
图3B示意性示出了根据本公开实施例的确定目标对象相对于图像采集装置的朝向信息的方法示意图;
图4A和4B示意性示出了根据本公开实施例的调整眼部图像的示意图;
图5示意性示出了根据本公开实施例的调整眼部图像中的有色部分到目标位置的方法流程图;
图6示意性示出了根据本公开的实施例的图像处理装置的框图;以及
图7示意性示出了根据本公开实施例的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式,该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
本公开的实施例提供了一种图像处理方法,包括:获取由图像采集装置采集的目标对象的对象图像,其中,对象图像中包括所述目标对象的眼部图像;获取该目标对象的特征信息,以及基于特征信息,确定目标对象相对于图像采集装置的朝向信息;基于朝向信息确定目标对象的对象状态;以及在对象状态满足预设条件的情况下,调整眼部图像。
图1示意性示出了根据本公开的实施例的图像处理方法的应用场景。需要注意的是,图1所示仅为可以应用本公开实施例的场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,该应用场景中包括第一电子设备100,用户乙120通过第一电子设备100与用户甲110进行视频通话。
在用户甲110和用户乙120视频通话的过程中,用户甲110通常看向屏幕,而不是看向图像采集装置,导致用户乙120通过第一电子设备100观看到的用户甲110一直向下看,而不是与自己(即用户乙120)对视。因此,在该视频通话的场景中,第一电子设备100展示的用户甲110的图像的真实感较差,用户乙120的用户体验不佳。
类似地,用户甲110通过自身使用的第二电子设备观看到的用户乙的图像也难以达到与自己(即用户甲110)对视的效果。
根据本公开的图像处理方法例如可以调整第一电子设备100中的图像采集装置采集的用户乙120的眼部图像,使得展示在用户甲110的第二电子设备上的用户乙120的图像能够达到与用户甲110对视的效果。
图2示意性示出了根据本公开实施例的信息处理方法的流程图。
如图2所示,该方法包括操作S210~S250。
在操作S210,获取由图像采集装置采集的目标对象的对象图像,其中,对象图像中包括目标对象的眼部图像。
例如在图1所示的情景中,图像采集装置例如可以是第一电子设备100上的摄像头。目标对象例如可以是用户乙120,对象图像例如可以是用户乙120的图像。在用户乙120的图像中包括用户乙120的眼部图像。
在操作S220,获取目标对象的特征信息。
根据本公开的实施例,目标对象的特征信息例如可以是目标对象的三维面部模型。三维面部模型可以是通过红外光获得的,或者也可以是通过多个摄像头获得的。
具体地,目标对象的特征信息例如可以包括目标对象的眼睛所在的位置、鼻子所在的位置等等。
在操作S230,基于特征信息,确定目标对象相对于所述图像采集装置的朝向信息。
目标对象相对于图像采集装置的朝向信息,例如可以是目标对象的面部与图像采集装置的位置关系。
图3A示意性示出了根据本公开实施例的确定目标对象相对于图像采集装置的朝向信息的方法流程图。
图3B示意性示出了根据本公开实施例的确定目标对象相对于图像采集装置的朝向信息的方法示意图。
下面结合图3A和图3B示意性对确定目标对象相对应图像采集装置的朝向信息进行说明。
如图3A所示,该方法可以包括操作S231~S234。
在操作S231,基于三维面部模型,确定三维面部模型中面部的中心线。
根据本公开的实施例,面部的中心线将面部划分为左侧的面部和右侧的面部。
根据本公开的实施例,例如可以根据三维面部模型中的鼻子来确定面部的中心线。如图3B所示,可以以鼻梁作为面部的在中心线。又例如,可以根据嘴巴或者眉骨等等来确定面部中心线。
在操作S232,确定中心线左侧的面部第一特征点到中心线的第一距离。
第一特征点例如可以是左眼的眼角,或者第一特征点也可以是左嘴角等等。
如图3B所示,第一特征点A即左眼的眼角到中心线的第一距离可以是L1
在操作S233,确定中心线右侧的面部中第二特征点到中心线的第二距离。
根据本公开的实施例,第二特征点例如可以是右侧面部中与左侧面部中的第一特征点相对应的特征点。例如第一特征点是左眼的眼角,则第二特征点可以是右眼的眼角。如图3B所示,第二特征点B即右眼的眼角到中心线的第二距离可以是L2
根据本公开的实施例,第二特征点不限定为与第一特征点相对应的特征点。例如第一特征点是左眼的眼角,第二特征点也可以是右嘴角等。
需要理解的是,第一特征点和第二特征点均可以是多个,并且第一特征点的数量和第二特征点的数量可以相同也可以不相同。
在操作S234,基于第一距离和第二距离确定目标对象的面部相对于图像采集装置的朝向信息。
例如可以根据第一距离和第二距离确定目标对象的面部相对于图像采集装置的角度。具体地,例如可以根据第一距离和第二距离确定目标对象的正脸对着图像采集装置,或者侧脸对着图像采集装置,或者根据第一距离和第二距离确定正脸与图像采集装置的位置关系。
根据本公开的实施例,例如第二特征点可以是与第一特征点相对应的特征点,可以通过第一距离和第二距离的差值来确定目标对象的面部和图像采集装置的朝向信息。
例如第一距离L1和第二距离L2差值为0,则可以表明目标对象的正脸对着图像采集装置。
又例如,第一距离L1和第二距离L2差值较大,则可以表面目标对象的面部相对于图像采集装置发生的偏转。
返回参考图2,在操作S240,基于朝向信息确定目标对象的对象状态。
根据本公开的实施例,例如第二特征点可以是与第一特征点相对应的特征点,当第一距离和第二距离的差值小于预设阈值的情况下,可以确定目标对象对象状态可以是面部朝向电子设备的屏幕,目标对象处于聊天状态或者拍摄状态等。
在操作S250,在对象状态满足预设条件的情况下,调整眼部图像。
根据本公开的实施例,预设条件例如可以是对象状态表明目标对象面部朝向电子设备的屏幕,并且眼睛看向屏幕。
根据本公开的实施例,例如可以是在对象状态表明目标对象的的面部朝向图像采集装置的情况下调整眼部图像。
根据本公开的实施例,调整眼部图像包括调整眼部图像中的有色部分到目标位置,该目标位置包括在采集对象图像的情况下,目标对象的眼部看向图像采集装置时,眼部图像在对象图像中的位置。
图4A和4B示意性示出了根据本公开实施例的调整眼部图像的示意图。下面结合图1、图4A和图4B对调整眼部图像到目标位置进行说明。
如图4A和图4B所示,眼部图像中的有色部分包括瞳孔410。
例如在图1所示的情景中,第一电子设备100的图像采集装置采集用户乙120的面部图像,采集到的面部图像例如可以如图4A所示。如图4A所示,图像采集装置采集到的眼部图像中眼球所在位置为看向第一电子设备100的屏幕的位置,即瞳孔410位于眼部偏下的位置。第一电子设备100可以将面部图像中瞳孔410调整到如图4B所示的位置,使得瞳孔410位于到看向图像采集装置的位置。
图5示意性示出了根据本公开实施例的调整眼部图像中的有色部分到目标位置的方法流程图。
如图5所示,该方法可以包括操作S251~S253。
在操作S251,基于三维面部模型中眼部图像的有色部分的位置,确定图像采集装置与目标对象的眼部有色部分的中心点的连线。
例如可以根据三维面部模型确定图像采集装置与目标对象的面部的位置关系,并且根据三维面部模型确定目标对象的眼部中心点的位置,从而确定出图像采集装置与目标对象的眼部瞳孔的中心点的连线。
在操作S252,确定目标对象的眼部的光轴与连线之间的夹角。
例如可以根据三维面部模型来确定眼部光轴,或者可以通过眼动追踪技术、红外光等来确定眼部的光轴。
在操作S253,调整眼部图像中有色部分到与夹角适配的目标位置。
例如可以是调整眼部图像中有色部分的位置,使得调整后眼部光轴与连线之间的夹角为0。例如可以朝面部的上方移动有色部分并且转动一定的角度,使得与调整后的眼部有色部分中心点与图像采集装置的连线与调整后的眼部光轴重合。
根据本公开的实施例,在调整眼部图像中的有色部分到目标位置之后,方法还包括调整眼部图像中有色部分的面积,使得面积与眼部图像相适配。
例如当目标对象看向屏幕时,眼部图像中的有色部分的面积为S1,当目标对象旋转眼球向上看向图像采集装置时,眼部图像中的有色部分的面部为S2,则S2可以大于S1。在将有色部分调整为看向图像采集装置对应的目标位置时,可以将眼部图像中有色部分的面积放大,从而使得有色部分的面积与眼部图像相适配,避免瞳孔的面积过大或过小而导致的图像不真实。
根据本公开的实施例,该方法能够在目标对象的面部与图像采集装置之间的相对位置满足预设条件的情况下,调整眼球在对象图像中的位置,使得通过电子设备拍照或者视频时用户观看到的图像更加具有真实感。
图6示意性示出了根据本公开的实施例的图像处理装置600的框图。
如图6所示,图像处理装置600可以包括第一获取模块610、第二获取模块620、第一确定模块630、第二确定模块640和调整模块650。
第一获取模块610,例如可以执行上文参考图2描述的操作S210,用于获取由图像采集装置采集的目标对象的对象图像,其中,对象图像中包括目标对象的眼部图像。
第二获取模块620,例如可以执行上文参考图2描述的操作S220,用于获取目标对象的特征信息。
第一确定模块630,例如可以执行上文参考图2描述的操作S230,用于基于特征信息,确定目标对象相对于图像采集装置的朝向信息。
第二确定模块640,例如可以执行上文参考图2描述的操作S240,用于基于朝向信息确定目标对象的对象状态。
调整模块650,例如可以执行上文参考图2描述的操作S250,用于在对象状态满足预设条件的情况下,调整眼部图像到目标位置。
根据本公开的实施例,所述特征信息包括所述目标对象的三维面部模型,所述三维面部模型通过红外光获得。
根据本公开的实施例,第一确定模块630可以用于基于三维面部模型,确定三维面部模型中面部的中心线;确定中心线左侧的面部第一特征点到中心线的第一距离;确定中心线右侧的面部中第二特征点到中心线的第二距离;以及基于第一距离和第二距离确定目标对象的面部相对于图像采集装置的朝向信息。
根据本公开的实施例,调整模块650可以用于在对象状态表明目标对象的面部朝向图像采集装置的情况下,调整眼部图像。
根据本公开的实施例,调整眼部图像包括调整眼部图像中的有色部分到目标位置,目标位置包括:在采集对象图像的情况下,目标对象的眼部看向图像采集装置时,眼部图像在对象图像中的位置。
根据本公开的实施例,特征信息包括三维面部模型,调整眼部图像中的有色部分到目标位置包括:基于三维面部模型中眼部图像的有色部分的位置,确定图像采集装置与目标对象的眼部有色部分的中心点的连线;确定目标对象的眼部的光轴与连线之间的夹角;以及调整眼部图像中有色部分到与夹角适配的目标位置。
根据本公开的实施例,图像处理装置还可以包括修正模块,用于在调整眼部图像中的有色部分到目标位置之后,调整眼部图像中有色部分的面积,使得面积与眼部图像相适配。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,第一获取模块610、第二获取模块620、第一确定模块630、第二确定模块640和调整模块650中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,第一获取模块610、第二获取模块620、第一确定模块630、第二确定模块640和调整模块650中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一获取模块610、第二获取模块620、第一确定模块630、第二确定模块640和调整模块650中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图7示意性示出了根据本公开实施例的电子设备的方框图。图7示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700包括处理器710、计算机可读存储介质720。该电子设备700可以执行根据本公开实施例的方法。
具体地,处理器710例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器710还可以包括用于缓存用途的板载存储器。处理器710可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质720,例如可以是非易失性的计算机可读存储介质,具体示例包括但不限于:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;等等。
计算机可读存储介质720可以包括计算机程序721,该计算机程序721可以包括代码/计算机可执行指令,其在由处理器710执行时使得处理器710执行根据本公开实施例的方法或其任何变形。
计算机程序721可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序721中的代码可以包括一个或多个程序模块,例如包括721A、模块721B、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器710执行时,使得处理器710可以执行根据本公开实施例的方法或其任何变形。
根据本发明的实施例,第一获取模块610、第二获取模块620、第一确定模块630、第二确定模块640和调整模块650中的至少一个可以实现为参考图7描述的计算机程序模块,其在被处理器710执行时,可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种图像处理方法,包括:
获取由图像采集装置采集的目标对象的对象图像,其中,所述对象图像中包括所述目标对象的眼部图像;
获取所述目标对象的特征信息;
基于所述特征信息,确定目标对象相对于所述图像采集装置的朝向信息;
基于所述朝向信息确定目标对象的对象状态;以及
在所述对象状态满足预设条件的情况下,调整所述眼部图像。
2.根据权利要求1所述的方法,其中,所述特征信息包括所述目标对象的三维面部模型,所述三维面部模型通过红外光获得。
3.根据权利要求2所述的方法,其中,所述基于所述特征信息确定目标对象相对于所述图像采集装置的朝向信息包括:
基于所述三维面部模型,确定所述三维面部模型中面部的中心线;
确定所述中心线左侧的面部第一特征点到所述中心线的第一距离;
确定所述中心线右侧的面部中第二特征点到所述中心线的第二距离;以及
基于所述第一距离和所述第二距离确定所述目标对象的面部相对于所述图像采集装置的朝向信息。
4.根据权利要求1所述的方法,其中,所述在所述对象状态满足预设条件的情况下,调整所述眼部图像包括:
在所述对象状态表明所述目标对象的面部朝向所述图像采集装置的情况下,调整所述眼部图像。
5.根据权利要求1所述的方法,其中,所述调整所述眼部图像包括调整所述眼部图像中的有色部分到目标位置,所述目标位置包括:
在采集所述对象图像的情况下,所述目标对象的眼部看向所述图像采集装置时,所述眼部图像在所述对象图像中的位置。
6.根据权利要求5所述的方法,其中,所述特征信息包括三维面部模型,所述调整所述眼部图像中的有色部分到目标位置包括:
基于所述三维面部模型中所述眼部图像的有色部分的位置,确定所述图像采集装置与所述目标对象的眼部有色部分的中心点的连线;
确定所述目标对象的眼部的光轴与所述连线之间的夹角;以及
调整所述眼部图像中有色部分到与所述夹角适配的目标位置。
7.根据权利要求5所述的方法,在调整所述眼部图像中的有色部分到目标位置之后,所述方法还包括:
调整所述眼部图像中有色部分的面积,使得所述面积与所述眼部图像相适配。
8.一种图像处理装置,包括:
第一获取模块,用于获取由图像采集装置采集的目标对象的对象图像,其中,所述对象图像中包括所述目标对象的眼部图像;
第二获取模块,用于获取所述目标对象的特征信息;
第一确定模块,用于基于所述特征信息,确定目标对象相对于所述图像采集装置的朝向信息;
第二确定模块,用于基于所述朝向信息确定目标对象的对象状态;以及
调整模块,用于在所述对象状态满足预设条件的情况下,调整所述眼部图像到目标位置。
9.一种电子设备,包括:
处理器;以及
存储器,用于存储可执行指令,其中,当所述指令被所述处理器执行时,使得所述处理器执行如权利要求1~7任意一项所述的方法。
10.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行如权利要求1~7任意一项所述的方法。
CN201910811431.9A 2019-08-29 2019-08-29 图像处理方法、装置、电子设备和可读存储介质 Pending CN110544317A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910811431.9A CN110544317A (zh) 2019-08-29 2019-08-29 图像处理方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910811431.9A CN110544317A (zh) 2019-08-29 2019-08-29 图像处理方法、装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN110544317A true CN110544317A (zh) 2019-12-06

Family

ID=68712319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910811431.9A Pending CN110544317A (zh) 2019-08-29 2019-08-29 图像处理方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN110544317A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095108A (zh) * 2019-12-23 2021-07-09 中移物联网有限公司 一种疲劳驾驶检测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
CN103310186A (zh) * 2012-02-29 2013-09-18 三星电子株式会社 校正图像中用户的注视方向的方法和便携式终端
CN104574321A (zh) * 2015-01-29 2015-04-29 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频系统
CN105763829A (zh) * 2014-12-18 2016-07-13 联想(北京)有限公司 一种图像处理方法及电子设备
US20170039869A1 (en) * 2015-08-07 2017-02-09 Gleim Conferencing, Llc System and method for validating honest test taking
CN107534755A (zh) * 2015-04-28 2018-01-02 微软技术许可有限责任公司 视线校正
CN108509037A (zh) * 2018-03-26 2018-09-07 维沃移动通信有限公司 一种信息显示方法及移动终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310186A (zh) * 2012-02-29 2013-09-18 三星电子株式会社 校正图像中用户的注视方向的方法和便携式终端
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
CN105763829A (zh) * 2014-12-18 2016-07-13 联想(北京)有限公司 一种图像处理方法及电子设备
CN104574321A (zh) * 2015-01-29 2015-04-29 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频系统
CN107534755A (zh) * 2015-04-28 2018-01-02 微软技术许可有限责任公司 视线校正
US20170039869A1 (en) * 2015-08-07 2017-02-09 Gleim Conferencing, Llc System and method for validating honest test taking
CN108509037A (zh) * 2018-03-26 2018-09-07 维沃移动通信有限公司 一种信息显示方法及移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨冠男,袁杰: "针对自拍视频的眼睛图像校正研究", 《现代电子技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095108A (zh) * 2019-12-23 2021-07-09 中移物联网有限公司 一种疲劳驾驶检测方法及装置
CN113095108B (zh) * 2019-12-23 2023-11-10 中移物联网有限公司 一种疲劳驾驶检测方法及装置

Similar Documents

Publication Publication Date Title
US10529071B2 (en) Facial skin mask generation for heart rate detection
US20180081434A1 (en) Eye and Head Tracking
JP6961797B2 (ja) プレビュー写真をぼかすための方法および装置ならびにストレージ媒体
US11562471B2 (en) Arrangement for generating head related transfer function filters
EP3627821B1 (en) Focusing method and apparatus for realizing clear human face, and computer device
US20130215149A1 (en) Information presentation device, digital camera, head mount display, projector, information presentation method and non-transitory computer readable medium
US20220058407A1 (en) Neural Network For Head Pose And Gaze Estimation Using Photorealistic Synthetic Data
US9160931B2 (en) Modifying captured image based on user viewpoint
CN107439002B (zh) 深度成像
US11126875B2 (en) Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium
CN110062165B (zh) 电子设备的视频处理方法、装置和电子设备
US9621857B2 (en) Setting apparatus, method, and storage medium
US10694115B2 (en) Method, apparatus, and terminal for presenting panoramic visual content
US10297285B2 (en) Video data processing method and electronic apparatus
CN111093020B (zh) 信息处理方法、摄像头模组和电子设备
US20160004302A1 (en) Eye Contact During Video Conferencing
WO2017092432A1 (zh) 一种虚拟现实交互方法、装置和系统
CN109002248B (zh) Vr场景截图方法、设备及存储介质
CN110544317A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN111083444B (zh) 一种抓拍方法、装置、电子设备及存储介质
CN108960130B (zh) 视频文件智能处理方法和装置
US11287881B2 (en) Presenting images on a display device
CN113781560B (zh) 视点宽度的确定方法、装置及存储介质
CN113763472B (zh) 一种视点宽度的确定方法、装置及存储介质
CN108965859B (zh) 投影方式识别方法、视频播放方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination