CN110636218B - 对焦方法、装置、存储介质及电子设备 - Google Patents

对焦方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110636218B
CN110636218B CN201910811554.2A CN201910811554A CN110636218B CN 110636218 B CN110636218 B CN 110636218B CN 201910811554 A CN201910811554 A CN 201910811554A CN 110636218 B CN110636218 B CN 110636218B
Authority
CN
China
Prior art keywords
screen
coordinates
human eye
determining
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910811554.2A
Other languages
English (en)
Other versions
CN110636218A (zh
Inventor
姚坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realme Chongqing Mobile Communications Co Ltd
Original Assignee
Realme Chongqing Mobile Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realme Chongqing Mobile Communications Co Ltd filed Critical Realme Chongqing Mobile Communications Co Ltd
Priority to CN201910811554.2A priority Critical patent/CN110636218B/zh
Publication of CN110636218A publication Critical patent/CN110636218A/zh
Application granted granted Critical
Publication of CN110636218B publication Critical patent/CN110636218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Abstract

本申请公开了一种对焦方法、装置、存储介质及电子设备。该方法包括:获取人眼图像;根据所述人眼图像,确定人眼图像中的左眼所对应的第一视线向量,以及人眼图像中的右眼所对应的第二视线向量;确定所述第一视线向量和所述第二视线向量的目标交点所处的位置;根据所述目标交点所处的位置,确定用户的视线在所述屏幕上的焦点区域;对所述焦点区域进行对焦。本申请可以实现成功对焦。

Description

对焦方法、装置、存储介质及电子设备
技术领域
本申请属于电子技术领域,尤其涉及一种对焦方法、装置、存储介质及电子设备。
背景技术
随着电子技术的发展,越来越多的电子设备具备了图像获取功能,用户可通过电子设备的摄像头等进行图像获取。
目前,用户通过电子设备进行图像获取时,若需要对电子设备屏幕的特定取景区域进行对焦,需要用户用手指点击屏幕的特定取景区域后进行对焦。然而,由于该对焦方式需要用户用手指点击屏幕才能进行对焦,在用户单手握持电子设备时,该对焦方式难以保证对焦时电子设备的稳定性,从而导致对焦失败。
发明内容
本申请实施例提供一种对焦方法、装置、存储介质及电子设备,可以实现成功对焦。
本申请实施例提供一种对焦方法,应用于电子设备,所述电子设备包括屏幕,包括:
获取人眼图像;
根据所述人眼图像,确定人眼图像中的左眼所对应的第一视线向量,以及人眼图像中的右眼所对应的第二视线向量;
确定所述第一视线向量和所述第二视线向量的目标交点所处的位置;
根据所述目标交点所处的位置,确定用户的视线在所述屏幕上的焦点区域;
对所述焦点区域进行对焦。
本申请实施例提供一种对焦装置,应用于电子设备,所述电子设备包括屏幕,包括:
获取模块,用于获取人眼图像;
第一确定模块,用于根据所述人眼图像,确定人眼图像中的左眼所对应的第一视线向量,以及人眼图像中的右眼所对应的第二视线向量;
第二确定模块,用于确定所述第一视线向量和所述第二视线向量的目标交点所处的位置;
第三确定模块,用于根据所述目标交点所处的位置,确定用户的视线在所述屏幕上的焦点区域;
对焦模块,用于对所述焦点区域进行对焦。
本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的对焦方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的对焦方法中的流程。
本申请实施例中,当需要对屏幕的特定取景区域进行对焦时,只需要用户用眼睛注视该区域,电子设备便可以自动对该区域进行对焦。由于本申请实施例所提供的对焦方法不需要用户用手指点击屏幕,只需要用户用眼睛注视对应区域即可进行对焦,在用户单手握持电子设备时,该对焦方式可以保证对焦时电子设备的稳定性,从而可实现成功对焦。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的对焦方法的第一种流程示意图。
图2是本申请实施例提供的眼球模型示意图。
图3是本申请实施例提供的对焦方法的第二种流程示意图。
图4是本申请实施例提供的在屏幕上设置标定点示意图。
图5是本申请实施例提供的屏幕坐标系示意图。
图6是本申请实施例提供的对焦方法的场景示意图。
图7是本申请实施例提供的对焦装置的结构示意图。
图8是本申请实施例提供的电子设备的第一种结构示意图。
图9是本申请实施例提供的电子设备的第二种结构示意图。
具体实施方式
请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等电子设备。
请参阅图1,图1是本申请实施例提供的对焦方法的第一种流程示意图,该对焦方法可以应用于电子设备,该电子设备包括屏幕,该流程可以包括:
101、获取人眼图像。
其中,人眼图像是指电子设备的摄像头所获取到的图像中包含有表征用户眼部特征的内容。通俗来说,人眼图像即为包含有人眼的图像。
需要说明的是,在本申请实施例中,该人眼图像中需包括有左眼和右眼。
例如,当用户开启相机应用,以准备通过后置摄像头拍摄照片或者视频时,屏幕上将显示后置摄像头获取的预览图像数据。同时,用户可注视屏幕上的某一点(用户注视该点,表示用户想要电子设备在该点所对应的区域进行对焦),电子设备可通过前置摄像头对准用户的眼部进行图像获取,以获取用户的人眼图像。其中,该人眼图像并不会显示在屏幕上,其仅用于后续的处理流程。
102、根据人眼图像,确定人眼图像中的左眼所对应的第一视线向量,以及人眼图像中的右眼所对应的第二视线向量。
比如,当获取到人眼图像之后,电子设备可以从该人眼图像中提取出人眼特征,包括左眼特征和右眼特征。然后,电子设备可以分别根据左眼特征和右眼特征建立第一眼球模型和第二眼球模型,其中,第一眼球模型对应左眼特征,第二眼球模型对应右眼特征。最后,电子设备可基于该第一眼球模型确定左眼对应的第一视线向量,并基于该第二眼球模型确定右眼对应的第二视线向量。
如图2所示,眼球模型为球模型,其将人眼看作为一个球体。眼球模型可包括眼球中心点和瞳孔中心点。其中,眼球中心点是眼球模型的中心点。眼球中心点是指人眼直视前方时,位于视线方向且在眼角膜后方13.5mm的位置。在该眼球模型中,瞳孔中心点处于该眼球模型的球面上。在该眼球模型中,视线方向与眼球中心点到瞳孔中心点的连线方向相同。也就是说,视线向量即为该眼球中心点与瞳孔中心点的连线的延长线所对应的向量。其中视线向量的方向指向目标物体,即人眼看向的物体。
103、确定第一视线向量和第二视线向量的目标交点所处的位置。
可以理解的是,当用户的双眼注视屏幕的某一点时,用户的左眼所对应的第一视线向量与用户的右眼所对应的第二视线向量会相交于空间中的某一点,该点即为目标交点。在本申请实施例中,电子设备需要确定该目标交点所处的位置。
在本申请实施例中,当得到第一视线向量和第二视线向量之后,电子设备可以确定该第一视线向量和该第二视线向量的目标交点所处的位置。
104、根据目标交点所处的位置,确定用户的视线在屏幕上的焦点区域。
当得到目标交点所处的位置之后,电子设备可以根据该目标交点所处的位置,确定用户的视线在屏幕上的焦点所处的位置。然后,电子设备可以基于该焦点所处的位置,确定焦点区域。例如,电子设备可以将屏幕上以该焦点所处的位置为中心的预设范围的区域确定为用户的视线在屏幕上的焦点区域。其中,该焦点为用户的双眼在屏幕上的注视点。预设范围可以由电子设备确定,此处不做具体限制。
105、对焦点区域进行对焦。
当确定出焦点区域之后,电子设备便可以利用摄像头对该焦点区域进行对焦。
在对焦之后,电子设备可响应于一拍摄指令对拍摄场景进行拍摄。或者,当对焦之后,电子设备可在一段预设时间之后,自动对拍摄场景进行拍摄。例如,电子设备可在对焦之后的3秒后,自动对拍摄场景进行拍摄。
其中,电子设备在根据用户操作启动拍摄类应用程序(比如电子设备的系统应用“相机”)后,其摄像头所对准的场景即为拍摄场景。比如,用户通过手指点击电子设备上“相机”应用的图标启动“相机应用”后,若用户使用电子设备的摄像头对准一包括XX物体的场景,则该包括XX物体的场景即为拍摄场景。根据以上描述,本领域技术人员应当理解的是,拍摄场景并非特指某一特定场景,而是跟随摄像头的指向所实时对准的场景。
本申请实施例中,当需要对屏幕的特定取景区域进行对焦时,只需要用户用眼睛注视该区域,电子设备便可以自动对该区域进行对焦。由于本申请实施例所提供的对焦方法不需要用户用手指点击屏幕,只需要用户用眼睛注视对应区域即可进行对焦,在用户单手握持电子设备时,该对焦方式可以保证对焦时屏幕电子设备的稳定性,从而可实现成功对焦。
请参阅图3,图3是本申请实施例提供的对焦方法的第二种流程示意图,流程可以包括:
201、电子设备获取人眼图像。
在本申请实施例中,在电子设备获取人眼图像,以最终确定用户的视线在屏幕上的焦点区域之前,电子设备还需要确定预设空间直角坐标系与屏幕坐标系之间的对应关系,从而才能根据人眼图像,最终确定用户的视线在屏幕上的焦点区域。其中,人眼图像是指电子设备的摄像头所获取到的图像中包含有表征用户眼部特征的内容。通俗来说,人眼图像即为包含有人眼的图像。该人眼图像中需包括有左眼和右眼。
比如,电子设备可以在屏幕上设定多个标定点。然后,电子设备可以确定每个标定点在屏幕坐标系中的标定点坐标,得到多个标定点坐标。接着,电子设备可以确定人眼注视每个标定点时,左眼对应的视线向量与右眼对应的视线向量的交点,得到多个交点。随后,电子设备可以确定每个交点在预设空间直角坐标系中的交点坐标,得到多个交点坐标;最后,电子设备可以根据多个标定点坐标和多个交点坐标,确定屏幕坐标系与预设空间直角坐标系之间的对应关系。
例如,电子设备可在屏幕上设定4个标定点,其中,该4个标定点可分别设置在该屏幕的4个角上,即屏幕的每个角设置一个标定点。或者,如图4所示,电子设备可在屏幕上设定7个标定点。其中,4个标定点可分别设置在该屏幕的4个角上,3个标定点可设置在该屏幕中间的某个位置。需要说明的是,本申请实施例并不对标定点的位置和数量进行限制,电子设备可以随机在屏幕上的任意位置设定任意数量的标定点。
如图5所示,以电子设备在屏幕上设定4个标定点(屏幕的每个角设置一个标定点)为例,当电子设备在屏幕上设定4个标定点之后,电子设备可以确定该4个标定点中的每个标定点在屏幕坐标系中的坐标,即确定标定点p1在屏幕坐标系中的坐标、标定点p2在屏幕坐标系中的坐标、标定点p3在屏幕坐标系中的坐标和标定点p4在屏幕坐标系中的坐标。其中,该屏幕坐标系可以以屏幕左上角为原点,x轴坐标可以从屏幕最左边开始,由左向右逐渐增加;y轴坐标可以从屏幕最上方开始,由上至下逐渐增加。需要说明的是,该屏幕坐标系仅仅是本申请实施例的一种示例,并不用于限制本申请。如图也仅仅是本申请实施例提供的一种示意图,并不用于限制本申请。
然后,电子设备可以生成提示信息并显示,该提示信息用于提示用户注视该4个标定点。接着,电子设备可以获取用户注视每个标定点的人眼图像。例如,电子设备可以指示用户先持续注视标定点p1,持续时间可以为4秒,并获取用户注视该标定点p1的人眼图像。接着,电子设备可指示用户持续注视标定点p2,持续时间也可以为4秒,并获取用户注视该标定点p2的人眼图像。随后,电子设备可指示用户持续注视标定点p3,持续时间也可以为4秒,并获取用户注视该标定点p3的人眼图像。最后,电子设备可指示用户持续注视标定点p4,持续时间也可以为4秒,并获取用户注视该标定点p4的人眼图像,从而共得到4张人眼图像。其中,该持续时间为4秒仅仅为本申请实施例提供的一种示例,并不用于限制本申请。该持续时间可以由电子设备根据实际情况确定,此处不做具体限制。人眼图像可由电子设备通过前置摄像头进行获取。
在一些实施例中,以用户持续注视标定点p1为例,当用户持续注视该标定点p1时,电子设备可以获取多张用户注视该标定点p1的人眼图像,然后从该多张人眼图像中确定出清晰度最高的人眼图像,将该清晰度最高的人眼图像确定为用户注视标定点p1所对应的人眼图像。以此类推,电子设备可以根据上述方式得到用户注视标定点p2所对应的人眼图像(用户注视标定点p2时,电子设备所获取到的多张人眼图像中清晰度最高的人眼图像),用户注视标定点p3所对应的人眼图像,以及用户注视标定点p4所对应的人眼图像,从而得到4张人眼图像。
在另一些实施例中,以用户持续注视标定点p1为例,当用户持续注视该标定点p1时,电子设备可以获取多张用户注视该标定点p1的人眼图像。然后电子设备可以对该多张人眼图像进行合成处理,得到合成之后的人眼图像,将该合成之后的人眼图像确定为用户注视标定点p1所对应的人眼图像。以此类推,电子设备可以根据上述方式得到用户注视标定点p2所对应的人眼图像,用户注视标定点p3所对应的人眼图像,以及用户注视标定点p4所对应的人眼图像,从而得到4张人眼图像。
当得到4张人眼图像之后,电子设备可以从每张人眼图像中提取出人眼特征,包括左眼特征和右眼特征。然后,电子设备可以根据每张人眼图像对应的人眼特征,确定每张人眼图像中的左眼所对应的视线向量,以及右眼所对应的视线向量,从而确定出每张人眼图像中的左眼所对应的视线向量,以及右眼所对应的视线向量的交点,得到4个交点。可以理解的是,如图6所示,当用户用双眼注视屏幕上的一点时,左眼对应的视线向量和右眼对应的视线向量会汇聚于空间中的一点,该点即为左眼对应的视线向量与右眼对应的视线向量的交点。其中,电子设备也可以根据每张人眼图像对应的左眼特征建立每张人眼图像的左眼对应的眼球模型,以及每张人眼图像的右眼特征建立右眼对应的眼球模型。然后,电子设备可以基于每张人眼图像的左眼对应的眼球模型,确定每张人眼图像的左眼对应的视线向量,并基于每张人眼图像的右眼对应的眼球模型,确定每张人眼图像的右眼对应的视线向量。
当得到4个交点之后,电子设备可以确定这4个交点在预设空间直角坐标系中的交点坐标,得到4个交点坐标。其中,该预设空间直角坐标系可以以空间中任意一点作为原点建立。需要说明的是,该4个交点也为空间中的某一点,因此,电子设备可以确定该4个交点中的每个交点在该预设空间直角坐标系中的交点坐标,得到4个交点坐标。
当得到4个交点坐标之后,电子设备可以根据该4个交点坐标,以及4个标定点坐标,确定屏幕坐标系与预设空间直角坐标系之间的对应关系。可以理解的是,当得到该屏幕坐标系与预设空间直角坐标系之间的对应关系之后,若确定出某一点在屏幕坐标系中的坐标,电子设备可根据该对应关系确定出该点在预设空间直角坐标系中的坐标;同理,若确定出某一点在预设空间直角坐标系中的坐标,电子设备可根据该对应关系确定出该点在屏幕坐标系中的坐标。
需要说明的是,电子设备并不需要在每次获取人眼图像,以根据该人眼图像以最终确定用户的视线在屏幕上的焦点区域之前,便执行一次确定屏幕坐标系与预设空间直角坐标系之间的对应关系的操作,而是在电子设备第一次执行根据该人眼图像以最终确定焦点区域的流程之前,执行该确定屏幕坐标系与预设空间直角坐标系之间的对应关系的操作,在电子设备之后执行的根据该人眼图像以最终确定焦点区域的流程中,电子设备都可以直接使用该对应关系。
在一些实施例中,电子设备也可以每隔一段预设时间进行一次屏幕坐标系与预设空间直角坐标系之间的对应关系的确定操作,以减小误差。
在本申请实施例中,电子设备可获取人眼图像。例如,当用户开启相机应用,以准备通过后置摄像头拍摄照片或者视频时,屏幕上将显示后置摄像头获取的预览图像数据。同时,用户可注视屏幕上的某一点(用户注视该点,表示用户想要电子设备在该点所对应的区域进行对焦),电子设备可通过前置摄像头对准用户的眼部进行图像获取,以获取用户的人眼图像。其中,该人眼图像并不会显示在屏幕上,其仅用于后续的处理流程。其中,该人眼图像中需包括有左眼和右眼。或者,若用户开启相机应用,以准备通过前置摄像头拍摄照片或者视频时,屏幕上将显示前置摄像头获取的预览图像数据。同时,电子设备可通过前置摄像头对准用户的眼部进行图像获取,以得到人眼图像。也就是说,电子设备所获取的图像既用于预览,又用于后续的处理流程。
在一些实施例中,为了避免电子设备获取不必要的人眼图像,电子设备还可以先检测电子设备是否处于拍摄界面(例如,屏幕上是否显示摄像头获取的预览图像数据)。若电子设备处于拍摄界面(若屏幕上显示有摄像头获取的预览图像数据),电子设备可获取人眼图像。也就是说,流程201可以包括:电子设备检测电子设备是否处于拍摄界面;若电子设备处于拍摄界面,则电子设备获取人眼图像。
在另一些实施例中,电子设备可在用户需要进行对焦时获取人眼图像。例如,用户可说出一语音,比如“对焦”。当电子设备接收到该语音时,便可以获取人眼图像。
202、电子设备根据人眼图像,确定人眼图像中的左眼所对应的第一视线向量,以及人眼图像中的右眼所对应的第二视线向量。
比如,当获取到人眼图像之后,电子设备可以从该人眼图像中提取出人眼特征,包括左眼特征和右眼特征。然后,电子设备可以分别根据左眼特征和右眼特征建立第一眼球模型和第二眼球模型,其中,第一眼球模型对应左眼特征,第二眼球模型对应右眼特征。最后,电子设备可基于该第一眼球模型确定左眼对应的第一视线向量,并基于该第二眼球模型确定右眼对应的第二视线向量。
如图2所示,眼球模型为球模型,其将人眼看作为一个球体。眼球模型可包括眼球中心点和瞳孔中心点。其中,眼球中心点是眼球模型的中心点。眼球中心点是指人眼直视前方时,位于视线方向且在眼角膜后方13.5mm的位置。在该眼球模型中,瞳孔中心点处于该眼球模型的球面上。在该眼球模型中,视线方向与眼球中心点到瞳孔中心点的连线方向相同。也就是说,视线向量即为该眼球中心点与瞳孔中心点的连线的延长线所对应的向量。其中视线向量的方向指向目标物体,即人眼看向的物体。
203、电子设备确定第一视线向量和第二视线向量的目标交点在预设空间直角坐标系中的目标交点坐标。
可以理解的是,当用户的双眼注视屏幕的某一点时,用户的左眼所对应的第一视线向量,和右眼所对应的第二视线向量会相交于空间中的某一点,该点即为目标交点。由于该目标交点为空间中的某一点,电子设备可以确定出该目标交点在预设空间直角坐标系中的坐标,即目标交点坐标。
204、电子设备获取屏幕坐标系与预设空间直角坐标系之间的对应关系。
205、电子设备根据目标交点坐标,以及对应关系,确定用户的视线在屏幕坐标系中的焦点坐标。
由于电子设备得到屏幕坐标系与预设空间直角坐标系之间的对应关系之后,便可以在确定出某一点在预设空间直角坐标系中的坐标时,根据该对应关系确定出该点在屏幕坐标系中的坐标。因此,在确定出目标交点坐标之后,即确定出目标交点在预设空间直角坐标系中的坐标之后,电子设备可以获取屏幕坐标系与预设空间直角坐标系之间的对应关系。然后,电子设备可以根据该目标交点在预设空间直角坐标系中的坐标,以及该屏幕坐标系与预设空间直角坐标系之间的对应关系,确定该目标交点在屏幕坐标系中的坐标,该坐标即为用户的视线在屏幕上的焦点坐标。
206、电子设备根据焦点坐标,确定用户的视线在屏幕上的焦点区域。
可以理解的是,确定出用户的视线在屏幕上的焦点坐标,也即确定出用户的双眼的视线向量汇聚于屏幕上的具体位置,以及确定出用户的双眼注视屏幕上的某一点的具体位置。因此,当确定出该焦点坐标之后,电子设备可以根据该焦点坐标,确定用户的视线在屏幕上的焦点区域。
在一些实施例中,电子设备可以将屏幕上以该焦点坐标为中心的预设范围的区域确定为用户的视线在屏幕上的焦点区域。其中,该预设范围可以由电子设备自动确定,此处不做具体限制。例如,电子设备可以以该焦点为圆心,确定一半径为2厘米的圆形区域,将该圆形区域确定为用户的视线在屏幕上的焦点区域。
在另一些实施例中,电子设备获取在预设时间范围内确定的多个焦点坐标,其中,每一焦点坐标为电子设备在预设时间范围内每获取一次人眼图像,并根据该人眼图像所得到的焦点坐标。即电子设备可以在预设时间范围内,多次执行流程201至205,以确定出多个焦点坐标。
例如,在预设时间范围内,电子设备获取人眼图像m1;然后电子设备根据该人眼图像m1,确定该人眼图像m1中的左眼所对应的第一视线向量,以及该人眼图像m1中的右眼所对应的第二视线向量;接着,电子设备确定第一视线向量和第二视线向量的目标交点在预设直角坐标系中的目标交点坐标;随后,电子设备获取屏幕坐标系与预设空间直角坐标系之间的对应关系;最后,电子设备根据目标交点坐标,以及该对应关系,确定用户的视线在屏幕坐标系中的焦点坐标d1。接着,在预设时间范围内,电子设备获取人眼图像m2;然后电子设备根据该人眼图像m2,确定该人眼图像m2中的左眼所对应的第一视线向量,以及该人眼图像m2中的右眼所对应的第二视线向量;接着,电子设备确定第一视线向量和第二视线向量的目标交点在预设直角坐标系中的目标交点坐标;随后,电子设备获取屏幕坐标系与预设空间直角坐标系之间的对应关系;最后,电子设备根据目标交点坐标,以及该对应关系,确定用户的视线在屏幕坐标系中的焦点坐标d2......当不在预设时间范围内时,电子设备停止获取人眼图像。以此类推,电子设备可以在预设时间范围内按照上述流程得到多个焦点坐标;然后,电子设备可以获取这多个焦点坐标。
接着,电子设备判断该多个焦点坐标是否均处于预设区域内。若该多个焦点坐标均处于预设区域内,电子设备可以将该预设区域确定为用户的视线在屏幕上的焦点区域。由于电子设备的硬件与软件条件的限制,即使在预设时间范围内,用户的双眼持续注视屏幕上的同一点,电子设备根据获取到的用户的双眼持续注视屏幕上的该点的多张人眼图像所最终分别确定的用户的视线在屏幕上的多个焦点坐标并不一定相同,而是会有一些偏差,但偏差不会很大。可以理解的是,该多个焦点坐标会处于一定大小的区域内,电子设备可以将该区域确定为用户的视线在屏幕上的焦点区域。
207、电子设备对焦点区域进行对焦。
当确定出焦点区域之后,电子设备便可以利用摄像头对该焦点区域进行对焦。
在一些实施例中,该流程207可以包括:电子设备获取用户的语音信息;电子设备检测所述语音信息中是否包括预设关键词;若所述语音信息中包括预设关键词,则电子设备对所述焦点区域进行对焦。
例如,考虑到用户可能只是想看清楚拍摄界面中的某个物体才注视该物体对应的区域,为防止电子设备进行不必要的对焦,当确定出焦点区域之后,电子设备可在用户说出“请对焦”之后,再对该焦点区域进行对焦。
在对焦之后,电子设备可响应于一拍摄指令对拍摄场景进行拍摄。或者,当对焦之后,电子设备可在一段预设时间之后,自动对拍摄场景进行拍摄。例如,电子设备可在对焦之后的3秒后,自动对拍摄场景进行拍摄。
请参阅图7,图7为本申请实施例提供的对焦装置的结构示意图。该对焦装置可应用于电子设备,该电子设备包括屏幕。该对焦装置包括:获取模块301,第一确定模块302,第二确定模块303,第三确定模块304及对焦模块305。
获取模块301,用于获取人眼图像。
第一确定模块302,用于根据所述人眼图像,确定人眼图像中的左眼所对应的第一视线向量,以及人眼图像中的右眼所对应的第二视线向量。
第二确定模块303,用于确定所述第一视线向量和所述第二视线向量的目标交点所处的位置。
第三确定模块304,用于根据所述目标交点所处的位置,确定用户的视线在所述屏幕上的焦点区域。
对焦模块305,用于对所述焦点区域进行对焦。
在一些实施例中,所述第二确定模块303,可以用于:确定所述第一视线向量和所述第二视线向量的目标交点在预设空间直角坐标系中的目标交点坐标;所述第三确定模块304,可以用于:获取屏幕坐标系与预设空间直角坐标系之间的对应关系;根据所述目标交点坐标,以及所述对应关系,确定用户的视线在所述屏幕坐标系中的焦点坐标;根据所述焦点坐标,确定用户的视线在所述屏幕上的焦点区域。
在一些实施例中,所述获取模块301,可以用于:在所述屏幕上设定多个标定点;确定每个标定点在屏幕坐标系中的标定点坐标,得到多个标定点坐标;确定人眼注视每个标定点时,左眼对应的视线向量与右眼对应的视线向量的交点,得到多个交点;确定每个交点在预设空间直角坐标系中的交点坐标,得到多个交点坐标;根据所述多个标定点坐标和所述多个交点坐标,确定所述屏幕坐标系与所述预设空间直角坐标系之间的对应关系。
在一些实施例中,所述第三确定模块304,可以用于:将所述屏幕上以所述焦点坐标为中心的预设范围的区域确定为用户的视线在所述屏幕上的焦点区域。
在一些实施例中,所述第三确定模块304,可以用于:获取在预设时间范围内确定的多个焦点坐标;判断所述多个焦点坐标是否均处于预设区域内;若所述多个焦点坐标均处于预设区域内,则将所述预设区域确定为用户的视线在所述屏幕上的焦点区域。
在一些实施例中,所述对焦模块305,可以用于:获取用户的语音信息;检测所述语音信息中是否包括预设关键词;若所述语音信息中包括预设关键词,则对所述焦点区域进行对焦。
在一些实施例中,所述获取模块301,可以用于:检测所述电子设备是否处于拍摄界面;若所述电子设备处于拍摄界面,则获取人眼图像。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的对焦方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的对焦方法中的流程。
例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图8,图8为本申请实施例提供的电子设备的结构示意图。
该电子设备400可以包括存储器401、处理器402、摄像头403和屏幕404等部件。本领域技术人员可以理解,图8中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储器401可用于存储应用程序和数据。存储器401存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器402通过运行存储在存储器401的应用程序,从而执行各种功能应用以及数据处理。
处理器402是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
摄像头403可用于获取人脸图像等。
屏幕404可以用于显示文字、图片等信息。
在本实施例中,电子设备中的处理器402会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器401中,并由处理器402来运行存储在存储器401中的应用程序,从而实现流程:
获取人眼图像;
根据所述人眼图像,确定人眼图像中的左眼所对应的第一视线向量,以及人眼图像中的右眼所对应的第二视线向量;
确定所述第一视线向量和所述第二视线向量的目标交点所处的位置;
根据所述目标交点所处的位置,确定用户的视线在所述屏幕上的焦点区域;
对所述焦点区域进行对焦。
请参阅图9,电子设备400可以包括存储器401、处理器402、摄像头403、屏幕404、输入单元405和输出单元406等部件。
存储器401可用于存储应用程序和数据。存储器401存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器402通过运行存储在存储器401的应用程序,从而执行各种功能应用以及数据处理。
处理器402是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器401内的应用程序,以及调用存储在存储器401内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
摄像头403可用于获取人脸图像等。
屏幕404可以用于显示文字、图片等信息。
输入单元405可用于接收输入的数字、字符信息或用户特征信息(比如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
输出单元406可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。输出单元可包括显示面板。
在本实施例中,电子设备中的处理器402会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器401中,并由处理器402来运行存储在存储器401中的应用程序,从而实现流程:
获取人眼图像;
根据所述人眼图像,确定人眼图像中的左眼所对应的第一视线向量,以及人眼图像中的右眼所对应的第二视线向量;
确定所述第一视线向量和所述第二视线向量的目标交点所处的位置;
根据所述目标交点所处的位置,确定用户的视线在所述屏幕上的焦点区域;
对所述焦点区域进行对焦。
在一些实施方式中,处理器402执行确定所述第一视线向量和所述第二视线向量的目标交点所处的位置时,可以执行:确定所述第一视线向量和所述第二视线向量的目标交点在预设空间直角坐标系中的目标交点坐标;处理器401执行根据所述目标交点所处的位置,确定用户的视线在所述屏幕上的焦点区域时,可以执行:获取屏幕坐标系与预设空间直角坐标系之间的对应关系;根据所述目标交点坐标,以及所述对应关系,确定用户的视线在所述屏幕坐标系中的焦点坐标;根据所述焦点坐标,确定用户的视线在所述屏幕上的焦点区域。
在一些实施方式中,处理器402执行获取人眼图像之前,还可以执行:在所述屏幕上设定多个标定点;确定每个标定点在屏幕坐标系中的标定点坐标,得到多个标定点坐标;确定人眼注视每个标定点时,左眼对应的视线向量与右眼对应的视线向量的交点,得到多个交点;确定每个交点在预设空间直角坐标系中的交点坐标,得到多个交点坐标;根据所述多个标定点坐标和所述多个交点坐标,确定所述屏幕坐标系与所述预设空间直角坐标系之间的对应关系。
在一些实施方式中,处理器402执行根据所述焦点坐标,确定用户的视线在所述屏幕上的焦点区域时,可以执行:将所述屏幕上以所述焦点坐标为中心的预设范围的区域确定为用户的视线在所述屏幕上的焦点区域。
在一些实施方式中,处理器402执行根据所述焦点坐标,确定用户的视线在所述屏幕上的焦点区域时,可以执行:获取在预设时间范围内确定的多个焦点坐标;判断所述多个焦点坐标是否均处于预设区域内;若所述多个焦点坐标均处于预设区域内,则将所述预设区域确定为用户的视线在所述屏幕上的焦点区域。
在一些实施方式中,处理器402执行对所述焦点区域进行对焦时,可以执行:获取用户的语音信息;检测所述语音信息中是否包括预设关键词;若所述语音信息中包括预设关键词,则对所述焦点区域进行对焦。
在一些实施方式中,处理器402执行获取人眼图像时,可以执行:检测所述电子设备是否处于拍摄界面;若所述电子设备处于拍摄界面,则获取人眼图像。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对对焦方法的详细描述,此处不再赘述。
本申请实施例提供的所述对焦装置与上文实施例中的对焦方法属于同一构思,在所述对焦装置上可以运行所述对焦方法实施例中提供的任一方法,其具体实现过程详见所述对焦方法实施例,此处不再赘述。
需要说明的是,对本申请实施例所述对焦方法而言,本领域普通技术人员可以理解实现本申请实施例所述对焦方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述对焦方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本申请实施例的所述对焦装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种对焦方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (6)

1.一种对焦方法,应用于电子设备,所述电子设备包括屏幕,其特征在于,包括:
在所述屏幕上设定多个标定点;
确定每个标定点在屏幕坐标系中的标定点坐标,得到多个标定点坐标;
确定人眼注视每个标定点时,左眼对应的视线向量与右眼对应的视线向量的交点,得到多个交点;
确定每个交点在预设空间直角坐标系中的交点坐标,得到多个交点坐标;
根据所述多个标定点坐标和所述多个交点坐标,确定所述屏幕坐标系与所述预设空间直角坐标系之间的对应关系;
获取人眼图像;
根据所述人眼图像,确定人眼图像中的左眼所对应的第一视线向量,以及人眼图像中的右眼所对应的第二视线向量;
确定所述第一视线向量和所述第二视线向量的目标交点在预设空间直角坐标系中的目标交点坐标;
获取屏幕坐标系与预设空间直角坐标系之间的对应关系;
根据所述目标交点坐标,以及所述对应关系,确定用户的视线在所述屏幕坐标系中的焦点坐标;
将所述屏幕上以所述焦点坐标为中心的预设范围的区域确定为用户的视线在所述屏幕上的焦点区域;或者,获取在预设时间范围内确定的多个焦点坐标,其中,每一所述焦点坐标为所述电子设备在预设时间范围内每获取一次人眼图像,并根据所述人眼图像所得到的焦点坐标;判断所述多个焦点坐标是否均处于预设区域内;若所述多个焦点坐标均处于预设区域内,则将所述预设区域确定为用户的视线在所述屏幕上的焦点区域;
对所述焦点区域进行对焦。
2.根据权利要求1所述的对焦方法,其特征在于,所述对所述焦点区域进行对焦,包括:
获取用户的语音信息;
检测所述语音信息中是否包括预设关键词;
若所述语音信息中包括预设关键词,则对所述焦点区域进行对焦。
3.根据权利要求1所述的对焦方法,其特征在于,所述获取人眼图像,包括:
检测所述电子设备是否处于拍摄界面;
若所述电子设备处于拍摄界面,则获取人眼图像。
4.一种对焦装置,应用于电子设备,所述电子设备包括屏幕,其特征在于,包括:
获取模块,用于在所述屏幕上设定多个标定点;确定每个标定点在屏幕坐标系中的标定点坐标,得到多个标定点坐标;确定人眼注视每个标定点时,左眼对应的视线向量与右眼对应的视线向量的交点,得到多个交点;确定每个交点在预设空间直角坐标系中的交点坐标,得到多个交点坐标;根据所述多个标定点坐标和所述多个交点坐标,确定所述屏幕坐标系与所述预设空间直角坐标系之间的对应关系;获取人眼图像;
第一确定模块,用于根据所述人眼图像,确定人眼图像中的左眼所对应的第一视线向量,以及人眼图像中的右眼所对应的第二视线向量;
第二确定模块,用于确定所述第一视线向量和所述第二视线向量的目标交点在预设空间直角坐标系中的目标交点坐标,获取屏幕坐标系与预设空间直角坐标系之间的对应关系,根据所述目标交点坐标,以及所述对应关系,确定用户的视线在所述屏幕坐标系中的焦点坐标;
第三确定模块,用于将所述屏幕上以所述焦点坐标为中心的预设范围的区域确定为用户的视线在所述屏幕上的焦点区域;或者,获取在预设时间范围内确定的多个焦点坐标,其中,每一所述焦点坐标为所述电子设备在预设时间范围内每获取一次人眼图像,并根据所述人眼图像所得到的焦点坐标;判断所述多个焦点坐标是否均处于预设区域内;若所述多个焦点坐标均处于预设区域内,则将所述预设区域确定为用户的视线在所述屏幕上的焦点区域;
对焦模块,用于对所述焦点区域进行对焦。
5.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行权利要求1至3任一项所述的对焦方法。
6.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行权利要求1至3任一项所述的对焦方法。
CN201910811554.2A 2019-08-19 2019-08-19 对焦方法、装置、存储介质及电子设备 Active CN110636218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910811554.2A CN110636218B (zh) 2019-08-19 2019-08-19 对焦方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910811554.2A CN110636218B (zh) 2019-08-19 2019-08-19 对焦方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110636218A CN110636218A (zh) 2019-12-31
CN110636218B true CN110636218B (zh) 2021-05-07

Family

ID=68969550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910811554.2A Active CN110636218B (zh) 2019-08-19 2019-08-19 对焦方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110636218B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695516B (zh) * 2020-06-12 2023-11-07 百度在线网络技术(北京)有限公司 热力图的生成方法、装置及设备
CN113918007B (zh) * 2021-04-27 2022-07-05 广州市保伦电子有限公司 一种基于眼球追踪的视频交互操作方法
CN113129112A (zh) * 2021-05-11 2021-07-16 杭州海康威视数字技术股份有限公司 物品推荐方法、装置及电子设备
CN114339037A (zh) * 2021-12-23 2022-04-12 臻迪科技股份有限公司 一种自动对焦的方法、装置、设备和存储介质
CN116661587B (zh) * 2022-12-29 2024-04-12 荣耀终端有限公司 眼动数据处理方法及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
CN103246044B (zh) * 2012-02-09 2017-03-22 联想(北京)有限公司 一种自动对焦方法、系统及具有该系统的照相机和摄像机
CN105353512B (zh) * 2015-12-10 2018-06-29 联想(北京)有限公司 一种图像显示方法和图像显示装置
CN105892647B (zh) * 2016-03-23 2018-09-25 京东方科技集团股份有限公司 一种显示屏调整方法、其装置及显示装置
CN109600555A (zh) * 2019-02-02 2019-04-09 北京七鑫易维信息技术有限公司 一种对焦控制方法、系统及拍照设备

Also Published As

Publication number Publication date
CN110636218A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
CN110636218B (zh) 对焦方法、装置、存储介质及电子设备
US9948863B2 (en) Self-timer preview image presentation method and apparatus, and terminal
US10284817B2 (en) Device for and method of corneal imaging
US10645278B2 (en) Imaging control apparatus and control method therefor
CN109040524B (zh) 伪影消除方法、装置、存储介质及终端
CN110677621B (zh) 摄像头调用方法、装置、存储介质及电子设备
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
CN110706283B (zh) 用于视线追踪的标定方法、装置、移动终端及存储介质
WO2020036821A1 (en) Identification method and apparatus and computer-readable storage medium
US10936079B2 (en) Method and apparatus for interaction with virtual and real images
US20220101767A1 (en) Control method, electronic apparatus, and computer-readable storage medium
US20200213513A1 (en) Image capturing method and device, capturing apparatus and computer storage medium
JP6283329B2 (ja) 拡張現実対象認識装置
KR20100038897A (ko) 눈동자 시선 추정 장치 및 추정 방법
CN113891002B (zh) 拍摄方法及装置
CN115134532A (zh) 图像处理方法、装置、存储介质及电子设备
CN115454250A (zh) 用于增强现实交互的方法、装置、设备和存储介质
CN112702533B (zh) 视线修正方法及视线修正装置
CN112672058B (zh) 拍摄方法及装置
JP5939469B2 (ja) 閲覧装置及び閲覧システム
CN111147934B (zh) 电子装置及输出画面决定方法
CN117097982B (zh) 目标检测方法及系统
CN115150606A (zh) 一种图像虚化方法、装置、存储介质及终端设备
CN115695768A (zh) 拍摄方法、装置、电子设备、存储介质和计算机程序产品
CN113938597A (zh) 一种脸部识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant