CN109600555A - 一种对焦控制方法、系统及拍照设备 - Google Patents

一种对焦控制方法、系统及拍照设备 Download PDF

Info

Publication number
CN109600555A
CN109600555A CN201910106875.2A CN201910106875A CN109600555A CN 109600555 A CN109600555 A CN 109600555A CN 201910106875 A CN201910106875 A CN 201910106875A CN 109600555 A CN109600555 A CN 109600555A
Authority
CN
China
Prior art keywords
attentively
user
information
preset condition
characteristic data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910106875.2A
Other languages
English (en)
Inventor
孔祥晖
秦林婵
黄通兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Beijing Qixin Yiwei Information Technology Co Ltd
Original Assignee
Beijing Qixin Yiwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qixin Yiwei Information Technology Co Ltd filed Critical Beijing Qixin Yiwei Information Technology Co Ltd
Priority to CN201910106875.2A priority Critical patent/CN109600555A/zh
Publication of CN109600555A publication Critical patent/CN109600555A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请公开了一种对焦控制方法、系统及拍照设备,该对焦控制方法和系统应用于拍照设备,具体为:获取用户的眼部图像;对所述眼部图像进行识别计算,得到用户视线在检测区域上的注视信息;当所述注视信息变化时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件;若所述用户特征数据满足预设条件时,驱动所述拍照设备的调焦单元运行,使得所述调焦单元基于所述注视点进行自动对焦。通过上述操作,本申请中在注视信息发生改变且满足预设条件时执行对焦动作,与现有方案中需连续对焦相比,能够显著降低功耗,进而使拍照设备的工作时长得到延长。

Description

一种对焦控制方法、系统及拍照设备
技术领域
本申请涉及自动控制技术领域,更具体地说,涉及一种对焦控制方法、系统及拍照设备。
背景技术
随着科技的发展,我们在日常生活中已经有多种手段进行拍照,如利用手机、平板电脑、照相机等。这些设备一般都具有自动对焦功能,在拍照时,相应设备会自行选择对焦点实现对焦,例如从中选择人脸或者花朵作为焦点,再根据该焦点驱动音圈马达动作实现对焦。然而,在实际中需要调整对焦点的情况非常多,拍照设备需要随时驱动音圈马达运行以实现对焦点的调整,从而导致其功耗较大,降低了其工作时间。
发明内容
为了解决上述所提出的技术问题,本申请提供一种对焦控制方法、装置及拍照设备,以降低其功耗。
为了实现上述目的,现提出的方案如下:
一种对焦控制方法,所述对焦控制方法包括:
获取用户的眼部图像;
对所述眼部图像进行识别计算,得到用户视线在检测区域上的注视信息;
当所述注视信息变化时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件;
若所述用户特征数据满足预设条件时,驱动所述拍照设备的调节单元运行,使得所述调节单元基于所述注视信息进行自动对焦。
可选地,所述对所述眼部图像进行识别计算,得到用户视线在检测区域上的注视信息,包括:
通过机器视觉算法和眼球追踪数学模型对所述人眼图像进行计算,确定用户视线在检测区域上的注视信息。
可选地,所述当所述注视信息变化时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件,包括:
当所述注视信息与原聚焦信息的变化距离达到预设距离阈值时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件。
可选地,所述用户特征数据包括:
与眼部动作、脸部动作或肢体动作对应的数据中的一种或多种。
可选地,所述当所述注视信息与原聚焦信息的变化距离达到预设距离阈值时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件,还包括:
当所述注视信息与原聚焦信息的变化距离达到预设距离阈值时,用户注视所述注视信息的注视时长达到预设时长阈值时,判定所述用户特征数据满足所述预设条件。
可选地,所述判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件,还包括:
接收到用户通过触控输入的对焦控制指令或者检测到用户做出预设对焦控制动作时,判断所述用户特征数据是否满足所述预设条件。
一种对焦控制系统,所述系统包括:
图像获取模块,用于获取用户的眼部图像;
注视信息计算模块,用于对所述眼部图像进行识别计算,得到用户视线在检测区域上的注视信息;
条件判断模块,用于当所述注视信息变化时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件;
对焦执行模块,用于若所述用户特征数据满足预设条件时,驱动所述拍照设备的调焦单元运行,使得所述音圈马达基于所述注视点进行自动对焦。
可选地,所述注视信息计算模块具体用于:
通过机器视觉算法和眼球追踪数学模型对所述人眼图像进行计算,确定用户视线在检测区域上的注视信息。
可选地,所述条件判断模块包括:
第一判断单元,用于当所述注视信息与原聚焦信息的变化距离达到预设距离阈值时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件,其中,所述用户特征数据包括与眼部动作、脸部动作或肢体动作对应的数据中的一种或多种。
可选地,所述条件判断模块还包括:
第二判断单元,用于当所述注视信息与原聚焦信息的变化距离达到预设距离阈值时,用户注视所述注视信息的注视时长达到预设时长阈值时,判定所述用户特征数据满足所述预设条件。
可选地,所述条件判断模块,还包括:
第三判断单元,用于接收到用户通过触控输入的对焦控制指令或者检测到用户做出预设对焦控制动作时,判断所述用户特征数据是否满足所述预设条件。
一种拍照设备,设置有如上所述的对焦控制装置。
从上述的技术方案可以看出,本申请公开了一种对焦控制方法、系统及拍照设备,该对焦控制方法,具体为获取用户的眼部图像;对所述眼部图像进行识别计算,得到用户视线在检测区域上的注视信息;当所述注视信息变化时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件;若所述用户特征数据满足预设条件时,驱动所述拍照设备的调焦运行,使得所述调焦基于所述注视点进行自动对焦。通过上述操作,本申请中只有在注视信息发生改变且满足预设条件时执行对焦动作,与现有方案中需连续对焦相比,能够显著降低功耗,进而使拍照设备的工作时长得到延长。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种对焦控制方法的流程图;
图2为本申请实施例的另一种对焦控制方法的流程图;
图3为本申请实施例的一种对焦控制装置的框图;
图4为本申请实施例的另一种对焦控制装置的框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例一
图1为本申请实施例的一种对焦控制方法的流程图。
如图1所示,本实施例提供的对焦控制方法应用于手机、平板电脑、照相机、经纬仪、摄像机、具有拍摄功能的望远镜等拍照设备或者需要进行对焦处理的图像分析设备,该对焦控制方法具体包括如下步骤:
S1、获取用户的眼部图像。
眼部图像是指拍照设备的摄像头所拍摄的影像中所包含的表征用户眼部特征的内容,例如通过手机或平板电脑的前置摄像头等,即获取用户在拍摄时观察该拍照设备所摄取的影像时的眼部图像。具体来说,对于手机或平板电脑来说,当利用主摄像头摄取影像时,利用其前置摄像头获取用户的眼部图像。
S2、对所述眼部图像进行识别计算,得到用户视线在检测区域上的注视信息。
在获取用户的眼部图像后,通过机器视觉算法和眼球追踪数学模型对人眼图像进行处理,从而得到用户视线在检测区域上的注视信息。需要说明的是该注视信息可以用来确定用户的注视区域或者范围,其具体可以包括注视点或者三维场景中的一个带矢量的坐标,其中,注视点表示一个点的坐标,一般是视线矢量与物体的交点,该物体包括实际物体,虚拟物体,显示屏幕等,对应的注视区域为以注视点为中心的一个自定义范围的区域。对应的,若是以视线矢量来确定注视区域,则该注视区域为以视线矢量为中心的,以一定角度旋转的一个锥形。可以依据具体的场景来确定注视信息的具体表现形式。例如,检测获得用户在对拍照设备的显示屏上显示的影像的注视点。具体来说,可以通过瞳孔-角膜反射算法对注视点进行计算。之所以采集用户视线在检测区域上的注视点,是有可能通过用户的人眼图像进行分析发现用户的视线并没有落在检测区域时,则会停止后续处理,这样可以减少对不适合作为对焦区域的视线的注视点的分析处理,可以通过只检有效注视点来提升处理效率,以辅助后续通过该对焦控制方法得到最优的拍摄图像。而该检测区域范围的确定可以由用户预先设置也可以根据拍照设备类型进行默认设置,如检测区域可以为拍照设备的屏幕区域,也可以为根据最优拍照效果设置的一个区域,例如屏幕中央区域,这样可以使得对焦后得到的照片精度更高,因为,如果将对焦区域设置在屏幕边缘可能会造成照片布局效果较差,因此可以基于检测区域的设置进一步提高后续的用户拍照体验效果,使得基于该对焦控制方法确定出的对焦区域更加满足用户照片布局的设置。
在具体计算时,对人眼图像(举例,图像分辨率为1920*1080p)利用机器视觉算法提取人眼特征信息,此类数据表现为图像中的坐标数据(x,y),再利用眼球追踪数学模型计算注视点信息,输出的注视点数据为屏幕的坐标数据(x1,y1),该坐标数据即可以表征上述中的注视信息。
人眼特征信息包括瞳孔间距离,瞳孔大小,瞳孔大小变化,瞳孔亮暗对比度,角膜半径,光斑信息,虹膜信息等表征眼睛发生细微变化的特征;眼睛特征和眼部动作的信息获取方式一样,都可以通过图像捕捉或扫描提取。
另外,还可以通过巩膜接触镜、微机械系统、肌电流以及电容等的一种或几种来追踪用户视线,以确定用户注视阅读界面的注视点。
S3、当所述注视信息变化时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件。
由于人眼会对拍照设备所显示的图像的不同位置进行观察,因此上面所获得的注视信息会随之发生改变,因此为了真正避免过多无谓的对焦动作,这里在注视信息发生改变时,根据其改变判断当前状态是否满足预设条件,如果满足预设条件则进行对焦,反之则不进行对焦,其中,当前状态是通过与用户注视动作所匹配的用户特征数据来表现的。
需要说明的是该注视信息改变是以原聚焦信息为基础进行确定的,即只有二者信息发生改变才会去锁定对焦区域。与用户注视动作所匹配的用户特征数据为眼部动作、脸部动作或者肢体动作对应的数据中的一种或多种,这样可以在检测到用户注视信息后基于用户的个性化设置确定用户的特征数据是否满足预设条件,可以扩展用户的应用场景,提升用户的体验效果。
具体来说,是当注视信息的改变距离达到预设距离阈值时,如500~1000中任一像素时,才判定当前状态满足预设条件。
另外,为了实现更为精准的控制,本申请中还可以添加其他的条件,例如,在注视信息改变达到预设距离时,且该注视信息的持续时长达到相应的预设时长阈值、如100毫秒时,才判定当前状态满足预设条件,即此时执行对焦。
还有,可以在注视系你想改变达到预设距离时,如果用户通过触控输入对焦控制指令或者检测到用户做出预设对焦控制动作时,同样可以判定当前状态符合预设条件。对焦控制指令可以是用户在拍照设备的触摸屏上做出的点击或拖动操作;而预设对焦控制动作可以是符合预设标准的眼部动作、脸部动作或者肢体动作,例如眨眼、瞪眼、努嘴、张嘴、ok手势等动作。
S4、若所述用户特征数据满足预设条件时,驱动所述拍照设备的调焦单元行,使得所述调焦单元基于所述注视信息进行自动对焦。
其中,调焦单元为拍照设备或者其他具有对焦功能的设备中的进行自动对焦的单元及其辅助结构,例如,在手机或者相机中的音圈马达。
具体在当前状态符合预设条件时,根据注视信息表征的当前位置驱动拍照设备的调焦单元运动,以便将焦点落在该注视信息上,例如在所选景物内包括多个花朵时,可以控制该拍照设备将焦点从一个花朵转移至另一个花朵,以便满足用户的需求。
需要说明的是,上述判断注视信息变化和用户特征数据是否满足预设条件的过程中,二者的先后关系是可以改变的,即可以先判断用户的注视信息是否变化后再判断用户特征数据是否满足预设条件,也可以先通过用户特征数据判断是否将当前注视信息确定为对焦区域,然后再判断确定后的对焦区域是否与原来的对焦区域发生了一定的变化,如果是,才会去控制调焦单元完成自动对焦。
从上述技术方案可以看出,本实施例提供了一种对焦控制方法,该方法应用于拍照设备,具体为获取用户的眼部图像;对所述眼部图像进行识别计算,得到用户视线在检测区域上的注视信息;当所述注视信息变化时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件;若所述用户特征数据满足预设条件时,驱动所述拍照设备的调焦运行,使得所述调焦基于所述注视点进行自动对焦。通过上述操作,本申请中只有在注视信息发生改变且满足预设条件时执行对焦动作,与现有方案中需连续对焦相比,能够显著降低功耗,进而使拍照设备的工作时长得到延长。
实施例二
图2为本申请实施例的另一种对焦控制方法的流程图。
如图2所示,本实施例提供的对焦控制方法应用于手机、平板电脑、照相机、经纬仪、摄像机、具有拍摄功能的望远镜等拍照设备,该对焦控制方法具体包括如下步骤:
S0、开启拍照设备的其他摄像头。
这里的操作主要是针对拍照设备启动的拍照摄像头有关,例如,照相机一般仅有一个镜头、即主摄像头,其所获取的影像中不会存在人脸,为了实现用眼睛进行对焦,可以在这种照相机的背部设置一个摄像头,专用于对用户的眼图进行拍摄,这里将其称为区别与镜头的其他摄像头。为此,在获取人眼图像之前开启该其他摄像头,以便拍摄到包括该用户得眼图的影像。
对应的,若以手机为拍照设备时,并通过手机的前置摄像头作为拍照摄像头时,则前置摄像头在启动拍照功能之前还需要进行启动人眼图像的识别功能,便于后续通过该前置摄像头获取人眼图像。若以手机的后置摄像头作为拍照摄像头时,则在进行拍照时也需要启动前置摄像头,通过前置摄像头进行眼部图像的采集。当然若以手机的前置摄像头作为拍照摄像头,则该前置摄像头会执行两方面的操作,一是进行拍照操作,二是进行用户眼部图像采集操作。
S1、获取用户的眼部图像。
即从其他摄像头所拍摄的影像中获取用户在拍摄时观察该拍照设备所摄取的影像时的眼部图像。
S2、根据眼部图像计算用户视线的注视信息。
在获取用户的眼部图像后,通过眼球跟踪算法对眼部图像进行处理,从而得到用户视线对拍照设备的显示屏上显示的影像的注视信息。具体来说,可以通过瞳孔-角膜反射算法对注视信息进行计算。
在具体计算时,对眼部图像(举例,图像分辨率为1920*1080p)利用机器视觉算法提取人眼特征信息,此类数据表现为图像中的坐标数据(x,y),再利用眼球追踪数学模型计算注视信息,输出的注视信息为屏幕的坐标数据(x1,y1)。
人眼特征信息包括瞳孔间距离,瞳孔大小,瞳孔大小变化,瞳孔亮暗对比度,角膜半径,光斑信息,虹膜信息等表征眼睛发生细微变化的特征;眼睛特征和眼部动作的信息获取方式一样,都可以通过图像捕捉或扫描提取。
另外,还可以通过巩膜接触镜、微机械系统、肌电流以及电容等的一种或几种来追踪用户视线,以确定用户注视阅读界面的注视信息。
S3、当注视信息改变时,判断当前状态是否满足预设条件。
由于人眼会对拍照设备所显示的图像的不同位置进行观察,因此上面所获得的注视点的位置会随之发生改变,因此为了真正避免过多无谓的对焦动作,这里在注视点的位置发生改变时,根据该位置的改变判断当前状态是否满足预设条件,如果满足预设条件则进行对焦,反之则不进行对焦。
具体来说,是当注视点的位置的改变距离达到预设距离阈值时,如500~1000中任一像素时,才判定当前状态满足预设条件。
另外,为了实现更为精准的控制,本申请中还可以添加其他的条件,例如,在注视信息改变达到预设距离时,且该注视信息持续时长达到相应的预设时长阈值、如100毫秒时,才判定当前状态满足预设条件,即此时执行对焦。
还有,可以在注视信息改变达到预设距离时,如果用户通过触控输入对焦控制指令或者检测到用户做出预设对焦控制动作时,同样可以判定当前状态符合预设条件。对焦控制指令可以是用户在拍照设备的触摸屏上做出的点击或拖动操作;而预设对焦控制动作可以是符合预设标准的眼部动作、脸部动作或者肢体动作,例如眨眼、瞪眼、努嘴、张嘴、ok手势等动作。
S4、根据该注视信息控制拍照设备进行对焦。
具体在当前状态符合预设条件时,根据注视点的当前位置驱动拍照设备的音圈马达运动,以便将焦点落在该注视点上,例如在所选景物内包括多个花朵时,可以控制该拍照设备将焦点从一个花朵转移至另一个花朵,以便满足用户的需求。
从上述技术方案可以看出,本实施例提供了一种对焦控制方法,该方法应用于拍照设备,具体为获取用户的眼部图像;对所述眼部图像进行识别计算,得到用户视线在检测区域上的注视信息;当所述注视信息变化时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件;若所述用户特征数据满足预设条件时,驱动所述拍照设备的调焦运行,使得所述调焦基于所述注视点进行自动对焦。通过上述操作,本申请中只有在注视信息发生改变且满足预设条件时执行对焦动作,与现有方案中需连续对焦相比,能够显著降低功耗,进而使拍照设备的工作时长得到延长。且通过开启控制模块的增设,使本方案也能应用于照相机这一较为传统的拍照设备。
实施例三
图3为本申请实施例的一种对焦控制系统的框图。
如图3所示,本实施例提供的对焦控制系统应用于手机、平板电脑、照相机、经纬仪、摄像机、具有拍摄功能的望远镜等拍照设备,该对焦控制系统具体包括图像获取模块10、注视信息计算模块20、条件判断模块30和对焦执行模块40,对应的该系统中的某些模块也可以采用单独的设备实现,而无需集成在对应的拍照设备上,例如,注视信息计算模块可以通过眼球追踪仪的功能实现。
图像获取模块用于获取用户的眼部图像。
眼部图像是指拍照设备的摄像头所拍摄的影像中所包含的内容,例如通过手机或平板电脑的前置摄像头等,即获取用户在拍摄时观察该拍照设备所摄取的影像时的眼部图像。具体来说,对于手机或平板电脑来说,当利用主摄像头摄取影像时,利用其前置摄像头获取用户的眼部图像。
注视信息计算模块用于对所述眼部图像进行识别计算,得到用户视线在检测区域上的注视信息。
在获取用户的眼部图像后,通过眼球跟踪算法对眼部图像进行处理,从而得到用户视线对拍照设备的显示屏上显示的影像的注视信息。具体来说,可以通过瞳孔-角膜反射算法对注视信息进行计算。
在具体计算时,对眼部图像(举例,图像分辨率为1920*1080p)利用机器视觉算法提取人眼特征信息,此类数据表现为图像中的坐标数据(x,y),再利用眼球追踪数学模型计算注视信息,输出的注视信息为屏幕的坐标数据(x1,y1)。
人眼特征信息包括瞳孔间距离,瞳孔大小,瞳孔大小变化,瞳孔亮暗对比度,角膜半径,光斑信息,虹膜信息等表征眼睛发生细微变化的特征;眼睛特征和眼部动作的信息获取方式一样,都可以通过图像捕捉或扫描提取。
另外,还可以通过巩膜接触镜、微机械系统、肌电流以及电容等的一种或几种来追踪用户视线,以确定用户注视阅读界面的注视点。
条件判断模块用于当所述注视信息变化时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件。
由于人眼会对拍照设备所显示的图像的不同位置进行观察,因此上面所获得的注视信息会随之发生改变,因此为了真正避免过多无谓的对焦动作,这里在注视信息发生改变时,根据注视信息判断当前状态是否满足预设条件,如果满足预设条件则进行对焦,反之则不进行对焦,其中,当前状态是通过与用户注视动作所匹配的用户特征数据确定的。
具体来说,是当注视信息改变距离达到预设距离阈值时,如500~1000中任一像素时,才判定当前状态满足预设条件。
另外,为了实现更为精准的控制,本申请中还可以添加其他的条件,为此,该条件判断模块包括第一判定单元和第二判定单元。第一判定单元用于当所述注视信息与原聚焦信息的变化距离达到预设距离阈值时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件,其中,所述用户特征数据包括与眼部动作、脸部动作或肢体动作对应的数据中的一种或多种。第二判定单元用于当所述注视信息与原聚焦信息的变化距离达到预设距离阈值时,用户注视所述注视信息的注视时长达到预设时长阈值时,判定所述用户特征数据满足所述预设条件。
第三判断单元,用于接收到用户通过触控输入的对焦控制指令或者检测到用户做出预设对焦控制动作时,判断所述用户特征数据是否满足所述预设条件。
对焦控制指令可以是用户在拍照设备的触摸屏上做出的点击或拖动操作;而预设对焦控制动作可以是符合预设标准的眼部动作、脸部动作或者肢体动作,例如眨眼、瞪眼、努嘴、张嘴、ok手势等动作。
对焦执行模块用于若所述用户特征数据满足预设条件时,驱动所述拍照设备的调焦单元运行,使得所述调焦单元基于所述注视点进行自动对焦。
其中,调焦单元为拍照设备或者其他具有对焦功能的设备中的进行自动对焦的单元及其辅助结构,例如,在手机或者相机中的音圈马达。
具体在当前状态符合预设条件时,根据注视点的当前位置驱动拍照设备的音圈马达运动,以便将焦点落在该注视点上,例如在所选景物内包括多个花朵时,可以控制该拍照设备将焦点从一个花朵转移至另一个花朵,以便满足用户的需求。
从上述技术方案可以看出,本实施例提供了一种对焦控制装置,该装置应用于拍照设备,具体为获取用户的眼部图像;对所述眼部图像进行识别计算,得到用户视线在检测区域上的注视信息;当所述注视信息变化时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件;若所述用户特征数据满足预设条件时,驱动所述拍照设备的调焦运行,使得所述调焦基于所述注视点进行自动对焦。通过上述操作,本申请中只有在注视信息发生改变且满足预设条件时执行对焦动作,与现有方案中需连续对焦相比,能够显著降低功耗,进而使拍照设备的工作时长得到延长。
实施例四
图4为本申请实施例的另一种对焦控制装置的框图。
如图4所示,本实施例提供的对焦控制装置应用于手机、平板电脑、照相机、经纬仪、摄像机、具有拍摄功能的望远镜等拍照设备,该对焦控制装置是在上一实施例的基础上增设了开启控制模块50。
开启控制模块用于开启拍照设备的其他摄像头。
该模块主要是针对照相机,照相机一般仅有一个镜头、即主摄像头,其所获取的影像中不会存在人脸,为了实现用眼睛进行对焦,可以在这种照相机的背部设置一个摄像头,专用于对用户的眼图进行拍摄,这里将其称为区别与镜头的其他摄像头。为此,在获取人眼图像之前开启该其他摄像头,以便拍摄到包括该用户得眼图的影像。
图像获取模块用于获取用户的眼部图像。
即从其他摄像头所拍摄的影像中获取用户在拍摄时观察该拍照设备所摄取的影像时的眼部图像。
注视信息计算模块用于根据眼部图像计算用户视线的注视信息。
在获取用户的眼部图像后,通过眼球跟踪算法对眼部图像进行处理,从而得到用户视线对拍照设备的显示屏上显示的影像的注视信息。具体来说,可以通过瞳孔-角膜反射算法对注视信息进行计算。
在具体计算时,对眼部图像(举例,图像分辨率为1920*1080p)利用机器视觉算法提取人眼特征信息,此类数据表现为图像中的坐标数据(x,y),再利用眼球追踪数学模型计算注视信息,输出的注视信息为屏幕的坐标数据(x1,y1)。
人眼特征信息包括瞳孔间距离,瞳孔大小,瞳孔大小变化,瞳孔亮暗对比度,角膜半径,光斑信息,虹膜信息等表征眼睛发生细微变化的特征;眼睛特征和眼部动作的信息获取方式一样,都可以通过图像捕捉或扫描提取。
另外,还可以通过巩膜接触镜、微机械系统、肌电流以及电容等的一种或几种来追踪用户视线,以确定用户注视阅读界面的注视点。
条件判断模块用于当注视信息改变时,判断当前状态是否满足预设条件。
由于人眼会对拍照设备所显示的图像的不同位置进行观察,因此上面所获得的注视信息会随之发生改变,因此为了真正避免过多无谓的对焦动作,这里在注视信息发生改变时,根据该注视信息的改变判断当前状态是否满足预设条件,如果满足预设条件则进行对焦,反之则不进行对焦。
具体来说,是当注视信息的改变距离达到预设距离阈值时,如500~1000中任一像素时,才判定当前状态满足预设条件。
另外,为了实现更为精准的控制,本申请中还可以添加其他的条件,为此,该条件判断模块包括第一判定单元和第二判定单元。第一判定单元用于在注视信息改变达到预设距离时,且该注视信息的持续时长达到相应的预设时长阈值、如100毫秒时,才判定当前状态满足预设条件,即此时执行对焦。
第二判定单元用于在注视信息改变达到预设距离时,如果用户通过触控输入对焦控制指令或者检测到用户做出预设对焦控制动作时,同样可以判定当前状态符合预设条件。对焦控制指令可以是用户在拍照设备的触摸屏上做出的点击或拖动操作;而预设对焦控制动作可以是符合预设标准的眼部动作、脸部动作或者肢体动作,例如眨眼、瞪眼、努嘴、张嘴、ok手势等动作。
对焦执行模块用于根据该注视信息表征的当前位置控制拍照设备进行对焦。
具体在当前状态符合预设条件时,根据注视信息表征的当前位置驱动拍照设备的调焦单元运动,以便将焦点落在该注视点上,例如在所选景物内包括多个花朵时,可以控制该拍照设备将焦点从一个花朵转移至另一个花朵,以便满足用户的需求。
从上述技术方案可以看出,本实施例提供了一种对焦控制装置,该装置应用于拍照设备,具体为获取用户的眼部图像;对所述眼部图像进行识别计算,得到用户视线在检测区域上的注视信息;当所述注视信息变化时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件;若所述用户特征数据满足预设条件时,驱动所述拍照设备的调焦运行,使得所述调焦基于所述注视点进行自动对焦。通过上述操作,本申请中只有在注视信息发生改变且满足预设条件时执行对焦动作,与现有方案中需连续对焦相比,能够显著降低功耗,进而使拍照设备的工作时长得到延长。且通过开启控制模块的增设,使本方案也能应用于照相机这一较为传统的拍照设备。
实施例五
本实施例提供了一种拍照设备,具体可以为手机、平板电脑、照相机、经纬仪、摄像机、具有拍摄功能的望远镜等。且这种拍照设备设置有如上面实施例所提供的对焦控制装置。通过该对焦控制装置,用户只需移动注视点、或者说紧盯自己所中意的点即可将相应焦点落在该区域,从而得到满意的图像。并且通过开启其他摄像头,使本技术方案也可以应用于照相机。
当这种拍照设备为照相机时,为了实现上述对焦控制装置的功能,该照相机在其背面设置有辅助摄像头,该辅助摄像头朝向用户的眼部,用于采集用户的眼部图像。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种对焦控制方法,其特征在于,所述对焦控制方法包括:
获取用户的眼部图像;
对所述眼部图像进行识别计算,得到用户视线在检测区域上的注视信息;
当所述注视信息变化时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件;
若所述用户特征数据满足预设条件时,驱动调焦单元运行,使得所述调焦单元基于所述注视信息进行对焦。
2.如权利要求1所述的方法,其特征在于,所述对所述眼部图像进行识别计算,得到用户视线在检测区域上的注视信息,包括:
通过机器视觉算法和眼球追踪数学模型对所述眼部图像进行计算,确定用户视线在检测区域上的注视信息。
3.如权利要求1所述的方法,其特征在于,所述当所述注视信息变化时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件,包括:
当所述注视信息与原聚焦信息的变化距离达到预设距离阈值时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件。
4.如权利要求3所述的方法,其特征在于,所述用户特征数据包括:
与眼部动作、脸部动作或肢体动作对应的数据中的一种或多种。
5.如权利要求4所述的方法,其特征在于,所述当所述注视信息与原聚焦信息的变化距离达到预设距离阈值时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件,还包括:
当所述注视信息与原聚焦信息的变化距离达到预设距离阈值时,用户注视所述注视信息的注视时长达到预设时长阈值时,判定所述用户特征数据满足所述预设条件。
6.如权利要求5所述的方法,其特征在于,所述判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件,还包括:
接收到用户通过触控输入的对焦控制指令或者检测到用户做出预设对焦控制动作时,判断所述用户特征数据是否满足所述预设条件。
7.一种对焦控制系统,其特征在于,所述系统包括:
图像获取模块,用于获取用户的眼部图像;
注视信息计算模块,用于对所述眼部图像进行识别计算,得到用户视线在检测区域上的注视信息;
条件判断模块,用于当所述注视信息变化时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件;
对焦执行模块,用于若所述用户特征数据满足预设条件时,驱动所述拍照设备的调焦单元运行,使得所述调焦单元基于所述注视信息进行对焦。
8.如权利要求7所述的装置,其特征在于,所述注视点计算模块具体用于:
通过机器视觉算法和眼球追踪数学模型对所述人眼图像进行计算,确定用户视线在检测区域上的注视信息。
9.如权利要求7所述的装置,其特征在于,所述条件判断模块包括:
第一判断单元,用于当所述注视信息与原聚焦信息的变化距离达到预设距离阈值时,判断采集获得的与用户注视动作所匹配的用户特征数据是否满足预设条件,其中,所述用户特征数据包括与眼部动作、脸部动作或肢体动作对应的数据中的一种或多种。
10.如权利要求9所述的装置,其特征在于,所述条件判断模块还包括:
第二判断单元,用于当所述注视信息与原聚焦信息的变化距离达到预设距离阈值时,用户注视所述注视信息的注视时长达到预设时长阈值时,判定所述用户特征数据满足所述预设条件。
11.如权利要求10所述的装置,其特征在于,所述条件判断模块,还包括:
第三判断单元,用于接收到用户通过触控输入的对焦控制指令或者检测到用户做出预设对焦控制动作时,判断所述用户特征数据是否满足所述预设条件。
12.一种拍照设备,其特征在于,设置有如权利要求7~11任一项所述的对焦控制装置。
CN201910106875.2A 2019-02-02 2019-02-02 一种对焦控制方法、系统及拍照设备 Pending CN109600555A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910106875.2A CN109600555A (zh) 2019-02-02 2019-02-02 一种对焦控制方法、系统及拍照设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910106875.2A CN109600555A (zh) 2019-02-02 2019-02-02 一种对焦控制方法、系统及拍照设备

Publications (1)

Publication Number Publication Date
CN109600555A true CN109600555A (zh) 2019-04-09

Family

ID=65967183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910106875.2A Pending CN109600555A (zh) 2019-02-02 2019-02-02 一种对焦控制方法、系统及拍照设备

Country Status (1)

Country Link
CN (1) CN109600555A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636218A (zh) * 2019-08-19 2019-12-31 RealMe重庆移动通信有限公司 对焦方法、装置、存储介质及电子设备
CN111061372A (zh) * 2019-12-18 2020-04-24 Oppo广东移动通信有限公司 设备控制方法及相关设备
CN112114653A (zh) * 2019-06-19 2020-12-22 北京小米移动软件有限公司 终端设备的操控方法、装置、设备及存储介质
CN112114657A (zh) * 2019-06-21 2020-12-22 北京七鑫易维科技有限公司 一种注视点信息采集方法及系统
CN112738388A (zh) * 2019-10-28 2021-04-30 七鑫易维(深圳)科技有限公司 拍照处理方法、系统、电子设备及存储介质
WO2021179969A1 (en) * 2020-03-07 2021-09-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. System and method for automatically adjusting focus of a camera
CN114079729A (zh) * 2020-08-19 2022-02-22 Oppo广东移动通信有限公司 拍摄控制方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7855837B2 (en) * 2008-04-08 2010-12-21 Olympus Imaging Corp. Viewing optical system and imaging apparatus incorporating the same
CN103246044A (zh) * 2012-02-09 2013-08-14 联想(北京)有限公司 一种自动对焦方法、系统及具有该系统的照相机和摄像机
CN103336576A (zh) * 2013-06-28 2013-10-02 优视科技有限公司 一种基于眼动追踪进行浏览器操作的方法及装置
CN103699210A (zh) * 2012-09-27 2014-04-02 北京三星通信技术研究有限公司 移动终端及其操控方法
CN103905709A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 一种控制电子设备的方法及电子设备
CN104754202A (zh) * 2013-12-31 2015-07-01 联想(北京)有限公司 一种图像采集的方法及电子设备
CN105892642A (zh) * 2015-12-31 2016-08-24 乐视移动智能信息技术(北京)有限公司 一种根据眼部动作对终端进行控制的方法及装置
CN109196450A (zh) * 2016-05-24 2019-01-11 哈曼贝克自动系统股份有限公司 眼睛跟踪

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7855837B2 (en) * 2008-04-08 2010-12-21 Olympus Imaging Corp. Viewing optical system and imaging apparatus incorporating the same
CN103246044A (zh) * 2012-02-09 2013-08-14 联想(北京)有限公司 一种自动对焦方法、系统及具有该系统的照相机和摄像机
CN103699210A (zh) * 2012-09-27 2014-04-02 北京三星通信技术研究有限公司 移动终端及其操控方法
CN103905709A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 一种控制电子设备的方法及电子设备
CN103336576A (zh) * 2013-06-28 2013-10-02 优视科技有限公司 一种基于眼动追踪进行浏览器操作的方法及装置
CN104754202A (zh) * 2013-12-31 2015-07-01 联想(北京)有限公司 一种图像采集的方法及电子设备
CN105892642A (zh) * 2015-12-31 2016-08-24 乐视移动智能信息技术(北京)有限公司 一种根据眼部动作对终端进行控制的方法及装置
CN109196450A (zh) * 2016-05-24 2019-01-11 哈曼贝克自动系统股份有限公司 眼睛跟踪

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112114653A (zh) * 2019-06-19 2020-12-22 北京小米移动软件有限公司 终端设备的操控方法、装置、设备及存储介质
CN112114657A (zh) * 2019-06-21 2020-12-22 北京七鑫易维科技有限公司 一种注视点信息采集方法及系统
CN112114657B (zh) * 2019-06-21 2023-10-17 北京七鑫易维科技有限公司 一种注视点信息采集方法及系统
CN110636218A (zh) * 2019-08-19 2019-12-31 RealMe重庆移动通信有限公司 对焦方法、装置、存储介质及电子设备
CN112738388A (zh) * 2019-10-28 2021-04-30 七鑫易维(深圳)科技有限公司 拍照处理方法、系统、电子设备及存储介质
CN111061372A (zh) * 2019-12-18 2020-04-24 Oppo广东移动通信有限公司 设备控制方法及相关设备
CN111061372B (zh) * 2019-12-18 2023-05-02 Oppo广东移动通信有限公司 设备控制方法及相关设备
WO2021179969A1 (en) * 2020-03-07 2021-09-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. System and method for automatically adjusting focus of a camera
CN114079729A (zh) * 2020-08-19 2022-02-22 Oppo广东移动通信有限公司 拍摄控制方法、装置、电子设备及存储介质
CN114079729B (zh) * 2020-08-19 2024-05-28 Oppo广东移动通信有限公司 拍摄控制方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11860511B2 (en) Image pickup device and method of tracking subject thereof
CN109600555A (zh) 一种对焦控制方法、系统及拍照设备
US8831282B2 (en) Imaging device including a face detector
US9838597B2 (en) Imaging device, imaging method, and program
US9075459B2 (en) Imaging apparatus, imaging method, and computer-readable storage medium providing a touch panel display user interface
RU2642344C2 (ru) Способ и устройство для регулирования и отображения изображения
CN112118380B (zh) 相机操控方法、装置、设备及存储介质
WO2017113668A1 (zh) 一种根据眼部动作对终端进行控制的方法及装置
US20170078582A1 (en) Preview Image Presentation Method and Apparatus, and Terminal
JP6184189B2 (ja) 被写体検出装置およびその制御方法、撮像装置、被写体検出装置の制御プログラムおよび記憶媒体
EP2634727A2 (en) Method and portable terminal for correcting gaze direction of user in image
CN103914150A (zh) 摄像头控制方法和装置
CN104349051A (zh) 被摄体检测装置以及被摄体检测装置的控制方法
CN103905709A (zh) 一种控制电子设备的方法及电子设备
JP5886479B2 (ja) 撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体
KR20100069498A (ko) 얼굴 포즈 추정을 이용한 촬영 방법 및 장치
US11388331B2 (en) Image capture apparatus and control method thereof
CN112738388B (zh) 拍照处理方法、系统、电子设备及存储介质
CN113891002B (zh) 拍摄方法及装置
CN108732750A (zh) 虚拟现实播放设备及其控制方法及计算机可读存储介质
KR20190142290A (ko) 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치
US20230185370A1 (en) Electronic apparatus, method for controlling electronic apparatus, and storage medium
JP2019121991A (ja) 動画マニュアル作成システム
US20230188828A1 (en) Electronic device
US20230185371A1 (en) Electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190409