CN106101540B - 对焦点确定方法及装置 - Google Patents

对焦点确定方法及装置 Download PDF

Info

Publication number
CN106101540B
CN106101540B CN201610493585.4A CN201610493585A CN106101540B CN 106101540 B CN106101540 B CN 106101540B CN 201610493585 A CN201610493585 A CN 201610493585A CN 106101540 B CN106101540 B CN 106101540B
Authority
CN
China
Prior art keywords
focus point
conspicuousness
picture
prediction
binaryzation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610493585.4A
Other languages
English (en)
Other versions
CN106101540A (zh
Inventor
周舒畅
姚聪
周昕宇
何蔚然
冯迭乔
印奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd, Beijing Maigewei Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201610493585.4A priority Critical patent/CN106101540B/zh
Publication of CN106101540A publication Critical patent/CN106101540A/zh
Priority to US15/443,666 priority patent/US10291838B2/en
Application granted granted Critical
Publication of CN106101540B publication Critical patent/CN106101540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Abstract

提供了一种对焦点确定方法及装置。所述对焦点确定方法包括:获取取景范围的取景图像;识别取景图像中的显著性区域;以及在所识别的显著性区域中提取至少一个对焦点。通过识别取景图像中的显著性区域以及在所识别的显著性区域中提取至少一个对焦点,可以在一定程度上保证所选择的对焦点的准确性,从而保证对焦的准确性。

Description

对焦点确定方法及装置
技术领域
本发明涉及自动对焦技术领域,更具体地涉及一种对焦点确定方法及装置。
背景技术
目前,大多数的数码相机以及诸如智能手机和平板电脑等配备摄像头的便携式智能设备都具有自动对焦装置,其通过利用对比度等方法,使得在用户指定的对焦点区域附近的图像更锐利。
然而,由于对焦点是用户根据经验事先指定,往往导致在用户经验不足的情况下所拍摄的图像质量并不理想。此外,由于不同的构图要求不同的对焦点,因此用户需要在不同的对焦设置间进行切换,这严重影响了用户的抓拍等操作。此外,在抓拍一些快速运动物体的时候,用户也很难在非常短的时间内完成对焦操作。此外,在对焦一些比较远且较小的物体时,很容易出现用户指定的对焦点不精确的情况。
因此,需要一种能够准确地确定对焦点的方法及装置。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种活体检测方法及装置,通过采用随机动作序列并且通过组合图像传感器采集的图像和非图像传感器采集的信息,可以提高活体检测的精度。
根据本发明一方面,提供了一种对焦点确定方法,包括:获取取景范围的取景图像;识别取景图像中的显著性区域;以及在所识别的显著性区域中提取至少一个对焦点。
根据本发明另一方面,提供了一种对焦点确定装置,包括:图像获取部件,用于获取取景范围的取景图像;显著性区域识别部件,用于识别取景图像中的显著性区域;以及对焦点提取部件,用于在所识别的显著性区域中提取至少一个对焦点。
根据本发明又一方面,提供了一种电子设备,包括:处理器、存储有程序指令的存储装置、输入装置以及摄像头,其中,所述输入装置接收拍摄指令,所述摄像头响应于所述拍摄指令采集取景范围的取景图像,所述存储装置中存储的程序指令在被所述处理器执行时,获取取景范围的取景图像;识别取景图像中的显著性区域;以及在所识别的显著性区域中提取至少一个对焦点,所述摄像头按照所述至少一个对焦点执行对焦操作并拍摄图像。
根据本发明再一方面,提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的对焦点确定方法,并且用于实现根据本发明实施例的对焦点确定装置。
根据本发明实施例的对焦点确定方法及装置,通过识别取景图像中的显著性区域以及在所识别的显著性区域中提取至少一个对焦点,可以在一定程度上保证所选择的对焦点的准确性,从而保证对焦的准确性。进一步地,本发明通过利用神经网络自动确定对焦点,避免了繁琐的对焦点选择或切换操作,有利于用户进行抓拍等操作,并且可以避免由于用户误操作造成的对焦错误。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是根据本发明实施例的对焦点确定方法的示意性流程图;
图2是根据本发明实施例的识别取景图像中的显著性区域的示意性流程图;
图3是根据本发明第一实施例的在连续拍摄图像的情况下提取对焦点的示意性流程图;
图4A、图4B、图4C和图4D分别是根据本发明实施例中的取景图像、显著性识别图片、二值化的显著性图片以及对焦点确定图片;
图5是根据本发明实施例的对焦点确定装置的示意性框图;
图6是根据本发明实施例的显著性区域识别部件的示意性框图;
图7是根据本发明实施例的对焦点提取部件的示意性框图;以及
图8是根据本发明实施例的电子设备800的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
首先,参照图1来描述用于实现本发明实施例的对焦点确定方法100。根据本发明实施例,所述对焦点确定方法可以在云端实现或者可以在配备有摄像头的便携式智能设备处实现。
在步骤S110,获取取景范围的取景图像。如图4A所示,示出了根据本发明实施例的对焦点确定方法100所获取的取景图像,即输入图像。
在步骤S120,识别取景图像中的显著性区域。根据本发明实施例的一个示例,利用机器学习模型识别取景图像中的显著性区域,例如,利用神经网络识别取景图像中的显著性区域。通过模型训练,使得神经网络能够学习到图片中哪些物体的显著性更高,例如通常认为人、车要比墙壁、天空、草地、远处建筑物的显著性更高。此外,还可以利用其他方法(例如关键区域聚焦方法等)识别显著性区域,在此并不进行限定。其中,采用机器学习模型例如神经网络识别显著性区域,相对于其他识别显著性区域的方法,可以使识别更加智能。
此外,根据本发明实施例,还可以依据不同的显著性定义训练多种模型供用户选择,例如“人脸优先”的显著性模型、“文字优先”的显著性模型等。
在步骤S130,在所识别的显著性区域中提取至少一个对焦点。
在所述对焦点确定方法在便携式智能设备处实现的情况下,在所述便携式智能设备上配备的摄像头采集取景范围的取景图像,然后所述摄像头利用在步骤S130处提取的对焦点对所述取景范围进行对焦并拍摄图像。
在所述对焦点确定方法在云端实现的情况下,在所述便携式智能设备上配备的摄像头采集取景范围的取景图像,所述便携式智能设备将所述取景图像传送到云端,即云端在步骤S110获取取景范围的取景图像,云端将在步骤S130中提取的对焦点传送至所述便携式智能设备,然后由便携式智能设备上配备的摄像头按照所述对焦点进行对焦并拍摄图像。
在本发明实施例中,在利用在提取的对焦点对所述取景范围进行对焦并拍摄图像的过程中,对焦点的选择可以由智能设备自动实现。通过自动选择对焦点,可以避免繁琐的对焦点选择或切换操作,有利于拍摄者进行抓拍等操作,并避免拍摄者误操作造成的对焦错误。然而,在一个具体示例中,对焦点可以由拍摄者通过操作进行选择。通过人为选择对焦点,可以让操作者根据实际需要或个人喜好选择对焦点,有利于拍摄出令拍摄者满意的图像。
根据本发明实施例,通过自动确定对焦点,避免了繁琐的对焦点选择或切换操作,有利于用户进行抓拍等操作,并且可以避免由于用户误操作造成的对焦错误。
图2示出了根据本发明实施例的识别取景图像中的显著性区域的示意性流程图。
在步骤S210,利用取景图像生成显著性识别图片。在所述显著性识别图片中,每个像素的灰度值代表该像素的显著性。
根据本发明实施例,可以利用神经网络计算取景图像的图像域梯度,然后根据所述图像域梯度,生成所述显著性识别图片。
如图4B所示,示出了根据本发明实施例的利用图4A所示的取景图像生成的显著性识别图片。
在步骤S220,将所述显著性识别图片二值化,得到二值化的显著性图片。如图4C所示,示出了根据本发明实施例的利用图4A所示的取景图像生成的二值化的显著性图片。
在步骤S230,将所述二值化的显著性图片中的至少一个连通区域作为显著性区域。在如图4C所示的二值化的显著性图片中包括三个连通区域,将这三个连通区域作为如图4A所示的取景图像中的显著性区域。
在识别出取景图像中的显著性区域之后,对于所述二值化的显著性图片中的每个连通区域,提取一个对焦点。作为示例,对于所述二值化的显著性图片中的每个连通区域,对该连通区域中的各点坐标求平均值,并将所述平均值作为该连通区域所对应的对焦点的坐标。如图4D所示,示出了根据本发明实施例的利用图4A所示的取景图像提取的对焦点。
根据本发明实施例,在连续拍摄图像的情况下,对于每帧图像都要先确定对焦点然后再按照所确定的对焦点进行对焦。在此情况下,可以利用历史对焦点信息对当前预测的对焦点进行平滑操作。
如图3所示,示出了在连续拍摄图像的情况下提取对焦点的示意性流程图。
在步骤S310,在所识别的显著性区域中提取至少一个预测对焦点。作为示例,所识别的显著性区域包括至少一个连通区域,在每个连通区域中提取一个预测对焦点,例如,可以对该连通区域中的各点坐标求平均值,并将所述平均值作为该连通区域所对应的预测对焦点的坐标。
在步骤S320,对于每个预测对焦点,在预定半径的邻域中查找与该预测对焦点对应的历史对焦点,所述历史对焦点为上一次拍摄的对焦点。
在步骤S330,对于每个预测对焦点,利用与该预测对焦点对应的历史对焦点对该预测对焦点进行平滑处理,从而得到与该预测对焦点对应的对焦点。
作为示例,在当前的取景图像中提取了n个预测对焦点q1、q2、…、qn,在最近一次拍摄中采用了m个对焦点p1、p2、…、pm。对于每个预测对焦点qi,在半径为r的邻域中查找与其对应的历史对焦点。如果对于一个预测对焦点在半径为r的邻域中没有找到与其对应的历史对焦点,则将该预测对焦点直接作为对焦点。如果对于一个预测对焦点在半径为r的邻域中查找到与其对应的历史对焦点,则利用该历史对焦点对该预测对焦点进行平滑处理。
例如,对于预测对焦点qi,在半径为r的邻域中查找到与其对应的历史对焦点pj,可以按照以下方式进行平滑处理:qi’=a*qi+(1-a)*pj,其中a为平滑系数,其可以在1到0.7的范围内取值,例如a的具体取值可以为例如0.9、0.8等。
根据本发明实施例,基于神经网络给出的显著性区域进行对焦点选择,不仅可以实现基于人脸检测的对焦点选择,而且还可以实现基于文字检测的对焦点选择、基于物体检测的对焦点选择等等。
图5示出了根据本发明实施例的对焦点确定装置的示意性框图。根据本发明实施例的对焦点确定装置可以在配备有摄像头的便携式智能设备处实现,或者可以在云端实现。
根据本发明实施例的对焦点确定装置500包括图像获取部件510、显著性区域识别部件520以及对焦点提取部件530。
所述图像获取部件510用于获取取景范围的取景图像。所述图像获取部件510可以从便携式智能设备配备的摄像头处获取该取景图像。
所述显著性区域识别部件520用于识别取景图像中的显著性区域。根据本发明实施例,所述显著性区域识别部件520利用机器学习模型识别取景图像中的显著性区域,作为示例,所述显著性区域识别部件520利用神经网络识别取景图像中的显著性区域。
对焦点提取部件530用于在所识别的显著性区域中提取至少一个对焦点。
在所述对焦点确定装置500在便携式智能设备处实现的情况下,在所述便携式智能设备上配备的摄像头采集取景范围的取景图像,所述图像获取部件510获取所述摄像头采集的取景图像,并且所述对焦点提取部件530将所提取的至少一个对焦点反馈给所述摄像头,然后所述摄像头利用所述至少一个对焦点对所述取景范围进行对焦并拍摄图像。
在所述对焦点确定装置500在云端实现的情况下,在所述便携式智能设备上配备的摄像头采集取景范围的取景图像,所述便携式智能设备将所述取景图像传送到在云端实现的所述图像获取部件510,云端将所述对焦点确定装置530提取的至少一个对焦点传送至所述便携式智能设备,然后由便携式智能设备上配备的摄像头按照所述至少一个对焦点进行对焦并拍摄图像。
图6示出了根据本发明实施例的显著性区域识别部件的示意性框图。
所述显著性区域识别部件520包括显著性图片生成部件5210、二值化部件5220以及显著性区域提取部件5230。
所述显著性图片生成部件5210用于利用取景图像生成显著性识别图片,其中,在所述显著性识别图片中,每个像素的灰度值代表该像素的显著性。
根据本发明实施例,所述显著性图片生成部件5210可以利用神经网络计算取景图像的图像域梯度,并且根据所述图像域梯度生成所述显著性识别图片。如图4B所示,示出了所述显著性图片生成部件5210利用图4A所示的取景图像生成的显著性识别图片。
所述二值化部件5220用于将所述显著性识别图片二值化,得到二值化的显著性图片。如图4C所示,示出了二值化的显著性图片。
所述显著性区域提取部件5230用于将所述二值化的显著性图片中的至少一个连通区域作为显著性区域。在如图4C所示的二值化的显著性图片中包括三个连通区域,将这三个连通区域作为如图4A所示的取景图像中的显著性区域。
对于所述二值化的显著性图片中的每个连通区域,对焦点提取部件530提取一个对焦点。作为示例,对于所述二值化的显著性图片中的每个连通区域,对焦点提取部件530对该连通区域中的各点坐标求平均值,并将所述平均值作为该连通区域所对应的对焦点的坐标。如图4D所示,示出了从取景图像中提取的对焦点。
根据本发明实施例,在连续拍摄图像的情况下,对于每帧图像都要先确定对焦点然后再按照所确定的对焦点进行对焦。在此情况下,可以利用历史对焦点信息对当前预测的对焦点进行平滑操作。
如图7所示,示出了根据本发明实施例的对焦点提取部件的示意性框图。
所述对焦点提取部件530包括预测对焦点提取部件5310、历史对焦点查找部件5320、以及平滑处理部件5330。
预测对焦点提取部件5310用于在所识别的显著性区域中提取至少一个预测对焦点。作为示例,所识别的显著性区域包括至少一个连通区域,预测对焦点提取部件5310在每个连通区域中提取一个预测对焦点。所识别的显著性区域可以为在二值化的显著性图片中识别的显著性区域。例如,对于每个连通区域,预测对焦点提取部件5310可以对该连通区域中的各点坐标求平均值,并将所述平均值作为该连通区域所对应的预测对焦点的坐标。
历史对焦点查找部件5320用于对于每个预测对焦点,在以该预测对焦点为中心的预定半径的邻域中查找与该预测对焦点对应的历史对焦点,所述历史对焦点为上一次拍摄的对焦点。
对于每个预测对焦点,在查找到与该预测对焦点对应的历史对焦点的情况下,平滑处理部件5330利用与该预测对焦点对应的历史对焦点对该预测对焦点进行平滑处理,从而得到与该预测对焦点对应的对焦点。
作为示例,在当前的取景图像中提取了n个预测对焦点q1、q2、…、qn,在最近一次拍摄中采用了m个对焦点p1、p2、…、pm。对于每个预测对焦点qi,在半径为r的邻域中查找与其对应的历史对焦点。如果对于一个预测对焦点在半径为r的邻域中没有找到与其对应的历史对焦点,则将该预测对焦点直接作为对焦点。如果对于一个预测对焦点在半径为r的邻域中查找到与其对应的历史对焦点,则利用该历史对焦点对该预测对焦点进行平滑处理。
例如,对于预测对焦点qi,在半径为r的邻域中查找到与其对应的历史对焦点pj,可以按照以下方式进行平滑处理:qi’=a*qi+(1-a)*pj,其中a为平滑系数,其可以在1到0.7的范围内取值,例如a的具体取值可以为例如0.9、0.8等。
根据本发明实施例,基于神经网络给出的显著性区域进行对焦点选择,不仅可以实现基于人脸检测的对焦点选择,而且还可以实现基于文字检测的对焦点选择、基于物体检测的对焦点选择等等。
如图8所示,示出了根据本发明实施例的电子设备800的示意性框图。
电子设备800包括一个或多个处理器802、一个或多个存储装置804、输入装置806、输出装置808、摄像头810,这些组件通过总线系统812和/或其它形式的连接机构(未示出)互连。应当注意,图8所示的便携式智能设备800的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器802可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置804可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器802可以运行所述程序指令,以实现上文所述的本发明实施例中(由处理器实现)的对焦点确定功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置806可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置808可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述摄像头810可以拍摄图像,并且将所拍摄的图像存储在所述存储装置804中以供其它组件使用。
根据本发明实施例,用户通过输入装置806向摄像头810发出要拍摄的指令,然后由所述摄像头810采集取景范围的取景图像。
根据本发明实施例,通过处理器802运行在存储器804中存储的程序指令来执行根据本发明实施例的对焦点确定方法100,并且实现根据本发明实施例的对焦点确定装置500。
根据本发明实施例,在每次拍摄过程中确定了对焦点之后,都将所确定的对焦点存储在所述存储装置804中,以供在下次拍摄中对焦点平滑处理使用,即,对于下次拍摄提供该下次拍摄的上一次拍摄的历史对焦点信息。
所述电子设备800可以为照相机,或者可以为配备有摄像头的便携式智能设备,例如智能手机、平板电脑、笔记本电脑等。
此外,根据本发明实施例,还提供了一种云端设备,该云端设备包括一个或多个处理器以及一个或多个存储装置,在所述存储装置中存储了程序指令,在所述程序指令被所述处理器运行时用于执行本发明实施例的对焦点确定方法的相应步骤,并且用于实现根据本发明实施例的对焦点确定装置中的相应模块。
此外,根据本发明实施例,还提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的对焦点确定方法的相应步骤,并且用于实现根据本发明实施例的对焦点确定装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
根据本发明实施例的对焦点确定方法及装置、电子设备以及存储介质,通过识别取景图像中的显著性区域以及在所识别的显著性区域中提取至少一个对焦点,相对于传统的事先人为指定对焦点的方法,可以在一定程度上保证所选择的对焦点的准确性,从而保证对焦的准确性。并且,可以通过利用神经网络自动确定对焦点,避免了繁琐的对焦点选择或切换操作,有利于用户进行抓拍等操作,并且可以避免由于用户误操作造成的对焦错误。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

Claims (18)

1.一种对焦点确定方法,包括:
获取取景范围的取景图像;
识别取景图像中的显著性区域;以及
在所识别的显著性区域中提取至少一个对焦点,
其中,在所识别的显著性区域中提取至少一个对焦点包括:
在所识别的显著性区域中提取至少一个预测对焦点;
对于每个预测对焦点,在以该预测对焦点为中心的预定半径的邻域中查找与该预测对焦点对应的历史对焦点,所述历史对焦点为上一次拍摄的对焦点;
对于每个预测对焦点,在查找到与该预测对焦点对应的历史对焦点的情况下,利用与该预测对焦点对应的历史对焦点对该预测对焦点进行平滑处理,从而得到与该预测对焦点对应的对焦点。
2.如权利要求1所述的对焦点确定方法,其中,利用神经网络识别取景图像中的显著性区域。
3.如权利要求1所述的对焦点确定方法,其中,识别取景图像中显著性区域包括:
利用取景图像生成显著性识别图片,其中,在所述显著性识别图片中,每个像素的灰度值代表该像素的显著性;
将所述显著性识别图片二值化,得到二值化的显著性图片;以及
将所述二值化的显著性图片中的至少一个连通区域作为显著性区域。
4.如权利要求3所述的对焦点确定方法,其中,利用取景图像生成显著性识别图片包括:
利用神经网络计算取景图像的图像域梯度;以及
根据所述图像域梯度,生成所述显著性识别图片。
5.如权利要求3所述的对焦点确定方法,其中,在所识别的显著性区域中提取至少一个对焦点包括:
对于所述二值化的显著性图片中的每个连通区域,提取一个对焦点。
6.如权利要求5所述的对焦点确定方法,其中,对于所述二值化的显著性图片中的每个连通区域,对该连通区域中的各点坐标求平均值,并将所述平均值作为该连通区域所对应的对焦点的坐标。
7.如权利要求3所述的对焦点确定方法,其中,在所识别的显著性区域中提取至少一个预测对焦点包括:
对于所述二值化的显著性图片中的每个连通区域,提取一个预测对焦点。
8.如权利要求7所述的对焦点确定方法,其中,对于所述二值化的显著性图片中的每个连通区域,对该连通区域中的各点坐标求平均值,并将所述平均值作为该连通区域所对应的预测对焦点的坐标。
9.如权利要求1所述的对焦点确定方法,其中,利用所提取的对焦点对所述取景范围进行对焦并拍摄图像。
10.一种对焦点确定装置,包括:
图像获取部件,用于获取取景范围的取景图像;
显著性区域识别部件,用于识别取景图像中的显著性区域;以及
对焦点提取部件,用于在所识别的显著性区域中提取至少一个对焦点,
其中,所述对焦点提取部件包括:
预测对焦点提取部件,用于在所识别的显著性区域中提取至少一个预测对焦点;
历史对焦点查找部件,用于对于每个预测对焦点,在以该预测对焦点为中心的预定半径的邻域中查找与该预测对焦点对应的历史对焦点,所述历史对焦点为上一次拍摄的对焦点;以及
平滑处理部件,用于对于每个预测对焦点,在查找到与该预测对焦点对应的历史对焦点的情况下,利用与该预测对焦点对应的历史对焦点对该预测对焦点进行平滑处理,从而得到与该预测对焦点对应的对焦点。
11.如权利要求10所述的对焦点确定装置,其中,所述显著性区域识别部件利用神经网络识别取景图像中的显著性区域。
12.如权利要求10所述的对焦点确定装置,其中,所述显著性区域识别部件包括:
显著性图片生成部件,用于利用取景图像生成显著性识别图片,其中,在所述显著性识别图片中,每个像素的灰度值代表该像素的显著性;
二值化部件,用于将所述显著性识别图片二值化,得到二值化的显著性图片;以及
显著性区域提取部件,用于将所述二值化的显著性图片中的至少一个连通区域作为显著性区域。
13.如权利要求12所述的对焦点确定装置,其中,所述显著性图片生成部件利用神经网络计算取景图像的图像域梯度,并且根据所述图像域梯度生成所述显著性识别图片。
14.如权利要求12所述的对焦点确定装置,其中,对于所述二值化的显著性图片中的每个连通区域,所述对焦点提取部件提取一个对焦点。
15.如权利要求14所述的对焦点确定装置,其中,对于所述二值化的显著性图片中的每个连通区域,所述对焦点提取部件对该连通区域中的各点坐标求平均值,并将所述平均值作为该连通区域所对应的对焦点的坐标。
16.如权利要求12所述的对焦点确定装置,其中,对于所述二值化的显著性图片中的每个连通区域,所述预测对焦点提取部件提取一个预测对焦点。
17.如权利要求16所述的对焦点确定装置,其中,对于所述二值化的显著性图片中的每个连通区域,所述预测对焦点提取部件对该连通区域中的各点坐标求平均值,并将所述平均值作为该连通区域所对应的预测对焦点的坐标。
18.如权利要求10所述的对焦点确定装置,其中,利用所提取的对焦点对所述取景范围进行对焦并拍摄图像。
CN201610493585.4A 2016-06-28 2016-06-28 对焦点确定方法及装置 Active CN106101540B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610493585.4A CN106101540B (zh) 2016-06-28 2016-06-28 对焦点确定方法及装置
US15/443,666 US10291838B2 (en) 2016-06-28 2017-02-27 Focusing point determining method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610493585.4A CN106101540B (zh) 2016-06-28 2016-06-28 对焦点确定方法及装置

Publications (2)

Publication Number Publication Date
CN106101540A CN106101540A (zh) 2016-11-09
CN106101540B true CN106101540B (zh) 2019-08-06

Family

ID=57213743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610493585.4A Active CN106101540B (zh) 2016-06-28 2016-06-28 对焦点确定方法及装置

Country Status (2)

Country Link
US (1) US10291838B2 (zh)
CN (1) CN106101540B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109698901B (zh) * 2017-10-23 2020-07-10 广东顺德工业设计研究院(广东顺德创新设计研究院) 自动对焦方法、装置、存储介质和计算机设备
CN110312069A (zh) * 2018-03-20 2019-10-08 青岛海信移动通信技术股份有限公司 拍摄过程中的对焦方法及装置
CN109639976B (zh) * 2018-12-24 2021-02-09 北京百度网讯科技有限公司 焦点确定方法和装置
CN109712164A (zh) * 2019-01-17 2019-05-03 上海携程国际旅行社有限公司 图像智能剪裁方法、系统、设备及存储介质
CN110298380A (zh) * 2019-05-22 2019-10-01 北京达佳互联信息技术有限公司 图像处理方法、装置及电子设备
CN110536068B (zh) * 2019-09-29 2021-09-28 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN113448428B (zh) * 2020-03-24 2023-04-25 中移(成都)信息通信科技有限公司 一种视线焦点的预测方法、装置、设备及计算机存储介质
US11961598B1 (en) 2020-06-26 2024-04-16 Express Scripts Strategic Development, Inc. Machine learning systems for error detection in data processing systems and related methods

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071252A (zh) * 2006-05-10 2007-11-14 佳能株式会社 焦点调节方法、焦点调节设备及其控制方法
JP2009239754A (ja) * 2008-03-27 2009-10-15 Sanyo Electric Co Ltd 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法
CN103955718A (zh) * 2014-05-15 2014-07-30 厦门美图之家科技有限公司 一种图像主体对象的识别方法
CN105574813A (zh) * 2015-12-31 2016-05-11 青岛海信移动通信技术股份有限公司 一种图像处理方法和装置
CN105657240A (zh) * 2015-06-29 2016-06-08 宇龙计算机通信科技(深圳)有限公司 一种拍照方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
JP4581924B2 (ja) * 2004-09-29 2010-11-17 株式会社ニコン 画像再生装置、および画像再生プログラム
EP2030171A1 (en) * 2006-04-10 2009-03-04 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
JP4463792B2 (ja) * 2006-09-29 2010-05-19 富士フイルム株式会社 撮影装置
US7634187B2 (en) * 2007-01-04 2009-12-15 Qualcomm Incorporated Dynamic auto-focus window selection that compensates for hand jitter
JP5374065B2 (ja) * 2008-04-07 2013-12-25 キヤノン株式会社 撮像装置及びその制御方法
JP5368723B2 (ja) * 2008-04-09 2013-12-18 キヤノン株式会社 撮像装置及びその制御方法
US9131141B2 (en) * 2008-05-12 2015-09-08 Sri International Image sensor with integrated region of interest calculation for iris capture, autofocus, and gain control
US8036425B2 (en) * 2008-06-26 2011-10-11 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
US8885901B1 (en) * 2013-10-22 2014-11-11 Eyenuk, Inc. Systems and methods for automated enhancement of retinal images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071252A (zh) * 2006-05-10 2007-11-14 佳能株式会社 焦点调节方法、焦点调节设备及其控制方法
JP2009239754A (ja) * 2008-03-27 2009-10-15 Sanyo Electric Co Ltd 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法
CN103955718A (zh) * 2014-05-15 2014-07-30 厦门美图之家科技有限公司 一种图像主体对象的识别方法
CN105657240A (zh) * 2015-06-29 2016-06-08 宇龙计算机通信科技(深圳)有限公司 一种拍照方法及装置
CN105574813A (zh) * 2015-12-31 2016-05-11 青岛海信移动通信技术股份有限公司 一种图像处理方法和装置

Also Published As

Publication number Publication date
CN106101540A (zh) 2016-11-09
US20170374268A1 (en) 2017-12-28
US10291838B2 (en) 2019-05-14

Similar Documents

Publication Publication Date Title
CN106101540B (zh) 对焦点确定方法及装置
CN110532984B (zh) 关键点检测方法、手势识别方法、装置及系统
KR102117050B1 (ko) 이미지 내 휴먼 분리를 위한 전자 장치 및 방법
US9554030B2 (en) Mobile device image acquisition using objects of interest recognition
US9838616B2 (en) Image processing method and electronic apparatus
CN104683692A (zh) 一种连拍方法及装置
CN105933589A (zh) 一种图像处理方法及终端
CN103617432A (zh) 一种场景识别方法及装置
CN107787463B (zh) 优化对焦堆栈的捕获
CN104281847A (zh) 一种点读方法、装置及设备
US20140362275A1 (en) Autofocus
CN104917967A (zh) 一种拍照方法及终端
CN108200335A (zh) 基于双摄像头的拍照方法、终端及计算机可读存储介质
CN108600610A (zh) 拍摄辅助方法和装置
CN111279684A (zh) 拍摄控制方法及电子装置
CN106031148A (zh) 成像设备,成像设备中自动对焦的方法以及对应计算机程序
CN108781252A (zh) 一种图像拍摄方法及装置
CN114390201A (zh) 对焦方法及其装置
CN110677580B (zh) 拍摄方法、装置、存储介质及终端
KR102440198B1 (ko) 시각 검색 방법, 장치, 컴퓨터 기기 및 저장 매체 (video search method and apparatus, computer device, and storage medium)
US9451155B2 (en) Depth-segmenting peak tracking autofocus
US20160140748A1 (en) Automated animation for presentation of images
CN109711287A (zh) 人脸采集方法及相关产品
CN109685015B (zh) 图像的处理方法、装置、电子设备和计算机存储介质
CN110766631A (zh) 人脸图像的修饰方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100190 room 313, block A, 2 South Road, Haidian District Academy of Sciences, Beijing, China

Applicant after: MEGVII INC.

Applicant after: Beijing maigewei Technology Co., Ltd.

Address before: 100080 room A, block, No. 2 South Road, Haidian District Academy of Sciences, Beijing, China

Applicant before: MEGVII INC.

Applicant before: Beijing aperture Science and Technology Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant