CN109561257B - 画面对焦方法、装置、终端及对应的存储介质 - Google Patents

画面对焦方法、装置、终端及对应的存储介质 Download PDF

Info

Publication number
CN109561257B
CN109561257B CN201910046700.7A CN201910046700A CN109561257B CN 109561257 B CN109561257 B CN 109561257B CN 201910046700 A CN201910046700 A CN 201910046700A CN 109561257 B CN109561257 B CN 109561257B
Authority
CN
China
Prior art keywords
focusing
picture
information
video
video picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910046700.7A
Other languages
English (en)
Other versions
CN109561257A (zh
Inventor
马睿
李攀鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kandao Technology Co Ltd
Original Assignee
Kandao Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kandao Technology Co Ltd filed Critical Kandao Technology Co Ltd
Priority to CN201910046700.7A priority Critical patent/CN109561257B/zh
Publication of CN109561257A publication Critical patent/CN109561257A/zh
Priority to PCT/CN2020/072511 priority patent/WO2020147790A1/zh
Priority to US17/423,481 priority patent/US11683583B2/en
Application granted granted Critical
Publication of CN109561257B publication Critical patent/CN109561257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明提供一种画面对焦方法，其包括：获取视频画面，并根据指示命令确定所述视频画面中的目标物体；根据目标物体所在的视频画面区域在多帧视频画面帧中的锐度变化信息，确定目标物体所在的视频画面区域的画面深度信息；获取多帧视频画面帧对应的拍摄相机的参数信息；将视频画面区域的画面深度信息以及拍摄相机的参数信息作为预设的对焦神经网络模型的输入，以使得预设的对焦神经网络模型输出视频画面对应拍摄相机的对焦调整信息；使用拍摄相机的对焦调整信息对拍摄相机进行调焦操作。本发明基于目标物体的画面深度信息以及拍摄相机的参数信息，使用对焦神经网络模型对目标物体进行对焦调整操作，可有效提高对焦操作的精度以及对焦操作的准确度。

Description

画面对焦方法、装置、终端及对应的存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种画面对焦方法、装置、终端及对应的存储介质。
背景技术
现有的画面自动操作一般是对画面每个区域的画面锐度进行检测，随后基于画面每个区域的画面锐度计算每个画面区域的深度信息，最后根据每个画面区域的深度信息进行画面对焦操作。
但是在画面对焦过程中，画面区域的画面锐度一直在变化，在不同画面拍摄环境下，锐度差的计算可能会存在偏差，从而影响画面对焦操作的操作精度，因此导致现有的画面对焦方法的对焦操作精度以及准确度较差。
故，有必要提供一种画面对焦方法及装置，以解决现有技术所存在的问题。
发明内容
本发明实施例提供一种对焦操作的精度较高且对焦操作的准确度加高的画面对焦方法及装置；以解决现有的画面对焦方法及装置中对焦操作精度以及准确度较差的技术问题。
本发明实施例提供一种画面对焦方法，其包括：
获取视频画面，并根据指示命令确定所述视频画面中的目标物体；
根据所述目标物体所在的视频画面区域在多帧视频画面帧中的锐度变化信息，确定所述目标物体所在的视频画面区域的画面深度信息；
获取所述多帧视频画面帧对应的拍摄相机的参数信息；
将所述视频画面区域的画面深度信息以及所述拍摄相机的参数信息作为预设的对焦神经网络模型的输入，以使得所述预设的对焦神经网络模型输出所述视频画面对应拍摄相机的对焦调整信息；以及
使用所述拍摄相机的对焦调整信息对所述拍摄相机进行调焦操作。
在本发明所述的画面对焦方法中，所述画面对焦方法还包括：
获取多个具有不同画面深度信息的训练视频画面以及对应的拍摄相机的训练参数信息；
基于人工对焦调整结果，获取每个训练视频画面对应的训练对焦调整信息；以及
将所述训练视频画面的画面深度信息以及拍摄相机的训练参数信息作为预设对焦神经网络模型框架的输入，将所述视频画面对应的训练对焦调整信息作为预设对焦神经模型框架的输出，通过机器训练得到所述对焦神经网络模型框架的模型参数，以获取所述对焦神经网络模型。
在本发明所述的画面对焦方法中，所述根据所述目标物体所在的视频画面区域在多帧视频画面帧中的锐度变化信息，确定所述目标物体所在的视频画面区域的画面深度信息的步骤包括：
获取目标物体所在的视频画面区域在多帧视频画面帧中的画面锐度；以及
根据相邻的视频画面帧的画面锐度的差值以及所述拍摄相机的调焦距离，确定所述目标物体所在的视频画面区域的画面深度信息。
在本发明所述的画面对焦方法中，所述根据所述目标物体所在的视频画面区域在多帧视频画面帧中的锐度变化信息，确定所述目标物体所在的视频画面区域的画面深度信息的步骤包括：
获取多帧视频画面帧中的最高画面锐度值；以及
根据相邻的视频画面帧的最高画面锐度值的差值以及所述拍摄相机的调焦距离，确定所述目标物体所在的视频画面区域的画面深度信息。
在本发明所述的画面对焦方法中，所述获取所述多帧视频画面帧对应的拍摄相机的参数信息的步骤包括：
获取所述多帧视频画面帧对应的拍摄相机的镜头信息、对焦信息、相机位置信息以及相机姿态信息。
本发明还提供一种画面对焦装置，其包括：
视频画面获取模块，用于获取视频画面，并根据指示命令确定所述视频画面中的目标物体；
画面深度信息确定模块，用于根据所述目标物体所在的视频画面区域在多帧视频画面帧中的锐度变化信息，确定所述目标物体所在的视频画面区域的画面深度信息；
参数信息获取模块，用于获取所述多帧视频画面帧对应的拍摄相机的参数信息；
对焦调整信息输出模块，用于将所述视频画面区域的画面深度信息以及所述拍摄相机的参数信息作为预设的对焦神经网络模型的输入，以使得所述预设的对焦神经网络模型输出所述视频画面对应拍摄相机的对焦调整信息；以及
调焦模块，用于使用所述拍摄相机的对焦调整信息对所述拍摄相机进行调焦操作。
在本发明所述的画面对焦装置中，所述画面对焦装置还包括：
训练输入信息获取模块，用于获取多个具有不同画面深度信息的训练视频画面以及对应的拍摄相机的训练参数信息；
训练输出信息获取模块，用于基于人工对焦调整结果，获取每个训练视频画面对应的训练对焦调整信息；以及
训练模块，用于将所述训练视频画面的画面深度信息以及拍摄相机的训练参数信息作为预设对焦神经网络模型框架的输入，将所述视频画面对应的训练对焦调整信息作为预设对焦神经模型框架的输出，通过机器训练得到所述对焦神经网络模型框架的模型参数，以获取所述对焦神经网络模型。
在本发明所述的画面对焦装置中，所述参数信息获取模块用于，
获取所述多帧视频画面帧对应的拍摄相机的镜头信息、对焦信息、相机位置信息以及相机姿态信息。
本发明还提供一种计算机可读存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述任一的画面对焦方法。
本发明还提供一种终端，其包括处理器和存储器，所述存储器存储有多条指令，所述处理器从所述存储器中加载指令，以执行上述任一项所述的画面对焦方法。
相较于现有技术的画面对焦方法及装置，本发明的画面对焦方法及装置基于目标物体的画面深度信息以及拍摄相机的参数信息，使用对焦神经网络模型对目标物体进行对焦调整操作，可有效的提高对焦操作的精度以及对焦操作的准确度，有效的解决了现有的画面对焦方法及装置中对焦操作精度以及准确度较差的技术问题。
附图说明
图1为本发明的画面对焦方法的第一实施例的流程图；
图2为本发明的画面对焦方法的第一实施例的步骤S102的流程图；
图3为本发明的画面对焦方法对应的对焦神经网络模型的模型训练流程；
图4为本发明的画面对焦方法的第二实施例的流程图；
图5为本发明的画面对焦方法的第二实施例的步骤S402的流程图；
图6为本发明的画面对焦装置的第一实施例的结构示意图；
图7为本发明的画面对焦装置对应的对焦神经网络模型的模型训练相关模块的结构示意图；
图8为本发明的画面对焦装置所在的电子设备的工作环境结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的画面对焦方法及装置可用于对拍摄画面进行自动对焦操作的电子设备。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该电子设备优选为可进行拍照或视频拍摄的电子拍摄终端，以便对拍摄画面或视频进行自动对焦操作，由于本发明的电子设备基于目标物体的画面深度信息以及拍摄相机的参数信息，使用对焦神经网络模型对拍摄画面中的目标物体进行对焦调整操作，因此可有效的提高对焦操作的精度以及对焦操作的准确度。
请参照图1，图1为本发明的画面对焦方法的第一实施例的流程图。本实施例的画面对焦方法可使用上述的电子设备进行实施，该画面对焦方法包括：
步骤S101，获取视频画面，并根据指示命令确定视频画面中的目标物体；
步骤S102，根据目标物体所在的视频画面区域在多帧视频画面帧中的锐度变化信息，确定目标物体所在的视频画面区域的画面深度信息；
步骤S103，获取多帧视频画面帧对应的拍摄相机的参数信息；
步骤S104，将视频画面区域的画面深度信息以及拍摄相机的参数信息作为预设的对焦神经网络模型的输入，以使得预设的对焦神经网络模型输出视频画面对应拍摄相机的对焦调整信息；
步骤S105，使用拍摄相机的对焦调整信息对拍摄相机进行调焦操作。
下面详细说明本发明的画面对焦方法的各步骤的具体流程。
在步骤S101中，画面对焦装置(如电子拍摄终端等)通过对应的摄像头获取视频画面。随后画面对焦装置根据用户的指示命令确定视频画面中的目标物体。这里的指示命令可为用户通过点击视频画面来确定视频画面中的目标物体的命令。目标物体是指用户认为的视频画面中的主要展示物体或主要关注物体等。
在步骤S102中，画面对焦装置获取多帧连续的视频画面帧，随后根据目标物体所在的视频画面区域在多帧视频画面帧中的锐度变化信息，确定目标物体所在的视频画面区域的画面深度信息。这里的多帧视频画面帧优选为摄像头变焦过程中捕获的多帧画面或目标物体在画面中运动变化的多帧画面，这样可使得锐度变化的连续性更好。
画面锐度是反映图像平面清晰度以及图像边缘锐利程度的物理量。这里的目标物体所在视频画面区域的锐度变化信息，是指视频画面的拍摄相机在进行调焦过程中的视频画面区域的画面锐度的变化量。
由于通过拍摄相机的调焦距离对画面锐度造成影响，因此可通过画面锐度的变化量来确定拍摄拍摄相机的调焦距离，即目标物体所在的视频画面区域的画面深度信息。
请参照图2，图2为本发明的画面对焦方法的第一实施例的步骤S102的流程图。该步骤S102包括：
步骤S201，画面对焦装置获取目标物体所在视频画面区域在多帧视频画面帧中的画面锐度。
步骤S202，画面对焦装置根据相邻的视频画面帧的画面锐度的差值以及拍摄相机的调焦距离，确定目标物体所在的视频画面区域的画面深度信息。
这里根据视频画面区域的画面锐度变化来确定画面深度信息，即需要考虑视频画面区域中的画面锐度量，整体计算过程比较快捷，且可较好的反馈视频画面区域的画面深度信息。
在步骤S103中，画面对焦装置获取多帧视频画面帧对应的拍摄相机的参数信息。由于不同的拍摄相机的参数会对调焦距离产生不同的影响，因此在本步骤中会获取多帧视频画面帧对应的拍摄相机的参数信息。该参数信息包括但不限于多帧视频画面帧对应的拍摄相机的镜头信息、对焦信息、相机位置信息以及相机姿态信息。
在步骤S104中，画面对焦装置将步骤S102获取画面深度信息以及拍摄相机的参数信息作为预设的对焦神经网络模型的输入，这里的对焦神经网络模型为预先设置的根据画面深度信息以及拍摄相机的参数信息输出对焦调整信息的模型，该对焦神经网络模型可预先通过其他对焦操作信息进行训练。
这样预设的对焦神经网络模型可输出视频画面对应的拍摄相机的对焦调整信息。该对焦神经网络模型的训练方法请详见下文阐述。
在步骤S105中，画面对焦装置使用步骤S104获取的拍摄相机的对焦调整信息对拍摄相机进行调焦操作。
这样即完成了本实施例的画面对焦方法的画面对焦过程。
本实施例的画面对焦方法基于目标物体的画面深度信息以及拍摄相机的参数信息，使用对焦神经网络模型对目标物体进行对焦调整操作，可有效的提高对焦操作的精度以及对焦操作的准确度。
请参照图3，图3为本发明的画面对焦方法对应的对焦神经网络模型的模型训练流程。该模型训练流程包括：
步骤S301，获取多个具有不同画面深度信息的训练视频画面以及对应的拍摄相机的训练参数信息；
这里的训练视频画面是指用来训练对焦神经网络模型的多张画面，其中训练视频画面中的目标物体可具有不同的画面深度信息。训练参数信息是指拍摄训练视频画面时拍摄相机的相机参数信息。
步骤S302，基于人工对焦调整结果，获取每个训练视频画面对应的训练对焦调整信息；
人工对步骤S301获取的训练视频画面中的目标物体进行调焦操作，并获取对应的人工对焦调整结果。这样画面对焦装置可根据该人工对焦调整结果，获取每个训练视频画面对应的训练对焦调整信息。
步骤S303，画面对焦装置将步骤S301获取的训练视频画面的画面深度信息以及拍摄相机的训练参数信息作为预设对焦神经网络模型框架的输入，将步骤S302获取的视频画面对应的训练对焦调整信息作为预设对焦神经模型框架的输出，通过机器训练得到对焦神经网络模型框架的模型参数，以获取对焦神经网络模型。
这样即完成了本实施例的对焦神经网络模型的训练流程。
请参照图4，图4为本发明的画面对焦方法的第二实施例的流程图。本实施例的画面对焦方法可使用上述的电子设备进行实施，该画面对焦方法包括：
步骤S401，获取视频画面，并根据指示命令确定视频画面中的目标物体；
步骤S402，根据目标物体所在的视频画面区域在多帧视频画面帧中的锐度变化信息，确定目标物体所在的视频画面区域的画面深度信息；
步骤S403，获取多帧视频画面帧对应的拍摄相机的参数信息；
步骤S404，将视频画面区域的画面深度信息以及拍摄相机的参数信息作为预设的对焦神经网络模型的输入，以使得预设的对焦神经网络模型输出视频画面对应拍摄相机的对焦调整信息；
步骤S405，使用拍摄相机的对焦调整信息对拍摄相机进行调焦操作。
下面详细说明本发明的画面对焦方法的各步骤的具体流程。
步骤S401与上述的画面对焦方法的第一实施例中的步骤S101中的描述相同或相似，具体请参见上述画面对焦方法的第一实施例中的步骤S101中的相关描述。
在步骤S402中，画面对焦装置获取多帧连续的视频画面帧，随后根据目标物体所在的视频画面区域在多帧视频画面帧中的锐度变化信息，确定目标物体所在的视频画面区域的画面深度信息。
由于通过拍摄相机的调焦距离对画面锐度造成影响，因此可通过画面锐度的变化量来确定拍摄拍摄相机的调焦距离，即目标物体所在的视频画面区域的画面深度信息。
请参照图5，图5为本发明的画面对焦方法的第二实施例的步骤S402的流程图。该步骤S402包括：
步骤S501，画面对焦装置获取多帧视频画面帧中的最高画面锐度值。
步骤S502，画面对焦装置根据相邻的视频画面帧的最高画面锐度值的差值以及拍摄相机的调焦距离，确定目标物体所在的视频画面区域的画面深度信息。
这里根据整个视频画面帧的最高画面锐度值的变化来确定画面深度信息，由于考虑整个视频画面帧的全部锐度信息，因此计算的画面深度信息的准确度更高。
步骤S403至步骤S405与上述的画面对焦方法的第一实施例中的步骤S103至步骤S105中的描述相同或相似，具体请参见上述画面对焦方法的第一实施例中的步骤S103至步骤S105中的相关描述。
这样即完成了本实施例的画面对焦方法的画面对焦过程。
在第一实施例的基础上，本实施例的画面对焦方法基于视频画面帧中的最高画面锐度值来获取视频画面区域的画面深度信息看，提高了获取的画面深度信息的准确性，从而进一步有效的提高了对焦操作的精度以及对焦操作的准确度。
本发明还提供一种画面对焦装置，请参照图6，图6为本发明的画面对焦装置的第一实施例的结构示意图。本实施例的画面对焦装置可使用上述的画面对焦方法进行实施，该画面对焦装置60包括视频画面获取模块61、画面深度信息确定模块62、参数信息获取模块63、对焦调整信息输出模块64以及调焦模块65。
视频画面获取模块61用于获取视频画面，并根据指示命令确定视频画面中的目标物体；画面深度信息确定模块62用于根据目标物体所在的视频画面区域在多帧视频画面帧中的锐度变化信息，确定目标物体所在的视频画面区域的画面深度信息；参数信息获取模块63用于获取多帧视频画面帧对应的拍摄相机的参数信息；对焦调整信息输出模块64用于将视频画面区域的画面深度信息以及拍摄相机的参数信息作为预设的对焦神经网络模型的输入，以使得预设的对焦神经网络模型输出视频画面对应拍摄相机的对焦调整信息；调焦模块65用于使用拍摄相机的对焦调整信息对拍摄相机进行调焦操作。
本实施例的画面对焦装置60使用时，首先视频画面获取模块61(如电子拍摄终端等)通过对应的摄像头获取视频画面。随后视频画面获取模块61根据用户的指示命令确定视频画面中的目标物体。这里的指示命令可为用户通过点击视频画面来确定视频画面中的目标物体的命令。目标物体是指用户认为的视频画面中的主要展示物体或主要关注物体等。
然后画面深度信息确定模块62获取多帧连续的视频画面帧，随后根据目标物体所在的视频画面区域在多帧视频画面帧中的锐度变化信息，确定目标物体所在的视频画面区域的画面深度信息。这里的多帧视频画面帧优选为摄像头变焦过程中捕获的多帧画面或目标物体在画面中运动变化的多帧画面，这样可使得锐度变化的连续性更好。
画面锐度是反映图像平面清晰度以及图像边缘锐利程度的物理量。这里的目标物体所在视频画面区域的锐度变化信息，是指视频画面的拍摄相机在进行调焦过程中的视频画面区域的画面锐度的变化量。
由于通过拍摄相机的调焦距离对画面锐度造成影响，因此可通过画面锐度的变化量来确定拍摄拍摄相机的调焦距离，即目标物体所在的视频画面区域的画面深度信息。
获取画面深度信息的流程具体包括：
画面深度信息确定模块62获取目标物体所在视频画面区域在多帧视频画面帧中的画面锐度。
画面深度信息确定模块62根据相邻的视频画面帧的画面锐度的差值以及拍摄相机的调焦距离，确定目标物体所在的视频画面区域的画面深度信息。
这里根据视频画面区域的画面锐度变化来确定画面深度信息，即需要考虑视频画面区域中的画面锐度量，整体计算过程比较快捷，且可较好的反馈视频画面区域的画面深度信息。
随后参数信息获取模块63获取多帧视频画面帧对应的拍摄相机的参数信息。由于不同的拍摄相机的参数会对调焦距离产生不同的影响，因此在本步骤中会获取多帧视频画面帧对应的拍摄相机的参数信息。该参数信息包括但不限于多帧视频画面帧对应的拍摄相机的镜头信息、对焦信息、相机位置信息以及相机姿态信息。
然后对焦调整信息输出模块64将获取画面深度信息以及拍摄相机的参数信息作为预设的对焦神经网络模型的输入，这里的对焦神经网络模型为预先设置的根据画面深度信息以及拍摄相机的参数信息输出对焦调整信息的模型，该对焦神经网络模型可预先通过其他对焦操作信息进行训练。
这样预设的对焦神经网络模型可输出视频画面对应的拍摄相机的对焦调整信息。
最后调焦模块65使用获取的拍摄相机的对焦调整信息对拍摄相机进行调焦操作。
这样即完成了本实施例的画面对焦装置60的画面对焦过程。
本实施例的画面对焦装置基于目标物体的画面深度信息以及拍摄相机的参数信息，使用对焦神经网络模型对目标物体进行对焦调整操作，可有效的提高对焦操作的精度以及对焦操作的准确度。
请参照图7，图7为本发明的画面对焦装置对应的对焦神经网络模型的模型训练相关模块的结构示意图。该画面对焦装置70包括训练输入信息获取模块71、训练输出信息获取模块72以及训练模块73。
训练输入信息获取模块用于获取多个具有不同画面深度信息的训练视频画面以及对应的拍摄相机的训练参数信息；训练输出信息获取模块用于基于人工对焦调整结果，获取每个训练视频画面对应的训练对焦调整信息；训练模块用于将训练视频画面的画面深度信息以及拍摄相机的训练参数信息作为预设对焦神经网络模型框架的输入，将视频画面对应的训练对焦调整信息作为预设对焦神经模型框架的输出，通过机器训练得到对焦神经网络模型框架的模型参数，以获取对焦神经网络模型。
本实施例的画面对焦装置进行对焦神经网络模型的训练流程包括：
训练输入信息获取模块获取多个具有不同画面深度信息的训练视频画面以及对应的拍摄相机的训练参数信息；
这里的训练视频画面是指用来训练对焦神经网络模型的多张画面，其中训练视频画面中的目标物体可具有不同的画面深度信息。训练参数信息是指拍摄训练视频画面时拍摄相机的相机参数信息。
训练输出信息获取模块基于人工对焦调整结果，获取每个训练视频画面对应的训练对焦调整信息；
人工对获取的训练视频画面中的目标物体进行调焦操作，并获取对应的人工对焦调整结果。这样画面对焦装置可根据该人工对焦调整结果，获取每个训练视频画面对应的训练对焦调整信息。
训练模块将获取的训练视频画面的画面深度信息以及拍摄相机的训练参数信息作为预设对焦神经网络模型框架的输入，将获取的视频画面对应的训练对焦调整信息作为预设对焦神经模型框架的输出，通过机器训练得到对焦神经网络模型框架的模型参数，以获取对焦神经网络模型。
这样即完成了本实施例的对焦神经网络模型的训练流程。
本发明的画面对焦方法及装置基于目标物体的画面深度信息以及拍摄相机的参数信息，使用对焦神经网络模型对目标物体进行对焦调整操作，可有效的提高对焦操作的精度以及对焦操作的准确度，有效的解决了现有的画面对焦方法及装置中对焦操作精度以及准确度较差的技术问题。
如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。
图8和随后的讨论提供了对实现本发明所述的画面对焦装置所在的电子设备的工作环境的简短、概括的描述。图8的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备812包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。
尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。
图8图示了包括本发明的画面对焦装置中的一个或多个实施例的电子设备812的实例。在一种配置中，电子设备812包括至少一个处理单元816和存储器818。根据电子设备的确切配置和类型，存储器818可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图8中由虚线814图示。
在其他实施例中，电子设备812可以包括附加特征和/或功能。例如，设备812还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图8中由存储装置820图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置820中。存储装置820还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器818中由例如处理单元816执行。
本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器818和存储装置820是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备812访问的任何其他介质。任意这样的计算机存储介质可以是电子设备812的一部分。
电子设备812还可以包括允许电子设备812与其他设备通信的通信连接826。通信连接826可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备812连接到其他电子设备的其他接口。通信连接826可以包括有线连接或无线连接。通信连接826可以发射和/或接收通信媒体。
术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。
电子设备812可以包括输入设备824，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备812中也可以包括输出设备822，比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备824和输出设备822可以经由有线连接、无线连接或其任意组合连接到电子设备812。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备812的输入设备824或输出设备822。
电子设备812的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE1394)、光学总线结构等等。在另一个实施例中，电子设备812的组件可以通过网络互连。例如，存储器818可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。
本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络828访问的电子设备830可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备812可以访问电子设备830并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备812可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备812处执行并且一些指令可以在电子设备830处执行。
本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。
而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。
综上所述，虽然本发明已以实施例揭露如上，实施例前的序号仅为描述方便而使用，对本发明各实施例的顺序不造成限制。并且，上述实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (6)

1.一种画面对焦方法，其特征在于，包括：
获取视频画面，并根据指示命令确定所述视频画面中的目标物体；
根据所述目标物体所在的视频画面区域在多帧视频画面帧中的锐度变化信息，确定所述目标物体所在的视频画面区域的画面深度信息；其中画面锐度是反映图像平面清晰度以及图像边缘锐利程度的物理量；
获取所述多帧视频画面帧对应的拍摄相机的参数信息；所述参数信息包括镜头信息、对焦信息、相机位置信息以及相机姿态信息；
将所述视频画面区域的画面深度信息以及所述拍摄相机的参数信息作为预设的对焦神经网络模型的输入，以使得所述预设的对焦神经网络模型输出所述视频画面对应拍摄相机的对焦调整信息；以及
使用所述拍摄相机的对焦调整信息对所述拍摄相机进行调焦操作；
其中所述预设的对焦神经网络模型通过以下步骤获取：
获取多个具有不同画面深度信息的训练视频画面以及对应的拍摄相机的训练参数信息；
基于人工对焦调整结果，获取每个训练视频画面对应的训练对焦调整信息；以及
将所述训练视频画面的画面深度信息以及拍摄相机的训练参数信息作为预设对焦神经网络模型框架的输入，将所述视频画面对应的训练对焦调整信息作为预设对焦神经模型框架的输出，通过机器训练得到所述对焦神经网络模型框架的模型参数，以获取所述对焦神经网络模型。
2.根据权利要求1所述的画面对焦方法，其特征在于，所述根据所述目标物体所在的视频画面区域在多帧视频画面帧中的锐度变化信息，确定所述目标物体所在的视频画面区域的画面深度信息的步骤包括：
获取目标物体所在的视频画面区域在多帧视频画面帧中的画面锐度；以及
根据相邻的视频画面帧的画面锐度的差值以及所述拍摄相机的调焦距离，确定所述目标物体所在的视频画面区域的画面深度信息。
3.根据权利要求2所述的画面对焦方法，其特征在于，所述根据所述目标物体所在的视频画面区域在多帧视频画面帧中的锐度变化信息，确定所述目标物体所在的视频画面区域的画面深度信息的步骤包括：
获取多帧视频画面帧中的最高画面锐度值；以及
根据相邻的视频画面帧的最高画面锐度值的差值以及所述拍摄相机的调焦距离，确定所述目标物体所在的视频画面区域的画面深度信息。
4.一种画面对焦装置，其特征在于，包括：
视频画面获取模块，用于获取视频画面，并根据指示命令确定所述视频画面中的目标物体；
画面深度信息确定模块，用于根据所述目标物体所在的视频画面区域在多帧视频画面帧中的锐度变化信息，确定所述目标物体所在的视频画面区域的画面深度信息；其中画面锐度是反映图像平面清晰度以及图像边缘锐利程度的物理量；
参数信息获取模块，用于获取所述多帧视频画面帧对应的拍摄相机的参数信息；所述参数信息包括镜头信息、对焦信息、相机位置信息以及相机姿态信息；
对焦调整信息输出模块，用于将所述视频画面区域的画面深度信息以及所述拍摄相机的参数信息作为预设的对焦神经网络模型的输入，以使得所述预设的对焦神经网络模型输出所述视频画面对应拍摄相机的对焦调整信息；以及
调焦模块，用于使用所述拍摄相机的对焦调整信息对所述拍摄相机进行调焦操作；
所述画面对焦装置还包括：
训练输入信息获取模块，用于获取多个具有不同画面深度信息的训练视频画面以及对应的拍摄相机的训练参数信息；
训练输出信息获取模块，用于基于人工对焦调整结果，获取每个训练视频画面对应的训练对焦调整信息；以及
训练模块，用于将所述训练视频画面的画面深度信息以及拍摄相机的训练参数信息作为预设对焦神经网络模型框架的输入，将所述视频画面对应的训练对焦调整信息作为预设对焦神经模型框架的输出，通过机器训练得到所述对焦神经网络模型框架的模型参数，以获取所述对焦神经网络模型。
5.一种计算机可读存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行如权利要求1-4中任一的画面对焦方法。
6.一种终端，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述处理器从所述存储器中加载指令，以执行如权利要求1-4任一项所述的画面对焦方法。
CN201910046700.7A 2019-01-18 2019-01-18 画面对焦方法、装置、终端及对应的存储介质 Active CN109561257B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910046700.7A CN109561257B (zh) 2019-01-18 2019-01-18 画面对焦方法、装置、终端及对应的存储介质
PCT/CN2020/072511 WO2020147790A1 (zh) 2019-01-18 2020-01-16 画面对焦方法、装置、终端及对应的存储介质
US17/423,481 US11683583B2 (en) 2019-01-18 2020-01-16 Picture focusing method, apparatus, terminal, and corresponding storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910046700.7A CN109561257B (zh) 2019-01-18 2019-01-18 画面对焦方法、装置、终端及对应的存储介质

Publications (2)

Publication Number Publication Date
CN109561257A CN109561257A (zh) 2019-04-02
CN109561257B true CN109561257B (zh) 2020-09-18

Family

ID=65873347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910046700.7A Active CN109561257B (zh) 2019-01-18 2019-01-18 画面对焦方法、装置、终端及对应的存储介质

Country Status (3)

Country Link
US (1) US11683583B2 (zh)
CN (1) CN109561257B (zh)
WO (1) WO2020147790A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109561257B (zh) * 2019-01-18 2020-09-18 深圳看到科技有限公司 画面对焦方法、装置、终端及对应的存储介质
CN110430384B (zh) * 2019-08-23 2020-11-03 珠海格力电器股份有限公司 视频通话方法、装置以及智能终端、存储介质
CN110648319B (zh) * 2019-09-19 2022-03-18 国网智能科技股份有限公司 基于双相机的设备图像采集诊断系统及方法
CN113132620B (zh) * 2019-12-31 2022-10-11 华为技术有限公司 一种图像拍摄方法及相关装置
CN113784036B (zh) * 2020-06-09 2023-08-18 Oppo广东移动通信有限公司 设备对焦方法、装置、存储介质及电子设备
CN112084925A (zh) * 2020-09-03 2020-12-15 厦门利德集团有限公司 一种智慧电力安全监察方法及系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173278A (ja) 2003-12-12 2005-06-30 Canon Inc オートフォーカスシステム。
EP1986046B1 (en) * 2007-03-08 2014-07-16 Cellavision AB A method for determining an in-focus position and a vision inspection system
CN104253939A (zh) * 2013-06-27 2014-12-31 聚晶半导体股份有限公司 调整对焦位置的方法及电子装置
CN103795934B (zh) * 2014-03-03 2018-06-01 联想(北京)有限公司 一种图像处理方法及电子设备
JP6474693B2 (ja) * 2015-06-19 2019-02-27 オリンパス株式会社 焦点検出装置、焦点検出方法、および記録媒体
CN106375650B (zh) 2015-11-17 2019-04-23 北京智谷睿拓技术服务有限公司 对焦方法和装置、图像采集设备
CN106375651B (zh) 2015-11-30 2019-04-23 北京智谷睿拓技术服务有限公司 对焦方法和装置、图像采集设备
US10397498B2 (en) * 2017-01-11 2019-08-27 Sony Corporation Compressive sensing capturing device and method
US11055580B2 (en) * 2017-06-05 2021-07-06 Siemens Aktiengesellschaft Method and apparatus for analyzing an image
CN107302658B (zh) * 2017-06-16 2019-08-02 Oppo广东移动通信有限公司 实现人脸清晰的对焦方法、装置和计算机设备
CN107493432B (zh) * 2017-08-31 2020-01-10 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN107509031B (zh) 2017-08-31 2019-12-27 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
JP2019086775A (ja) * 2017-11-06 2019-06-06 キヤノン株式会社 画像処理装置、その制御方法、プログラム及び記憶媒体
JP2019215489A (ja) * 2018-06-14 2019-12-19 オリンパス株式会社 撮像装置および焦点調節方法
US11165948B2 (en) * 2018-06-29 2021-11-02 Canon Kabushiki Kaisha Imaging apparatus for controlling an imaging function that affects an imaging result
US11093743B2 (en) * 2018-08-10 2021-08-17 International Business Machines Corporation Intelligent personalization of operations of an image capturing device
US10706281B2 (en) * 2018-08-10 2020-07-07 Microsoft Technology Licensing, Llc Controlling focal parameters of a head mounted display based on estimated user age
CN113424197A (zh) * 2018-09-21 2021-09-21 定位成像有限公司 机器学习辅助自改进对象识别系统和方法
CN109561257B (zh) * 2019-01-18 2020-09-18 深圳看到科技有限公司 画面对焦方法、装置、终端及对应的存储介质
JP7137487B2 (ja) * 2019-01-22 2022-09-14 株式会社日立ハイテク 画像評価装置及び方法
US10902265B2 (en) * 2019-03-27 2021-01-26 Lenovo (Singapore) Pte. Ltd. Imaging effect based on object depth information
KR20190095200A (ko) * 2019-07-26 2019-08-14 엘지전자 주식회사 영상 내 물체 인식 장치 및 방법
JP2022175419A (ja) * 2021-05-13 2022-11-25 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、学習済みモデルの製造方法、および画像処理システム
EP4092572A1 (en) * 2021-05-20 2022-11-23 Wooptix S.L. Method for depth estimation for a variable focus camera

Also Published As

Publication number Publication date
US20220103743A1 (en) 2022-03-31
WO2020147790A1 (zh) 2020-07-23
US11683583B2 (en) 2023-06-20
CN109561257A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
CN109561257B (zh) 画面对焦方法、装置、终端及对应的存储介质
CN106454139B (zh) 拍照方法及移动终端
CN109767466B (zh) 画面渲染方法、装置、终端及对应的存储介质
US11048913B2 (en) Focusing method, device and computer apparatus for realizing clear human face
CN108737739B (zh) 一种预览画面采集方法、预览画面采集装置及电子设备
CN109767401B (zh) 画面优化方法、装置、终端及对应的存储介质
WO2018210318A1 (zh) 图像虚化处理方法、装置、存储介质及电子设备
US20210084228A1 (en) Tracking shot method and device, and storage medium
WO2019119986A1 (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
JP7412545B2 (ja) 画像処理方法、画像処理装置、及びそれを応用する電子機器
CN108769419B (zh) 拍照方法、移动终端及计算机可读存储介质
US20190355104A1 (en) Image Correction Method and Apparatus
US20220086350A1 (en) Image Generation Method and Apparatus, Terminal and Corresponding Storage Medium
CN111402391B (zh) 用户面部图像展示方法、展示装置及对应的存储介质
JP2017162179A (ja) 情報処理装置、情報処理方法、及びプログラム
CN111311477B (zh) 图像编辑方法、装置及对应的存储介质
CN110475071B (zh) 相位对焦方法、装置、电子设备和机器可读存储介质
US10902265B2 (en) Imaging effect based on object depth information
CN110012208B (zh) 拍照对焦方法、装置、存储介质及电子设备
CN109587390B (zh) 画面渲染方法、画面渲染装置及存储介质
KR20180018213A (ko) 전자 장치 및 그 제어 방법
CN109587403A (zh) 一种拍摄引导方法和装置
CN113766090B (zh) 一种图像处理方法、终端以及存储介质
CN113938605A (zh) 拍照方法、装置、设备及介质
CN114449172A (zh) 拍摄方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant