CN116055866B - 一种拍摄方法及相关电子设备 - Google Patents
一种拍摄方法及相关电子设备 Download PDFInfo
- Publication number
- CN116055866B CN116055866B CN202210600915.0A CN202210600915A CN116055866B CN 116055866 B CN116055866 B CN 116055866B CN 202210600915 A CN202210600915 A CN 202210600915A CN 116055866 B CN116055866 B CN 116055866B
- Authority
- CN
- China
- Prior art keywords
- characteristic information
- target object
- objects
- preview
- feature information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本申请提供一种拍摄方法及相关电子设备,该方法包括:显示视频录制界面,视频录制界面包括预览区域和第一控件,预览区域用于显示摄像头采集的图像;检测到作用于第一控件的第一操作;响应第一操作,在第一图像上显示N个标记;第一图像为预览区域当前显示的图像,N个标记分别与第一图像中的N个对象对应;检测到作用于第一标记的第二操作;第一标记为N个标记中的任意一个;响应第二操作,在预览区域上显示预览窗,在预览窗上显示第一目标对象;第一目标对象为第一标记对应的对象。通过上述方法,电子设备能够对追焦对象进行画中画录制。
Description
技术领域
本申请涉及视频录制领域,尤其涉及一种拍摄方法及相关电子设备。
背景技术
随着拍摄技术的不断发展,越来越多的电子设备支持追焦功能。追焦实际是一种跟随移动物体,在相机和被拍摄目标两者达到相对静止时,进行拍摄的方式。以这种方式拍出来的作品有虚实结合的表现。被摄物体运动部分(如鸟的翅膀,汽车的车轮等)和背景会虚化,而静止的部分(如鸟的头、脚,汽车的车身等)会相对清晰,作品具有强烈的动感表现。
随着拍摄技术的不断发展,用户对电子设备的视频录制功能有了更多需求。用户在录制视频的同时,还想对对象中的用特定对象进行追焦。因此,如何提高在视频录制过程中对目标对象进行追焦的准确性是技术人员日益关注的问题。
发明内容
本申请实施例提供了一种拍摄方法,解决了电子设备追焦摄像头采集的图像中的目标对象不准确以及效率低的问题。
第一方面,本申请实施例提供了一种拍摄方法,应用于具备摄像头的电子设备,该方法包括:显示视频录制界面,视频录制界面包括预览区域和第一控件,预览区域用于显示摄像头采集的图像;检测到作用于第一控件的第一操作;响应第一操作,在第一图像上显示N个标记;第一图像为预览区域当前显示的图像,N个标记分别与第一图像中的N个对象对应;检测到作用于第一标记的第二操作;第一标记为N个标记中的任意一个;响应第二操作,在预览区域上显示预览窗,在预览窗上显示第一目标对象;第一目标对象为第一标记对应的对象;对摄像头采集的图像中的对象进行监测识别;在确定使用重识别匹配算法的情况下,通过重识别算法得到M个对象的特征信息;基于快表中的特征信息判断在M个对象的特征信息中是否存在第一目标对象的特征信息;快表中存储的特征信息为检测到第二操作之后,存储的第一目标对象的历史特征信息;在判断为是的情况下,继续在预览窗上显示第一目标对象;在判断为否的情况下,基于慢表中的特征信息确定在M个对象的特征信息中是否存在第一目标对象的特征信息;慢表中存储的特征信息为检测到第二操作之后,存储的第一目标对象的历史特征信息,慢表存储的特征信息的数量大于快表存储的特征信息的数量;在确定为是的情况下,继续在预览窗上显示第一目标对象。
在上述实施例中,电子设备在对摄像头采集的图像中的目标对象进行追焦的过程中,电子设备通过监测识别、提取图像中对象的特征信息,并基于快表确定该帧图像是否存在目标对象的特征信息。在存在目标对象的特征信息的情况下,在预览窗上单独显示目标对象,并对快表中历史存储的目标对象的特征信息进行更新。在不存在目标对象的特征信息的情况下,基于慢表确定该帧图像是否存在目标对象的特征信息,若基于慢表存在目标对像的特征信息的情况下,在预览窗上单独显示目标对象。通过这种快/慢表二级匹配的方法,大大提高了电子设备追焦图像中目标对象的准确率和效率。
结合第一方面,在一种可能实现的方式中,基于慢表中的特征信息确定在M个对象的特征信息中是否存在第一目标对象的特征信息之后,还包括:在确定为否的情况下,在预览窗上显示目标预览图像;目标预览图像为在预览区域显示的预览图像中,与当前剪裁框位置相对应的图像。这样,可以使得预览窗中可以主要显示第一目标对象,从而实现单独对第一目标对象的视频录制。
结合第一方面,在一种可能实现的方式中,在预览窗上显示目标预览图像之后,还包括:对摄像头采集的图像中的对象进行监测识别,得到M个对象的特征信息;基于快表中的特征信息判断在M个对象的特征信息中是否存在第一目标对象的特征信息;快表中存储的特征信息为检测到第二操作之后,存储的第一目标对象的历史特征信息;在判断为是的情况下,继续在预览窗上显示第一目标对象,并更新预览区域中剪裁框的位置;剪裁框包括第一目标对象;在判断为否的情况下,基于慢表中的特征信息确定在M个对象的特征信息中是否存在第一目标对象的特征信息;慢表中存储的特征信息为检测到第二操作之后,存储的第一目标对象的历史特征信息,慢表存储的特征信息的数量大于快表存储的特征信息的数量;在确定为是的情况下,继续在预览窗上显示第一目标对象并更新预览区域中剪裁框的位置;剪裁框包括所述第一目标对象。这样,当第一目标对象再次出现在拍摄场景中时,电子设备可以准确地检测第一目标对象,提高第一目标对象的检测成功率,从而将第一目标对象显示在预览窗中。
结合第一方面,在一种可能实现的方式中,对摄像头采集的图像中的对象进行监测识别,得到M个对象的特征信息之后,还包括:在预览区域中显示M个标记,M个标记与M个对象一一对应。这样,电子设备在检测到摄像头采集的图像中存在目标对象的情况下,在视频录制界面上显示目标对象的标记,用户可以通过单击其中的任意一个标记,令电子设备可以对图像中的任意一个对象进行追焦。
结合第一方面,在一种可能实现的方式中,继续在预览窗上显示第一目标对象之后,还包括:检测到作用于第二标记的第三操作;第二标记为,在M个标记中,除第一标记以外的标记;响应第三操作,在预览框上显示第二目标对象;第二目标对象为与第二标记对应的对象;清除快表中与第一目标对象相关的特征信息和慢表中与第一目标对象相关的特征信息;对摄像头采集的图像中的对象进行监测识别,得到M个对象的特征信息;基于快表中的特征信息判断在M个对象的特征信息中是否存在第二目标对象的特征信息;快表中存储的特征信息为检测到第三操作之后,存储的第二目标对象的历史特征信息;在判断为是的情况下,继续在预览窗上显示第二目标对象;在判断为否的情况下,基于慢表中的特征信息确定在M个对象的特征信息中是否存在第二目标对象的特征信息;慢表中存储的特征信息为检测到第三操作之后,存储的第二目标对象的历史特征信息,慢表存储的特征信息的数量大于快表存储的特征信息的数量;在确定为是的情况下,继续在预览窗上显示第二目标对象。
结合第一方面,在一种可能实现的方式中,基于快表中的特征信息判断在M个对象的特征信息中是否存在第一目标对象的特征信息,具体包括:分别计算M个对象的特征信息与快表中存储的所有特征信息之间的相似度;若在M个对象的特征信息中,存在第一特征信息与快表中的至少L个特征信息之间的相似度大于或等于相似度阈值;确定在M个对象的特征信息中,存在第一目标对象的特征信息,且第一特征信息为第一目标对象的特征信息;若在所述M个对象的特征信息中,不存在特征信息与所述快表中的至少L个特征信息之间的相似度大于或等于所述相似度阈值;确定在所述M个对象的特征信息中,不存在所述第一目标对象的特征信息。由于在快表中存储的特征信息较小,因此在基于快表判断出存在第一目标对象的情况下,可以大大节省第一目标对象的追焦效率。
结合第一方面,在一种可能实现的方式中,基于慢表中的特征信息确定在M个对象的特征信息中是否存在第一目标对象的特征信息,具体包括:分别计算M个对象的特征信息与慢表中存储的所有特征信息之间的相似度;若在M个对象的特征信息中,存在第一特征信息与慢表中的至少1个特征信息之间的相似度大于或等于相似度阈值;确定在M个对象的特征信息中,存在第一目标对象的特征信息,且第一特征信息为第一目标对象的特征信息;若在M个对象的特征信息中,不存在特征信息与慢表中的至少1个特征信息之间的相似度大于或等于相似度阈值;确定在M个对象的特征信息中,不存在第一目标对象的特征信息。这样,在快表中未检测出第一目标对象的特征信息的情况下,在慢表中对图像中的特征信息再次进行检测,能够有效避免由于快表的特征信息较少,导致未检测出第一目标对象的特征信息的问题,从而提高电子设备检测第一目标对象的特征信息的准确度。
结合第一方面,在一种可能实现的方式中,确定在M个对象的特征信息中,存在第一目标对象的特征信息之后,还包括:对快表中的特征信息进行更新。
结合第一方面,在一种可能实现的方式中,对快表中的特征信息进行更新,具体包括:在快表中存储的特征信息的数量小于M1的情况下,将第一目标对象的特征信息存入快表中;M1为快表存储特征信息数量的上限阈值;在快表中存储的特征信息的数量大于M1的情况下,将快表中的第一特征信息更新为第一目标对象的特征信息;其中,第一特征信息为在快表中,与第一目标对象的特征信息相似度最高的特征信息。这样,使得快表中存储的特征信息之间的相似度尽可能大,使得电子设备在基于快表检测是否存在第一目标对象的特征信息的准确率更高。
结合第一方面,在一种可能实现的方式中,确定在M个对象的特征信息中,存在第一目标对象的特征信息之后,还包括:确定当前时刻是否为慢表更新特征信息频率对应的时刻;若确定为是,更新慢表中的特征信息。
结合第一方面,在一种可能实现的方式中,更新慢表中的特征信息,具体包括:在慢表中存储的特征信息的数量小于M2的情况下,将第一目标对象的特征信息存入慢表中;M2为慢表存储特征信息数量的上限阈值;在慢表中存储的特征信息的数量大于或等于M2的情况下,将慢表中的第二特征信息更新为第一目标对象的特征信息;其中,第二特征信息为在当前慢表存储的特征信息中,存储时间最长的特征信息。这样,使得慢表中存储的特征信息的时间跨度尽可能大,使得电子设备在基于慢表检测是否存在第一目标对象的特征信息的准确率更高。
第二方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器、显示屏和存储器;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该电子设备执行:控制显示屏显示视频录制界面,视频录制界面包括预览区域和第一控件,预览区域用于显示摄像头采集的图像;检测到作用于第一控件的第一操作;响应第一操作,控制显示屏在第一图像上显示N个标记;第一图像为预览区域当前显示的图像,N个标记分别与第一图像中的N个对象对应;检测到作用于第一标记的第二操作;第一标记为N个标记中的任意一个;响应第二操作,控制显示屏在预览区域上显示预览窗,控制显示屏在预览窗上显示第一目标对象;第一目标对象为第一标记对应的对象;对摄像头采集的图像中的对象进行监测识别;在确定使用重识别匹配算法的情况下,通过重识别算法得到M个对象的特征信息;基于快表中的特征信息判断在M个对象的特征信息中是否存在第一目标对象的特征信息;快表中存储的特征信息为检测到第二操作之后,存储的第一目标对象的历史特征信息;在判断为是的情况下,控制显示屏继续在预览窗上显示第一目标对象;在判断为否的情况下,基于慢表中的特征信息确定在M个对象的特征信息中是否存在第一目标对象的特征信息;慢表中存储的特征信息为检测到第二操作之后,存储的第一目标对象的历史特征信息,慢表存储的特征信息的数量大于快表存储的特征信息的数量;在确定为是的情况下,控制显示屏继续在预览窗上显示第一目标对象。
结合第二方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:控制显示屏在预览窗上显示目标预览图像;目标预览图像为在预览区域显示的预览图像中,与当前剪裁框位置相对应的图像。
结合第二方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:对摄像头采集的图像中的对象进行监测识别,得到M个对象的特征信息;基于快表中的特征信息判断在M个对象的特征信息中是否存在第一目标对象的特征信息;快表中存储的特征信息为检测到第二操作之后,存储的第一目标对象的历史特征信息;在判断为是的情况下,控制显示屏继续在预览窗上显示第一目标对象,并更新预览区域中剪裁框的位置;剪裁框包括第一目标对象;在判断为否的情况下,基于慢表中的特征信息确定在M个对象的特征信息中是否存在第一目标对象的特征信息;慢表中存储的特征信息为检测到第二操作之后,存储的第一目标对象的历史特征信息,慢表存储的特征信息的数量大于快表存储的特征信息的数量;在确定为是的情况下,控制显示屏继续在预览窗上显示第一目标对象并更新预览区域中剪裁框的位置;剪裁框包括所述第一目标对象。
结合第二方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:控制显示屏在预览区域中显示M个标记,M个标记与M个对象一一对应。
结合第二方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:检测到作用于第二标记的第三操作;第二标记为,在M个标记中,除第一标记以外的标记;响应第三操作,控制显示屏在预览框上显示第二目标对象;第二目标对象为与第二标记对应的对象;清除快表中与第一目标对象相关的特征信息和慢表中与第一目标对象相关的特征信息;对摄像头采集的图像中的对象进行监测识别,得到M个对象的特征信息;基于快表中的特征信息判断在M个对象的特征信息中是否存在第二目标对象的特征信息;快表中存储的特征信息为检测到第三操作之后,存储的第二目标对象的历史特征信息;在判断为是的情况下,控制显示屏继续在预览窗上显示第二目标对象;在判断为否的情况下,基于慢表中的特征信息确定在M个对象的特征信息中是否存在第二目标对象的特征信息;慢表中存储的特征信息为检测到第三操作之后,存储的第二目标对象的历史特征信息,慢表存储的特征信息的数量大于快表存储的特征信息的数量;在确定为是的情况下,控制显示屏继续在预览窗上显示第二目标对象。
结合第二方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:分别计算M个对象的特征信息与快表中存储的所有特征信息之间的相似度;若在M个对象的特征信息中,存在第一特征信息与快表中的至少L个特征信息之间的相似度大于或等于相似度阈值;确定在M个对象的特征信息中,存在第一目标对象的特征信息,且第一特征信息为第一目标对象的特征信息;若在所述M个对象的特征信息中,不存在特征信息与所述快表中的至少L个特征信息之间的相似度大于或等于所述相似度阈值;确定在所述M个对象的特征信息中,不存在第一目标对象的特征信息。
结合第二方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:分别计算M个对象的特征信息与慢表中存储的所有特征信息之间的相似度;若在M个对象的特征信息中,存在第一特征信息与慢表中的至少1个特征信息之间的相似度大于或等于相似度阈值;确定在M个对象的特征信息中,存在第一目标对象的特征信息,且第一特征信息为第一目标对象的特征信息;若在M个对象的特征信息中,不存在特征信息与慢表中的至少1个特征信息之间的相似度大于或等于相似度阈值;确定在M个对象的特征信息中,不存在第一目标对象的特征信息。
结合第二方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:对快表中的特征信息进行更新。
结合第二方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:在快表中存储的特征信息的数量小于M1的情况下,将第一目标对象的特征信息存入快表中;M1为快表存储特征信息数量的上限阈值;在快表中存储的特征信息的数量大于M1的情况下,将快表中的第一特征信息更新为第一目标对象的特征信息;其中,第一特征信息为在快表中,与第一目标对象的特征信息相似度最高的特征信息。
结合第二方面,在一种可能实现的方式中,该一个或多个处理器调用该计算机指令以使得该电子设备执行:在慢表中存储的特征信息的数量小于M2的情况下,将第一目标对象的特征信息存入慢表中;M2为慢表存储特征信息数量的上限阈值;在慢表中存储的特征信息的数量大于或等于M2的情况下,将慢表中的第二特征信息更新为第一目标对象的特征信息;其中,第二特征信息为在当前慢表存储的特征信息中,存储时间最长的特征信息。
第三方面,本申请实施例提供了一种电子设备,包括:触控屏、摄像头、一个或多个处理器和一个或多个存储器;所述一个或多个处理器与所述触控屏、所述摄像头、所述一个或多个存储器耦合,所述一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法。
第四方面,本申请实施例提供了一种芯片系统,该芯片系统应用于电子设备,该芯片系统包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法。
第五方面,本申请实施例提供了一种包含指令的计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法。
第六方面,本申请实施例提供了一种计算机可读存储介质,包括指令,当该指令在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法。
附图说明
图1A-图1J是本申请实施例提供的电子设备100进行视频录制时的一组示例性用户界面图;
图2A-图2B是本申请实施例提供的电子设备100进行视频录制时的另一组示例性用户界面图;
图3是本申请实施例提供的电子设备100的硬件结构示意图;
图4是本申请实施例提供的一种对目标对象进行追焦的流程图;
图5是本申请实施例提供的电子设备使用对象识别算法获取图像的像素区域信息的示例图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或者特性可以包含在本实施例申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是相同的实施例,也不是与其它实施例互斥的独立的或是备选的实施例。本领域技术人员可以显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中术语“第一”、“第二”、“第三”等是区别于不同的对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元,或者可选地,还包括没有列出的步骤或单元,或者可选地还包括这些过程、方法、产品或设备固有的其它步骤或单元。
附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前,应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在本说明书中使用的术语“部件”、“模块”、“系统”、“单元”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件或执行中的软件。例如,单元可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或分布在两个或多个计算机之间。此外,这些单元可从在上面存储有各种数据结构的各种计算机可读介质执行。单元可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一单元交互的第二单元数据。例如,通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
本申请实施例中所述的追焦指的是在进行在拍摄过程中,电子设备对摄像头采集图像中的某个特定对象进行识别和匹配,并将摄像头采集的图像中,包括该特定对象的区域进行裁剪,并将剪裁后的图像显示在视频录制界面的小窗口上,使得该小窗口主要显示该特定对象。同时,在该视频录制界面的预览区域上还会显示摄像头采集的完整图像,从而实现画中画的录制。
下面,对电子设备100在进行拍摄过程中,对目标对象的追焦场景进行示例性的说明。为了便于描述,本申请实施例以图1A-图1J所示的应用场景进行示例性地说明。图1A-图1J是本申请实施例提供的电子设备100进行视频录制时的一组示例性用户界面。在图1A-图1G中,该拍摄场景包括第一对象102、第二对象103以及第三对象104。
如图1A所示,用户界面10为电子设备100的主界面,在该主界面中包括相机图标101。在T1时刻,电子设备100检测到针对相机图标101的单击操作,响应该操作,电子设备100显示如图1B所示的用户界面11。
如图1B所示,用户界面11为相机拍摄界面。在该相机拍摄界面中包括预览界面111和摄像控件112。其中,预览界面111用于显示拍摄场景的预览图像,在该预览界面中,显示第一对象102、第二对象103以及第三对象104。当电子设备100检测到针对摄像控件112的单击操作后,响应该操作,电子设备100显示如图1C所示的用户界面12。
如图1C所示,用户界面12为电子设备100的视频录制界面。此时,电子设备100的拍摄模式为录制模式或摄影模式。在用户界面12中,包括预览界面121、录制控件122、追焦功能控件123。其中,预览界面121用于显示拍摄场景的预览图像,该预览图像包括第一对象102、第二对象103以及第三对象104。当电子设备100检测到针对追焦功能控件123的单击操作后,响应该操作,电子设备100进入追焦模式,并显示如图1D所示的用户界面13。
如图1D所示,用户界面13为电子设备100的视频录制界面。在该视频录制界面上显示的预览图像中包括第一对象102、第二对象103以及第三对象104。其中,在第一对象102上显示追踪框131,在第二对象103上显示追踪框132,在第三对象104上显示追踪框133。当电子设备100检测到针对追踪框133的单击操作后,响应该操作,电子设备100显示如图1E所示的用户界面14。
如图1E所示,用户界面14为电子设备100的视频录制界面。在该视频录制界面中包括预览区域141和预览窗142以及开始录制控件143。其中,预览区域141显示第一对象102、第二对象103以及第三对象104。预览窗142显示第三对象104。在T2时刻,电子设备100检测到针对追踪框132的单击操作后,响应该操作,电子设备100显示如图1F所示的用户界面15。
如图1F所示,用户界面15为电子设备100的视频录制界面。在该视频录制界面中的预览区域151显示第一对象102、第二对象103以及第三对象104,在该录制界面中的预览窗152显示第二对象103。在T3时刻,当电子设备100检测到针对开始录制控件153的单击操作后,响应该操作,电子设备100显示如图1G所示的用户界面16。
如图1G所示,用户界面16为电子设备100的视频录制界面。此时,电子设备100开始录制视频。在该视频录制界面中,包括预览区域161、预览窗162以及录制时间提示区域163。其中,在预览区域161中显示第一对象102、第二对象103以及第三对象104,在预览窗162中显示第二对象103。录制时间提示区域163用于指示视频的录制时间。如图1G所示,当前视频的录制时间为00:00:30。在T4时刻,第二对象103外出,电子设备100显示如图1H所示的用户界面17。
如图1H所示,用户界面17为电子设备100的视频录制界面。在该视频录制界面的预览区域171中包括第一对象102和第三对象104,在该录制的预览窗172中包括第一对象102和第三对象104。电子设备100继续录制视频,在T5时刻,电子设备100显示如图1I所示的用户界面18。
如图1I所示,用户界面18为电子设备100的视频录制界面。该视频录制界面包括预览区域181、预览窗182以及信息提示区域183。在预览区域181中包括第一对象102和第三对象104,在预览窗172中包括第一对象102和第三对象104。信息提示区域183显示当前追焦目标的信息,如图1I所示,信息提示区域183显示“目标对象丢失”。电子设备100继续录制视频,在T6时刻,当第二对象103重现显示在预览区域时,电子设备100显示如图1J所示的用户界面19。
如图1J所示,用户界面19为电子设备100的视频录制界面。在该视频录制界面中包括预览区域191和预览窗192。其中,在预览区域191中显示第一对象102、第二对象103和第三对象104。在预览窗192中第二对象103。
上述图1A-图1J对电子设备100在录制过程中,对特定对象进行追焦的应用场景进行了示例性地描述,即:对于具有双景录像功能的电子设备100,在进行视频录制过程中,对目标对象进行单独画中画的录制。在电子设备的屏幕上呈现的效果为:视频录制界面包括两个预览区域,其中预览区域用于显示录制场景的预览图像,第二显示区域用于显示该录制场景中的目标对象。但是,在使用电子设备100进行双景录像的过程中,可能存在电子设备100追焦目标对象的准确度不够,造成第二显示区域中显示的对象不为目标对象的问题。示例性的,如图2A所示,在用户界面20中,目标对象为第二对象103,但实际在第二显示区域201中显示的对象为第一对象102。
或者,在双景录制过程中,目标对象由于特殊原因短暂离开拍摄画面,在重新出现在拍摄画面中时,电子设备100不能准确追焦目标对象,从而使得第二显示区域不显示目标对象。示例性的,如图2B所示,在用户界面21中,目标对象为第二对象102。在T1时刻,第二显示区域211显示第二对象103。在T2时刻,第二对象103消失在拍摄画面中,此时,第二显示区域211显示第一对象102和第三对象104。在T3时刻,第二对象103重新显示在拍摄画面中,此时第二显示区域211依旧没有显示第二拍摄的对象103。
因此,由上述叙述可以得知,电子设备100在双景录制的过程中,对目标对象对焦追踪的稳定性和准确性较低。为了解决电子设备在双景录制的场景下,对目标对象对焦追踪的稳定性和准确性较低的问题,本申请实施例提出了一种拍摄方法,该方法包括:在电子设备开启追焦功能后,电子设备获取预览图像,电子设备可以通过对象识别算法检测预览图像中的对象,在预览图像中得到大小相等的拍摄图像的像素区域,并可以通过重识别算法得到每个像素区域的特征信息。电子设备基于预览图像的特征信息和快表判断该预览图像是否存在目标特征信息,若存在目标特征信息,则将目标特征信息对应的对象确定为目标对象,并在视频录制界面生成的小窗口中显示主要包括目标对象的预览画面。若电子设备基于预览图像的特征信息和快表判断该预览图像不存在目标特征信息,电子设备则基于该预览图像的特征信息和慢表判断该预览图像是否存在目标特征信息。若基于该预览图像的特征信息和慢表确定该预览图像存在目标特征信息,则将目标特征信息对应的对象确定为目标对象,并在视频录制界面生成的小窗口中显示主要包括目标对象的预览画面。若电子设备基于预览图像的特征信息和慢表判断该预览图像不存在目标特征信息,在视频录制界面的小窗上同步显示与该视频录制界面上内容相同的预览图像。
下面对电子设备100的结构进行介绍。请参阅图3,图3是本申请实施例提供的电子设备100的硬件结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如Wi-Fi网络),蓝牙(BlueTooth,BT),BLE广播,全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号、降噪、还可以识别声音来源,实现定向录音功能等。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。
下面,结合图4对电子设备对视频录制界面中目标对象的追焦流程进行叙述。请参见图4,图4为本申请实施例提供的一种对目标对象进行追焦的流程图,具体流程如下:
步骤S401:电子设备显示视频录制界面;该视频录制界面包括预览区域和第一控件,预览区域用于显示摄像头实时采集的图像。
具体地,视频录制界面可以为视频录制前处于录制模式下的预览界面,也可以为录制视频时的预览界面。该视频录制界面包括预览区域,该预览区域用于实时显示摄像头采集的图像。示例性的,当视频录制界面为视频录制前处于录制模式下的预览界面时该视频录制界面可以为上述图1C中的用户界面12;其中预览区域可以为预览界面121,第一控件可以为追焦功能控件123。
步骤S402:检测到作用于第一控件的第一操作,响应该第一操作,电子设备使用对象识别算法检测当前摄像头采集的图像中的对象。
具体地,电子设备检测到针对第一控件(例如,上述图1C中的追焦功能控件)的第一操作。电子设备启动对象识别算法来对当前摄像头采集的图像中的对象进行检测和识别。本申请实施例以图像中的对象为人类为例,进行说明。电子设备主要是通过对象识别网络来对预览图像中的人类进行识别。该对象识别网络是一个预先训练好的网络。例如,可以将6张包括不同行人的图片1~图片6作为训练数据集(图片1~图片6均只包括一个行人)来训练对象识别网络。
具体的训练方法为:标记图片1~图片6的特征ID 1~特征ID6,将图片1作为对象识别网络的输入,对象识别网络将图片1进行处理后,输入特征ID X,基于特征ID 1和特征ID X可以得到一个偏差函数Loss。该偏差函数Loss用于表征特征ID 1和特征ID X之间的偏差程度,Loss越大,特征ID 1和特征ID X的偏差程度就越大。Loss越小,特征ID 1和特征IDX的偏差程度就越小。因此,可以基于Loss来对对象识别网络的网络参数或网络结构进行调整,使得对象识别网络最后输出的特征ID能够无限接近标记的图片的特征ID,从而训练出具备识别图片中人体的对象识别网络。
上述对象识别算法是预设的。在一些示例中,对象识别算法识别的对象包括人,因此,上述对象识别算法又称人物识别算法。在一些示例中,上述对象识别算法识别的对象还包括动物、植物。对象识别算法识别可支持识别的对象取决于开发人员的预先设定。
步骤S403:在通过对象识别算法检测出摄像头采集的图像存在对象的情况下,电子设备在每个对象上显示标记。
具体地,所述电子设备启动对象识别算法后,摄像头采集的图像作为对象识别网络的输入,对象识别网络会对该图像中的对象进行检测和识别,从而确定多个大小相同的包括对象的像素区域。例如,如图5所示,摄像头采集的图像作为对象识别网络的输入,对象识别网络在识别出该图像中的三个对象后,会在该图像中确定三个像素区域。这三个像素区域的大小相等,且分别包括对象1、对象2和对象3。
在确定像素区域后,电子设备100会在每个对象上显示标记,标记可以为上述图1D中用户界面13显示的追踪框。
步骤S404:检测到针对第一标记的第一输入操作后,电子设备启动重识别算法。
具体地,第一标记为上述N个对象对应的标记中,任意一个标记。当电子设备检测到用户针对第一标记的第一输入操作后(例如,单击)后,电子设备开始对第一标记对应的对象进行追焦。第一标记对应的对象为第一目标对象。示例性的,第一目标对象可以为上述图1D实施例中的第三对象104。
步骤S405:电子设备通过重识别算法获取第一图像中第一目标对象的特征信息,第一目标对象为第一标记对应的对象。其中,第一图像为摄像头采集的、电子设备启动重识别算法后,通过对象识别算法处理的首帧图像。
示例性的,第一目标对象的特征信息可以为第一目标对象的像素区域的像素值。
步骤S406:电子设备将第一目标对象的特征信息存储到快表和慢表中;其中第一目标对象为第一标记对应的对象。
具体地,由于电子设备检测到了针对第一标记的第一输入操作,且经过对象识别算法处理过的第一图像中也包括对象的像素区域的位置信息。因此,电子设备能够识别第一图像中的第一目标对象(即电子设备追焦的对象),并通过重识别(Re-identification,ReID)算法,获取第一目标对象的像素区域的特征信息。其中,对象的特征信息可以包括该对象的像素区域的像素值。
快表和慢表是存储在电子设备的缓冲区(Buffer)中,用于缓存目标对象(这里的目标对象指的是电子设备检测到针对目标标记对应的对象。目标标记指的是,在本次对象识别算法运行过程中,最近一次接收到输入操作的标记。例如,这里的第一标记)的特征信息的缓存表。在电子设备未启动重识别算法之前,快表和慢表都是空表。在电子设备启动重识别算法后,电子设备会动态地在快表和慢表中存储目标对象的特征信息。
步骤S407:电子设备在该视频录制界面中显示预览窗;其中,所述预览窗显示主要显示第一目标对象,所述预览窗显示的内容为摄像头采集的图像中,剪裁框对应的内容,所述剪裁框的位置包括第一目标对象。
具体地,电子设备在通过重识别算法获取到第一预览图像中的目标特征信息后,电子设备进入双景录制模式。其中,双景录制模式为:在电子设备的视频录制界面上会同时显示两个显示区域,分别为预览区域和预览窗。在预览区域上实时显示摄像头采集的图像,在预览窗上显示摄像头采集的图像上剪裁框对应的图像。其中,该剪裁框是一个虚拟框,不会在视频录制界面上显示,该剪裁框的位置是基于第一目标对象在图像中的位置决定的,也即是说,该剪裁框中至少包括第一目标对象。电子设备会将摄像头采集的图像中,剪裁框所在位置的图像进行裁剪,并将裁剪后的图像显示在预览窗中。这样,电子设备可以在视频录制界面上实现同时对第一目标对象的单独显示和摄像头采集的完整的图像进行显示。
示例性的,在双景录制模式下的视频录制界面可以为上述图1E实施例中的用户界面14,其中,预览区域可以为该用户界面中的预览区域141,预览窗可以为该用户界面中的预览窗142。
上述步骤S401~步骤S407对电子设备从进入双景录制模式的过程进行了说明。下面,结合步骤S408~步骤S415,对在双景录制模式下,电子设备持续对摄像头采集的图像进行追焦,并将第一目标对象显示在该视频录制界面中的预览窗的方法进行说明。
步骤S408:电子设备通过对象识别算法得到当前摄像头采集图像中,M个对象的像素区域信息。
示例性的,如图5中所示的图像,包括三个对象(对象11、对象12和对象13),通过对象识别算法才处理后,会得到这三个对象对应的像素区域信息(区域21、区域22以及区域23的信息)。
步骤S409:在确定使用重识别匹配算法的情况下,电子设备通过重识别算法对所述M个对象的像素区域信息进行处理,得到M个特征信息。
具体地,电子设备会将当前帧图像中,M个对象的像素区域与上一帧图像中,第一目标对象的像素区域进行重合比的计算。该重合比用于表征两个像素区域的重合程度,重合比越大,两个像素区域的重合程度越高,重合比越小,两个区域的重合程度越低。若在当前帧图像中,存在对象的像素区域与上一帧图像的像素区域的重合比大于设定的重合比阈值(例如,90%),则使用其他算法进行第一目标对象的检测。若在当前帧图像中,不存在对象的像素区域与上一帧图像的像素区域的重合比大于设定的重合比阈值(例如,90%),则使用重识别匹配算法进行第一目标对象的检测。
步骤S410:电子设备基于所述快表中的特征信息判断所述M个特征信息中是否存在第一目标对象的特征信息。
具体地,电子设备可以通过计算M个特征信息与快表中所有特征信息的相似度来判断该M个特征信息中是否存在第一目标对象的特征信息。两个特征信息之间的相似度可以通过计算两个特征信息之前的余弦值或欧氏距离得到。余弦值越大,相似度越大,余弦值越小,相似度越小。或者,欧氏距离越大,相似度越小,欧式距离越小,相似度越大。
若在快表中,存在L个特征信息与所述M个特征信息中的第一特征信息的相似度均大于预设的相似度阈值(例如,大于50%),则电子设备确定该第一特征信息为第一目标对象的特征信息。反之,电子设备确定在所述M个特征信息中,不存在第一目标对象的特征信息。其中,该相似度阈值和L可以由经验值得到,也可以由历史数据得到,还可以由实验数据得到,本申请实施例不做限制。
例如,在上述图5的图像中,存在三个对象。因此,该帧图像存在3个特征信息,假设L=4,相似度阈值为50%。若在快表中,存在2个特征信息与对象1的特征信息的相似度大于50%,存在3个特征信息与对象2的特征信息的相似度大于50%,存在6个特征信息与对象3的特征信息的相似度大于50%。那么,电子设备确定对象3为第一目标对象。
在一种可能的方式中,电子设备在计算出快表中的L个特征信息与所述M个特征信息中某一个特征信息的相似度大于或等于设定的相似度阈值时,电子设备不再计算该快表中剩余特征信息与所述M个特征信息之间的相似度,从而节约电子设备的计算资源。
在存在第一目标对象的特征信息的情况下,电子设备执行步骤S412和步骤S414。在不存在第一目标对象的特征信息的情况下,电子设备执行步骤S411。
步骤S411:电子设备基于所述慢表中的特征信息判断所述M个特征信息中是否存在第一目标对象的特征信息。
具体地,慢表是存储目标对象的特征信息的缓存表,慢表中缓存的特征信息的数量大于快表中缓存的特征信息的数量。
若在慢表中,存在特征信息与所述M个特征信息中的第二特征信息的相似度大于预设的相似度阈值(例如,大于50%),则电子设备确定该第二特征信息为第一目标对象的特征信息。反之,电子设备确定在所述M个特征信息中,不存在第一目标对象的特征信息。
若电子设备基于慢表中的特征信息确定该M个特征信息中不存在第一目标对象的特征信息,电子设备在该视频录制界面的预览窗中显示当前剪裁框在预览界面中所在位置的图像,且在未出现目标追焦对象的情况下,剪裁框的位置保持不变。其中,所述目标追焦对象为当前电子设备进行追焦的对象。
电子设备在基于所述慢表中的特征信息确定该M个特征信息中存在目标特征信息的情况下,执行步骤S412和步骤S414。
步骤S412:电子设备基于第一目标对象的特征信息更新所述快表。
具体地,电子设备更新快表主要有两种情况:第一种情况,若当前快表存储的特征信息的数量未达到快表存储特征信息数量的上限阈值M1时,电子设备将该第一目标对象的特征信息存入快表中。
第二种情况:若当前快表存储的特征信息的数量等于快表存储特征信息数量的上限阈值M1时,电子设备将快表中与该第一目标对象的特征信息相似度最高的特征信息更新为该第一目标对象的特征信息。这样,可以尽可能地保证快表中存储的特征信息之间的相似度较小,从而可以提高电子设备基于快表确定的第一目标对象的特征信息的准确性,提高在视频录制界面上的预览窗中,显示的第一目标对象的准确性。
步骤S413:电子设备将第一目标对象显示在所述预览窗上。
应当理解的是,步骤S412可以在步骤S413之前执行,步骤S412也可以在步骤S413之后执行,步骤S412也可以和步骤S413同时执行,本申请实施例不做限制。
步骤S414:电子设备判断是否存在第一目标对象的特征信息且当前时刻是否为所述慢表更新频率对应的时刻。
具体地,在判断为是的情况下,执行步骤S415。在判断为否的情况下,电子设备不对慢表进行任何操作。
步骤S415:电子设备基于第一目标对象的特征信息更新所述慢表。
具体地,慢表为存储在缓存区(Buffer)中的、用于存储多帧历史图像中目标对象的特征信息。慢表中可以存储M2帧预览图像的目标特征信息,且M2大于或等于M1。在电子设备进入双景录制模式之后,电子设备就会将在预览图像中获取的目标特征信息缓存到慢表中。当慢表中存储的特征信息达到慢表存储空间的上限值M2后,电子设备就会更新慢表中的特征信息。
示例性的,电子设备可以按照“先进先出”的方式对慢表中的特征信息进行更新,即:在当前图像中存在第一目标对象的特征信息的情况下,电子设备会删除最先存储到慢表中的第一目标对象的特征信息,以便留出存储空间存储当前帧图像的第一目标对象的特征信息。例如,慢表仅能存储11帧预览图像的第一目标对象的特征信息,按照存储时间顺序的从先到后排序为预览图像1、预览图像2、预览图像3、预览图像4、……、预览图像11,假设这11帧预览图像均存在第一目标对象的特征信息。当电子设备获取到第12帧预览图像的第一目标对象的特征信息后,电子设备会将慢表中存储的预览图像1的第一目标对象的特征信息删除,以便慢表可以存储第12帧预览图像的第一目标对象的特征信息。通过这种方式,可以保证慢表中缓存最近一段时间的第一目标对象的特征信息。
在一些实施例中,在电子设备在基于快表未在M个特征信息中检测到第一目标对象的特征信息,且电子设备在基于慢表也未在M个特征信息中检测到第一目标对象的特征信息的情况下,电子设备会对第一目标对象失焦,即:未在该帧图像中检测到第一目标对象。此时,在预览窗上会实时摄像头采集的图像中剪裁框所对应的区域的图像。该剪裁框的位置在电子设备未检测到第一目标对象后,便保持不变,即为第一目标对象最后一次出现在预览窗时,剪裁框所在的位置。在过一段时间后,若电子设备重新检测到第一目标对象的特征信息后,预览窗显示预览区域上,剪裁框所在位置的图像。此时,若摄像头采集的图像中,第一目标对象的位置的不同,剪裁框所在的位置也会不同,剪裁框在摄像头采集的图像中对应的区域至少包括第一图像。
在一些实施例中,当电子设备检测到用户切换对焦对象时,即:电子设备检测到针对第二标记(第二标记为,视频录制界面上,除第一标记以外的标记)的第二输入操作时,电子设备会清空快表和慢表中第一目标对象的特征信息,并将检测到第二操作后,电子设备通过重识别算法处理的首帧图像中第二目标对象的特征信息(第二目标对象为第二标记对应的对象),缓存到快表和慢表中。此时,剪裁框在摄像头采集的图像中所在位置也会随着第二目标对象位置的变化而变化。因此,在预览窗中显示的图像为剪裁框在摄像头采集的图像中对应的图像。在后续不切换追焦对象的情况下(电子设备未检测到针对其它标记的输入操作的情况下),电子设备会持续的检测摄像头采集的图像中,是否存在第二目标对象的特征信息,在存在该特征信息的情况下,按照规则更新快表和慢表中第二目标对象的特征信息,并在预览窗中显示第二目标对象。否则,在预览窗中显示剪裁框在摄像头采集的图像中,对应位置的图像。电子设备检测摄像头采集的图像,以及得到图像中目标对象的特征信息、第二目标特征信息以及在预览窗中的显示图像的相关方法和流程请参见步骤S408~步骤S415的相关叙述,在此不再赘述。
本申请实施例,电子设备在对摄像头采集的图像中的目标对象进行追焦的过程中,电子设备通过监测识别、提取图像中对象的特征信息,并基于快表确定该帧图像是否存在目标对象的特征信息。在存在目标对象的特征信息的情况下,在预览窗上单独显示目标对象,并对快表中历史存储的目标对象的特征信息进行更新。在不存在目标对象的特征信息的情况下,基于慢表确定该帧图像是否存在目标对象的特征信息,若基于慢表存在目标对像的特征信息的情况下,在预览窗上单独显示目标对象。通过这种快/慢表二级匹配的方法,大大提高了电子设备追焦图像中目标对象的准确率和效率。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid StateDisk)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
总之,以上所述仅为本发明技术方案的实施例,并非用于限定本发明的保护范围。凡根据本发明的揭露,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (13)
1.一种拍摄方法,其特征在于,应用于具备摄像头的电子设备,所述方法包括:
显示视频录制界面,所述视频录制界面包括预览区域和第一控件,所述预览区域用于显示所述摄像头采集的图像;
检测到作用于所述第一控件的第一操作;
响应所述第一操作,在第一图像上显示N个标记;所述第一图像为所述预览区域当前显示的图像,所述N个标记分别与所述第一图像中的N个对象对应;
检测到作用于第一标记的第二操作;所述第一标记为所述N个标记中的任意一个;
响应所述第二操作,在所述预览区域上显示预览窗,在所述预览窗上显示第一目标对象;所述第一目标对象为所述第一标记对应的对象;
对所述摄像头采集的图像中的对象进行监测识别;
在确定使用重识别匹配算法的情况下,通过重识别算法得到M个对象的特征信息;
基于快表中的特征信息判断在所述M个对象的特征信息中是否存在所述第一目标对象的特征信息;所述快表中存储的特征信息为检测到所述第二操作之后,存储的所述第一目标对象的历史特征信息;
在判断为是的情况下,继续在所述预览窗上显示所述第一目标对象;
在判断为否的情况下,基于慢表中的特征信息确定在所述M个对象的特征信息中是否存在所述第一目标对象的特征信息;所述慢表中存储的特征信息为检测到所述第二操作之后,存储的所述第一目标对象的历史特征信息,所述慢表存储的特征信息的数量大于所述快表存储的特征信息的数量;
在确定为是的情况下,继续在所述预览窗上显示所述第一目标对象。
2.如权利要求1所述的方法,其特征在于,所述基于慢表中的特征信息确定在所述M个对象的特征信息中是否存在所述第一目标对象的特征信息之后,还包括:
在确定为否的情况下,在所述预览窗上显示目标预览图像;所述目标预览图像为在所述预览区域显示的预览图像中,与当前剪裁框位置相对应的图像。
3.如权利要求2所述的方法,其特征在于,所述在所述预览窗上显示目标预览图像之后,还包括:
对所述摄像头采集的图像中的对象进行监测识别,得到M个对象的特征信息;
基于快表中的特征信息判断在所述M个对象的特征信息中是否存在所述第一目标对象的特征信息;所述快表中存储的特征信息为检测到所述第二操作之后,存储的所述第一目标对象的历史特征信息;
在判断为是的情况下,继续在所述预览窗上显示所述第一目标对象,并更新所述预览区域中所述剪裁框的位置;所述剪裁框包括所述第一目标对象;
在判断为否的情况下,基于慢表中的特征信息确定在所述M个对象的特征信息中是否存在所述第一目标对象的特征信息;所述慢表中存储的特征信息为检测到所述第二操作之后,存储的所述第一目标对象的历史特征信息,所述慢表存储的特征信息的数量大于所述快表存储的特征信息的数量;
在确定为是的情况下,继续在所述预览窗上显示所述第一目标对象并更新所述预览区域中所述剪裁框的位置;所述剪裁框包括所述第一目标对象。
4.如权利要求1所述的方法,其特征在于,所述对所述摄像头采集的图像中的对象进行监测识别,得到M个对象的特征信息之后,还包括:
在所述预览区域中显示M个标记,所述M个标记与所述M个对象一一对应。
5.如权利要求4所述的方法,其特征在于,所述继续在所述预览窗上显示所述第一目标对象之后,还包括:
检测到作用于第二标记的第三操作;所述第二标记为,在所述M个标记中,除所述第一标记以外的标记;
响应所述第三操作,在所述预览框上显示第二目标对象;所述第二目标对象为与所述第二标记对应的对象;
清除所述快表中与所述第一目标对象相关的特征信息和所述慢表中与所述第一目标对象相关的特征信息;
对所述摄像头采集的图像中的对象进行监测识别,得到M个对象的特征信息;
基于快表中的特征信息判断在所述M个对象的特征信息中是否存在所述第二目标对象的特征信息;所述快表中存储的特征信息为检测到所述第三操作之后,存储的所述第二目标对象的历史特征信息;
在判断为是的情况下,继续在所述预览窗上显示所述第二目标对象;
在判断为否的情况下,基于慢表中的特征信息确定在所述M个对象的特征信息中是否存在所述第二目标对象的特征信息;所述慢表中存储的特征信息为检测到所述第三操作之后,存储的所述第二目标对象的历史特征信息,所述慢表存储的特征信息的数量大于所述快表存储的特征信息的数量;
在确定为是的情况下,继续在所述预览窗上显示所述第二目标对象。
6.如权利要求1-5任一项所述的方法,其特征在于,所述基于快表中的特征信息判断在所述M个对象的特征信息中是否存在所述第一目标对象的特征信息,具体包括:
分别计算所述M个对象的特征信息与所述快表中存储的所有特征信息之间的相似度;
若在所述M个对象的特征信息中,存在第一特征信息与所述快表中的至少L个特征信息之间的相似度大于或等于相似度阈值;
确定在所述M个对象的特征信息中,存在所述第一目标对象的特征信息,且所述第一特征信息为所述第一目标对象的特征信息;
若在所述M个对象的特征信息中,不存在特征信息与所述快表中的至少L个特征信息之间的相似度大于或等于所述相似度阈值;
确定在所述M个对象的特征信息中,不存在所述第一目标对象的特征信息。
7.如权利要求1-5任一项所述的方法,其特征在于,所述基于慢表中的特征信息确定在所述M个对象的特征信息中是否存在所述第一目标对象的特征信息,具体包括:
分别计算所述M个对象的特征信息与所述慢表中存储的所有特征信息之间的相似度;
若在所述M个对象的特征信息中,存在第一特征信息与所述慢表中的至少1个特征信息之间的相似度大于或等于相似度阈值;
确定在所述M个对象的特征信息中,存在所述第一目标对象的特征信息,且所述第一特征信息为所述第一目标对象的特征信息;
若在所述M个对象的特征信息中,不存在特征信息与所述慢表中的至少1个特征信息之间的相似度大于或等于所述相似度阈值;
确定在所述M个对象的特征信息中,不存在所述第一目标对象的特征信息。
8.如权利要求6所述的方法,其特征在于,所述确定在所述M个对象的特征信息中,存在所述第一目标对象的特征信息之后,还包括:
对所述快表中的特征信息进行更新。
9.如权利要求8所述的方法,其特征在于,所述对所述快表中的特征信息进行更新,具体包括:
在所述快表中存储的特征信息的数量小于M1的情况下,将所述第一目标对象的特征信息存入所述快表中;所述M1为所述快表存储特征信息数量的上限阈值;
在所述快表中存储的特征信息的数量大于M1的情况下,将所述快表中的第一特征信息更新为所述第一目标对象的特征信息;其中,所述第一特征信息为在所述快表中,与所述第一目标对象的特征信息相似度最高的特征信息。
10.如权利要求1-5、8-9任一项所述的方法,其特征在于,所述确定在所述M个对象的特征信息中,存在所述第一目标对象的特征信息之后,还包括:
确定当前时刻是否为所述慢表更新特征信息频率对应的时刻;
若确定为是,更新所述慢表中的特征信息。
11.如权利要求10所述的方法,其特征在于,所述更新所述慢表中的特征信息,具体包括:
在所述慢表中存储的特征信息的数量小于M2的情况下,将所述第一目标对象的特征信息存入所述慢表中;所述M2为所述慢表存储特征信息数量的上限阈值;
在所述慢表中存储的特征信息的数量大于或等于所述M2的情况下,将所述慢表中的第二特征信息更新为所述第一目标对象的特征信息;其中,所述第二特征信息为在当前所述慢表存储的特征信息中,存储时间最长的特征信息。
12.一种电子设备,其特征在于,包括:存储器、处理器和触控屏;其中:
所述触控屏用于显示内容;
所述存储器,用于存储计算机程序,所述计算机程序包括程序指令;
所述处理器用于调用所述程序指令,使得所述电子设备执行如权利要求1-11任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时,实现如权利要求1-11任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210600915.0A CN116055866B (zh) | 2022-05-30 | 2022-05-30 | 一种拍摄方法及相关电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210600915.0A CN116055866B (zh) | 2022-05-30 | 2022-05-30 | 一种拍摄方法及相关电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116055866A CN116055866A (zh) | 2023-05-02 |
CN116055866B true CN116055866B (zh) | 2023-09-12 |
Family
ID=86126108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210600915.0A Active CN116055866B (zh) | 2022-05-30 | 2022-05-30 | 一种拍摄方法及相关电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116055866B (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009112032A (ja) * | 2008-12-12 | 2009-05-21 | Casio Comput Co Ltd | 記録画像管理方法および電子撮像装置 |
CN104968048A (zh) * | 2015-06-29 | 2015-10-07 | 华南理工大学 | 结合移动网络记录和视频监控数据的目标人物追踪方法 |
CN105338248A (zh) * | 2015-11-20 | 2016-02-17 | 成都因纳伟盛科技股份有限公司 | 智能多目标主动跟踪监控方法及系统 |
CN106060470A (zh) * | 2016-06-24 | 2016-10-26 | 邵文超 | 一种视频监控方法及其系统 |
CN106412414A (zh) * | 2016-06-08 | 2017-02-15 | 同济大学 | 追踪系统、摄像头、监测方法、及监测系统 |
JP2018163365A (ja) * | 2018-06-07 | 2018-10-18 | 株式会社ニコン | 画像処理装置 |
CN110445978A (zh) * | 2019-06-24 | 2019-11-12 | 华为技术有限公司 | 一种拍摄方法及设备 |
WO2020042126A1 (zh) * | 2018-08-30 | 2020-03-05 | 华为技术有限公司 | 一种对焦装置、方法及相关设备 |
CN111667404A (zh) * | 2019-03-05 | 2020-09-15 | 杭州海康威视数字技术股份有限公司 | 目标信息采集方法、装置、系统、电子设备及存储介质 |
CN112492261A (zh) * | 2019-09-12 | 2021-03-12 | 华为技术有限公司 | 跟踪拍摄方法及装置、监控系统 |
CN112689092A (zh) * | 2020-12-23 | 2021-04-20 | 广州市迪士普音响科技有限公司 | 一种自动跟踪的会议录播方法、系统、装置及存储介质 |
CN112714253A (zh) * | 2020-12-28 | 2021-04-27 | 维沃移动通信有限公司 | 视频录制方法、装置、电子设备和可读存储介质 |
CN113518996A (zh) * | 2019-01-22 | 2021-10-19 | 扉时公司 | 从多视图视觉数据进行损坏检测 |
CN113596240A (zh) * | 2021-07-27 | 2021-11-02 | Oppo广东移动通信有限公司 | 录音方法、装置、电子设备及计算机可读介质 |
JP2021182267A (ja) * | 2020-05-19 | 2021-11-25 | 日本製鉄株式会社 | トラッキング装置 |
CN113873151A (zh) * | 2021-09-18 | 2021-12-31 | 维沃移动通信有限公司 | 录像方法、装置及电子设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170054897A1 (en) * | 2015-08-21 | 2017-02-23 | Samsung Electronics Co., Ltd. | Method of automatically focusing on region of interest by an electronic device |
JP7030986B2 (ja) * | 2018-07-13 | 2022-03-07 | 富士フイルム株式会社 | 画像生成装置、画像生成方法および画像生成プログラム |
US11423654B2 (en) * | 2019-10-01 | 2022-08-23 | Adobe Inc. | Identification of continuity errors in video by automatically detecting visual inconsistencies in video frames |
-
2022
- 2022-05-30 CN CN202210600915.0A patent/CN116055866B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009112032A (ja) * | 2008-12-12 | 2009-05-21 | Casio Comput Co Ltd | 記録画像管理方法および電子撮像装置 |
CN104968048A (zh) * | 2015-06-29 | 2015-10-07 | 华南理工大学 | 结合移动网络记录和视频监控数据的目标人物追踪方法 |
CN105338248A (zh) * | 2015-11-20 | 2016-02-17 | 成都因纳伟盛科技股份有限公司 | 智能多目标主动跟踪监控方法及系统 |
CN106412414A (zh) * | 2016-06-08 | 2017-02-15 | 同济大学 | 追踪系统、摄像头、监测方法、及监测系统 |
CN106060470A (zh) * | 2016-06-24 | 2016-10-26 | 邵文超 | 一种视频监控方法及其系统 |
JP2018163365A (ja) * | 2018-06-07 | 2018-10-18 | 株式会社ニコン | 画像処理装置 |
WO2020042126A1 (zh) * | 2018-08-30 | 2020-03-05 | 华为技术有限公司 | 一种对焦装置、方法及相关设备 |
CN113518996A (zh) * | 2019-01-22 | 2021-10-19 | 扉时公司 | 从多视图视觉数据进行损坏检测 |
CN111667404A (zh) * | 2019-03-05 | 2020-09-15 | 杭州海康威视数字技术股份有限公司 | 目标信息采集方法、装置、系统、电子设备及存储介质 |
CN110445978A (zh) * | 2019-06-24 | 2019-11-12 | 华为技术有限公司 | 一种拍摄方法及设备 |
CN112492261A (zh) * | 2019-09-12 | 2021-03-12 | 华为技术有限公司 | 跟踪拍摄方法及装置、监控系统 |
JP2021182267A (ja) * | 2020-05-19 | 2021-11-25 | 日本製鉄株式会社 | トラッキング装置 |
CN112689092A (zh) * | 2020-12-23 | 2021-04-20 | 广州市迪士普音响科技有限公司 | 一种自动跟踪的会议录播方法、系统、装置及存储介质 |
CN112714253A (zh) * | 2020-12-28 | 2021-04-27 | 维沃移动通信有限公司 | 视频录制方法、装置、电子设备和可读存储介质 |
CN113596240A (zh) * | 2021-07-27 | 2021-11-02 | Oppo广东移动通信有限公司 | 录音方法、装置、电子设备及计算机可读介质 |
CN113873151A (zh) * | 2021-09-18 | 2021-12-31 | 维沃移动通信有限公司 | 录像方法、装置及电子设备 |
Non-Patent Citations (1)
Title |
---|
周利杰等."多特征检测人形识别安防摄像机设计".《河北水利电力学院学报》.2021,第31卷(第04期),第66-71页. * |
Also Published As
Publication number | Publication date |
---|---|
CN116055866A (zh) | 2023-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112333380B (zh) | 一种拍摄方法及设备 | |
CN113362783B (zh) | 刷新率切换方法和电子设备 | |
CN111050269B (zh) | 音频处理方法和电子设备 | |
CN111429517A (zh) | 重定位方法、重定位装置、存储介质与电子设备 | |
CN111917980B (zh) | 拍照控制方法及装置、存储介质和电子设备 | |
CN107730460B (zh) | 一种图像处理方法及移动终端 | |
US20230041696A1 (en) | Image Syntheis Method, Electronic Device, and Non-Transitory Computer-Readable Storage Medium | |
CN110742580A (zh) | 一种睡眠状态识别方法及装置 | |
CN112784174A (zh) | 确定位姿的方法、装置和系统 | |
CN110881105B (zh) | 一种拍摄方法及电子设备 | |
CN114727220A (zh) | 一种设备搜寻方法以及电子设备 | |
CN113573120B (zh) | 音频的处理方法及电子设备、芯片系统及存储介质 | |
CN116055874B (zh) | 一种对焦方法和电子设备 | |
CN112188094B (zh) | 图像处理方法及装置、计算机可读介质及终端设备 | |
CN116055866B (zh) | 一种拍摄方法及相关电子设备 | |
CN115641867B (zh) | 语音处理方法和终端设备 | |
CN115379126B (zh) | 一种摄像头切换方法及相关电子设备 | |
CN113572798B (zh) | 设备控制方法、系统、设备和存储介质 | |
CN114302063B (zh) | 一种拍摄方法及设备 | |
CN111982293A (zh) | 体温测量方法、装置、电子设备及存储介质 | |
CN115881118B (zh) | 一种语音交互方法及相关电子设备 | |
CN115734323B (zh) | 功耗优化方法和装置 | |
CN116392127B (zh) | 注意力检测方法及相关电子设备 | |
CN116939303A (zh) | 一种视频生成方法、系统及电子设备 | |
CN117762279A (zh) | 控制方法、电子设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |