CN116055868A - 一种拍摄方法及相关设备 - Google Patents

一种拍摄方法及相关设备 Download PDF

Info

Publication number
CN116055868A
CN116055868A CN202210603528.2A CN202210603528A CN116055868A CN 116055868 A CN116055868 A CN 116055868A CN 202210603528 A CN202210603528 A CN 202210603528A CN 116055868 A CN116055868 A CN 116055868A
Authority
CN
China
Prior art keywords
image
electronic device
camera
information
focus tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210603528.2A
Other languages
English (en)
Other versions
CN116055868B (zh
Inventor
张丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210603528.2A priority Critical patent/CN116055868B/zh
Publication of CN116055868A publication Critical patent/CN116055868A/zh
Priority to PCT/CN2023/092374 priority patent/WO2023231697A1/zh
Priority to EP23814883.7A priority patent/EP4398594A1/en
Application granted granted Critical
Publication of CN116055868B publication Critical patent/CN116055868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供了一种拍摄方法及相关设备。该拍摄方法可以应用于设置有摄像头的电子设备。根据该拍摄方法,电子设备可以通过摄像头输出RAW图像,并通过图像处理器分成3路数据流。这3路数据流分别为全景通路、追焦通路和检测通路的数据流。其中,全景通路的数据流经过防抖处理后用于相机应用界面的大窗的显示和预览。检测通路的数据流经过人体检测并追焦成功之后,可以输出人体裁剪框信息给追焦通路用于人体框裁剪。追焦通路的数据流经过防抖处理、平滑处理和裁剪处理后,可以应用于相机应用界面的小窗的显示和预览。可理解,上述3路数据流的相关处理在相机软件架构内部,并不依赖于平台,极大地方便了后期其他平台的移植开发复用。

Description

一种拍摄方法及相关设备
技术领域
本申请涉及终端技术领域,尤其涉及一种拍摄方法及相关设备。
背景技术
随着终端技术的发展,视频拍摄拥有了更多可能性。例如,人们可以通过手机等终端设备实现对人脸、人物、宠物等被摄体的自动追焦,以解决被摄体移动时无法自动对焦到被摄体上而导致的虚焦或焦点转移等问题。
发明内容
本申请提供了一种拍摄方法及相关设备。该拍摄方法可以应用于设置有摄像头的电子设备。根据该拍摄方法,电子设备可以通过摄像头输出RAW图像,并通过图像处理器分成3路数据流。这3路数据流分别为全景通路、追焦通路和检测通路的数据流。其中,全景通路的数据流经过防抖处理后用于相机应用界面中大窗的显示和预览。检测通路的数据流经过人体检测并追焦成功之后,可以输出人体裁剪框信息给追焦通路用于人体框裁剪。追焦通路的数据流经过防抖处理、平滑处理和裁剪处理后,可以应用于相机应用界面中小窗的显示和预览。可理解,通过对3路数据流的处理,电子设备可以实现大窗和小窗的同时录制。即实现全景画面和和特写画面的同时录制。另外,上述3路数据流的相关处理在相机软件架构内部,并不依赖于平台,极大地方便了后期其他平台的移植开发复用。
第一方面,本申请提供一种拍摄方法。该方法可以应用于设置有摄像头的电子设备。该方法可以包括:显示拍摄界面;拍摄界面包括预览区域,拍摄界面包含第一图像与第一控件;检测到作用于第一控件的第一操作;响应于第一操作,在第一图像上显示一个或多个标记;该一个或多个标记用于标记第一图像中的拍摄对象;检测到作用于第一标记上的第二操作;响应于第二操作,拍摄界面的预览区域上显示有第一窗口;第一窗口显示有所述第一拍摄对象的特写图像。拍摄界面还可以包括录制控件。电子设备检测到作用于录制控件上的第三操作;响应于第三操作,电子设备的拍摄界面上显示有第一录制时间,第一窗口上显示有第二录制时间。其中,该预览区域用于显示摄像头采集的图像。第一标记用于标记第一拍摄对象。
在本申请提供的方案中,多个拍摄对象同框的拍摄场景下,电子设备可以针对其中一个拍摄对象进行追焦,并在大窗(即预览区域)上显示原始图像,在小窗(即第一窗口)上显示追焦目标的特写图像。可理解,相比于追焦目标的特写图像,原始图像显示的内容更丰富。这种方法可以同时满足用户的不同拍摄需求,提升了用户体验。
在本申请提供的方案中,用户可以触发大窗和小窗同时录制,并相应得到视频。也就是说,电子设备可以实现同时显示大窗和小窗,并分别进行录制。通过这种方法,用户可以同时获取原始视频和特写视频,无需再花费时间单独录制拍摄对象的特写视频,提升了拍摄体验。
结合第一方面,在一种可能的实现方式中,在检测到作用于第一标记的第二操作之前,该方法还可以包括:电子设备对摄像头采集的RAW图像进行处理,得到第二图像和第三图像;对第二图像进行防抖处理,得到第一抖动信息。其中,第二图像的尺寸大于所述第三图像的尺寸第一抖动信息包括第一抖动偏移量和第一抖动方向。电子设备还可以基于对象识别算法来对第三图像进行对象识别,并获取第一对象识别信息。可理解,第一对象识别信息包括一个或多个拍摄对象的坐标。进一步的,电子设备还可以基于第一抖动信息,对第一对象识别信息进行处理,得到第二对象识别信息。可理解,第二对象识别信息包括的一个或多个拍摄对象的坐标用于在第一图像上显示一个或多个标记。
在本申请提供的方案中,电子设备可以对拍摄对象进行识别,并将其在拍摄界面上标记出来。在这个过程中,电子设备可以进行抖动校正,提高了拍摄对象对应的标记位置的准确性。另外,电子设备采取不同尺寸的图像进行处理,可以在保证最终显示的图像的清晰度的情况下节省处理时间。
可理解,第一控件可以为追焦模式控件。录制控件可以为录像开始控件。第二图像可以为后述实施例中的图像I1。第三图像可以为后述实施例中的图像I3。对象识别算法可以为人体检测算法,具体可参考后述实施例,在此不再赘述。第一对象识别信息可以为后述实施例中的人体框检测信息。第二对象识别信息可以为后述实施例中的更新后的人体框检测信息。标记可以为人体框。第一抖动信息可以为后述实施例中的抖动信息D1。
结合第一方面,在一种可能的实现方式中,在检测到作用于第一标记的第二操作之后,该方法还可以包括:电子设备可以获取第二操作的操作信息;基于第二操作的操作信息和第二对象识别信息,确定追焦目标及追焦目标的坐标;基于所述追焦目标的坐标,确定第一裁剪区域。可理解,追焦目标为第一拍摄对象。第一拍摄对象的坐标与第二操作的操作信息相匹配。特写图像为基于第一裁剪区域生成的图像。
在本申请提供的方案中,用户选择追焦目标之后,电子设备可以在对象识别信息中查找与第二操作相关的信息。若对象识别信息中存在与第二操作相关的信息(例如,对象识别信息所包括的一个拍摄对象的坐标与第二操作的操作信息所对应的坐标一致),电子设备可以确定追焦目标及其坐标,并基于追焦目标的坐标来确定第一裁剪区域。可理解,第一裁剪区域与追焦目标在图像上的位置是对应的。
可理解,第一裁剪区域可以为后述实施例中的人体框裁剪区域。
在本申请的一些实施例中,追焦目标的坐标与第一裁剪区域中的坐标的重合度在一定范围内。例如,85%~100%。
在本申请的一些实施例中,标记可以显示在拍摄对象的中心区域。拍摄对象对应的标记的坐标可以包括部分或全部该拍摄对象的坐标。
可理解,第二操作可以为点击、声音和手势等操作,本申请对此不作限制。在本申请的一些实施例中,第二操作的操作信息可以为用户点击位置的坐标。
结合第一方面,在一种可能的实现方式中,该方法还可以包括:电子设备可以对摄像头采集的RAW图像进行处理,得到第四图像,并对第四图像进行防抖处理,得到第二抖动信息。第二抖动信息包括第二抖动偏移量和第二抖动方向。电子设备还可以基于第四图像和第三图像确定倍数信息。电子设备还可以基于第二抖动信息和倍数信息对第一裁剪区域进行处理,得到第二裁剪区域,并基于第二裁剪区域所包括的坐标对第四图像进行裁剪,得到第五图像。其中,倍数信息包括第四图像与第三图像的比值。特写图像为基于第五图像生成的图像。
在本申请提供的方案中,电子设备可以对第一裁剪区域进行抖动校正和坐标映射,使得最终显示的特写图像能更准确的体现追焦目标,避免由于裁剪区域的误差而造成特写图像中只包括部分追焦目标。
在本申请的一些实施例中,第四图像的尺寸大于第三图像的尺寸。
在本申请的一些实施例中,第四图像的尺寸大于第二图像的尺寸。
可理解,第四图像可以为后述实施例中的图像I2。第二裁剪区域可以为后述实施例中的更新后的人体框裁剪区域。第二抖动信息可以为后述实施例中的抖动信息D2。
结合第一方面,在一种可能的实现方式中,电子设备基于所述第二抖动信息和倍数信息对所述第一裁剪区域进行处理,得到第二裁剪区域,具体可以包括:电子设备基于第二抖动偏移,对第一裁剪区域中的坐标进行与第二抖动方向相反的偏移处理,得到第三裁剪区域;基于倍数信息对第三裁剪区域进行放大处理,得到第二裁剪区域。
可理解,电子设备基于倍数信息对第三裁剪区域进行放大处理,可以理解为将第三裁剪区域所包括的坐标映射到更大尺寸的图像中。
结合第一方面,在一种可能的实现方式中,电子设备在基于第二抖动信息和倍数信息对第一裁剪区域进行处理,得到第二裁剪区域;基于第二裁剪区域所包括的坐标对第四图像进行裁剪,得到第五图像时,具体包括:电子设备中的内部相机HAL基于第二抖动信息和倍数信息对所述第一裁剪区域进行处理,得到第二裁剪区域;内部相机HAL向电子设备中的芯片平台相机HAL发送第二裁剪区域;芯片平台相机HAL基于第二裁剪区域所包括的坐标对第四图像进行裁剪,得到第五图像。
结合第一方面,在一种可能的实现方式中,电子设备得到第五图像之后,还可以对第五图像进行压缩处理,得到第一拍摄对象的特写图像。
结合第一方面,在一种可能的实现方式中,电子设备对第二图像进行防抖处理之后,还可以得到第六图像。电子设备可以对第六图像进行压缩处理,得到预览区域当前显示的图像。
第二方面,本申请提供一种电子设备。该电子设备可以包括摄像头、显示屏、存储器,以及一个或多个处理器。存储器用于存储计算机程序。显示屏,可以用于:显示拍摄界面。其中,拍摄界面包括预览区域,该预览区域用于显示摄像头采集的图像。拍摄界面还包含第一图像与第一控件。处理器,可以用于:检测到作用于第一控件的第一操作。显示屏,还可以用于:响应于第一操作,在第一图像上显示一个或多个标记。该一个或多个标记用于标记第一图像中的拍摄对象。处理器,还可以用于:检测到作用于拍摄界面的第二操作。显示屏,还可以用于:响应于第二操作,在拍摄界面的预览区域上显示有第一窗口;第一窗口显示有所述第一拍摄对象的特写图像。第一标记用于标记第一拍摄对象。拍摄界面还可以包括录制控件。处理器,还可以用于:检测到作用于录制控件上的第三操作,开始录制视频。显示屏,还可以用于:响应于第三操作,在拍摄界面上显示有第一录制时间,第一窗口上显示有第二录制时间。
结合第二方面,在一种可能的实现方式中,处理器,在用于在检测到作用于第一标记的第二操作之前,还可以用于:对摄像头采集的RAW图像进行处理,得到第二图像和第三图像;对第二图像进行防抖处理,得到第一抖动信息;基于对象识别算法来对第三图像进行对象识别,并获取第一对象识别信息;基于第一抖动信息,对第一对象识别信息进行处理,得到第二对象识别信息。其中,第二图像的尺寸大于所述第三图像的尺寸第一抖动信息包括第一抖动偏移量和第一抖动方向。可理解,第一对象识别信息包括一个或多个拍摄对象的坐标。可理解,第二对象识别信息包括的一个或多个拍摄对象的坐标用于在第一图像上显示一个或多个标记。
结合第二方面,在一种可能的实现方式中,处理器,在用于在检测到作用于第一标记的第二操作之后,还可以用于:获取第二操作的操作信息;基于第二操作的操作信息和第二对象识别信息,确定追焦目标及追焦目标的坐标;基于所述追焦目标的坐标,确定第一裁剪区域。可理解,追焦目标为第一拍摄对象。第一拍摄对象的坐标与第二操作的操作信息相匹配。特写图像为基于第一裁剪区域生成的图像。
结合第二方面,在一种可能的实现方式中,处理器,还可以用于:对摄像头采集的RAW图像进行处理,得到第四图像,并对第四图像进行防抖处理,得到第二抖动信息;基于第四图像和第三图像确定倍数信息;基于第二抖动信息和倍数信息对第一裁剪区域进行处理,得到第二裁剪区域;基于第二裁剪区域所包括的坐标对第四图像进行裁剪,得到第五图像。其中,倍数信息包括第四图像与第三图像的比值。特写图像为基于第五图像生成的图像。第二抖动信息包括第二抖动偏移量和第二抖动方向。
结合第二方面,在一种可能的实现方式中,处理器,在用于基于所述第二抖动信息和倍数信息对所述第一裁剪区域进行处理,得到第二裁剪区域时,具体可以用于:基于第二抖动偏移,对第一裁剪区域中的坐标进行与第二抖动方向相反的偏移处理,得到第三裁剪区域;基于倍数信息对第三裁剪区域进行放大处理,得到第二裁剪区域。
结合第二方面,在一种可能的实现方式中,得到第五图像之后,所述处理器,还可以用于:对第五图像进行压缩处理,得到第一拍摄对象的特写图像。
结合第二方面,在一种可能的实现方式中,所述处理器,在用于:对第二图像进行防抖处理之后,还可以得到第六图像。所述处理器,还可以用于:对第六图像进行压缩处理,得到预览区域当前显示的图像。
结合第二方面,在一种可能的实现方式中,电子设备可以包括芯片平台相机HAL和内部HAL。电子设备基于第二抖动信息和倍数信息对第一裁剪区域进行处理,得到第二裁剪区域;基于第二裁剪区域所包括的坐标对第四图像进行裁剪,得到第五图像时,具体包括:内部相机HAL基于第二抖动信息和倍数信息对所述第一裁剪区域进行处理,得到第二裁剪区域;内部相机HAL向电子设备中的芯片平台相机HAL发送第二裁剪区域;芯片平台相机HAL基于第二裁剪区域所包括的坐标对第四图像进行裁剪,得到第五图像。
第三方面,本申请提供一种计算机存储介质,包括计算机指令,当该计算机指令在电子设备上运行时,使得该电子设备执行上述第一方面中任一种可能的实现方式。
第四方面,本申请实施例提供一种芯片,该芯片可以应用于电子设备,该芯片包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行上述第一方面中任一种可能的实现方式。
第五方面,本申请实施例提供一种包含指令的计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行上述第一方面任一种可能的实现方式。
可理解,上述第二方面提供的电子设备、第三方面提供的计算机存储介质、第四方面提供的芯片,以及第五方面提供的计算机程序产品均用于执行上述第一方面中任一种可能的实现方式。因此,其所能达到的有益效果可参考上述第一方面中任一种可能的实现方式的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种拍摄场景的示意图;
图2A-图2V为本申请实施例提供的一组用户界面示意图;
图3为本申请实施例提供的一种拍摄方法的流程图;
图4为本申请实施例提供的一种电子设备的硬件结构示意图;
图5为本申请实施例提供的一种电子设备的软件结构示意图;
图6为本申请实施例提供的又一种拍摄方法的流程图;
图7为本申请实施例提供的又一种拍摄方法的流程图;
图8a为本申请实施例提供的又一种拍摄方法的流程图;
图8b为本申请实施例提供的又一种拍摄方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
应当理解,本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
本申请提供了一种拍摄方法。该拍摄方法可以应用于设置有摄像头的电子设备。根据该拍摄方法,电子设备可以通过摄像头输出RAW图像,并通过图像处理器分成3路数据流。这3路数据流分别为全景通路、追焦通路和检测通路的数据流。其中,全景通路的数据流经过防抖处理后用于相机应用界面的大窗的显示和预览。检测通路的数据流经过人体检测并追焦成功之后,可以输出人体裁剪框信息给追焦通路用于人体框裁剪。追焦通路的数据流经过防抖处理、平滑处理和裁剪处理后,可以应用于相机应用界面的小窗的显示和预览。可理解,上述3路数据流的相关处理在相机软件架构内部,并不依赖于平台,极大地方便了后期其他平台的移植开发复用。
请参阅图1,图1为本申请实施例提供的一种拍摄场景的示意图。
如图1所示,拍摄环境中存在多个正在运动的人(比如,正在跑步的人和正在跳绳的人)。用户可以利用电子设备进行拍摄。在这种情况下,用户确定被摄体之后,由于被摄体处于运动状态,可能会出现虚焦问题。并且,拍摄环境中还存在其他人物的干扰,还可能出现焦点转移的问题。即焦点从被摄体转移至其他人物上。用户可以开启追焦模式,并选定被摄体。电子设备可以将焦点锁定在用户选定的被摄体上,即使被摄体运动或者拍摄场景中出现其他任务,也不会出现虚焦和焦点转移的问题。
可理解,被摄体指的是拍摄的对象物体。本申请中涉及的被摄体不包括电子设备能拍摄到的所有人物,而是拍摄主体。在本申请的一些实施例中,被摄体也可以理解为焦点锁定的对象。
可理解,电子设备具体可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(Augmented Reality,AR)/虚拟现实(Virtual Reality,VR)设备、笔记本电脑、超级移动个人计算机(Ultra-Mobile Personal Computer,UMPC)、上网本、个人数字助理(PersonalDigital Assistant,PDA)或专门的照相机(例如单反相机、卡片式相机)等电子设备,本申请实施例对电子设备的具体类型不作任何限制。
下面结合一组用户界面示意图具体介绍本申请提供的拍摄场景。
可理解,本申请的说明书和权利要求书及附图中的术语“界面”和“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphicuser interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
1、进入追焦模式(图2A~图2D)
如图2A所示,用户界面100显示了一个放置有应用图标的页面,该页面可包括多个应用图标(例如,天气应用图标、日历应用图标、相册应用图标、便签应用图标、电子邮件应用图标、应用商店应用图标、设置应用图标等等)。上述多个应用图标下方还可显示有页面指示符,以表明当前显示的页面与其他页面的位置关系。页面指示符的下方有多个应用图标(例如,相机应用图标101、浏览器应用图标、信息应用图标、拨号应用图标)。应用图标在页面切换时保持显示。
可理解,相机应用图标101为相机应用程序的图标。相机应用图标101可以用于触发启动相机应用程序。相机应用程序是智能手机、平板电脑等电子设备上的一款图像拍摄的应用程序,本申请对该应用程序的名称不做限制。
电子设备可以检测到作用于相机应用图标101的用户操作,响应于该操作,电子设备可以显示如图2B所示的用户界面200。用户界面200可以是相机应用程序的默认拍照模式的拍摄界面,用户可以在该界面上预览图像并完成拍照。也就是说,用户可以通过点击相机应用图标101来打开相机应用程序的用户界面200。
可理解,本申请中所提及的用户操作可以包括但不限于触摸(例如,点击等)、声控、手势等操作,本申请对此不作限制。
如图2B所示,用户界面200可包括预览区域201、相机模式选项202、相册快捷控件203、快门控件204、摄像头翻转控件205。
预览区域201可用于显示预览图像。该预览图像为电子设备通过摄像头实时采集的图像。
相机模式选项202中可以显示有一个或多个拍摄模式选项。这一个或多个拍摄模式选项可以包括:夜景模式选项、智能人像模式选项、拍照模式选项、录像模式选项2021和更多选项。可理解,相机模式选项202中还可以包含更多或更少的拍摄模式选项。
相册快捷控件203可用于开启相册应用程序。用户通过相册快捷控件203触发电子设备开启相册应用程序后,可以查看拍摄的图像和视频。
快门控件204可用于监听触发拍照的用户操作。另外,电子设备还可以在相册快捷控件203中显示所保存的图像或视频的缩略图。
摄像头翻转控件205可用于监听触发翻转摄像头的用户操作。
电子设备可以检测到作用于录像模式选项2021上的用户操作。响应于该用户操作,电子设备可以显示如图2C所示的用户界面300。用户界面300为相机应用程序的录像预览界面。
用户界面300所包括的控件与用户界面200所包括的控件大致相同,不同的是,用户界面300可以包括追焦模式控件301和录像开始控件302。其中,追焦模式控件301可以用于触发电子设备进入追焦模式。录像开始控件302用于触发电子设备进行录像。
电子设备可以检测到作用于追焦模式控件301上的用户操作。响应于该用户操作,电子设备可以显示如图2D所示的用户界面400。用户界面400为进入追焦模式之后,尚未开始追焦时的录像预览界面。
用户界面400可以包括显示区域401、预览区域201、人体框402和人体框403。其中,显示区域401可以包括关于已开启追焦模式的提示信息,以及关于录制追焦视频的操作提示信息。如图2D所示,显示区域401显示有“点击人体框,可额外生成一段追焦视频”,以及“追焦模式已开始”。如图2D所示,预览区域201显示有两个正在运动的人。预览区域201可以包括人体框402和人体框403。人体框402用于框选正在跳绳的人。人体框403用于框选正在跑步的人。
2、预览时选择追焦目标(图2E~图2F)
电子设备可以检测到作用于人体框402上的用户操作。响应于该用户操作,电子设备可以显示如图2E所示的用户界面500。用户界面500为进入追焦模式之后,开始追焦并追焦成功时的录像预览界面。
可理解,电子设备检测到作用于人体框402上的用户操作之后,可以确定追焦目标为正在跑步的人。追焦成功之后,电子设备可以将焦点锁定在该正在跑步的人身上。
用户界面500可以包括显示区域501和追焦人体框502。当然,与用户界面300和用户界面400相同,用户界面还可以包括预览区域201和录像开始控件302。
显示区域501用于显示追焦目标的特写画面。即追焦目标的特写图像。与预览区域201所显示的图像相比,显示区域501所显示的图像以追焦目标为主要内容。显示区域501可以包括控件5011和控件5012。控件5011用于取消本次追焦。控件5012用于调整显示区域501的尺寸。追焦人体框502可以用于框选追焦目标。
可理解,电子设备可以检测到作用于控件5012上的用户操作。响应于该用户操作,电子设备可以显示如图2F所示的用户界面600。用户界面600所包括的控件与用户界面500所包括的控件大致相同,不同的是,用户界面600中的显示区域601和用户界面500中的显示区域501的尺寸不同。
需要说明的是,开始追焦并追焦成功之后,电子设备显示追焦目标特写图像的小窗口的默认尺寸可以根据需求进行设置。例如,该默认尺寸可以为如显示区域601所示的尺寸,也可以为如显示区域501所示的尺寸,本申请对此不作限制。
当然,用户界面500还可以包括用于框选未被选作追焦目标的人的人体框。例如,人体框402。
3、预览时丢失追焦目标及退出追焦(图2G~图2H)
在本申请的一些实施例中,电子设备处于追焦模式下的录像预览状态时,由于追焦目标远离电子设备或者超出电子设备的取景范围,电子设备可能会丢失追焦目标,即无法检测到追焦目标。可理解,电子设备的取景范围与视场角和焦距相关。
如图2G所示,电子设备可以显示用户界面700。用户界面700可以包括显示区域701、显示区域501和预览区域201。根据预览区域201所显示的图像,正在跑步的人即将完全超出电子设备的取景范围。此时,电子设备无法检测到追焦目标,处于失焦状态(即丢失追焦目标状态)。在这种情况下,显示区域501与预览区域201显示相同的图像。显示区域701可以用于显示关于失焦和退出追焦的提示信息。如图2G所示,显示区域可以显示有“追焦目标丢失,5s后退出追焦”。
可理解,电子设备追焦目标丢失,5s后自动退出追焦。如图2H所示,电子设备可以显示用户界面800。用户界面800可以包括人体框402。在一些实施例中,电子设备自动退出追焦之后,可以显示有包括多个人体框的用户界面。用户可以再次选择追焦目标,或者,等待原追焦目标重新进入电子设备的取景范围。
在本申请的一些实施例中,电子设备失焦不超过5s,追焦目标未找回,且用户未切换追焦目标,显示区域501可以持续显示电子设备失焦前显示区域501所显示的最后一帧图像。
可理解,电子设备从失焦开始到退出追焦的时间间隔可以为其他数值。例如,2s、3s、6s等。这一时间间隔可以根据实际需求进行设置,本申请对此不作限制。
4、追焦模式下的视频录制、暂停及保存查看(图2I~图2M)
电子设备可以检测到作用在如图2E所示的用户界面500所包括的录像开始控件302上的用户操作。响应于该用户操作,电子设备可以开始录制视频。
如图2I所示,电子设备可以显示用户界面900。用户界面900可以包括显示区域901、显示区域902、录像结束控件903和录像暂停控件904。
显示区域901用于显示预览区域201所对应的视频录制时间。如图2I所示,预览区域201所对应的视频录制时间为“00:03”,即3s。显示区域902用于显示追焦目标的特写画面。显示区域902包括显示区域9021和录像结束控件9022。其中,显示区域9021用于显示显示区域902所对应的视频录制时间。录像结束控件用于结束显示区域902所对应的视频的录制。可理解,显示区域902所对应的视频为追焦视频。即以追焦目标为主体的视频。录像结束控件903用于结束预览区域201所对应的视频的录制。录像暂停控件904用于暂停预览区域201所对应的视频的录制。
在本申请的一些实施例中,电子设备暂停录制预览区域201所对应的视频之后,显示区域902所对应的视频的录制也会暂停。相应地,一旦电子设备继续录制预览区域201所对应的视频,显示区域902所对应的视频也会继续录制。
示例性的,电子设备可以检测到作用在录像暂停控件904上的用户操作。响应于该用户操作,电子设备可以显示如图2J所示的用户界面1000。用户界面1000所包括的控件与用户界面900所包括的控件基本一致,不同的是,用户界面1000可以包括继续录像控件1001。继续录像控件1001用于继续录制预览区域201所对应的视频的录制。如图2J所示,用户界面1000所包括的显示区域901和显示区域9021所对应的视频录制时间均停留在“00:03”。这也就意味着,预览区域201和显示区域902所对应的视频均暂停录制。
在本申请的一些实施例中,电子设备暂停录制预览区域201所对应的视频之后,显示区域902所对应的视频的录制不会暂停。
在本申请的一些实施例中,显示区域902也可以包括录像暂停控件。该录像暂停控件可以用于暂停显示区域902所对应的视频的录制。在这种情况下,一旦电子设备检测到作用在显示区域902所包括的录像暂停控件上的用户操作,响应于该用户操作,电子设备可以暂停显示区域902所对应的视频的录制。电子设备可以继续录制预览区域201所对应的视频。
在本申请的一些实施例中,电子设备结束录制预览区域201所对应的视频之后,显示区域902所对应的视频的录制也会结束。
电子设备可以检测到作用于录像结束控件903上的用户操作。响应于该用户操作,电子设备可以显示如图2K所示的用户界面1100。用户界面1100所包括的控件与用户界面400所包括的控件基本一致。用户界面1100所包括的相册快捷控件203可以显示电子设备保存的预览区域201所对应的视频的第一帧图像的缩略图。
为了便于描述,本申请中将预览区域201显示的图像所构成的视频(预览区域201所对应的视频)记为原始视频,而将显示区域902显示的图像所构成的视频(显示区域902所对应的视频)记为追焦视频。根据上文,结束录像之后,电子设备可以保存原始视频和追焦视频。
电子设备可以检测到作用于用户界面1100所包括的相册快捷控件203。响应于该用户操作,电子设备可以显示如图2L所示的用户界面1200。用户界面1200可以包括显示区域1201。显示区域1201可以包括控件12011。电子设备可以检测到作用于控件12011上的用户操作。响应于该用户操作,电子设备可以在显示区域1201显示原始视频。
电子设备可以检测到作用在用户界面1200上的左滑操作。响应于该用户操作,电子设备可以显示如图2M所示的用户界面1300。与用户界面1200类似,用户界面1300可以包括显示区域1301,显示区域1301可以包括控件13011。电子设备可以检测到作用于控件13011上的用户操作。响应于该用户操作,电子设备可以在显示区域1301显示追焦视频。
在本申请的一些实施例中,电子设备结束录制预览区域201所对应的视频之后,显示区域902所对应的视频的录制不会结束。在这种情况下,一旦电子设备检测到作用于录像结束控件9022上的用户操作,响应于该用户操作,电子设备可以结束录制显示区域902所对应的视频。
5、追焦录制时切换追焦目标、丢失追焦目标及找回追焦目标(图2O~图2Q)
电子设备可以检测到作用于如图2I所示的用户界面900所包括的人体框402上的用户操作。响应于该用户操作,电子设备可以显示如图2N所示的用户界面1400。用户界面1400可以包括追焦人体框1401、人体框403和显示区域902。其中,追焦人体框1401用于框选用户选择的追焦目标,即正在跳绳的人。人体框403用于框选电子设备取景范围内的其他人物,即正在跑步的人。显示区域902用于显示追焦目标的特写画面。如图2I所示,显示区域902可以显示切换后的追焦目标(即正在跳绳的人)的特写画面。
与预览时丢失追焦目标类似,在本申请的一些实施例中,电子设备处于追焦模式下的录像状态时,由于追焦目标远离电子设备或者超出电子设备的取景范围,电子设备可能会丢失追焦目标,即无法检测到追焦目标。
在本申请的一些实施例中,在失焦后的一段时间(比如,5s)内,电子设备继续录制预览区域201所对应的视频和显示区域902所对应的视频。在这一段时间内,显示区域902和预览区域201显示相同的图像。若超过这一段时间后,追焦目标仍未找回且用户未切换追焦目标,电子设备可以继续录制预览区域201所对应的视频,而暂停录制显示区域902所对应的视频。
如图2O所示,电子设备可以显示用户界面1500。用户界面1500所包括的控件和用户界面1400所包括的控件基本一致。根据预览区域201所显示的图像,正在跑步的人即将完全超出电子设备的取景范围。此时,电子设备无法检测到追焦目标,处于失焦状态(即丢失追焦目标状态)。在这种情况下,显示区域902与预览区域201显示的图像一致。用户界面1500所包括的显示区域901所对应的视频录制时间为“00:10”,而用户界面1500所包括的显示区域902中的显示区域9021所对应的视频录制时间为“00:10”。也就是说,失焦之后,显示区域902所对应的视频和预览区域201所对应的视频都在继续录制,一直到第10s。
如图2P所示,电子设备可以显示用户界面1600。用户界面1600所包括的显示区域901所对应的视频录制时间为“00:16”,而用户界面1500所包括的显示区域902中的显示区域9021所对应的视频录制时间为“00:15”。也就是说,失焦超过5s之后,显示区域902所对应的视频会暂停录制,而预览区域201所对应的视频会继续录制。并且,显示区域902会持续显示暂停录制前显示的最后一帧图像。在本申请的一些实施例中,电子设备丢失追焦目标一段时间(比如,5s)之后,显示区域902会蒙层。通俗来说,失焦之后,显示区域902会变灰。
在本申请的一些实施例中,电子设备可以显示关于失焦和退出追焦的提示信息,具体可以参考图2G所示的显示区域701,在此不再赘述。
在本申请的一些实施例中,在失焦后的一段时间(比如,5s)内,电子设备继续录制预览区域201所对应的视频和显示区域902所对应的视频。在这一段时间内,显示区域902持续显示失焦前显示的最后一帧图像。若超过这一段时间后,追焦目标仍未找回且用户未切换追焦目标,电子设备可以继续录制预览区域201所对应的视频,而暂停录制显示区域902所对应的视频。
可理解,在录制过程中,电子设备从失焦开始到暂停录制显示区域902所对应的视频的时间间隔可以根据实际需求进行设置,本申请对此不作限制。
在本申请的一些实施例中,若电子设备失焦已经超过5s,并且追焦目标仍未找回且用户未切换追焦目标,一旦电子设备可以重新检测到追焦目标,则继续录制显示区域902所对应的视频。
如图2Q所示,电子设备可以显示用户界面1700。用户界面1700所包括的控件和用户界面1600所包括的控件基本一致。根据预览区域201所显示的图像,正在跑步的人重新出现在电子设备的取景范围内。此时,电子设备可以重新检测到追焦目标。在这种情况下,电子设备可以继续录制显示区域902所对应的视频。
在本申请的一些实施例中,电子设备追焦目标持续丢失一段时间后,可以继续录制预览区域201所对应的视频,而结束录制显示区域902所对应的视频。即电子设备关闭显示区域902所对应的显示窗口。并且,在关闭显示区域902所对应的显示窗口之前,电子设备可以自动保存显示区域902所对应的视频。在这种情况下,电子设备可以继续录制预览区域201所对应的视频。
可理解,与预览时类似,在录制过程中,电子设备从失焦开始到结束录制显示区域902所对应的视频的时间间隔可以根据实际需求进行设置,本申请对此不作限制。
在本申请的一些实施例中,电子设备持续失焦,且退出追焦之后,若用户没有重新确定追焦目标,一旦电子设备重新检测到追焦目标,电子设备可以重新打开显示区域902所对应的显示窗口,并重新录制追焦视频。
6、结束追焦录制后重新确定追焦目标再进行追焦录制(图2R~图2S)
电子设备可以检测到作用于如图2I所示的用户界面900所包括的录像结束控件9022上的用户操作。响应于该用户操作,电子设备可以显示图2R所示的用户界面1800。用户界面1800可以包括人体框402和人体框403。可理解,此时,电子设备以及退出追焦,但是仍在录制预览区域201所对应的视频。
电子设备可以检测到作用于如图2R所示的用户界面1800所包括的人体框402上的用户操作。响应于该用户操作,电子设备可以重新确定人体框402所对应的人物为追焦目标。电子设备可以录制以该追焦目标为主体的追焦视频。
如图2S所示,电子设备可以显示用户界面1900。用户界面1900所包括的控件与用户界面1400所包括的控件基本一致。用户界面1900所包括的显示区域901所对应的视频录制时间为“00:08”,而用户界面1900所包括的显示区域902中的显示区域9021所对应的视频录制时间为“00:05”。也就是说,预览区域201所对应的视频一直在录制,一直到第8s,而显示区域902所对应的视频开始录制的时间要稍晚一些,现在才录制到第5s。
可理解,电子设备还可以在横屏状态下进行追焦预览和追焦录制。如图2T所示,电子设备可以显示用户界面2000。用户界面2000所包括的控件与用户界面400所包括的控件基本一致。电子设备可以检测到作用于用户界面2000所包括的人体框403上的用户操作。响应于该用户操作,电子设备可以显示如图2U所示的用户界面2100。用户界面2100可以包括显示区域902。显示区域902用于显示追焦目标的特写画面。电子设备可以检测到作用于用户界面2100所包括的录像开始控件302上的用户操作。响应于该用户操作,电子设备可以开始录制。在录制过程中,电子设备可以显示如图2V所示的用户界面2200。
需要说明的是,电子设备在横屏状态下进行追焦预览和追焦录制过程中还可能出现追焦目标丢失、追焦目标切换等情况,具体可以参考竖屏状态下的界面图(如图2A-图2S),在此不再赘述。
需要说明的是,上述用户界面仅为本申请提供的一些示例,不应视为对本申请的限制。也就是说,上述用户界面均可以显示更多或更少的内容,本申请对此不作限定。
下面介绍本申请实施例提供的一种拍摄方法。
请参阅图3,图3为本申请实施例提供的一种拍摄方法的流程图。该拍摄方法可以包括但不限于以下步骤:
S301:电子设备开启相机应用程序中的视频追焦模式,并通过摄像头采集图像。
具体地,响应于作用在相机应用图标上的用户操作,电子设备可以启动相机应用程序,并显示拍照预览界面。响应于作用在录像模式选项上的用户操作,电子设备可以进入录像模式,并显示录像预览界面。响应于作用在追焦模式控件上的用户操作,电子设备可以进入视频追焦模式。可理解,电子设备启动相机应用程序之后,可以通过摄像头实时采集图像。
可理解,视频追焦模式指的是:在录像预览或开始录像的状态下,电子设备所开启的追焦模式。
S302:电子设备对摄像头输出的RAW图像进行处理,得到图像I1、图像I2和图像I3。
具体地,电子设备可以对摄像头输出的RAW图像进行处理,得到RGB图像,再对该RGB图像进行处理,得到YUV图像,最后再对该YUV图像进行处理,得到图像I1、图像I2和图像I3。可理解,图像I1、图像I2和图像I3可以均为YUV图像。
可理解,RAW图像指的是即CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据,也被称为原始图像文件。
可理解,YUV是一种色彩空间。基于YUV的颜色编码是流媒体的常用编码方式。在YUV色彩空间下,Y表示明度,U和V表示色度(描述色彩及饱和度)。在本申请的一些实施例中,YUV指的是YCbCr。YCbCr其实是YUV经过缩放和偏移的改动版,Y表示亮度,Cr、Cb表示色彩的色差,分别是红色和蓝色的分量。YCbCr是用来描述数字的视频信号,适合视频与图片压缩以及传输。YCbCr的应用领域很广泛,JPEG、MPEG等均采用此格式。
需要说明的是,本申请中将图像I1的大小记为尺寸C1,将图像I2的大小记为尺寸C2,将图像I3的大小记为尺寸C3。可理解,尺寸C2大于尺寸C1,尺寸C1大于尺寸C3。
在本申请的一些实施例中,尺寸C1为1920px*1080px,尺寸C2为3840px*2160px,尺寸C3为640px*320px。可理解,px的全称是“Pixel”,中文意思为“像素”,是表示图片或者图形的最小单位。需要说明的是,尺寸C1、尺寸C2和尺寸C3还可以为其他数值,本申请对此不作限制。
S303:电子设备对图像I3进行人体检测,并在检测到人体的情况下获取人体框检测信息。
电子设备可以对图像I3进行人体检测。并且,在检测到人体的情况下,电子设备可以获取人体框检测信息。
在本申请的一些实施例中,电子设备可以利用人体部位位置的几何模型来对人体建模,并基于建立的模型来进行人体检测。例如,电子设备可以训练脖子、肩膀、四肢等多个身体部位的模型,从而得到通用的人体识别模型。在本申请的又一些实施例中,电子设备还可以利用滤波器卷积图像或目标响应来对人体建模,并基于建立的模型来进行人体检测。当然,电子设备还可以通过其他方式来进行人体检测,本申请对此不作限制。
在本申请的一些实施例中,电子设备在对图像I3进行人体检测之前,还需要进行人脸检测。在图像I3中存在人脸的情况下,电子设备再对图像I3进行人体检测。
可理解,进行人脸检测时的图像可以为RGB图像,图像I3可以为YUV图像。
示例性的,电子设备通过摄像头获取RAW图像之后,可以对RAW图像进行RAW域和RGB域的图像效果处理,从而得到RGB图像。电子设备可以基于该RGB图像进行人脸检测。另外,电子设备还可以对RGB图像进行YUV域的图像效果处理,从而得到YUV图像。电子设备还可以对得到的YUV图像进行处理,从而得到三种不同尺寸的图像——图像I1、图像I2和图像I3。其中,图像I3是该三种不同尺寸的图像中尺寸最小的图像。在电子设备确定得到的RGB图像中存在人脸的情况下,电子设备可以对图像I3进行人体检测。
RAW域和RGB域的图像效果处理包括将RAW图像转化成RGB图像,再将RGB图像转化成YUV图像。具体地,电子设备可以通过模数转换器将RAW图像转化成rawRGB图像,再将rawRGB图像转化成RGB图像。
YUV域的图像效果处理包括将原尺寸的YUV图像转化成其他尺寸的YUV图像。
可理解,RGB是一种色彩空间。在RGB色彩空间下,一般用红(Red,R)、绿(Green,G)、蓝(Blue,B)三个分量来表示彩色图像。
可理解,人体框检测信息可以包括人体框的坐标。需要说明的是,这里所提及的人体框的坐标可以为人体框在图像中的图像坐标。人体框用于将图像中的人体框选出来。在本申请的一些实施例中,人体框可以为矩形框。当然,人体框还可以表现为其他形状(例如,三角形等),本申请对此不作限制。
S304:电子设备对图像I1进行防抖处理,得到抖动信息D1和图像I4。
电子设备可以对图像I1进行防抖处理,并得到抖动信息D1和图像I4。可理解,抖动信息可以包括抖动偏移量和抖动方向等。
在本申请的一些实施例中,电子设备可以从加速度传感器和陀螺仪传感器得到图像的抖动坐标,并根据抖动坐标对原尺寸图像上进行裁剪,以便保持抖动前后输出的图像的坐标对齐,达到视觉上的平滑。示例性的,抖动冗余可以为图像宽高的20%。也就是说,电子设备可以裁剪原尺寸图像的宽高的20%。
可理解,防抖处理的具体实现可参考相关技术文档,本申请不展开说明。
为了便于描述,本申请中将图像I4的大小记为尺寸C4。可理解,尺寸C4可以由电子设备提前设置。在本申请的一些实施例中,尺寸C4与尺寸C1相同。
S305:电子设备基于抖动信息D1对人体框检测信息进行处理,得到更新后的人体框检测信息。
具体地,电子设备可以根据抖动信息D1所包括的抖动偏移量和抖动方向来对人体框检测信息所包括的人体框坐标进行处理(例如,反方向的偏移),从而得到更新后的人体框检测信息。
S306:响应于作用在目标人体框上的用户操作,电子设备进行人体追焦。
用户可以点击电子设备的显示屏所显示的多个人体框中的一个,响应于该用户操作,电子设备可以对该用户点击的人体框所对应的人物进行追焦。为了便于描述,本申请中将用户选择的追焦对象所对应的人体框记为目标人体框。另外,本申请中将追焦成功之后用户选择的追焦对象所对应的人体框记为追焦人体框。可理解,目标人体框和追焦人体框的UI显示可能会有差异(例如,人体框的颜色、线条粗细、形状和大小等)。例如,图2D所示的人体框403为目标人体框,图2E所示的追焦人体框502与人体框403的UI显示有区别。
在本申请的一些实施例中,电子设备检测到用户作用在目标人体框上的点击事件之后,可以获取目标人体框信息,然后将目标人体框信息与人体检测信息进行匹配。若目标人体框信息可以与人体检测信息匹配上,电子设备可以确定追焦成功。
在本申请的一些实施例中,电子设备在进行人体追焦时,可根据人体框在图像中的移动状况,动态的检测到该人体框的坐标变化。
S307:在追焦成功的情况下,电子设备基于更新后的人体框检测信息获取人体框裁剪区域。
在追焦成功的情况下,电子设备可以在更新后的人体框检测信息所包括的人体框坐标中查找与目标人体框信息所包括的人体框相匹配的人体框坐标,并基于该相匹配的人体框信息确定人体框裁剪区域。可理解,人体框裁剪区域可以包括追焦对象对应的人体框坐标。
在本申请的一些实施例中,若两个人体框坐标所包括的绝大部分点的坐标的差值均不大于预设阈值,则这两个人体框坐标相匹配。
在本申请的一些实施例中,若两个人体框坐标对应的中心点的坐标的差值不大于预设阈值,且这两个人体框坐标对应的人体框的长的差值,以及宽的差值均布大于预设阈值,则这两个人体框坐标相匹配。
当然,电子设备还可以通过其他方式来判断人体框坐标是否相匹配,本申请对此不作限制。
S308:电子设备对图像I2进行防抖处理,得到抖动信息D2。
电子设备可以对图像I2进行防抖处理,并获取抖动信息。防抖处理和抖动信息的相关描述可以参考步骤S304,在此不再赘述。
S309:电子设备可以基于图像I2和图像I3确定倍数信息。
电子设备可以基于图像I2的大小和图像I3的大小确定倍数信息。即电子设备可以根据尺寸C2和尺寸C3确定倍数信息。其中,倍数信息可以包括尺寸C2与尺寸C3的比值。可理解,倍数信息可以用于表征图像I2和图像I3的大小差异。
S310:电子设备基于抖动信息D2、倍数信息对人体框裁剪区域进行处理,得到更新后的人体框裁剪区域。
电子设备可以根据抖动偏移量、抖动方向,以及倍数信息来对人体框裁剪区域所包括的人体框坐标进行处理,从而得到更新后的人体框裁剪区域。具体地,电子设备可以在人体框裁剪区域所包括的人体框坐标上加上反向的抖动偏移,得到人体框坐标Z1。可理解,人体框坐标Z1对应的是图像I3上的坐标。电子设备可以再结合倍数信息,将人体框坐标Z1转换成人体框坐标Z2。可理解,人体框坐标Z2对应的是图像I2上的坐标。
S311:电子设备基于更新后的人体框裁剪区域对图像I2进行裁剪处理,得到图像I5。
电子设备可以基于更新后的人体框裁剪区域来控制硬件模块(比如,图像处理模块)对图像I2进行裁剪处理,得到图像I5。
在本申请的一些实施例中,电子设备可以以人体框裁剪区域为中心来对图像I2进行裁剪,从而得到符合尺寸要求的图像,即图像I5。
在本申请的一些实施例中,电子设备可以对图像I2进行裁剪,只保留该更新后的人体框裁剪区域,得到图像I5。
为了便于描述,本申请中将图像I5的大小记为尺寸C5。可理解,尺寸C5可以由电子设备提前设置。
在本申请的一些实施例中,图像I5和图像I1的大小是一样的。例如,图像I5和图像I1的大小均为1920px*1080px。
S312:电子设备对图像I4进行处理,得到大窗预览图像和大窗保存图像。
可理解,大窗预览图像为电子设备实现追焦后在显示屏上的大窗口显示的预览图像。而大窗保存图像为电子设备保存在追焦视频中的图像。
在本申请的一些实施例中,大窗预览图像和大窗保存图像的大小不同。
在本申请的一些实施例中,大窗预览图像可以为图像I4经过压缩后的缩略图,而大窗保存图像可以为图像I4。
在本申请的一些实施例中,电子设备可以对图像I4进行美颜处理,之后再处理得到大窗预览图像和大窗保存图像。
S313:电子设备对图像I5进行处理,得到小窗预览图像和小窗保存图像。
可理解,小窗预览图像为电子设备实现追焦后在显示屏上的小窗口显示的预览图像。而保存图像B2为电子设备保存在追焦视频中的图像。
在本申请的一些实施例中,小窗预览图像和小窗保存图像的大小不同。
在本申请的一些实施例中,小窗预览图像可以为图像I5经过压缩后的缩略图,而小窗保存图像可以为图像I5。
在本申请的一些实施例中,电子设备可以对图像I5进行美颜处理,之后再处理得到大窗预览图像和大窗保存图像。
S314:电子设备在显示屏上的大窗口显示大窗预览图像,而在显示屏上的小窗口显示小窗预览图像。
可理解,电子设备可以在显示屏上绘制大窗口以显示大窗预览图像,而在显示屏上绘制小窗口以显示小窗预览图像。
在本申请的一些实施例中,电子设备可以基于更新后的人体检测框信息来在显示屏上显示大窗预览图像的相应区域显示相应的人体框。
需要说明的是,本申请对电子设备执行步骤S303、步骤S304和步骤S308的先后顺序不作限制。值得注意的是,电子设备执行步骤S307和步骤S309之后,才会执行步骤S310。电子设备执行步骤S304之后,才会执行步骤S305。
值得注意的是,如图3所示的拍摄方法也可以应用于对其他物体的拍摄,不限于对人的拍摄。可理解,在应用如图3所示的方法对其他物体进行拍摄时,相同的,电子设备可以执行步骤S301、步骤S302、步骤S304、步骤S308、步骤S309、步骤S312-步骤S314。
与步骤S303类似,电子设备可以采取对象识别算法来检测拍摄对象。例如,电子设备可以基于对象的特征来建立模型,并基于该模型来对拍摄对象进行检测。
与步骤S305类似,电子设备可以基于抖动信息对执行步骤S303时所得的检测信息进行处理,得到更新后的检测信息。
与步骤S306类似,电子设备可以对用户选择的追焦目标进行追焦,具体可以参考步骤S306中人体追焦的相关描述。
与步骤S307类似,在追焦成功的情况下,电子设备可以基于更新后的检测信息来获取拍摄对象裁剪区域。
与步骤S310类似,电子设备可以基于执行前述步骤时所获得的抖动信息和倍数信息来对拍摄对象裁剪区域进行处理,得到更新后的拍摄对象裁剪区域。这里具体可以理解为对拍摄对象裁剪区域进行抖动校正,且对拍摄对象裁剪区域的大小进行适应性处理。这里所提及的适应性处理指的是对拍摄对象裁剪区域所包括的坐标进行由尺寸C3(即图像I3的尺寸)映射到尺寸C2(即图像I2的尺寸)。
与步骤S311类似,电子设备可以基于更新后的拍摄对象裁剪区域,来对图像I2进行裁剪处理,即保留图像I2上与更新后的拍摄对象裁剪区域所包括的坐标一致的区域,裁减剩余部分。
可理解,电子设备还可以通过防抖以外的方式来对检测信息和拍摄对象裁剪区域进行修正,本申请对此不作限制。
下面介绍本申请实施例涉及的装置。
图4为本申请实施例提供的一种电子设备的硬件结构示意图。
电子设备可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(Universal Serial Bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(Subscriber Identification Module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(Application Processor,AP),调制解调处理器,图形处理器(Graphics Processingunit,GPU),图像信号处理器(即ISP),控制器,存储器,视频编解码器,数字信号处理器(Digital Signal Processor,DSP),基带处理器,和/或神经网络处理器(Neural-networkProcessing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
在本申请提供的实施例中,电子设备可以通过处理器110执行所述拍摄方法。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。处理器110所包括的接口还可以用于连接其他电子设备,例如AR设备等。
充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电子设备的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块150可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。
无线通信模块160可以提供应用在电子设备上的包括无线局域网(WirelessLocal Area Networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络),蓝牙(Bluetooth,BT),全球导航卫星系统(Global Navigation Satellite System,GNSS),调频(Frequency Modulation,FM),近距离无线通信技术(Near Field Communication,NFC),红外技术(Infrared,IR)等无线通信的解决方案。
在一些实施例中,电子设备的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备可以通过无线通信技术与网络以及其他设备通信。
电子设备通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display,LCD),有机发光二极管(Organic Light-EmittingDiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light Emitting Diode的,AMOLED),柔性发光二极管(Flex Light-EmittingDiode,FLED),Mini LED,Micro LED,Micro-OLED,量子点发光二极管(Quantum Dot LightEmitting Diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现获取功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像或视频。ISP还可以对图像的噪点,亮度,颜色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像或视频信号。ISP将数字图像或视频信号输出到DSP加工处理。DSP将数字图像或视频信号转换成标准的RGB,YUV等格式的图像或视频信号。
数字信号处理器用于处理数字信号,除了可以处理数字图像或视频信号,还可以处理其他数字信号。例如,当电子设备在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样,电子设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(Moving Picture Experts Group,MPEG)1,MPEG2,MPEG3,MPEG4等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像视频播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据,电话本等)等。
电子设备可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
传感器模块180可以包括1个或多个传感器,这些传感器可以为相同类型或不同类型。可理解,图4所示的传感器模块180仅为一种示例性的划分方式,还可能有其他划分方式,本申请对此不作限制。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。当有触摸操作作用于显示屏194,电子设备根据压力传感器180A检测所述触摸操作强度。电子设备也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。
陀螺仪传感器180B可以用于确定电子设备的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。
加速度传感器180E可检测电子设备在各个方向上(一般为三轴)加速度的大小。当电子设备静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备可以利用距离传感器180F测距以实现快速对焦。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备的表面,与显示屏194所处的位置不同。
气压传感器180C用于测量气压。磁传感器180D包括霍尔传感器。接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。电子设备使用光电二极管检测来自附近物体的红外反射光。环境光传感器180L用于感知环境光亮度。指纹传感器180H用于获取指纹。温度传感器180J用于检测温度。骨传导传感器180M可以获取振动信号。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备可以接收按键输入,产生与电子设备的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。
图5为本申请实施例提供的一种电子设备的软件结构示意图。
如图5所示,本申请涉及的电子设备的软件框架可以包括应用程序层,应用程序框架层(framework,FWK)、系统库、安卓运行时、硬件抽象层和内核层(kernel)。
其中,应用程序层可以包括一系列应用程序包,例如相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序(也可以称为应用)。其中,相机用于获取图像和视频。关于应用程序层的其他应用,可以参考常规技术中的介绍和说明,本申请不展开说明。在本申请中,电子设备上的应用可以是原生的应用(如在电子设备出厂前,安装操作系统时安装在电子设备中的应用),也可以是第三方应用(如用户通过应用商店下载安装的应用),本申请实施例不予限定。
应用程序框架层为应用程序层的应用程序提供应用编程接口(ApplicationProgramming Interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图5所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话界面形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
运行时(Runtime)包括核心库和虚拟机。Runtime负责系统的调度和管理。
核心库包含两部分:一部分是编程语言(例如,java语言)需要调用的功能函数,另一部分是系统的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的编程文件(例如,java文件)执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(Surface Manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了二维(2-Dimensional,2D)和三维(3-Dimensional,3D)图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现3D图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
硬件抽象层(HAL)是位于操作系统内核与上层软件之间的接口层,其目的在于将硬件抽象化。硬件抽象层是设备内核驱动的抽象接口,用于实现向更高级别的Java API框架提供访问底层设备的应用编程接口。HAL包含多个库模块,例如相机HAL、显示屏、蓝牙、音频等。其中每个库模块都为特定类型的硬件组件实现一个接口。当系统框架层API要求访问便携设备的硬件时,Android操作系统将为该硬件组件加载库模块。
值得注意的是,相机HAL可以包括芯片平台相机HAL和内部相机HAL。
内核层是Android操作系统的基础,Android操作系统最终的功能都是通过内核层完成。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动,虚拟卡驱动。
需要说明的是,本申请提供的图5所示的电子设备的软件结构示意图仅作为一种示例,并不限定Android操作系统不同分层中的具体模块划分,具体可以参考常规技术中对Android操作系统软件结构的介绍。另外,本申请提供的拍摄方法还可以基于其他操作系统实现,本申请不再一一举例。
下面基于图4和图5所示的装置结构,结合图6、图7、图8a和图8b说明前述实施例的具体实现。
一、配置数据流(如图6所示)
用户可以点击相机应用图标,相应的,电子设备可以检测到作用在相机应用图标上的点击事件并确定用户请求打开相机。进一步的,电子设备中开始准备配置数据流。
S601:相机应用向HAL层下发相机配置信息。
可理解,相机应用可以向HAL层中的芯片平台相机HAL和内部相机HAL下发相机配置信息。该相机配置信息可以包括逻辑相机ID。
相应的,HAL层中的芯片平台相机HAL和内部相机HAL可以接收相机应用发送的相机配置信息。
S602:HAL层中的内部相机HAL基于相机配置信息查询电子设备是否支持视频追焦,得到查询结果。
可理解,HAL层获取相关的相机配置信息之后,其中的内部相机HAL可以通过能力查询进行是否支持追焦算法的静态能力上报,并得到查询结果。
在本申请的一些实施例中,查询结果为0时,表明电子设备不支持视频追焦,而查询结果为1时,表明电子设备支持视频追焦。当然,查询结果还可以为其他形式,本申请对此不作限制。
S603:内部相机HAL可以将查询结果发送给相机应用。
相应的,相机应用可以接收内部相机HAL发送的查询结果,并分析查询结果从而确定电子设备是否支持视频追焦。
S604:相机应用向芯片平台相机HAL发送配置数据流请求。
相机应用向芯片平台相机HAL发送配置数据流请求。可理解,在电子设备支持视频追焦的情况下,配置数据流请求用于请求配置4路数据流。这4路数据流中有2路预览流和2路视频流。
在本申请的一些实施例中,配置数据流请求可以包括数据流标识。
示例性的,配置数据流请求可以包括:pre1、pre2、vid1和vid2。其中,pre1为大窗预览流的标识、pre2为小窗预览流的标识。大窗预览流用于提供显示在大窗内的预览图像。小窗预览流提供显示在小窗内的预览图像。vid1和vid2分别是与pre1和pre2相对应的视频流的标识。
可理解,大窗用于显示原始视频所对应的预览图像。小窗用于显示追焦视频所对应的预览图像。示例性的,大窗可以为如图2E所示的预览区域201,小窗可以为如图2E所示的显示区域501,小窗还可以为如图2I所示的显示区域902。
相应的,芯片平台相机HAL可以接收相机应用发送的配置数据流请求。
S605:芯片平台相机HAL根据数据流请求进行数据流配置。
具体地,芯片平台相机HAL接收相机应用发送的配置数据流请求之后,可以对该配置数据流请求进行解析,并确定芯片平台相机HAL需要配置的数据流的数量和类型。
在配置数据流请求用于请求4路数据流(2路预览流和2路视频流)的情况下,芯片平台相机HAL配置2路预览流和2路视频流。这2路预览流可以有相应的标识——pre1、pre2。类似的,2路视频流也可以有相应的标识——vid1和vid2。
S606:芯片平台相机HAL向相机HAL发送场景id。场景id用于表示场景模式。
相应的,相机HAL可以接收芯片平台相机HAL发送的场景id。
S607:相机HAL根据场景id创建数据通路。
相机HAL可以根据场景id创建数据通路。示例性的,场景id为2时,表明电子设备已经进入追焦模式,但是用户还未确定追焦目标。在这种情况下,相机HAL可以创建pre1和vid1对应的数据通路。场景id为3时,表明电子设备已经进入追焦模式,且用户已经确定追焦目标。在这种情况下,相机HAL可以创建pre1、pre2、vid1和vid2对应的数据通路。
二、进入预览(如图7所示)
用户可以点击追焦模式控件,相应的,电子设备可以检测到作用在追焦模式控件上的点击事件并确定用户请求进入追焦模式。进一步的,相机应用开始请求数据流。
S701:相机应用向HAL层下发数据流请求S1。
相机应用可以向HAL层的芯片平台相机HAL和内部相机HAL下发数据流请求S1。可理解,数据流请求S1可以包括:pre1。
相应的,内部相机HAL可以接收数据流请求S1,并对该数据流请求S1进行解析,从而确定相机应用请求的数据流的数量和类型。具体地,内部相机HAL可以对该数据流请求S1进行解析,并得到pre1,然后根据pre1确定相机应用请求的是大窗预览流。
可理解,在执行步骤S701之前,用户触发开启相机应用时,相机应用可以请求启动摄像头。相应的,接收该请求之后,摄像头可以采集数据。
S702:摄像头向图像处理器1发送RAW图像。
可理解,摄像头可以将获取的RAW图像发送给图像处理器1。
相应的,图像处理器1可以接收摄像头发送的RAW图像。
S703:图像处理器1对RAW图像进行处理,得到4K YUV图像。
可理解,4K一般指的是4K分辨率。4K分辨率是指水平方向每行像素值达到或者接近4096个,不考虑画幅比。而根据使用范围的不同,4K分辨率也有各种各样的衍生分辨率,例如Full Aperture 4K的4096px*3112px、Academy 4K的3656px*2664px以及UHDTV标准的3840px*2160px等,都属于4K分辨率的范畴。
在本申请的一些实施例中,4K YUV图像指的是尺寸为3840px*2160px的YUV图像。
S704:图像处理器1向图像处理器2发送4K YUV图像。
相应的,图像处理器2可以接收图像处理器1发送的4K YUV图像。
在本申请的一些实施例中,图像处理器1不仅可以向图像处理器2发送4K YUV图像,还可以向芯片平台相机HAL发送4K YUV图像。
S705:图像处理器2将4K YUV图像转换成1080P YUV图像和320P YUV图像。
可理解,图像处理器2可以将4K YUV图像转换成1080P YUV图像和320P YUV图像。其中,1080P YUV图像指的是尺寸为1920px*1080px的YUV图像。320P YUV图像指的是尺寸为640px*320px的YUV图像。
可理解,上述1080P YUV图像可以为前述实施例中的图像I1。上述4K YUV图像可以为前述实施例中的图像I2。320P YUV图像可以为前述实施例中的图像I3。
在本申请的一些实施例中,电子设备可以基于更多或者更少的图像处理器来对RAW图像进行处理,从而得到不同尺寸的YUV图像。
S706:图像处理器2将1080P YUV图像和320P YUV图像发送给内部相机HAL。
相应的,内部相机HAL可以接收图像处理器2发送的1080P YUV图像和320P YUV图像。
需要说明的是,电子设备可以基于更多或更少的图像处理器来执行步骤S703-步骤S706。
在本申请的一些实施例中,无论相机应用请求的数据流是预览流还是视频流,硬件模块都可以采集图像并对图像进行处理,从而得到多种尺寸的图像,并将该多种尺寸的图像返回给HAL。相应的,HAL收到该多种尺寸的图像之后,可以根据数据流请求判断选择相应尺寸的图像并对其进行处理。
S707:内部相机HAL对320P YUV图像进行人体检测,得到人体框检测信息。
在本申请的一些实施例中,在内部相机HAL进行人体检测之前,芯片平台相机HAL可以对4K YUV图像进行人脸检测,并得到人脸检测结果。芯片平台相机HAL可以将人脸检测结果发送给内部相机HAL,内部相机HAL接收该人脸检测结果之后可以对其进行解析。若内部相机HAL解析得到该4K YUV图像种存在人脸,则进行人体检测。可理解,人脸检测结果的形式不限于文字、数字、字符串等。
可理解,步骤S707的相关描述可以参考步骤S303,在此不再赘述。
S708:内部相机HAL对1080P YUV图像进行防抖处理,得到抖动信息D1和处理后的1080P YUV图像。
可理解,这里所提及的处理后的1080P YUV图像可以为前述实施例中的图像I4.
可理解,步骤S708的相关描述可以参考步骤S304,在此不再赘述。
需要说明的是,本申请对步骤S707和步骤S708的执行顺序不作限制。
S709:内部相机HAL基于抖动信息D1对人体框检测信息进行更新,得到更新后的人体框检测信息。
可理解,步骤S709的相关描述可以参考步骤S305,在此不再赘述。
S710:内部相机HAL将更新后的人体框检测信息发送给相机应用。
相应的,相机应用可以接收内部相机HAL发送的更新后的人体框检测信息。
S711:内部相机HAL将处理后的1080P YUV图像发送给相机应用。
需要说明的是,步骤S711的执行时间可以早于步骤S712的执行时间,但晚于步骤S708的执行时间。也就是说,电子设备可以并行处理步骤S711和步骤707-步骤S710。
S712:相机应用基于处理后的1080P YUV图像获取大窗预览图像,并将其显示在显示屏上,以及基于更新后的人体框检测信息,在该预览图像上显示人体框。
可理解,更新后的人体框检测信息可以包括人体框坐标。
可理解,步骤S712的相关描述可以参考步骤S312,在此不再赘述。
三、开始追焦并得到追焦结果(如图8a所示的步骤S801-步骤S814)
用户可以点击目标人体框,相应的,电子设备可以检测到作用在目标人体框上的点击事件并确定用户请求进行追焦。进一步的,相机应用开始请求数据流。
S801:相机应用向HAL层下发数据流请求S2。
相机应用可以向HAL层的芯片平台相机HAL和内部相机HAL下发数据流请求S2。可理解,数据流请求S2可以包括:pre1和pre2。
相应的,内部相机HAL可以接收数据流请求S2,并对该数据流请求S2进行解析,从而确定相机应用请求的数据流的数量和类型。具体地,内部相机HAL可以对该数据流请求进行解析,并得到pre1和pre2,然后根据pre1和pre2确定相机应用请求的是大窗预览流和小窗预览流。
S802:相机应用向内部相机HAL发送目标人体框信息。
可理解,目标人体框信息可以包括目标人体框的坐标。具体地,相机应用可以根据用户点击的位置确定目标人体框的坐标,并将其下发到HAL以待后续处理。
S803:摄像头向图像处理器1发送RAW图像。
S804:图像处理器1对RAW图像进行处理,得到4K YUV图像。
S805:图像处理器1向图像处理器2发送4K YUV图像。
S806:图像处理器2将4K YUV图像转换成1080P YUV图像和320P YUV图像。
可理解,步骤S803-步骤S806的相关描述可以参考步骤S702-步骤S705,在此不再赘述。
S807:图像处理器2将4K YUV图像、1080P YUV图像和320P YUV图像发送给内部相机HAL。
相应的,内部相机HAL可以接收图像处理器2发送的4K YUV图像、1080P YUV图像和320P YUV图像。
S808:内部相机HAL对320P YUV图像进行人体检测,得到人体框检测信息。
S809:内部相机HAL对1080P YUV图像进行防抖处理,得到抖动信息D1和处理后的1080P YUV图像。
S810:内部相机HAL基于抖动信息D1对人体框检测信息进行更新,得到更新后的人体框检测信息。
S811:内部相机HAL将更新后的人体框检测信息发送给相机应用。
S812:内部相机HAL将处理后的1080P YUV图像发送给相机应用。
可理解,步骤S808-步骤S812的相关描述可以参考步骤S707-步骤S711,在此不再赘述。
S813:内部相机HAL基于目标人体框信息和更新后的人体框检测信息进行追焦判断,得到追焦结果和人体框裁剪区域。
可理解,步骤S813的相关描述可以参考步骤S306,在此不再赘述。
S814:内部相机HAL向相机应用发送追焦结果。
相应的,相机应用可以接收内部相机HAL发送的追焦结果,并对追焦结果进行解析,然后判断追焦是否成功。
在本申请的一些实施例中,追焦结果可以用数字表示。例如,追焦结果为0时,表明追焦失败。追焦结果为1时,表明追焦成功。追焦结果为2时,表明丢失追焦目标。当然,追焦结果还可以为文字、字符串等其他形式,本申请对此不作限制。
在追焦失败的情况下,相机应用可以向HAL层下发关闭小窗请求,并停止请求pre2。可理解,相机应用可以继续执行步骤S712。
四、追焦成功(如图8b所示的步骤S815-步骤S822)
在相机应用根据追焦结果判断追焦成功的情况下,电子设备可以继续执行下面的步骤。
S815:相机应用基于更新后的人体检测信息和追焦结果对显示在显示屏上的人体框进行更新。
可理解,在追焦成功的情况下,相机应用可以改变目标人体框的UI显示,即对显示屏上的人体框进行更新,具体可参考前述实施例,在此不再赘述。
在本申请的一些实施例中,在追焦成功的情况下,内部相机HAL可以进行自动对焦。即自动将焦点锁定在追焦目标上。
S816:内部相机HAL对4K YUV图像进行防抖处理,得到抖动信息D2。
可理解,步骤S816的相关描述可以参考步骤S308,在此不再赘述。
S817:内部相机HAL根据4K YUV图像和1080P YUV图像确定倍数信息。
可理解,步骤S817的相关描述可以参考步骤S309,在此不再赘述。
S818:内部相机HAL基于抖动信息D2和倍数信息对人体框裁剪区域进行平滑处理,得到更新后的人体框裁剪区域。
可理解,步骤S818的相关描述可以参考步骤S310,在此不再赘述。
S819:内部相机HAL向芯片平台相机HAL发送更新后的人体框裁剪区域。
相应的,芯片平台相机HAL可以接收内部相机HAL发送的更新后的人体框裁剪区域。
S820:芯片平台相机HAL基于更新后的人体框裁剪区域来控制硬件模块对4K YUV图像进行裁剪处理,得到小窗图像。该小窗图像的尺寸为1080P。
可理解,步骤S820的相关描述可以参考步骤S311,在此不再赘述。
S821:芯片平台相机HAL向相机应用发送小窗图像。
相应的,相机应用可以接收芯片平台相机发送的小窗图像。
S822:相机应用基于处理后的1080P YUV图像和小窗图像分别获取大窗预览图像和小窗预览图像,并将其显示在显示屏上。
可理解,处理后的1080P YUV图像可以为前述实施例中的图像I4,小窗图像可以为前述实施例中的图像I5。
可理解,步骤S822的相关描述可以参考步骤S312-步骤S314,在此不再赘述。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种拍摄方法,其特征在于,应用于设置有摄像头的电子设备,所述方法包括:
显示拍摄界面;所述拍摄界面包括预览区域,所述预览区域用于显示所述摄像头采集的图像;
所述拍摄界面包含第一图像与第一控件;
检测到作用于所述第一控件的第一操作;
响应于所述第一操作,在所述第一图像上显示一个或多个标记;所述一个或多个标记用于标记所述第一图像中的拍摄对象;
检测到作用于第一标记上的第二操作;所述第一标记用于标记第一拍摄对象;
响应于所述第二操作,所述拍摄界面的预览区域上显示有第一窗口;所述第一窗口显示有所述第一拍摄对象的特写图像;所述拍摄界面包括录制控件;
检测到作用于所述录制控件上的第三操作;
响应于所述第三操作,所述电子设备开始录制视频;
所述拍摄界面上显示有第一录制时间;所述第一窗口上显示有第二录制时间。
2.如权利要求1所述的方法,其特征在于,在所述检测到作用于第一标记的第二操作之前,所述方法还包括:
对所述摄像头采集的RAW图像进行处理,得到第二图像和第三图像;所述第二图像的尺寸大于所述第三图像的尺寸;
对所述第二图像进行防抖处理,得到第一抖动信息;所述第一抖动信息包括第一抖动偏移量和第一抖动方向;
基于对象识别算法来对所述第三图像进行对象识别,并获取第一对象识别信息;所述第一对象识别信息包括一个或多个拍摄对象的坐标;
基于所述第一抖动信息,对所述第一对象识别信息进行处理,得到第二对象识别信息;所述第二对象识别信息包括的所述一个或多个拍摄对象的坐标用于在第一图像上显示一个或多个标记。
3.如权利要求2所述的方法,其特征在于,在所述检测到作用于第一标记的第二操作之后,所述方法包括:
获取所述第二操作的操作信息;
基于所述第二操作的操作信息和所述第二对象识别信息,确定追焦目标及所述追焦目标的坐标;所述追焦目标为所述第一拍摄对象;所述第一拍摄对象的坐标与所述第二操作的操作信息相匹配
基于所述追焦目标的坐标,确定第一裁剪区域;所述特写图像为基于所述第一裁剪区域生成的图像。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:
对所述摄像头采集的所述RAW图像进行处理,得到第四图像;
对所述第四图像进行防抖处理,得到第二抖动信息;所述第二抖动信息包括第二抖动偏移量和第二抖动方向;
基于所述第四图像和所述第三图像确定倍数信息;所述倍数信息包括所述第四图像与所述第三图像的比值;
基于所述第二抖动信息和所述倍数信息对所述第一裁剪区域进行处理,得到第二裁剪区域;
基于所述第二裁剪区域所包括的坐标对所述第四图像进行裁剪,得到第五图像;所述特写图像为基于所述第五图像生成的图像。
5.如权利要求4所述的方法,其特征在于,所述基于所述第二抖动信息和倍数信息对所述第一裁剪区域进行处理,得到第二裁剪区域,具体包括:
基于所述第二抖动偏移,对所述第一裁剪区域中的坐标进行与所述第二抖动方向相反的偏移处理,得到第三裁剪区域;
基于所述倍数信息对所述第三裁剪区域进行放大处理,得到所述第二裁剪区域。
6.如权利要求4或5所述的方法,其特征在于,所述基于所述第二抖动信息和所述倍数信息对所述第一裁剪区域进行处理,得到第二裁剪区域;基于所述第二裁剪区域所包括的坐标对所述第四图像进行裁剪,得到第五图像,具体包括:
所述电子设备中的内部相机HAL基于所述第二抖动信息和所述倍数信息对所述第一裁剪区域进行处理,得到所述第二裁剪区域;
所述内部相机HAL向所述电子设备中的芯片平台相机HAL发送所述第二裁剪区域;
所述芯片平台相机HAL基于所述第二裁剪区域所包括的坐标对所述第四图像进行裁剪,得到所述第五图像。
7.如权利要求4-6任一项所述的方法,其特征在于,所述得到第五图像之后,所述方法还包括:
对所述第五图像进行压缩处理,得到所述第一拍摄对象的特写图像。
8.如权利要求2-7任一项所述的方法,其特征在于,所述对所述第二图像进行防抖处理之后,还得到第六图像;所述方法还包括:
对所述第六图像进行压缩处理,得到所述预览区域当前显示的图像。
9.一种电子设备,包括摄像头、显示屏、存储器,以及一个或多个处理器,其特征在于,所述存储器用于存储计算机程序;所述处理器用于调用所述计算机程序,使得所述电子设备执行权利要求1-8中任一项所述的方法。
10.一种计算机存储介质,其特征在于,包括:计算机指令;当所述计算机指令在电子设备上运行时,使得所述电子设备执行权利要求1-8中任一项所述的方法。
CN202210603528.2A 2022-05-30 2022-05-30 一种拍摄方法及相关设备 Active CN116055868B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210603528.2A CN116055868B (zh) 2022-05-30 2022-05-30 一种拍摄方法及相关设备
PCT/CN2023/092374 WO2023231697A1 (zh) 2022-05-30 2023-05-05 一种拍摄方法及相关设备
EP23814883.7A EP4398594A1 (en) 2022-05-30 2023-05-05 Photographing method and related device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210603528.2A CN116055868B (zh) 2022-05-30 2022-05-30 一种拍摄方法及相关设备

Publications (2)

Publication Number Publication Date
CN116055868A true CN116055868A (zh) 2023-05-02
CN116055868B CN116055868B (zh) 2023-10-20

Family

ID=86126091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210603528.2A Active CN116055868B (zh) 2022-05-30 2022-05-30 一种拍摄方法及相关设备

Country Status (3)

Country Link
EP (1) EP4398594A1 (zh)
CN (1) CN116055868B (zh)
WO (1) WO2023231697A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023231697A1 (zh) * 2022-05-30 2023-12-07 荣耀终端有限公司 一种拍摄方法及相关设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070025723A1 (en) * 2005-07-28 2007-02-01 Microsoft Corporation Real-time preview for panoramic images
US20150009372A1 (en) * 2013-07-08 2015-01-08 Lg Electronics Inc. Electronic device and method of operating the same
KR20160136636A (ko) * 2015-05-20 2016-11-30 주식회사 와이즈오토모티브 파노라마 뷰 가변 시스템 및 이의 제어방법
WO2018166069A1 (zh) * 2017-03-14 2018-09-20 华为技术有限公司 拍照预览方法、图形用户界面及终端
CN110072070A (zh) * 2019-03-18 2019-07-30 华为技术有限公司 一种多路录像方法及设备
CN112825543A (zh) * 2019-11-20 2021-05-21 华为技术有限公司 一种拍摄的方法及设备
CN113365013A (zh) * 2020-03-06 2021-09-07 华为技术有限公司 一种音频处理方法及设备
WO2021213477A1 (zh) * 2020-04-22 2021-10-28 华为技术有限公司 多路录像的取景方法、图形用户界面及电子设备
CN113873166A (zh) * 2021-10-26 2021-12-31 维沃移动通信有限公司 视频拍摄方法、装置、电子设备和可读存储介质
WO2022068537A1 (zh) * 2020-09-29 2022-04-07 华为技术有限公司 一种图像处理方法及相关装置
CN114390213A (zh) * 2020-10-22 2022-04-22 华为技术有限公司 一种拍摄方法及设备
CN114466128A (zh) * 2020-11-09 2022-05-10 华为技术有限公司 目标用户追焦拍摄方法、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170180680A1 (en) * 2015-12-21 2017-06-22 Hai Yu Object following view presentation method and system
CN114339051A (zh) * 2021-12-30 2022-04-12 维沃移动通信有限公司 拍摄方法、装置、电子设备和可读存储介质
CN114422692B (zh) * 2022-01-12 2023-12-08 西安维沃软件技术有限公司 视频录制方法、装置及电子设备
CN116055868B (zh) * 2022-05-30 2023-10-20 荣耀终端有限公司 一种拍摄方法及相关设备
CN115484403B (zh) * 2022-08-08 2023-10-24 荣耀终端有限公司 录像方法和相关装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070025723A1 (en) * 2005-07-28 2007-02-01 Microsoft Corporation Real-time preview for panoramic images
US20150009372A1 (en) * 2013-07-08 2015-01-08 Lg Electronics Inc. Electronic device and method of operating the same
KR20160136636A (ko) * 2015-05-20 2016-11-30 주식회사 와이즈오토모티브 파노라마 뷰 가변 시스템 및 이의 제어방법
WO2018166069A1 (zh) * 2017-03-14 2018-09-20 华为技术有限公司 拍照预览方法、图形用户界面及终端
CN112954219A (zh) * 2019-03-18 2021-06-11 荣耀终端有限公司 一种多路录像方法及设备
CN110072070A (zh) * 2019-03-18 2019-07-30 华为技术有限公司 一种多路录像方法及设备
WO2020186969A1 (zh) * 2019-03-18 2020-09-24 华为技术有限公司 一种多路录像方法及设备
CN112825543A (zh) * 2019-11-20 2021-05-21 华为技术有限公司 一种拍摄的方法及设备
CN113365013A (zh) * 2020-03-06 2021-09-07 华为技术有限公司 一种音频处理方法及设备
WO2021213477A1 (zh) * 2020-04-22 2021-10-28 华为技术有限公司 多路录像的取景方法、图形用户界面及电子设备
WO2022068537A1 (zh) * 2020-09-29 2022-04-07 华为技术有限公司 一种图像处理方法及相关装置
CN114390213A (zh) * 2020-10-22 2022-04-22 华为技术有限公司 一种拍摄方法及设备
CN114466128A (zh) * 2020-11-09 2022-05-10 华为技术有限公司 目标用户追焦拍摄方法、电子设备及存储介质
CN113873166A (zh) * 2021-10-26 2021-12-31 维沃移动通信有限公司 视频拍摄方法、装置、电子设备和可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023231697A1 (zh) * 2022-05-30 2023-12-07 荣耀终端有限公司 一种拍摄方法及相关设备

Also Published As

Publication number Publication date
EP4398594A1 (en) 2024-07-10
CN116055868B (zh) 2023-10-20
WO2023231697A1 (zh) 2023-12-07

Similar Documents

Publication Publication Date Title
CN114205522B (zh) 一种长焦拍摄的方法及电子设备
US11831977B2 (en) Photographing and processing method and electronic device
WO2021244455A1 (zh) 一种图像内容的去除方法及相关装置
CN113489894B (zh) 一种长焦场景下的拍摄方法及终端
EP4060603A1 (en) Image processing method and related apparatus
CN113709354A (zh) 一种拍摄方法及电子设备
EP4325877A1 (en) Photographing method and related device
CN115967851A (zh) 快速拍照方法、电子设备及计算机可读存储介质
WO2023231697A1 (zh) 一种拍摄方法及相关设备
CN115633255A (zh) 视频处理方法和电子设备
CN116723383B (zh) 一种拍摄方法及相关设备
CN114827454B (zh) 视频的获取方法及装置
CN117119285A (zh) 一种拍摄方法
WO2021204103A1 (zh) 照片预览方法、电子设备和存储介质
CN114827439A (zh) 一种全景图像的拍摄方法及电子设备
CN116723382B (zh) 一种拍摄方法及相关设备
CN117177064B (zh) 一种拍摄方法及相关设备
CN116055863B (zh) 一种相机的光学图像稳定装置的控制方法及电子设备
WO2023035868A1 (zh) 拍摄方法及电子设备
CN117395496A (zh) 一种拍摄方法及相关设备
CN117459825A (zh) 一种拍摄方法和电子设备
CN113452895A (zh) 一种拍摄方法及设备
CN116347214A (zh) 一种图像采集方法、装置、作业记录仪及介质
CN114584817A (zh) 投屏方法及系统
CN117762279A (zh) 控制方法、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant