CN113676593B - 视频录制方法、装置、电子设备及存储介质 - Google Patents

视频录制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113676593B
CN113676593B CN202110905898.7A CN202110905898A CN113676593B CN 113676593 B CN113676593 B CN 113676593B CN 202110905898 A CN202110905898 A CN 202110905898A CN 113676593 B CN113676593 B CN 113676593B
Authority
CN
China
Prior art keywords
focus
focus tracking
azimuth information
acquisition device
following
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110905898.7A
Other languages
English (en)
Other versions
CN113676593A (zh
Inventor
翟雁琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110905898.7A priority Critical patent/CN113676593B/zh
Publication of CN113676593A publication Critical patent/CN113676593A/zh
Application granted granted Critical
Publication of CN113676593B publication Critical patent/CN113676593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Environmental & Geological Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种视频录制方法、装置、电子设备及存储介质，该视频录制方法应用于电子设备，所述电子设备包括音频采集装置以及图像采集装置，该方法包括：在电子设备进行视频录制的情况下，基于追焦对象在图像采集装置所拍摄的视频画面内的图像位置，确定追焦对象与音频采集装置之间的方位信息作为追焦方位信息；基于追焦方位信息，对追焦方位信息对应的目标声源执行追焦录音操作，追焦录音操作用于优化处理由音频采集装置所采集的所有声源中的目标声源的音频信号；若未检测到追焦对象在图像采集装置所拍摄的视频画面内，继续对追焦方位信息对应的目标声源执行追焦录音操作。本方法可以提升视频录制时的追焦录音的持续性。

Description

视频录制方法、装置、电子设备及存储介质
技术领域
本申请涉及电子设备技术领域，更具体地，涉及一种视频录制方法、装置、电子设备及存储介质。
背景技术
随着科技水平和生活水平的快速进步，各种电子设备(如智能手机、平板电脑等)成为人们生活中不可或缺的一部分。在人们使用电子设备的过程中，存在使用电子设备进行视频录制的场景。目前，在使用电子设备录制视频时，可以进行人体追踪，根据影像反馈结果，可以利用麦克风波束成行原理对目标人物追焦录音。但是，目前的追焦方式的持续追焦能力不足。
发明内容
鉴于上述问题，本申请提出了一种视频录制方法、装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种视频录制方法，应用于电子设备，所述电子设备包括音频采集装置以及图像采集装置，所述方法包括：在所述电子设备进行视频录制的情况下，基于追焦对象在所述图像采集装置所拍摄的视频画面内的图像位置，确定所述追焦对象与所述音频采集装置之间的方位信息作为追焦方位信息；基于所述追焦方位信息，对所述追焦方位信息对应的目标声源执行追焦录音操作，所述追焦录音操作用于优化处理由所述音频采集装置所采集的所有声源中的所述目标声源的音频信号；若未检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，继续对所述追焦方位信息对应的目标声源执行所述追焦录音操作。
第二方面，本申请实施例提供了一种视频录制装置，应用于电子设备，所述电子设备包括音频采集装置以及图像采集装置，所述装置包括：方位获取模块、第一追焦模块以及第二追焦模块，其中，所述方位获取模块用于在所述电子设备进行视频录制的情况下，基于追焦对象在所述图像采集装置所拍摄的视频画面内的图像位置，确定所述追焦对象与所述音频采集装置之间的方位信息作为追焦方位信息；所述第一追焦模块用于基于所述追焦方位信息，对所述追焦方位信息对应的目标声源执行追焦录音操作，所述追焦录音操作用于优化处理由所述音频采集装置所采集的所有声源中的所述目标声源的音频信号；所述第二追焦模块用于若未检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，继续对所述追焦方位信息对应的目标声源执行所述追焦录音操作。
第三方面，本申请实施例提供了一种电子设备，包括：音频采集装置；图像采集装置；一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的视频录制方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的视频录制方法。
本申请提供的方案，通过在电子设备进行视频录制的情况下，基于追焦对象在图像采集装置所拍摄的视频画面内的图像位置，确定追焦对象与音频采集装置之间的方位信息作为追焦方位信息，基于追焦方位信息，对追焦方位信息对应的目标声源执行追焦录音操作，追焦录音操作用于优化处理由音频采集装置所采集的所有声源中的目标声源的音频信号，若未检测到追焦对象在图像采集装置所拍摄的视频画面内，继续对追焦方位信息对应的目标声源执行追焦录音操作。由此，可以实现追焦对象在图像采集装置所拍摄的视频画面内消失时，即无法基于追焦对象的图像对目标图像追焦录音的时候，能够继续基于追焦对象的方位信息对应的声源进行追焦录音，提升追焦录音的持续性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本申请一个实施例的视频录制方法流程图。
图2示出了本申请实施例提供的一种使用场景的示意图。
图3示出了本申请实施例提供的追焦录音原理的示意图。
图4示出了根据本申请另一个实施例的视频录制方法流程图。
图5示出了另一个实施例提供的视频录制方法中步骤S260的流程图。
图6示出了根据本申请又一个实施例的视频录制方法流程图。
图7示出了根据本申请再一个实施例的视频录制方法流程图。
图8示出了根据本申请又另一个实施例的视频录制方法流程图。
图9示出了根据本申请一个实施例的视频录制装置的一种框图。
图10是本申请实施例的用于执行根据本申请实施例的视频录制方法的电子设备的框图。
图11是本申请实施例的用于保存或者携带实现根据本申请实施例的视频录制方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
随着电子设备的发展，智能手机、平板电脑等电子设备可以实现的功能越来越多，目前，大部分的电子设备可以支持视频录制的功能，用户使用电子设备拍摄视频的场景越来越多，跟随产品拍照能力的提升，相应的录音能力也需要同步提升，才不会出现音画不同步情况。针对目前使用手机平板等设备拍摄运动物体的场景时，需要同步录制对象的声音信息，使用人体追踪，根据影像反馈录制对象位置，再进行波束成形进行定向录音。
具体地，定向录音也可以称为追焦录音，具体地，音频采集装置，在获取每个音频信号到达多个麦克风的相位差和幅值差后，可以基于该相位差、幅值差以及多个麦克风之间的位置关系，获取多个音频信号各自对应的声源位置，具体地，每个声源的音频信号与该声源与麦克风的相位信息对应，从而将该相位信息作为声源的声源位置，其中，该相位信息包括相位角度和距离，而距离可以根据幅值而确定。
其中，多个音频信号各自对应的声源位置可以用于后续基于目标音频处理参数进行音频信号处理时提供参考依据。作为一种方式，由于电子设备的体积有限，多个麦克风之间的相对距离较小，可以默认忽略多个麦克风之间的相对距离，则可以基于相位差和幅值差，获取多个音频信号各自对应的声源位置。
在一些实施方式中，可以通过预设空间分布函数对相位差和幅值差进行计算，获得多个音频信号各自对应的声源位置。其中，预设空间分布函数的获取方式可以包括：在预先进行视频拍摄测试时，建立包括X轴、Y轴、Z轴的坐标系，电子设备位于该坐标系的原点，将声源分别放置在X轴、Y轴、Z轴区间的不同位置点(至少8个位置点，以保证每个轴的正负值都有一个测试的位置点)，测试时，可以通过不同的声源点到达多个麦克风的相位差和幅值差，建立起声源的空间分布函数，作为预设空间分布函数。
然而，发明人在研究中发现，上述的定向录音的过程容易出现录制对象突然在画面中丢失，例如，追焦对象被其他物体挡住，或者追焦对象移动出图像采集装置的视野范围内等，而导致电子设备失去了追焦对象的位置，从而无法准确定位录制对象声音，导致追焦录音的持续性较差，进而导致最终的录制效果不理想。
针对上述问题，发明人提出了本申请实施例提供的一种视频录制方法、装置、电子设备以及存储介质，可以实现追焦对象在图像采集装置所拍摄的视频画面内消失时，即无法基于追焦对象的图像对目标图像追焦录音的时候，能够继续基于追焦对象的方位信息对应的声源进行追焦录音，提升追焦录音的持续性。其中，具体的视频录制方法在后续的实施例中进行详细的说明。
请参阅图1，图1示出了本申请一个实施例提供的视频录制方法的流程示意图。在具体的实施例中，所述视频录制方法应用于电子设备，该电子设备可以包括音频采集装置以及图像采集装置。下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、笔记本电脑、录像机等，在此不做限定。下面将针对图1所示的流程进行详细的阐述，所述视频录制方法具体可以包括以下步骤：
步骤S110：在所述电子设备进行视频录制的情况下，基于追焦对象在所述图像采集装置所拍摄的视频画面内的图像位置，确定所述追焦对象与所述音频采集装置之间的方位信息作为追焦方位信息。
在本申请实施例中，电子设备可以对进行视频录制的情况进行检测，以在进行视频录制时，进行追焦录音。其中，电子设备进行视频录制可以是系统的视频录制应用，也可以是第三方的视频录制应用，例如，直播类型的应用程序、拍摄类的应用程序等，在此不做限定。
在一些实施方式中，电子设备的系统可以通过检测对摄像头的调用情况，以及系统中用于视频录制的类的调用情况。例如，电子设备的系统为安卓系统时，可以检测对MediaRecorder类的调用情况；当检测到对摄像头进行调用，且调用视频录制的类时，则可以确定进行视频录制的情况。
在另一些实施方式中，电子设备的系统也可以检测视频录制的接口是否被调用，以确定是否存在进行视频录制的情况。例如，电子设备的系统为安卓系统时，可以检测MediaProjection接口以及MediaProjectionManager接口是否被调用；当检测到视频录制的接口被调用时，以确定当前进行视频录制。当然，具体检测进行视频录制的情况的方式在本申请实施例中可以不作为限定。
在本申请实施例中，在电子设备进行视频录制的情况下，电子设备可以基于追焦对象在图像采集装置拍摄的画面内的图像位置，确定追焦对象与音频采集装置之间的方位信息，并且将该方位信息作为追焦方位信息，以根据该追焦方位信息实现追焦录音。
在一些实施方式中，音频采集装置所在的坐标系可以命名为空间声坐标系，其可以是以音频采集装置的位置为坐标原点而建立的三维立体坐标系。视频画面内的每个位置点均与空间声坐标系的各个位置点建立了映射关系，具体地，该视频画面对应指定坐标系，该指定坐标系为基于视频画面建立的坐标系。
在一种可能的实施方式中，该指定坐标系可以是图像坐标系，电子设备获取追焦对象在视频画面内的图像位置，可以是获取追焦对象在视频画面内的像素坐标。如图2所示，若电子设备在视频录制操作的情况下，追焦对象A1在图像采集装置的视野范围内，则在视频录制的画面内。例如，在视频录制应用的预览界面内显示有追焦对象的图像。可以理解地，视频画面内的每个对象的图像都对应一个图像位置，具体地，该图像位置可以是视频画面内的每个图像的像素坐标。例如，以视频画面的左上角的像素点至右下角的像素点，一共包括M*N个像素点，其中，M为画面的每一行的像素数量，N为画面的每一列的像素数量。从而每个物体的图像位置都可以由(ai，bj)来表示，其中，0＜i≤M，0＜j≤N，且，i和j均为正数。可选地，每个对象的图像位置可以是该对象的图像的中心点的像素点的像素坐标。
可选地，该图像坐标系为视频画面所在的坐标系，具体地，可以是基于该视频画面内的某个像素点为基准点而建立的坐标系，则每个对象的图像位置(即像素点坐标)，就能够反应每个对象的图像在图像坐标系内的图像坐标。如图2所示，假设以视频画面的指定边为X轴，其中，指定边为电子设备处于横屏模式的时候，横向的两条边中底部的一条边。以该指定边的中心点作为基准点，即坐标系的原点，经过该中心点且垂直于X轴的方向为Y轴，则可以确定视频画面内的某个对象的图像坐标为(x0，y0)。基于预先确定的图像坐标系与空间声坐标系的映射关系，能够确定该图像坐标(x0，y0)在空间声坐标系内的空间坐标，进而能够确定追焦对象与音频采集装置之间的方位信息。
作为另一种实施方式，该指定坐标系为相机坐标系，该相机坐标系为基于图像采集装置建立的空间坐标系。具体地，相机坐标系可以是以图像采集装置为坐标原点，以图像采集装置对应的深度方向为Z轴而建立的三维坐标系。基于该指定坐标系与空间声坐标系的映射关系，在确定了追焦对象在相机坐标系内的坐标信息，即目标位置之后，可以得到该追焦方位信息。可选地，在电子设备进行视频录制的情况下，可以基于追焦对象图像采集装置所拍摄的视频画面内的图像位置，确定追焦对象在相机坐标系内的坐标信息，作为相机坐标位置；然后，基于追焦对象的相机坐标位置，以及以上映射关系，确定追焦对象与音频采集装置之间的方位信息。
可选地，电子设备内安装有拍摄类的应用程序，在电子设备进行视频录制时，该应用程序被启动，并且该应用程序设置有预览界面，则在视频录制的时候，音频采集装置采集周围环境的音频信号，电子设备的图像采集装置采集其视野范围内的物体的图像，并且在相机应用程序的预览界面内显示，从而能够确定追焦对象在视频录制的视频画面内的图像位置。以图2为例，以垂直于电子设备的屏幕方向为Z轴方向，其Z轴方向与图像采集装置的深度方向一致，则追焦对象在相机坐标系内的坐标信息为(x0，y0，z0)，其中，z0为追焦对象的深度信息。可选地，追焦对象可以是人物，追焦对象为人物时，可以是以人物的人脸区域的中心点的图像位置在相机坐标系内的坐标点，作为该人物的坐标信息。因此，在确定了追焦对象之后，基于上述方法能够确定追焦对象的图像位置。
在以上实施方式中，可以预先建立相机坐标系与空间声坐标系的映射关系，从而在确定了追焦对象在相机坐标系内的坐标信息的时候，能够将该坐标信息映射到空间声坐标系内，从而能确定追焦对象在空间声坐标系内的坐标，即空间声坐标，基于该空间声坐标能够确定追焦对象与空间声坐标系的原点即音频采集装置的位置之间的方位信息。可选地，该方位信息可以包括相位角和距离等信息，该相位角用于表征追焦对象与音频采集装置之间的方位。
可选地，该音频采集装置可以是多个，则可以由多个音频采集装置确定一个等效位置，例如，将各个音频采集装置的位置的几何中心作为该等效位置，则该等效位置作为空间声坐标系的原点。
在一些实施方式中，该电子设备包括图像采集装置和音频采集装置，该音频采集装置与电子设备的图像采集装置之间的位置关系可以预先确定，从而能够预先根据该位置关系确定空间声坐标系与相机坐标系或图像坐标系之间的映射关系。另外，若图像采集装置和音频采集装置之间的位置相近，例如，二者之间的距离小于指定距离，则可以认为图像采集装置和音频采集装置位于相同的位置，即二者的坐标系的原点相同。
需要说明的是，本申请以电子设备包括图像采集装置和音频采集装置为例说明本申请的各个实施例，但是，该实施例也同样适用于该音频采集装置未安装于电子设备的情况，在此不做限定。
步骤S120：基于所述追焦方位信息，对所述追焦方位信息对应的目标声源执行追焦录音操作，所述追焦录音操作用于优化处理由所述音频采集装置所采集的所有声源中的所述目标声源的音频信号。
在本申请实施例中，追焦录音操作用于优化处理由音频采集装置所采集的所有声源中的目标声源的音频信号。其中，音频采集装置可以采集周围的声音，所采集的音频可以对应多个声源，并且能够确定每个声源的方位信息，具体地，可以根据每个声源的音频信号的幅度确定该声源与音频采集装置之间的距离，根据音频信号与音频采集装置之间的到达角可以确定相位角，从而能够确定方位信息，进而能确定每个声源所对应的方位信息。可选地，可以参考上述的预设空间分布函数，确定每个声源对应的方位信息。
然后，在获取到追焦方位信息的时候，该追焦方位信息可以作为目标声源在空间声坐标系内的位置，其中，该目标声源为与追焦方位信息对应的追焦对象的声源。再在音频采集装置所采集的所有的声源中，基于每个声源对应的方位信息，确定追焦方位信息对应的声源，作为目标声源。从而，电子设备就能够从音频采集装置所采集的多个音频信号中确定目标声源对应的音频信号，然后，对目标声源的音频信号优化处理。
在一些实施方式中，若电子设备包括音频采集装置和图像采集装置，且还包括处理器，音频采集装置和图像采集装置均与处理器连接，则处理器可以通过与音频采集装置和图像采集装置的预设接口获取音频采集装置采集的音频数据，以及获取图像采集装置采集的图像数据。音频采集装置采集的每个声源的音频数据的时候，对应获取每个声源的相位差和幅值差，并且，可以由音频采集装置基于每个声源的相位差和幅值差确定每个声源的方位信息，将每个声源的音频信号和每个声源对应的方位信息发送至处理器。
在另一些实施方式中，音频采集装置将每个声源的音频信号和每个声源对应的相位差和幅值差发送至处理器，由处理器根据每个声源对应的相位差和幅值差，依据前述方法确定每个声源对应的方位信息。
作为一种实施方式，确定音频采集装置与目标声源之间的目标波束角，则该目标波束角为前述的追焦方位信息，基于该目标波束角将音频采集装置所采集的所有音频中，波束角与该目标波束角匹配的音频信号作为第一音频信号，即该第一音频信号为追焦对象的音频信号，其他的音频信号作为第二音频信号。将第一音频信号优化处理，第二音频信号不执行优化处理。其中，波束角是指以音频采集装置与目标声源之间的中轴线，由此向外至能量强度减少一半(-3dB)处形成的角度。不同位置的声源与音频采集装置之间的波束角不同，因此，通过目标波束角能够筛选出目标声源的音频信号。
在一些实施方式中，对目标声源的音频信号优化处理的方式为，可以是对目标声源的音频信号提高增益以及滤波，例如，增益调整处理和频率处理，其中，增益调整处理包括增益增大操作和动态范围调整(Dynamic Range Control，DRC)，其中，增益增大操作包括对目标声源的音频信号的整个频域或时域部分的增益增大，动态范围调整是指用来动态调整音频输出幅值，在音量大时压制音量在某一范围内，在音量小时适当提升音量。通常用于控制音频输出功率，使扬声器不破音，当处于低音量播放时也能清晰听到。频率处理用于对目标声源的音频信号的不同频率部分进行处理，例如，EQ(均衡器，Equaliser)和降噪，其中，EQ用于通过对音频信号的某一个或多个频段进行增益或衰减，从而达到调整音色的目的；降噪可以是滤波，即将音频信号中的部分频段的信号滤除等，以降低音频信号中的噪声。
在一种可能的实施方式中，在对目标声源的音频信号进行增益增大操作时，还可以结合视频画面的拍摄参数，对该目标声源的音频信号进行增益增大操作。例如，拍摄参数可以包括拍摄的变焦倍数，采用同样的倍数对该目标声源的音频信号进行增益增大操作，由此，也可以实现目标声源的声音的变焦效果。
在一些实施方式中，电子设备对目标声源的音频信号进行优化处理，而对其他声源的音频信号不执行优化处理还可以是，对其他声源的音频信号执行弱化处理。可选地，可以是将其他声源的音频信号的幅值降低，从而降低其他声源的音频信号的音量，其中，降低幅度可以根据实际使用需求而设定，例如，可以将其他声源的音频信号的音量的降低至小于指定音量，该指定音量可以是一个较小的音量值，以该指定音量播放音频信号的时候，用户几乎无法听见该音频信号，可以看作是静音。
在一些实施方式中，在实现视频录制的追焦录音时，可以拍摄预览画面；在检测到用户的对焦操作时，例如单机对焦操作，响应于对焦操作，进行人、物等对象的对焦，完成相机对焦，并且将对焦的对象作为追焦对象，确定追焦对象对应的图像位置后，再确定追焦对象与音频采集装置之间的方位信息，再下发方位信息至音频处理系统，以使音频处理系统进行追焦录音操作。当然，电子设备也可以响应于用户的锁焦操作，将锁焦操作对应的对象作为锁焦对象；然后持续检测锁焦对象，确定追焦对象对应的图像位置，再确定追焦对象与音频采集装置之间的方位信息，再下发方位信息至音频处理系统，以使音频处理系统进行追焦录音操作。
在底层实现时，请参阅图3，图3示出了本申请实施例提供的追焦录音架构的示意图，该架构包括相机服务、相机APK(Android application package，Android应用程序包)以及音频系统。其中，相机APK用于用户意图的上报与数据的采集；相机服务器用于图像数据的采集与解析，与相机硬件抽象层(HAL，Hardware Abstraction Layer)进行交互，包含人脸信息识别、锁焦人/物识别、景深信息采集等；音频系统用于音频的采集和处理。相机HAL可以在检测到追焦对象出现于视频画面时，可以相应的位置信息至相机APK，相机APK可以基于位置信息，进行角度转换后，将相应的角度信息(追焦方位信息)传输至视频录制模块，视频录制模块再将角度信息传输至音频系统，音频系统进行录音波束角的调整和处理，从而实现追焦录音。
可选地，设置有指定音频接口，该指定音频接口被配置有变焦倍数、追焦角度(追焦方位)以及横竖屏状态等参数，相机APK可以通过该指定接口，对这些参数进行配置；此后，音频系统将该指定音频接口中配置的参数，传输至音频处理算法的模块，该模块用于基于获取的参数，进行上述的优化处理，处理完成后，再由音频系统进行编码，得到追焦录音的音频数据。
步骤S130：若未检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，继续对所述追焦方位信息对应的目标声源执行所述追焦录音操作。
在本申请实施例中，电子设备基于以上方位信息进行追焦录音后，还可以持续检测追焦对象是否出现在图像采集装置拍摄的视频画面内，若未出现在视频画面内，则可以继续对以上追焦方位信息对应的目标声源执行追焦录音操作。其中，在确定以上追焦方位信息的时候，需要基于追焦对象在图像采集装置所拍摄的视频画面内的位置来确定，而如果追焦对象述图像采集装置所拍摄的视频画面内消失，则会导致无法基于视频画面确定追焦对象的目标位置，进而无法确定追焦方位信息。因此，为了避免在追焦对象在图像采集装置所拍摄的视频画面内消失之后，无法追焦以上的追焦对象，从而导致追焦效果中断，则可以继续以上述追焦方位信息进行追焦，即继续基于以上追焦方位信息，对该追焦方位信息对应的目标声源进行追焦录音操作。可以理解地，在视频录制的场景中，追焦对象未出现在图像采集装置拍摄的视频画面内的情况下，大多情况下可能是追焦对象被遮挡，或者暂时离开图像采集装置的视野范围，因此，可以继续以以上追焦方位信息进行追焦录音，由此避免追焦效果不中断的同时，能够大概率地保证持续对以上追焦对象进行追焦录音。
在一些实施方式中，以上追焦对象可以是对象的关注区域，该对象可以是预先设置或者用户选择的对象，例如，可以为人、宠物等。其中，追焦对象可以是目标人物的指定区域，该指定区域可以是人脸区域或嘴部区域等。可选地，该追焦对象可以是人脸区域，当然，也可以是其他区域，在此不做限定。
在一些实施方式中，电子设备未检测到追焦对象在所述图像采集装置所拍摄的视频画面内可以是，确定图像采集装置所拍摄的视频画面内追焦对象的完整度。可选地，可以根据所采集的追焦对象的图像的各个特征点是否能够被检测到的判定结果来确定追焦对象的完整度。例如，追焦对象为人脸区域，则该各个特征点可以是五官特征点。若完整度低于指定完整度，则可以判定未检测到追焦对象在所述图像采集装置所拍摄的视频画面内。
本申请实施例提供的视频录制方法，在电子设备进行视频录制的情况下，基于追焦对象在图像采集装置所拍摄的视频画面内的图像位置，确定追焦对象与音频采集装置之间的方位信息作为追焦方位信息。基于追焦方位信息，对追焦方位信息对应的目标声源执行追焦录音操作。若未检测到追焦对象在图像采集装置所拍摄的视频画面内，由于失去了追焦对象在所述图像采集装置所拍摄的视频画面内的图像位置，从而无法确定目标对象方位信息，继而无法继续进行追焦录音，因此继续基于此前的追焦方位信息，对追焦方位信息对应的目标声源执行追焦录音操作，由此，可以实现追焦对象在图像采集装置所拍摄的视频画面内消失时，即无法基于追焦对象的图像对目标图像追焦录音的时候，能够继续基于追焦对象的方位信息对应的声源进行追焦录音，提升追焦录音的持续性。
请参阅图4，图4示出了本申请另一个实施例提供的视频录制方法的流程示意图。该视频录制方法应用于上述电子设备，下面将针对图4所示的流程进行详细的阐述，所述视频录制方法具体可以包括以下步骤：
步骤S210：在所述电子设备进行视频录制的情况下，基于追焦对象在所述图像采集装置所拍摄的视频画面内的图像位置，确定所述追焦对象与所述音频采集装置之间的方位信息作为追焦方位信息。
步骤S220：基于所述追焦方位信息，对所述追焦方位信息对应的目标声源执行追焦录音操作，所述追焦录音操作用于优化处理由所述音频采集装置所采集的所有声源中的所述目标声源的音频信号。
在本申请实施例中，步骤S210以及步骤S220可以参阅前述实施例的内容，在此不再赘述。
步骤S230：若未检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，获取所述追焦对象在所述图像采集装置所拍摄的视频画面内消失的持续时长。
在本申请实施例中，电子设备在电子设备基于以上方位信息进行追焦录音后，还可以持续检测追焦对象是否出现在图像采集装置拍摄的视频画面内，若未出现在视频画面内，可以获取追焦对象在图像采集装置所拍摄的视频画面内消失的持续时长。
在一些实施方式中，电子设备在进行追焦录音操作后，可以在确定目标对象在所述图像采集装置所拍摄的视频画面内消失的时刻起，进行计时；根据计时的时长，确定追焦对象在图像采集装置所拍摄的视频画面内消失的持续时长，以根据持续时长确定是否继续基于以上追焦方位信息进行追焦录音。
步骤S240：判断所述持续时长是否小于第一时长。
在本申请实施例中，电子设备在获取追焦对象在图像采集装置所拍摄的视频画面内消失的持续时长后，可以将持续时长与第一时长进行比较；基于比较结果，确定持续时长是否小于第一时长。其中，第一时长作为用于确定是否基于以上追焦方位信息进行追焦录音的判断依据，第一时长的时间长度可以是预先设定的，也可以是基于视频录制时的历史数据设定的。可选地，可以在多次对不同的对象进行录制时，确定对象在在图像采集装置的视野内消失，至消失之后再次出现的时长，得到多个历史消失时长，并基于多个历史消失时长确定第一时长。例如，可以获取多个历史消失时长的平均值(即平均消失时长)作为第一时长。可选地，该第一时长的取值范围是2-6秒，例如，可以是2秒。
若所述持续时长小于第一时长，执行步骤S250：继续对所述追焦方位信息对应的目标声源执行所述追焦录音操作。
在本申请实施例中，电子设备在判断以上持续时长是否小于第一时长后，可以根据判断结果，若该持续时长小于第一时长，则表示追焦对象消失的时长较短，可能是追焦对象被遮挡，或者暂时离开图像采集装置的视野范围，而在后续将会出现在拍摄的视频画面内。此时，电子设备可以继续以以上追焦方位信息进行追焦录音，由此避免追焦效果不中断的同时，能够大概率地保证持续对以上追焦对象进行追焦录音。
若所述持续时长大于或等于所述第一时长，执行步骤S260：确定新的方位信息。
在本申请实施例中，电子设备在判断以上持续时长是否小于第一时长后，可以根据判断结果，若该持续时长大于或等于第一时长，即持续时长不小于第一时长，则表示追焦对象消失的时长较久，追焦对象很大可能不会再出现于拍摄的视频画面内。此时，电子设备可以确定新的方位信息，以基于新的方位信息进行追焦录音。
在一些实施方式中，请参阅图5，电子设备确定新的方位信息，可以包括：
步骤S261：获取所述图像采集装置拍摄的当前视频画面。
步骤S262：基于所述当前视频画面确定新的追焦对象。
在该实施方式中，电子设备可以获取图像采集装置当前拍摄的视频画面，即当前视频画面，以基于当前视频画面确定新的追焦对象。
在一种可能的实施方式中，电子设备基于当前视频画面确定新的追焦对象，可以包括：确定所述当前视频画面中的所有主体对象；获取所述所有主体对象中每个主体对象的优先级；根据所述每个主体对象的优先级，由所述所有主体对象中获取优先级最高的主体对象，作为新的追焦对象。其中，主体对象可以为人脸、宠物、野兽等对象，在此不做限定。电子设备中可以预先设置有不同主体对象的优先级，并且，不同优先级的高低顺序可以不同。以主体对象包括人脸、宠物、野兽为例，人脸可以对应第一优先级，宠物可以对应第二优先级，野兽可以对应第三优先级，第一优先级、第二优先级以及第三优先级的优先级顺序依次降低。电子设备通过对当前视频画面中的所有主体对象进行识别后，可以确定每个主体对象的优先级，然后对各个主体对象的优先级进行排序，并将优先级最高的主体对象作为新的追焦对象。
在另一种可能的实施方式中，也可以基于用户的选择操作，确定新的追焦对象。其中，电子设备可以显示视频录制的预览画面，并且可以检测用户在预览画面上所选中的对象，作为新的追焦对象。以上选择操作可以是用户输入的指定触控操作，例如，电子设备可以根据用户的点击操作，确定点击操作所对应的显示区域，并将该显示区域内的对象作为新的追焦对象。
在又一种可能的实施方式中，以上对象可以是能够发出声音的物体，例如，可以是人、宠物等。电子设备可以获取当前拍摄画面，并且识别当前拍摄画面中的能够发出声音的物体，将识别出的该物体作为新的追焦对象。可选地，可以识别当前拍摄画面中与此前的追焦对象的类型相同的对象，作为新的追焦对象。
在再一种可能的实施方式中，可以作为追焦对象的主体可以为人脸。可选地，电子设备可以识别当前拍摄画面中的所有人脸，并确定所有人脸在当前拍摄画面中所占的比例，然后将所占的比例最大的人脸，确定为新的追焦对象。可选地，电子设备可以识别当前拍摄画面中的所有人脸，并基于音频采集装置采集的音频信号中的声源，确定识别的所有人脸中当前发声的人物对应的人脸，将当前发声的人物对应的人脸作为新的追焦对象，在识别出多个人物发声时，还可以将发声音量最大的声源对应的人脸作为新的追焦对象。可选地，电子设备识别当前拍摄画面中的所有人脸，并通过人脸识别，确定各个人脸的身份信息，将识别到身份信息的多个人脸作为多个待选人脸；再获取多个待选人脸中每个待选人脸的身份信息与电子设备对应的用户之间的关联程度，该关联程度可以是基于预先获取的人物关系的知识图谱确定，例如，可以根据该知识图谱中，与电子设备的用户的关系最为紧密的人物，并将该人物的人脸作为新的追焦对象。当然，电子设备具体确定新的追焦对象的方式可以不做限定。
步骤S263：获取新的追焦对象对应的第一位置，并基于所述第一位置确定新的方位信息。
在本申请实施例中，电子设备在获取到新的追焦对象后，则可以从拍摄画面中确定新的追焦对象对应的图像位置，作为第一位置；然后基于该第一位置，确定新的方位信息。其中，电子设备基于追焦对象的位置确定新的方位信息的方式，可以参阅前述实施例的内容，在此不再赘述。
在一些实施方式中，电子设备确定新的方位信息，也可以是将预先设置的方位信息作为新的方位信息。例如，电子设备中预先设置有默认情况下，进行追焦录音的方位信息，则电子设备可以将该方位信息作为新的方位信息。
步骤S270：基于所述新的方位信息，对所述追焦方位信息进行更新。
在本申请实施例中，电子设备在获取到新的方位信息之后，则可以对以上追焦方位信息进行更新。具体地，电子设备可以将追焦方位信息更新为获取到的新的方位信息，以便基于新的方位信息进行追焦录音。
步骤S280：对更新后的所述追焦方位信息所对应的目标声源执行所述追焦录音操作。
在本申请实施例中，电子设备对追焦方位信息更新后，可以基于更新后的追焦方位信息，对更新后的追焦方位信息所对应的目标声源执行追焦录音操作。其中，执行追焦录音操作的实施方式可以参阅前述实施例的内容，在此不再赘述。
本申请实施例提供的视频录制方法，在电子设备进行视频录制的情况下，基于追焦对象在图像采集装置所拍摄的视频画面内的图像位置，确定追焦对象与音频采集装置之间的方位信息作为追焦方位信息。基于追焦方位信息，对追焦方位信息对应的目标声源执行追焦录音操作。若未检测到追焦对象在图像采集装置所拍摄的视频画面内，对追焦对象消失的时长进行检测，若持续时长小于第一时长，则可以继续基于此前的追焦方位信息，对追焦方位信息对应的目标声源执行追焦录音操作，由此，可以实现追焦对象在图像采集装置所拍摄的视频画面内消失时，即无法基于追焦对象的图像对目标图像追焦录音的时候，能够继续基于追焦对象的方位信息对应的声源进行追焦录音，提升追焦录音的持续性。若持续时长不小于第一时长，表示此前的追焦对象可能不会再出现在拍摄画面内，因此重新获取新的方位信息，以基于新的方位信息进行追焦录音，在保证追焦录音的持续性的同时，也提升了追焦录音的准确性。
请参阅图6，图6示出了本申请又一个实施例提供的视频录制方法的流程示意图。该视频录制方法应用于上述电子设备，下面将针对图6所示的流程进行详细的阐述，所述视频录制方法具体可以包括以下步骤：
步骤S310：在所述电子设备进行视频录制的情况下，基于追焦对象在所述图像采集装置所拍摄的视频画面内的图像位置，确定所述追焦对象与所述音频采集装置之间的方位信息作为追焦方位信息。
步骤S320：基于所述追焦方位信息，对所述追焦方位信息对应的目标声源执行追焦录音操作，所述追焦录音操作用于优化处理由所述音频采集装置所采集的所有声源中的所述目标声源的音频信号。
步骤S330：若未检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，获取所述追焦对象在所述图像采集装置所拍摄的视频画面内消失的持续时长。
步骤S340：判断所述持续时长是否小于第一时长。
若所述持续时长小于第一时长，执行步骤S350：继续对所述追焦方位信息对应的目标声源执行所述追焦录音操作。
在本申请实施例中，步骤S310至步骤S350可以参阅前述实施例的内容，在此不再赘述。
若所述持续时长大于或等于所述第一时长，执行步骤S360：停止执行所述追焦录音操作。
在本申请实施例中，电子设备在判断以上持续时长是否小于第一时长后，可以根据判断结果，若该持续时长大于或等于第一时长，即持续时长不小于第一时长，则表示追焦对象消失的时长较久，追焦对象很大可能不会再出现于拍摄的视频画面内。此时，电子设备也可以停止追焦录音，以避免追焦录音得到的声音与图像采集装置采集的画面不对应的情况发生。具体地，电子设备停止追焦录音的情况下，可以执行全局录音，即对所有的方位信息对应的声源执行相同的音频处理操作。
在一些实施方式中，电子设备可以在停止追焦录音之前，还可以判断当前目标声源的音频数据的幅值是否大于指定幅值，若大于指定幅值，则表示目标声源的音频数据有效，即当前的追焦方位信息对应的位置处存在声源，因此可以继续使用以上追焦方位信息进行追焦录音；而目标声源的音频数据的幅值不大于指定幅值时，则表示目标声源的音频数据无效，即当前的追焦方位信息对应的位置处可能不存在声源，该情况下，则可以停止追焦录音。
本申请实施例提供的视频录制方法，在电子设备进行视频录制的情况下，基于追焦对象在图像采集装置所拍摄的视频画面内的图像位置，确定追焦对象与音频采集装置之间的方位信息作为追焦方位信息。基于追焦方位信息，对追焦方位信息对应的目标声源执行追焦录音操作。若未检测到追焦对象在图像采集装置所拍摄的视频画面内，对追焦对象消失的时长进行检测，若持续时长小于第一时长，则可以继续基于此前的追焦方位信息，对追焦方位信息对应的目标声源执行追焦录音操作，由此，可以实现追焦对象在图像采集装置所拍摄的视频画面内消失时，即无法基于追焦对象的图像对目标图像追焦录音的时候，能够继续基于追焦对象的方位信息对应的声源进行追焦录音，提升追焦录音的持续性。若持续时长不小于第一时长，表示此前的追焦对象可能不会再出现在拍摄画面内，为避免音画不同步的情况发生，停止追焦录音，保证了视频录制时音频录制的准确性。
请参阅图7，图7示出了本申请再一个实施例提供的视频录制方法的流程示意图。该视频录制方法应用于上述电子设备，下面将针对图7所示的流程进行详细的阐述，所述视频录制方法具体可以包括以下步骤：
步骤S410：在所述电子设备进行视频录制的情况下，基于追焦对象在所述图像采集装置所拍摄的视频画面内的图像位置，确定所述追焦对象与所述音频采集装置之间的方位信息作为追焦方位信息。
步骤S420：基于所述追焦方位信息，对所述追焦方位信息对应的目标声源执行追焦录音操作，所述追焦录音操作用于优化处理由所述音频采集装置所采集的所有声源中的所述目标声源的音频信号。
步骤S430：若未检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，继续对所述追焦方位信息对应的目标声源执行所述追焦录音操作。
在本申请实施例中，步骤S410至步骤S430可以参阅前述实施例的内容，在此不再赘述。
步骤S440：若重新检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，重新确定所述追焦对象与所述音频采集装置之间的方位信息，并对所述追焦方位信息进行更新。
在本申请实施例中，电子设备在追焦对象消失后，还可以继续检测追焦对象在图像采集装置拍摄的视频画面内是否出现，若重新检测到追焦对象在图像采集装置所拍摄的视频画面内出现，则可以重新确定追焦对象与音频采集装置之间的方位信息，并对以上追焦方位信息进行更新。其中，电子设备可以基于追焦对象重新出现于视频画面内的图像位置，确定追焦对象与音频采集装置之间的方位信息，具体确定方位信息的方式可以参阅前述实施例的内容，在此不再赘述。可以理解地，在追焦对象重新在拍摄的视频画面内出现时，则表示该追焦对象被遮挡或者暂时离开图像采集装置的视野范围，而其重新出现时，其位置可能产生变化，因此可以重新确定方位信息，并对追焦方位信息进行更新，以保证追焦录音的准确性。具体地，电子设备可以将重新确定的方位信息作为追焦方位信息。
在一些实施方式中，若重新检测到追焦对象在图像采集装置所拍摄的视频画面内，还可以获取追焦对象在所述图像采集装置所拍摄的视频画面内消失的持续时长；将该持续时长与第二时长进行比较；基于比较结果，确定持续时长是否小于第二时长。其中，第二时长作为用于确定是否重新确定方位信息对追焦方位信息进行更新的判断依据，第二时长的时间长度可以是预先设定的，也可以是基于视频录制时的历史数据设定的。可选地，可以在多次对不同的对象进行录制时，确定对象在在图像采集装置的视野内消失，至消失之后再次出现的时长，得到多个历史消失时长，并基于多个历史消失时长确定第二时长。例如，可以获取多个历史消失时长的平均值(即平均消失时长)作为第二时长。可选地，该第二时长的取值范围是2-6秒，例如，可以是2秒。需要说明的是，第二时长可以与前述的第一时长相同，也可以不同。
进一步地，若持续时长小于第二时长，则表示追焦对象消失的时长较短，即该追焦对象只是短暂地消失，该情况下，电子设备不太可能已切换追焦对象，因此可以重新确定此前的追焦对象与音频采集装置之间的方位信息，并对追焦方位信息进行更新。而在持续时长不小于第二时长的情况下，电子设备很可能已进行追焦对象的切换，或者已经不再进行追焦录音，因此，可以不执行重新确定此前的追焦对象与音频采集装置之间的方位信息，即保持当前的录音状态。
步骤S450：对更新后的所述追焦方位信息对应的目标声源执行追焦录音操作。
在本申请实施例中，步骤S450可以参阅前述实施例的内容，在此不再赘述。
本申请实施例提供的视频录制方法，可以实现追焦对象在图像采集装置所拍摄的视频画面内消失时，即无法基于追焦对象的图像对目标图像追焦录音的时候，能够继续基于追焦对象的方位信息对应的声源进行追焦录音，提升追焦录音的持续性。另外，在追焦对象重新出现时，对追焦方位信息进行更新，由此保证了追焦录音的准确性。
请参阅图8，图8示出了本申请又另一个实施例提供的视频录制方法的流程示意图。该视频录制方法应用于上述电子设备，下面将针对图8所示的流程进行详细的阐述，所述视频录制方法具体可以包括以下步骤：
步骤S510：在所述电子设备进行视频录制的情况下，基于追焦对象在所述图像采集装置所拍摄的视频画面内的图像位置，确定所述追焦对象与所述音频采集装置之间的方位信息作为追焦方位信息。
步骤S520：基于所述追焦方位信息，对所述追焦方位信息对应的目标声源执行追焦录音操作，所述追焦录音操作用于优化处理由所述音频采集装置所采集的所有声源中的所述目标声源的音频信号。
步骤S530：若未检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，继续对所述追焦方位信息对应的目标声源执行所述追焦录音操作。
在本申请实施例中，步骤S510至步骤S530可以参阅前述实施例的内容，在此不再赘述。
步骤S540：响应于针对所述追焦对象的更新操作，对所述追焦对象进行更新。
在本申请实施例中，在追焦对象在图像采集装置所拍摄的视频画面内消失后，电子设备采用此前的追焦方位信息进行追焦录音的情况下，也可以检测用户针对追焦对象的更新操作，以对追焦对象进行更新。其中，电子设备可以显示视频录制的预览画面，并且可以检测用户在预览画面上所选中的对象，作为新的追焦对象，并将追焦对象更新为该新的追焦对象。以上选择操作可以是用户输入的指定触控操作，例如，电子设备可以根据用户的点击操作，确定点击操作所对应的显示区域，并将该显示区域内的对象作为新的追焦对象。
步骤S550：获取更新后的所述追焦对象对应的第二位置，并基于所述第二位置确定新的方位信息，对所述追焦方位信息进行更新。
在本申请实施例中，电子设备在对追焦对象进行更新后，则可以从拍摄画面中，确定更新后的追焦对象所对应的图像位置，作为第二位置；然后基于该第二位置，确定新的方位信息，并将以上追焦方位信息更新为该新的方位信息。其中，电子设备基于追焦对象的位置确定新的方位信息的方式，可以参阅前述实施例的内容，在此不再赘述。
步骤S560：对更新后的所述追焦方位信息所对应的目标声源执行所述追焦录音操作。
在本申请实施例中，步骤S560可以参阅前述实施例的内容，在此不再赘述。
本申请实施例提供的视频录制方法，可以实现追焦对象在图像采集装置所拍摄的视频画面内消失时，即无法基于追焦对象的图像对目标图像追焦录音的时候，能够继续基于追焦对象的方位信息对应的声源进行追焦录音，提升追焦录音的持续性。另外，在基于此前的追焦方位信息进行追焦录音的情况下，还可以基于用户对追焦对象的更新操作，对追焦对象进行更新后，再对追焦方位信息进行更新，由此保证了追焦录音的准确性。
请参阅图9，其示出了本申请实施例提供的一种视频录制装置400的结构框图。该视频录制装置400应用上述的电子设备，所述电子设备包括音频采集装置以及图像采集装置。该视频录制装置400包括：方位获取模块410、第一追焦模块420以及第二追焦模块430。其中，所述方位获取模块410用于在所述电子设备进行视频录制的情况下，基于追焦对象在所述图像采集装置所拍摄的视频画面内的图像位置，确定所述追焦对象与所述音频采集装置之间的方位信息作为追焦方位信息；所述第一追焦模块420用于基于所述追焦方位信息，对所述追焦方位信息对应的目标声源执行追焦录音操作，所述追焦录音操作用于优化处理由所述音频采集装置所采集的所有声源中的所述目标声源的音频信号；所述第二追焦模块430用于若未检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，继续对所述追焦方位信息对应的目标声源执行所述追焦录音操作。
在一些实施方式中，所述第二追焦模块430可以用于：若未检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，获取所述追焦对象在所述图像采集装置所拍摄的视频画面内消失的持续时长；若所述持续时长小于第一时长，继续对所述追焦方位信息对应的目标声源执行所述追焦录音操作。
作为一种可能的实施方式，该视频录制装置400还可以包括：第一更新模块以及第三追焦模块。方位获取模块410还用于若所述持续时长大于或等于所述第一时长，确定新的方位信息；第一更新模块用于基于所述新的方位信息，对所述追焦方位信息进行更新；第三追焦模块用于对更新后的所述追焦方位信息所对应的目标声源执行所述追焦录音操作。
在该实施方式中，方位获取模块410可以具体用于：若所述持续时长大于或等于所述第一时长，获取所述图像采集装置拍摄的当前视频画面；基于所述当前视频画面确定新的追焦对象；获取新的追焦对象对应的第一位置，并基于所述第一位置确定新的方位信息。
可选地，方位获取模块410基于所述当前视频画面确定新的追焦对象，可以包括：确定所述当前视频画面中的所有主体对象；获取所述所有主体对象中每个主体对象的优先级；根据所述每个主体对象的优先级，由所述所有主体对象中获取优先级最高的主体对象，作为新的追焦对象。
在一种可能的实施方式中，该视频录制装置400还可以包括：追焦停止模块。追焦停止模块用于若所述持续时长大于或等于所述第一时长，停止执行所述追焦录音操作。
在一些实施方式中，该视频录制装置400还可以包括：第二更新模块以及第四追焦模块。第二更新模块用于在所述若未检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，继续对所述追焦方位信息对应的目标声源执行所述追焦录音操作之后，若重新检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，重新确定所述追焦对象与所述音频采集装置之间的方位信息，并对所述追焦方位信息进行更新；第四追焦模块用于对更新后的所述追焦方位信息对应的目标声源执行追焦录音操作。
在一种可能的实施方式中，第二更新模块可以用于：若重新检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，获取所述追焦对象在所述图像采集装置所拍摄的视频画面内消失的持续时长；若所述持续时长小于第二时长，重新确定所述追焦对象与所述音频采集装置之间的方位信息，并对所述追焦方位信息进行更新。
在一些实施方式中，该视频录制装置400还可以包括：第三更新模块、第四更新模块以及第五追焦模块。第三更新模块可以用于在所述若未检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，继续对所述追焦方位信息对应的目标声源执行所述追焦录音操作之后，响应于针对所述追焦对象的更新操作，对所述追焦对象进行更新；第四更新模块用于获取更新后的所述追焦对象对应的第二位置，并基于所述第二位置确定新的方位信息，对所述追焦方位信息进行更新；第五追焦模块用于对更新后的所述追焦方位信息所对应的目标声源执行所述追焦录音操作。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上所述，本申请提供的方案，通过在电子设备进行视频录制的情况下，基于追焦对象在图像采集装置所拍摄的视频画面内的图像位置，确定追焦对象与音频采集装置之间的方位信息作为追焦方位信息，基于追焦方位信息，对追焦方位信息对应的目标声源执行追焦录音操作，追焦录音操作用于优化处理由音频采集装置所采集的所有声源中的目标声源的音频信号，若未检测到追焦对象在图像采集装置所拍摄的视频画面内，继续对追焦方位信息对应的目标声源执行追焦录音操作。由此，可以实现追焦对象在图像采集装置所拍摄的视频画面内消失时，即无法基于追焦对象的图像对目标图像追焦录音的时候，能够继续基于追焦对象的方位信息对应的声源进行追焦录音，提升追焦录音的持续性。
请参考图10，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、笔记本电脑、录像机等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120、音频采集装置130、图像采集装置140以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
音频采集装置130可以是麦克风，例如，可以是多个麦克风组成的麦克风阵列，图像采集装置140可以是摄像头等装置。
请参考图11，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种视频录制方法，其特征在于，应用于电子设备，所述电子设备包括音频采集装置以及图像采集装置，所述方法包括：
在所述电子设备进行视频录制的情况下，基于追焦对象在所述图像采集装置所拍摄的视频画面内的图像位置，确定所述追焦对象与所述音频采集装置之间的方位信息作为追焦方位信息；
基于所述追焦方位信息，对所述追焦方位信息对应的目标声源执行追焦录音操作，所述追焦录音操作用于优化处理由所述音频采集装置所采集的所有声源中的所述目标声源的音频信号；
若未检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，获取所述追焦对象在所述图像采集装置所拍摄的视频画面内消失的持续时长；
若所述持续时长小于第一时长，继续对所述追焦方位信息对应的目标声源执行所述追焦录音操作；
若所述持续时长大于或等于所述第一时长，获取所述图像采集装置拍摄的当前视频画面；
基于所述当前视频画面确定新的追焦对象；
获取新的追焦对象对应的第一位置，并基于所述第一位置确定新的方位信息；
基于所述新的方位信息，对所述追焦方位信息进行更新；
对更新后的所述追焦方位信息所对应的目标声源执行所述追焦录音操作。
2.根据权利要求1所述的方法，其特征在于，所述基于所述当前视频画面确定新的追焦对象，包括：
确定所述当前视频画面中的所有主体对象；
获取所述所有主体对象中每个主体对象的优先级；
根据所述每个主体对象的优先级，由所述所有主体对象中获取优先级最高的主体对象，作为新的追焦对象。
3.根据权利要求1所述的方法，其特征在于，在所述获取所述追焦对象在所述图像采集装置所拍摄的视频画面内消失的持续时长之后，所述方法还包括：
若所述持续时长大于或等于所述第一时长，停止执行所述追焦录音操作。
4.根据权利要求1-3任一项所述的方法，其特征在于，在所述若未检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，继续对所述追焦方位信息对应的目标声源执行所述追焦录音操作之后，所述方法还包括：
若重新检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，重新确定所述追焦对象与所述音频采集装置之间的方位信息，并对所述追焦方位信息进行更新；
对更新后的所述追焦方位信息对应的目标声源执行追焦录音操作。
5.根据权利要求4所述的方法，其特征在于，所述若重新检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，重新确定所述追焦对象与所述音频采集装置之间的方位信息，并对所述追焦方位信息进行更新，包括：
若重新检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，获取所述追焦对象在所述图像采集装置所拍摄的视频画面内消失的持续时长；
若所述持续时长小于第二时长，重新确定所述追焦对象与所述音频采集装置之间的方位信息，并对所述追焦方位信息进行更新。
6.根据权利要求1-3任一项所述的方法，其特征在于，在所述若未检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，继续对所述追焦方位信息对应的目标声源执行所述追焦录音操作之后，所述方法还包括：
响应于针对所述追焦对象的更新操作，对所述追焦对象进行更新；
获取更新后的所述追焦对象对应的第二位置，并基于所述第二位置确定新的方位信息，对所述追焦方位信息进行更新；
对更新后的所述追焦方位信息所对应的目标声源执行所述追焦录音操作。
7.一种视频录制装置，其特征在于，应用于电子设备，所述电子设备包括音频采集装置以及图像采集装置，所述装置包括：方位获取模块、第一追焦模块以及第二追焦模块，其中，
所述方位获取模块用于在所述电子设备进行视频录制的情况下，基于追焦对象在所述图像采集装置所拍摄的视频画面内的图像位置，确定所述追焦对象与所述音频采集装置之间的方位信息作为追焦方位信息；
所述第一追焦模块用于基于所述追焦方位信息，对所述追焦方位信息对应的目标声源执行追焦录音操作，所述追焦录音操作用于优化处理由所述音频采集装置所采集的所有声源中的所述目标声源的音频信号；
所述第二追焦模块用于若未检测到所述追焦对象在所述图像采集装置所拍摄的视频画面内，获取所述追焦对象在所述图像采集装置所拍摄的视频画面内消失的持续时长；若所述持续时长小于第一时长，继续对所述追焦方位信息对应的目标声源执行所述追焦录音操作；若所述持续时长大于或等于所述第一时长，获取所述图像采集装置拍摄的当前视频画面；基于所述当前视频画面确定新的追焦对象；获取新的追焦对象对应的第一位置，并基于所述第一位置确定新的方位信息；基于所述新的方位信息，对所述追焦方位信息进行更新；对更新后的所述追焦方位信息所对应的目标声源执行所述追焦录音操作。
8.一种电子设备，其特征在于，包括：
音频采集装置；
图像采集装置；
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-6任一项所述的方法。
9.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-6任一项所述的方法。
CN202110905898.7A 2021-08-06 2021-08-06 视频录制方法、装置、电子设备及存储介质 Active CN113676593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110905898.7A CN113676593B (zh) 2021-08-06 2021-08-06 视频录制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110905898.7A CN113676593B (zh) 2021-08-06 2021-08-06 视频录制方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113676593A CN113676593A (zh) 2021-11-19
CN113676593B true CN113676593B (zh) 2022-12-06

Family

ID=78541822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110905898.7A Active CN113676593B (zh) 2021-08-06 2021-08-06 视频录制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113676593B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103916723A (zh) * 2013-01-08 2014-07-09 联想(北京)有限公司 一种声音采集方法以及一种电子设备
WO2016082199A1 (zh) * 2014-11-28 2016-06-02 华为技术有限公司 录取录像对象的声音的方法和移动终端
CN109922311A (zh) * 2019-02-12 2019-06-21 平安科技（深圳）有限公司 基于音视频联动的监控方法、装置、终端及存储介质
CN110572600A (zh) * 2019-08-20 2019-12-13 维沃移动通信有限公司 一种录像处理方法及电子设备
CN111078185A (zh) * 2019-12-26 2020-04-28 珠海格力电器股份有限公司 录制声音的方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103916723A (zh) * 2013-01-08 2014-07-09 联想(北京)有限公司 一种声音采集方法以及一种电子设备
WO2016082199A1 (zh) * 2014-11-28 2016-06-02 华为技术有限公司 录取录像对象的声音的方法和移动终端
CN109922311A (zh) * 2019-02-12 2019-06-21 平安科技（深圳）有限公司 基于音视频联动的监控方法、装置、终端及存储介质
CN110572600A (zh) * 2019-08-20 2019-12-13 维沃移动通信有限公司 一种录像处理方法及电子设备
CN111078185A (zh) * 2019-12-26 2020-04-28 珠海格力电器股份有限公司 录制声音的方法及设备

Also Published As

Publication number Publication date
CN113676593A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
US10249299B1 (en) Tailoring beamforming techniques to environments
CN113676592B (zh) 录音方法、装置、电子设备及计算机可读介质
EP3846020A1 (en) Sound effect adjusting method and apparatus, electronic device, and storage medium
CN109284080B (zh) 音效调整方法、装置、电子设备以及存储介质
CN108076226B (zh) 一种通话质量调整的方法、移动终端及存储介质
CN113014983B (zh) 视频播放方法、装置、存储介质及电子设备
CN109286772B (zh) 音效调整方法、装置、电子设备以及存储介质
CN109240641B (zh) 音效调整方法、装置、电子设备以及存储介质
CN113596240B (zh) 录音方法、装置、电子设备及计算机可读介质
US9756421B2 (en) Audio refocusing methods and electronic devices utilizing the same
CN110392334A (zh) 一种麦克风阵列音频信号自适应处理方法、装置及介质
CN113676593B (zh) 视频录制方法、装置、电子设备及存储介质
CN113395451B (zh) 视频拍摄方法、装置、电子设备以及存储介质
CN113411725B (zh) 音频播放方法、装置、移动终端及存储介质
JP2018006826A (ja) 音声信号処理装置および音声信号処理方法
CN113542466A (zh) 音频处理方法、电子设备及存储介质
CN111179984B (zh) 音频数据处理方法、装置及终端设备
CN104469250A (zh) 一种信息处理方法及电子设备
CN113905302A (zh) 触发提示信息的方法、装置以及耳机
CN113436613A (zh) 语音识别方法、装置、电子设备及存储介质
CN113542606A (zh) 拍摄控制方法、装置、电子设备及存储介质
CN113660599A (zh) 扬声器的控制方法、装置、移动终端及存储介质
WO2021073336A1 (en) A system and method for creating real-time video
US11917386B2 (en) Estimating user location in a system including smart audio devices
US20240177335A1 (en) Data processing method, electronic apparatus, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant