CN113645429B - 一种视频获取方法及电子设备 - Google Patents

一种视频获取方法及电子设备 Download PDF

Info

Publication number
CN113645429B
CN113645429B CN202110966395.0A CN202110966395A CN113645429B CN 113645429 B CN113645429 B CN 113645429B CN 202110966395 A CN202110966395 A CN 202110966395A CN 113645429 B CN113645429 B CN 113645429B
Authority
CN
China
Prior art keywords
space
image
acquisition device
sound source
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110966395.0A
Other languages
English (en)
Other versions
CN113645429A (zh
Inventor
韩俊宁
肖荣彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202110966395.0A priority Critical patent/CN113645429B/zh
Publication of CN113645429A publication Critical patent/CN113645429A/zh
Priority to US17/677,971 priority patent/US11722632B2/en
Priority to GB2205447.2A priority patent/GB2610464B/en
Priority to DE102022117433.6A priority patent/DE102022117433A1/de
Application granted granted Critical
Publication of CN113645429B publication Critical patent/CN113645429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请公开了一种视频获取方法及电子设备，包括：基于摄像模式调用一组第一图像采集装置以及一组声音采集装置；通过第一图像采集装置实时采集第一空间的第一图像数据以及通过声音采集装置实时采集覆盖包括第一空间的空间环境的音频数据；基于音频处理引擎实时处理音频数据；通过音频处理引擎确定音频数据表征在第二空间中存在目标声音源，调用第二图像采集装置；通过第二图像采集装置实时采集第二空间的第二图像数据，第二空间与第一空间不同。本申请的视频获取方法基于声音采集装置采集到的音频数据，能够自动调用第二图像采集装置，以使第二图像采集装置采集第二空间的第二图像数据，无需用户手动开启第二图像采集装置，省时省力，方便快捷。

Description

一种视频获取方法及电子设备
技术领域
本申请涉及视频获取技术领域，特别涉及一种视频获取方法及电子设备。
背景技术
随着视频获取和分享的兴起，越来越多的人在应用软件上分享自己获取到的视频，目前的获取方式包括以下几种：1、基于后置摄像头进行录制以获取视频；2、基于前置摄像头进行录制以获取视频；3、基于前置摄像头和后置摄像头同时进行录制以获取视频。
利用上述录制方式进行视频获取时，在采用后置摄像头进行录像的过程中，当需要录前置摄像头对应的空间内的影像时，必须手动关掉后置摄像头，然后再手动开启前置摄像头进行录制，导致视频不连贯，需要用户进行剪辑等后续处理，并且用户手动切换前置摄像头和后置摄像头，操作繁琐。
发明内容
本申请实施例的目的在于提供一种视频获取方法及电子设备，能够实现在第一图像采集装置采集第一空间的第一图像数据的情况下，自动控制第二图像采集装置采集第二空间的第二图像数据，无需手动操作，省时省力。
第一方面，本申请实施例提供了一种视频获取方法，其中，包括：
基于摄像模式调用一组第一图像采集装置以及一组声音采集装置；
通过所述第一图像采集装置实时采集第一空间的第一图像数据以及通过所述声音采集装置实时采集覆盖包括所述第一空间的空间环境的音频数据；
基于音频处理引擎实时处理所述音频数据；
通过所述音频处理引擎确定所述音频数据表征在第二空间中存在目标声音源，调用第二图像采集装置；
通过所述第二图像采集装置实时采集第二空间的第二图像数据，所述第二空间与所述第一空间不同。
在一种可能的实施方式中，视频获取方法还包括：
实时显示所述第一图像数据；
叠加显示通过所述第二图像采集装置实时采集的第二图像数据。
在一种可能的实施方式中，视频获取方法还包括：
通过所述音频处理引擎确定所述音频数据表征在第二空间中所述目标声音源持续存在，维持通过所述第二图像采集装置实时采集第二空间的第二图像数据。
在一种可能的实施方式中，视频获取方法还包括：
通过所述音频处理引擎确定所述音频数据表征在第二空间中所述目标声音源消失预设时长，关闭通过所述第二图像采集装置实时采集第二空间的第二图像数据。
在一种可能的实施方式中，所述基于音频处理引擎实时处理所述音频数据包括：
通过定位模块处理所述空间环境的音频数据，获得所述空间环境中声音源；
基于所述声音源位于所述空间环境中的位置信息中确定目标声音源，所述目标声音源属于所述第二空间且不属于所述第一空间。
在一种可能的实施方式中，所述基于所述声音源位于所述空间环境中的位置信息中确定目标声音源包括：
基于所述声音源位于所述空间环境中的位置信息以及声音参数信息确定目标声音源。
第二方面，本申请实施例还提供了一种电子设备，包括：
第一调用模块，其配置地基于摄像模式调用一组第一图像采集装置以及一组声音采集装置；
第一采集模块，其配置地通过所述第一图像采集装置实时采集第一空间的第一图像数据以及通过所述声音采集装置实时采集覆盖包括所述第一空间的空间环境的音频数据；
处理模块，其配置地基于音频处理引擎实时处理所述音频数据；
第二调用模块，其配置地通过所述音频处理引擎确定所述音频数据表征在第二空间中存在目标声音源，调用第二图像采集装置；
第二采集模块，其配置地通过所述第二图像采集装置实时采集第二空间的第二图像数据，所述第二空间与所述第一空间不同。
在一种可能的实施方式中，电子设备还包括：
第一显示模块，其配置地实时显示所述第一图像数据；
第二显示模块，其配置地叠加显示通过所述第二图像采集装置实时采集的第二图像数据。
在一种可能的实施方式中，电子设备还包括：
关闭模块，其配置地通过所述音频处理引擎确定所述音频数据表征在第二空间中所述目标声音源消失预设时长，关闭通过所述第二图像采集装置实时采集第二空间的第二图像数据。
本申请实施例的视频获取方法通过声音采集装置实时采集音频数据，并对音频数据进行处理；在确定音频数据表征在第二空间中存在目标声音源的情况下，自动调用第二图像采集装置，以使第二图像采集装置采集第二空间的第二图像数据，也就是说，在采用后置摄像头进行录像的过程中，确定音频数据表征在前置摄像头对应的空间中存在用户的声音的情况下，自动打开前置摄像头，无需用户手动开启第二图像采集装置(也即前置摄像头)，省时省力，方便快捷。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请所提供的一种视频获取方法的流程图；
图2示出了本申请所提供的一种视频获取方法中基于音频处理引擎实时处理音频数据的流程图；
图3示出了本申请所提供的一种视频获取方法中显示第一图像数据和第二图像数据的流程图；
图4示出了本申请所提供的一种视频获取方法中判断是否关闭第二图像采集装置的流程图；
图5示出了本申请所提供的电子设备的结构示意图。
具体实施方式
此处参考附图描述本申请的各种方案以及特征。
应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。
为便于对本申请进行理解，首先对本申请提供的一种视频获取方法进行详细介绍。在实际应用中，本申请实施例中的视频获取方法的执行主体可以是服务器或处理器等，为了便于阐述，下文中用处理器进行详细说明。如图1所示，为本申请实施例提供的视频获取方法的流程图，其中，具体步骤包括：
S101，基于摄像模式调用一组第一图像采集装置以及一组声音采集装置。
在具体实施中，电子设备的摄像模式至少包括第一模式和第二模式，第一拍摄模式和第二拍摄模式应用在不同的场景下，电子设备在第一拍摄模式和第二拍摄模式下，能够调用一组第一图像采集装置的同时还能够调用其他图像采集装置采集图像数据。当然，电子设备还可以根据实际需求设定其他的摄像模式，本申请实施例对此不做具体限定。
其中，一组第一图像采集装置可以为一个第一图像采集装置，也可以为多个第一图像采集装置，在第一图像采集装置为多个的情况下，每个第一图像采集装置对应的采集空间可以相同，也可以不同且不存在重叠空间。
进一步地，电子设备上还设置有一组声音采集装置，可以根据摄像模式调用声音采集装置，该声音采集装置至少为三个，利用该声音采集装置采集电子设备当前所处的空间环境的音频数据。
S102，通过第一图像采集装置实时采集第一空间的第一图像数据以及通过声音采集装置实时采集覆盖包括第一空间的空间环境的音频数据。
在确定电子设备当前的摄像模式之后，查看当前摄像模式下能够调用的第一图像采集装置以及声音采集装置，之后，调用第一图像采集装置实时采集第一空间的第一图像数据，其中，第一空间由第一图像采集装置对应的采集角度和采集距离确定，其中，第一图像采集装置的最大采集角度和最大采集距离基于其自身的属性参数决定，但在具体实施中可以根据实际需求调整实际的采集角度和采集距离，第一图像数据包括该第一空间对应的图片、图片位置信息等，该图片位置信息可以包括图片中部分元素相对于第一图像采集装置的距离和/或角度等。
同时，调用声音采集装置实时采集覆盖包括第一空间的空间环境的音频数据，这里，可以设置声音采集装置的采集距离与第一图像采集装置的采集距离相同。在实际应用中，声音采集装置采集的为电子设备所处的当前空间的空间环境中的音频数据，也即，该音频数据包括第一空间内的声波、声波位置信息以及第一空间外的声波、声波位置信息等，第一空间包含在当前空间内。
S103，基于音频处理引擎实时处理音频数据。
在具体实施中，电子设备上设置有音频处理引擎，其用于处理声音采集装置采集到的音频数据，例如，将所有的声波单独分离出来，判断声波的属性以基于该声波的属性确定该声波属于哪个用户，判断声音源的位置以基于该位置确定该声音源是否满足预设条件，例如预设条件为与声音采集装置之间的距离小于预设阈值等。
S104，通过音频处理引擎确定音频数据表征在第二空间中存在目标声音源，调用第二图像采集装置。
在具体实施中，第二空间中可能存在多个声音源，基于每个声音源位于当前空间中的位置信息以及声音参数信息确定该声音源是否为目标声音源。
具体地，通过音频处理引擎对所有声音采集装置的参数进行计算，得到每个声音源与声音采集装置之间的距离以及角度，其中，声音采集装置的参数包括声音采集装置与声音采集装置之间的相对位置关系、每个声音采集装置采集到的同一声音源的强度，时间点等。基于声音源与声音采集装置之间的距离以及角度筛选出落入第二空间的位置信息的声音源，从每个声音源中提取出声纹；之后，将每个声纹与预先存储的预设声纹进行相似度对比，并且，确定第二空间内是否存在目标声音源。具体地，将与预设声纹的相似度大于或等于预设阈值的声音源确定为目标声音源。
在确定第二空间内存在目标声音源的情况下，调用第二图像采集装置。
S105，通过第二图像采集装置实时采集第二空间的第二图像数据，第二空间与第一空间不同。
本申请实施例中的第二空间与第一空间不同，且不存在重叠部分，也即第一图像采集装置采集到的第一图像数据与第二图像采集装置采集到的第二图像数据不存在重复的，也就是说，第一空间的环境数据与第二空间的环境数据组成电子设备所处的当前空间的空间环境。
在调用第二图像采集装置之后，通过第二图像采集装置实时采集第二空间的第二图像数据。优选地，第一图像采集装置和第二图像采集装置位于电子设备上相对的两侧面，并且，第一图像采集装置和第二图像采集装置的朝向相反，第一图像采集装置的采集角度设置为其所在的一侧面对应的180度，第二图像采集装置的采集角度设置为其所在的一侧面对应的180度。例如，电子设备为手机，第一图像采集装置为后置摄像头，第二图像采集装置为前置摄像头，此时，第一图像采集装置采集手机背面对应的空间的图像数据，第二图像采集装置采集手机正面对应的空间的图像数据。
其中，第二空间内存在目标声音源这一情况即表示第二空间内存在目标声音源对应的目标用户，因此，第二图像采集装置采集到的第二空间的第二图像数据包括目标用户的图像数据。
进一步地，为了能够确保第二图像采集装置能够完整的采集到目标用户的图像数据，可以预先基于目标声音源、目标用户与第二图像采集装置之间的相对位置以及目标用户与第二图像采集装置之间的相对角度确定采集方向，以控制第二图像采集装置按照该采集方向进行第二图像数据的采集，进而确保第二图像采集装置能够完整的采集到目标用户的图像数据，其中，采集方向对应的空间落入第二空间，且采集方向对应的空间小于第二空间。当然，还可以在开启第二图像采集装置并利用第二图像采集装置采集第二空间的第二图像数据之后，利用预先存储的目标用户的预存图像数据查找第二图像数据中目标用户所在的区域，并调整第二图像采集装置针对该目标用户所在的区域进一步进行数据采集等，本申请实施例对此不做具体限定。
本申请实施例通过声音采集装置实时采集音频数据，并对音频数据进行处理；在确定音频数据表征在第二空间中存在目标声音源的情况下，自动调用第二图像采集装置，以使第二图像采集装置采集第二空间的第二图像数据，也就是说，在采用后置摄像头进行录像的过程中，确定音频数据表征在前置摄像头对应的空间中存在用户的声音的情况下，自动打开前置摄像头，无需用户手动开启第二图像采集装置(也即前置摄像头)，省时省力，方便快捷。
优选地，图2示出了基于音频处理引擎实时处理音频数据的方法步骤，具体包括S201和S202。
S201，通过定位模块处理空间环境的音频数据，获得空间环境中声音源。
S202，基于声音源位于空间环境中的位置信息中确定目标声音源，目标声音源属于第二空间且不属于第一空间。
这里，电子设备中设置有定位模块，在采集到音频数据之后，将该音频数据传输给定位模块，以通过定位模块处理空间环境的音频数据，进而获得空间环境中声音源。其中，可以将声音采集装置的采集距离与第一图像采集装置、第二图像采集装置的采集距离设置为均相同，也可以设置至少声音采集装置的采集距离与第二图像采集装置的采集距离相同，以确保能够准确地监测到第二空间内是否存在目标声音源；当然，还可以设置声音采集装置的采集距离大于第二图像采集装置的采集距离，只要能够保证声音采集装置能够采集空间覆盖第二空间即可。
由于前述已限定本申请实施例中的声音采集装置至少为三个，接下来便以声音采集装置为三个进行阐述。具体地，在采集音频数据的声音采集装置为三个的情况下，针对同一个声音源，基于三角定位的原理，对每个声音采集装置采集到的该声音源的强度确定该声音源位于当前空间中的位置信息，其中，该位置信息为相对于电子设备的距离。当然，在采集音频数据的声音采集装置为四个、五个等的情况下，均会有其对应的定位算法以对每个声音采集装置采集到的音频数据确定每个声音源位于空间环境中的位置信息。
在确定每个声音源位于空间环境中的位置信息之后，基于音频处理引擎计算得到的声音源的角度信息以及位置信息筛选属于第二空间且不属于第一空间的声音源作为目标声音源，其中，该角度信息为相对于电子设备的角度；进而避免在第一图像采集装置运行时再次启动第一图像采集装置导致的第一图像数据断层等问题。
下面分别对电子设备的第一模式和第二模式进行阐述。
在电子设备的摄像模式为第一模式时，用户利用该电子设备在特定空间内进行视频录制例如网课、讲座等，用户将电子设备放在支架上，电子设备的后置摄像头也即第一图像采集装置的朝向与黑板的朝向相对，电子设备的前置摄像头也即第二图像采集装置的朝向与黑板的朝向相同，此时，后置摄像头对应的采集空间为后置摄像头所在的电子设备的侧面所在的平面与黑板所在的平面形成的空间，前置摄像头即为该特定空间内除采集空间外的其他空间。在开始录制的情况下，后置摄像头开始运行，在用户开始对黑板上的内容进行讲解时，其需要同时观看黑板上的内容，也即用户朝向与黑板的朝向相对，且处于其他空间内与电子设备一定距离的位置处，而此时用户开始发出声音进行讲解，电子设备的音频处理引擎确定声音采集装置采集到的声音为用户的声音时，自动开启前置摄像头，以使后置摄像头与前置摄像头同时进行录制，无需用户走到电子设备处手动开启前置摄像头，提高了视频录制的效率及质量。
值得说明的是，若用户在录制过程中存在移动行为，如移动至采集空间并发出了声音，而该声音并非需要讲解所需的，因此，音频处理引擎还需要计算用户当前是否在其他空间内，也即确定用户的声音是否在其他空间内，若确定在其他空间内，也即用户在其他空间内，则开启前置摄像头；若确定在采集空间内，也即用户在采集空间内，则不开启前置摄像头。当然，若在该第一模式下，其他空间中还存在除用户之外的听众的情况下，音频处理引擎需要识别声音采集装置采集到的声音为用户的还是听众的，避免误启动前置摄像头导致录像失败。
在电子设备的摄像模式为第二模式时，用户手持电子设备在景区内进行线上景区介绍，期间保持后置摄像头也即第一图像采集装置实时获取景区的环境数据，以便游览者进行线上观看，在游览至有历史记载或史实的建筑或景点的情况下，用户进行语音介绍，由于用户实时移动，电子设备的音频处理引擎实时对声音采集装置采集到的声音进行计算，以确保声音源的位置信息的准确信。同样地，音频处理引擎在确定用户的声音落入前置摄像头对应的图像采集空间时，自动开启前置摄像头，以使后置摄像头与前置摄像头同时进行录制，无需用户手动开启前置摄像头，避免了用户在手动开启前置摄像头时造成电子设备抖动的情况，确保了拍摄质量。
当然，还可以针对其他的应用场景设置对应的第三模式、第四模式等，本申请实施例对此不做具体限定。
进一步地，考虑到两个或多个图像采集装置同时采集图像数据的情况下，需要同时显示所有的图像采集装置采集的图像数据，需要后期进行剪辑、合成等处理。因此，图3示出了将获取到的视频进行显示方法，具体包括一下步骤：
S301，实时显示第一图像数据。
S302，叠加显示通过第二图像采集装置实时采集的第二图像数据。
在接收到第一图像采集装置采集的第一图像数据时，实时显示第一图像数据，其中，本申请实施例中的第一图像数据为第一空间对应的图片。
在接收到第二图像采集装置采集的第二图像数据时，通过叠加的方式显示通过第二图像采集装置实时采集的第二图像数据。具体地，将第二图像数据进行预处理如缩放、裁剪等，使得第二图像数据的尺寸小于第一图像数据的尺寸，且为第一图像数据的尺寸的预设比例，进而将第二图像数据叠加在第一图像数据上进行显示。当然，该预设比例可以根据实际需求进行调整。
例如，第一图像数据显示在电子设备的整个显示屏上，在接收到第二图像数据之后，将第二图像数据进行缩放、裁剪等处理，使得第二图像数据的尺寸小于显示屏，且为显示屏的预设比例，进而将第二图像数据叠加在第一图像数据上进行显示。用户还可以根据自己的实际需求，按照预设操作调整预设比例，以使第二图像数据满足自己的实际需求。
例如用户利用自己的手机进行线上景区介绍，在向观看者展示景点时，用户手持手机，面对手机正面，通过一组第一图像采集装置采集第一空间的第一图像数据，并实时显示第一图像数据，同时，调用手机上的一组声音采集装置实时采集覆盖包括第一空间的空间环境的音频数据，其中，第一图像采集装置为后置摄像头。在用户需要对该景点进行介绍的情况下，用户开始介绍，声音采集装置采集到包含用户的声音信息的音频数据，通过音频处理引擎实时处理该音频数据之后，基于用户与手机之间的相对位置、用户与手机之间的相对角度以及用户的声纹信息确定该音频数据中存在目标声音源，也即是否存在用户的声纹，若存在，则自动开启第二图像采集装置也即手机的前置摄像头，同时采集第二空间内的第二图像数据，此时主要采集用户对应的图像数据。此时，将第一图像数据显示在整个手机屏幕上，将第二图像数据进行识别，若存在除用户之外的数据较多，可以将除用户之外的数据裁减掉，并将用户对应的数据缩放到预设比例，在第一图像数据上叠加显示。为了确保观看者能够完整的观看景区的景点，将第二图像数据展示在第一图像数据的边缘所在的区域，例如将第二图像数据展示在第一图像数据所在区域的右下角等。
本申请实施例提供的上述显示方法，实现了同时且实时显示第一图像数据和第二图像数据的目的，并且，能够灵活控制第二图像数据的预设比例，灵活性较高，用户的体验度较好；并且，将第一图像数据和第二图像数据叠加显示，还能够提高观看者的舒适度。
当然，在调用第二图像采集装置之后，还可以实时利用声音采集装置采集音频数据，进而能够实时确定是否需要关闭第二图像采集装置。具体地，按照图4示出的方法步骤来确定是否需要关闭第二图像采集装置，其中，包括S401和S402。
S401，通过音频处理引擎确定音频数据表征在第二空间中目标声音源持续存在，维持通过第二图像采集装置实时采集第二空间的第二图像数据。
S402，通过音频处理引擎确定音频数据表征在第二空间中目标声音源消失预设时长，关闭通过第二图像采集装置实时采集第二空间的第二图像数据。
在调用第二图像采集装置之后，持续通过声音采集装置采集覆盖包括第一空间和第二空间的空间环境的音频数据，并实时通过音频处理引擎对音频数据进行处理，在确定音频数据表征在第二空间中目标声音源持续存在的情况下，维持通过第二图像采集装置实时采集第二空间的第二图像数据；在确定音频数据表征在第二空间中目标声音源消失预设时长的情况下，关闭通过第二图像采集装置实时采集第二空间的第二图像数据，避免在无需显示第二空间内的第二图像数据时，仍显示第二图像数据导致资源浪费的情况，自动化程度较高。
例如，以第二模式为例，在用户通过电子设备做线上景区介绍的情况下，用户进行语音介绍的过程中，观看者可以在屏幕上看到景区的画面以及导游的画面，在用户完成语音介绍之后，此时，需要整个屏幕显示景区画面，以使得观看者能够观看完整的景区。因此，电子设备的的声音采集装置实时且持续采集覆盖包括第一空间和第二空间的空间环境的音频数据，一旦确定音频数据中不存在目标声音源之后，关闭第二图像采集装置，同时，关闭第二图像数据在显示屏中的显示，以使观看者完整的观看第一图像数据，同样无需用户手动操作，方便快捷，大大提高用户的体验度。
本申请的第二方面还提供了一种与视频获取方法对应的电子设备，由于本申请中的装置解决问题的原理与本申请上述视频获取方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
图5示出了本申请实施例提供的电子设备的示意图，具体包括：
第一调用模块501，其配置地基于摄像模式调用一组第一图像采集装置以及一组声音采集装置；
第一采集模块502，其配置地通过所述第一图像采集装置实时采集第一空间的第一图像数据以及通过所述声音采集装置实时采集覆盖包括所述第一空间的空间环境的音频数据；
处理模块503，其配置地基于音频处理引擎实时处理所述音频数据；
第二调用模块504，其配置地通过所述音频处理引擎确定所述音频数据表征在第二空间中存在目标声音源，调用第二图像采集装置；
第二采集模块505，其配置地通过所述第二图像采集装置实时采集第二空间的第二图像数据，所述第二空间与所述第一空间不同。
在又一实施例中，上述电子设备还包括：
第一显示模块506，其配置地实时显示所述第一图像数据；
第二显示模块507，其配置地叠加显示通过所述第二图像采集装置实时采集的第二图像数据。
在又一实施例中，上述电子设备还包括：
维持模块508，其配置地通过所述音频处理引擎确定所述音频数据表征在第二空间中所述目标声音源持续存在，维持通过所述第二图像采集装置实时采集第二空间的第二图像数据。
在又一实施例中，上述电子设备还包括：
关闭模块509，其配置地通过所述音频处理引擎确定所述音频数据表征在第二空间中所述目标声音源消失预设时长，关闭通过所述第二图像采集装置实时采集第二空间的第二图像数据。
在又一实施例中，处理模块503具体配置为：
通过定位模块处理所述空间环境的音频数据，获得所述空间环境中声音源；
基于所述声音源位于所述空间环境中的位置信息中确定目标声音源，所述目标声音源属于所述第二空间且不属于所述第一空间。
在又一实施例中，处理模块503在基于所述声音源位于所述空间环境中的位置信息中确定目标声音源时，具体包括：
基于所述声音源位于所述空间环境中的位置信息以及声音参数信息确定目标声音源。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本邻域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本申请的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (6)

1.一种视频获取方法，所述方法包括：
基于摄像模式调用一组第一图像采集装置以及一组声音采集装置，该组声音采集装置至少为三个；
通过所述第一图像采集装置实时采集第一空间的第一图像数据以及通过所述声音采集装置实时采集覆盖包括所述第一空间的空间环境的音频数据；
基于音频处理引擎实时处理所述音频数据；
通过所述音频处理引擎确定所述音频数据表征在第二空间中存在目标声音源，调用第二图像采集装置；
通过所述第二图像采集装置实时采集第二空间的第二图像数据，所述第二空间与所述第一空间不同；
通过所述音频处理引擎确定所述音频数据表征在第二空间中所述目标声音源持续存在，维持通过所述第二图像采集装置实时采集第二空间的第二图像数据；
通过所述音频处理引擎确定所述音频数据表征在第二空间中所述目标声音源消失预设时长，关闭通过所述第二图像采集装置实时采集第二空间的第二图像数据；
所述通过所述第二图像采集装置实时采集第二空间的第二图像数据，包括：
基于所述目标声音源、所述目标声音源对应的目标用户与所述第二图像采集装置之间的相对位置，以及所述目标用户与所述第二图像采集装置之间的相对角度确定采集方向，其中，所述采集方向对应的空间落入所述第二空间，且所述采集方向对应的空间小于所述第二空间；
控制所述第二图像采集装置按照所述采集方向采集所述第二图像数据。
2.根据权利要求1所述的视频获取方法，还包括：
实时显示所述第一图像数据；
叠加显示通过所述第二图像采集装置实时采集的第二图像数据。
3.根据权利要求1所述的视频获取方法，所述基于音频处理引擎实时处理所述音频数据包括：
通过定位模块处理所述空间环境的音频数据，获得所述空间环境中声音源；
基于所述声音源位于所述空间环境中的位置信息中确定目标声音源，所述目标声音源属于所述第二空间且不属于所述第一空间。
4.根据权利要求3所述的视频获取方法，所述基于所述声音源位于所述空间环境中的位置信息中确定目标声音源包括：
基于所述声音源位于所述空间环境中的位置信息以及声音参数信息确定目标声音源。
5.一种电子设备，包括：
第一调用模块，其配置地基于摄像模式调用一组第一图像采集装置以及一组声音采集装置，该组声音采集装置至少为三个；
第一采集模块，其配置地通过所述第一图像采集装置实时采集第一空间的第一图像数据以及通过所述声音采集装置实时采集覆盖包括所述第一空间的空间环境的音频数据；
处理模块，其配置地基于音频处理引擎实时处理所述音频数据；
第二调用模块，其配置地通过所述音频处理引擎确定所述音频数据表征在第二空间中存在目标声音源，调用第二图像采集装置；
第二采集模块，其配置地通过所述第二图像采集装置实时采集第二空间的第二图像数据，所述第二空间与所述第一空间不同；
维持模块，其配置地通过所述音频处理引擎确定所述音频数据表征在第二空间中所述目标声音源持续存在，维持通过所述第二图像采集装置实时采集第二空间的第二图像数据；
关闭模块，其配置地通过所述音频处理引擎确定所述音频数据表征在第二空间中所述目标声音源消失预设时长，关闭通过所述第二图像采集装置实时采集第二空间的第二图像数据；
所述第二采集模块具体配置为：
基于所述目标声音源、所述目标声音源对应的目标用户与所述第二图像采集装置之间的相对位置，以及所述目标用户与所述第二图像采集装置之间的相对角度确定采集方向，其中，所述采集方向对应的空间落入所述第二空间，且所述采集方向对应的空间小于所述第二空间；
控制所述第二图像采集装置按照所述采集方向采集所述第二图像数据。
6.根据权利要求5所述的电子设备，还包括：
第一显示模块，其配置地实时显示所述第一图像数据；
第二显示模块，其配置地叠加显示通过所述第二图像采集装置实时采集的第二图像数据。
CN202110966395.0A 2021-08-23 2021-08-23 一种视频获取方法及电子设备 Active CN113645429B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110966395.0A CN113645429B (zh) 2021-08-23 2021-08-23 一种视频获取方法及电子设备
US17/677,971 US11722632B2 (en) 2021-08-23 2022-02-22 Video acquisition method and electronic apparatus
GB2205447.2A GB2610464B (en) 2021-08-23 2022-04-12 Video acquisition method and electronic apparatus
DE102022117433.6A DE102022117433A1 (de) 2021-08-23 2022-07-13 Verfahren zur videoerfassung und elektronisches gerät

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110966395.0A CN113645429B (zh) 2021-08-23 2021-08-23 一种视频获取方法及电子设备

Publications (2)

Publication Number Publication Date
CN113645429A CN113645429A (zh) 2021-11-12
CN113645429B true CN113645429B (zh) 2023-03-21

Family

ID=78423429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110966395.0A Active CN113645429B (zh) 2021-08-23 2021-08-23 一种视频获取方法及电子设备

Country Status (4)

Country Link
US (1) US11722632B2 (zh)
CN (1) CN113645429B (zh)
DE (1) DE102022117433A1 (zh)
GB (1) GB2610464B (zh)

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200172315Y1 (ko) * 1997-03-26 2000-04-01 김기일 비상 경보 및 음성과 영상 획득 기능을 가진 휴대폰
US7697827B2 (en) * 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
JP2009118420A (ja) * 2007-11-09 2009-05-28 Sony Corp 情報処理装置、情報処理方法、プログラム、記録媒体及び情報処理システム
JP5053950B2 (ja) * 2008-07-29 2012-10-24 キヤノン株式会社 情報処理方法、情報処理装置、プログラムおよび記憶媒体
KR101753715B1 (ko) * 2010-12-13 2017-07-04 삼성전자주식회사 촬영장치 및 이를 이용한 촬영방법
US9325889B2 (en) * 2012-06-08 2016-04-26 Samsung Electronics Co., Ltd. Continuous video capture during switch between video capture devices
CN103237178B (zh) * 2013-03-26 2017-06-16 小米科技有限责任公司 切换视频画面的方法、装置和设备
EP2887352A1 (en) * 2013-12-19 2015-06-24 Nokia Corporation Video editing
US20170244879A1 (en) * 2016-02-18 2017-08-24 Richard Dikran Bezjian Automatic Switching Multi-Video
CN105959554B (zh) * 2016-06-01 2019-02-22 努比亚技术有限公司 视频拍摄装置及方法
DK201670616A1 (en) * 2016-06-12 2018-01-22 Apple Inc Devices and Methods for Accessing Prevalent Device Functions
CN107682622A (zh) * 2017-09-08 2018-02-09 维沃移动通信有限公司 一种拍摄方法及移动终端
WO2019135750A1 (en) * 2018-01-04 2019-07-11 Xinova, LLC Visualization of audio signals for surveillance
CN108419016B (zh) * 2018-04-17 2022-03-11 北京小米移动软件有限公司 拍摄方法、装置及终端
CN111918018B (zh) * 2019-05-08 2022-05-06 奥图码股份有限公司 视频会议系统、视频会议设备以及视频会议方法
KR20210101009A (ko) * 2020-02-07 2021-08-18 삼성전자주식회사 복수의 카메라를 이용한 동영상 촬영 방법 및 그 장치
CN111372003A (zh) * 2020-04-20 2020-07-03 惠州Tcl移动通信有限公司 一种摄像头切换方法、装置及终端
US11722763B2 (en) * 2021-08-06 2023-08-08 Motorola Solutions, Inc. System and method for audio tagging of an object of interest

Also Published As

Publication number Publication date
DE102022117433A1 (de) 2023-02-23
US20230054468A1 (en) 2023-02-23
US11722632B2 (en) 2023-08-08
GB2610464A (en) 2023-03-08
CN113645429A (zh) 2021-11-12
GB202205447D0 (en) 2022-05-25
GB2610464B (en) 2023-11-22

Similar Documents

Publication Publication Date Title
AU2019216671B2 (en) Method and apparatus for playing video content from any location and any time
US20220254158A1 (en) Learning situation analysis method, electronic device, and storage medium
US7512883B2 (en) Portable solution for automatic camera management
US9628908B2 (en) Sound collection method and electronic device
US9712750B2 (en) Display control device and associated methodology of identifying a subject in an image
CN113973190A (zh) 视频虚拟背景图像处理方法、装置及计算机设备
US11076127B1 (en) System and method for automatically framing conversations in a meeting or a video conference
JP2011217202A (ja) 画像取得装置
CN113905204B (zh) 图像显示方法、装置、设备及存储介质
CN105049719A (zh) 一种全景拍摄方法及移动终端
CN113645429B (zh) 一种视频获取方法及电子设备
CN111918127B (zh) 一种视频剪辑方法、装置、计算机可读存储介质及相机
CN112839165A (zh) 人脸跟踪摄像的实现方法、装置、计算机设备和存储介质
US20220327732A1 (en) Information processing apparatus, information processing method, and program
CN113329138A (zh) 视频拍摄方法、视频播放方法和电子设备
EP4106326A1 (en) Multi-camera automatic framing
CN112804455A (zh) 远程交互方法、装置、视频设备和计算机可读存储介质
WO2021226821A1 (en) Systems and methods for detection and display of whiteboard text and/or an active speaker
CN114422743A (zh) 视频流显示方法、装置、计算机设备和存储介质
CN113676693A (zh) 画面呈现方法、视频会议系统及可读存储介质
CN112887620A (zh) 视频拍摄方法、装置及电子设备
CN113315903A (zh) 图像获取方法和装置、电子设备、存储介质
WO2024062971A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20230199299A1 (en) Imaging device, imaging method and program
CN117055732A (zh) 一种画面切换方法、切换装置和智能会议设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant