CN112312039A - 音视频信息获取方法、装置、设备及存储介质 - Google Patents

音视频信息获取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112312039A
CN112312039A CN201910637586.5A CN201910637586A CN112312039A CN 112312039 A CN112312039 A CN 112312039A CN 201910637586 A CN201910637586 A CN 201910637586A CN 112312039 A CN112312039 A CN 112312039A
Authority
CN
China
Prior art keywords
audio
speaking
information
video information
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910637586.5A
Other languages
English (en)
Inventor
路晓创
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201910637586.5A priority Critical patent/CN112312039A/zh
Priority to US16/699,565 priority patent/US10950272B2/en
Priority to EP20151681.2A priority patent/EP3767624A1/en
Publication of CN112312039A publication Critical patent/CN112312039A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本公开提供一种音视频信息获取方法、装置、设备及存储介质，所述方法包括：获取谈话过程中各个人物对应的原始视频信息和原始音频信息；基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列；将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息；将所述拼接视频信息与所述原始音频信息进行匹配，得到音视频信息。本公开可使得到的拼接视频信息包含每个正在发言人物对应的视频帧序列，可以实现对多个人物谈话过程的原始视频信息进行自动剪辑，降低对用户的音视频信息获取能力的要求，提高音视频信息获取的智能化水平，进而可以提升用户的体验。

Description

音视频信息获取方法、装置、设备及存储介质
技术领域
本公开涉及视频处理技术领域，尤其涉及一种音视频信息获取方法、装置、设备及存储介质。
背景技术
相关技术中在拍摄一段多人谈话的视频时，通常需要架设多台摄像设备对说话的人进行同时拍摄，进而当拍摄完成后再通过后期剪辑的方式将每个人说话的视频剪辑在一起，实现正反打效果。
由于上述方案需要进行后期剪辑才能实现，因而要求用户具备一定的视频剪辑能力，普通用户可能无法实现。
发明内容
为克服相关技术中存在的问题，本公开实施例提供一种通信方法、装置及电子设备，以解决相关技术中的不足。
根据本公开实施例的第一方面，提供了一种音视频信息获取方法，上述方法包括：
获取谈话过程中各个人物对应的原始视频信息和原始音频信息；
基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列；
将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息；
将所述拼接视频信息与所述原始音频信息进行匹配，得到音视频信息。
在一实施例中，所述基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列，包括：
确定所述原始音频信息中正在发言人物的音频片段；
提取每个所述原始视频信息中与所述音频片段对应的视频帧序列。
在一实施例中，所述确定所述原始音频信息中正在发言人物的音频片段，包括：
对所述原始音频信息进行声纹识别，得到正在发言人物的声纹特征；
基于所述声纹特征从所述原始音频信息中筛选所述正在发言人物的音频片段。
在一实施例中，所述方法还包括：
确定所述音频片段中所述正在发言人物的音频发言起点；
基于所述音频发言起点对所述拼接视频信息进行校正。
在一实施例中，所述获取谈话过程中各个人物对应的原始视频信息，包括：
获取多个图像采集装置在所述各个人物进行所述谈话过程中同时采集的多个原始视频信息。
在一实施例中，所述方法还包括：
在所述正在发言人物发言的过程中，将所述正在发言人物的视频图像展示在终端屏幕上的第一预设显示区域，以及将其他人物的视频图像展示在所述终端屏幕上的第二预设显示区域，所述其他人物包括所述各个人物中除所述正在发言人物之外的人物。
在一实施例中，所述将所述正在发言人物的视频图像展示在终端屏幕上的第一预设显示区域，包括：
确定所述正在发言人物的数量；
若所述数量大于或等于2，则以分屏的方式将所述正在发言人物的视频图像均展示在终端屏幕上的第一预设显示区域。
在一实施例中，所述方法还包括：
若检测到所述正在发言人物的声音强度高于或等于预设阈值，则生成用于提示降低声音强度的提示信息。
根据本公开实施例的第二方面，提供了一种音视频信息获取装置，所述装置包括：
视频音频获取模块，用于获取谈话过程中各个人物对应的原始视频信息和原始音频信息；
帧序列提取模块，用于基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列；
帧序列拼接模块，用于将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息；
将所述拼接视频信息与所述原始音频信息进行匹配，得到音视频信息。
在一实施例中，所述帧序列提取模块，包括：
音频片段获取单元，用于确定所述原始音频信息中正在发言人物的音频片段；
帧序列提取单元，用于提取每个所述原始视频信息中与所述音频片段对应的视频帧序列。
在一实施例中，所述音频片段获取单元还用于：
对所述原始音频信息进行声纹识别，得到正在发言人物的声纹特征；
基于所述声纹特征从所述原始音频信息中筛选所述正在发言人物的音频片段。
在一实施例中，所述装置还包括视频信息校正模块；所述视频信息校正模块，包括：
音频发言起点确定单元，用于确定所述音频片段中所述正在发言人物的音频发言起点；
视频信息校正单元，用于基于所述音频发言起点对所述拼接视频信息进行校正。
在一实施例中，所述视频音频获取模块还用于获取多个图像采集装置在所述各个人物进行所述谈话过程中同时采集的多个原始视频信息。
在一实施例中，所述装置还包括：
视频图像展示模块，用于在所述正在发言人物发言的过程中，将所述正在发言人物的视频图像展示在终端屏幕上的第一预设显示区域，以及将其他人物的视频图像展示在所述终端屏幕上的第二预设显示区域，所述其他人物包括所述各个人物中除所述正在发言人物之外的人物。
在一实施例中，所述视频图像展示模块，包括：
人物数量确定单元，用于确定所述正在发言人物的数量；
视频图像展示单元，用于当所述数量大于或等于2时，以分屏的方式将所述正在发言人物的视频图像均展示在终端屏幕上的第一预设显示区域。
在一实施例中，所述装置还包括：
提示信息生成模块，用于当检测到所述正在发言人物的声音强度高于或等于预设阈值时，生成用于提示降低声音强度的提示信息。
根据本公开实施例的第三方面，提供了一种音视频信息获取设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现：
获取谈话过程中各个人物对应的原始视频信息和原始音频信息；
基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列；
将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息；
将所述拼接视频信息与所述原始音频信息进行匹配，得到音视频信息。
根据本公开实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器处理时实现：
获取谈话过程中各个人物对应的原始视频信息和原始音频信息；
基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列；
将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息；
将所述拼接视频信息与所述原始音频信息进行匹配，得到音视频信息。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开中，通过获取谈话过程中各个人物对应的原始视频信息和原始音频信息，并基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列，进而可以将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息，由于是提取每个原始视频信息中正在发言人物的视频帧序列，进而将各视频帧序列按照时间顺序进行拼接，因而可使得到的拼接视频信息包含每个正在发言人物对应的视频帧序列，可以实现对多个人物谈话过程的原始视频信息进行自动剪辑，降低对用户的音视频信息获取能力的要求，提高音视频信息获取的智能化水平，进而可以提升用户的体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开根据第一示例性实施例示出的音视频信息获取方法流程图；
图2是本公开根据一示例性实施例示出的如何提取每个原始视频信息中正在发言人物的视频帧序列的流程图；
图3是本公开根据一示例性实施例示出的如何确定原始音频信息中正在发言人物的音频片段的流程图；
图4是本公开根据第二示例性实施例示出的音视频信息获取方法流程图；
图5A是本公开根据第三示例性实施例示出的音视频信息获取方法流程图；
图5B是本公开根据一实施例示出的音视频信息获取方法的应用场景示意图；
图6A是本公开根据第四示例性实施例示出的音视频信息获取方法流程图；
图6B是本公开根据一实施例示出的视频信息展示效果的示意图；
图7A是本公开根据一示例性实施例示出的如何将正在发言人物的视频图像展示在终端屏幕上的第一预设显示区域的流程图；
图7B是本公开根据一实施例示出的视频信息展示效果的示意图；
图8是本公开根据第五示例性实施例示出的音视频信息获取方法流程图；
图9是本公开根据一示例性实施例示出的音视频信息获取装置框图；
图10是本公开根据又一示例性实施例示出的音视频信息获取装置框图；
图11是本公开根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是本公开根据第一示例性实施例示出的音视频信息获取方法流程图；该实施例可以应用于终端设备(如智能手机、平板电脑、台式电脑以及身份信息手持终端等)。如图1所示，该方法包括以下步骤S101-S103：
在步骤S101中，获取谈话过程中各个人物对应的原始视频信息和原始音频信息。
在一实施例中，为了拍摄多个人物谈话过程的目标视频信息，可以获取进行当前谈话的多个人物中每个人物所对应的原始视频信息以及原始音频信息。
其中，上述目标视频信息包括上述各个人物中每个正在发言人物对应的视频帧序列。
在一实施例中，每个原始视频信息可以包括至少一个人物在上述谈话过程中的视频信息，本实施例对此不进行限定。
在一实施例中，上述获取谈话过程中各个人物对应的原始视频信息的方式可以参见下述图5A所示实施例，在此先不进行详述。
在一实施例中，原始音频信息可以包括至少一个人物在上述谈话过程中的音频信息，本实施例对此不进行限定。
在一实施例中，可以通过上述至少一个人物关联的终端设备中设置的声音采集装置(如，麦克风)采集上述原始音频信息。
在步骤S102中，基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列。
在一实施例中，当获取谈话过程中各个人物对应的原始视频信息和原始音频信息后，可以基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列。其中，视频帧序列中可以包含发言人物的多帧视频图像，本实施例对此不进行限定。
在一实施例中，上述原始视频信息中的至少一个人物在谈话过程中并不是一直在发言的，因而每个原始视频信息中可以包含该至少一个人物正在发言时的视频帧序列以及未在发言时的视频帧序列。
举例来说，当原始视频信息a中的人物A在发言时，原始视频信息b中的人物B未在发言；反之，当原始视频信息a中的人物A发言完毕，转而由原始视频信息b中的人物B发言时，原始视频信息a中的人物A未在发言。因而原始视频信息a(或b)中包含人物A(或B)正在发言时的视频帧序列以及未在发言时的视频帧序列。
在一实施例中，上述基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列的方式可以参见下述图2所示实施例，在此先不进行详述。
在步骤S103中，将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息。
在一实施例中，当基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列后，可以将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息。
在一实施例中，当基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列后，可以确定每个视频帧序列的拍摄时间，进而可以按照该拍摄时间的先后顺序对各所述视频帧序列进行拼接，得到上述拼接视频信息(即，上述目标视频信息)。
在一实施例中，上述拼接视频信息的各个视频帧序列之间可以采用alpha叠化技术进行切换，也可以直接切换，本实施例对此不进行限定。
值得说明的是，上述将提取的各所述视频帧序列按照时间顺序进行拼接的方式可以参见现有技术中的解释和说明，本实施例对此不进行限定。
在步骤S104中，将所述拼接视频信息与所述原始音频信息进行匹配，得到音视频信息。
在一实施例中，当将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息后，可以将所述拼接视频信息与所述原始音频信息进行匹配，以得到匹配后的音视频信息。
值得说明的是，上述将所述拼接视频信息与所述原始音频信息进行匹配的方式可以参见现有技术中，例如可以基于时间轴将上述拼接视频信息与原始音频信息进行匹配，本实施例对此不进行限定。
由上述描述可知，本实施例通过获取谈话过程中各个人物对应的原始视频信息和原始音频信息，并基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列，进而可以将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息，以将所述拼接视频信息与所述原始音频信息进行匹配，得到音视频信息，由于是提取每个原始视频信息中正在发言人物的视频帧序列，进而将各视频帧序列按照时间顺序进行拼接，因而可使得到的拼接视频信息包含每个正在发言人物对应的视频帧序列，可以实现对多个人物谈话过程的原始视频信息进行自动剪辑，降低对用户的音视频信息获取能力的要求，提高音视频信息获取的智能化水平，进而可以提升用户的体验。
图2是本公开根据一示例性实施例示出的如何提取每个原始视频信息中正在发言人物的视频帧序列的流程图；本实施例在上述实施例的基础上以如何基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列，可以包括以下步骤S201-S202：
在步骤S201中，确定所述原始音频信息中正在发言人物的音频片段。
在一实施例中，上述原始音频信息中的至少一个人物在谈话过程中并不是一直在发言的，因而原始音频信息中可以包含该至少一个人物正在发言时的音频片段以及未在发言时的音频片段。
举例来说，当原始音频信息aa中的人物A在发言时，原始音频信息bb中的人物B未在发言；反之，当原始音频信息aa中的人物A发言完毕，转而由原始音频信息bb中的人物B发言时，原始音频信息a中的人物A未在发言。因而原始音频信息aa(或bb)中包含人物A(或B)正在发言时的音频片段以及未在发言时的音频片段。
在一实施例中，上述确定所述原始音频信息中正在发言人物的音频片段的方式可以参见下述图3所示实施例，在此先不进行详述。
在步骤S202中，提取每个所述原始视频信息中与所述音频片段对应的视频帧序列。
在一实施例中，当确定所述原始音频信息中正在发言人物的音频片段后，可以提取每个所述原始视频信息中与所述音频片段对应的视频帧序列。
在一实施例中，上述正在发言人物的原始音频信息和原始视频信息可以由同一终端设备的声音采集装置和图像采集装置获取，因而可以基于原始音频信息和原始视频信息的来源提取每个原始视频信息中与音频片段对应的视频帧序列。举例来说，可以确定与上述音频片段所属的原始音频信息来源相同的原始视频信息，进而可以从该原始视频信息中提取与上述音频片段对应的视频帧序列。
值得说明的是，除了上述基于原始音频信息和原始视频信息的来源提取每个原始视频信息中与音频片段对应的视频帧序列的方式外，还可以基于实际需要选取其他现有技术中的方式提取正在发言人物的视频帧序列，所得的结果同样适用于后续步骤，本实施例对此不进行限定。
由上述描述可知，本实施例通过获取所述谈话过程中各个人物对应的原始音频信息，并确定所述原始音频信息中正在发言人物的音频片段，进而提取每个所述原始视频信息中与所述音频片段对应的视频帧序列，可以实现基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列，由于是基于原始音频信息中正在发言人物的音频片段基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列，因而可以提高提取正在发言人物的视频帧序列的准确性，进而可以提升后续基于提取的视频帧序列拼接视频信息的准确性。
图3是本公开根据一示例性实施例示出的如何确定原始音频信息中正在发言人物的音频片段的流程图；本实施例在上述实施例的基础上以如何确定原始音频信息中正在发言人物的音频片段为例进行示例性说明。如图3所示，上述步骤S201中所述确定所述原始音频信息中正在发言人物的音频片段，可以包括以下步骤S301-S302：
在步骤S301中，对所述原始音频信息进行声纹识别，得到正在发言人物的声纹特征。
在一实施例中，当获取所述谈话过程中各个人物对应的原始音频信息后，可以对所述原始音频信息进行声纹识别，得到正在发言人物的声纹特征。
可以理解的是，由于原始音频信息中包含至少一个人物正在发言时的音频片段以及未在发言时的音频片段，因而在该正在发言时的音频片段中可以检测到正在发言人物的声纹特征，而在该未在发言时的音频片段中不能检测到正在发言人物的声纹特征。
值得说明的是，上述对所述原始音频信息进行声纹识别并得到正在发言人物的声纹特征的方式可以参见现有技术中的解释和说明，本实施例对此不进行限定。
在步骤S302中，基于所述声纹特征从所述原始音频信息中筛选所述正在发言人物的音频片段。
在一实施例中，当对所述原始音频信息进行声纹识别，得到正在发言人物的声纹特征后，可以基于所述声纹特征从所述原始音频信息中筛选所述正在发言人物的音频片段。
举例来说，当得到上述正在发言人物的声纹特征后，可以将包含该声纹特征的音频片段确定为正在发言人物的音频片段，进而可以从所述原始音频信息中筛选出所述正在发言人物的音频片段。
由上述描述可知，本实施例通过对所述原始音频信息进行声纹识别，得到正在发言人物的声纹特征，并基于所述声纹特征从所述原始音频信息中筛选所述正在发言人物的音频片段，可以实现基于正在发言人物的声纹特征从原始音频信息中筛选正在发言人物的音频片段，可以提高筛选正在发言人物的音频片段的准确性，进而可以提升后续基于音频片段提取正在发言人物的视频帧序列的准确性。
图4是本公开根据第二示例性实施例示出的音视频信息获取方法流程图；该实施例可以应用于终端设备(如智能手机、平板电脑、台式电脑以及身份信息手持终端等)。如图4所示，该方法包括以下步骤S401-S405：
在步骤S401中，获取谈话过程中各个人物对应的原始视频信息和原始音频信息。
在步骤S402中，基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列。
在步骤S403中，将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息。
在步骤S404中，确定所述音频片段中所述正在发言人物的音频发言起点。
可以理解的是，由于终端设备的性能和检测声音算法的影响，得到的拼接视频信息的视频画面可能与音频信息不能完全匹配，因而需要对该拼接视频信息进行校正。
在一实施例中，为了对得到的拼接视频信息进行校正，可以在得到上述拼接视频信息后，从上述正在发言人物的音频片段中确定该正在发言人物的音频发言起点。
值得说明的是，上述从上述正在发言人物的音频片段中确定该正在发言人物的音频发言起点的方式可以由开发人员根据实际业务需要从现有技术中进行选取，例如可以基于语音识别技术将上述音频片段中第一个字的位置确定为正在发言人物的音频发言起点，本实施例对此不进行限定。
在步骤S405中，基于所述音频发言起点对所述拼接视频信息进行校正。
在一实施例中，当确定所述音频片段中所述正在发言人物的音频发言起点后，可以基于该音频发言起点对所述拼接视频信息进行校正，得到校正后的拼接视频信息。
举例来说，当确定音频片段aa_1中人物A的音频发言起点后，可以基于该音频发言起点提取原始视频信息a中与该音频发言起点对应的起始视频帧，进而基于该起始视频帧从原始视频信息a中重新提取人物A的视频帧序列，达到校正上述拼接视频信息中人物A的视频帧序列的目的。同理，可以校正拼接视频信息中其他各个人物的视频帧序列，以得到校正后的拼接视频信息。
在步骤S406中，将校正后的拼接视频信息与所述原始音频信息进行匹配，得到音视频信息。
其中，步骤S401-S403、S406的相关解释和说明可以参见上述实施例，在此不进行赘述。
由上述描述可知，通过确定所述音频片段中所述正在发言人物的音频发言起点，进而基于所述音频发言起点对所述拼接视频信息进行校正，可以实现基于正在发言人物的音频发言起点校正由各视频帧序列拼接得到的拼接视频信息，可以提高拼接视频信息的准确性，满足用户需求。
图5A是本公开根据第三示例性实施例示出的音视频信息获取方法流程图；该实施例可以应用于终端设备(如智能手机、平板电脑、台式电脑以及身份信息手持终端等)。如图5A所示，该方法包括以下步骤S501-S503：
在步骤S501中，获取多个图像采集装置在所述各个人物进行所述谈话过程中同时采集的多个原始视频信息，以及获取所述谈话过程中各个人物对应的原始音频信息。
在一实施例中，为了拍摄多个人物谈话过程的目标视频信息，可以通过多个图像采集装置同时采集每个人物在谈话过程中的原始视频信息。
在一实施例中，上述每个图像采集装置可以设置于每个人物面前，以采集该人物在上述谈话过程中的原始视频信息。
在一实施例中，图5B是本公开根据一实施例示出的音视频信息获取方法的应用场景示意图。如图5B所示，上述多个图像采集装置可以为多个终端设备(如，智能手机101和智能手机102)的图像采集装置。其中，智能手机101和智能手机102之间可以预先建立无线通信连接，进而可以基于该通信连接将各自采集的原始视频信息汇总至智能手机101和/或智能手机102，以通过汇总的设备实现上述音视频信息获取方法。或者，可以将智能手机101和智能手机102各自采集的原始视频信息汇总至服务端103中，以通过服务端103实现上述音视频信息获取方法，本实施例对此不进行限定。
在另一实施例中，上述多个图像采集装置可以为同一终端设备上的不同图像采集装置，例如可以为同一智能手机上的前后置摄像头，本实施例对此不进行限定。
可以理解的是，通过同一终端设备上的不同图像采集装置同时采集各个人物进行上述谈话过程中的原始视频信息可以减少采集原始视频信息的设备的数量，进而降低采集原始视频信息的设备成本。
在步骤S502中，基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列。
在步骤S503中，将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息。
在步骤S504中，将所述拼接视频信息与所述原始音频信息进行匹配，得到音视频信息。
其中，步骤S502-S504的相关解释和说明可以参见上述实施例，在此不进行赘述。
由上述描述可知，本实施例通过获取多个图像采集装置在所述各个人物进行所述谈话过程中同时采集的多个原始视频信息，可以实现后续基于获取的原始视频信息提取正在发言人物的视频帧序列，以及对提取的各所述视频帧序列进行拼接得到拼接视频信息，可以提高获取原始视频信息的灵活性，可以降低采集原始视频信息的设备成本，进而可以满足用户需求。
图6A是本公开根据第四示例性实施例示出的音视频信息获取方法流程图；该实施例可以应用于终端设备(如智能手机、平板电脑、台式电脑以及身份信息手持终端等)。如图6A所示，该方法包括以下步骤S601-S604：
在步骤S601中，获取谈话过程中各个人物对应的原始视频信息和原始音频信息；
在步骤S602中，基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列；
在步骤S603中，将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息。
在步骤S604中，将所述拼接视频信息与所述原始音频信息进行匹配，得到音视频信息。
其中，步骤S601-S604的相关解释和说明可以参见上述实施例，在此不进行赘述。
在步骤S605中，在所述正在发言人物发言的过程中，将所述正在发言人物的视频图像展示在终端屏幕上的第一预设显示区域，以及将其他人物的视频图像展示在所述终端屏幕上的第二预设显示区域，所述其他人物包括所述各个人物中除所述正在发言人物之外的人物。
举例来说，图6B是本公开根据一实施例示出的视频信息展示效果的示意图。如图6B所示，在正在发言人物A发言的过程中，可以将正在发言人物A的画面展示在终端屏幕上的第一预设显示区域201，以及将人物B、人物C及人物D的画面展示在该终端屏幕上的第二预设显示区域202，其中，而人物A当前正在发言，因而其对应的第一预设显示区域201较大；而人物B、人物C及人物D当前未在发言，因而其对应的第二预设显示区域202较小，如此即可达到突显当前正在发言人物A以及增强视频信息展示效果的目的。
在一实施例中，上述终端设备可以包括人物A、人物B、人物C及人物D的终端设备中的至少一个，本实施例对此不进行限定。
由上述描述可知，本实施例通过在所述正在发言人物发言的过程中，将所述正在发言人物的视频图像展示在终端屏幕上的第一预设显示区域，以及将其他人物的视频图像展示在所述终端屏幕上的第二预设显示区域，可以实现在终端屏幕上的不同预设显示区域展示正在发言人物以及其他未在发言人物，可以达到突显当前正在发言人物以及增强视频信息展示效果的目的。
图7A是本公开根据一示例性实施例示出的如何将正在发言人物的视频图像展示在终端屏幕上的第一预设显示区域的流程图；本实施例在上述实施例的基础上以如何将正在发言人物的视频图像展示在终端屏幕上的第一预设显示区域为例进行示例性说明。如图7A所示，上述步骤S604中所述将所述正在发言人物的视频图像展示在终端屏幕上的第一预设显示区域，可以包括以下步骤S701-S702：
在步骤S701中，确定所述正在发言人物的数量。
在一实施例中，在所述正在发言人物发言的过程中，可以确定所述正在发言人物的数量。
在一实施例中，可以通过统计同一时刻对应的正在发言人物的音频片段的数量的方式来确定该时刻正在发言人物的数量。举例来说，若统计出某一时刻对应的正在发言人物的音频片段的数量为n个，则可以确定该时刻正在发言人物的数量为n个，其中，n为正整数。
在步骤S702中，若所述数量大于或等于2，则以分屏的方式将所述正在发言人物的视频图像均展示在终端屏幕上的第一预设显示区域。
在一实施例中，当确定所述正在发言人物的数量后，可以确定该数量是否大于或等于2，若是，则可以以分屏的方式将当前的正在发言人物的视频图像均展示在终端屏幕上的第一预设显示区域。
举例来说，图7B是本公开根据一实施例示出的视频信息展示效果的示意图。如图7B所示，若确定当前正在发言人物为人物A和人物B，即可确定当前正在发言人物的数量为2，进而可以以分屏的方式将正在发言的人物A的画面和人物B的画面均展示在第一预设显示区域301，以及将未在发言的人物C的画面和人物D的画面展示在第二预设显示区域302。
进一步地，当人物B不在发言时，可以再将人物B的画面展示在第二预设显示区域302，即第一预设显示区域301中仅展示正在发言的人物A的画面。
值得说明的是，上述分屏的方式除采用如图7B中所示的左右分屏方式之外，还可以由开发人员或用户根据实际需要设置为其他方式，如设置为上下分屏方式等，本实施例对此不进行限定。
由上述描述可知，本实施例通过确定所述正在发言人物的数量，并当所述数量大于或等于2时，以分屏的方式将所述正在发言人物的视频图像均展示在终端屏幕上的第一预设显示区域，可以实现在终端屏幕上的不同预设显示区域同时展示多个正在发言人物以及其他未在发言人物，可以更好的突显当前正在发言人物，并可以增强视频信息展示效果，满足用户的需求。
图8是本公开根据第五示例性实施例示出的音视频信息获取方法流程图；该实施例可以应用于终端设备(如智能手机、平板电脑、台式电脑以及身份信息手持终端等)。如图8所示，该方法包括以下步骤S801-S804：
在步骤S801中，若检测到正在发言人物的声音强度高于或等于预设阈值，则生成用于提示降低声音强度的提示信息。
可以理解的是，若在谈话过程中多个人物发生争论，例如多于3个人同时大声发言，则可能导致摄像头和麦克风所采集的原始视频信息和原始音频信息过于混乱，进而会影响后续处理视频信息的准确性。因此，为了更好的采集谈话过程中各个人物对应的原始视频信息和原始音频信息，可以检测到当前正在发言人物的声音强度。其中，该声音强度的单位可以为“分贝”，本实施例对此不进行限定。
进一步地，当检测到正在发言人物的声音强度高于或等于预设阈值时，可以生成用于提示降低声音强度的提示信息，从而避免由于多个人物发生争论而导致采集的原始视频信息和原始音频信息过于混乱的问题。
在一实施例中，上述提示信息的形式和内容可以由开发人员根据实际需要进行设置，本实施例对此不进行限定。
在步骤S802中，获取谈话过程中各个人物对应的原始视频信息和原始音频信息。
在步骤S803中，基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列。
在步骤S804中，将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息。
在步骤S805中，将所述拼接视频信息与所述原始音频信息进行匹配，得到音视频信息。
其中，步骤S802-S805的相关解释和说明可以参见上述实施例，在此不进行赘述。
由上述描述可知，本实施例通过当检测到所述正在发言人物的声音强度高于或等于预设阈值时，生成用于提示降低声音强度的提示信息，可以有效避免由于多个人物发生争论而导致采集的原始视频信息和原始音频信息过于混乱的问题，因而可以提升采集的原始视频信息和原始音频信息的清晰程度，进而可以提升后续音视频信息获取的准确度。
图9是本公开根据一示例性实施例示出的音视频信息获取装置框图；如图9所示，该装置包括：视频音频获取模块110、帧序列提取模块120以及帧序列拼接模块130，其中：
视频音频获取模块110，用于获取谈话过程中各个人物对应的原始视频信息和原始音频信息；
帧序列提取模块120，用于基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列；
帧序列拼接模块130，用于将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息；
音视频信息获取模块，用于将所述拼接视频信息与所述原始音频信息进行匹配，得到音视频信息140。
由上述描述可知，本实施例通过获取谈话过程中各个人物对应的原始视频信息和原始音频信息，并基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列，进而可以将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息，以将所述拼接视频信息与所述原始音频信息进行匹配，得到音视频信息，由于是提取每个原始视频信息中正在发言人物的视频帧序列，进而将各视频帧序列按照时间顺序进行拼接，因而可使得到的拼接视频信息包含每个正在发言人物对应的视频帧序列，可以实现对多个人物谈话过程的原始视频信息进行自动剪辑，降低对用户的音视频信息获取能力的要求，提高音视频信息获取的智能化水平，进而可以提升用户的体验。
图10是本公开根据又一示例性实施例示出的音视频信息获取装置框图。其中，视频音频获取模块210、帧序列提取模块220、帧序列拼接模块230以及音视频信息获取模块240与前述图10所示实施例中的视频音频获取模块110、帧序列提取模块120、帧序列拼接模块130以及音视频信息获取模块140的功能相同，在此不进行赘述。如图10所示，帧序列提取模块220，可以包括：
音频片段获取单元221，用于确定所述原始音频信息中正在发言人物的音频片段；
帧序列提取单元222，用于提取每个所述原始视频信息中与所述音频片段对应的视频帧序列。
在一实施例中，音频片段获取单元221还用于：
对所述原始音频信息进行声纹识别，得到正在发言人物的声纹特征；
基于所述声纹特征从所述原始音频信息中筛选所述正在发言人物的音频片段。
在一实施例中，装置还可以包括视频信息校正模块240；视频信息校正模块240，可以包括：
音频发言起点确定单元241，用于确定所述音频片段中所述正在发言人物的音频发言起点；
视频信息校正单元242，用于基于所述音频发言起点对所述拼接视频信息进行校正。
在一实施例中，视频音频获取模块210还用于获取多个图像采集装置在所述各个人物进行所述谈话过程中同时采集的多个原始视频信息。
在一实施例中，装置还包括：
视频图像展示模块260，用于在所述正在发言人物发言的过程中，将所述正在发言人物的视频图像展示在终端屏幕上的第一预设显示区域，以及将其他人物的视频图像展示在所述终端屏幕上的第二预设显示区域，所述其他人物包括所述各个人物中除所述正在发言人物之外的人物。
在一实施例中，视频图像展示模块260，包括：
人物数量确定单元261，用于确定所述正在发言人物的数量；
视频图像展示单元262，用于当所述数量大于或等于2时，以分屏的方式将所述正在发言人物的视频图像均展示在终端屏幕上的第一预设显示区域。
在一实施例中，装置还包括：
提示信息生成模块270，用于当检测到所述正在发言人物的声音强度高于或等于预设阈值时，生成用于提示降低声音强度的提示信息。
图11是根据一示例性实施例示出的一种电子设备的框图。例如，装置300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图11，装置900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。
处理组件902通常控制装置900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理部件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在设备900的操作。这些数据的示例包括用于在装置900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件906为装置900的各种组件提供电力。电力组件906可以包括电源管理系统，一个或多个电源，及其他与为装置900生成、管理和分配电力相关联的组件。
多媒体组件908包括在所述装置900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当装置900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当装置900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。
I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件914包括一个或多个传感器，用于为装置900提供各个方面的状态评估。例如，传感器组件914可以检测到装置900的打开/关闭状态，组件的相对定位，例如所述组件为装置900的显示器和小键盘，传感器组件914还可以检测装置900或装置900一个组件的位置改变，用户与装置900接触的存在或不存在，装置900方位或加速/减速和装置900的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件916被配置为便于装置900和其他设备之间有线或无线方式的通信。装置900可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述音视频信息获取方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由装置900的处理器920执行以完成上述音视频信息获取方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种音视频信息获取方法，其特征在于，所述方法包括：
获取谈话过程中各个人物对应的原始视频信息和原始音频信息；
基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列；
将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息；
将所述拼接视频信息与所述原始音频信息进行匹配，得到音视频信息。
2.根据权利要求1所述的方法，其特征在于，所述基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列，包括：
确定所述原始音频信息中正在发言人物的音频片段；
提取每个所述原始视频信息中与所述音频片段对应的视频帧序列。
3.根据权利要求2所述的方法，其特征在于，所述确定所述原始音频信息中正在发言人物的音频片段，包括：
对所述原始音频信息进行声纹识别，得到正在发言人物的声纹特征；
基于所述声纹特征从所述原始音频信息中筛选所述正在发言人物的音频片段。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
确定所述音频片段中所述正在发言人物的音频发言起点；
基于所述音频发言起点对所述拼接视频信息进行校正。
5.根据权利要求1所述的方法，其特征在于，所述获取谈话过程中各个人物对应的原始视频信息，包括：
获取多个图像采集装置在所述各个人物进行所述谈话过程中同时采集的多个原始视频信息。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述正在发言人物发言的过程中，将所述正在发言人物的视频图像展示在终端屏幕上的第一预设显示区域，以及将其他人物的视频图像展示在所述终端屏幕上的第二预设显示区域，所述其他人物包括所述各个人物中除所述正在发言人物之外的人物。
7.根据权利要求6所述的方法，其特征在于，所述将所述正在发言人物的视频图像展示在终端屏幕上的第一预设显示区域，包括：
确定所述正在发言人物的数量；
若所述数量大于或等于2，则以分屏的方式将所述正在发言人物的视频图像均展示在终端屏幕上的第一预设显示区域。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若检测到所述正在发言人物的声音强度高于或等于预设阈值，则生成用于提示降低声音强度的提示信息。
9.一种音视频信息获取装置，其特征在于，所述装置包括：
视频音频获取模块，用于获取谈话过程中各个人物对应的原始视频信息和原始音频信息；
帧序列提取模块，用于基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列；
帧序列拼接模块，用于将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息；
音视频信息获取模块，用于将所述拼接视频信息与所述原始音频信息进行匹配，得到音视频信息。
10.根据权利要求9所述的装置，其特征在于，所述帧序列提取模块，包括：
音频片段获取单元，用于确定所述原始音频信息中正在发言人物的音频片段；
帧序列提取单元，用于提取每个所述原始视频信息中与所述音频片段对应的视频帧序列。
11.根据权利要求10所述的装置，其特征在于，所述音频片段获取单元还用于：
对所述原始音频信息进行声纹识别，得到正在发言人物的声纹特征；
基于所述声纹特征从所述原始音频信息中筛选所述正在发言人物的音频片段。
12.根据权利要求10所述的装置，其特征在于，所述装置还包括视频信息校正模块；所述视频信息校正模块，包括：
音频发言起点确定单元，用于确定所述音频片段中所述正在发言人物的音频发言起点；
视频信息校正单元，用于基于所述音频发言起点对所述拼接视频信息进行校正。
13.根据权利要求9所述的装置，其特征在于，所述视频音频获取模块还用于获取多个图像采集装置在所述各个人物进行所述谈话过程中同时采集的多个原始视频信息。
14.根据权利要求9所述的装置，其特征在于，所述装置还包括：
视频图像展示模块，用于在所述正在发言人物发言的过程中，将所述正在发言人物的视频图像展示在终端屏幕上的第一预设显示区域，以及将其他人物的视频图像展示在所述终端屏幕上的第二预设显示区域，所述其他人物包括所述各个人物中除所述正在发言人物之外的人物。
15.根据权利要求14所述的装置，其特征在于，所述视频图像展示模块，包括：
人物数量确定单元，用于确定所述正在发言人物的数量；
视频图像展示单元，用于当所述数量大于或等于2时，以分屏的方式将所述正在发言人物的视频图像均展示在终端屏幕上的第一预设显示区域。
16.根据权利要求9所述的装置，其特征在于，所述装置还包括：
提示信息生成模块，用于当检测到所述正在发言人物的声音强度高于或等于预设阈值时，生成用于提示降低声音强度的提示信息。
17.一种音视频信息获取设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现：
获取谈话过程中各个人物对应的原始视频信息和原始音频信息；
基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列；
将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息；
将所述拼接视频信息与所述原始音频信息进行匹配，得到音视频信息。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器处理时实现：
获取谈话过程中各个人物对应的原始视频信息和原始音频信息；
基于所述原始音频信息提取每个所述原始视频信息中正在发言人物的视频帧序列；
将提取的各所述视频帧序列按照时间顺序进行拼接，得到拼接视频信息；
将所述拼接视频信息与所述原始音频信息进行匹配，得到音视频信息。
CN201910637586.5A 2019-07-15 2019-07-15 音视频信息获取方法、装置、设备及存储介质 Pending CN112312039A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910637586.5A CN112312039A (zh) 2019-07-15 2019-07-15 音视频信息获取方法、装置、设备及存储介质
US16/699,565 US10950272B2 (en) 2019-07-15 2019-11-30 Method and apparatus for obtaining audio-visual information, device, and storage medium
EP20151681.2A EP3767624A1 (en) 2019-07-15 2020-01-14 Method and apparatus for obtaining audio-visual information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910637586.5A CN112312039A (zh) 2019-07-15 2019-07-15 音视频信息获取方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112312039A true CN112312039A (zh) 2021-02-02

Family

ID=69167692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910637586.5A Pending CN112312039A (zh) 2019-07-15 2019-07-15 音视频信息获取方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US10950272B2 (zh)
EP (1) EP3767624A1 (zh)
CN (1) CN112312039A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11671695B2 (en) * 2021-04-08 2023-06-06 Google Llc Systems and methods for detecting tampering with privacy notifiers in recording systems
CN117201955A (zh) * 2022-05-30 2023-12-08 荣耀终端有限公司 视频拍摄方法、装置、设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023661A (ja) * 2002-06-19 2004-01-22 Ricoh Co Ltd 記録情報処理方法、記録媒体及び記録情報処理装置
CN101478642A (zh) * 2009-01-14 2009-07-08 镇江畅联通信科技有限公司 视频会议系统的多画面混图方法及装置
EP2104105A1 (en) * 2008-03-20 2009-09-23 British Telecommunications Public Limited Company Digital audio and video clip encoding
CN104883607A (zh) * 2015-06-05 2015-09-02 广东欧珀移动通信有限公司 一种视频截图或剪切的方法、装置及移动设备
CN105376515A (zh) * 2014-09-02 2016-03-02 华为技术有限公司 用于视频通讯的通讯信息的呈现方法、装置及系统
US20180174600A1 (en) * 2016-12-16 2018-06-21 Google Inc. Associating faces with voices for speaker diarization within videos
CN108305632A (zh) * 2018-02-02 2018-07-20 深圳市鹰硕技术有限公司 一种会议的语音摘要形成方法及系统
CN108346034A (zh) * 2018-02-02 2018-07-31 深圳市鹰硕技术有限公司 一种会议智能管理方法及系统
US20190115029A1 (en) * 2017-10-17 2019-04-18 Google Llc Speaker diarization

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655152B2 (en) * 2012-01-31 2014-02-18 Golden Monkey Entertainment Method and system of presenting foreign films in a native language
CN104427292A (zh) 2013-08-22 2015-03-18 中兴通讯股份有限公司 会议纪要的提取方法及装置
US10460732B2 (en) * 2016-03-31 2019-10-29 Tata Consultancy Services Limited System and method to insert visual subtitles in videos
US10186075B2 (en) * 2016-11-30 2019-01-22 Adcor Magnet Systems, Llc System, method, and non-transitory computer-readable storage media for generating 3-dimensional video images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023661A (ja) * 2002-06-19 2004-01-22 Ricoh Co Ltd 記録情報処理方法、記録媒体及び記録情報処理装置
EP2104105A1 (en) * 2008-03-20 2009-09-23 British Telecommunications Public Limited Company Digital audio and video clip encoding
CN101478642A (zh) * 2009-01-14 2009-07-08 镇江畅联通信科技有限公司 视频会议系统的多画面混图方法及装置
CN105376515A (zh) * 2014-09-02 2016-03-02 华为技术有限公司 用于视频通讯的通讯信息的呈现方法、装置及系统
CN104883607A (zh) * 2015-06-05 2015-09-02 广东欧珀移动通信有限公司 一种视频截图或剪切的方法、装置及移动设备
US20180174600A1 (en) * 2016-12-16 2018-06-21 Google Inc. Associating faces with voices for speaker diarization within videos
US20190115029A1 (en) * 2017-10-17 2019-04-18 Google Llc Speaker diarization
CN108305632A (zh) * 2018-02-02 2018-07-20 深圳市鹰硕技术有限公司 一种会议的语音摘要形成方法及系统
CN108346034A (zh) * 2018-02-02 2018-07-31 深圳市鹰硕技术有限公司 一种会议智能管理方法及系统

Also Published As

Publication number Publication date
US20210020200A1 (en) 2021-01-21
EP3767624A1 (en) 2021-01-20
US10950272B2 (en) 2021-03-16

Similar Documents

Publication Publication Date Title
US10375296B2 (en) Methods apparatuses, and storage mediums for adjusting camera shooting angle
US20170304735A1 (en) Method and Apparatus for Performing Live Broadcast on Game
CN107692997B (zh) 心率检测方法及装置
CN107025419B (zh) 指纹模板录入方法及装置
WO2017181551A1 (zh) 视频处理方法及装置
EP3176709A1 (en) Video categorization method and apparatus, computer program and recording medium
CN110677734B (zh) 视频合成方法、装置、电子设备及存储介质
CN106534951B (zh) 视频分割方法和装置
CN108174269B (zh) 可视化音频播放方法及装置
CN110933488A (zh) 视频剪辑方法及装置
EP3113071A1 (en) Method and device for acquiring iris image
CN111523346B (zh) 图像识别方法及装置、电子设备和存储介质
CN106331328B (zh) 信息提示的方法及装置
CN112291631A (zh) 信息获取方法、装置、终端及存储介质
CN109495765B (zh) 视频截取方法及装置
CN110266914B (zh) 图像拍摄方法、装置及计算机可读存储介质
CN112312039A (zh) 音视频信息获取方法、装置、设备及存储介质
CN107105311B (zh) 直播方法及装置
CN112087653A (zh) 一种数据处理方法、装置和电子设备
CN107948876B (zh) 控制音箱设备的方法、装置及介质
CN110121115B (zh) 精彩视频片段的确定方法及装置
CN113506324B (zh) 图像处理方法及装置、电子设备和存储介质
CN113506325B (zh) 图像处理方法及装置、电子设备和存储介质
CN110858921A (zh) 节目视频的处理方法及装置
CN113315903B (zh) 图像获取方法和装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination