CN103329145A - 用于视频记录期间的声音的改善音频信号呈现的方法和组件 - Google Patents

Abstract

为了在任何视频记录期间以减少的技术努力实现声音、特别是运动特定声音的改善的音频呈现，提议基于传感器捕捉并分析视频图像的图像内容。根据因此获得的信息，根据预定义标准从音频数据库选择拟合的声音事件（音频样本）。所选声音事件被自动地添加到视频伴音的分量。

Description

用于视频记录期间的声音的改善音频信号呈现的方法和组件

技术领域

本发明涉及用于视频记录期间的声音、特别是运动特定声音的改善音频呈现的方法和组件。此类方法和此类组件可从DE 10 2008 045 397 A1已知。

背景技术

借助于伴随有多通道电视声音的宽屏格式的高清晰电视图像的引入，特别是在体育事件的传输期间，电视观众与常规电视技术相比明显更多地被卷入到体育运动中，因为明显更多的细节是可感知的。针对直播体育事件的图像和音频记录，经常地不能以足够的数目或在期望的接近于重要声源的区域中安装麦克风。这些主要是声音，其是用于特定运动的特性并强调图像内容的直接性。相应地，例如，在足球比赛的电视记录中，只有场上的极少数或没有比赛特定声音通常是可感知的，因为到围绕场地的定向麦克风的距离相对于嘈杂的体育场气氛而言太大了。对于滑雪赛跑的电视记录而言，具有麦克风的数千米长的滑雪道的完全覆盖将是过于昂贵的。因此，为了比赛场景或赛跑的密切记录，特性声音通常未被音频记录捕捉。

根据DE 10 2008 045 397 A1，为了在球类运动事件的视频记录期间捕捉运动特定声音，已知提供具有至少两个定向麦克风的强定向麦克风系统，所述至少两个定向麦克风中的每一个被借助于可沿着空间的所有方向活动的引导实体而朝着球的当前位置对准。生产期间的麦克风的引导在没有人工干预的情况下自动地发生，依赖于借助于球跟踪方法生成的球位置数据。

然而，这种已知音频记录技术不能应用于每个视频记录，并且要求相当高的技术努力。

发明内容

本发明要解决的问题是根据在开头描述的设计来创建方法和组件，其允许在任何视频记录期间以减少的技术努力获得声音的改善的音频呈现。

根据本发明，针对其中在最初基于传感器捕捉图像内容并进行分析的方法来解决此问题。借助于由此获得的信息，根据预定义标准从声音数据库中选择拟合声音事件。所选声音事件被自动地添加到整个视频音频混合的附加分量，在下文中称为视频伴音。

用于执行根据本发明的方法的组件由三个核心部件组成：传感器实体，用于检测视频图像的特性图像内容；中央控制单元，分析所检测的图像内容，并基于该图像内容从音频数据库中选择拟合于所检测图像内容的音频样本，其在混合器控制台中被混合到视频伴音。

附图说明

根据借助于仅仅示例性且非限制性示例给出的将参考附图来阅读的以下详细描述，本发明将变得完全清楚，在所述附图中：

图1示出了具有三个核心部件：传感器实体、中央控制单元以及音频数据库的用于执行根据本发明的方法的组件的示意性方框图；

图2示出了根据图1的组件的中央控制单元的细节；并且

图3示出了用于音频数据库中的音频样本到不同种类的分类（样本映射）的示例。

具体实施方式

在图1中示意性地示出了用于执行根据本发明的方法的组件1包括用于检测视频图像的图像内容的传感器实体10。所检测图像内容被传感器实体10以数据11的形式提供给基于软件的分析和处理单元30，其在图2中更详细地示出并将在稍后解释。

例如，由电视照相机提供的运动事件的实时图像（在图1中和以下描述中称为“传输图像”）可以被用作用于检测图像内容的视频图像。传感器实体10例如使用来自“机器视觉”（计算机视觉）领域的算法来执行传输图像的分析。这些算法特别地允许针对图像背景进行运动对象的分离和跟踪以及根据图像区段来确定其位置。以足球比赛为例，可以相应地确定球在场上的位置以及图像区段中所示的所有球员的位置和尺寸。此外，可以借助于球员的球衣来将球员分配给不同的球队以及计算球的运动方向和速度。传输图像的检测（以及分析和处理单元30中的随后分析；图1）此外提供能够在比赛记录期间使用多个电视照相机来推导出图像导演当前所选择（“切割”）的电视照相机的位置和焦距的优点。

补充性地，在传感器实体10中及分析和处理单元30中，也可以进行音频信号的记录和自动分析（在图1和以下描述中称为“传输声音”），其表征传输图像的场景内的特定动作。例如，从传输声音获得的信息被用来在声学上验证借助于视频分析检测的图像动作。此外，可以在传感器实体10中提供以物理方式来确定出现在传输图像中的参与者的动作的传感器，以获得运动序列的更密切定义和捕捉。这包括例如借助于GPS或无线电承载系统来确定参与者的当前位置。作为数据11，所述附加信息也被提供给基于软件的分析和处理单元30。

用于检测图像内容的技术上不那么昂贵的可能性是将专用且静态安装的跟踪照相机的信号而不是传输图像用于视频分析。跟踪照相机可以被预先校准至相应的场景并从而简化视频图像中的交互和对象的自动检测。然而，在这种情况下，必须在外部从单元20提供关于实际传输图像的信息，例如关于在图中未示出的图像混合器控制台的GPIO信号或照相机元数据（将进行解释）。

由传感器实体10提供的数据11的分析和处理是在单元30中执行的，单元30在图2中更详细地图示出。单元30根据例如传感器实体10的数据11来推导出用于音频数据库的控制命令31，例如，作为基于PC或DSP的处理的一部分。在单元30中，在第一分析阶段32（其独立于传输图像而分析场景）中，针对视频图像描述的基于传感器确定的参数根据预定义规则在逻辑上相互链接，并且借助于结果得到的信息，生成控制命令31以用于被存储在音频数据库40中的存档的单独声音、即“音频样本”的选择。该预定义规则又是独立应用的，并且针对每个目的，必须被预先具体地指定且引入到分析和处理单元30的软件中。数据库40将由控制命令31选择的音频样本作为音频信号41输出，音频信号41随后被直接馈送给产生混合器控制台50，并且在其中，可以与视频伴音的其他分量混合，诸如与环绕声（“原声”）以及比赛评论员的“对话声”（在适用的情况下）混合。由此，应留心的是在音频样本与视频伴音之间未发生干扰的时移倍增。在用于添加到视频伴音的音频样本的选择期间，进行以下特征之间的区别以获得逼真的视频场景发声的音频编辑（按照其相关性顺序）：

1. 声音类型

2. 声音的音量（速度）

3. 混响的添加（空间性）

4. 摇摄（向声音分配方向）。

为了将根据本发明的方法应用于足球比赛，阶段32中的规则的此类规范意味着例如基于关于球运动的矢量变化从视频分析提取的信息，可以确定新射门的起点。球的加速度以及场上的运动矢量的长度提供关于以下各项的信息：其为具有分叉声音特性的远距离射门还是传球；以及应根据由单元30生成的控制命令31从音频数据库40向产生混合器控制台50（图1）提供多大声（“速度”值）的谐音（ according sound）（音频信号41）。可以依赖于球在场上的位置而进一步改变提供给产生混合器控制台50的声音的音量，由此，可以再现声音起点相对于观看者的距离。

在第二分析阶段33（图2）中，其根据传输图像来分析参数，考虑关于传输图像的图像区段的信息以用于声音选择。此信息被单元20作为数据21提供。在直接在传输图像中执行视频分析的情况下，可以借助于被调查对象的尺寸来确定照相机位置和焦距。在采用单独跟踪照相机（图1）或其他传感器系统以用于检测传感器实体10中的图像内容的情况下，考虑关于传输图像性质的外部信息。出于此目的，从电视照相机的控制单元提取的照相机元数据是特别适用的。此外，可应用混合器控制台的GPIO信号，其表明当前在传输图像中选择（“切割”）多个电视照相机中的哪一个。基于此数据， 第二分析阶段33生成用于提供给产生混合器控制台50的音频信号410的音量的变化的控制命令34。此变化借助于由控制命令34控制的阶段70而发生，以用于音频数据库40的音频信号41的实时声音编辑。借助于提供给混合器控制台50的音频信号410的音量的附加变化，在某种程度上，可以模拟光学距离，其中观看者相对于图像动作的中心定位。以足球比赛为例，借助于球声音的不同水平，可以重新产生防守的特写记录或整个场地的广角记录，其中，在每种情况下，观看者采取到动作的不同光学距离。

补充性地，借助于第二分析阶段33，可以控制用于动态实时声音编辑的附属于音频数据库40的阶段70，使得借助于依赖于视频图像中的对象位置进行的混响分量的均衡和添加，重新产生空气消散和空间性的影响。

在音频信号41或410到混合器控制台50的所述实时提供期间，由于图像内容的检测和分析，在音频信号41与视频图像之间发生特定时移。然而，此时移可以局限于小于四个全图像的范围，由此，可以有相应音频/视频事件的明确关联。

借助于图3中的“样本映射”示出了用于足球的用于音频数据库40的组织的示例。“样本映射”被理解为存储在数据库40中的音频样本到不同种类的分类。可以基于硬件和基于软件两者将音频数据库40投入实践，并且其依赖于例如标准硬件/软件采样器或通用数据库格式。控制命令31和34到数据库40的传输可以例如经由midi协议发生。为了根据音频样本的特定特征将音频数据库中的音频样本分类，提供了“样本映射”，其随着应用目的出现而变。

已将被与实际声音结合的足球比赛为例，可辨别用于采取用球员的身体、脚和头进行接球和传球的形式的不同玩球技术的音频样本。对于涉及身体的玩球技术而言，用胸、膝和头进行的接球和传球被进一步多样化。脚接球和传球被再次划分成群组“射门”和“传球”。

针对根据图3的实施例，根据从分析阶段33（图2）中的视频图像确定的射门力量以变化的音量（“速度”）选择音频样本，并且通过使用不同的音频样本，将不同玩球强度的音调差考虑在内。例如，比起不那么强有力的射门的声音，劲射的砰然声具有较高音量以及另一频率组成。为此原因，不那么强有力的射门的声音不仅被以较低音量混入，而且另外采用了另一音频样本。出于此目的，在音频样本产生时以相对于声源的变化记录距离（2米、6米或12米）来记录音频样本，以便再现用于劲射的直接声音特征以及用于不那么强有力的射门的间接声音特征。

在重放期间，由阶段70根据控制命令34而主要实时地改变诸如音量、混响分量、摇摄以及均衡的参数。这提供优点，即不必针对每次可能的参数化都存储自己的音频样本，这急剧地减少了此类音频数据库的产生期间的存储要求和开支两者。为了提升音频编辑场景的真实的总体印象，必须甚至针对连续的类似图像内容采用不同的音频样本。出于此目的，可以提供音频样本的随机旋转。

Claims (12)

1.一种用于视频记录期间的声音、特别是运动特定声音的改善音频呈现的方法，其特征在于基于传感器捕捉视频图像的图像内容并进行分析，基于因此获得的信息，根据预定义标准从音频数据库中选择相应的音频事件（音频样本），并且将所选声音事件自动地播放到电视伴音的分量。

2.根据权利要求1所述的方法，其特征在于在基于传感器捕捉当前传送的视频图像（传输图像）的图像内容期间，使用来自“机器视觉”领域的算法来执行传输图像的分析，其中，借助于这些算法，针对图像背景将运动对象分离并进行追踪，并且根据图像区段来确定其位置。

3.根据权利要求1所述的方法，其特征在于在基于传感器捕捉图像内容期间，作为当前传送的视频图像（传输图像）的替代，采用被校准至相应图像场景的专用和静态安装的跟踪照相机的信号，并且另外，关于传输图像的外部信息被用于分析，例如图像混合器控制台的照相机元数据或GPIO信号。

4.根据权利要求1或2所述的方法，其特征在于为了运动序列的更详细定义和捕捉，基于传感器捕捉附加参数，该附加参数以物理方式来确定出现在传输图像中的参与者的动作，例如借助于GPS或无线电承载系统来确定参与者的当前位置。

5.根据权利要求1至4中的一项所述的方法，其特征在于在声音选择过程中考虑关于传输图像的图像区段的信息。

6.根据权利要求1至5中的一项所述的方法，其特征在于基于传感器捕捉的用于描述视频图像的参数被根据预定义规则在逻辑上相互链接，并且根据结果得到的信息，生成了用于选择存档的单独声音、称为“音频样本”的控制命令。

7.根据权利要求1至6中的一项所述的方法，其特征在于根据传输图像的分析来执行从音频数据库重放的音频样本的实时声音编辑。

8.根据权利要求7所述的方法，其特征在于在从音频数据库的音频样本选择和实时声音编辑期间，进行以下特征之间的区别：

- 声音类型

- 声音的音量（速度）

- 混响添加（空间性）

- 摇摄（向声音分配方向）。

9.根据权利要求6所述的方法，其特征在于音频样本在音频数据库中根据音频样本的特定特征被分类（“样本映射”）。

10.根据权利要求9所述的方法，其特征在于针对将被与实际声音结合的足球比赛情况下的“样本映射”，针对用于球员的身体或脚的接球和传球形式的不同玩球技术，以群组“身体”、“射门”和“传球”来辨别音频样本。

11.根据权利要求9和10所述的方法，其特征在于，针对将被与实际声音结合的足球比赛情况下的“样本映射”，根据所检测的玩球强度来布置具有变化音量的音频样本，并且不同的音频样本也将射门、传球和接球的不同玩球能力的音调差考虑在内。

12.一种用于执行根据权利要求1至11中的一项或多项所述的方法的组件，其特征在于以下部件：

—传感器实体（10），用于检测视频图像的特性图像内容，

—中央控制单元（30），其分析所检测的图像内容，以及

—音频数据库（40），单独声音（音频样本）被存档在其中，其中，基于视频图像的所检测特性图像内容，中央控制单元（30）从音频数据库中选择对应于所检测图像内容的音频样本，其在混合器控制台（50）中被混合到视频伴音的分量。

Images