CN104053064A - 视频回放时间轴上的音频信息显示的系统和方法 - Google Patents

Abstract

本发明涉及视频回放时间轴上的音频信息显示的系统和方法。提供了在与数据流文件关联的时间轴上显示音频信息的视觉表示的系统和方法。一些方法能够包括接收音频信息、确定音频信息的至少一个属性、以及确定用于音频信息的视觉表示，其中用于音频信息的视觉表示与音频信息的属性相对应。一些方法能够包括显示与数据流文件关联的时间轴，以及在时间轴的相应分段上显示数据流文件中的音频信息的视觉表示，其中所述视觉表示与所述音频信息的至少一个属性相对应。

Description

视频回放时间轴上的音频信息显示的系统和方法

技术领域

本发明大体上涉及包括音频分量的视频数据流。更具体地，本发明涉及在与视频数据流关联的时间轴上显示音频信息的视觉表示的系统和方法。

背景技术

音频数据已经并且将持续在安全系统中扮演至关重要的角色。例如，在已知视频监控系统中所记录的许多数据流包括视频和音频分量这二者。

音频分析在本领域中是已知的，并且一些网际协议摄像机已集成了在摄像机中执行音频分析的系统和方法。然而，不存在生动地呈现与视频数据流关联的音频信息以使得用户能够容易且轻易地识别感兴趣的音频信息的已知系统和方法。例如，不存在供用户定位在视频数据流中的异常音频记录和/或识别何时异常音频发生的时间的已知系统和方法。已知系统和方法而是要求用户听音频来识别并定位感兴趣的音频信息。

据此，存在对于在与视频数据流关联的时间轴上显示音频信息的视觉表示的系统和方法的持续且不间断的需要。

附图说明

图1是显示音频频率的图表；

图2是根据所公开的实施例的用于音频频率视觉化的图表；

图3是根据所公开的实施例的用于音频音量视觉化的图表；

图4是根据所公开的实施例的方法的流程图；

图5是根据所公开的实施例的用于执行图4的方法和其他方法的系统的框图；以及

图6是根据所公开的实施例的在图形用户界面上显示的时间轴的视图。

具体实施方式

虽然本发明容许采用许多不同形式的实施例，但附图中将示出以及本文中将详细描述其特定实施例，其中应理解，要将本公开视为本发明的原理的范例。并不意在将本发明限制到特定的所说明的实施例。

本文中所公开的实施例包括在与视频数据流关联的时间轴上显示音频信息的视觉表示的系统和方法。例如，本文中所公开的系统和方法能够向用户提供与视频数据流关联的音频信息的概观。因而，系统和方法能够允许用户容易识别并定位任何异常音频、以及例如射击声、打碎玻璃声、人类语音等之类的异常音频的类型、和异常音频在所关联的视频数据流内发生的时间。

根据所公开的实施例，能够通过音频频率和/或音频音量来对音频信息进行分类。例如，能够将不同的频率和音量级别映射为颜色域中的不同颜色，并且将其存储和/或嵌入在所关联的视频数据流的文件中。

已知人类能够听到和感测在大约20 Hz与大约20,000 Hz之间的频率的音频，虽然当被各种环境因素所影响时，该频率的范围会变化。图1是显示音频频率的图表100，并且如在图1中所看到的，能够将音频频率分成三组：在大约20 Hz以下的频率110、在大约20 Hz与大约20,000 Hz之间的频率120、以及在大约20,000 Hz以上的频率130。

根据所公开的实施例，具有不同频率和/或音量的音频信息能够利用不同的颜色和明暗来表示，并且能够在与视频数据流关联的时间轴上被视觉地显示。例如，图2是根据所公开的实施例的用于音频频率视觉化的图表200，并且图3是根据所公开的实施例的用于音频音量视觉化的图表300。

 如在图2中所看到的， 处于第一频率范围（例如，小于大约20 Hz）210中的音频信息能够利用第一颜色（例如，绿色）来表示。处于第二频率范围（例如，在大约20 Hz与大约20,000 Hz之间）220中的音频信息能够利用第二颜色（例如，红色）来表示。处于第三频率范围（例如，大于大约20,000 Hz）230中的音频信息能够利用第三颜色（例如，蓝色）来表示。

类似地，处于第一音量范围（例如，小于大约10 dB）310中的音频信息能够利用第一色彩明暗或暗度来表示。处于第二音量范围（例如，大于大约100 dB）370中的音频信息能够利用第二色彩明暗或暗度来表示。处于第一与第二音量范围之间的不同范围（例如，在大约10 dB与大约20 dB之间的范围320、在大约20 dB与大约40 dB之间的范围330、在大约40 dB与大约60 dB之间的范围340、在大约60 dB与大约80 dB之间的范围350、在大约80 dB与大约100 dB之间的范围360）处的音频信息能够利用相应的色彩明暗或暗度来表示。例如，如在图3中所看到的，当频率范围从较低的音量范围310改变到较高的音量范围370时，相应的色彩明暗能够从暗渐变到亮。

根据所公开的实施例，能够将包括相应的频率和/或音量信息的音频信息集成和/或嵌入到所关联的视频数据流中。例如，能够将相应的颜色以及明暗或暗度信息、映射信息、和/或时间轴信息集成和/或嵌入到所关联的视频数据流中。因此，当在用户界面上显示视频数据流时，还能够显示时间轴，因而显示音频信息的视觉表示以及与该音频信息相关的时间。

 在一些实施例中，本文中所公开的系统和方法能够从音频处理模块和/或从捕获音频的传感器中检索频率和音量信息。然后，本文中所公开的系统和方法能够将该音频的频率和音量信息转移到颜色空间中，并且将频率及音量信息和/或所转移的颜色信息存储和/或嵌入到所关联的视频数据流中。当显示视频数据流时，能够在与该视频数据流关联的时间轴上视觉地显示所嵌入的音频信息和/或颜色信息。也就是说，能够显示与视频数据流关联的音频信息的概观，并且用户能够使用音频信息的视觉化来容易地识别视频数据流内的任何异常发生。

例如，图4是根据所公开的实施例的计算用于音频信息的显示颜色的方法400的流程图。如在图4中所看到的，如在405中，当方法400准备好执行音频视觉化时，方法400能够从捕获了音频信息的传感器中检索该音频信息。例如，所检索的音频信息能够包括频率信息和音量信息。

如在410中，方法400能够确定所检索的音频信息是否包括小于大约20 Hz的频率。如果是，那么方法400能够将该音频信息映射到第一颜色，例如，如415中的绿色。例如，方法400能够将音频信息映射在（R,G,B）颜色域中作为（0,128,0）。

然而，如果如在410中，方法400确定所检索的音频信息不包括小于大约20 Hz的频率，那么如在420中，方法400能够确定所检索的音频信息是否包括小于大约20,000 Hz的频率。如果是，那么方法400能够确定所检索的音频信息包括在大约20 Hz与大约20,000 Hz之间的频率。因而，方法400能够将所检索的音频信息映射到第二颜色，例如，如425中的红色。例如，方法400能够将所检索的音频信息映射在（R,G,B）颜色域中作为（128,0,0）。

然而，如果如在420中，方法400确定所检索的音频信息不包括小于大约20,000 Hz的频率，那么方法400能够将所检索的音频信息映射到第三颜色，例如，如430中的蓝色。例如，方法400能够将所检索的音频信息映射在（R,G,B）颜色域中作为（0,0,128）。

在方法400将所检索的音频信息映射到第一、第二、或第三颜色（例如，分别如415、425和430中的绿色、红色或蓝色）之后，如在435中，方法400能够确定所检索的音频信息是否包括大于大约100 dB的音量。如果是，那么如在440中，方法400能够将音量参数设定到100 dB。然而，如果如在435中，方法400确定所检索的音频信息不包括大于大约100 dB的音量，那么如在445中，方法400能够确定所检索的音频信息的音量并且将音量参数设定成与所确定的音量关联的值。

最后，如在450中，方法400能够计算用于所检索的音频信息的显示颜色。例如，方法400能够确定明暗，也就是，所映射的绿色、红色、和蓝色音频信息的暗度和/或亮度值。在一些实施例中，方法400能够确定显示颜色如下：

（1）显示颜色=映射颜色*（1+（音量-10 dB））/100 dB）

因而，在一些实施例中，用于所检索的音频信息的显示颜色能够是音频信息的音量以及映射颜色这二者的函数，所述映射颜色是音频信息的频率的函数。

图5是根据所公开的实施例的用于执行图4的方法和其他方法的系统500的框图。如在图5中所看到的，如将由本领域一般技术人员所理解的，系统500能够包括控制电路510、一个或多个可编程处理器520、以及可执行控制软件530。能够将可执行控制软件530存储在临时或非临时本地计算机可读介质上，包括但不限于，本地计算机存储器、RAM、光学存储介质、磁性存储介质、闪存等。

所关联的用户接口设备550能够与控制电路510进行通信，并且用户接口设备的观察屏560能够显示交互和观察窗。在一些实施例中，用户接口设备550能够包括多维图形用户界面。在一些实施例中，用户接口设备550能够包括能够接收用户输入的一个或多个输入机制570，例如键区或鼠标。

如在图5中所看到的，控制电路510能够接收数据，例如，音频信息、视频信息、和/或包括音频信息的视频数据流文件。在一些实施例中，控制电路540能够包括用于存储所接收和/或经处理的数据的存储器设备540。

 包括可编程处理器520和可执行控制软件530的控制电路540能够处理所接收的数据以分类、映射、和/或提供音频信息的视觉表示。用户接口设备550的观察屏560然后能够结合在观察屏560上显示的时间轴来显示经处理的音频信息。例如，能够将时间轴与所接收的音频和视频数据相关联，并且能够在时间轴上显示与相应的时间段对应的音频数据的视觉表示。

 图6是根据所公开实施例的示例性时间轴600的视图。如在图6中所看到的，时间轴600能够视觉地显示音频信息的表示。在一些实施例中，时间轴600能够包括多个不同的时间段610，并且能够将多个610中的每一个显示为在该时间段内与音频信息对应的相应的颜色和明暗。

 例如，在图6中的时间轴600中，时间轴600能够包括六个不同的时间段610-1、610-2、610-3、610-4、610-5、610-6。在第一时间段610-1期间，能够将时间轴600显示为暗绿色。因而，观察时间轴600的用户能够理解在第一时间段610-1期间的音频包括小于大约20 Hz的频率并且包括相对较低的音量。在第二时间段610-2期间，能够将时间轴600显示为亮绿色。因而，观察时间轴600的用户能够理解在第二时间段610-2期间的音频包括小于大约20 Hz的频率并且包括相对较高的音量。

 在第三时间段610-3期间，能够将时间轴600显示为亮红色。因而，观察时间轴600的用户能够理解在第三时间段610-3期间的音频包括处于大约20 Hz与大约20,000 Hz之间的频率并且包括相对较高的音量。然后，在第四时间段610-4期间，能够将时间轴600显示为暗蓝色。因而，观察时间轴600的用户能够理解在第四时间段610-4期间的音频包括大于大约20,000 Hz的频率并且包括相对较低的音量。给定音频从第二时间段610-2到第三和第四时间段610-3、610-4方面的改变，用户能够容易地识别在第三和/或第四时间段610-3、610-4期间发生了可能感兴趣的事件。因而，在第三和第四时间段610-3、610-4期间并基本上紧接在其之前和之后的时间，用户能够听音频和/或观察视频。

在第五时间段610-5期间，能够将时间轴600显示为亮绿色。因而，观察时间轴600的用户能够理解在第五时间段610-5期间的音频包括小于大约20 Hz的频率并且包括相对较高的音量。在第六时间段610-6期间，能够将时间轴600显示为暗绿色。因而，观察时间轴600的用户能够理解在第六时间段610-6期间的音频包括小于大约20 Hz的频率但是包括相对较低的音量。

尽管以上已经详细描述了一些实施例，但其他修改是可能的。例如，以上所描述的逻辑流程并不要求所描述的特定次序、或顺序次序以达到所期望的结果。可以提供其他步骤或者可以从所描述的流程中消除步骤，并且可以将其他组件添加到所描述的系统或者从所述系统中移除。其他实施例可以处于本发明的范围内。

根据前述，将注意到可以实现许多变形和修改而不背离本发明的精神和范围。要理解的是，不意在或应该推断关于本文中所描述的特定系统或方法的任何限制。当然，意在涵盖如落入本发明的精神和范围内的所有此类修改。

Claims (15)

1.一种方法包括：

接收音频信息；

确定所述音频信息的至少一个属性；以及

确定用于所述音频信息的视觉表示，其中用于所述音频信息的所述视觉表示与所述音频信息的属性相对应。

2.如权利要求1所述的方法，其中接收音频信息包括从音频传感器接收音频数据。

3.如权利要求1所述的方法，其中确定所述音频信息的至少一个属性包括确定所述音频信息的频率或确定所述音频信息的音量。

4.如权利要求3所述的方法，其中确定所述音频信息的频率包括从多个频率范围中确定所述音频信息的频率落在其中的频率范围。

5.如权利要求4所述的方法，其中确定用于所述音频信息的视觉表示包括从用于所述音频信息的视觉表示的多个颜色中确定颜色，并且其中所述多个颜色中的每个与所述多个频率范围中相应的一个相对应。

6.如权利要求3所述的方法，其中确定所述音频信息的音量包括从多个音量级别范围中确定所述音频信息的音量落在其中的音量级别范围。

7.如权利要求6所述的方法，其中确定用于所述音频信息的视觉表示包括从用于所述音频信息的视觉表示的多个明暗中确定明暗，并且其中所述多个明暗中的每个与所述多个频率范围中相应的一个相对应。

8.如权利要求1所述的方法，其中确定用于所述音频信息的视觉表示包括确定用于所述音频信息的视觉表示的颜色，并且其中所述颜色与所述音频信息的属性相对应。

9.如权利要求1所述的方法，其中确定用于所述音频信息的视觉表示包括确定用于所述音频信息的视觉表示的明暗，并且其中所述明暗与所述音频信息的属性相对应。

10.如权利要求1所述的方法，进一步包括将所述音频信息的视觉表示嵌入在视频数据流文件中。

11.如权利要求1所述的方法，其中所述音频信息的视觉表示是所述音频信息的频率和音量级别的函数。

12.一种方法包括：

显示与数据流文件关联的时间轴；以及

在所述时间轴的相应分段上显示所述数据流文件中的音频信息的视觉表示，其中所述视觉表示与所述音频信息的至少一个属性相对应。

13.如权利要求11所述的方法，其中在所述时间轴的相应分段上显示所述数据流文件中的音频信息的视觉表示包括在所述时间轴的相应分段上显示来自多个颜色中的颜色，并且其中所述颜色与所述音频信息的频率相对应。

14.如权利要求11所述的方法，其中在所述时间轴的相应分段上显示所述数据流文件中的音频信息的视觉表示包括在所述时间轴的相应分段上显示来自多个暗度级别中的暗度级别，并且其中所述暗度级别与所述音频信息的音量级别相对应。

15.一种系统包括：

收发器；以及

在非临时计算机可读介质上存储的可编程处理器和可执行控制软件，

其中所述收发器接收音频信息，

其中所述可编程处理器和所述可执行控制软件确定所述音频信息的至少一个属性，

其中所述可编程处理器和所述可执行控制软件确定所述音频信息的视觉表示，以及

其中所述视觉表示与所述音频信息的属性相对应。