CN112532905B - 车载音视频帧数据处理方法及装置 - Google Patents

Abstract

本发明提供一种车载音视频帧数据处理方法及装置。所述方法包括：接收车载音视频采集装置采集到的车载音视频帧数据；确定应用是否打开预设共享内存；若是，则将所述车载音视频帧数据存储到预设共享内存中，以供所述应用读取所述车载音视频帧数据；若否，则丢弃所述车载音视频帧数据。本发明提供的车载音视频帧数据处理方法及装置提高了车载视频数据处理的稳定性，可以显著降低资源消耗，提高了处理的效率。

Description

车载音视频帧数据处理方法及装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种车载音视频帧数据处理方法及装置。

背景技术

对于车载音视频帧数据的处理，目前有两种方案：

方案一(捆绑模式)：将涉及视频应用的模块以插件方式提供，由视频采集应用程序动态加载插件方式，把采集到的音视频帧数据分别分发给各个插件。

然而，各个插件多次分发是串行操作，会导致采集数据的时延和丢帧。若通过使用内存循环队列来解决时延，则会导致内存占用变大以及二次拷贝，并且仍然无法解决因队列满而导致的丢帧问题，插件越多丢帧就会越频繁，从而也限制了业务的扩展性。另外，由于捆绑在同一个进程中，其耦合性就增大(如：时延和丢帧等等)。当某一插件模块不稳定而崩溃时，会连带此进程中的所有模块都异常退出，从而导致应用程序稳定性的不可控。

方案二(分治模式)：各个涉及视频应用的模块独立为各自的应用程序进程，由视频采集应用程序创建共享内存队列，并负责把采集到的音视频帧数据写入共享内存队列，当队列写满时自动覆盖最早队列项，而每个应用进程各自读取共享内存队列中的音视频帧数据。

然而，该方案的共享内存队列占用内存空间过大，且队列项以最大视频帧尺寸为项尺寸，这样会导致系统资源和设备能耗的浪费。

因此，如何提出一种方法，能够提高车载视频数据处理的稳定性并避免系统资源的浪费，成为亟待解决的技术问题。

发明内容

针对现有技术中的缺陷，本发明提供一种车载音视频帧数据处理方法及装置。

本发明提供的车载音视频帧数据处理方法，包括：

接收车载音视频采集装置采集到的车载音视频帧数据；

确定应用是否打开预设共享内存；

若是，则将所述车载音视频帧数据存储到预设共享内存中，以供所述应用读取所述车载音视频帧数据；

若否，则丢弃所述车载音视频帧数据。

在一个实施例中，所述确定应用是否打开预设共享内存之前，还包括：

根据历史车载音视频帧数据，确定每一秒的车载音视频帧数据中的关键帧的平均数量；

根据所述关键帧的平均数量，以及缓存所述车载音视频帧数据的预设时长，确定所述预设共享内存的大小。

在一个实施例中，所述根据所述关键帧的平均数量，以及缓存所述车载音视频帧数据的预设时长，确定所述预设共享内存的大小包括：

根据所述关键帧的平均数量，确定预设关键帧数量系数；

将所述关键帧的平均数量、所述预设关键帧数量系数以及所述预设时长之积作为所述预设共享内存的大小；

其中，所述预设关键帧数量系数大于1。

在一个实施例中，所述将所述车载音视频帧数据存储到预设共享内存中包括：

若将当前的车载音视频帧数据存储到所述预设共享内存中后，所述预设共享内存达到存储上限，则覆盖最先存储的车载音视频帧数据。

本发明还提供一种车载音视频帧数据处理装置，包括：

接收模块，用于接收车载音视频采集装置采集到的车载音视频帧数据；

处理模块，用于确定应用是否打开预设共享内存；

若是，则将所述车载音视频帧数据存储到预设共享内存中，以供所述应用读取所述车载音视频帧数据；

若否，则丢弃所述车载音视频帧数据。

在一个实施例中，所述处理模块包括内存建立子模块，用于：

根据历史车载音视频帧数据，确定每一秒的车载音视频帧数据中的关键帧的平均数量；

根据所述关键帧的平均数量，以及缓存所述车载音视频帧数据的预设时长，确定所述预设共享内存的大小。

在一个实施例中，所述内存建立子模块具体用于：

根据所述关键帧的平均数量，确定预设关键帧数量系数；

将所述关键帧的平均数量、所述预设关键帧数量系数以及所述预设时长之积作为所述预设共享内存的大小；

其中，所述预设关键帧数量系数大于1。

在一个实施例中，所述处理模块具体用于：

若将当前的车载音视频帧数据存储到所述预设共享内存中后，所述预设共享内存达到存储上限，则覆盖最先存储的车载音视频帧数据。

本发明还提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种的车载音视频帧数据处理方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种的车载音视频帧数据处理方法的步骤。

本发明提供的车载音视频帧数据处理方法及装置，通过仅设置共享内存，并判断是否有应用打开该共享内存来确定是否将车载音视频帧数据存储到该共享内存中或直接丢弃，实现了车载音视频帧数据的紧凑处理结构，相比于现有技术极大简化了数据处理流程，提高了车载视频数据处理的稳定性。并且，通过在无应用使用车载音视频帧数据时直接将车载音视频帧数据丢弃，可以显著降低资源消耗，提高了处理的效率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的车载音视频帧数据处理方法的流程示意图；

图2为本发明提供的车载音视频帧数据处理装置的结构示意图；

图3本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明提供的车载音视频帧数据处理方法的流程示意图。参照图1，本发明提供的车载音视频帧数据处理方法可以包括：

S110、接收车载音视频采集装置采集到的车载音视频帧数据；

S120、确定是否接收到应用发送的音视频帧数据读取请求；

若是，则将车载音视频帧数据存储到预设共享内存中，以供应用读取车载音视频帧数据；

若否，则丢弃车载音视频帧数据。

本发明提供的车载音视频帧数据处理方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本发明不作具体限定。

下面以计算机执行本发明提供的车载音视频帧数据处理方法为例，详细说明本发明的技术方案。

在接收到视频采集装置采集到车载音视频帧数据后，会判断是否接收到应用发送的音视频帧数据读取请求。

具体地，当应用需要读取车载音视频帧数据(有应用需要使用车载音视频帧数据)时，会打开预先建立的预设共享内存，以读取其内部存储的车载音视频帧数据。

当计算机确定应用打开预设共享内存后，可以将存储标志置为有效，并将从车载音视频采集装置接收的车载音视频帧数据存储到预设共享内存中，以便应用读取预设共享内存中存储的车载音视频帧数据。

当计算机确定预设共享内存未被应用打开(无应用需要使用车载音视频帧数据)时，则将存储标志置为无效，并直接丢弃车载音视频帧数据。

进一步地，当计算机确定预设共享内存未被应用打开时，还可以直接将预设共享内存关闭(例如，终止有关预设共享内存的所有任务等)，从而节约处理资源。

需要说明的是，应用的数量可以为多个，即多个应用可以同时从预设共享内存中读取车载音视频帧数据。而只要多个应用中的任一个打开预设共享内存，计算机则会将车载音视频帧数据存储到预设共享内存中。

本发明提供的车载音视频帧数据处理方法，通过仅设置共享内存，并判断是否有应用打开该共享内存来确定是否将车载音视频帧数据存储到该共享内存中或直接丢弃，实现了车载音视频帧数据的紧凑处理结构，相比于现有技术极大简化了数据处理流程，提高了车载视频数据处理的稳定性。并且，通过在无应用使用车载音视频帧数据时直接将车载音视频帧数据丢弃，可以显著降低资源消耗，提高了处理的效率。

在一个实施例中，在步骤S120之前，本发明提供的车载音视频帧数据处理方法还包括：

根据历史车载音视频帧数据，确定每一秒的车载音视频帧数据中的关键帧的平均数量；

根据关键帧的平均数量，以及缓存车载音视频帧数据的预设时长，确定预设共享内存的大小。

具体地，可以根据车载音视频采集装置采集到的某段时间内的历史音视频帧数据，来确定历史上每一秒的车载音视频帧数据中的关键帧的平均数量。

例如，对于某一车载音视频采集装置而言，其在当前时间之前的一天内，共计采集到2G的音视频帧数据，则可以计算出该2G的历史音视频帧数据中，平均每一秒的音视频包括24.0帧数据，其中有3.0帧为关键帧，其余为21.0帧为增量帧。

在确定每一秒的车载音视频帧数据中的关键帧的平均数量为3.0后，即可以结合缓存车载音视频帧数据的预设时长，确定预设共享内存的大小。

例如，预设时长可以为4s、5s、10s等，其具体大小可以根据实际需要进行调整，本发明对此不做限定。

需要说明的是，对于车载音视频帧数据而言，其可以分为关键帧以及增量帧。关键帧的大小可以达到几MB，而增量帧的大小通常仅为几KB或几十KB。因此，对于单位时间的车载音视频帧数据而言，关键帧的数量对其数据大小起着决定性的作用。

本发明提供的车载音视频帧数据处理方法，通过参考历史车载音视频帧数据确定关键帧的平均数量，并基于该关键帧的平均数量确定共享内存的大小，可以使得共享内存的大小合理，显著节约了处理资源。

进一步地，在一个实施例中，根据关键帧的平均数量，以及缓存车载音视频帧数据的预设时长，确定预设共享内存的大小包括：

根据关键帧的平均数量，确定预设关键帧数量系数；

将关键帧的平均数量、预设关键帧数量系数以及预设时长之积作为预设共享内存的大小

其中，预设关键帧数量系数大于1。

需要说明的是，预设关键帧数量系数的取值可以是预先设置的，例如其可以是1.05至1.5中的任一值等。

预设关键帧数量系数的取值也可以是根据关键帧的平均数量动态调整的。

例如，当关键帧数量较少时，则表明增量帧的数量较多，为了确保预设共享内存有足够的空间存储增量帧，则预设关键帧数量系数可以适当调高，例如将预设关键帧数量系数调至1.2等；而当关键帧数量较多时，则表明增量帧的数量较少，此时为了确保预设共享内存有足够的空间存储增量帧，预设关键帧数量系数适当调低即可，例如将预设关键帧数量系数调至1.1等。

以车载音视频采集装置使用4K高清模式采集车载音视频帧数据为例，在该模式下，关键帧的最大尺寸为8MB，取关键帧的平均数量为3.0，预设时长可以为5s，预设关键帧数量系数为1.2，则预设共享内存的大小为：3.0×8×5×1.2＝144MB。

而在现有技术中，当车载音视频采集装置处于4K高清模式下采集车载音视频帧数据时，共享内存的大小通常为24(每秒帧数)×8×5＝960MB。

由此可见，通过本发明提供的车载音视频帧数据处理方法建立的共享内存，在保证有足够空间存储车载音视频帧数据的情况下，有效精简了共享内存的大小，从而显著节约了处理资源。

进一步地，在一个实施例中，将车载音视频帧数据存储到预设共享内存中包括：

若将当前的车载音视频帧数据存储到预设共享内存中后，预设共享内存达到存储上限，则覆盖最先存储的车载音视频帧数据。

具体地，当预设共享内存的存储空间将要接近上限时，计算机可以用当前的车载音视频帧数据覆盖掉最先存储的车载音视频帧数据，从而为后续的车载音视频帧数据的存储提供空间，进而提高处理效率。

综上所述，本发明提供的车载音视频帧数据处理方法，创新性地提出了对车载音视频帧数据处理的“分治思想”，可以降低写入开销并保证数据实时不丢帧，并且降低了业务应用之间的耦合性，还可以保证同一车载音视频采集装置采集的数据能够根据业务需要而灵活扩展，降低了开发成本。

本发明还提供一种车载音视频帧数据处理装置，该装置与上文描述的车载音视频帧数据处理方法可相互对应参照。

图2为本发明提供的曼彻斯特信号解码装置的结构示意图，如图2所示，该装置包括：

接收模块210，用于接收车载音视频采集装置采集到的车载音视频帧数据；

处理模块220，用于确定应用是否打开预设共享内存；

若是，则将车载音视频帧数据存储到预设共享内存中，以供应用读取车载音视频帧数据；

若否，则丢弃车载音视频帧数据。

本发明提供的车载音视频帧数据处理装置，通过仅设置共享内存，并判断是否有应用打开该共享内存来确定是否将车载音视频帧数据存储到该共享内存中或直接丢弃，实现了车载音视频帧数据的紧凑处理结构，相比于现有技术极大简化了数据处理流程，提高了车载视频数据处理的稳定性。并且，通过在无应用使用车载音视频帧数据时直接将车载音视频帧数据丢弃，可以显著降低资源消耗，提高了处理的效率。

在一个实施例中，处理模块220包括内存建立子模块(未示出)，用于：

根据历史车载音视频帧数据，确定每一秒的车载音视频帧数据中的关键帧的平均数量；

根据关键帧的平均数量，以及缓存车载音视频帧数据的预设时长，确定预设共享内存的大小。

在一个实施例中，内存建立子模块具体用于：

根据关键帧的平均数量，确定预设关键帧数量系数；

将关键帧的平均数量、预设关键帧数量系数以及预设时长之积作为预设共享内存的大小；

其中，预设关键帧数量系数大于1。

在一个实施例中，处理模块220具体用于：

若将当前的车载音视频帧数据存储到预设共享内存中后，预设共享内存达到存储上限，则覆盖最先存储的车载音视频帧数据。。

本发明还提供一种电子设备，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(communication interface)320、存储器(memory)330和通信总线(bus)340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行上述各方法实施例提供的车载音视频帧数据处理方法的步骤，例如包括：

接收车载音视频采集装置采集到的车载音视频帧数据；

确定是否接收到应用发送的音视频帧数据读取请求；

若是，则将车载音视频帧数据存储到预设共享内存中，以供应用读取车载音视频帧数据；

若否，则丢弃车载音视频帧数据。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例提供的车载音视频帧数据处理方法的步骤，例如包括：

接收车载音视频采集装置采集到的车载音视频帧数据；

确定是否接收到应用发送的音视频帧数据读取请求；

若是，则将车载音视频帧数据存储到预设共享内存中，以供应用读取车载音视频帧数据；

若否，则丢弃车载音视频帧数据。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例提供的车载音视频帧数据处理方法的步骤，例如包括：

接收车载音视频采集装置采集到的车载音视频帧数据；

确定是否接收到应用发送的音视频帧数据读取请求；

若是，则将车载音视频帧数据存储到预设共享内存中，以供应用读取车载音视频帧数据；

若否，则丢弃车载音视频帧数据。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种车载音视频帧数据处理方法，其特征在于，包括：

接收车载音视频采集装置采集到的车载音视频帧数据；

确定应用是否打开预设共享内存；

若是，则将所述车载音视频帧数据存储到预设共享内存中，以供所述应用读取所述车载音视频帧数据；

若否，则丢弃所述车载音视频帧数据；

所述确定应用是否打开预设共享内存之前，还包括：

根据历史车载音视频帧数据，确定每一秒的车载音视频帧数据中的关键帧的平均数量；

根据所述关键帧的平均数量，以及缓存所述车载音视频帧数据的预设时长，确定所述预设共享内存的大小。

2.根据权利要求1所述的车载音视频帧数据处理方法，其特征在于，所述根据所述关键帧的平均数量，以及缓存所述车载音视频帧数据的预设时长，确定所述预设共享内存的大小包括：

根据所述关键帧的平均数量，确定预设关键帧数量系数；

将所述关键帧的平均数量、所述预设关键帧数量系数以及所述预设时长之积作为所述预设共享内存的大小；

其中，所述预设关键帧数量系数大于1。

3.根据权利要求1所述的车载音视频帧数据处理方法，其特征在于，所述将所述车载音视频帧数据存储到预设共享内存中包括：

若将当前的车载音视频帧数据存储到所述预设共享内存中后，所述预设共享内存达到存储上限，则覆盖最先存储的车载音视频帧数据。

4.一种车载音视频帧数据处理装置，其特征在于，包括：

接收模块，用于接收车载音视频采集装置采集到的车载音视频帧数据；

处理模块，用于确定应用是否打开预设共享内存；

若是，则将所述车载音视频帧数据存储到预设共享内存中，以供所述应用读取所述车载音视频帧数据；

若否，则丢弃所述车载音视频帧数据；

所述处理模块包括内存建立子模块，用于：

根据历史车载音视频帧数据，确定每一秒的车载音视频帧数据中的关键帧的平均数量；

根据所述关键帧的平均数量，以及缓存所述车载音视频帧数据的预设时长，确定所述预设共享内存的大小。

5.根据权利要求4所述的车载音视频帧数据处理装置，其特征在于，所述内存建立子模块具体用于：

根据所述关键帧的平均数量，确定预设关键帧数量系数；

将所述关键帧的平均数量、所述预设关键帧数量系数以及所述预设时长之积作为所述预设共享内存的大小；

其中，所述预设关键帧数量系数大于1。

6.根据权利要求4所述的车载音视频帧数据处理装置，其特征在于，所述处理模块具体用于：

若将当前的车载音视频帧数据存储到所述预设共享内存中后，所述预设共享内存达到存储上限，则覆盖最先存储的车载音视频帧数据。

7.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的车载音视频帧数据处理方法的步骤。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的车载音视频帧数据处理方法的步骤。

Images