CN106559704B - 一种音频数据的处理方法、装置和系统 - Google Patents

一种音频数据的处理方法、装置和系统 Download PDF

Info

Publication number
CN106559704B
CN106559704B CN201510629593.2A CN201510629593A CN106559704B CN 106559704 B CN106559704 B CN 106559704B CN 201510629593 A CN201510629593 A CN 201510629593A CN 106559704 B CN106559704 B CN 106559704B
Authority
CN
China
Prior art keywords
audio data
queue
played
information control
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510629593.2A
Other languages
English (en)
Other versions
CN106559704A (zh
Inventor
鲁忠辉
李淑荣
王强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Qingdao Hisense Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Electronics Co Ltd filed Critical Qingdao Hisense Electronics Co Ltd
Priority to CN201510629593.2A priority Critical patent/CN106559704B/zh
Priority to PCT/CN2016/072033 priority patent/WO2017054379A1/zh
Publication of CN106559704A publication Critical patent/CN106559704A/zh
Priority to US15/869,433 priority patent/US10171868B2/en
Application granted granted Critical
Publication of CN106559704B publication Critical patent/CN106559704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4392Processing of audio elementary streams involving audio buffer management
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42607Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383Accessing a communication channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10629Data buffering arrangements, e.g. recording or playback buffers the buffer having a specific structure
    • G11B2020/10666Ring buffers, e.g. buffers wherein an iteratively progressing read or write pointer moves back to the beginning of the buffer when reaching the last storage cell
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10675Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10675Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
    • G11B2020/10685Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control input interface, i.e. the way data enter the buffer, e.g. by informing the sender that the buffer is busy
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10675Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
    • G11B2020/1074Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control involving a specific threshold value
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/1075Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data
    • G11B2020/10777Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data instructions or commands
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/1075Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data
    • G11B2020/10796Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data address data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Transfer Systems (AREA)
  • Software Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供了一种音频数据的处理方法、装置和系统,音频处理技术领域,用以避免设置内存池的同时实现待播放音频数据不会被覆盖的问题。该音频数据的处理方法包括设置第一队列和第二队列,第一队列用于管理待播放音频数据的已配置的信息控制节点,第二队列用于管理已播放音频数据的已配置的信息控制节点,待播放音频数据的已配置的信息控制节点中包含待播放音频数据的属性信息;从第一队列中卸载单位数据的已配置的信息控制节点;根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据;将卸载的已配置的信息控制节点链接到第二队列。本发明应用于数字电视系统中。

Description

一种音频数据的处理方法、装置和系统
技术领域
本发明涉及音频处理技术领域,特别是涉及一种音频数据的处理方法、装置和系统。
背景技术
在数字电视系统领域中,为了实现音频数据的正常播放,现有技术中采用环形缓冲区的方式对捕获的音频数据进行存储,然后对捕获到的音频数据进行播放。但是,在采用环形缓冲区对待播放音频数据进行存储时,当写指针达到环形缓冲区的尾地址时,会立即返回到起始地址继续捕获。同时,由于捕获和读取是并行执行的,因此,若先前缓冲区起始地址的音频数据没有被及时读取播放,会造成未被读取的音频数据被新捕获的数据覆盖的情况,进而导致声音跳播的问题。
为了避免上述情况,现有方案中会将每笔捕获到的音频数拷贝到另外一块内存空间(或内存池)上,通过读取拷贝后的内存空间上的音频数据进行播放。虽然上述方案解决了音频数据被覆盖的问题,但采用内存池的方案也引入一系列的其他问题:需要再开辟一块内存空间以供单独存储或备份数据,频繁的内存拷贝动作也会在一定程度上降低系统性能,复杂了操作流程,同时,对新开辟的内存空间上的每笔数据的维护,会增加系统设计的复杂度,不易于后期维护。
发明内容
本发明的实施例提供一种音频数据的处理方法、装置和系统,用以避免设置内存池的同时实现待播放音频数据不会被覆盖的问题。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,本发明实施例提供了一种音频数据的处理方法,包括:
设置第一队列和第二队列,所述第一队列用于管理待播放音频数据的已配置的信息控制节点,所述第二队列用于管理已播放音频数据的已配置的信息控制节点,所述待播放音频数据的已配置的信息控制节点中包含待播放音频数据的属性信息;
从所述第一队列中卸载单位数据的已配置的信息控制节点;
根据所述卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据;
将所述卸载的已配置的信息控制节点链接到第二队列。
第二方面,本发明实施例提供了一种音频数据的处理装置,包括:
队列设置单元,用于设置第一队列和第二队列,所述第一队列用于管理待播放音频数据的已配置的信息控制节点,所述第二队列用于管理已播放音频数据的已配置的信息控制节点,所述待播放音频数据的已配置的信息控制节点中包含待播放音频数据的属性信息;
节点卸载单元,用于从所述第一队列中卸载单位数据的已配置的信息控制节点;
读取单元,用于根据所述卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据;
节点链接单元,用于将所述卸载的已配置的信息控制节点链接到第二队列。
第三方面,本发明实施例提供了一种音频数据的处理系统,包括:
输入模块,用于接收多个电视通路输入的音频数据;
通路切换模块,用于切换不同的电视通路;
音频捕获模块,用于捕获不同通路的音频数据;
缓冲区,用于缓存所述音频捕获模块捕获的音频数据;以及,
控制读取模块,用于控制读取所述缓冲区中的音频数据;
其中,所述控制读取模块包括:
队列设置单元,用于设置第一队列和第二队列,所述第一队列用于管理待播放音频数据的已配置的信息控制节点,所述第二队列用于管理已播放音频数据的已配置的信息控制节点,所述待播放音频数据的已配置的信息控制节点中包含待播放音频数据的属性信息;
节点卸载单元,用于从所述第一队列中卸载单位数据的已配置的信息控制节点;
读取单元,用于根据所述卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据;
节点链接单元,用于将所述卸载的已配置的信息控制节点链接到第二队列。
所述系统还包括音频后处理模块,用于对所述读取单元读取的音频数据进行预设音效处理;以及
音频播放模块,用于播放所述音频后处理模块处理的音频数据。
本发明实施例提供了一种音频数据的处理方法,装置和系统,通过设置第一队列和第二队列,从第一队列中卸载单位数据的已配置的信息控制节点,根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据,并将卸载的已配置的信息控制节点链接到第二队列中。通过设置用于管理待播放音频数据的已配置的信息控制节点的第一队列和用于管理已播放音频数据的已配置的信息控制节点的第二队列,即通过队列的形式,对待播放音频数据和已播放音频数据分别管理,以进行有效区分,同时,根据已配置的信息控制节点,读取相应的待播放音频数据进行播放,无需像现有技术那样,将待播放音频数据拷贝到另外一块内存空间上,让音频读取模块读取拷贝后的内存空间上的待播放音频数据所带来的问题。采用本发明实施例所述的技术方案,在待播音频数据不会被覆盖的同时,省去之前备份用的内存空间的开辟和使用,剔除频繁的内存拷贝对系统性能的影响,省去了内存对齐动作进而简化操作流程,规避复杂的内存池实现、管理及后期维护的开销,简化了设计思路,即本发明实施例在避免设置内存池的同时实现待播放音频数据不会被覆盖的问题,保证音频数据可以实时、有序、流畅及稳定地播放。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种音频数据的处理方法的流程示意图一;
图2为本发明实施例提供的一种音频数据的处理方法的流程示意图二;
图3为本发明实施例提供的与WDMA对应的第一缓冲区的示意图;
图4为本发明实施例提供的第一缓冲区中读指针和写指针之间音频数据的示意图一;
图5为本发明实施例提供的第一缓冲区中读指针和写指针之间音频数据的示意图二;
图6为本发明实施例提供的与RDMA对应的第二缓冲区的示意图;
图7为本发明实施例提供的第二队列和第三队列之间的交互逻辑示意图;
图8为本发明实施例提供的一种音频数据的处理装置的结构示意图一;
图9为本发明实施例提供的一种音频数据的处理装置的结构示意图二;
图10为本发明实施例提供的一种音频数据的处理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种音频数据的处理方法,如图1所示,包括:
步骤101、设置第一队列和第二队列。
其中,第一队列用于管理待播放音频数据的已配置的信息控制节点,第二队列用于管理已播放音频数据的已配置的信息控制节点,待播放音频数据的已配置的信息控制节点中包含待播放音频数据的属性信息。
步骤102、从第一队列中卸载单位数据的已配置的信息控制节点。
步骤103、根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据。
步骤104、将卸载的已配置的信息控制节点链接到第二队列。
本发明实施例提供了一种音频数据的处理方法,该方法通过设置第一队列和第二队列,从第一队列中卸载单位数据的已配置的信息控制节点,根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据,并将卸载的已配置的信息控制节点链接到第二队列中。通过设置用于管理待播放音频数据的已配置的信息控制节点的第一队列和用于管理已播放音频数据的已配置的信息控制节点的第二队列,即通过队列的形式,对待播放音频数据和已播放音频数据分别管理,以进行有效区分,同时,根据已配置的信息控制节点,读取相应的待播放音频数据进行播放,无需像现有技术那样,将待播放音频数据拷贝到另外一块内存空间上,让音频读取模块读取拷贝后的内存空间上的待播放音频数据所带来的问题。采用本发明实施例所述的技术方案,在待播音频数据不会被覆盖的同时,省去之前备份用的内存空间的开辟和使用,剔除频繁的内存拷贝对系统性能的影响,省去了内存对齐动作进而简化操作流程,规避复杂的内存池实现、管理及后期维护的开销,简化了设计思路,即本发明实施例在避免设置内存池的同时实现待播放音频数据不会被覆盖的问题,保证音频数据可以实时、有序、流畅及稳定地播放。
实施例二
本发明实施例提供了一种音频数据的处理方法,以对第一队列、第二队列和第三队列进行预先设置为例进行说明。具体的,如图2所示,包括:
步骤201、设定第一队列、第二队列和第三队列。
其中,队列是一种特殊的线性表,它只允许在表的前端进行删除操作,在表的后端进行插入操作。进行插入操作的端称为队尾,进行删除操作的端称为队头。队列中没有元素时,称为空队列。在队列这种数据结构中,最先插入的元素将是最先被删除的元素,反之最后插入的元素将是最后被删除的元素,因此,队列又被称为“先进先出”的线性表。队列的存储方式可以使用线性表进行存储,也可以使用链表进行存储。本发明实施例以队列采用链表进行存储进行示例性说明。其中,链表是一种物理存储单元上非连续、非顺序的存储结构,数据元素的逻辑顺序是通过链表中的指针链接次序实现的。链表由一系列结点(链表中每一个元素称为结点(结点也可以称为节点))组成,结点可以在运行时动态生成。通常,每个结点包括两个部分:一个是存储数据元素的数据域(设域名为data),另一个是存储下一个结点地址的指针域(设域名为next),指针域中存储的信息又称为指针或链。使用链表结构可以充分利用计算机内存空间,实现灵活的内存动态管理。
本发明实施例中的第一队列用于管理待播放音频数据的已配置的信息控制节点,第二队列用于管理已播放音频数据的已配置的信息控制节点,第三队列用于管理待配置的信息控制节点。其中,在初始化时,可以分配N个待配置的信息控制节点,通过尾插法插入到第三队列中,N大于等于1,第一队列和第二队列在初始化时为空。为例后续描述方便,将第一队列称为tobe_played队列,将第二队列称为played队列,将第三队列称为tobe_pushed队列。
步骤202、采用直接内存写入WDMA捕获待播放音频数据。
其中,直接内存写入(Write Direct Memory Access,简称WDMA)与第一缓冲区对应,第一缓冲区中包括读指针和写指针。第一缓冲区用于存储捕获到的待播放音频数据。
在本发明的一个优选的实施例中,第一缓冲区为环形缓冲区(Ring Buffer),该环形缓冲区中包括写指针(write pointer,wpt)和读指针(read pointer,rpt),其中,wpt表示捕获到的音频数据在Ring Buffer的存储位置,rpt表示读取的音频数据在Ring Buffer的存储位置。因此,WDMA的音频捕获及处理工作主要是依靠其写指针和读指针来完成的。其中,写指针主要由WDMA自己维护,读指针主要由CPU控制。
具体的,参照图3所示为WDMA的wpt、rpt及其维护的Ring Buffer的逻辑关系示意图。其中,st_addr(start address)表示Ring Buffer的起始地址(或首地址),end表示RingBuffer的尾地址。初始化时,wpt和rpt均为0,即相当于对应Ring Buffer的起始地址。当WDMA捕获所在通路的音频数据时,捕获到的音频数据会从wpt的起始地址进行存储,另外,由于该缓冲区为环形缓冲区,因此,当wpt到达该Ring Buffer的尾地址时,会自动跳转到Ring Buffer的首地址,继续从Ring Buffer的起始位置开始存储音频数据,如此以RingBuffer式管理捕获到的音频数据的存储空间,可以有效解决用于捕获的内存空间浪费的问题,同时,也取消了音频捕获的时间限制,支持无限时间长度的音频捕获。
步骤203、检测第一缓冲区中的写指针和读指针的差值是否大于或等于第一预设阈值。
其中,第一预设阈值小于缓冲区的长度。可选的,第一预设阈值的大小可以根据Ring Buffer的长度进行设定。示例的,若Ring Buffer的长度为N*M,则可以将第一预设阈值设置为M,也就是说,将WDMA对应的第一缓冲区分成N个第一预设阈值长度的缓冲区。另外,初始化时,可以分配同样个数(即N个)的信息控制节点,通过尾插法链接到tobe_pushed队列中。
步骤204、若检测到第一缓冲区中的写指针和读指针的差值大于或等于第一预设阈值,则触发阈值中断,生成触发指令。
步骤205、根据触发指令,从第三队列中卸载单位数据的待配置的信息控制节点,并对卸载的待配置的信息控制节点进行配置。
在本发明的一个优选的实施例中,步骤205具体包括如下子步骤:
205a、根据所述触发指令,从第三队列中卸载单位数据的待配置的信息控制节点。
其中,待配置的信息控制节点中主要包括以下信息:所在通路,如ATV Demod、AV、Component、VGA或HDMI;声道数,如8声道、6声道、2声道等;采样率,如32Khz、35.15625Khz、48Khz等;待播放音频数据的起始地址;待播放音频数据的数据长度。
对于待配置的信息控制节点的数据结构可以定义如下:
当然,可以根据实际所需的信息,对待配置的信息控制节点的数据结构进行删除或增加,以满足用户的实际需求。
205b、根据第一缓冲区中从读指针到写指针之间的待播放音频数据,将待播放音频数据的起始地址、待播放音频数据的长度配置在卸载的待配置的信息控制节点中。
由于第一缓冲区为环形缓冲区,因此,会出现写指针大于读指针的情况、以及写指针小于读指针的情况。具体的,参照图4和图5所示,其中,图4为写指针大于读指针的情况,当写指针大于读指针时,则从读指针到写指针之间的音频数据为[rpt,wpt]之间的音频数据,如图4中斜线所示部分,进而根据[rpt,wpt]之间的音频数据,对卸载的待配置的信息控制节点进行配置;图5为读指针大于写指针的情况,当写指针小于读指针时,则从读指针到写指针之间的音频数据为:从读指针到缓冲区的尾地址之间的音频数据、以及从缓冲区的首地址到写指针之间的音频数据,即从[rpt,end]以及[st_addr,wpt]两段音频数据,如图5中双斜线所示部分,进而根据[rpt,end]以及[st_addr,wpt]两段音频数据,对卸载的待配置的信息控制节点进行配置。
也就是说,每次阈值中断触发时,根据第一缓冲区中从读指针到写指针之间的待播放音频数据,对卸载的信息控制节点进行配置,配置后的信息控制节点中包含待播放音频数据的属性信息,该待播放音频数据的属性信息包括待播放音频数据的起始地址和待播放音频数据的长度。当然,在步骤205b中也可以将待播放音频数据的所在通路、声道数、采样率配置在卸载的待配置的信息控制节点中。这样,已配置的信息控制节点中包含待播放音频数据的起始地址、待播放音频数据的长度,以及待播放音频数据所在通路、采样率、声道数等。
步骤206、将已配置的信息控制节点链接到第一队列中。
在具体的实现中,参照图7所示,将已配置的信息控制节点连接(chain)到第一队列(tobe_played队列)的队列尾。
步骤207、从第一队列中卸载单位数据的已配置的信息控制节点。
在具体的实现中,在执行步骤207之前,首先判断tobe_played队列是否为空,如果为空,则继续chain新到来的待播放音频数据的已配置的信息控制节点(图7中new_tobe_played_data所示)到tobe_played队列的尾部(如图7中tobe_played所示);如果非空,则从tobe_played队列中卸载(unchain)单位数据的已配置的信息控制节点,具体是从tobe_played队列的队列头(图7中tobe_played_head所示)unchain单位数据的已配置的信息控制节点,此时,新到来的待播音频数据的已配置的信息控制节点会继续链接到tobe_played队列的尾部。其中,单位数据优选为一个信息控制节点,与该信息控制节点对应的待播放音频数据,也可称为一笔数据。
步骤208、根据卸载的已配置的信息控制节点,对于直接内存读取RDMA对应的第二缓冲区中的配置节点进行配置。
在具体实现中,来源于多个通道的PCM音频数据可以存储在第一缓冲区(即音频缓冲区)中,在音频缓冲区的音频数据属于待播放音频数据。本发明实施例采用RDMA(ReadDirect Memory Access,直接内存读取)来读取音频缓冲区中的待播放的音频数据,其中,RDMA实际上是读取DMA,DMA便于不同的硬件装置间的沟通,而无需依赖于CPU的大量中断负载。
在具体实现中,RDMA具有对应的第二缓冲区,该第二缓冲区包括写指针(writepointer,wpt)、读指针(read pointer,rpt)以及多个配置节点item,每个配置节点item具有控制信息。RDMA的音频数据读取工作主要是依靠其写指针和读指针来控制完成的。其中,写指针主要由CPU控制,读指针由RDMA自己维护。
在实际中,对于RDMA,IC(Integrated Circuit,即集成电路)可以将其对应的第二缓冲区实现为一个环形缓冲区Ring Buffer,其中,环形缓冲区是一种数据结构用于表示一个固定尺寸、头尾相连的缓冲区,适合缓存数据流,环形缓冲区的一个有用特性是:其存储空间可以被循环利用。
应用于本发明实施例,可以将该环形缓冲区实现为一个一个的配置节点item,该item主要是用来控制RDMA读取音频数据的,其中,每个item由64bit组成,第一个32bit,即第一个字,为起始地址参数start address,(简写为st_addr)指向RDMA要读取的PCM音频数据存储于内存的物理地址;第二个32bit,即第二个字,主要包括长度参数length成员,该length表示该待读取的PCM音频数据的长度。RDMA的写指针、读指针以及环形缓冲区的配置节点item的关系如图6所示,在环形缓冲区中,读指针指向环形缓冲区中已配置好、待读取的item,写指针指向环形缓冲区中正在配置或待配置的item。
需要说明的是,环形缓冲区中item的个数由CPU决定,每个item的start address以及length等控制信息,也由CPU实时更新。
因此,对于步骤208具体包括如下子步骤:
208a、确定第二缓冲区中写指针所指向的目标配置节点。
在具体实现中,可以采用两种方式来确定目标item,一是读取wpt所对应的寄存器,寄存器中保存有对应的item信息;二是将RDMA的item(假如为20个)实现为一个结构体数组,通过该数组wpt所对应的索引即可获取wpt所在位置的目标item。
208b、将目标配置节点的起始地址参数设置为待播放音频数据的起始地址。
208c、将目标配置节点的长度参数设置为待播放音频数据的长度。
具体而言,本发明实施例获取目标配置节点后,配置该目标配置节点item的第一个字(即起始地址参数),使之指向该笔待播音频数据所在的DDR的物理地址,再配置该item的第二个字(即长度参数),使其存储该单位数据的待播放音频数据的长度。需要说明的是,该长度优选可以为硬件要求的128字节的倍数。
需要说明的时,为了保证第二缓冲区中的写指针有可写入的item,读指针有可读取的item,进而确保不会出现写的快(即CPU配置RDMA的item并更新其wpt)、读的慢(即RDMA读取item对应的指定地址、指定长度的数据并更新其rpt)导致的声音跳播(漏播)的问题,以及写的慢、读的快导致的声音卡顿的问题,可以计算第二缓冲区中写指针与读指针的差值,若第二缓冲区中写指针与读指针的差值在满足一定的条件时,则从第三队列中卸载单位数据的已配置的信息控制节点,并根据卸载的已配置的信息控制节点对对应的item进行配置。另外,对于第二缓冲区中写指针与读指针的差值在满足一定的条件可以为写指针与读指针的差值大于或等于第四预设阈值,该第四预设阈值可以根据第二缓冲区中item的个数、CPU的处理能力等进行设置,以满足实际需求,本发明对该预设阈值的设置方式不加限定。
步骤209、根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据。
在本发明的一种优选的实施例中,步骤209包括如下子步骤:
209a、更新第二缓冲区中的写指针。
由于RDMA对应的第二缓冲区为环形缓冲区,因此,步骤209a包括:
209a1、判断目标配置节点是否为环形缓冲区的最后一个配置节点。
若是,则执行步骤209a2;若不是,则执行步骤209a3。
209a2、若是,则配置第二缓冲区中的写指针为第二缓冲区的起始地址对应的第一个配置节点所在的位置。
209a3、若否,则配置第二缓冲区中的写指针为环形缓冲区中目标配置节点紧邻的下一个配置节点的位置。
具体来说,由于RDMA被实现为Ring Buffer,因此,可以判断该目标item是否是Ring Buffer中的最后一个item,如果该目标item为Ring Buffer中的最后一个item,则配置其wpt为RDMA起始位置的第一个item所在的位置。否则,配置其wpt为该目标item的紧接着的下一个item的位置。
209b、计算第二缓冲区中的写指针与读指针的差值。
209c、若第二缓冲区中的写指针与读指针的差值大于或等于第二预设阈值,则读取读指针所指向的配置节点对应的待播放音频数据。
由于RDMA的wpt由CPU控制,其rpt由硬件自己维护。在上述配置完目标item,更新了写指针wpt后,当更新了位置的wpt与RDMA的rpt的差值大于或等于第二预设阈值(例如1个item)时,RDMA便会自动读取其rpt指向的item对应的内存位置中的指定长度的PCM音频数据,这样,可以保证此时有可以读取的配置节点,进而读取读指针指向的配置节点所对应的待播放音频数据。当wpt与RDMA的rpt的差值小于第四预设阈值时,意味着RDMA中的rpt快追上其wpt了,提醒CPU音频数据不够播了,需要CPU及时地配置新的item以指向新的待播放音频数据,以免出现由于暂时无数据刻度而出现的声音卡顿,甚至无声等问题。其中,第四预设阈值可以根据第二缓冲区中item的个数、CPU的处理能力等因素进行设定。需要说明的是,第四预设阈值可以和第二预设阈值相同,也可以不同。
同时,本发明实施例的RDMA还可以更新读指针rpt,将rpt自动更新至rpt所在位置的下一个item的位置上。由于RDMA的buffer为环形buffer,当其rpt走到buffer尾部时,会自动ring到该buffer的起始位置,而wpt则需要CPU维护至环形buffer头,从而循环利用该段内存空间。
步骤210、将卸载的已配置的信息控制节点链接到第二队列中。
如图7所示,当对卸载的已配置的信息控制节点对应的待播放音频数据属性信息进行配置后,将该节点(图7中new_played_data所示)chain到played队列的队列尾(图7中played_tail所示)。
根据上述步骤所描述的技术方案,在WDMA开始捕获待播放音频数据后,每到一个threshold(阈值)中断,从tobe_pushed队列的队列头unchain下的待配置的信息控制节点,然后根据该threshold中断时对应的[rpt,wpt]之间的待播放音频数据建立控制信息(即上述的待播放音频数据的起始地址、长度、采样率等信息),这样,从tobe_pushed队列unchain下的信息控制节点就具备了这些信息,并且这些信息对应的是该笔中断所要读取的待播放音频数据,然后将配置的信息控制节点chain到tobe_played队列的队列尾,在RDMA开始读取数据进行播放之前从tobe_played队列头unchian下信息控制节点,将其所携带的待播放音频数据的属性信息配置给与RDMA对应的第二缓冲区的item后,将该信息控制节点chain到played队列尾部。
进一步的,为了使信息控制节点在合适的时机进行卸载和添加,以解决系统内存空间浪费及实施分配信息控制节点导致的内存碎片过多的问题,如图2所示,该方法还包括:
步骤211、确定第二缓冲区中读指针所在的位置。
步骤212、计算第二缓冲区中第一标记指针和第二标记指针的差值。
其中,第一标记指针指向第二缓冲区中读指针所在的位置的上一个配置节点所在的位置,第二标记指针为上一次释放时第一标记指针所在的位置。
步骤213、若第二缓冲区中第一标记指针和第二标记指针的差值大于或等于第三预设阈值,则将第二队列中与第一标记指针和第二标记指针之间对应的已配置的信息控制节点卸载并释放。
其中,第三预设阈值可以根据第二缓冲区中item的个数、CPU的处理能力等进行设定。将第二队列中与第一标记指针和第二标记指针之间对应的已配置的信息控制节点卸载并释放意味着,在卸载的同时将卸载的信息控制节点中的配置信息释放掉。
步骤214、将第二队列中卸载并释放的信息控制节点链接到第三队列中。
根据步骤211-214所描述的步骤,在具体的实现中,在播放完一笔音频数据后,调用play_item接口,通过判定第一标记指针和第二标记指针判断,在满足条件的情况下,判定played队列是否非空;若played队列非空,则从played队列头(如图7中played_head所示)unchain已播音频数据对应的信息控制节点,紧接着将其链接到tobe_pushed队列的队列尾,这样,可以达到初始化时分配的固定个数的信息控制节点能够循环往复利用的目的,解决系统内存空间浪费及实施频繁分配信息控制节点导致的内存碎片过多的问题,避免系统资源的浪费。
进一步的,由于音频数据为来源于不同通路上的音频数据,因此,当待播放音频数据为第一通路的音频数据时,在步骤209之后,如图3所示,该方法还包括:
215、检测是否从第一通路切换到第二通路。
216、若检测到从第一通路切换到第二通路,则卸载并释放第一队列中剩余的已配置的信息控制节点。
本发明实施例中的第二通道异于第一通道,在检测到从第一通道切换为第二通道时,卸载并释放第三队列中剩余的已配置的信息控制节点。具体来说,因为在通路切换前分配的音频数据,对应的是上一通路中的音频数据,而通路切换完毕开始新切换到的通路的音频数据的播放时,会先从tobe_played队列头unchain下一个结点,如果该队列上仍然有未释放的上个通路的音频数据,这些音频数据会先配置给RDMA的item,从而RDMA会先读走这些item对应的音频数据,再播放实时配置的新通路的音频数据。因此,会产生通路切换后,先播放一会上一通路残留的音频数据,再播放新切换到的通路的音频数据的现象。本发明实施例在每次通路切换时,可以将chain到tobe_played队列上从队列头到队列尾的每笔未配置给RDMA的item,即剩余的未播放的音频数据对应的已配置的信息控制节点卸载并释放掉,以解决切换通路时,先播放一会上一通路残留的音频数据再播放新切换到的通路的音频数据的问题。另外,该卸载及释放的动作非常迅速,以毫秒级计算,如此,可以大大降低用户的等待通道切换的时间,进而提升用户的视听体验。
基于实施例二所提供的音频数据的处理方法,通过队列的形式,对待播放音频数据和已播放音频数据分别管理,以进行有效区分,同时,可以实时地根据阈值中断时对应的待播放音频数据,对待配置的信息控制节点进行配置,根据已配置的信息控制节点,读取相应的待播放音频数据进行播放,无需像现有技术那样,将待播放音频数据拷贝到另外一块内存空间上,让音频读取模块读取拷贝后的内存空间上的待播放音频数据所带来的问题。采用本发明实施例所述的技术方案,在待播音频数据不会被覆盖的同时,省去之前备份用的内存空间的开辟和使用,剔除频繁的内存拷贝对系统性能的影响,省去了内存对齐动作进而简化操作流程,规避复杂的内存池实现、管理及后期维护的开销,简化了设计思路,即本发明实施例在避免设置内存池的同时实现待播放音频数据不会被覆盖的问题,保证音频数据可以实时、有序、流畅及稳定地播放。进一步的,通过在合适的时机对队列中信息控制节点进行卸载和添加,以解决系统内存空间浪费及实施分配信息控制节点导致的内存碎片过多的问题。
实施例三
本发明实施例提供了一种音频数据的处理装置,该装置中的各个功能单元的具体实现可以参考实施例一或实施例二中相对应的方法描述,在此不再赘述。如图8所示,该装置90包括:
队列设置单元901,用于设置第一队列和第二队列,第一队列用于管理待播放音频数据的已配置的信息控制节点,第二队列用于管理已播放音频数据的已配置的信息控制节点,待播放音频数据的已配置的信息控制节点中包含待播放音频数据的属性信息;
节点卸载单元902,用于从第一队列中卸载单位数据的已配置的信息控制节点;
读取单元903,用于根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据;
节点链接单元904,用于将卸载的已配置的信息控制节点链接到第二队列。
可选的,如图9所示,与卸载的已配置的信息控制节点对应的待播放音频数据为第一通路的音频数据;该装置90还包括:第一检测单元905;
第一检测单元905,用于检测是否从第一通路切换到第二通路;
节点卸载单元902,用于若检测单元905检测到从第一通路切换到第二通路,则卸载并释放第一队列中剩余的已配置的信息控制节点。
可选的,如图9所示,该装置90还包括:第一配置单元906;
队列设置单元901,还用于设置第三队列,第三队列用于管理待配置的信息控制节点,第三队列中包含至少一个待配置的信息控制节点;
节点卸载单元902,还用于当接收到触发指令时,从第三队列中卸载单位数据的待配置的信息控制节点;
第一配置单元906,用于对卸载的待配置的信息控制节点进行配置;
节点链接单元904,用于将已配置的信息控制节点链接到第一队列中。
可选的,如图9所示,该装置90还包括:
捕获单元907,用于采用直接内存写入WDMA捕获待播放音频数据,其中,WDMA与第一缓冲区对应,第一缓冲区中包括读指针和写指针;
第二检测单元908,还用于检测第一缓冲区中写指针和读指针的差值是否大于或等于第一预设阈值;
触发单元909,用于若检测单元检测到第一缓冲区中写指针和读指针的差值大于或等于第一预设阈值,则触发阈值中断,生成触发指令。
可选的,第一配置单元906,具体用于根据第一缓冲区中从读指针到写指针之间的待播放音频数据,将待播放音频数据的起始地址、待播放音频数据的长度配置在卸载的待配置的信息控制节点中。
可选的,第一配置单元906,还用于将待播放音频数据的所在通路、声道数、采样率配置在卸载的待配置的信息控制节点中。
可选的,如图9所示,该装置90还包括:
第二配置单元910,用于根据卸载的已配置的信息控制节点,对与直接内存读取RDMA对应的第二缓冲区中的配置节点进行配置;其中,第二缓冲区中包括读指针、写指针以及多个配置节点,配置节点具有配置信息。
可选的,配置信息中包括配置节点的起始地址参数,以及对应的长度参数;
如图9所示,第二配置单元910包括:
确定子单元910a,用于确定第二缓冲区中写指针所指向的目标配置节点;
配置子单元910b,用于将目标配置节点的起始地址参数设置为待播放音频数据的起始地址;
配置子单元910b,还用于将目标配置节点的长度参数设置为待播放音频数据的数据长度。
可选的,如图9所示,读取单元903包括:
更新子单元903a,用于更新第二缓冲区中的写指针;
计算子单元903b,用于计算第二缓冲区中的写指针与读指针的差值;
读取子单元903c,用于若第二缓冲区中的写指针与读指针的差值大于或等于第二预设阈值,则读取读指针所指向的配置节点对应的待播放音频数据。
可选的,第二缓冲区为环形缓冲区,更新子单元903a具体用于:
判断目标配置节点是否为第二缓冲区的最后一个配置节点;
若是,则配置第二缓冲区中的写指针为第二缓冲区的起始地址对应的第一个配置节点所在的位置;
若否,则配置第二缓冲区中的写指针为第二缓冲区中目标配置节点紧邻的下一个配置节点的位置。
可选的,如图9所示,该装置90还包括:确定单元911和计算单元912;
确定单元911,用于确定第二缓冲区中读指针所在的位置;
计算单元912,用于计算第二缓冲区中第一标记指针和第二标记指针的差值,第一标记指针指向第二缓冲区中的读指针所在位置的上一个配置节点所在的位置,第二标记指针为上一次释放时第一标记指针所在的位置;
节点卸载单元901,还用于若第二缓冲区中第一标记指针和第二标记指针的差值大于或等于第三预设阈值,则将第二队列中与第一标记指针和第二标记指针之间对应的已配置的信息控制节点卸载并释放;
节点链接单元904,还用于将第二队列中卸载并释放的信息控制节点链接到第三队列中。
本发明实施例提供了一种音频数据的处理装置,通过设置第一队列和第二队列,从第一队列中卸载单位数据的已配置的信息控制节点,根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据,并将卸载的已配置的信息控制节点链接到第二队列中。通过设置用于管理待播放音频数据的已配置的信息控制节点的第一队列和用于管理已播放音频数据的已配置的信息控制节点的第二队列,即通过队列的形式,对待播放音频数据和已播放音频数据分别管理,以进行有效区分,同时,根据已配置的信息控制节点,读取相应的待播放音频数据进行播放,无需像现有技术那样,将待播放音频数据拷贝到另外一块内存空间上,让音频读取模块读取拷贝后的内存空间上的待播放音频数据所带来的问题。采用本发明实施例所述的技术方案,在待播音频数据不会被覆盖的同时,省去之前备份用的内存空间的开辟和使用,剔除频繁的内存拷贝对系统性能的影响,省去了内存对齐动作进而简化操作流程,规避复杂的内存池实现、管理及后期维护的开销,简化了设计思路,即本发明实施例在避免设置内存池的同时实现待播放音频数据不会被覆盖的问题,保证音频数据可以实时、有序、流畅及稳定地播放。
实施例四
本发明实施例还提供一种音频数据的处理系统,如图10所示,该系统100包括:
输入模块1001,用于接收多个电视通路输入的音频数据;
通路切换模块1002,用于切换不同的电视通路;
音频捕获模块1003,用于捕获不同通路的音频数据;
缓冲区1004,用于缓存音频捕获模块1003捕获的音频数据;以及,
控制读取模块1005,用于控制读取缓冲区1004中的音频数据;
其中,控制读取模块1005包括:
节点卸载单元,用于当接收到触发指令时,从第一队列中卸载单位数据的待配置的信息控制节点,并对卸载的待配置的信息控制节点进行配置,已配置的信息控制节点包含待播放音频数据的属性信息,第一队列中包含至少一个待配置的信息控制节点;
节点链接单元,用于将已配置的信息控制节点链接到第二队列和第三队列中,第二队列和第三队列均用于管理已配置的信息控制节点;
节点卸载单元,用于从第三队列中卸载单位数据的已配置的信息控制节点;
读取单元,用于根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据;
节点链接单元,还用于将卸载的已配置的信息控制节点链接到第四队列,第四队列用于管理已播放音频数据的信息控制节点;
该系统100还包括音频后处理模块1006,用于对读取单元读取的音频数据进行预设音效处理;以及
音频播放模块1007,用于播放音频后处理模块1006处理的音频数据。
进一步的,如图10所示,该系统100还包括:文件存储模块1008;其中,文件存储模块1008,用于将音频捕获模块1003捕获的音频数据存储在文件中;
音频播放模块1007还用于播放文件存储模块1008中存储的音频数据。
其中,对于控制读取模块1005的描述,可以参考实施例一至实施例三中对音频数据的处理装置所描述的,在此不再赘述。
具体的,对于输入模块1001为音频数据的输入来源,包括ATV Demod、AV、Component、VGA、HDMI等电视通路;
通路切换模块1002负责上述各电视通路进行切换,并打通所切换的电视通路;
音频捕获模块1003负责捕获各电视通路中的音频数据,该模块主要由CPU控制WDMA实现,其中包括音频缓冲区,音频缓冲区为一片暂存捕获的音频数据的内存区域;
文件存储模块1008将音频捕获模块1003捕获的所切换到的电视通路上的音频数据实时存储在文件中,该音频数据可以用作电视产品的开机音乐,也可以通过网络或USB接口,作为本地音频进行播放,播放的过程中可以通过感官验证音频捕获模块捕获到的音频数据的正确性。另外,还可以作为软硬件研发人员实现相关音频后处理功能(例如:采样率转换(英文:Sample Rate Convert)的测试源用;
控制读取模块1005将音频数据由音频缓冲区经由AXI(Advanced eXtensibleInterface)高速总线读取到音频信号线上,该模块主要由CPU控制RDMA实现,读取音频捕获模块捕获到的音频数据,并将其通过音频数据传输线送往音频后处理模块1006;
音频后处理模块1006用于对控制读取模块1005读取的音频数据进行一系列音效方面的处理,如AVC(Automatic Volume Control,自动音量控制)、SRC、EQ(Equalizer,均衡)、Balance(均衡)等;
音频播放模块1007,将经过音频后处理单元1006处理后的音频数据,或文件存储模块1008存储的音频数据经由喇叭、耳机、Spdif或Subwoofer播放输出。
对于系统实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (19)

1.一种音频数据的处理方法,其特征在于,包括:
设置第一队列和第二队列,所述第一队列用于管理待播放音频数据的已配置的信息控制节点,所述第二队列用于管理已播放音频数据的已配置的信息控制节点,所述待播放音频数据的已配置的信息控制节点中包含待播放音频数据的属性信息;
从所述第一队列中卸载单位数据的已配置的信息控制节点;
根据所述卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据;与所述卸载的已配置的信息控制节点对应的待播放音频数据为第一通路的音频数据;
将所述卸载的已配置的信息控制节点链接到第二队列;
根据所述卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据之后,所述方法还包括:
检测是否从第一通路切换到第二通路;
若检测到从所述第一通路切换到所述第二通路,则卸载并释放所述第一队列中剩余的已配置的信息控制节点。
2.根据权利要求1所述的方法,其特征在于,所述从所述第一队列中卸载单位数据的已配置的信息控制节点之前,所述方法还包括:
设置第三队列,所述第三队列用于管理待配置的信息控制节点,所述第三队列中包含至少一个待配置的信息控制节点;
当接收到触发指令时,从所述第三队列中卸载单位数据的待配置的信息控制节点,并对所述卸载的待配置的信息控制节点进行配置;
将已配置的信息控制节点链接到所述第一队列中。
3.根据权利要求2所述的方法,其特征在于,所述当接收到触发指令时,从所述第三队列中卸载单位数据的待配置的信息控制节点之前,所述方法还包括:
采用直接内存写入WDMA捕获待播放音频数据,其中,所述WDMA与第一缓冲区对应,所述第一缓冲区中包括读指针和写指针;
检测所述第一缓冲区中写指针和读指针的差值是否大于或等于第一预设阈值;
若所述第一缓冲区中写指针和读指针的差值大于或等于所述第一预设阈值,则触发阈值中断,生成所述触发指令。
4.根据权利要求3所述的方法,其特征在于,所述当接收到触发指令时,从所述第三队列中卸载单位数据的待配置的信息控制节点,并对所述卸载的待配置的信息控制节点进行配置包括:
根据所述触发指令,从所述第三队列中卸载单位数据的待配置的信息控制节点;
根据所述第一缓冲区中从所述读指针到所述写指针之间的待播放音频数据,将所述待播放音频数据的起始地址、所述待播放音频数据的长度配置在所述卸载的待配置的信息控制节点中。
5.根据权利要求4所述的方法,其特征在于,所述根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据进行播放之前,所述方法还包括:
根据所述卸载的已配置的信息控制节点,对与直接内存读取RDMA对应的第二缓冲区中的配置节点进行配置;其中,所述第二缓冲区中包括读指针、写指针以及多个配置节点,所述配置节点具有配置信息。
6.根据权利要求5所述的方法,其特征在于,所述配置信息中包括所述配置节点的起始地址参数,以及对应的长度参数;
所述根据所述卸载的已配置的信息控制节点,对与直接内存读取RDMA对应的第二缓冲区中的配置节点进行配置包括:
确定所述第二缓冲区中的写指针所指向的目标配置节点;
将所述目标配置节点的起始地址参数设置为所述待播放音频数据的起始地址;
将所述目标配置节点的长度参数设置为所述待播放音频数据的数据长度。
7.根据权利要求6所述的方法,其特征在于,所述根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据包括:
更新所述第二缓冲区中的写指针;
计算所述第二缓冲区中的写指针与读指针的差值;
若所述第二缓冲区中的写指针与读指针的差值大于或等于第二预设阈值,则读取所述第二缓冲区中读指针所指向的配置节点对应的待播放音频数据。
8.根据权利要求7所述的方法,其特征在于,所述第二缓冲区为环形缓冲区,所述更新所述第二缓冲区中的写指针的步骤包括:
判断所述目标配置节点是否为所述第二缓冲区的最后一个配置节点;
若是,则配置所述第二缓冲区中的写指针为所述第二缓冲区的起始地址对应的第一个配置节点所在的位置;
若否,则配置所述第二缓冲区中的写指针为所述第二缓冲区中所述目标配置节点的下一个配置节点的位置。
9.根据权利要求5所述的方法,其特征在于,所述方法还包括:
确定所述第二缓冲区中读指针所在的位置;
计算所述第二缓冲区中第一标记指针和第二标记指针的差值,所述第一标记指针指向所述第二缓冲区中的读指针所在位置的上一个配置节点所在的位置,所述第二标记指针为上一次释放时所述第一标记指针所在的位置;
若所述第二缓冲区中第一标记指针和第二标记指针的差值大于或等于第三预设阈值,则将所述第二队列中与所述第一标记指针和所述第二标记指针之间对应的已配置的信息控制节点卸载并释放;
将所述第二队列中卸载并释放的信息控制节点链接到所述第三队列中。
10.一种音频数据的处理装置,其特征在于,包括:
队列设置单元,用于设置第一队列和第二队列,所述第一队列用于管理待播放音频数据的已配置的信息控制节点,所述第二队列用于管理已播放音频数据的已配置的信息控制节点,所述待播放音频数据的已配置的信息控制节点中包含待播放音频数据的属性信息;
节点卸载单元,用于从所述第一队列中卸载单位数据的已配置的信息控制节点;与所述卸载的已配置的信息控制节点对应的待播放音频数据为第一通路的音频数据;
读取单元,用于根据所述卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据;节点链接单元,用于将所述卸载的已配置的信息控制节点链接到第二队列;
所述装置还包括:检测单元;
所述检测单元,用于检测是否从第一通路切换到第二通路;
节点卸载单元,用于若检测单元检测到从所述第一通路切换到所述第二通路,则卸载并释放所述第一队列中剩余的已配置的信息控制节点。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:第一配置单元;
所述队列设置单元,还用于设置第三队列,所述第三队列用于管理待配置的信息控制节点,所述第三队列中包含至少一个待配置的信息控制节点;
所述节点卸载单元,还用于当接收到触发指令时,从所述第三队列中卸载单位数据的待配置的信息控制节点;
所述第一配置单元,用于对所述卸载的待配置的信息控制节点进行配置;
所述节点链接单元,用于将已配置的信息控制节点链接到所述第一队列中。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:捕获单元和触发单元;
所述捕获单元,用于采用直接内存写入WDMA捕获待播放音频数据,其中,所述WDMA与第一缓冲区对应,所述第一缓冲区中包括读指针和写指针;
所述检测单元,还用于检测所述第一缓冲区中写指针和读指针的差值是否大于或等于第一预设阈值;
所述触发单元,用于若所述检测单元检测到所述第一缓冲区中写指针和读指针的差值大于或等于所述第一预设阈值,则触发阈值中断,生成所述触发指令。
13.根据权利要求12所述的装置,其特征在于,所述第一配置单元,具体用于根据所述第一缓冲区中从所述读指针到所述写指针之间的待播放音频数据,将所述待播放音频数据的起始地址、所述待播放音频数据的长度配置在所述卸载的待配置的信息控制节点中。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
第二配置单元,用于根据所述卸载的已配置的信息控制节点,对与直接内存读取RDMA对应的第二缓冲区中的配置节点进行配置;其中,所述第二缓冲区中包括读指针、写指针以及多个配置节点,所述配置节点具有配置信息。
15.根据权利要求14所述的装置,其特征在于,所述配置信息中包括所述配置节点的起始地址参数,以及对应的长度参数;
所述第二配置单元包括:
确定子单元,用于确定所述第二缓冲区中写指针所指向的目标配置节点;
配置子单元,用于将所述目标配置节点的起始地址参数设置为所述待播放音频数据的起始地址;
所述配置子单元,还用于将所述目标配置节点的长度参数设置为所述待播放音频数据的数据长度。
16.根据权利要求15所述的装置,其特征在于,所述读取单元包括:
更新子单元,用于更新所述第二缓冲区中的写指针;
计算子单元,用于计算所述第二缓冲区中的写指针与读指针的差值;
读取子单元,用于若所述第二缓冲区中写指针与读指针的差值大于或等于第二预设阈值,则读取所述第二缓冲区中的读指针所指向的配置节点对应的待播放音频数据进行播放。
17.根据权利要求16所述的装置,其特征在于,所述第二缓冲区为环形缓冲区,所述更新子单元具体用于:
判断所述目标配置节点是否为所述第二缓冲区的最后一个配置节点;
若是,则配置所述第二缓冲区中的写指针为所述第二缓冲区的起始地址对应的第一个配置节点所在的位置;
若否,则配置所述第二缓冲区中的写指针为所述第二缓冲区中所述目标配置节点的下一个配置节点的位置。
18.根据权利要求14所述的装置,其特征在于,所述装置还包括:确定单元和计算单元;
所述确定单元,用于确定所述第二缓冲区中读指针所在的位置;
所述计算单元,用于计算所述第二缓冲区中第一标记指针和第二标记指针的差值,所述第一标记指针指向所述第二缓冲区中的读指针所在位置的上一个配置节点所在的位置,所述第二标记指针为上一次释放时所述第一标记指针所在的位置;
所述确定单元,还用于若所述第二缓冲区中第一标记指针和第二标记指针的差值大于或等于第三预设阈值,则将所述第二队列中与所述第一标记指针和所述第二标记指针之间对应的已配置的信息控制节点卸载并释放;
所述节点链接单元,还用于将所述第二队列中卸载并释放的信息控制节点链接到所述第三队列中。
19.一种音频数据的处理系统,其特征在于,包括:
输入模块,用于接收多个电视通路输入的音频数据;
通路切换模块,用于切换不同的电视通路;
音频捕获模块,用于捕获不同通路的音频数据;
缓冲区,用于缓存所述音频捕获模块捕获的音频数据;以及,
控制读取模块,用于控制读取所述缓冲区中的音频数据;
其中,所述控制读取模块包括:
队列设置单元,用于设置第一队列和第二队列,所述第一队列用于管理待播放音频数据的已配置的信息控制节点,所述第二队列用于管理已播放音频数据的已配置的信息控制节点,所述待播放音频数据的已配置的信息控制节点中包含待播放音频数据的属性信息;
节点卸载单元,用于从所述第一队列中卸载单位数据的已配置的信息控制节点;与所述卸载的已配置的信息控制节点对应的待播放音频数据为第一通路的音频数据;
读取单元,用于根据所述卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据;
节点链接单元,用于将所述卸载的已配置的信息控制节点链接到第二队列;
所述系统还包括:检测单元;
所述检测单元,用于检测是否从第一通路切换到第二通路;
节点卸载单元,用于若检测单元检测到从所述第一通路切换到所述第二通路,则卸载并释放所述第一队列中剩余的已配置的信息控制节点;
所述系统还包括音频后处理模块,用于对所述读取单元读取的音频数据进行预设音效处理;以及
音频播放模块,用于播放所述音频后处理模块处理的音频数据。
CN201510629593.2A 2015-09-28 2015-09-28 一种音频数据的处理方法、装置和系统 Active CN106559704B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510629593.2A CN106559704B (zh) 2015-09-28 2015-09-28 一种音频数据的处理方法、装置和系统
PCT/CN2016/072033 WO2017054379A1 (zh) 2015-09-28 2016-01-25 一种音频数据的处理方法、装置和系统
US15/869,433 US10171868B2 (en) 2015-09-28 2018-01-12 Method for processing audio data, terminal and television

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510629593.2A CN106559704B (zh) 2015-09-28 2015-09-28 一种音频数据的处理方法、装置和系统

Publications (2)

Publication Number Publication Date
CN106559704A CN106559704A (zh) 2017-04-05
CN106559704B true CN106559704B (zh) 2019-07-12

Family

ID=58416621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510629593.2A Active CN106559704B (zh) 2015-09-28 2015-09-28 一种音频数据的处理方法、装置和系统

Country Status (3)

Country Link
US (1) US10171868B2 (zh)
CN (1) CN106559704B (zh)
WO (1) WO2017054379A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021040457A1 (ko) * 2019-08-29 2021-03-04 인텔렉추얼디스커버리 주식회사 무선 통신 시스템에서 오디오 처리 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체
CN112000376B (zh) * 2020-07-29 2023-12-26 深圳市智微智能软件开发有限公司 一种基于安卓系统的多路静音控制方法、设备和存储介质
CN116974508B (zh) * 2023-06-30 2024-07-09 荣耀终端有限公司 音频焦点控制方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101800867A (zh) * 2010-01-19 2010-08-11 深圳市同洲电子股份有限公司 一种实现环形缓冲区的方法、装置及数字电视接收终端
CN101834978A (zh) * 2009-12-23 2010-09-15 福建新大陆通信科技有限公司 一种数字机顶盒epg系统的优化方法
CN102521279A (zh) * 2011-11-25 2012-06-27 Tcl集团股份有限公司 一种流媒体文件播放方法、系统及播放器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002260336A (ja) * 2001-02-28 2002-09-13 Pioneer Electronic Corp 情報記録再生方法及び情報記録再生装置
US7774077B1 (en) * 2005-06-21 2010-08-10 Apple Inc. Sequence grabber for audio content
JP4556789B2 (ja) * 2005-07-07 2010-10-06 ソニー株式会社 再生装置、再生方法および再生プログラム
US20080301189A1 (en) * 2007-05-31 2008-12-04 Ads Holdings, Llc. System and method for providing a real-time content distribution network
CN103905897A (zh) * 2014-04-23 2014-07-02 无锡天脉聚源传媒科技有限公司 一种视频播放装置及其播放方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101834978A (zh) * 2009-12-23 2010-09-15 福建新大陆通信科技有限公司 一种数字机顶盒epg系统的优化方法
CN101800867A (zh) * 2010-01-19 2010-08-11 深圳市同洲电子股份有限公司 一种实现环形缓冲区的方法、装置及数字电视接收终端
CN102521279A (zh) * 2011-11-25 2012-06-27 Tcl集团股份有限公司 一种流媒体文件播放方法、系统及播放器

Also Published As

Publication number Publication date
WO2017054379A1 (zh) 2017-04-06
US20180139497A1 (en) 2018-05-17
CN106559704A (zh) 2017-04-05
US10171868B2 (en) 2019-01-01

Similar Documents

Publication Publication Date Title
EP2866137A1 (en) Apparatus, program, and method for controlling storage devices
JP6729914B2 (ja) ソリッドステートストレージドライブ、システム、および方法
US8429374B2 (en) System and method for read-while-write with NAND memory device
CN106559706A (zh) 一种音频数据的处理方法、装置和系统
KR101270848B1 (ko) 트래픽 클래스들과 관련된 포트들을 갖는 다중 포트 메모리 제어기
CN100476773C (zh) 管理存储器访问请求的方法和装置
CN106559704B (zh) 一种音频数据的处理方法、装置和系统
WO2017005010A1 (zh) 音频处理方法及设备、计算机存储介质
US20150302903A1 (en) System and method for deep coalescing memory management in a portable computing device
WO2013176912A1 (en) Flash memory controller
JP2009528584A (ja) Fpgaベースのパイプライン処理のためのファームウェアソケットモジュール
CN107293316A (zh) 一种音频数据处理方法及装置
CN106559705B (zh) 一种音频数据的处理方法、装置和系统
CN104967901A (zh) 媒体播放中的音轨切换方法和媒体播放设备
KR102168487B1 (ko) 높은 클럭 속도에서 연속하는 판독 버스트 지원
CN106375835B (zh) 一种流媒体播放方法及设备
WO2024007678A1 (zh) 一种存储空间整理方法及电子设备
CN109375568A (zh) 一种多源数据实时采集装置
CN106559703B (zh) 一种音频数据的处理方法和装置
US10205666B2 (en) End-to-end flow control in system on chip interconnects
US11017811B1 (en) Playback speed optimization
KR102262209B1 (ko) 더미 입출력 요청을 이용한 배리어 명령 전달 방법 및 그 장치
WO2018026452A1 (en) System and method for distributing and replaying trigger packets via a variable latency bus interconnect
KR102254501B1 (ko) 부분 순서 보장 기반의 입출력 스케줄러 및 그 방법
CN109634877A (zh) 流操作的实现方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218

Patentee after: Hisense Visual Technology Co., Ltd.

Address before: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218

Patentee before: QINGDAO HISENSE ELECTRONICS Co.,Ltd.

CP01 Change in the name or title of a patent holder