CN107112019B - 信号处理装置、信号处理方法、以及存储有程序的计算机可读存储介质 - Google Patents

信号处理装置、信号处理方法、以及存储有程序的计算机可读存储介质 Download PDF

Info

Publication number
CN107112019B
CN107112019B CN201580069558.8A CN201580069558A CN107112019B CN 107112019 B CN107112019 B CN 107112019B CN 201580069558 A CN201580069558 A CN 201580069558A CN 107112019 B CN107112019 B CN 107112019B
Authority
CN
China
Prior art keywords
encoded data
unit
storage unit
decoding
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580069558.8A
Other languages
English (en)
Other versions
CN107112019A (zh
Inventor
剑持千智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN202110199202.3A priority Critical patent/CN113035206B/zh
Publication of CN107112019A publication Critical patent/CN107112019A/zh
Application granted granted Critical
Publication of CN107112019B publication Critical patent/CN107112019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B7/00—Recording or reproducing by optical means, e.g. recording using a thermal beam of optical radiation by modifying optical properties or the physical structure, reproducing using an optical beam at lower power by sensing optical properties; Record carriers therefor
    • G11B7/007—Arrangement of the information on the record carrier, e.g. form of tracks, actual track shape, e.g. wobbled, or cross-section, e.g. v-shaped; Sequential information structures, e.g. sectoring or header formats within a track
    • G11B7/00736—Auxiliary data, e.g. lead-in, lead-out, Power Calibration Area [PCA], Burst Cutting Area [BCA], control information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/26—Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/02—Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks
    • H04W8/04—Registration at HLR or HSS [Home Subscriber Server]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/1075—Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data
    • G11B2020/10787—Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data parameters, e.g. for decoding or encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本技术涉及以下信号处理装置、信号处理方法、以及程序：甚至当到来的编码数据的压缩比在实时地再现到来的编码数据期间根据通信条件而变化，仍然能够防止接收装置侧的缓冲器溢出。当根据编码系统针对每个处理单元管理在接收缓冲器中缓冲的编码数据的量时，接收缓冲器对到来的编码音频数据进行缓冲。本技术可以应用于使用通信系统的实时内容再现系统。

Description

信号处理装置、信号处理方法、以及存储有程序的计算机可读 存储介质
技术领域
本技术涉及信号处理装置、信号处理方法及程序，更具体地，涉及以下信号处理装置、信号处理方法及程序，通过所述信号处理装置、信号处理方法及程序，在再现用以取决于通信条件的方式而变化的压缩率无线发送的编码数据中，无论再现开始处的压缩率如何，都可以使再现延迟时间恒定。
背景技术
存在被称为蓝牙高级音频分发配置文件(在下文中也称为蓝牙 A2DP)的再现系统，其中实时地同时执行无线发送和再现。该再现系统采用以下技术：在接收器侧上再现声音之前，通过在接收器侧上的缓冲器 (在下文中也简称为接收缓冲器)中积聚一定量的编码音频数据(在下文中也简称为编码数据)来防止声音中断(参见专利文献1)。
上述专利文献1的技术中的再现开始的确定基于积聚数据的量(字节数目、字数等)。例如，如果接收到(积聚了)接收缓冲器中的相当于缓冲器大小的60％的编码数据，则确定应该开始再现。另外，还提出了估计发送条件并改变压缩率。
然而，在这样的系统中，如果编码处理中的压缩率变化，则可以改变直到再现开始的时间，即，延迟时间。另外，如果压缩率在再现期间变化，则可以超过接收侧上的接收缓冲器的缓冲器大小。
鉴于此，为了避免接收缓冲器的数据溢出，已经提出了自适应地改变发送/接收的技术(参见专利文献2)。也就是说，在专利文献2的方法中，以以下方式避免接收缓冲器的溢出：如果接收缓冲器对与限定数目的字节或更多数目的字节对应的数据的进行缓冲，则接收侧上的装置向发送侧发送状态，并且要被发送的数据流在发送侧上被控制和改变。
引用列表
专利文献
专利文献1：日本专利申请公开第2003-309541号
专利文献2：日本专利申请公开第2004-131301号
发明内容
技术问题
然而，在使用专利文献2的技术的情况下，存在一些数据在发送侧上不能被发送的可能性。此外，假设这样的数据此时在发送侧上的缓冲器中积聚。因此，如果发送环境恶化并且发送被延迟，则存在以下可能性：与不执行积聚的情况相比，发送侧上的缓冲器可能更早地经历溢出。另外，它不能以取决于压缩率的方式改变再现开始时间。
为了在例如发送/接收被延迟的情况下可能发生的声音中断之后保持延迟时间恒定，需要比正常情况下更快地消耗或丢弃接收侧上的编码数据。
使延迟时间改变的因素在于：例如如果无线发送中的发送环境恶化，则一定量的未发送数据积聚在发送侧上。
积聚的未发送数据是应当本来积聚在接收缓冲器中并且被再现的编码数据。因此，期望及早发送和接收积聚的未发送数据。因此，在发送环境恢复之后，以比正常情况下更短的发送间隔连续发送积聚的未发送数据。然而，如果不执行例如使接收侧上的再现速度高于正常情况下的再现速度的措施，则延迟时间由于例如发送侧上的缓冲器容量与接收侧上的缓冲器容量之间的差异的影响而变化。
然而，不能保证再现开始时的压缩率等于声音中断之后的处理中的压缩率。在基于数据的量进行管理的情况下，担心通过使用编码数据不能补偿延迟时间。
此外，还可以想到，根据在执行快进或抽取(decimation)的同时执行再现的再现方法来执行恢复。然而，由于在执行快进或抽取的同时执行再现，因此在恢复中再现声音的间隔被改变。因此，恐怕这可能给收听者带来不适。
本技术在上述情况下已经被实现，特别使得实现：即使编码数据用以取决于通信条件的方式变化的编码数据的压缩率来发送，在实时地再现发送的编码数据中仍然能够在接收侧上不受延迟时间的影响而再现发送的编码数据。
问题的解决方案
根据本技术的方面的信号处理装置包括：接收器，其接收被发送的根据预定编码方法编码的编码数据；存储单元，其存储由接收器接收的编码数据；解码器，其根据与预定编码方法对应的方法，对存储在存储单元中的编码数据进行解码；以及解码管理单元，基于存储在存储单元中的编码数据中的、当由解码器解码时按照预定编码方法的解码处理单位的数量，将由解码器进行的解码控制成被准许。
当存储在存储单元中的编码数据中的解码处理单位的数量大于预定阈值时，解码管理单元可以将由解码器进行的解码控制成被准许。
信号处理装置还可以包括切换单元，该切换单元将存储单元的输出切换到解码器或除了解码器之外的部件，以及当存储在存储单元中的编码数据中的解码处理单位的数量大于预定阈值时，解码管理单元可以控制切换单元以将所储单元的输出连接至解码器，从而将由解码器进行的解码控制成被准许。
信号处理装置还可以包括恢复措施单元，该恢复措施单元基于存储在存储单元中的编码数据中的解码处理单位的数量来确定是否要开启执行恢复措施处理的恢复措施模式，并且执行恢复措施处理，该恢复措施处理是用于防止在编码数据的发送状态由于发送环境的恶化而延迟以及然后发送环境恢复并且编码数据共同被发送的情况下解码器不能对所有编码数据进行解码的状态的措施。
当存储在存储单元中的编码数据中的解码处理单位的数量为0时，恢复措施单元可以开启恢复措施模式。信号处理装置还可以包括丢弃管理单元，当恢复措施模式开启并且存储在存储单元中的编码数据中的解码处理单位的数量大于基于预定阈值的参考值时，丢弃管理单元按照解码处理单位丢弃存储在存储单元中的编码数据的一部分。
丢弃管理单元可以按照解码处理单位丢弃存储在存储单元中的编码数据中的、根据解码处理单位的数量超过基于预定阈值的参考值的量的编码数据。
丢弃管理单元可以按照解码处理单位丢弃存储在存储单元中的编码数据中的、对应于解码处理单位的数量的每单位时间的增量而设定的量的编码数据。
信号处理装置还可以包括：切换单元，其将存储单元的输出切换到解码器或除了解码器之外的部件；以及丢弃单元，其按照解码处理单位丢弃存储在存储单元中的编码数据的一部分。当按照解码处理单位丢弃存储在存储单元中的编码数据的所述一部分时，丢弃管理单元可以控制切换单元以将存储单元的输出连接至丢弃单元，从而按照解码处理单位丢弃存储在存储单元中的编码数据的所述一部分。
恢复措施单元可以基于存储在存储单元中的编码数据的解码处理单位的数量在预定时段内的均值和方差，在预定时间间隔处计算状态变量，并且当状态变量与预定参考值的差的绝对值小于预定阈值的状态持续时关闭恢复措施模式。
信号处理装置还可以包括序列，该序列存储通过恢复措施单元将在预定时间间隔处计算的状态变量和预定参考值之间的差的绝对值与预定阈值进行比较而获得的比较结果。当基于存储在序列中的比较结果，在预定时间间隔处计算的状态变量与预定参考值的所述差的绝对值小于预定阈值的状态持续时，恢复措施单元关闭恢复措施模式。
编码数据可以通过对要通过扬声器被输出为音频的音频数据进行编码来获得。信号处理装置还可以包括静音(mute)控制器，该静音控制器控制基于由解码器解码的音频数据的来自扬声器的音频的输出电平。当恢复措施模式开启时，静音控制器可以将基于由解码器解码的音频数据的来自扬声器的音频的输出电平控制成被降低。
根据本技术的方面的信号处理方法包括以下步骤：接收被发送的根据预定编码方法编码的编码数据；存储所接收的编码数据；根据与预定编码方法对应的方法对所存储的编码数据进行解码；以及基于所存储的编码数据中的、当解码时按照所述预定编码方法的解码处理单位的数量，将解码控制成被准许。
根据本技术的方面的程序使计算机用作：接收器，该接收器接收被发送的根据预定编码方法编码的编码数据；存储单元，该存储单元存储由接收器接收的编码数据；解码器，该解码器根据与预定编码方法对应的方法对存储在存储单元中的编码数据进行解码；以及解码管理单元，该解码管理单元基于存储在存储单元中的编码数据中的、当由解码器解码时按照预定编码方法的解码处理单位的数量，将由解码器进行的解码控制成被准许。
在本技术的方面中，接收被发送的根据预定编码方法编码的编码数据。存储所接收的编码数据。所存储的编码数据根据与预定编码方法对应的方法来解码。基于编码数据中的、当解码时按照预定编码方法的解码处理单位的数量，将由解码控制成被准许。
根据本技术的方面的信号处理装置可以是独立装置，或者可以是实现信号处理的块。
发明的有益效果
根据本技术的方面，当实时地再现被发送的编码数据时，即使用以取决于通信条件的方式变化的编码数据的压缩率发送编码数据，仍然可以在接收侧上不受延迟时间影响而再现被发送的编码数据。
附图说明
图1是描述应用了本技术的音频再现系统的第一实施方式的配置示例的图。
图2是描述图1的音频再现系统中的再现处理的流程图。
图3是描述图1的音频再现系统中的恢复措施处理的流程图。
图4是描述图1的音频再现系统中的恢复措施处理中的所记录的帧的数目随着时间变化的图。
图5是描述应用了本技术的音频再现系统的第二实施方式的配置示例的图。
图6是描述图5的音频再现系统中的恢复措施处理的流程图。
图7是描述图5的音频再现系统中的恢复措施处理中的所记录的帧的数目随着时间变化的图。
图8是描述通用个人计算机的配置示例的图。
具体实施方式
<音频再现系统的第一实施方式的配置示例>
图1示出了应用了本技术的音频再现系统的配置示例。
图1的音频再现系统由蓝牙模块11、接收器/再现器12、扬声器13 和发送器21构成。在图1的音频再现系统中，发送器21发送根据蓝牙高级音频分发配置文件(在下文中也称为蓝牙A2DP)编码的音频数据的编码数据，接收器/再现器12经由蓝牙模块11接收编码数据，对编码数据进行解码，并且通过扬声器13将其输出为音频。此时，接收器/再现器12 在逐帧的基础上管理编码数据的缓冲，帧是蓝牙A2DP中的音频编码方法的处理的最小单元。以这种方式，即使用以取决于通信条件的方式改变的压缩率来发送编码数据，仍然可以不受延迟时间的影响而再现编码数据。
蓝牙模块11接收从发送器21发送的蓝牙A2DP的分组，根据L2CAP 协议(逻辑链路控制和适配协议)来处理相应的链路管理层、基带层和 RF(射频)层，并且经由HCI(主机控制器接口)将基带分组输出到接收器/再现器12的接收处理器31。
接收器/再现器12是例如所谓的主机CPU(主机中央处理单元)，并且包括接收处理器31、编解码器单元32、接收缓冲器33、再现控制器34、开关35、解码器36、数据丢弃单元37和静音控制器38。
注意，尽管在图1的示例中示出了单独设置蓝牙模块11和接收器/再现器12的配置示例，但是它们也可以整体地被配置。
此外，在本实施方式中，为了简化说明，将描述在发送侧上的A2DP 的媒体有效载荷的头部处记录在单个分组中发送的帧的数目的示例。然而，例如，代替在发送侧上记录帧的数目，可以通过解析接收侧上的媒体有效载荷来计算帧的数目。
接收处理器31经由HCI从蓝牙模块11接收所接收的数据，根据 L2CAP和AVDTP(AV分发传输协议)来处理所接收的数据，恢复媒体有效载荷，并且将媒体有效载荷输出到编解码器单元32。
编解码器单元32包括帧数目计算器32a。编解码器单元32使帧数目计算器32a计算关于从接收处理器31提供的记录在媒体有效载荷中的编码数据的帧的数目的信息以恢复所述信息，并且将所述信息作为关于所接收的帧的数目的信息提供给再现控制器34。此外，编解码器单元32恢复记录在媒体有效载荷中的编码数据，并且使接收缓冲器33存储编码数据。
注意，本文中提出的术语“帧”是指根据音频编码方法(例如，AAC (高级音频编码)或ATRAC(自适应转换声学编码))定义的编码转换的处理单位。此外，在下文中，将假定在逐帧基础上执行处理的情况下进行描述。然而，处理单位可以是除了以取决于编码方法的方式的帧以外的帧。此外，编码方法可以是除了上述编码方法以外的编码方法。
再现控制器34从由编解码器单元32提供的所接收的帧的数目减去从解码器36提供的所使用的帧的数目以及从数据丢弃单元37提供的所丢弃的帧的数目，从而更新所记录的帧的数目。所记录的帧的数目将存储在接收缓冲器33中的编码数据表示为帧的数目。此外，本文中提出的术语“所使用的帧的数目”是由解码器36读取和再现的、存储在接收缓冲器33 中的所存储的帧的帧的数目。在此，术语“丢弃的帧数”是与存储在接收缓冲器33中的编码数据中的、由数据丢弃单元36丢弃的编码数据对应的帧的数目。
另外，如果再现控制器34尚未开始再现，则再现控制器34确定所记录的帧数是否已经达到预定阈值。如果所记录的帧数已经达到预定阈值，则再现控制器34开启再现准许模式，并且控制开关35以将存储在接收缓冲器33中的编码数据提供至解码器36并开始再现。该预定阈值可以在设计期间预先设定，或者可以由用户进行调整。再现控制器34控制静音控制器38以使要由解码器36输出至扬声器13的音频输出静音。
此外，再现控制器34包括再现管理单元34a、恢复措施单元34b、确定序列34c和丢弃管理单元34d。再现管理单元34a计算上述所记录的帧的数目。再现管理单元34a将所记录的帧的数目与预定阈值进行比较。如果所记录的帧的数目大于预定阈值，则再现管理单元34a开启再现准许模式的标志，并且将开关35连接到端子35a，以将存储在接收缓冲器33中的编码数据顺序地提供至解码器36。因此，准许音频再现。
恢复措施单元34b基于所记录的帧的数目是否为0开启恢复措施模式的标志。所记录的帧的数目为0的事实可以被认为意味着：由于发送状态的恶化而导致从发送器21发送的数据不能被接收以及存储在接收缓冲器 33中的编码数据未出现。在这样的情况下，如果发送状态恢复，则发送尚未被发送的编码数据。因此，可再现状态被恢复。
然而，当能够再现音频的状态从而被恢复时，许多尚未被发送的编码数据被立即发送。因此，存在在接收缓冲器33中可能发生缓冲器溢出的担心。鉴于此，恢复措施单元34b开启恢复措施模式的标志，与丢弃管理单元34d协作执行其恢复措施处理，并且通过例如丢弃接收缓冲器33的编码数据来抑制缓冲器溢出的发生。此外，当执行恢复措施处理时，恢复措施单元34b确定表示不出现要丢弃的帧的状态下所记录的帧的数目的变化的指示的状态变量，并且使包括FIFO的确定序列34c顺序地存储状态变量与预定阈值的比较结果。然后，恢复措施单元34b基于存储在确定序列34c中的比较结果来确定是否终止恢复措施模式。
当恢复措施模式的标志被开启时，丢弃管理单元34d基于所记录的帧的数目，计算存储在接收缓冲器33中的编码数据中的要被丢弃的帧的数目。然后，丢弃管理单元34d控制开关35以被连接至端子35b，以将存储在接收缓冲器33中的编码数据中的与所计算的要丢弃的帧的数目对应的编码数据提供至数据丢弃单元37。然后，所提供的编码数据被数据丢弃单元37丢弃。
开关35由再现控制器34控制以被连接至端子35a，使得接收缓冲器 33的输出被输出至解码器36，开关35由再现控制器34控制以被连接至端子35b，使得接收缓冲器33的输出被输出至数据丢弃单元37，或者开关35由再现控制器34控制以不被连接至端子35a和端子35b中的任何一个，使得接收缓冲器33的输出不被输出至端子35a和端子35b中的任何一个。
当开关35由再现控制器34控制，使得可以从接收缓冲器33提供编码数据时，解码器36根据解码设置以规则时间间隔从接收缓冲器33检索编码数据，对其执行解码处理，并且经由用于将解码数据输出为音频的静音控制器38将解码数据输出至扬声器13。例如，接收缓冲器33以FIFO (快进快出)格式来配置。解码器36按照最旧到最新的顺序顺序地检索编码数据，将它们再现为音频，并且通过扬声器13输出所述音频。
此外，当开关35由再现控制器34控制，使得可以从接收缓冲器33 提供编码数据时，数据丢弃单元37从接收缓冲器33读取并丢弃编码数据。
<图1的接收器/再现器的再现处理>
接下来，将描述由图1的音频再现系统的再现处理。注意，在此将描述用于通过L2CAP和AVDTP的处理再现音频的编码数据从发送器21 被顺序地发送并且由接收器/再现器12接收和再现为音频的处理。
在步骤S11中，蓝牙模块11确定包括音频数据的蓝牙A2DP的分组是否已经从发送器21被发送且被接收。然后，例如，如果包括音频数据的蓝牙A2DP的分组已经通过无线通信从发送器21被发送且被接收，则处理进行至步骤S12。
在步骤S12中，蓝牙模块11接收蓝牙A2DP的分组，并且根据L2CAP 协议(逻辑链路控制和适配协议)处理链路管理层、基带层和RF(射频) 层，并且经由HCI(主机控制器接口)将基带分组输出至接收器/再现器 12的接收处理器31。接收处理器31从所接收的基带分组恢复媒体有效载荷数据，并将媒体有效载荷数据提供至编解码器单元32。
在步骤S13中，编解码器单元32控制帧数目计算器32a，基于所接收的媒体有效载荷数据，计算作为音频信号的处理单位的音频编码方法的帧的数目作为所接收的帧的数目，并且将所述数目提供至再现控制器34。此外，编解码器单元32根据媒体有效载荷数据对编码数据进行解码和恢复，并且将经解码且被恢复的数据提供至接收缓冲器33，以存储经解码且被恢复的数据。
在步骤S14中，再现控制器34控制再现管理单元34a以从所记录的帧的先前数目减去由解码器36从接收缓冲器33读取和再现的所使用的帧的数目与由数据丢弃单元37从接收缓冲器33读取并丢弃的所丢弃的帧的数目的和。另外，再现控制器34控制再现管理单元34a以将所接收的帧的数目与减法的结果相加，从而确定记录在接收缓冲器33中的所记录的帧的当前数目。因此，所记录的帧的当前数目表示如下：所记录的帧的当前数目＝所记录的帧的先前数目-(所丢弃的帧的数目+所使用的帧的数目) +所接收的帧的数目。此后，再现管理单元34a重复这样的处理，从而顺序地更新所记录的帧的当前数目。注意，在第一处理中，所记录的帧的先前数目、所使用的帧的数目和所丢弃的帧的数目都为0，因此，所接收的帧的数目是所记录的帧的数目。
在步骤S15中，再现控制器34控制恢复措施单元34b以执行恢复措施处理。恢复措施处理用于以下情况：由于发送环境的恶化而导致编码数据不能被接收并且发生声音中断，发送环境恢复，编码数据可以被接收并且音频可以再次被输出。注意，稍后将参照图3的流程图详细描述恢复措施处理。
在步骤S16中，再现控制器34控制再现管理单元34a，以确定是否需要重新确定再现准许模式的标志是否不开启以及再现准许模式的标志是否开启。在步骤S16中，如果再现准许模式的标志没有开启并且需要重新确定是否要开启再现准许模式，则再现管理单元34a认为需要确定其是否是再现准许模式，并且处理进行至步骤S17。
在步骤S17中，再现管理单元34a基于当前记录在接收缓冲器33中的所记录的帧的数目是否大于预定阈值来确定是否要开启再现准许模式。在步骤S17中，例如，如果所记录的帧的数目大于预定阈值，则再现管理单元34a在步骤S18中开启再现准许模式的标志。注意，例如，如果在步骤S17中所记录的帧的数目小于预定阈值，则在步骤S19中，再现管理单元34a关闭再现准许模式的标志。
在步骤S20中，再现管理单元34a确定再现准许模式是否开启，如果再现准许模式开启，则处理进行至步骤S21。
在步骤S21中，再现管理单元34a控制开关35，使得编码数据可以从接收缓冲器33被提供至解码器36，并且将编码数据提供至解码器36。解码器36读取并解码编码数据，产生音频数据，并且使扬声器13经由静音控制器38输出和再现音频。
注意，在第一处理中，音频通过扬声器13来输出，原因是默认情况下静音控制器38被设置为处于静音关闭状态。此后，当静音控制器38 处于静音开启状态时，音频信号从解码器36被输出至扬声器13，但是音频不通过扬声器13输出。
在步骤S22中，接收处理器31确定是否指示了处理的终止，如果指示了终止，则终止处理。此外，在步骤S22中，如果未指示处理的终止，则处理进行至步骤S23。
在步骤S23中，接收处理器31确定是否经过了预定时间，并且重复类似的处理，直到经过了预定时间。如果经过了预定时间，则处理返回至步骤S11。也就是说，以预定时间间隔重复执行步骤S11至步骤S23的一系列处理，直到给出终止指示。
此外，在步骤S11中，如果未接收到分组，则跳过步骤S12至步骤 S14的处理。另外，在步骤S16中，如果不需要确定再现准许模式是否开启，则跳过步骤S17至布置S19的处理。
此外，在步骤S20中，如果再现准许模式没有开启，则跳过步骤S21 的处理，并且不执行再现处理。
在上述处理中，顺序地读取积聚在接收缓冲器33中的编码数据，并且在逐帧(其是编码方法的处理单位)例如所记录的帧的数目的基础上确定是否要开启用于准许解码和再现的再现准许模式的标志。利用这个，甚至在通信期间编码方法变化或者压缩率变化的情况下，也可以按照作为帧的数目的处理单位执行管理。因此，可以补偿一定范围内的延迟时间，并且可以抑制接收缓冲器33的缓冲器溢出的发生。
<图1的接收器/再现器的恢复措施处理>
接下来，将参照图3的流程图描述恢复措施处理。该恢复措施处理是用于避免发生接收缓冲器33的溢出并且不能补偿延迟时间的情况的措施处理。在以下情况下出现该情形：在音频信号的再现期间发送环境恶化，发送延迟，发生声音中断，然后发送环境得到改善，从而立即发送延迟的编码数据。
在步骤S41中，再现控制器34控制恢复措施单元34b以确定恢复措施模式是否开启。更具体地，恢复措施单元34b确定恢复措施模式的标志是否开启。在步骤S41中，例如，如果恢复措施模式的标志未开启，则处理进行至步骤S52。
在步骤S52中，恢复措施单元34b询问再现管理单元34a，并且确定再现准许模式的标志是否被开启。在步骤S52中，如果确定再现准许模式开启，则处理进行至步骤S53。
在步骤S53中，恢复措施单元34b确定所记录的帧的数目是否为0。也就是说，确定在由于发送环境的恶化而不能接收被发送的编码数据的情况下是否已经再现、用尽了积聚的所有编码数据。在步骤S53中，如果确定所记录的帧的数目为0，则处理进行至步骤S54。也就是说，在这种情况下，由于发送环境的恶化而导致编码数据不能被充分地接收的状态持续，并且不可能再现。
在步骤S54中，恢复措施单元34b开启恢复措施模式的标志以进入恢复措施模式，并且对恢复措施模式执行初始化处理。在此，初始化处理是例如对稍后将描述的状态变量、用于确定恢复措施模式的终止的确定序列34c的值进行初始化的处理。
在步骤S55中，恢复措施单元34b控制静音控制器38，以根据此后从解码器36输出的音频数据防止来自扬声器13的音频的输出。也就是说，此后，编码数据将相应于由于发送环境的恶化而导致的发送的延迟而被集中地发送。因此，为了避免接收缓冲器33的溢出，例如执行通过稍后要描述的处理来丢弃编码数据的一部分的处理。因此，担心再现的音频可能使噪声混合或可能被输出为异常声音。因此，为了防止在该时间期间的音频输出，使静音控制器38进入静音开启状态。
在步骤S56中，接收缓冲器33的所记录的帧的数目为0，因此再现控制器34关闭再现准许模式的标志，以终止再现准许模式并且终止恢复措施处理。
此外，之后，当在图2中的流程图的一系列处理之后重新启动恢复措施处理时，恢复措施模式的标志已经被开启。因此，在步骤S41中，确定恢复措施模式是开启的，并且处理进行至步骤S42。
在步骤S42中，再现控制器34控制丢弃管理单元34d以计算要丢弃的帧的数目。更具体地，当对再现准许模式的标志进行设置时，例如，丢弃管理单元34d将丢弃阈值设置为通过将某个裕量(margin)与要与所记录的帧的数目进行比较的预定阈值相加获得的参考值。丢弃管理单元 34d计算超过该丢弃阈值的所记录的帧的数目的帧的数目作为要丢弃的帧的数目。替代地，当超过参考帧数时，例如，丢弃管理单元34d可以将在设计期间设置的预定的帧的数目计算为要丢弃的帧的数目。
在步骤S43中，恢复措施单元34b计算并更新状态变量。在此，状态变量是例如表示指示符的数值，该指示符指示设计期间确定的预定观察时间内的记录的帧的数目的均值和方差是否为预定范围内的值。例如，表示指示在设计期间确定的预定观察时间内的记录的帧的数目的均值是否落入用于确定再现准许模式的标志的预定阈值的±10％以内的指示符的数值或者表示指示方差是否落在设计期间限定的参考范围内的指示符的数值被用作状态变量。
在此，恢复措施单元34b例如以百分比来比较各个参考，并且使用通过将其比较结果相乘而获得的值作为状态变量。更具体地，例如，倘若在预定观察时间内的记录的帧的数目的均值是用于确定再现准许模式的标志的阈值的90％并且预定观察时间内的记录的帧的数目的方差是参考值的80％，那么再现控制器34将这两者相乘以确定72％(＝90％×80％＝ 0.72)。以这种方式，随着均值变得更接近用于确定再现准许模式的标志的预定阈值并且方差变得更接近参考值，也就是说，随着它们变得更接近设定值，状态变量是更接近100％(＝1.0)的值。
替代地，状态变量可以是例如每预定时间的记录的帧的数目的变化量与每预定时间使用的帧的数目的变化量的比率。也就是说，在这种情况下，如果适当地设置每预定时间的记录的帧的数目的变化量以及每预定时间的使用的帧的数目的变化量，则这两者的变化变为几乎相同的值，作为状态变量的这两者的比率也是接近1(＝100％)的值。
在步骤S44中，丢弃管理单元34d基于要丢弃的帧的数目的计算结果来确定是否存在要丢弃的帧。例如，如果存在要丢弃的帧的数目，则处理进行至步骤S45。
在步骤S45中，丢弃管理单元34d丢弃存储在接收缓冲器33中的编码数据中的、与要丢弃的帧的数目对应的编码数据，并且处理结束。更具体地，丢弃管理单元34d控制开关35以被连接至端子35b，从而将编码数据提供至数据丢弃单元37。数据丢弃单元37丢弃所提供的编码数据。
注意，当丢弃编码数据时，例如，当丢弃与多个帧对应的编码数据时，可以通过以规则的帧间隔执行抽取来丢弃它们。通过这样做，可以保持在逐帧基础上的左编码数据的连续性和一致性。
也就是说，在由于发送状态的恶化而使编码数据的发送延迟的情况下，恢复措施模式开始，编码数据立刻被发送，并且要处理的太多编码数据积聚在接收缓冲器33中的状态持续，上述步骤S41至S45的处理被重复，并且编码数据被连续丢弃。
另一方面，在步骤S44中，如果确定不存在要丢弃的帧，即如果确定要丢弃的帧的编码数据未被记录在接收缓冲器33中，则处理进行至步骤S46。
在步骤S46中，恢复措施单元34b确定状态变量与1之间的差的绝对值是否小于预定阈值，即，发送状态是否稳定以及记录的帧的数目是否处于更接近设定的操作状态的状态。在步骤S46中，例如，如果确定状态变量与1之间的差的绝对值小于预定阈值，如果发送状态稳定并且处于更接近设定的操作状态的状态，则处理进行至步骤S47。
在步骤S47中，恢复措施单元34b用指示发送状态稳定并且处于更接近设定的操作状态的状态的值1覆盖用于确定恢复措施模式的终止的确定序列34c的最旧值，并存储值1。
此外，在步骤S46中，如果确定状态变量与1之间的差的绝对值不小于预定阈值，则发送状态不稳定并且不处于更接近设定的操作状态的状态，在步骤S48中，恢复措施单元34b用指示发送状态不稳定并且不处于更接近设定的操作状态的状态的值0覆盖确定序列34c的最旧值，并且存储值0。
在步骤S49中，恢复措施单元34b读取确定序列34c的信息，并且基于例如所有存储的值是否为1，也就是说，存储在确定序列34c中的状态变量与1之间的差的绝对值小于预定阈值的状态是否持续预定次数，来确定是否终止恢复措施模式。在步骤S49中，例如，如果存储在确定序列 34c中的所有值为1，则恢复措施单元34b确定终止恢复措施模式，并且处理进行至步骤S50。
在步骤S50中，恢复措施单元34b关闭恢复措施模式的标志以终止恢复措施模式。
在步骤S51中，再现控制器34控制静音控制器38以不使从解码器 36输出的音频数据静音，使得音频数据可以被提供至扬声器13并输出为音频。
另外，在步骤S49中，如果存储在确定序列34c中的所有值不为1，则需要使恢复措施模式持续，因此跳过步骤S50和步骤S51的处理。然后，恢复措施处理终止。
在上述处理中，如果发送状态变得不稳定并且编码数据未被存储在接收缓冲器33中的状态持续，则再现准许模式的标志被关闭并且恢复措施模式的标志被开启。作为恢复措施处理，在逐帧的基础上丢弃当发送状态恢复时过度发送的编码数据。因此，当发送状态恢复从而使得可以再次执行再现时，即使以各种压缩率的编码数据被发送，仍然基于作为处理单位的帧的数目来丢弃编码数据，从而可以实现对使用编码数据的延迟时间的补偿。
此外，静音控制器38在恢复措施模式下开启静音。因此，不输出类似噪声的音频。通过以在发送状态恢复从而使得编码数据可以被存储在接收缓冲器33中并且再现准许模式的标志被开启之后取决于需求的方式对丢弃的编码数据进行解码和再现来生成类似噪声的音频。因此，可以抑制类似噪声的音频输出的产生，从而可以防止给收听者带来不适。
此外，基于记录在接收缓冲器33中的记录的帧的数目来管理接收缓冲器33的操作状态。因此，便于适当地防止缓冲器溢出的发生的设计。
另外，恢复措施处理被执行为作为再现处理的一部分的处理。因此，甚至在发送状态改善、再现准许模式的标志被开启、编码数据被顺序地解码、并且输出音频的状态下，也可以并发地执行恢复措施处理。因此，当再现音频时，也可以丢弃编码数据。在这样的情况下，不是由静音控制器 38完全停止来自扬声器13的音频输出，而是可以以小于正常音量的音量来输出音频。通过这样做，可以输出主音频，从而可以使收听者听到音频输出。另外，甚至在音频具有微小噪声的情况下，音量被减小，因此可以减少不适。
<音频再现系统的第二实施方式的配置示例>
根据上述处理，例如，如图4所示，发送状态恶化，记录的帧的数目变为0，恢复措施模式开始。此后，发送状态在时间点t0处恢复，接收缓冲器33的记录的帧的数目随时间而增加。
然后，在发送状态恢复之后从时间点t0到时间点t1，记录的帧的数目逐渐增加。在记录的帧的数目超过丢弃阈值Th之后，通过相对于由虚线圆圈所示的实际发送的记录的帧的数目而丢弃一定数目的帧，将记录的帧的数目控制为由实线圆圈所示的记录的帧的数目。另外，如时间点t2 处的实线圆圈所示，在记录的帧的实际数目下降到丢弃阈值Th以下之后，开始恢复措施模式的终止的确定。
注意，图4示出了在恢复措施模式开始并且发送状态恢复之后记录的帧的数目随时间的变化。在该图中，横轴表示经过的时间，纵轴表示记录的帧的数目。此外，实线圆圈表示以取决于恢复措施处理中的需求的方式丢弃编码数据而控制的记录的帧的实际数目。虚线圆圈表示在不丢弃编码数据的情况下的记录的帧的数目。
也就是说，在上述处理中，发送状态恶化并且恢复措施模式开始。之后，发送状态在时间点t0处恢复。记录的帧的数目逐渐增加。超过丢弃阈值Th。从时间点t1到时间点t2丢弃帧。然后，在时间点t2之后，记录的帧的实际数目下降到阈值Th以下。因此，停止丢弃。在随后的定时处进行终止恢复措施模式的确定。
然而，如上所述，当恢复措施模式被延长时，在逐帧的基础上连续丢弃编码数据。静音控制器38的操作时间被延长。不能执行正常音频输出的状态持续。因此，期望尽可能早地开始确定恢复措施模式的终止，并且期望及早终止恢复措施模式。
鉴于此，如果在恢复措施模式开始之后记录的帧的数目每单位时间快速增加，则在记录的帧的数目到达丢弃阈值Th之前，可以在逐帧的基础上丢弃编码数据。以这种方式，可以缩短在逐帧的基础上丢弃编码数据的周期。因此，可以在早期的定时处开始恢复措施模式的终止的确定，并且可以及早终止恢复措施模式。
图5示出了接收器/再现器12的配置示例。在该配置示例中，如果在恢复措施模式开始之后记录的帧的数目每单位时间快速增加，则在记录的帧的数目到达丢弃阈值Th之前在逐帧的基础上丢弃编码数据。注意，在图5的接收器/再现器12中，将通过相同的名称和相同的符号表示具有与图1的接收器/再现器12的功能相同的功能的配置，因此将将适当地省略其描述。
也就是说，在图5的接收器/再现器12中，与图1的接收器/再现器 12的不同点是以下点：设置丢弃管理单元51而不设置再现控制器34的丢弃管理单元34d。
虽然丢弃管理单元51基本上具有与丢弃管理单元34d的功能相同的功能，但是要丢弃的帧的数目的计算方法不同。
特别地，丢弃管理单元51基于记录的帧的数目每单位时间的增量来计算要删除的帧的数目。因此，在接收缓冲器33中，如果记录的帧的数目每单位时间的增量大，则甚至在记录的帧的数目超过丢弃阈值Th之前，仍然在逐帧的基础上丢弃与增量对应的编码数据。因此，记录的帧的数目在早期阶段变为小于丢弃阈值Th的值。丢弃帧的周期可以缩短。因此，可以及早终止恢复措施模式。
因此，可以及早开始恢复措施模式的终止的确定，并且可以在早期定时处终止恢复措施模式。可以抑制由于在逐帧的基础上丢弃编码数据而产生类似噪声的音频，并且可以缩短静音控制器38的静音开启的周期。
<图5的接收器/再现器的恢复措施处理>
接下来，将参照图6的流程图描述由图5的接收器/再现器12进行的恢复措施处理。注意，再现处理与图1的接收器/再现器12的再现处理类似，因此，将省略其描述。此外，图6的流程图中的步骤S71以及步骤 S73至S86的处理与图3的流程图中的步骤S41以及步骤S43至S56的处理类似，因此，将省略其描述。也就是说，图6的流程图与图3的流程图的差异在于步骤S72的处理。
也就是说，在步骤S72中，丢弃管理单元51基于记录的帧的数目每单位时间的增量来计算要删除的帧的数目。
更特别地，例如，如图7所示，丢弃管理单元51基于记录的帧的数目的变化量ΔFrame以及单位时间ΔTime来确定每单位时间的增量ΔFrame/ΔTime。丢弃管理单元51确定与基于设计期间限定的变化的正常量限定的变化量的比率。丢弃管理单元51将该比率与变化量ΔFrame相乘，从而确定要丢弃的帧的数目。
例如，倘若记录的帧的数目的变化量ΔFrame为8，单位时间ΔTime 为10，参考值为0.5，则丢弃管理单元51将ΔFrame/ΔTime计算为0.8，并且将(0.8-0.5)/0.5＝0.6计算为参考值与变化量的比率。另外，丢弃管理单元51将确定的值与记录的帧的数目的变化量ΔFrame(＝8)相乘，并且对结果进行下舍入，从而将丢弃的帧的数目确定为4。
在上述处理中，如图7所示，在记录的帧的数目超过丢弃阈值Th之前，在逐帧的基础上丢弃与所述增量对应的编码数据。因此，在记录的帧的数目超过丢弃阈值Th之前，已经丢弃了要丢弃的帧。因此，如图7的时间点t11至时间点t12所示，与图4所示的时间点t1至时间点t2的周期相比，可以使过度地记录在接收缓冲器33中的编码数据在要丢弃的逐帧的基础上被丢弃的周期更短。
注意，在图5的接收器/再现器12中，为了简化描述，按原样在计算中使用相对于经过的时间的预定时间点处的比率。然而，可以确定时间点处的比率，并且可以使用在时间点处确定的比率的均值。在这种情况下，可以进一步降低取决于发送环境的到达时间的变化的影响。
此外，尽管上面已经描述了利用蓝牙(注册商标)进行通信的示例，但是通信协议不限于此，而且可以采用使用其他通信协议的通信。此外，尽管在上文已经描述了通过通信发送音频数据的示例，但是可以发送除了音频数据之外的数据，只要它是实时再现的数据流。例如，可以发送视频数据。
如上所述，根据本技术，接收侧上的装置可以基于作为记录在接收缓冲器中的编码数据的解码处理的单位的帧的数目来确定开始再现的定时。因此，即使编码数据的压缩率变化，仍然可以在不影响延迟时间的情况下进行稳定再现。
此外，可以不断地保存存储在接收缓冲器中的与应该开始被再现的帧的数目对应的编码数据的量。因此，即使编码数据的压缩率在再现期间变化，与基于编码数据的字节数进行的情况相比，仍然可以减少应当确保的必需的最小存储大小。
另外，当编码数据被丢弃以在发送中断和恢复之后保持延迟恒定时，例如基于帧的数目按照解码处理的单位执行管理。因此，即使编码数据的压缩率例如以取决于发送侧上的发送条件的方式而变化，仍然可以按照解码处理的单位执行丢弃处理。
此外，在配置其中从单个发送器发送的编码数据由多个接收器/再现器12接收和再现的再现系统的情况下，甚至当与蓝牙一样在时隙间隔处发送和接收分组时，只要仅用于确定再现准许模式的开启/关闭的阈值是一致的，例如接收侧就可以在不准备附加同步信号的情况下同步和再现分组。
<软件的执行示例>
顺便提及，上述一系列处理可以由硬件执行或者可以由软件执行。在一系列处理由软件执行的情况下，将配置软件的程序从记录介质安装到并入专用硬件中的计算机或者例如能够通过安装各种程序而执行各种功能的通用个人计算机中。
图8示出了通用个人计算机的配置示例。个人计算机包括CPU(中央处理单元)1001。输入/输出接口1005经由总线1004连接至CPU 1001。 ROM(只读存储器)1002和RAM(随机存取存储器)1003连接至总线 1004。
连接至输入/输出接口1005的是用户输入操作命令的键盘、由输入装置如鼠标构成的输入单元1006、将处理操作屏幕和处理结果图像输出至显示装置的输出单元1007、由存储程序和各种类型的数据的硬盘驱动器等构成的存储单元1008，以及由LAN(局域网)适配器等构成并且经由以因特网为代表的网络执行通信处理的通信单元1009。此外，驱动器1010 连接至输入/输出接口1005。驱动器1010从诸如磁盘(包括软盘)、光盘 (包括CD-ROM(致密盘只读存储器)、DVD(数字通用盘))、磁光盘(包括MD(迷你盘))和半导体存储器的可移除介质1011读取数据并且将数据写到诸如磁盘(包括软盘)、光盘(包括CD-ROM(致密盘只读存储器)、 DVD(数字通用盘))、磁光盘(包括MD(迷你盘))和半导体存储器的可移除介质1011上。
CPU 1001根据存储在ROM 1002中的程序或者从诸如磁盘、光盘、磁光盘和半导体存储器的可移除介质1011读取并且安装到存储单元1008 中而且从存储单元1008装载到RAM 1003中的程序来执行各种类型的处理。CPU 1001执行各种类型的处理必需的数据等也被适当地存储在RAM 1003中。
如上所述，在这样配置的计算机中，上述一系列处理由例如CPU 1001 通过以下操作来执行：将存储在存储单元1008中的程序经由输入/输出接口1005和总线1004加载到RAM1003中并且执行所述程序。
例如，由计算机(CPU 1001)执行的程序可以在被记录在作为封装介质的可移除介质1011中的同时被提供。此外，程序可以经由诸如局域网、因特网和数字广播的有线或无线传输介质来提供。
在计算机中，可以通过将可移除介质1011安装在驱动器1010上经由输入/输出接口1005将程序安装在存储单元1008中。此外，程序可以由通信单元1009接收并且经由有线或无线传输介质被安装在存储单元1008 中。程序可以以其他方式预先安装在ROM 1002或存储单元1008中。
注意，由计算机执行的程序可以是其处理按照本文中描述的次序顺序地执行的程序，或者可以是其处理并发地被执行或在必要的定时处被(例如，当调用时)执行的程序。
此外，在本文中，系统表示多个部件(装置、模块(部件)等)的集合，并且所有部件是否在相同的壳体内都不重要。因此，容纳在分开的壳体中并经由网络连接的多个装置以及包括容纳在单个壳体内的多个模块的单个装置都是系统。
注意，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的要旨的情况下做出各种变型。
例如，本技术可以采用云计算配置，在所述云计算配置中，一个功能由多个装置经由网络共享并且协同处理。
此外，上面参照流程图描述的步骤可以由多个装置共享和执行，而不是由单个装置执行。
另外，在单个步骤包括多个处理的情况下，单个步骤的多个处理可以由多个装置共享和执行，而不是由单个装置执行。
应当注意，本技术还可以采用以下配置。
(1)一种信号处理装置，包括：
接收器，所述接收器接收被发送的包括根据预定编码方法编码的数据的编码数据；
存储单元，所述存储单元存储由所述接收器接收的所述编码数据；
解码器，所述解码器根据与所述预定编码方法对应的方法，对存储在所述存储单元中的所述编码数据进行解码；以及
解码管理单元，所述解码管理单元基于存储在所述存储单元中的所述编码数据中的、当由所述解码器解码时按照所述预定编码方法的解码处理单位的数量，将由所述解码器进行的解码控制成被准许。
(2)根据(1)所述的信号处理装置，其中，
当存储在所述存储单元中的所述编码数据中的解码处理单位的数量大于预定阈值时，所述解码管理单元将由所述解码器进行的解码控制成被准许。
(3)根据(1)或(2)所述的信号处理装置，还包括
切换单元，所述切换单元将所述存储单元的输出切换到所述解码器或除了所述解码器之外的部件，以及
当存储在所述存储单元中的所述编码数据中的解码处理单位的数量大于预定阈值时，所述解码管理单元控制所述切换单元以将所述存储单元的输出连接至所述解码器，从而将由所述解码器进行的解码控制成被准许。
(4)根据(1)至(3)中任一项所述的信号处理装置，还包括
恢复措施单元，所述恢复措施单元基于存储在所述存储单元中的所述编码数据中的解码处理单位的数量来确定是否要开启执行恢复措施处理的恢复措施模式，并且执行所述恢复措施处理，所述恢复措施处理是用于防止在所述编码数据的发送状态由于发送环境的恶化而延迟以及然后所述发送环境恢复并且所述编码数据共同被发送的情况下所述解码器不能对所有所述编码数据进行解码的状态的措施。
(5)根据(4)所述的信号处理装置，其中，
当存储在所述存储单元中的所述编码数据中的解码处理单位的数量为0时，所述恢复措施单元开启所述恢复措施模式，所述信号处理装置还包括：
丢弃管理单元，当所述恢复措施模式开启并且存储在所述存储单元中的所述编码数据中的解码处理单位的数量大于基于预定阈值的参考值时，所述丢弃管理单元按照解码处理单位丢弃存储在所述存储单元中的所述编码数据的一部分。
(6)根据(5)所述的信号处理装置，其中，
所述丢弃管理单元按照解码处理单位丢弃存储在所述存储单元中的所述编码数据中的、根据解码处理单位的数量超过基于所述预定阈值的所述参考值的量的编码数据。
(7)根据(5)所述的信号处理装置，其中，
所述丢弃管理单元按照解码处理单位丢弃存储在所述存储单元中的所述编码数据中的、对应于解码处理单位的数量的每单位时间的增量而设定的量的编码数据。
(8)根据(5)所述的信号处理装置，还包括：
切换单元，所述切换单元将所述存储单元的输出切换到所述解码器或除了所述解码器之外的部件；以及
丢弃单元，所述丢弃单元按照解码处理单位丢弃存储在所述存储单元中的所述编码数据的一部分，其中，
当按照解码处理单位丢弃存储在所述存储单元中的所述编码数据的所述一部分时，所述丢弃管理单元控制所述切换单元以将所述存储单元的输出连接至所述丢弃单元，从而按照解码处理单位丢弃存储在所述存储单元中的所述编码数据的所述一部分。
(9)根据(4)所述的信号处理装置，其中，
所述恢复措施单元基于存储在所述存储单元中的编码数据的解码处理单位的数量在预定时段内的均值和方差，在预定时间间隔处计算状态变量，并且当所述状态变量与预定参考值的差的绝对值小于预定阈值的状态持续时关闭所述恢复措施模式。
(10)根据(4)所述的信号处理装置，还包括：
序列，所述序列存储通过所述恢复措施单元将在所述预定时间间隔处计算的所述状态变量和预定参考值之间的差的绝对值与预定阈值进行比较而获得的比较结果，其中，
当基于存储在所述序列中的所述比较结果，在所述预定时间间隔处计算的所述状态变量与所述预定参考值的所述差的绝对值小于所述预定阈值的状态持续时，所述恢复措施单元关闭所述恢复措施模式。
(11)根据(1)至(4)中任一项所述的信号处理装置，其中，
所述编码数据通过对要通过扬声器被输出为音频的音频数据进行编码来获得，所述信号处理装置还包括：
静音控制器，所述静音控制器控制基于由所述解码器解码的所述音频数据的来自所述扬声器的音频的输出电平，其中，
当所述恢复措施模式开启时，所述静音控制器将基于由所述解码器解码的所述音频数据的来自所述扬声器的所述音频的输出电平控制成被降低。
(12)一种信号处理方法，包括以下步骤：
接收被发送的包括根据预定编码方法编码的数据的编码数据；
存储所接收的编码数据；
根据与所述预定编码方法对应的方法对所存储的编码数据进行解码；以及
基于所存储的编码数据中的、当解码时按照所述预定编码方法的解码处理单位的数量，将解码控制成被准许。
(13)一种程序，所述程序使计算机用作：
接收器，所述接收器接收被发送的包括根据预定编码方法编码的数据的编码数据；
存储单元，所述存储单元存储由所述接收器接收的所述编码数据；
解码器，所述解码器根据与所述预定编码方法对应的方法对存储在所述存储单元中的所述编码数据进行解码；以及
解码管理单元，所述解码管理单元基于存储在所述存储单元中的所述编码数据中的、当由所述解码器解码时按照所述预定编码方法的解码处理单位的数量，将由所述解码器进行的解码控制成被准许。
附图标记列表
11蓝牙模块，12接收器/再现器，13扬声器，21发送器，31接收处理器，32编解码器单元，32a帧数目计算器，33接收缓冲器，34再现控制器，34a再现管理单元，34b灰度措施单元，34c确定序列，34d丢弃管理单位，35开关，35a、35b终端，36解码器，37数据丢弃单元， 38静音控制器，51丢弃管理单元

Claims (12)

1.一种信号处理装置，包括：
接收器，所述接收器接收被发送的包括根据预定编码方法编码的数据的编码数据；
存储单元，所述存储单元存储由所述接收器接收的所述编码数据；
解码器，所述解码器根据与所述预定编码方法对应的方法，对存储在所述存储单元中的所述编码数据进行解码；
解码管理单元，所述解码管理单元基于存储在所述存储单元中的所述编码数据中的、当由所述解码器解码时按照所述预定编码方法的解码处理单位的数量，将由所述解码器进行的解码控制成被准许；以及
恢复措施单元，所述恢复措施单元基于存储在所述存储单元中的所述编码数据中的解码处理单位的数量来确定是否要开启执行恢复措施处理的恢复措施模式，并且执行所述恢复措施处理，所述恢复措施处理是用于防止在所述编码数据的发送状态由于发送环境的恶化而延迟以及然后所述发送环境恢复并且所述编码数据共同被发送的情况下所述解码器不能对所有所述编码数据进行解码的状态的措施。
2.根据权利要求1所述的信号处理装置，其中，
当存储在所述存储单元中的所述编码数据中的解码处理单位的数量大于预定阈值时，所述解码管理单元将由所述解码器进行的解码控制成被准许。
3.根据权利要求1所述的信号处理装置，还包括
切换单元，所述切换单元将所述存储单元的输出切换到所述解码器或除了所述解码器之外的部件，以及
当存储在所述存储单元中的所述编码数据中的解码处理单位的数量大于预定阈值时，所述解码管理单元控制所述切换单元以将所述存储单元的输出连接至所述解码器，从而将由所述解码器进行的解码控制成被准许。
4.根据权利要求1所述的信号处理装置，其中，
当存储在所述存储单元中的所述编码数据中的解码处理单位的数量为0时，所述恢复措施单元开启所述恢复措施模式，所述信号处理装置还包括：
丢弃管理单元，当所述恢复措施模式开启并且存储在所述存储单元中的所述编码数据中的解码处理单位的数量大于基于预定阈值的参考值时，所述丢弃管理单元按照解码处理单位丢弃存储在所述存储单元中的所述编码数据的一部分。
5.根据权利要求4所述的信号处理装置，其中，
所述丢弃管理单元按照解码处理单位丢弃存储在所述存储单元中的所述编码数据中的、根据解码处理单位的数量超过基于所述预定阈值的所述参考值的量的编码数据。
6.根据权利要求4所述的信号处理装置，其中，
所述丢弃管理单元按照解码处理单位丢弃存储在所述存储单元中的所述编码数据中的、对应于解码处理单位的数量的每单位时间的增量而设定的量的编码数据。
7.根据权利要求4所述的信号处理装置，还包括：
切换单元，所述切换单元将所述存储单元的输出切换到所述解码器或除了所述解码器之外的部件；以及
丢弃单元，所述丢弃单元按照解码处理单位丢弃存储在所述存储单元中的所述编码数据的一部分，其中，
当按照解码处理单位丢弃存储在所述存储单元中的所述编码数据的所述一部分时，所述丢弃管理单元控制所述切换单元以将所述存储单元的输出连接至所述丢弃单元，从而按照解码处理单位丢弃存储在所述存储单元中的所述编码数据的所述一部分。
8.根据权利要求1所述的信号处理装置，其中，
所述恢复措施单元基于存储在所述存储单元中的编码数据的解码处理单位的数量在预定时段内的均值和方差，在预定时间间隔处计算状态变量，并且当所述状态变量与预定参考值的差的绝对值小于预定阈值的状态持续时关闭所述恢复措施模式。
9.根据权利要求1所述的信号处理装置，还包括：
序列，所述序列存储通过所述恢复措施单元将在预定时间间隔处计算的状态变量和预定参考值之间的差的绝对值与预定阈值进行比较而获得的比较结果，其中，
当基于存储在所述序列中的所述比较结果，在所述预定时间间隔处计算的所述状态变量与所述预定参考值的所述差的绝对值小于所述预定阈值的状态持续时，所述恢复措施单元关闭所述恢复措施模式。
10.根据权利要求1所述的信号处理装置，其中，
所述编码数据通过对要通过扬声器被输出为音频的音频数据进行编码来获得，所述信号处理装置还包括：
静音控制器，所述静音控制器控制基于由所述解码器解码的所述音频数据的来自所述扬声器的音频的输出电平，其中，
当所述恢复措施模式开启时，所述静音控制器将基于由所述解码器解码的所述音频数据的来自所述扬声器的所述音频的输出电平控制成被降低。
11.一种信号处理方法，包括以下步骤：
接收被发送的包括根据预定编码方法编码的数据的编码数据；
存储所接收的编码数据；
根据与所述预定编码方法对应的方法对所存储的编码数据进行解码；
基于所存储的编码数据中的、当解码时按照所述预定编码方法的解码处理单位的数量，将解码控制成被准许；以及
基于所存储的所述编码数据中的解码处理单位的数量来确定是否要开启执行恢复措施处理的恢复措施模式，并且执行所述恢复措施处理，所述恢复措施处理是用于防止在所述编码数据的发送状态由于发送环境的恶化而延迟以及然后所述发送环境恢复并且所述编码数据共同被发送的情况下不能对所有所述编码数据进行解码的状态的措施。
12.一种存储有程序的计算机可读存储介质，所述程序使计算机用作：
接收器，所述接收器接收被发送的包括根据预定编码方法编码的数据的编码数据；
存储单元，所述存储单元存储由所述接收器接收的所述编码数据；
解码器，所述解码器根据与所述预定编码方法对应的方法对存储在所述存储单元中的所述编码数据进行解码；
解码管理单元，所述解码管理单元基于存储在所述存储单元中的所述编码数据中的、当由所述解码器解码时按照所述预定编码方法的解码处理单位的数量，将由所述解码器进行的解码控制成被准许；以及
恢复措施单元，所述恢复措施单元基于存储在所述存储单元中的所述编码数据中的解码处理单位的数量来确定是否要开启执行恢复措施处理的恢复措施模式，并且执行所述恢复措施处理，所述恢复措施处理是用于防止在所述编码数据的发送状态由于发送环境的恶化而延迟以及然后所述发送环境恢复并且所述编码数据共同被发送的情况下所述解码器不能对所有所述编码数据进行解码的状态的措施。
CN201580069558.8A 2014-12-26 2015-12-11 信号处理装置、信号处理方法、以及存储有程序的计算机可读存储介质 Active CN107112019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110199202.3A CN113035206B (zh) 2014-12-26 2015-12-11 信号处理装置、信号处理方法、程序和计算机可读介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014264253A JP2016126037A (ja) 2014-12-26 2014-12-26 信号処理装置、および信号処理方法、並びにプログラム
JP2014-264253 2014-12-26
PCT/JP2015/084762 WO2016104178A1 (ja) 2014-12-26 2015-12-11 信号処理装置、および信号処理方法、並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110199202.3A Division CN113035206B (zh) 2014-12-26 2015-12-11 信号处理装置、信号处理方法、程序和计算机可读介质

Publications (2)

Publication Number Publication Date
CN107112019A CN107112019A (zh) 2017-08-29
CN107112019B true CN107112019B (zh) 2021-03-16

Family

ID=56150208

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580069558.8A Active CN107112019B (zh) 2014-12-26 2015-12-11 信号处理装置、信号处理方法、以及存储有程序的计算机可读存储介质
CN202110199202.3A Active CN113035206B (zh) 2014-12-26 2015-12-11 信号处理装置、信号处理方法、程序和计算机可读介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110199202.3A Active CN113035206B (zh) 2014-12-26 2015-12-11 信号处理装置、信号处理方法、程序和计算机可读介质

Country Status (7)

Country Link
US (3) US10089996B2 (zh)
EP (2) EP3742438A1 (zh)
JP (1) JP2016126037A (zh)
KR (1) KR102510865B1 (zh)
CN (2) CN107112019B (zh)
TW (1) TWI701922B (zh)
WO (1) WO2016104178A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113035206B (zh) * 2014-12-26 2024-03-29 索尼公司 信号处理装置、信号处理方法、程序和计算机可读介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220407825A1 (en) * 2019-11-12 2022-12-22 Sony Group Corporation Data processing apparatus, data processing method, and data processing program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0756259A1 (de) * 1995-07-26 1997-01-29 Philips Patentverwaltung GmbH RDS-TMC-Rundfunkempfänger
CN1340954A (zh) * 2000-08-25 2002-03-20 松下电器产业株式会社 实时信息接收装置
CN1547734A (zh) * 2002-05-20 2004-11-17 ������������ʽ���� 音响信号编码方法及设备、音响信号解码方法及设备、程序及记录介质
WO2006009087A1 (ja) * 2004-07-20 2006-01-26 Matsushita Electric Industrial Co., Ltd. ストリームデータ受信再生装置およびストリームデータ受信再生方法
CN1922885A (zh) * 2004-08-05 2007-02-28 松下电器产业株式会社 图象解码装置和图象编码装置
CN101049016A (zh) * 2004-10-27 2007-10-03 索尼株式会社 信息再现装置以及缓冲控制方法和程序
CN101156447A (zh) * 2005-04-13 2008-04-02 索尼株式会社 用于网络设备的同步音频/视频解码
CN101534446A (zh) * 2008-03-11 2009-09-16 索尼株式会社 图像处理设备、方法和程序

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69222754T2 (de) * 1992-03-27 1998-02-26 Alsthom Cge Alcatel Videodekoder
JP3713141B2 (ja) * 1998-05-19 2005-11-02 インターナショナル・ビジネス・マシーンズ・コーポレーション プログラムの不正実行防止方法
US7457676B1 (en) * 2000-06-14 2008-11-25 Marvell International Ltd. Vehicle for recording and reproducing digital data
WO2004006587A1 (en) 2000-12-06 2004-01-15 Realnetworks, Inc. Intra coding video data methods and apparatuses
JP2003309541A (ja) 2002-04-15 2003-10-31 Sony Corp データ転送システム、データ転送装置及びデータ転送方法、並びにコンピュータ・プログラム
JP4406816B2 (ja) * 2002-12-11 2010-02-03 ソニー株式会社 受信装置および受信方法、記録媒体、並びにプログラム
JP3977784B2 (ja) * 2003-07-22 2007-09-19 日本電信電話株式会社 リアルタイムパケット処理装置及びその方法
US7237181B2 (en) * 2003-12-22 2007-06-26 Qualcomm Incorporated Methods and apparatus for reducing error floors in message passing decoders
US7397812B2 (en) 2004-08-31 2008-07-08 General Motors Corporation System and method for wireless broadcast of multimedia files to vehicles
JP4474310B2 (ja) * 2005-03-24 2010-06-02 パナソニック株式会社 デバイス切替システム、送信元および配信先デバイス
JPWO2007032123A1 (ja) * 2005-09-14 2009-03-19 パナソニック株式会社 マルチストリーム復号装置
US7974713B2 (en) * 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
JP4751245B2 (ja) * 2006-06-20 2011-08-17 パナソニック株式会社 音声伝送装置および音声伝送方法
US20090019635A1 (en) * 2007-07-19 2009-01-22 Ching-Song Chen Portable sauna room assembly
US20090274248A1 (en) * 2008-05-01 2009-11-05 Interdigital Patent Holdings, Inc. Method and apparatus for contention-free interleaving using a single memory
KR20100011285A (ko) * 2008-07-24 2010-02-03 삼성전자주식회사 프리 디코더를 구비하는 디스플레이 구동회로 및 그구동방법
US9137160B2 (en) 2009-01-29 2015-09-15 Qualcomm Incorporated Method and apparatus for accomodating a receiver buffer to prevent data overflow
KR20110134127A (ko) * 2010-06-08 2011-12-14 삼성전자주식회사 오디오 데이터 디코딩 장치 및 방법
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
JP5772623B2 (ja) 2012-01-20 2015-09-02 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US9553913B2 (en) * 2014-05-30 2017-01-24 Apple Inc. Seamless video pipeline transition between WiFi and cellular connections for real-time applications on mobile devices
JP2016126037A (ja) * 2014-12-26 2016-07-11 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0756259A1 (de) * 1995-07-26 1997-01-29 Philips Patentverwaltung GmbH RDS-TMC-Rundfunkempfänger
CN1340954A (zh) * 2000-08-25 2002-03-20 松下电器产业株式会社 实时信息接收装置
CN1547734A (zh) * 2002-05-20 2004-11-17 ������������ʽ���� 音响信号编码方法及设备、音响信号解码方法及设备、程序及记录介质
WO2006009087A1 (ja) * 2004-07-20 2006-01-26 Matsushita Electric Industrial Co., Ltd. ストリームデータ受信再生装置およびストリームデータ受信再生方法
CN101002430A (zh) * 2004-07-20 2007-07-18 松下电器产业株式会社 流数据接收播放装置及流数据接收播放方法
CN1922885A (zh) * 2004-08-05 2007-02-28 松下电器产业株式会社 图象解码装置和图象编码装置
CN101049016A (zh) * 2004-10-27 2007-10-03 索尼株式会社 信息再现装置以及缓冲控制方法和程序
CN100542253C (zh) * 2004-10-27 2009-09-16 索尼株式会社 信息再现装置以及缓冲控制方法
CN101156447A (zh) * 2005-04-13 2008-04-02 索尼株式会社 用于网络设备的同步音频/视频解码
CN101534446A (zh) * 2008-03-11 2009-09-16 索尼株式会社 图像处理设备、方法和程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Speech decoding with error concealment using residual source redundancy";Fingscheidt;《1997 IEEE Workshop on Speech Coding for Telecommunications Proceedings. Back to Basics: Attacking Fundamental Problems in Speech Coding》;19971231;第1-25页 *
"基于信道软输出及信源参数相关性的联合语音解码";周琳;《应用科学学报》;20050330;第240-244页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113035206B (zh) * 2014-12-26 2024-03-29 索尼公司 信号处理装置、信号处理方法、程序和计算机可读介质

Also Published As

Publication number Publication date
US10522162B2 (en) 2019-12-31
US20180374492A1 (en) 2018-12-27
KR102510865B1 (ko) 2023-03-17
EP3239977A4 (en) 2018-05-23
US10089996B2 (en) 2018-10-02
KR20170100500A (ko) 2017-09-04
TWI701922B (zh) 2020-08-11
WO2016104178A1 (ja) 2016-06-30
CN113035206A (zh) 2021-06-25
US20170365269A1 (en) 2017-12-21
US20190221222A1 (en) 2019-07-18
JP2016126037A (ja) 2016-07-11
EP3742438A1 (en) 2020-11-25
CN107112019A (zh) 2017-08-29
CN113035206B (zh) 2024-03-29
US10319388B2 (en) 2019-06-11
EP3239977A1 (en) 2017-11-01
TW201626769A (zh) 2016-07-16
EP3239977B1 (en) 2020-07-01

Similar Documents

Publication Publication Date Title
US9088773B2 (en) Wireless channel aware adaptive video bit rate encoding
US8594184B2 (en) Method and apparatus for controlling video-audio data playing
WO2014100331A1 (en) Apparatus and methods for controlling jitter buffer
JP2006135974A (ja) 適応的バッファ遅延を有する音声受信機
KR102543881B1 (ko) 송신 디바이스, 송신 방법 및 프로그램
US10522162B2 (en) Signal processing apparatus, signal processing method, and program
WO2010143550A1 (ja) 情報処理装置および方法、並びにプログラム
KR102506494B1 (ko) 송신 장치, 송신 방법, 수신 장치, 수신 방법, 및 프로그램
US8791981B2 (en) Bit rate control apparatus and method thereof
JP5652776B2 (ja) 情報処理装置
CN117729376A (zh) 视频播放方法、装置、设备及存储介质
JP2007221597A (ja) ストリーム受信装置及びストリーム受信方法
CN117176203A (zh) 音频传输方法、装置、存储介质、电子设备及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant