CN111314335A - 数据传输方法、装置、终端、存储介质和系统 - Google Patents
数据传输方法、装置、终端、存储介质和系统 Download PDFInfo
- Publication number
- CN111314335A CN111314335A CN202010085293.3A CN202010085293A CN111314335A CN 111314335 A CN111314335 A CN 111314335A CN 202010085293 A CN202010085293 A CN 202010085293A CN 111314335 A CN111314335 A CN 111314335A
- Authority
- CN
- China
- Prior art keywords
- data
- transmission
- coefficient
- packet
- restored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 375
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000007906 compression Methods 0.000 claims abstract description 160
- 230000006835 compression Effects 0.000 claims abstract description 160
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000005070 sampling Methods 0.000 claims description 43
- 230000006837 decompression Effects 0.000 claims description 22
- 230000002194 synthesizing effect Effects 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000012937 correction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 108010001267 Protein Subunits Proteins 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0033—Systems modifying transmission characteristics according to link quality, e.g. power backoff arrangements specific to the transmitter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0036—Systems modifying transmission characteristics according to link quality, e.g. power backoff arrangements specific to the receiver
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Quality & Reliability (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种数据传输方法、装置、终端、存储介质和系统;本发明实施例可以获取音频数据以及传输状态信息;基于传输状态信息确定压缩系数和冗余系数;根据压缩系数对音频数据进行时域压缩处理,得到压缩数据;根据冗余系数对压缩数据进行信道编码,得到传输数据包;发送传输数据包。在本发明实施例中,通过对传输状态信息进行分析,可以判断信道当前传输是否存在拥塞、丢包等情况,通过修改压缩系数可以改善信道拥塞等情况,通过修改冗余系数可以改善丢包等情况,从而在保证数据传输的正确、完整的同时,还提高了信道的利用率,使得数据传输的速度更快、更稳定,由此,本方案可以提升数据传输方法的效率。
Description
技术领域
本发明涉及数据传输领域,具体涉及一种数据传输方法、装置、终端、存储介质和系统。
背景技术
互联网是一种很容易出现网络波动和堵塞的传输网络,对于对网络要求较高的应用,特别是互联网音频应用,目前数据传输的方法很容易出现网络波动导致的丢包现象,即音频数据包漏传、误传现象;比如,语音直播、语音通话、语音广播等互联网音频应用对网络的稳定性和带宽具有较高的要求,否则接收端接收到的音频可能会出现不连贯、卡顿等情况。
目前的数据传输方法为了解决丢包所导致的数据漏传、误传,会大量地重复发送冗余数据来减少丢包带来的影响,然而该方法会占用大量的网络资源,并且需要耗费大量时间和计算资源去处理、发送这些冗余的数据,因此,目前数据传输的方法效率低下。
发明内容
本发明实施例提供一种数据传输方法、装置、终端、存储介质和系统,可以提升数据传输。
本发明实施例提供一种数据传输方法,适用于发送端,包括:
获取音频数据以及传输状态信息;
基于所述传输状态信息确定压缩系数和冗余系数;
根据所述压缩系数对所述音频数据进行时域压缩处理,得到压缩数据;
根据所述冗余系数对所述压缩数据进行信道编码,得到传输数据包;
发送所述传输数据包。
本发明实施例提供一种数据传输方法,适用于接收端,包括:
获取传输数据包,所述传输数据包包括冗余数据和压缩系数;
基于所述传输数据包确定当前时刻的传输状态信息;
发送所述当前时刻的传输状态信息;
根据所述冗余数据对所述传输数据包进行信道解码,得到待复原数据;
根据所述压缩系数对所述待复原数据进行时域扩张处理,得到复原数据。
本发明实施例还提供一种数据传输装置,适用于发送端,包括:
第一获取单元,用于获取音频数据以及传输状态信息;
系数单元,用于基于所述传输状态信息确定缩放系数和冗余系数;
压缩单元,用于根据所述缩放系数对所述音频数据进行时域压缩处理,得到压缩数据;
编码单元,用于根据所述冗余系数对所述压缩数据进行信道编码,得到传输数据包;
第一发送单元,用于发送所述传输数据包。
在一些实施例中,所述传输状态信息包括接收数量,所述系数单元,包括:
统计子单元,用于对发送的传输数据包进行统计,得到发送码率、发送数量;
丢包率子单元,用于根据所述发送数量和所述接收数量计算丢包率;
冗余系数子单元,用于基于所述丢包率确定冗余系数;
压缩系数子单元,用于基于所述丢包率和所述发送码率确定压缩系数。
在一些实施例中,压缩系数子单元,用于:
对所述丢包率和所述发送码率进行统计,得到所述丢包率和所述发送码率的变化趋势,以及所述丢包率和所述发送码率之间的相关性;
当所述变化趋势为上升趋势,且所述丢包率和所述发送码率之间的相关性呈正相关时,根据所述丢包率和所述发送码率确定压缩系数。
在一些实施例中,压缩单元,包括:
压缩窗口子单元,用于根据所述压缩系数确定采样窗口;
压缩采样子单元,用于基于所述采样窗口对所述音频数据进行数据采样,得到子音频数据;
压缩子单元,用于对所述子音频数据进行合成处理,得到压缩数据。
在一些实施例中,压缩子单元,用于:
计算子音频数据之间的波形互相关系数;
根据所述波形互相关系数确定波形相似的子音频数据;
对所述波形相似的子音频数据进行波形叠加处理,得到压缩数据。
在一些实施例中,压缩单元,用于:
对所述音频数据进行基音分析,确定所述音频数据对应的基音点;
根据所述基音点对所述音频数据进行数据采样,得到多个子音频数据;
根据所述压缩系数从所述多个子音频数据中筛选出目标子音频数据;
对所述目标子音频数据进行合成处理,得到压缩数据。
本发明实施例还提供一种数据传输装置,适用于接收端,包括:
第二获取单元,用于获取传输数据包,所述传输数据包包括冗余数据和缩放系数;
占用单元,用于基于所述传输数据包确定当前时刻的传输状态信息;
第二发送单元,用于发送所述当前时刻的传输状态信息;
解码单元,用于根据所述冗余数据对所述传输数据包进行信道解码,得到待复原数据;
扩张单元,用于根据所述缩放系数对所述待复原数据进行时域扩张处理,得到复原数据。
在一些实施例中,所述占用单元,用于:
对接收的传输数据包进行统计,得到接收数量;
根据所述发送数量和所述接收数量计算丢包率;
确定当前时刻的传输状态信息,所述传输状态信息包括丢包率。
在一些实施例中,所述扩张单元,包括:
解压系数子单元,用于根据所述压缩系数确定对应的解压系数;
解压窗口子单元,用于根据所述解压系数确定采样窗口;
解压采样子单元,用于基于所述采样窗口对所述待复原数据进行数据采样,得到子待复原数据;
复原子单元,用于对所述子待复原数据进行合成处理,得到复原数据。
在一些实施例中,所述复原子单元,用于:
计算所述子待复原数据之间的波形互相关系数;
根据所述波形互相关系数确定波形相似的子待复原数据;
对所述波形相似的子待复原数据进行波形叠加处理,得到复原数据。
在一些实施例中,所述编码单元,用于:
对所述冗余系数进行信道编码,得到压缩系数标识符;
根据所述压缩系数标识符对所述压缩数据进行信道编码,得到传输数据包。本发明实施例还提供一种终端,包括存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行本发明实施例所提供的任一种数据传输方法中的步骤。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一种数据传输方法中的步骤。
本发明实施例还提供一种数据传输系统,所述数据传输系统包括发送端和接收端,其中:
所述发送端用于获取音频数据以及获取接收端发送的传输状态信息,基于所述传输状态信息确定缩放系数和冗余系数,根据所述缩放系数对所述音频数据进行时域压缩处理,得到压缩数据,根据所述冗余系数对所述压缩数据进行信道编码,得到传输数据包,发送所述传输数据包至接收端。
所述接收端用于获取发送端发送的传输数据包,所述传输数据包包括冗余数据和缩放系数,基于所述传输数据包确定当前时刻的传输状态信息,发送所述当前时刻的传输状态信息到发送端,对所述传输数据包进行信道解码,得到待复原数据,根据所述缩放系数对所述待复原数据进行时域扩张处理,得到复原数据。
本发明实施例可以获取音频数据以及传输状态信息;基于传输状态信息确定压缩系数和冗余系数;根据压缩系数对音频数据进行时域压缩处理,得到压缩数据;根据冗余系数对压缩数据进行信道编码,得到传输数据包;发送传输数据包。在本发明实施例中,通过对传输状态信息进行分析,可以判断信道当前传输是否存在拥塞、丢包等情况,通过修改压缩系数可以改善信道拥塞等情况,通过修改冗余系数可以改善丢包等情况,从而在保证数据传输的正确、完整的同时,还提高了信道的利用率,使得数据传输的速度更快、更稳定,由此,本方案可以提升数据传输方法的效率。
在本发明中,可以获取音频数据以及传输状态信息;基于传输状态信息确定压缩系数和冗余系数;根据压缩系数对音频数据进行时域压缩处理,得到压缩数据;根据冗余系数对压缩数据进行信道编码,得到传输数据包;发送传输数据包。
在本发明实施例中,接收端可以对自身接收的数据包进行统计结果,并将统计分析结果返回给发送端,发送端可以通过对统计分析结果进行分析,从而判断信道是否存在拥塞、丢包等情况。
当信道出现丢包时,发送端可以通过修改冗余系数来提高其在信道编码时生成的冗余数据的大小,使得接收端能够接收到足够多的数据,从而保证接收端所收到数据的正确性和完整性;当信道出现拥塞时,发送端可以通过修改压缩系数来降低数据包大小来降低信道的工作压力,从而提高信道稳定性,改善信道由于不稳定所产生的丢包情况。
因此,本方案在保证数据传输的完整性、正确性的同时,还可以提高信道的利用率,使得传输速度更快、更稳定。由此,本方案可以提升数据传输方法的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的数据传输系统的场景示意图;
图1b是本发明实施例提供的数据传输方法的第一种流程示意图;
图2是本发明实施例提供的数据传输方法的第二种流程示意图;
图3是本发明实施例提供的数据传输系统的流程示意图
图4是本发明实施例提供的数据传输装置的第一种结构示意图;
图5是本发明实施例提供的数据传输装置的第二种结构示意图;
图6是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种数据传输方法、装置、终端、存储介质和系统。
其中,该数据传输装置可以集成在电子设备中,适用于发送端和接收端;该发送端和接收端可以为同一电子设备,也可以为不同的电子设备,当发送端和接收端为不同的电子设备时,发送端和接收端可以为同一种类型的电子设备,也可以为不同类型的电子设备。
比如,该电子设备可以为终端、服务器等设备来作为发送端或接收端;终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer,PC)等设备;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
在一些实施例中,该数据传输装置还可以集成在多个电子设备中,比如,数据传输装置可以集成在多个服务器中,由多个服务器来实现本发明的数据传输方法。
在一些实施例中,服务器也可以以终端的形式来实现。
例如,参考图1a,该数据传输系统中可以包括作为发送端的手机A,和作为接收端的手机B。
其中,手机A可以获取音频数据以及从手机B获取传输状态信息,并基于传输状态信息确定压缩系数和冗余系数,再根据压缩系数对音频数据进行时域压缩处理,得到压缩数据,然后根据冗余系数对压缩数据进行信道编码,得到传输数据包,最后发送传输数据包至手机B。
其中,手机B可以从手机A获取传输数据包和压缩系数,然后基于传输数据包确定当前时刻的传输状态信息,再发送当前时刻的传输状态信息至手机A,然后对传输数据包进行信道解码,得到待复原数据,最后根据压缩系数对待复原数据进行时域扩张处理,得到复原数据。
可选地,该数据传输系统的流程可以如下:
当手机A获取音频数据以及从手机B获取传输状态信息时,手机A可以基于传输状态信息确定压缩系数和冗余系数,并根据压缩系数对音频数据进行时域压缩处理,得到压缩数据,再根据冗余系数对压缩数据进行信道编码,得到传输数据包,最后向手机B发送传输数据包。
当手机B从手机A获取传输数据包时(传输数据包可以包括压缩系数),手机B可以对传输数据包进行信道解码,得到待复原数据,再根据压缩系数对待复原数据进行时域扩张处理,得到复原数据,然后,手机B可以基于传输数据包确定当前时刻的传输状态信息,并向手机A发送当前时刻的传输状态信息。
以下分别进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
在本实施例中,提供了一种基于数据传输的数据传输方法,如图1b所示,该数据传输方法的流程可以如下:
101、获取音频数据以及传输状态信息。
其中,音频数据是指待发送的电子数据信息,音频数据可以表现为多种数据类型,比如,音频数据可以是音频数据、视频数据、图像数据、文本数据,等等。
传输状态信息是指可以反映数据传输状态的相关信息,比如,传输状态信息可以包括信道的利用率、带宽、丢包率、发送端的冗余率、发送码率、接收码率、传输速率、信噪比、信道增益、噪声功率,等等。
在本实施例中,可以通过多种方法获取音频数据,比如,通过网络从数据库中获取音频数据,也可以通过传感器捕捉录制音频数据,还可以由用户输入得到音频数据,还可以在本地读取音频数据,等等。
比如,在一些实施例中,可以利用搭载的录音设备录制用户的音频信息。
在本实施例中,可以通过多种方法获取传输状态信息,比如,通过网络从数据库中获取传输状态信息,也可以通过传感器采集传输状态信息,还可以通过网络从获取接收端发送的传输状态信息,还可以在本地读取传输状态信息,等等。
比如,在一些实施例中,可以通过网络与接收端通信,从而获取接收端发送的传输状态信息。
102、基于传输状态信息确定压缩系数和冗余系数。
其中,压缩系数是是描述压缩性大小的物理量;冗余系数是描述冗余数据占发送数据包的物理量。
接收端可以利用冗余数据来检查、纠正其接收到的数据信息,冗余数据可以是纠错码、查错码、传输数据的数据片段,等等。
比如,在一些实施例中,压缩系数是0.9,则可以描述数据被压缩至原有大小的0.9倍。
比如,在一些实施例中,冗余系数是0.3,则可以描述发送数据中,有30%是冗余的数据,其余70%是有效的数据。
在一些实施例中,为了更快、更容易地分析信道当前的工作状态,并在丢包率升高时提高冗余率,在信道出现拥塞时降低压缩系数以便减小发送数据包的大小,步骤102可以包括以下步骤:
对发送的传输数据包进行统计,得到发送码率、发送数量;
根据发送数量和接收数量计算丢包率;
基于丢包率确定冗余系数;
基于丢包率和发送码率确定压缩系数。
可选地,本实施例是对进行统计预设历史时间端内所发送的传输数据包,从而得到发送码率、发送数量,其中,该传输数据包中包括接收数量。
其中,发送码率(Sender Bit Rate)是指发送端在单位时间内发送的有效数据和冗余数据的总大小,以比特(Byte)为单位。
发送数量是指发送端在单位时间内发送的数据包的数量。
接收数量是指接收端在单位时间内接收的数据包的数量。
丢包率(Loss Rate)是指单位时间内接收到的数据包数量与发送数量的比值。当网络不稳定时,丢包率可能会升高,即信道丢失数据的概率会升高,此时,可能会造成视频马赛克现象、局部变形、图像模糊、频繁刷新、音视频不同步、图像静止、延迟、音频中断等问题。丢包率越高,对音视频通话等数据传输应用的影响效果越明显。
在本实施例中,为了降低丢包率,可以重复传输有效数据,即,传输冗余数据。本实施例可以修改冗余系数,使得发送端发送一定数量的冗余数据,以保证接收端接收到的信息完整、正确。
比如,在本实施例中,若发送数量为100,接收数量为75,则丢包率为25%,即丢失25个发送数据,此时,判断信道的丢包率比较严重,则修改当前的冗余系数为0.25,即,假设要再次发送100个发送数据,其中冗余数据占25个,有效数据占75个。
在一些实施例中,当预设的历史时间段内丢包率和发送码率程正相关,即发送的数据包中冗余数据越来越大,且丢包率也越来越大,则可以判断信道当前处于工作上限,为了防止继续重复发送数据对信道造成网络崩溃的情况,本实施例可以设置压缩系数来降低发送数据的大小,使得发送码率降低,从而减小对信道的压力。
可选地,在一些实施例中,步骤“基于丢包率和发送码率确定压缩系数”可以包括以下步骤:
a.对丢包率和发送码率进行统计,得到丢包率和发送码率的变化趋势,以及丢包率和发送码率之间的相关性;
b.当变化趋势为上升趋势,且丢包率和发送码率之间的相关性呈正相关时,根据丢包率和发送码率确定压缩系数。
即当信道的网络带宽达到上限时,丢包率和发送码率呈上升趋势且相互正相关,此时可以通过修改压缩系数来降低发送码率,从而减轻信道的压力,维持信道稳定性。
在一些实施例中,可以在发送传输数据包时发送该压缩系数,比如,通过网络同时向接收端发送数据传输包和压缩系数。
103、根据压缩系数对音频数据进行时域压缩处理,得到压缩数据。
时域压缩(Time Domain Data Compression)是指在时间域对电子数据中的一些数据进行删除、变换等,从而达到压缩的效果。
时域压缩方法具有多种,比如,时域压缩方法包括自适应差分脉冲编码调制(Adaptive Differential Pulse Code Modulation,ADPCM)、线性预测编码(linearpredictive coding,LPC)、码激励线性预测编码(Code Excited Linear Prediction,CELP)、重叠叠加算法(Overlap-and-Add,OLA)、等等;其中,重叠叠加算法可以包括同步波形叠加法(Synchronized Overlap-Add,SOLA)、基音同步叠加法(Pitch SynchronizedOverlap-Add,PSOLA)、波形相似叠加法(waveform similarity overlap-and-add,WSOLA),等等。
比如,在一些实施例中,为了解决压缩数据不连续,基音断裂等情况,可以采用基音同步叠加法进行时域压缩,可选地,步骤103可以包括以下步骤:
对音频数据进行基音分析,确定音频数据对应的基音点;
根据基音点对音频数据进行数据采样,得到多个子音频数据;
根据压缩系数从多个子音频数据中筛选出目标子音频数据;
对目标子音频数据进行合成处理,得到压缩数据。
其中,基音是一种决定语音韵律的主要时域参数,时域基音同步叠加法的核心是基音同步,首先对音频数据中的基音进行标注,例如,对浊音进行标注;然后,根据基音点对音频数据进行数据采样,得到多个子音频数据,对子音频数据进行一系列的插入、删除和修改,合成得到压缩数据。
比如,在一些实施例中,可以采用重叠叠加算法进行时域压缩,可选地,步骤103可以包括以下步骤:
根据压缩系数确定采样窗口;
基于采样窗口对音频数据进行数据采样,得到子音频数据;
对子音频数据进行合成处理,得到压缩数据。
在本实施例中,可以根据压缩系数决定采用窗口的系数,比如,步长、窗口大小,等等;然后,在音频数据中平滑移动该采样窗口,每经过一定的步长则对采样窗口中的数据进行采样,得到子音频数据;最后,叠加所有的子音频数据,得到压缩数据。
其中,在一些实施例中,为了解决压缩数据不连续等情况,因此语音质量较差,可以采用波形相似叠加法进行时域压缩,可选地,步骤“对子音频数据进行合成处理,得到压缩数据”可以包括以下步骤:
计算子音频数据之间的波形互相关系数;
根据波形互相关系数确定波形相似的子音频数据;
对波形相似的子音频数据进行波形叠加处理,得到压缩数据。
其中,波形互相关系数可以描述两个波形之间的相似程度,在本实施例中,对于波形相似的两个子音频数据可以进行叠加,最后得到压缩数据。
104、根据冗余系数对压缩数据进行信道编码,得到传输数据包。
数字信号在传输中往往由于各种原因,使得在传送的数据流中产生误码,从而使接收端产生图象跳跃、扭曲、不连续、出现马赛克等现象。通过信道编码对数据进行相应的处理,可以使信道具有一定的纠错能力和抗干扰能力,极大地避免了数据传输过程中误码的发生。
可选地,误码的处理技术可以包括纠错、交织、线性内插等。
其中,信道编码包括多种编码方式,比如,纠错码、查错码,等等。其中,纠错码可以包括前向纠错编码(Forward Error Correction,FEC)、里所码(Reed-solomon codes,RS)、卷积码、Turbo码等等。
在本实施例中,可以根据冗余系数生成压缩数据对应的冗余数据,再将这些冗余数据和压缩数据进行信道编码、打包,得到传输数据包。
在一些实施例中,可以对所述冗余系数进行信道编码,得到压缩系数标识符,再根据所述压缩系数标识符对所述压缩数据进行信道编码,得到传输数据包。
其中,压缩系数标识符是携带压缩系数信息的标识符,可以用于表示压缩系数的大小。
比如,在一些实施例中,可以将压缩系数对应的压缩系数标识符作为该传输数据包的包头。
105、发送传输数据包。
最后,可以将传输数据包发送到接收端。
在发送传输数据包时,可以在一段时间内发送压缩系数,也可以发送含有以压缩系数标识符为包头的数据包,等等。本发明实施例提供的数据传输方案可以应用在各种数据传输场景中,比如,在音频传输场景中,特别是VoIP(Voice over Internet Protocol,基于IP的语音传输)、语音广播、音视频直播等对丢包率、延时率要求较高的场景中,本发明实施例可以实时地监督信道的工作情况,并根据工作情况控制冗余数据的发送以及控制音频压缩的效果,故采用本发明实施例提供的方案,能够在保证音频效果的情况下,更高效地进行数据传输。
由上可知,本发明实施例可以获取音频数据以及传输状态信息;基于传输状态信息确定压缩系数和冗余系数;根据压缩系数对音频数据进行时域压缩处理,得到压缩数据;根据冗余系数对压缩数据进行信道编码,得到传输数据包;发送传输数据包。
由此,本方案可以通过对传输状态信息进行分析,实时地判断信道当前的工作情况,当信道拥塞时,通过修改压缩系数可以改善信道拥塞等情况可以降低数据的延时率和丢包率,提高信道的稳定性;当信道丢包率高时,通过修改冗余系数可以改善丢包等情况,从而在保证数据传输的正确、完整。本方案提高了信道的利用率,使得数据传输的速度更快、更稳定,由此,本方案可以提升数据传输方法的效率。
在本实施例中,提供了一种基于数据传输的数据传输方法,如图2所示,该数据传输方法的流程可以如下:
201、获取传输数据包和压缩系数。
本实施例可以通过信道获取发送端发送的传输数据包。
在一些实施例中,可以在获取发送端发送的传输数据包的同时,发送端发送的压缩系数。
在一些实施例中,传输数据包中可以包括压缩系数标识符,通过对该压缩系数标识符进行识别,可以获得压缩系数。
比如,在在一些实施例中,传输数据包的包头为压缩系数标识符,通过读取该包头,即可得到压缩系数。202、基于传输数据包确定当前时刻的传输状态信息。
在一些实施例中,除了在发送端分析信道的状态,还可以在接收端分析信道的状态。
故在一些实施例中,步骤202可以包括以下步骤:
对接收的传输数据包进行统计,得到接收数量;
根据发送数量和接收数量计算丢包率;
确定当前时刻的传输状态信息,传输状态信息包括丢包率。
其中,接受数量、发送数量、丢包率、传输状态信息可以参考步骤102和步骤103中的叙述,在此不做赘述。
203、发送当前时刻的传输状态信息。
在本实施例中,可以向发送终端发送当前时刻的传输状态信息。
可选地,可以通过多种方法向发送终端发送当前时刻的传输状态信息,例如,通过网络向发送终端发送当前时刻的传输状态信息、通过存储介质向发送终端发送当前时刻的传输状态信息,等等。
204、对传输数据包进行信道解码,得到待复原数据。
其中,信道解码对应信道编码,目的是还原由信道编码处理的数据,使其恢复至未进行信道编码时的状态。
在一些实施例中,传输数据包中可以包括冗余数据和传输数据,通过冗余数据可以对传输数据进行信道编码,从而实现对传输数据的检查、纠错、补漏等,最终得到待复原数据。
对应信道编码的方法,信道解码的方法也具有多种,比如,前向纠错编码(ForwardError Correction,FEC)、里所码(Reed-solomon codes,RS)、卷积码、Turbo码等等。
205、根据压缩系数对待复原数据进行时域扩张处理,得到复原数据。
时域扩张(Time Domain Data Decompression)是指在时间域内对电子数据进行数据修改、增加、插入等,从而达到解压缩的效果。
时域扩张和时域压缩的方法类似,比如,同步波形叠加法、基音同步叠加法、波形相似叠加法,等等。
比如,在一些实施例中,为了解决扩张数据不连续,可以采用重叠叠加算法进行时域扩张,可选地,时域扩张的方法和时域压缩的方法类类似,步骤103可以包括以下步骤:
根据压缩系数确定对应的解压系数;
根据解压系数确定采样窗口;
基于采样窗口对待复原数据进行数据采样,得到子待复原数据;
对子待复原数据进行合成处理,得到复原数据。
其中,压缩系数和解压系数相互对应,比如,在一些实施例中,压缩系数x对应的解压系数为1/x;比如,在一些实施例中,压缩系数x对应的解压系数为1-x。
类似地,在一些实施例中,为了解决压缩数据不连续、语音质量差等情况,可以采用波形相似叠加法进行时域扩张,步骤“对子待复原数据进行合成处理,得到复原数据”可以包括以下步骤:
计算子待复原数据之间的波形互相关系数;
根据波形互相关系数确定波形相似的子待复原数据;
对波形相似的子待复原数据进行波形叠加处理,得到复原数据。
其中,波形互相关系数、波形叠加处理可以参考步骤103,在此不做赘述。
本发明实施例提供的数据传输方案可以应用在各种数据传输场景中,比如,在音频传输场景中,特别是VoIP、语音广播、音视频直播等对丢包率、延时率要求较高的场景中,本发明实施例可以实时地向发送端发送信道的工作情况,以便发送端对信道进行监督控制冗余数据的发送以及控制音频压缩的效果,故采用本发明实施例提供的方案,能够在保证音频效果的情况下,更高效地进行数据传输。
由上可知,本发明实施例可以获取传输数据包,传输数据包包括冗余数据和压缩系数;基于传输数据包确定当前时刻的传输状态信息;发送当前时刻的传输状态信息;根据冗余数据对传输数据包进行信道解码,得到待复原数据;根据压缩系数对待复原数据进行时域扩张处理,得到复原数据。
由此,本方案可以统计并发送传输状态信息,以便发送端对信道的状态进行分析,从而修改压缩系数以改善信道拥塞等情况、修改冗余系数以改善丢包等情况,最终保证了数据传输的正确、完整的,并提高了信道的利用率,使得数据传输的速度更快、更稳定,由此,本方案可以提升数据传输方法的效率。
为了抵抗网络不稳定导致的丢包,减轻接收端声音的卡顿和不连贯的问题,可以采用多种信道编码方法进行丢包补偿,比如,前向纠错法(forward error correction,FEC)、丢包隐藏法(Packet Loss Concealment,PLC)、自动重传请求法(Automatic RepeatRequest,ARQ),等等。
其中,FEC技术是通过冗余编码生成冗余信息来进行丢包补偿,其抗丢包能力与其所用信道的带宽呈正比;可选地,当接收端出现丢包时,FEC技术可以利用冗余信息进行丢包恢复,冗余信息越多抗丢包能力越强,同时占用带宽越高,然而带宽占用越多会引发网络质量变差从而引发更多丢包。
在本实施例中,提供了一种基于数据传输的数据传输系统,该数据传输系统中可以包括发送端和接收端,以下将以FEC技术进行发送端和接收端之间的音频传输为例,对本发明实施例的方法进行详细说明。
如图3所示,一种数据传输系统流程如下:
301、发送端获取音频数据以及从接收端获取传输状态信息。
302、发送端基于传输状态信息确定压缩系数和冗余系数。
在本实施例中,可以分析即音频带宽占用增加后的网络丢包率状况,即冗余率提升后的网络丢包率状况。
可选地,可以统计丢包率和发送端的发送码率。
在网络带宽没达到上限时,发送码率的提升不会对丢包率有必然影响,而当网络带宽达到上限时,发送码率提升后丢包率会随着提升,当该现象比较稳定时则可判为网络带宽达到上限状态,则可启动本方案进行数据传输。
303、发送端根据压缩系数对音频数据进行时域压缩处理,得到压缩音频。
在本实施例中,可以采用WSOLA来将原始语音信号以长度为L进行分帧,再以帧为单位进行合成。
其中,假设压缩系数为α,为了克服帧合成过程中出现频谱断裂、相位不连续等导致的杂音问题,合成过程可以是在原始信号的τ(Lk)采样点处采样。
其中,采样点τ(Lk)的计算方法如下:
Lk=kL,τ(Lk)=αLk
在该采样点的邻域[-Δmax,Δmax]内移动,其中,邻域[-Δmax,Δmax]可以由技术人员设置。
然后,寻找与分解后的第k帧信号波形最相关的波形,将其确定为合成帧的起始位置,最后通过汉宁窗加窗后进行叠加处理,得到时域压缩或扩张的新语音信号。
由于语音的时域压缩对带宽节省的效果比较明显,所以能有效改善FEC冗余度提升对信道带宽的影响。
304、发送端根据冗余系数对压缩音频进行信道编码,得到传输数据包。
305、发送端向接收端发送传输数据包,以及,接收端从发送端获取传输数据包,传输数据包包括冗余数据和压缩系数。
306、接收端基于传输数据包确定当前时刻的传输状态信息。
307、接收端向发送端发送当前时刻的传输状态信息。
308、接收端根据冗余数据对传输数据包进行信道解码,得到待复原音频。
309、接收端根据压缩系数对待复原音频进行时域扩张处理,得到复原音频。
在本实施例中,假设压缩系数为α,则此时扩张系数可以为1/α,
以上流程可以参考步骤101~105,以及步骤201~205,故在此不做赘述。
由上可知,在本发明实施例中,数据传输系统可以包括发送端和接收端,其中,发送端可以获取音频数据以及从接收端获取传输状态信息,并基于传输状态信息确定压缩系数和冗余系数,再根据压缩系数对音频数据进行时域压缩处理,得到压缩音频,然后根据冗余系数对压缩音频进行信道编码,得到传输数据包,最后向接收端发送传输数据包;其中,接收端可以从发送端获取传输数据包,传输数据包包括冗余数据和压缩系数,再基于传输数据包确定当前时刻的传输状态信息,然后向发送端发送当前时刻的传输状态信息,再根据冗余数据对传输数据包进行信道解码,得到待复原音频,最后根据压缩系数对待复原音频进行时域扩张处理,得到复原音频。
由此,本方案可以在保证音频频率不变的前提下,对音频的时域尺度进行修改,从而在不明显降低音频质量的同时延长或缩短音频持续时间,由于在时域尺度进行修改的过程中能够保证语音的基音频率不被破坏,因此被修改的语音音色和音调都能很好地得到保护。
此外,当检测到冗余率越高而丢包率越大时,本方案先对语音信号源做时域尺度的压缩,从而降低发送码率,然后在接收端解码后再使用与发送端相同的时域尺度修改比率进行时域扩张,进而恢复原有信号,故本方案不仅在信道丢包的情况下保证了音频质量,还可以降低信道的工作压力,实时地平衡了音频质量和信道稳定性,使得信道更加稳定,进一步使得信道传输的流畅度,从而提升数据传输的效率。
为了更好地实施以上方法,本发明实施例还提供一种数据传输装置,该数据传输装置可以集成在电子设备中,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
比如,在本实施例中,将以数据传输装置集成在数据传输为例,对本发明实施例的方法进行详细说明。
例如,如图4所示,该数据传输装置可以包括第一获取单元401、系数单元402、压缩单元403、编码单元404以及第一发送单元405,如下:
(一)第一获取单元401:
第一获取单元401可以用于获取音频数据以及传输状态信息。
(二)系数单元402:
系数单元402可以用于基于传输状态信息确定缩放系数和冗余系数。
在一些实施例中,传输状态信息包括接收数量,故系数单元402可以包括统计子单元、丢包率子单元、冗余系数子单元以及压缩系数子单元,如下:
(1)统计子单元:
统计子单元可以用于对发送的传输数据包进行统计,得到发送码率、发送数量。
(2)丢包率子单元:
丢包率子单元可以用于根据发送数量和接收数量计算丢包率。
(3)冗余系数子单元:
冗余系数子单元可以用于基于丢包率确定冗余系数。
(4)压缩系数子单元:
压缩系数子单元可以用于基于丢包率和发送码率确定压缩系数。
在一些实施例中,压缩系数子单元可以用于:
对丢包率和发送码率进行统计,得到丢包率和发送码率的变化趋势,以及丢包率和发送码率之间的相关性;
当变化趋势为上升趋势,且丢包率和发送码率之间的相关性呈正相关时,根据丢包率和发送码率确定压缩系数。
(三)压缩单元403:
压缩单元403可以用于根据缩放系数对音频数据进行时域压缩处理,得到压缩数据。
在一些实施例中,压缩单元403可以用于:
对音频数据进行基音分析,确定音频数据对应的基音点;
根据基音点对音频数据进行数据采样,得到多个子音频数据;
根据压缩系数从多个子音频数据中筛选出目标子音频数据;
对目标子音频数据进行合成处理,得到压缩数据。
在一些实施例中,压缩单元403可以包括压缩窗口子单元、压缩采样子单元以及压缩子单元,如下:
(1)压缩窗口子单元:
压缩窗口子单元可以用于根据压缩系数确定采样窗口。
(2)压缩采样子单元:
压缩采样子单元可以用于基于采样窗口对音频数据进行数据采样,得到子音频数据。
(3)压缩子单元:
压缩子单元可以用于对子音频数据进行合成处理,得到压缩数据。
在一些实施例中,压缩子单元可以用于:
计算子音频数据之间的波形互相关系数;
根据波形互相关系数确定波形相似的子音频数据;
对波形相似的子音频数据进行波形叠加处理,得到压缩数据。
(四)编码单元404:
编码单元404可以用于根据冗余系数对压缩数据进行信道编码,得到传输数据包。
在一些实施例中,编码单元404可以用于:
对所述冗余系数进行信道编码,得到压缩系数标识符;
根据所述压缩系数标识符对所述压缩数据进行信道编码,得到传输数据包。
(五)第一发送单元405:
第一发送单元405可以用于发送传输数据包。
实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的实施可参见前面的方法实施例,在此不再赘述。
由上可知,本实施例的数据传输装置由第一获取单元获取音频数据以及传输状态信息;由系数单元基于传输状态信息确定缩放系数和冗余系数;由压缩单元根据缩放系数对音频数据进行时域压缩处理,得到压缩数据;由编码单元根据冗余系数对压缩数据进行信道编码,得到传输数据包;由第一发送单元发送传输数据包。
由此,本发明实施例可以提高数据传输的效率。
为了更好地实施以上方法,本发明实施例还提供一种数据传输装置,该数据传输装置可以集成在接收端中,该接收端可以为终端、服务器等设备。
其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
比如,在本实施例中,将以数据传输装置集成在手机中作为接收端为例,对本发明实施例的方法进行详细说明。
例如,如图5所示,该数据传输装置可以包括第二获取单元501、占用单元502、第二发送单元503、解码单元504以及扩张单元505,如下:
(一)第二获取单元501:
第二获取单元501可以用于获取传输数据包和缩放系数。
(二)占用单元502:
占用单元502可以用于基于传输数据包确定当前时刻的传输状态信息。
在一些实施例中,占用单元502可以用于:
对接收的传输数据包进行统计,得到接收数量;
根据发送数量和接收数量计算丢包率;
确定当前时刻的传输状态信息,传输状态信息包括丢包率。
(三)第二发送单元503:
第二发送单元503可以用于发送当前时刻的传输状态信息。
(四)解码单元504:
解码单元504可以用于对传输数据包进行信道解码,得到待复原数据。
(五)扩张单元505:
扩张单元505可以用于根据缩放系数对待复原数据进行时域扩张处理,得到复原数据。
在一些实施例中,扩张单元505可以包括解压系数子单元、解压窗口子单元、解压采样子单元以及复原子单元,如下:
(1)解压系数子单元:
解压系数子单元可以用于根据压缩系数确定对应的解压系数。
(2)解压窗口子单元:
解压窗口子单元可以用于根据解压系数确定采样窗口。
(3)解压采样子单元:
解压采样子单元可以用于基于采样窗口对待复原数据进行数据采样,得到子待复原数据。
(4)复原子单元:
复原子单元可以用于对子待复原数据进行合成处理,得到复原数据。
在一些实施例中,复原子单元可以用于:
计算子待复原数据之间的波形互相关系数;
根据波形互相关系数确定波形相似的子待复原数据;
对波形相似的子待复原数据进行波形叠加处理,得到复原数据。
实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的实施可参见前面的方法实施例,在此不再赘述。
由上可知,本实施例的数据传输装置由第二获取单元获取传输数据包和缩放系数;由占用单元基于传输数据包确定当前时刻的传输状态信息;由第二发送单元发送当前时刻的传输状态信息;由解码单元对传输数据包进行信道解码,得到待复原数据;由扩张单元根据缩放系数对待复原数据进行时域扩张处理,得到复原数据。
由此,本发明实施例可以提升数据传输。
本发明实施例还提供一种电子设备,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑,等等;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,等等。
在一些实施例中,该数据传输装置还可以集成在多个电子设备中,比如,数据传输装置可以集成在多个服务器中,由多个服务器来实现本发明的数据传输方法。在一些实施例中,数据传输服务器和数据传输服务器也可以由一台服务器来实现。
在本实施例中,将以本实施例的电子设备是终端为例进行详细描述,比如,如图6所示,其示出了本发明实施例所涉及的终端的结构示意图,例如:
该终端可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603、输入模块604以及通信模块605等部件。本领域技术人员可以理解,图4中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器601是该终端的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器602内的软件程序和/或模块,以及调用存储在存储器602内的数据,执行终端的各种功能和处理数据,从而对终端进行整体监控。在一些实施例中,处理器601可包括一个或多个处理核心;在一些实施例中,处理器601可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器601中。
存储器602可用于存储软件程序以及模块,处理器601通过运行存储在存储器602的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器602还可以包括存储器控制器,以提供处理器601对存储器602的访问。
终端还包括给各个部件供电的电源603,在一些实施例中,电源603可以通过电源管理系统与处理器601逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该终端还可包括输入模块604,该输入模块604可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该终端还可包括通信模块605,在一些实施例中通信模块605可以包括无线模块,终端可以通过该通信模块605的无线模块进行短距离无线传输,从而为用户提供了无线的宽带互联网访问。比如,该通信模块605可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
尽管未示出,终端还可以包括显示单元等,在此不再赘述。
可选地,在一些实施例中,终端中的处理器601会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器601来运行存储在存储器602中的应用程序,从而实现各种功能,如下:
获取音频数据以及传输状态信息;
基于传输状态信息确定压缩系数和冗余系数;
根据压缩系数对音频数据进行时域压缩处理,得到压缩数据;
根据冗余系数对压缩数据进行信道编码,得到传输数据包;
发送传输数据包。以上各个操作的实施可参见前面的实施例,在此不再赘述。
可选地,在一些实施例中,终端中的处理器601会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器601来运行存储在存储器602中的应用程序,从而实现各种功能,如下:
获取传输数据包和压缩系数;
基于传输数据包确定当前时刻的传输状态信息;
发送当前时刻的传输状态信息;
对传输数据包进行信道解码,得到待复原数据;
根据压缩系数对待复原数据进行时域扩张处理,得到复原数据。
由上可知,本发明实施例可以提高数据传输的效率。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种数据传输方法中的步骤。
例如,在一些实施例中,该指令可以执行如下步骤:
获取音频数据以及传输状态信息;
基于传输状态信息确定压缩系数和冗余系数;
根据压缩系数对音频数据进行时域压缩处理,得到压缩数据;
根据冗余系数对压缩数据进行信道编码,得到传输数据包;
发送传输数据包。
例如,在一些实施例中,该指令可以执行如下步骤:
获取传输数据包和压缩系数;
基于传输数据包确定当前时刻的传输状态信息;
发送当前时刻的传输状态信息;
对传输数据包进行信道解码,得到待复原数据;
根据压缩系数对待复原数据进行时域扩张处理,得到复原数据。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种数据传输方法中的步骤,因此,可以实现本发明实施例所提供的任一种数据传输方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种数据传输方法、装置、终端和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (16)
1.一种数据传输方法,用于发送端,其特征在于,包括:
获取音频数据以及传输状态信息;
基于所述传输状态信息确定压缩系数和冗余系数;
根据所述压缩系数对所述音频数据进行时域压缩处理,得到压缩数据;
根据所述冗余系数对所述压缩数据进行信道编码,得到传输数据包;
发送所述传输数据包。
2.如权利要求1所述的数据传输方法,其特征在于,所述传输状态信息包括接收数量,所述基于所述传输状态信息确定压缩系数和冗余系数,包括:
对发送的传输数据包进行统计,得到发送码率、发送数量;
根据所述发送数量和所述接收数量计算丢包率;
基于所述丢包率确定冗余系数;
基于所述丢包率和所述发送码率确定压缩系数;
所述发送所述传输数据包,包括:
发送所述传输数据包和所述冗余系数。
3.如权利要求2所述的数据传输方法,其特征在于,所述基于所述丢包率和所述发送码率确定压缩系数,包括:
对所述丢包率和所述发送码率进行统计,得到所述丢包率和所述发送码率的变化趋势,以及所述丢包率和所述发送码率之间的相关性;
当所述变化趋势为上升趋势,且所述丢包率和所述发送码率之间的相关性呈正相关时,根据所述丢包率和所述发送码率确定压缩系数。
4.如权利要求1所述的数据传输方法,其特征在于,所述根据所述压缩系数对所述音频数据进行时域压缩处理,得到压缩数据,包括:
根据所述压缩系数确定采样窗口;
基于所述采样窗口对所述音频数据进行数据采样,得到子音频数据;
对所述子音频数据进行合成处理,得到压缩数据。
5.如权利要求4所述的数据传输方法,其特征在于,所述对所述子音频数据进行合成处理,得到压缩数据,包括:
计算子音频数据之间的波形互相关系数;
根据所述波形互相关系数确定波形相似的子音频数据;
对所述波形相似的子音频数据进行波形叠加处理,得到压缩数据。
6.如权利要求1所述的数据传输方法,其特征在于,所述根据所述压缩系数对所述音频数据进行时域压缩处理,得到压缩数据,包括:
对所述音频数据进行基音分析,确定所述音频数据对应的基音点;
根据所述基音点对所述音频数据进行数据采样,得到多个子音频数据;
根据所述压缩系数从所述多个子音频数据中筛选出目标子音频数据;
对所述目标子音频数据进行合成处理,得到压缩数据。
7.如权利要求1所述的数据传输方法,其特征在于,所述根据所述冗余系数对所述压缩数据进行信道编码,得到传输数据包,包括
对所述冗余系数进行信道编码,得到压缩系数标识符;
根据所述压缩系数标识符对所述压缩数据进行信道编码,得到传输数据包。
8.一种数据传输方法,用于接收端,其特征在于,包括:
获取传输数据包和压缩系数;
基于所述传输数据包确定当前时刻的传输状态信息;
发送所述当前时刻的传输状态信息;
对所述传输数据包进行信道解码,得到待复原数据;
根据所述压缩系数对所述待复原数据进行时域扩张处理,得到复原数据。
9.如权利要求8所述的数据传输方法,其特征在于,所述传输数据包还包括发送码率、发送数量,所述基于所述传输数据包确定当前时刻的传输状态信息,包括:
对接收的传输数据包进行统计,得到接收数量;
根据所述发送数量和所述接收数量计算丢包率;
确定当前时刻的传输状态信息,所述传输状态信息包括丢包率。
10.如权利要求8所述的数据传输方法,其特征在于,所述根据所述压缩系数对所述待复原数据进行时域扩张处理,得到复原数据,包括:
根据所述压缩系数确定对应的解压系数;
根据所述解压系数确定采样窗口;
基于所述采样窗口对所述待复原数据进行数据采样,得到子待复原数据;
对所述子待复原数据进行合成处理,得到复原数据。
11.如权利要求10所述的数据传输方法,其特征在于,所述对所述子待复原数据进行合成处理,得到复原数据,包括:
计算所述子待复原数据之间的波形互相关系数;
根据所述波形互相关系数确定波形相似的子待复原数据;
对所述波形相似的子待复原数据进行波形叠加处理,得到复原数据。
12.一种数据传输装置,其特征在于,适用于发送端,包括:
第一获取单元,用于获取音频数据以及传输状态信息;
系数单元,用于基于所述传输状态信息确定缩放系数和冗余系数;
压缩单元,用于根据所述缩放系数对所述音频数据进行时域压缩处理,得到压缩数据;
编码单元,用于根据所述冗余系数对所述压缩数据进行信道编码,得到传输数据包;
第一发送单元,用于发送所述传输数据包。
13.一种数据传输装置,其特征在于,适用于接收端,包括:
第二获取单元,用于获取传输数据包,所述传输数据包包括冗余数据和缩放系数;
占用单元,用于基于所述传输数据包确定当前时刻的传输状态信息;
第二发送单元,用于发送所述当前时刻的传输状态信息;
解码单元,用于根据所述冗余数据对所述传输数据包进行信道解码,得到待复原数据;
扩张单元,用于根据所述缩放系数对所述待复原数据进行时域扩张处理,得到复原数据。
14.一种终端,其特征在于,包括处理器和存储器,所述存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行如权利要求1~10任一项所述的数据传输方法中的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1~10任一项所述的数据传输方法中的步骤。
16.一种数据传输系统,所述数据传输系统包括发送端和接收端,其中:
所述发送端用于获取音频数据以及获取接收端发送的传输状态信息,基于所述传输状态信息确定缩放系数和冗余系数,根据所述缩放系数对所述音频数据进行时域压缩处理,得到压缩数据,根据所述冗余系数对所述压缩数据进行信道编码,得到传输数据包,发送所述传输数据包至接收端。
所述接收端用于获取发送端发送的传输数据包,所述传输数据包包括冗余数据和缩放系数,基于所述传输数据包确定当前时刻的传输状态信息,发送所述当前时刻的传输状态信息到发送端,对所述传输数据包进行信道解码,得到待复原数据,根据所述缩放系数对所述待复原数据进行时域扩张处理,得到复原数据。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010085293.3A CN111314335B (zh) | 2020-02-10 | 2020-02-10 | 数据传输方法、装置、终端、存储介质和系统 |
PCT/CN2020/127444 WO2021159782A1 (zh) | 2020-02-10 | 2020-11-09 | 数据传输方法、装置、终端、存储介质和系统 |
US17/675,400 US20220172731A1 (en) | 2020-02-10 | 2022-02-18 | Data transmission method and apparatus, terminal, storage medium, and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010085293.3A CN111314335B (zh) | 2020-02-10 | 2020-02-10 | 数据传输方法、装置、终端、存储介质和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111314335A true CN111314335A (zh) | 2020-06-19 |
CN111314335B CN111314335B (zh) | 2021-10-08 |
Family
ID=71146960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010085293.3A Active CN111314335B (zh) | 2020-02-10 | 2020-02-10 | 数据传输方法、装置、终端、存储介质和系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220172731A1 (zh) |
CN (1) | CN111314335B (zh) |
WO (1) | WO2021159782A1 (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111818231A (zh) * | 2020-07-06 | 2020-10-23 | 全时云商务服务股份有限公司 | 丢包补偿方法、装置、数据报文传输系统和存储介质 |
CN111866026A (zh) * | 2020-08-10 | 2020-10-30 | 四川湖山电器股份有限公司 | 一种用于语音会议的语音数据丢包处理系统及处理方法 |
WO2021159782A1 (zh) * | 2020-02-10 | 2021-08-19 | 腾讯科技(深圳)有限公司 | 数据传输方法、装置、终端、存储介质和系统 |
CN113660063A (zh) * | 2021-08-18 | 2021-11-16 | 杭州网易智企科技有限公司 | 空间音频数据处理方法、装置、存储介质及电子设备 |
CN114640658A (zh) * | 2020-11-30 | 2022-06-17 | 阿里巴巴集团控股有限公司 | 媒体数据及内容数据传输方法、装置和系统 |
CN115499318A (zh) * | 2022-11-18 | 2022-12-20 | 湖南致力工程科技有限公司 | 一种隧道监测数据通信管控方法、系统及终端设备 |
CN115834555A (zh) * | 2023-02-16 | 2023-03-21 | 广州市保伦电子有限公司 | 一种基于模糊控制的音频流量控制和传输方法 |
CN116708793A (zh) * | 2023-08-09 | 2023-09-05 | 腾讯科技(深圳)有限公司 | 视频的传输方法、装置、设备及存储介质 |
CN117202259A (zh) * | 2023-11-07 | 2023-12-08 | 深圳市丰禾原电子科技有限公司 | 一种蓝牙耳机的数据处理方法和系统 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6151636A (en) * | 1997-12-12 | 2000-11-21 | 3Com Corporation | Data and media communication through a lossy channel using signal conversion |
CN1728827A (zh) * | 2004-07-26 | 2006-02-01 | 皇家飞利浦电子股份有限公司 | 一种视频流分级压缩方法及装置 |
CN101119323A (zh) * | 2007-09-21 | 2008-02-06 | 腾讯科技(深圳)有限公司 | 解决网络抖动的方法及装置 |
CN101252425A (zh) * | 2008-04-09 | 2008-08-27 | 杭州华三通信技术有限公司 | 一种自动适应网络的丢包纠错方法和系统 |
CN101478774A (zh) * | 2009-01-20 | 2009-07-08 | 中国科学院软件研究所 | 语音采集和传输的无线传感器网络准入控制方法及其系统 |
CN101714908A (zh) * | 2008-10-07 | 2010-05-26 | 中兴通讯股份有限公司 | 信道冗余发送增强多媒体终端抗丢包能力的系统和方法 |
CN102572427A (zh) * | 2011-12-24 | 2012-07-11 | 辽宁师范大学 | 基于压缩感知的多描述图像编码和解码方法 |
CN103096028A (zh) * | 2011-11-02 | 2013-05-08 | 中国移动通信集团公司 | 一种无线视频监控方法和设备 |
CN103957389A (zh) * | 2014-05-13 | 2014-07-30 | 重庆大学 | 基于压缩感知的3g视频传输方法及系统 |
CN105430383A (zh) * | 2015-12-07 | 2016-03-23 | 广东电网有限责任公司珠海供电局 | 一种视频流媒体业务的体验质量评估方法 |
CN106469559A (zh) * | 2015-08-19 | 2017-03-01 | 中兴通讯股份有限公司 | 语音数据的调整方法及装置 |
CN106937134A (zh) * | 2015-12-31 | 2017-07-07 | 深圳市潮流网络技术有限公司 | 一种数据传输的编码方法、编码发送装置及系统 |
CN107181968A (zh) * | 2016-03-11 | 2017-09-19 | 腾讯科技(深圳)有限公司 | 一种视频数据的冗余控制方法和装置 |
CN107734300A (zh) * | 2017-10-19 | 2018-02-23 | 歌尔科技有限公司 | 图像传输方法及设备 |
CN108093257A (zh) * | 2017-12-05 | 2018-05-29 | 北京小米移动软件有限公司 | 视频编码的码率控制方法、电子设备及存储介质 |
CN108401128A (zh) * | 2018-03-20 | 2018-08-14 | 宁波菊思网络科技有限公司 | 一种视频通话中的拥塞控制方法 |
CN109524015A (zh) * | 2017-09-18 | 2019-03-26 | 杭州海康威视数字技术股份有限公司 | 音频编码方法、解码方法、装置及音频编解码系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6574218B1 (en) * | 1999-05-25 | 2003-06-03 | 3Com Corporation | Method and system for spatially disjoint joint source and channel coding for high-quality real-time multimedia streaming over connection-less networks via circuit-switched interface links |
CN101505202B (zh) * | 2009-03-16 | 2011-09-14 | 华中科技大学 | 一种流媒体传输自适应纠错方法 |
CN104796735B (zh) * | 2014-01-17 | 2018-06-15 | 中国移动通信集团公司 | 一种视频数据传输方法及装置 |
CN109218083B (zh) * | 2018-08-27 | 2021-08-13 | 广州猎游信息科技有限公司 | 一种语音数据传输方法及装置 |
CN111314335B (zh) * | 2020-02-10 | 2021-10-08 | 腾讯科技(深圳)有限公司 | 数据传输方法、装置、终端、存储介质和系统 |
-
2020
- 2020-02-10 CN CN202010085293.3A patent/CN111314335B/zh active Active
- 2020-11-09 WO PCT/CN2020/127444 patent/WO2021159782A1/zh active Application Filing
-
2022
- 2022-02-18 US US17/675,400 patent/US20220172731A1/en active Pending
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6151636A (en) * | 1997-12-12 | 2000-11-21 | 3Com Corporation | Data and media communication through a lossy channel using signal conversion |
CN1728827A (zh) * | 2004-07-26 | 2006-02-01 | 皇家飞利浦电子股份有限公司 | 一种视频流分级压缩方法及装置 |
CN101119323A (zh) * | 2007-09-21 | 2008-02-06 | 腾讯科技(深圳)有限公司 | 解决网络抖动的方法及装置 |
CN101252425A (zh) * | 2008-04-09 | 2008-08-27 | 杭州华三通信技术有限公司 | 一种自动适应网络的丢包纠错方法和系统 |
CN101714908A (zh) * | 2008-10-07 | 2010-05-26 | 中兴通讯股份有限公司 | 信道冗余发送增强多媒体终端抗丢包能力的系统和方法 |
CN101478774A (zh) * | 2009-01-20 | 2009-07-08 | 中国科学院软件研究所 | 语音采集和传输的无线传感器网络准入控制方法及其系统 |
CN103096028A (zh) * | 2011-11-02 | 2013-05-08 | 中国移动通信集团公司 | 一种无线视频监控方法和设备 |
CN102572427A (zh) * | 2011-12-24 | 2012-07-11 | 辽宁师范大学 | 基于压缩感知的多描述图像编码和解码方法 |
CN103957389A (zh) * | 2014-05-13 | 2014-07-30 | 重庆大学 | 基于压缩感知的3g视频传输方法及系统 |
CN106469559A (zh) * | 2015-08-19 | 2017-03-01 | 中兴通讯股份有限公司 | 语音数据的调整方法及装置 |
CN105430383A (zh) * | 2015-12-07 | 2016-03-23 | 广东电网有限责任公司珠海供电局 | 一种视频流媒体业务的体验质量评估方法 |
CN106937134A (zh) * | 2015-12-31 | 2017-07-07 | 深圳市潮流网络技术有限公司 | 一种数据传输的编码方法、编码发送装置及系统 |
CN107181968A (zh) * | 2016-03-11 | 2017-09-19 | 腾讯科技(深圳)有限公司 | 一种视频数据的冗余控制方法和装置 |
CN109524015A (zh) * | 2017-09-18 | 2019-03-26 | 杭州海康威视数字技术股份有限公司 | 音频编码方法、解码方法、装置及音频编解码系统 |
CN107734300A (zh) * | 2017-10-19 | 2018-02-23 | 歌尔科技有限公司 | 图像传输方法及设备 |
CN108093257A (zh) * | 2017-12-05 | 2018-05-29 | 北京小米移动软件有限公司 | 视频编码的码率控制方法、电子设备及存储介质 |
CN108401128A (zh) * | 2018-03-20 | 2018-08-14 | 宁波菊思网络科技有限公司 | 一种视频通话中的拥塞控制方法 |
Non-Patent Citations (1)
Title |
---|
赵敏丞等: ""TDMA无线网络中视频动态传输方法"", 《科技视界》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021159782A1 (zh) * | 2020-02-10 | 2021-08-19 | 腾讯科技(深圳)有限公司 | 数据传输方法、装置、终端、存储介质和系统 |
CN111818231A (zh) * | 2020-07-06 | 2020-10-23 | 全时云商务服务股份有限公司 | 丢包补偿方法、装置、数据报文传输系统和存储介质 |
CN111866026A (zh) * | 2020-08-10 | 2020-10-30 | 四川湖山电器股份有限公司 | 一种用于语音会议的语音数据丢包处理系统及处理方法 |
CN111866026B (zh) * | 2020-08-10 | 2022-04-12 | 四川湖山电器股份有限公司 | 一种用于语音会议的语音数据丢包处理系统及处理方法 |
CN114640658A (zh) * | 2020-11-30 | 2022-06-17 | 阿里巴巴集团控股有限公司 | 媒体数据及内容数据传输方法、装置和系统 |
CN113660063B (zh) * | 2021-08-18 | 2023-12-08 | 杭州网易智企科技有限公司 | 空间音频数据处理方法、装置、存储介质及电子设备 |
CN113660063A (zh) * | 2021-08-18 | 2021-11-16 | 杭州网易智企科技有限公司 | 空间音频数据处理方法、装置、存储介质及电子设备 |
CN115499318A (zh) * | 2022-11-18 | 2022-12-20 | 湖南致力工程科技有限公司 | 一种隧道监测数据通信管控方法、系统及终端设备 |
CN115834555B (zh) * | 2023-02-16 | 2023-08-18 | 广东保伦电子股份有限公司 | 一种基于模糊控制的音频流量控制和传输方法 |
CN115834555A (zh) * | 2023-02-16 | 2023-03-21 | 广州市保伦电子有限公司 | 一种基于模糊控制的音频流量控制和传输方法 |
CN116708793A (zh) * | 2023-08-09 | 2023-09-05 | 腾讯科技(深圳)有限公司 | 视频的传输方法、装置、设备及存储介质 |
CN116708793B (zh) * | 2023-08-09 | 2024-01-30 | 腾讯科技(深圳)有限公司 | 视频的传输方法、装置、设备及存储介质 |
CN117202259A (zh) * | 2023-11-07 | 2023-12-08 | 深圳市丰禾原电子科技有限公司 | 一种蓝牙耳机的数据处理方法和系统 |
CN117202259B (zh) * | 2023-11-07 | 2024-02-06 | 深圳市丰禾原电子科技有限公司 | 一种蓝牙耳机的数据处理方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2021159782A1 (zh) | 2021-08-19 |
CN111314335B (zh) | 2021-10-08 |
US20220172731A1 (en) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111314335B (zh) | 数据传输方法、装置、终端、存储介质和系统 | |
US11227612B2 (en) | Audio frame loss and recovery with redundant frames | |
CN1323532C (zh) | 错误隐蔽装置和方法 | |
EP1362341B1 (en) | Method and apparatus for encoding and decoding pause information | |
KR101699138B1 (ko) | 리던던트 프레임 코딩 및 디코딩을 위한 디바이스들 | |
CN111464262B (zh) | 数据处理方法、装置、介质及电子设备 | |
CN106664161A (zh) | 基于冗余的包传输错误恢复的系统和方法 | |
US9916837B2 (en) | Methods and apparatuses for transmitting and receiving audio signals | |
KR101839571B1 (ko) | 음성 주파수 코드 스트림 디코딩 방법 및 디바이스 | |
RU2628197C2 (ru) | Маскирование ошибок в кадрах | |
WO2023197809A1 (zh) | 一种高频音频信号的编解码方法和相关装置 | |
JP2001344905A (ja) | データ再生装置、その方法及び記録媒体 | |
CN113169904A (zh) | 处理用于针对流式网络协议的时间戳不准确 | |
KR100792209B1 (ko) | 디지털 오디오 패킷 손실을 복구하기 위한 방법 및 장치 | |
WO2015100999A1 (zh) | 语音频码流的解码方法及装置 | |
WO2023236961A1 (zh) | 音频信号恢复方法、装置、电子设备及介质 | |
WO2023202250A1 (zh) | 音频传输方法、装置、终端、存储介质及程序产品 | |
US7970603B2 (en) | Method and apparatus for managing speech decoders in a communication device | |
CN112769524B (zh) | 语音传输方法、装置、计算机设备和存储介质 | |
JP2003218932A (ja) | エラー隠蔽装置及び方法 | |
JP3133677B2 (ja) | 復号処理装置およびその復号処理方法 | |
CN113613058A (zh) | 一种网络视频流本地存储方法、设备及介质 | |
CN113936669A (zh) | 数据传输方法、系统、装置、计算机可读存储介质及设备 | |
CN117640015B (zh) | 一种语音编码、解码方法、装置、电子设备及存储介质 | |
CN114079535B (zh) | 转码方法、装置、介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40024141 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |