CN108924600A - 直播数据的发送接收方法、装置及电子设备 - Google Patents
直播数据的发送接收方法、装置及电子设备 Download PDFInfo
- Publication number
- CN108924600A CN108924600A CN201810687924.1A CN201810687924A CN108924600A CN 108924600 A CN108924600 A CN 108924600A CN 201810687924 A CN201810687924 A CN 201810687924A CN 108924600 A CN108924600 A CN 108924600A
- Authority
- CN
- China
- Prior art keywords
- live
- data
- service message
- video
- nal unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000001360 synchronised effect Effects 0.000 claims abstract description 38
- 238000005538 encapsulation Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 10
- 230000000153 supplemental effect Effects 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 abstract description 29
- 238000012546 transfer Methods 0.000 abstract description 10
- 210000003128 head Anatomy 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 239000003550 marker Substances 0.000 description 7
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 208000003351 Melanosis Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
Abstract
本申请提出一种直播数据的发送、接收方法以及发送、接收装置，其中，发送、接收方法包括：通过发送端在直播过程中采集直播信息，获取在直播过程中同步生成的业务消息，并将直播信息与同步生成的业务消息，封装至同一数据流，进而向接收端发送数据流。接收端将从发送端接收数据流，并对数据流进行解析，得到直播信息以及业务消息，进而根据直播信息进行展示；以及，根据业务消息执行业务操作。该方法通过将直播信息和业务消息封装至同一视频流中，使得业务消息与直播信息同步传输，从而解决了现有技术中视频与业务逻辑不同步的技术问题。
Description
技术领域
本申请涉及计算机算法领域，尤其涉及一种直播数据的发送接收方法、装置及电子设备。
背景技术
在直播应用的开发过程中，对于直播视频与业务消息的传输是没有任何关联的，是通过不同的通道分开进行的。视频是通过视频流的通道进行传输，而用于客户端执行业务逻辑的业务消息则是通过其他通道进行传输。
现有技术中，不同通道传输过程中，延迟情况不同，因此，当客户端执行某个业务逻辑时，会出现与视频流不同步的情况。
发明内容
本申请提出一种直播数据的发送、接收方法，发送、接收装置和电子设备，用于解决相关技术中客户端执行的业务逻辑与视频流不同步的技术问题。
本申请一方面实施例提出了一种直播数据的发送方法，包括：
在直播过程中采集直播信息；
获取在所述直播过程中同步生成的业务消息；
将所述直播信息与同步生成的业务消息，封装至同一数据流；
向接收端发送所述数据流。
作为本申请实施例的第一种可能的实现方式，所述直播信息为直播图像；所述数据流为视频数据流，所述视频数据流包括视频编码层；
所述将所述直播信息与同步生成的业务消息，封装至同一数据流，包括：
将所述业务消息编码后，封装至所述视频编码层中第一网络抽象层NAL单元；
将所述直播图像编码后，封装至所述视频编码层中第二NAL单元；
其中，所述第一NAL单元与所述第二NAL单元相邻，所述第一NAL单元与所述第二NAL单元具有不同的单元类型。
作为本申请实施例的第二种可能的实现方式，所述将所述业务消息编码后，封装至所述视频编码层中第一网络抽象层NAL单元，包括：
在所述第一NAL单元的NAL头中写入第一单元类型数据；所述第一单元类型数据用于指示附加增强信息类型；
在所述第一NAL单元的原始字节序列层RBSP中写入编码后的业务消息。
作为本申请实施例的第三种可能的实现方式，所述将所述直播图像编码后，封装至所述视频编码层中第二NAL单元，包括：
在所述第二NAL单元的NAL头中写入第二单元类型数据；所述第二单元类型数据用于指示图像信息类型；
在所述第二NAL单元的RBSP中写入编码后的直播图像数据。
作为本申请实施例的第四种可能的实现方式，所述在所述第二NAL单元的RBSP中写入编码后的直播图像数据，包括：
获取一帧直播图像对应的多组编码后的直播图像数据；
将每一组编码后的直播图像数据，写入对应的第二NAL单元的RBSP中。
本申请实施例的直播数据的发送方法，通过在直播过程中采集直播信息；获取在直播过程中同步生成的业务消息；将直播信息与同步生成的业务消息，封装至同一数据流；向接收端发送数据流。该方法通过将直播信息和业务消息封装至同一视频流中，使得业务消息与直播信息同步传输，从而解决了现有技术中视频与业务逻辑不同步的技术问题。
本申请又一方面实施例提出了一种直播数据的接收方法，包括：
从发送端接收数据流；
对所述数据流进行解析，得到直播信息以及业务消息；
根据所述直播信息进行展示；
以及，根据所述业务消息执行业务操作。
作为本申请实施例的第一种可能的实现方式，所述直播信息为直播图像，所述数据流为视频数据流；
所述对所述数据流进行解析，得到直播信息以及业务消息，包括：
从所述视频数据流中，提取视频编码层；
对所述视频编码层中第一网络抽象层NAL单元进行解析，得到所述业务消息；
对所述视频编码层中第二NAL单元进行解析，得到需要与所述业务消息同步处理的直播图像；
其中，所述第一NAL单元与所述第二NAL单元相邻，所述第一NAL单元与所述第二NAL单元具有不同的单元类型。
作为本申请实施例的第二种可能的实现方式，所述第一NAL单元的NAL头中写入有第一单元类型数据；所述第一单元类型数据用于指示附加增强信息类型；
所述对视频编码层中第一NAL单元进行解析，得到所述业务消息，包括：
对所述第一NAL单元中的原始字节序列层RBSP解析，得到所述业务消息。
作为本申请实施例的第三种可能的实现方式，所述第二NAL单元的NAL头中写入有第二单元类型数据；所述第二单元类型数据用于指示图像信息类型；
所述对视频编码层中第二NAL单元进行解析，得到需要与所述业务消息同步处理的直播图像，包括：
解析对应同一帧直播图像的各第二NAL单元中的RBSP，得到所述直播图像。
本申请实施例的直播数据的接收方法，通过从发送端接收数据流；对数据流进行解析，得到直播信息以及业务消息；根据直播信息进行展示；以及，根据业务消息执行业务操作。该方法通过将直播信息和业务消息封装至同一视频流中，使得业务消息与直播信息同步传输，从而解决了现有技术中视频与业务逻辑不同步的技术问题。
本申请又一方面实施例提出了一种直播数据的发送装置，包括：
采集模块，用于在直播过程中采集直播信息；
获取模块，用于获取在所述直播过程中同步生成的业务消息；
封装模块，用于将所述直播信息与同步生成的业务消息，封装至同一数据流；
发送模块，用于向接收端发送所述数据流。
作为本申请实施例的第一种可能的实现方式，所述发送装置还包括：
第一封装单元，将所述业务消息编码后，封装至所述视频编码层中第一网络抽象层NAL单元；
第二封装单元，将所述直播图像编码后，封装至所述视频编码层中第二NAL单元；
其中，所述第一NAL单元与所述第二NAL单元相邻，所述第一NAL单元与所述第二NAL单元具有不同的单元类型。
作为本申请实施例的第二种可能的实现方式，第一封装单元，还用于：
在所述第一NAL单元的NAL头中写入第一单元类型数据；所述第一单元类型数据用于指示附加增强信息类型；
在所述第一NAL单元的原始字节序列层RBSP中写入编码后的业务消息。
作为本申请实施例的第三种可能的实现方式，第二封装单元，还用于：
在所述第二NAL单元的NAL头中写入第二单元类型数据；所述第二单元类型数据用于指示图像信息类型；
在所述第二NAL单元的RBSP中写入编码后的直播图像数据。
作为本申请实施例的第四种可能的实现方式，所述发送装置还包括：
第一获取单元，用于获取一帧直播图像对应的多组编码后的直播图像数据；
写入模块，用于将每一组编码后的直播图像数据，写入对应的第二NAL单元的RBSP中。
本申请实施例的直播数据的发送装置，通过在直播过程中采集直播信息；获取在直播过程中同步生成的业务消息；将直播信息与同步生成的业务消息，封装至同一数据流；向接收端发送数据流。该方法通过将直播信息和业务消息封装至同一视频流中，使得业务消息与直播信息同步传输，从而解决了现有技术中视频与业务逻辑不同步的技术问题。
本申请又一方面实施例提出了一种直播数据的接收装置，包括：
接收模块，用于从发送端接收数据流；
解析模块，用于对所述数据流进行解析，得到直播信息以及业务消息；
处理模块，用于根据所述直播信息进行展示；以及，根据所述业务消息执行业务操作。
作为本申请实施例的第一种可能的实现方式，所述接收装置，还包括：
所述对所述数据流进行解析，得到直播信息以及业务消息，包括：
提取模块，用于从所述视频数据流中，提取视频编码层；
第一解析单元，用于对所述视频编码层中第一网络抽象层NAL单元进行解析，得到所述业务消息；
第二解析单元，对所述视频编码层中第二NAL单元进行解析，得到需要与所述业务消息同步处理的直播图像；
其中，所述第一NAL单元与所述第二NAL单元相邻，所述第一NAL单元与所述第二NAL单元具有不同的单元类型。
作为本申请实施例的第二种可能的实现方式，第一解析单元，还用于：
对所述第一NAL单元中的原始字节序列层RBSP解析，得到所述业务消息。
作为本申请实施例的第三种可能的实现方式，第二解析单元，还用于：
解析对应同一帧直播图像的各第二NAL单元中的RBSP，得到所述直播图像。
本申请实施例的直播数据的接收装置，通过从发送端接收数据流；对数据流进行解析，得到直播信息以及业务消息；根据直播信息进行展示；以及，根据业务消息执行业务操作。该方法通过将直播信息和业务消息均封装至同一视频流中，使得业务消息与直播信息同步传输，从而解决了现有技术中视频与业务逻辑不同步的技术问题。
本申请又一方面实施例提出了一种电子设备，所述电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，执行如本申请前述实施例提出的直播数据的发送以及接收方法。
本申请又一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请前述实施例提出的直播数据的发送以及接收方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为现有技术中视频流的传输流程示意图；
图2为现有技术中业务消息的传输流程示意图；
图3本申请实施例所提供的一种直播数据的发送方法的流程示意图；
图4本申请实施例所提供的一种直播数据的接收方法的流程示意图；
图5本申请实施例所提供的一种直播数据的传输方法的流程示意图；
图6本申请实施例所提供的一种直播数据的发送装置的结构示意图；
图7本申请实施例所提供的另一种直播数据的发送装置的结构示意图；
图8本申请实施例所提供的一种直播数据的接收装置的结构示意图；以及
图9本申请实施例所提供的另一种直播数据的接收装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
现有技术中，在直播应用的开发过程中，一般是以即时通讯(Instant Messaging)的方式把主播端消息传递到观众端的，但因为消息分发通道和直播通道是分开的，因此消息与直播音视频数据的同步性就会出现很多问题。
现有的技术方案是将视频与业务逻辑两部分单独控制，参见图1，直播开始后，在推流端通过摄像头采集数据并做处理后进行编码，再传输至播放端，在播放端接收数据后经过解码，从而生成图像。参见图2，业务逻辑层则通过即时通讯的方式进行通讯，在直播开始后，在推流端创建业务逻辑消息，并将业务逻辑消息发送至播放端，在播放端接收到业务逻辑消息后，进行解析，并做进一步的处理。
参见图1、图2，视频数据传输与业务逻辑消息的传输，是两个传输过程，并且没有任何的关联。由于播放器在视频解码方面会存在视频丢帧、追帧、CDN延迟情况，因此在对某个业务逻辑消息传输时，可能会出现视频流与界面展示不同步的情况。另外一种情况下，业务逻辑传输存在较大延迟时，也会出现视频流与界面展示不同步的情况。
本申请主要针对上述现有技术中，视频数据传输与业务逻辑消息的传输没有任何关联，并且在传输的过程中会出现数据丢失的技术问题，提出了一种直播数据的发送、接收方法。
在具体描述本实施例之前，为了便于理解，首先对常用的关键术语进行介绍和解释：
视频流：视频流是指视频数据的传输，例如，它能够被作为一个稳定的和连续的流通过网络处理。
编码：所谓视频编码方式就是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式。
解码：解码是一种用特定方法，把数码还原成它所代表的内容或将电脉冲信号、光信号、无线电波等转换成它所代表的信息、数据等的过程。解码是接收端将接受到的符号或代码还原为信息的过程，与编码过程相对应。
下面参考附图描述本申请实施例的直播数据的发送方法和装置。
图3为本申请实施例所提供的一种直播数据的发送方法的流程示意图。
如图3所示，该直播数据的发送方法包括以下步骤：
步骤101，在直播过程中采集直播信息。
其中，直播消息可以是直播图像、直播字幕以及直播音频等。
具体地，在直播过程中采集直播消息，是通过采集设备获取原始的数据，并将其输出至下一环节。
图像的采集过程主要由摄像头、屏幕录制等方式拍摄成YUV编码的原始数据，然后经过编码压缩成H.264等格式的数据分发出去。
音频的采集过程主要通过采集设备将环境中的模拟信号采集成PCM编码的原始数据，然后编码压缩成MP3等格式的数据分发出去。
步骤102，获取在直播过程中同步生成的业务消息。
本实施例中的获取在直播过程中同步生成的业务消息，其中，业务消息主要是指在直播过程中，业务逻辑层上传送的消息，可以包括在直播过程中服务器给客户端下发的指令。
需要说明的是，业务逻辑层是实现业务功能的核心逻辑层，是对直播进行控制的业务逻辑形成的逻辑层。
步骤103，将直播信息与同步生成的业务消息，封装至同一数据流。
本实施例中，数据流为视频数据流，视频数据流又包括视频编码层(VCL，VideoCoding Layer)。VCL数据即编码处理的输出，它表示被压缩编码后的视频数据序列。在VCL数据传输或存储之前，这些编码的VCL数据先被映射或封装进网络抽象层(NAL,NetworkAbstract Layer)单元。每个NAL单元包括：一组对应于视频编码数据的NAL头信息和一个原始字节序列负荷(RBSP,Raw Byte Sequence Payload)。
首先对直播信息与同步生成的业务消息进行编码，并将编码后的业务消息，封装至视频编码层中的第一网络抽象层单元，将编码后的直播图像，封装至视频编码层中的第二NAL单元。其中，第一NAL单元与第二NAL单元相邻，并且第一NAL单元与第二NAL单元具有不同的单元类型。
具体地，在第一NAL单元的NAL头中写入第一单元类型数据，其中，第一单元类型数据用于指示附加增强信息(SEI,Supplemental Enhancement Information)类型。在第一NAL单元的原始字节序列层RBSP中写入编码后的业务消息。RBSP的基本结构是在原始编码数据的后面添加了结尾比特，一个bit“1”,若干比特“0”,以便字节对齐。
可选地，在第二NAL单元的NAL头中写入第二单元类型数据，其中，第二单元类型数据用于指示图像信息类型。并在第二NAL单元的RBSP中写入编码后的直播图像数据。进一步的，通过获取一帧直播图像对应的多组编码后的直播图像数据，进而将每一组编码后的直播图像数据，写入对应的第二NAL单元的RBSP中。
步骤104，向接收端发送数据流。
本实施例中，通过网络传输协议向接收端发送数据流，以使接收端接收数据流进行进一步的处理。
本申请实施例的直播数据的发送方法，通过在直播过程中采集直播信息；获取在直播过程中同步生成的业务消息；将直播信息与同步生成的业务消息，封装至同一数据流；向接收端发送数据流。该方法通过将直播信息和业务消息均封装至同一视频流中，使得业务消息与直播信息同步传输，从而解决了现有技术中视频与业务逻辑不同步的技术问题。
本申请实施例通过直播技术的发送方法，将直播信息与同步生成的业务消息封装至同一数据流，并发送至接收端，当接收端接收到数据流后，需要通过直播数据的接收方法对数据流进行处理，为了清楚说明如何在接收端对数据流进行处理，本实施例提供了一种直播数据的接收方法，图4为本申请实施例所提供的一种直播数据的接收方法的流程示意图。
如图4所示，该直播数据的接收方法可以包括以下步骤：
步骤201，从发送端接收数据流。
其中，数据流为视频数据流。
本实施例中，发送端将数据流发送至接收端后，接收端接收数据流，并对数据流做进一步的解析等操作。
步骤202，对数据流进行解析，得到直播信息以及业务消息。
本实施例中，得到的直播信息为直播图像。
首先，从接收的视频数据流中，提取视频编码层，再对视频编码层中第一网络抽象层NAL单元进行解析，得到业务消息。同时对视频编码层中第二NAL单元进行解析，得到需要与业务消息同步处理的直播图像。其中，第一NAL单元与第二NAL单元相邻，第一NAL单元与第二NAL单元具有不同的单元类型。
进一步的，第一NAL单元的NAL头中写入有第一单元类型数据，其中第一单元类型数据用于指示附加增强信息类型。对视频编码层中第一NAL单元进行解析，主要是对第一NAL单元中的原始字节序列层RBSP解析，进而得到业务消息。
同样地，第二NAL单元的NAL头中写入有第二单元类型数据，其中第二单元类型数据用于指示图像信息类型。对视频编码层中第二NAL单元进行解析，是解析对应同一帧直播图像的各第二NAL单元中的RBSP，进而得到需要与业务消息同步处理的直播图像。
步骤203，根据直播信息进行展示。
具体地，根据解析得到的直播图像，在接收端进行展示，以供用户观看。
步骤204，根据业务消息执行业务操作。
具体地，根据解析得到的业务消息，执行业务操作，例如，直播页面上的发送弹幕、刷礼物等操作。
本申请实施例的直播数据的接收方法，通过从发送端接收数据流；对数据流进行解析，得到直播信息以及业务消息；根据直播信息进行展示；以及，根据业务消息执行业务操作。该方法通过将直播信息和业务消息均封装至同一视频流中，使得业务消息与直播信息同步传输，从而解决了现有技术中视频与业务逻辑不同步的技术问题。
为了实现上述实施例，本申请了提出另一中直播数据的传输方法，如图5为本申请实施例所提供的一种直播数据的传输方法的流程示意图。
如图5所示，该直播数据的传输方法可以包括以下步骤：
步骤301，直播开始。
步骤302，发送端通过摄像头采集数据并进行处理。
其中，采集到的数据包括直播信息与其同步生成的业务消息。
具体地，在直播开始后，通过摄像头采集原始视频数据并进行处理。当视频或者音频完成采集之后得到原始数据，为了增强一些现场效果或者加上一些额外的效果，一般会在将其编码压缩前进行处理，比如打上时间戳或者公司Logo的水印，祛斑美颜和声音混淆等处理。
其中，图像的采集过程主要由摄像头、屏幕录制等方式拍摄成YUV编码的原始数据，然后经过编码压缩成H.264等格式的数据分发出去。
音频的采集过程主要通过采集设备将环境中的模拟信号采集成PCM编码的原始数据，然后编码压缩成MP3等格式的数据分发出去。
步骤303，发送端对采集到的数据进行编码。
本实施例中，编码的核心思想就是去除冗余信息，其中冗余信息包括空间冗余、时间冗余、编码冗余、视觉冗余以及知识冗余。对采集到的数据进行编码主要是对空间冗余和时间冗余的压缩，以及编码压缩和视觉压缩。
步骤304，在发送端对数据流添加指定标记。
针对现有技术中，视频与业务消息不同步的技术问题，本申请实施例中，在视频数据的关键帧中添加最大长度为256的标记位，标记位数据可动态改变，发送端在业务消息指令的触发下，添加对应的标记位，再对其进行编码。
其中，添加标记位的位置在H.264/H.265编码中的SEI(附加增强信息)添加信息。因为在传输过程中SEI并不是解码过程的必须项，而是集成在视频码流中，意味着视频编码器在输出视频码流的时候，可以不提供SEI信息。在视频传输过程、解封装、解码环节，都可能因为某种原因丢弃SEI。在视频内容的传输过程、生成端，都可以插入SEI信息。插入的信息，和其他视频内容一起经过传输链路到达了接收端。
步骤305，发送端将编码后的数据传输至接收端。
步骤306，接收端从发送端接收数据。
本实施例中，发送端将数据流发送至接收端后，接收端接收数据，并对数据做进一步的解析等操作。
步骤307，接收端对数据进行解码。
由于从发送端接收的数据是编码后的，因此要对数据进行解码，首先对数据流进行处理，再进行逆变换，最后通过动态补偿和去方块滤波，从而实现对接收到的数据进行解码。
步骤308，接收端解析指定标记。
由于接收端在网络不佳的状况下，播放器会执行丢帧策略。为了避免这种情况的发生，本实施例中采用了修改播放器的策略，废弃掉播放器的丢帧策略，改为对每一帧都进行解析，当数据缓存过多时，采用快速解析关键帧的策略，进而解决视频与业务消息不同步的问题。
步骤309，在接收端直播图像成像并对业务消息进行逻辑处理。
具体地，根据解析得到的直播图像，在接收端进行成像，或者根据解析得到的业务消息，对业务消息进行逻辑处理，保证了视频与业务消息同步进行。
本申请实施例的直播数据传输方法，通过发送端在直播过程中采集数据，并对数据进行编码，添加指定标记位，将编码后的数据传输至接收端，接收端接收到数据后，对数据进行解码，解析指定标记，进而根据解析的数据成像并进行逻辑处理。该方法通过在视频流中添加标记位的方式，并且在视频缓存过大时，快速解析堆积的关键帧，从而解析出需要的标记位，进而解决了视频与业务逻辑不同步的技术问题。
为了实现上述实施例，本申请还提出一种直播数据的发送装置。
图6为本申请实施例提供的一种直播数据的发送装置的结构示意图。
如图6所示，该直播数据的发送装置包括：采集模块110、获取模块120、封装模块130、发送模块140。
采集模块110，用于在直播过程中采集直播信息。
获取模块120，用于获取在直播过程中同步生成的业务消息。
封装模块130，用于将直播信息与同步生成的业务消息，封装至同一数据流。
发送模块140，用于向接收端发送数据流。
参见图7，作为本申请实施例的第一种可能的实现方式，发送装置还包括：
第一封装单元131，用于将业务消息编码后，封装至视频编码层中第一网络抽象层NAL单元；
第二封装单元132，用于将直播图像编码后，封装至视频编码层中第二NAL单元；
其中，第一NAL单元与第二NAL单元相邻，第一NAL单元与第二NAL单元具有不同的单元类型。
作为本申请实施例的第二种可能的实现方式，第一封装单元131，还用于：
在第一NAL单元的NAL头中写入第一单元类型数据；第一单元类型数据用于指示附加增强信息类型；
在第一NAL单元的原始字节序列层RBSP中写入编码后的业务消息。
作为本申请实施例的第三种可能的实现方式，第二封装单元132，还用于：
在第二NAL单元的NAL头中写入第二单元类型数据；第二单元类型数据用于指示图像信息类型；
在第二NAL单元的RBSP中写入编码后的直播图像数据。
作为本申请实施例的第四种可能的实现方式，直播数据的发送装置还包括：
第一获取单元121，用于获取一帧直播图像对应的多组编码后的直播图像数据；
写入模块150，用于将每一组编码后的直播图像数据，写入对应的第二NAL单元的RBSP中。
本申请实施例的直播数据的发送装置，通过在直播过程中采集直播信息；获取在直播过程中同步生成的业务消息；将直播信息与同步生成的业务消息，封装至同一数据流；向接收端发送数据流。该方法通过将直播信息和业务消息均封装至同一视频流中，使得业务消息与直播信息同步传输，从而解决了现有技术中视频与业务逻辑不同步的技术问题。
图8为本申请实施例提供的一种直播数据的接收装置的结构示意图。
如图8所示，该直播数据的接收装置包括：接收模块210、解析模块220、处理模块230。
接收模块210，用于从发送端接收数据流。
解析模块220，用于对数据流进行解析，得到直播信息以及业务消息。
处理模块230，用于根据直播信息进行展示；以及，根据业务消息执行业务操作。
参见图9，作为本申请实施例的第一种可能的实现方式，直播数据的接收装置，还包括：
对数据流进行解析，得到直播信息以及业务消息，包括：
提取模块240，用于从视频数据流中，提取视频编码层；
第一解析单元221，用于对视频编码层中第一网络抽象层NAL单元进行解析，得到业务消息；
第二解析单元222，对视频编码层中第二NAL单元进行解析，得到需要与业务消息同步处理的直播图像；
其中，第一NAL单元与第二NAL单元相邻，第一NAL单元与第二NAL单元具有不同的单元类型。
作为本申请实施例的第二种可能的实现方式，第一解析单元221，还用于：
对第一NAL单元中的原始字节序列层RBSP解析，得到业务消息。
作为本申请实施例的第三种可能的实现方式，第二解析单元222，还用于：
解析对应同一帧直播图像的各第二NAL单元中的RBSP，得到直播图像。
本申请实施例的直播数据的接收装置，通过从发送端接收数据流；对数据流进行解析，得到直播信息以及业务消息；根据直播信息进行展示；以及，根据业务消息执行业务操作。该方法通过将直播信息和业务消息均封装至同一视频流中，使得业务消息与直播信息同步传输，从而解决了现有技术中视频与业务逻辑不同步的技术问题。
需要说明的是，前述对直播数据的发送、接收方法实施例的解释说明也适用于该实施例的直播数据的发送、接收装置，此处不再赘述。
为了实现上述实施例，本申请实施例还提出了一种电子设备，所述电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，执行如本申请前述实施例提出的直播数据的发送以及接收方法。
为了实现上述实施例，本申请实施例还提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请前述实施例提出的直播数据的发送以及接收方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种直播数据的发送方法，其特征在于，所述方法包括以下步骤：
在直播过程中采集直播信息；
获取在所述直播过程中同步生成的业务消息；
将所述直播信息与同步生成的业务消息，封装至同一数据流；
向接收端发送所述数据流。
2.根据权利要求1所述的发送方法，其特征在于，所述直播信息为直播图像；所述数据流为视频数据流，所述视频数据流包括视频编码层；
所述将所述直播信息与同步生成的业务消息，封装至同一数据流，包括：
将所述业务消息编码后，封装至所述视频编码层中第一网络抽象层NAL单元；
将所述直播图像编码后，封装至所述视频编码层中第二NAL单元；
其中，所述第一NAL单元与所述第二NAL单元相邻，所述第一NAL单元与所述第二NAL单元具有不同的单元类型。
3.根据权利要求2所述的发送方法，其特征在于，所述将所述业务消息编码后，封装至所述视频编码层中第一网络抽象层NAL单元，包括：
在所述第一NAL单元的NAL头中写入第一单元类型数据；所述第一单元类型数据用于指示附加增强信息类型；
在所述第一NAL单元的原始字节序列层RBSP中写入编码后的业务消息。
4.根据权利要求2所述的发送方法，其特征在于，所述将所述直播图像编码后，封装至所述视频编码层中第二NAL单元，包括：
在所述第二NAL单元的NAL头中写入第二单元类型数据；所述第二单元类型数据用于指示图像信息类型；
在所述第二NAL单元的RBSP中写入编码后的直播图像数据。
5.根据权利要求4所述的发送方法，其特征在于，所述在所述第二NAL单元的RBSP中写入编码后的直播图像数据，包括：
获取一帧直播图像对应的多组编码后的直播图像数据；
将每一组编码后的直播图像数据，写入对应的第二NAL单元的RBSP中。
6.一种直播数据的接收方法，其特征在于，所述方法包括以下步骤：
从发送端接收数据流；
对所述数据流进行解析，得到直播信息以及业务消息；
根据所述直播信息进行展示；
以及，根据所述业务消息执行业务操作。
7.根据权利要求6所述的接收方法，其特征在于，所述直播信息为直播图像，所述数据流为视频数据流；
所述对所述数据流进行解析，得到直播信息以及业务消息，包括：
从所述视频数据流中，提取视频编码层；
对所述视频编码层中第一网络抽象层NAL单元进行解析，得到所述业务消息；
对所述视频编码层中第二NAL单元进行解析，得到需要与所述业务消息同步处理的直播图像；
其中，所述第一NAL单元与所述第二NAL单元相邻，所述第一NAL单元与所述第二NAL单元具有不同的单元类型。
8.根据权利要求7所述的接收方法，其特征在于，所述第一NAL单元的NAL头中写入有第一单元类型数据；所述第一单元类型数据用于指示附加增强信息类型；
所述对视频编码层中第一NAL单元进行解析，得到所述业务消息，包括：
对所述第一NAL单元中的原始字节序列层RBSP解析，得到所述业务消息。
9.一种直播数据的发送装置，其特征在于，所述装置包括：
采集模块，用于在直播过程中采集直播信息；
获取模块，用于获取在所述直播过程中同步生成的业务消息；
封装模块，用于将所述直播信息与同步生成的业务消息，封装至同一数据流；
发送模块，用于向接收端发送所述数据流。
10.一种直播数据的接收装置，其特征在于，所述装置包括：
接收模块，用于从发送端接收数据流；
解析模块，用于对所述数据流进行解析，得到直播信息以及业务消息；
处理模块，用于根据所述直播信息进行展示；其中，所述直播信息为直播图像或直播字幕；以及，根据所述业务消息执行业务操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810687924.1A CN108924600A (zh) | 2018-06-28 | 2018-06-28 | 直播数据的发送接收方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810687924.1A CN108924600A (zh) | 2018-06-28 | 2018-06-28 | 直播数据的发送接收方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108924600A true CN108924600A (zh) | 2018-11-30 |
Family
ID=64421962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810687924.1A Pending CN108924600A (zh) | 2018-06-28 | 2018-06-28 | 直播数据的发送接收方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108924600A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110213648A (zh) * | 2019-06-05 | 2019-09-06 | 重庆菜鸽途讯科技有限公司 | 一种同屏方法、系统、移动终端及计算机可读存储介质 |
| CN110225384A (zh) * | 2019-06-18 | 2019-09-10 | 北京字节跳动网络技术有限公司 | 状态消息的推送方法、交互内容的切换方法、装置及设备 |
| CN111131847A (zh) * | 2019-12-23 | 2020-05-08 | 杭州当虹科技股份有限公司 | 一种直播互动方法 |
| CN111147887A (zh) * | 2020-01-06 | 2020-05-12 | 网易（杭州）网络有限公司 | 直播业务控制方法、装置、计算机可读介质及电子设备 |
| CN112333461A (zh) * | 2020-11-04 | 2021-02-05 | 北京金山云网络技术有限公司 | 一种视频直播的启动方法和装置 |
| WO2021136096A1 (zh) * | 2019-12-31 | 2021-07-08 | 中兴通讯股份有限公司 | 字幕语种识别方法、装置、计算机设备及计算机可读介质 |
| CN113453026A (zh) * | 2020-03-26 | 2021-09-28 | 阿里巴巴集团控股有限公司 | 视频数据处理方法、装置、电子设备及计算机存储介质 |
| CN113542815A (zh) * | 2021-09-17 | 2021-10-22 | 广州易方信息科技股份有限公司 | 视频直播同步方法及系统 |
| WO2022040875A1 (zh) * | 2020-08-24 | 2022-03-03 | 深圳市大疆创新科技有限公司 | 数据传输、处理方法、可移动平台、终端设备及芯片 |
| CN114205649A (zh) * | 2021-12-08 | 2022-03-18 | 无锡英菲感知技术有限公司 | 图像数据处理方法、装置、设备及存储介质 |
| CN114449200A (zh) * | 2020-10-30 | 2022-05-06 | 华为技术有限公司 | 音视频通话方法、装置及终端设备 |
| CN114630138A (zh) * | 2022-03-14 | 2022-06-14 | 上海哔哩哔哩科技有限公司 | 配置信息下发方法及系统 |
| CN114710568A (zh) * | 2022-04-28 | 2022-07-05 | 中移（杭州）信息技术有限公司 | 音视频数据通信方法、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150373374A1 (en) * | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Extensible design of nesting supplemental enhancement information (sei) messages |
| CN106412622A (zh) * | 2016-11-14 | 2017-02-15 | 百度在线网络技术（北京）有限公司 | 在播放视频内容时显示弹幕信息的方法和装置 |
| CN107343220A (zh) * | 2016-08-19 | 2017-11-10 | 北京市商汤科技开发有限公司 | 数据处理方法、装置和终端设备 |
| CN107995155A (zh) * | 2017-10-11 | 2018-05-04 | 上海聚力传媒技术有限公司 | 视频数据编码、解码、展示方法、视频系统及存储介质 |
| CN108200447A (zh) * | 2018-01-15 | 2018-06-22 | 北京金山云网络技术有限公司 | 直播数据传输方法、装置、电子设备、服务器及存储介质 |
-
2018
- 2018-06-28 CN CN201810687924.1A patent/CN108924600A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150373374A1 (en) * | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Extensible design of nesting supplemental enhancement information (sei) messages |
| CN107343220A (zh) * | 2016-08-19 | 2017-11-10 | 北京市商汤科技开发有限公司 | 数据处理方法、装置和终端设备 |
| CN106412622A (zh) * | 2016-11-14 | 2017-02-15 | 百度在线网络技术（北京）有限公司 | 在播放视频内容时显示弹幕信息的方法和装置 |
| CN107995155A (zh) * | 2017-10-11 | 2018-05-04 | 上海聚力传媒技术有限公司 | 视频数据编码、解码、展示方法、视频系统及存储介质 |
| CN108200447A (zh) * | 2018-01-15 | 2018-06-22 | 北京金山云网络技术有限公司 | 直播数据传输方法、装置、电子设备、服务器及存储介质 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110213648A (zh) * | 2019-06-05 | 2019-09-06 | 重庆菜鸽途讯科技有限公司 | 一种同屏方法、系统、移动终端及计算机可读存储介质 |
| CN110225384A (zh) * | 2019-06-18 | 2019-09-10 | 北京字节跳动网络技术有限公司 | 状态消息的推送方法、交互内容的切换方法、装置及设备 |
| WO2020253452A1 (zh) * | 2019-06-18 | 2020-12-24 | 北京字节跳动网络技术有限公司 | 直播间状态消息的推送方法、交互内容的切换方法、装置及设备 |
| CN111131847A (zh) * | 2019-12-23 | 2020-05-08 | 杭州当虹科技股份有限公司 | 一种直播互动方法 |
| WO2021136096A1 (zh) * | 2019-12-31 | 2021-07-08 | 中兴通讯股份有限公司 | 字幕语种识别方法、装置、计算机设备及计算机可读介质 |
| CN111147887A (zh) * | 2020-01-06 | 2020-05-12 | 网易（杭州）网络有限公司 | 直播业务控制方法、装置、计算机可读介质及电子设备 |
| CN113453026A (zh) * | 2020-03-26 | 2021-09-28 | 阿里巴巴集团控股有限公司 | 视频数据处理方法、装置、电子设备及计算机存储介质 |
| WO2022040875A1 (zh) * | 2020-08-24 | 2022-03-03 | 深圳市大疆创新科技有限公司 | 数据传输、处理方法、可移动平台、终端设备及芯片 |
| CN114449200A (zh) * | 2020-10-30 | 2022-05-06 | 华为技术有限公司 | 音视频通话方法、装置及终端设备 |
| CN112333461A (zh) * | 2020-11-04 | 2021-02-05 | 北京金山云网络技术有限公司 | 一种视频直播的启动方法和装置 |
| CN113542815A (zh) * | 2021-09-17 | 2021-10-22 | 广州易方信息科技股份有限公司 | 视频直播同步方法及系统 |
| CN114205649A (zh) * | 2021-12-08 | 2022-03-18 | 无锡英菲感知技术有限公司 | 图像数据处理方法、装置、设备及存储介质 |
| CN114630138A (zh) * | 2022-03-14 | 2022-06-14 | 上海哔哩哔哩科技有限公司 | 配置信息下发方法及系统 |
| CN114630138B (zh) * | 2022-03-14 | 2023-12-08 | 上海哔哩哔哩科技有限公司 | 配置信息下发方法及系统 |
| CN114710568A (zh) * | 2022-04-28 | 2022-07-05 | 中移（杭州）信息技术有限公司 | 音视频数据通信方法、设备及存储介质 |
| CN114710568B (zh) * | 2022-04-28 | 2023-12-01 | 中移（杭州）信息技术有限公司 | 音视频数据通信方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108924600A (zh) | 直播数据的发送接收方法、装置及电子设备 | |
| KR100593581B1 (ko) | 데이터를 일정한 사이즈의 전송 패킷으로 캡슐화하는 방법 | |
| US11595670B2 (en) | Method and apparatus for storage and signaling of sub-sample entry descriptions | |
| DE19811292B4 (de) | MPEG-II-System mit PES-Decodierer | |
| US8494339B2 (en) | Combining material and data | |
| US6275507B1 (en) | Transport demultiplexor for an MPEG-2 compliant data stream | |
| CN101960726B (zh) | 用于解码增强型视频流的方法和装置 | |
| US8056110B2 (en) | Service system of thumbnail image and transmitting/receiving method thereof | |
| KR100785013B1 (ko) | 3ｄ 압축 데이터 생성, 복원 방법 및 그 장치 | |
| CN102301730A (zh) | 多路音视频传输和处理方法、装置及系统 | |
| CN107147942A (zh) | 通过hdmi传输显示管理元数据 | |
| CN108200447A (zh) | 直播数据传输方法、装置、电子设备、服务器及存储介质 | |
| US20150085917A1 (en) | Method for storing image data, method for parsing image data, and an apparatus for using the same | |
| KR102115323B1 (ko) | 영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치 | |
| CN110225416A (zh) | 一种视频的传输方法、网络终端、智能终端以及存储装置 | |
| WO2017116419A1 (en) | Method and apparatus for metadata insertion pipeline for streaming media | |
| CN109040818B (zh) | 直播时的音视频同步方法、存储介质、电子设备及系统 | |
| CN109644290B (zh) | 数据转接装置、数据采集装置及系统、方法 | |
| KR100705992B1 (ko) | 코드화된 데이터를 디멀티플렉싱하는 장치 | |
| US10362342B2 (en) | Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method | |
| US8184660B2 (en) | Transparent methods for altering the video decoder frame-rate in a fixed-frame-rate audio-video multiplex structure | |
| CN101179695A (zh) | 实现会议录播的方法、会议电视系统和终端 | |
| US7307553B2 (en) | MPEG-4 encoding/decoding method, medium, and system | |
| CN102811351A (zh) | 一种多业务数据传输方法及装置 | |
| CN103167319A (zh) | 一种流媒体的传送处理方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190621 Address after: Room 1101, Santai Commercial Building, 139 Connaught Road, Hong Kong, China Applicant after: Hong Kong Lemi Co., Ltd. Address before: Cayman Islands, Greater Cayman Island, Kamana Bay, Casia District, Seitus Chamber of Commerce, 2547 Applicant before: Happy honey Company Limited |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181130 |
|
| RJ01 | Rejection of invention patent application after publication |