CN108737845A - 直播处理方法、装置、设备以及存储介质 - Google Patents

直播处理方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN108737845A
CN108737845A CN201810497656.7A CN201810497656A CN108737845A CN 108737845 A CN108737845 A CN 108737845A CN 201810497656 A CN201810497656 A CN 201810497656A CN 108737845 A CN108737845 A CN 108737845A
Authority
CN
China
Prior art keywords
language
live streaming
data
video playing
broadcasting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810497656.7A
Other languages
English (en)
Other versions
CN108737845B (zh
Inventor
朱兆敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810497656.7A priority Critical patent/CN108737845B/zh
Publication of CN108737845A publication Critical patent/CN108737845A/zh
Priority to US16/354,044 priority patent/US10743038B2/en
Application granted granted Critical
Publication of CN108737845B publication Critical patent/CN108737845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供一种直播处理方法、装置、设备以及存储介质，该方法包括：直播服务器接收视频直播端的第一终端设备发送的包括视频数据和音频数据的源媒体数据，将音频数据翻译为至少一个目标语言的音频数据，然后获取视频播放端需要的播放语言，并从至少一个目标语言类型的音频数据中获取与播放语言对应的音频数据，将播放语言对应的音频数据与视频数据进行合成，得到目标媒体数据；将目标媒体数据发送至视频播放端的第二终端设备进行播放，可以实现自动多语言同时直播。并且直播业务也可以根据不同的地区的观众，提供不同的播放语言，从而达到更好的观看效果。

Description

直播处理方法、装置、设备以及存储介质
技术领域
本申请实施例涉及人工智能(Artificial Intelligence，AI)技术领域，尤其涉及一种直播处理方法、装置、设备以及存储介质。
背景技术
随着通信和智能终端技术的发展，用户除了使用手机、平板电脑、电脑等智能终端设备进行通话或者查询信息之外，对其他功能的应用也越发广泛，目前随着视频直播平台的飞速发展，通过视频直播平台观看直播的视频的用户遍布全球。
目前的视频直播过程中，主播端的终端将录制的音频视频数据直接发送给播放端的终端进行播放，或者通过媒体服务器发送给播放端的终端进行播放。然而，观看直播的用户可能是世界各地的用户，并不能够完全理解主播上传的音频视频中的语言，导致观看直播体验较差。
发明内容
本申请实施例提供一种直播处理方法、装置、设备以及存储介质，用于解决上述观看直播的用户可能是世界各地的用户，并不能够完全理解主播上传的音频视频中的语言，导致观看直播体验较差的问题。
本申请第一方面提供一种直播处理方法，包括：
接收视频直播端的第一终端设备发送的源媒体数据；所述源媒体数据包括视频数据和音频数据；
将所述音频数据翻译为至少一个目标语言的音频数据；所述至少一个目标语言与所述音频数据的源语言不同；
获取视频播放端需要的播放语言，并从所述至少一个目标语言类型的音频数据中获取与所述播放语言对应的音频数据；
将所述播放语言对应的音频数据与所述视频数据进行合成，得到目标媒体数据；
将所述目标媒体数据发送至所述视频播放端的第二终端设备。
可选的，所述获取视频播放端的播放语言，包括：
根据所述视频播放端所在的地理位置，确定所述视频播放端的所述播放语言。
可选的，所述根据所述视频播放端所在的地理位置，确定所述视频播放端的所述播放语言，包括：
获取所述视频播放端的网络互连协议IP地址；
根据所述IP地址确定所述视频播放端的地理位置，并根据所述地理位置对应的当地使用语言作为所述播放语言。
可选的，所述获取所述视频播放端的网络互连协议IP地址，包括：
接收所述播放端的所述第二终端设备发送的直播观看请求；
根据所述直播观看请求确定所述视频播放端的网络互连协议IP地址。
可选的，所述获取视频播放端需要的播放语言，包括：
接收所述视频播放端的所述第二终端设备发送的直播观看请求；所述直播观看请求中携带所述播放语言。
本申请第二方面提供一种直播处理方法，包括：
根据用户操作向直播服务器发送直播观看请求；
接收所述直播服务器返回的目标媒体数据，所述目标媒体数据中的音频的语言类型为播放端需要的播放语言；
播放所述目标媒体数据。
可选的，所述直播观看请求中携带所述播放语言。
本申请第三方面提供一种直播处理装置，包括：
接收模块，用于接收视频直播端的第一终端设备发送的源媒体数据；所述源媒体数据包括视频数据和音频数据；
翻译模块，用于将所述音频数据翻译为至少一个目标语言的音频数据；所述至少一个目标语言与所述音频数据的源语言不同；
处理模块，用于获取视频播放端需要的播放语言，并从所述至少一个目标语言类型的音频数据中获取与所述播放语言对应的音频数据；
所述处理模块还用于将所述播放语言对应的音频数据与所述视频数据进行合成，得到目标媒体数据；
发送模块，用于将所述目标媒体数据发送至所述视频播放端的第二终端设备。
可选的，所述处理模块具体用于：
根据所述视频播放端所在的地理位置，确定所述视频播放端的所述播放语言。
可选的，所述处理模块具体用于：
获取所述视频播放端的网络互连协议IP地址；
根据所述IP地址确定所述视频播放端的地理位置，并根据所述地理位置对应的当地使用语言作为所述播放语言。
可选的，所述接收模块还用于接收所述播放端的所述第二终端设备发送的直播观看请求；
所述处理模块还用于根据所述直播观看请求确定所述视频播放端的网络互连协议IP地址。
可选的，所述接收模块还用于接收所述视频播放端的所述第二终端设备发送的直播观看请求；所述直播观看请求中携带所述播放语言。
本申请第四方面提供一种直播处理装置，包括：
发送模块，用于根据用户操作向直播服务器发送直播观看请求；
接收模块，用于接收所述直播服务器返回的目标媒体数据，所述目标媒体数据中的音频的语言类型为播放端需要的播放语言；
播放模块，用于播放所述目标媒体数据。
可选的，所述直播观看请求中携带所述播放语言。
本申请第五方面提供一种直播服务器，包括：用于接收数据的接收器、用于发送数据的发送器、存储器和处理器；
所述存储器用于存储计算机指令；所述处理器用于运行所述存储器存储的所述计算机指令实现第一方面任一项所述的直播处理方法。
本申请第六方面提供一种终端设备，包括：用于接收数据的接收器、用于发送数据的发送器、用于播放媒体数据的播放器、存储器和处理器；
所述存储器用于存储计算机指令；所述处理器用于运行所述存储器存储的所述计算机指令实现第二方面任一项所述的直播处理方法。
本申请第七方面提供一种存储介质，包括：可读存储介质和计算机指令，所述计算机指令存储在所述可读存储介质中；所述计算机指令用于实现第一方面所述的直播处理方法。
本申请第八方面提供一种存储介质，其特征在于，包括：可读存储介质和计算机指令，所述计算机指令存储在所述可读存储介质中；所述计算机指令用于实现第二方面所述的直播处理方法。
本申请实施例提供的直播处理方法、装置、设备以及存储介质，直播服务器接收视频直播端的第一终端设备发送的包括视频数据和音频数据的源媒体数据，将音频数据翻译为至少一个目标语言的音频数据，然后获取视频播放端需要的播放语言，并从至少一个目标语言类型的音频数据中获取与播放语言对应的音频数据，将播放语言对应的音频数据与视频数据进行合成，得到目标媒体数据；将目标媒体数据发送至视频播放端的第二终端设备进行播放，可以实现自动多语言同时直播。并且直播业务也可以根据不同的地区的观众，提供不同的播放语言，从而达到更好的观看效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的直播处理方法的实施例一的流程图；
图2为本申请实施例提供的直播处理方法实施例二的流程图；
图3为本申请实施例提供的直播处理方法一实例中的实现过程示意图；
图4为本申请实施例提供的直播处理装置实施例一的结构示意图；
图5为本申请实施例提供的直播处理装置实施例二的结构示意图；
图6为本申请实施例提供的直播服务器实施例一的结构示意图；
图7为本申请实施例提供的终端设备实施例一的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
比较常用的直播方式中，主播进行推流产生音频视频数据，即下文中的源媒体数据，通过无线传输至播放端直接播放主播的音视频，无语言切换。或者是直播服务器(也称为媒体服务器)收到直播端的源媒体数据(即视频流)的同时再混入导播端推上来的解说员的音频数据进行播放(比如体育直播的时候，不同的直播线路在直播画面的时候，同时直播不同解说员的不同的语言解说)。
然而，上述提供的几种直播方式中存在以下几个问题：
1、如果是在直播过程中，观众希望听到主播的原始语言的翻译，必须要有一位同声传译专家同时将翻译后的音频数据传到流媒体平台(例如直播服务器)。
2、如果是希望有多种语言同时直播，需要多位同声传译的专家将翻译以后的音频数据同时传到流媒体平台(例如直播服务器)处理。
3、实时上这种方案相当于一个视频和多个音频同时被推流的混流直播，这种情况还会出现音画不同步的情况，也即翻译过的音频对不上相应的视频画面。
4、若直接使用原始的直播方式，观看直播的用户可能是世界各地的用户，并不能够完全理解主播上传的音频视频中的语言，导致观看直播体验较差。
针对上述几个问题，本申请提供一种直播处理方法，在直播过程中自动实现多语言直播的方法，即在直播服务器(即媒体服务中心)收到直播的媒体数据以后，根据客户在直播管理平台上的配置模板，将主播所推的音频数据实时翻译成指定语言的新音频流，并且重新混入直播的视频数据的音轨，发送给播放端的终端设备进行播放，可以实现自动多语言同时直播，并且直播业务也可以根据不同的地区的观众，提供不同的播放语言，从而达到更好的观看效果。
下面通过几个具体的实施例对本申请提供的直播处理方法进行详细说明。
图1为本申请实施例提供的直播处理方法的实施例一的流程图；如图1所示，该直播处理方法应用在直播场景下，涉及的直播端的设备、直播服务器(也称为媒体服务器，媒体服务中心等)以及播放端的设备，具体的，该直播处理方法包括以下步骤：
S101：接收视频直播端的第一终端设备发送的源媒体数据；源媒体数据包括视频数据和音频数据。
在本步骤中，直播端的主播在安装在终端设备上的直播客户端进行直播时，第一终端设备录制内容得到源媒体数据，这里的源媒体数据包括视频数据以及音频数据，第一终端设备通过直播客户端将该源媒体数据发送给直播服务器，即对该直播服务器来说，接收第一终端设备发送的源媒体数据，该源媒体数据中的音频数据的语言类型为源语言，指的是主播使用的语言，例如在国内的大多数直播平台中，主播均使用中文进行直播，则该源语言为中文(或者称为汉语)。
S102：将音频数据翻译为至少一个目标语言的音频数据。
在本步骤中，直播服务器接收到源媒体数据之后，将音频数据分离出来，并根据预先设置的一个或者多个翻译线路，将该音频数据进行翻译，翻译成一个或者多个目标语言的音频数据，例如可以将其中的中文的音频数据翻成英文的音频数据、日语的音频数据、韩语的音频数据等等，在该方案中，应理解目标语言如果与源语言相通的话可以不进行翻译，即至少一个目标语言与所述音频数据的源语言不同。
S103：获取视频播放端需要的播放语言，并从至少一个目标语言类型的音频数据中获取与播放语言对应的音频数据。
在本步骤中，源媒体数据到达直播服务器进行翻译以后，直播服务器需要获取不同的播放端需要的播放语言，以其中一个播放端为例，直播服务器需要确定播放端用户需要的播放语言，获取的方式可以是用户在直播请求中携带选择的播放语言，或者是根据播放端的位置确定的播放语言，或者可以是默认的播放语言等，对此本方案不做限制。
直播服务器在获取到播放语言之后，需要从翻译后的多个目标语言的音频数据中选择出播放端的用户需要的播放语言对应的音频数据。
S104：将播放语言对应的音频数据与视频数据进行合成，得到目标媒体数据。
在本步骤中，直播服务器将选择出的播放语言对应的音频数据与源媒体数据中的视频数据重新进行合成，得到播放端需要的语言类型的目标媒体数据。
S105：将目标媒体数据发送至视频播放端的第二终端设备。
在完成上述处理过程之后，将得到的目标媒体数据传输至播放端的第二终端设备中进行播放，即直播服务器可以将目标媒体数据通过直播客户端提供的接口发送到第二终端设备。
在上述方案中，视频播放端的用户根据需要，在直播客户端上进行操作，选择想看的视频直播，用户在直播客户端上的点击操作生成直播观看请求，并发送给直播服务器，直播服务器根据上述过程获取到了需要的目标媒体数据之后，返回给该第二终端设备，即该第二终端设备接收直播服务器返回的目标媒体数据，其中，目标媒体数据中的音频的语言类型为播放端需要的播放语言，该第二终端设备在直播客户端中播放目标媒体数据，完成直播观看。
本实施例提供的直播处理方法，直播服务器接收视频直播端的第一终端设备发送的包括视频数据和音频数据的源媒体数据，将音频数据翻译为至少一个目标语言的音频数据，然后获取视频播放端需要的播放语言，并从至少一个目标语言类型的音频数据中获取与播放语言对应的音频数据，将该音频数据与视频数据进行合成，得到目标媒体数据，将目标媒体数据发送至视频播放端的第二终端设备进行播放，可以实现自动多语言同时直播，并且直播业务也可以根据不同的地区的观众，提供不同的播放语言，从而达到更好的观看效果。
在上述实施例一的具体实现中，直播服务器获取视频播放端需要的播放语言的方式可以有多种，至少包括以下两种实现方式：
第一种实现方式中，根据所述视频播放端所在的地理位置，确定所述视频播放端的所述播放语言。
直播服务器可以根据该视频播放端所处的地理位置，确定该播放语言，其含义是通过该播放端的终端设备或者是用户所处的地理位置，将该地理位置区域使用的语言默认为用户需要的播放语言，例如：定位出视频播放端为美国纽约，该区域常用的语言为英语，则可以将英语作为该播放端的用户需要的播放语言。
第二种实现方式中，接收所述视频播放端的第二终端设备发送的直播观看请求；所述直播观看请求中携带所述播放语言。
直播服务器接收到的第二终端设备发送的直播观看请求中携带了该播放语言，该播放语言可以是第二终端设备根据所处位置默认的当前区域使用的语言作为播放语言，也可以是用户选择的播放语言，对此本方案不做限制。
在上述的第一种实现方式中，直播服务器需要确定该视频播放端的位置信息，也可以由多种实现方式，由视频播放端的终端设备进行上报，或者直播服务器根据其他相关信息进行获取等，常用的方式是采用IP地址确定该地理位置，具体的实现方式如下。
图2为本申请实施例提供的直播处理方法实施例二的流程图；如图2所示，该直播处理方法应用在直播服务器中，在上述实施例的基础上，本实施例提供的直播处理方法中，获取视频播放端需要的播放语言具体包括以下步骤：
S1031：获取视频播放端的网络互连协议(Internet Protocol，IP)地址。
在本步骤中，直播服务器需要获取该视频播放端的IP地址，一般来说用户在打开直播客户端登陆之后，服务器即可根据登陆信息得到该直播播放端的终端设备的IP地址，在具体实现中，还可以将IP携带在直播观看请求中或者根据直播观看请求的相关信息确定出IP地址。即直播服务器接收播放端的第二终端设备发送的直播观看请求，根据直播观看请求确定所述视频播放端的IP地址，对此本方案不做限制。
S1032：根据IP地址确定视频播放端的地理位置，并根据地理位置对应的当地使用语言作为播放语言。
在直播服务器得到了视频播放端的IP地址之后，即可根据网络上的信息以及该IP地址确定出该视频播放端的地理位置，然后将该地理位置区域使用的语言默认为用户需要的播放语言，例如：定位出视频播放端为美国纽约，该区域常用的语言为英语，则可以将英语作为该播放端的用户需要的播放语言。
本实施例提供的直播处理方法，直播服务器可以根据视频播放端的地理位置确定出播放端的用户需要的播放语言，可以根据不同的地区访问的观众，提供不同的播放语言方式，从而达到更好的参与观看的效果。
在上述各个实施例的基础上，下面以一种具体的实例对该直播处理方法进行说明。
图3为本申请实施例提供的直播处理方法一实例中的实现过程示意图，如图3所示，图中的方框中示出了直播服务器的功能，预先需要在直播服务器中设置一个或者多个实时音频转译装置，可以包括多条线路(例如：线路1、线路2……线路n)，在直播端录制到源媒体数据并发送至该直播服务器(或者成为直播服务平台，媒体服务中心等)时，将该源媒体数据种的音频数据和视频数据分别进行处理，音频数据进入不同的音频转译线路进行翻译，得到多个不同目标语言的音频数据，直播服务器确定该播放端需要的播放语言，与多个不同的目标语言进行匹配，得到与该播放语言对应的音频数据，再次与视频数据进行合成，得到能够发送给播放端进行播放的播放数据，即上述实施例中的目标媒体数据。
该方案中，可在直播服务器的配置模板里配置好源语言和目标语言。当收到主播推上来的流，会根据事先配置好的源语言和目标语言进行实时的音频的处理。将源语言实时翻译处理成目标语言的音频，并重新混入直播的音轨，实现一个视频，多个音频的同步视频流。转译线路可以支持1种或多种语言。
直播业务平台(直播服务器)可以根据观众的访问地区返回播放端默认的播放语言。比如美国地区访问的观众，打开视频的默认播放语言是英文，中国地区访问的默认播放语言是中文。观众也可以自动切换播放语言实现不同语言的播放，虽然音频转译线路比原始线路要多消耗点时间，但直播服务器处理能力强大，转译造成的延时可以接受，并且从源头保证了音画同步。
并且，应理解实时音频转译装置可以将原始的音频数据转译成目标语言音频数据植入新流，也可以将原始的音频数据转译成目标语言的文字植入新流中传输给播放端，对此本方案不做限制。
此外，在该方案的具体实现中，直播流的源数据里还可以包含转译线路的信息，比如该直播流配置有cn，en两种转译线路。播放端的播放器可以通过流源数据信息获取该流提供的相应语言选择。如果按ip默认给观众cn线路，观众也可以自己设置播放器语言切换到en的转移线路播放，对此本方案也不做限制。
本申请提供的直播处理方法，对于直播端的主播来说，仅需要在直播平台配置转译线路，就可以实现自动多语言同时直播，并且直播业务也可以根据不同的地区访问的观众，提供不同的播放语言方式，从而达到更好的参与观看的效果，使用该方案进行全球直播，可以让全球更多的观众理解和参与到主播的直播活动中，提高观看直播的用户的用户体验。
图4为本申请实施例提供的直播处理装置实施例一的结构示意图，如图4所示，本实施例提供的直播处理装置10包括：
接收模块11，用于接收视频直播端的第一终端设备发送的源媒体数据；所述源媒体数据包括视频数据和音频数据；
翻译模块12，用于将所述音频数据翻译为至少一个目标语言的音频数据；所述至少一个目标语言与所述音频数据的源语言不同；
处理模块13，用于获取视频播放端需要的播放语言，并从所述至少一个目标语言类型的音频数据中获取与所述播放语言对应的音频数据；
所述处理模块13还用于将所述播放语言对应的音频数据与所述视频数据进行合成，得到目标媒体数据；
发送模块14，用于将所述目标媒体数据发送至所述视频播放端的第二终端设备。
本实施例提供的直播处理装置，用于实现前述任一实施例中的直播服务器侧的技术方案，其实现原理和技术效果类似，通过确定播放端需要的语言，在直播服务器中对音频进行翻译，可以实现自动多语言同时直播，并且直播业务也可以根据不同的地区的观众，提供不同的播放语言，从而达到更好的观看效果。
在上述实施例的基础上，该直播处理装置10的一种具体实现中，所述处理模块13具体用于：
根据所述视频播放端所在的地理位置，确定所述视频播放端的所述播放语言。
可选的，所述处理模块13具体用于：
获取所述视频播放端的网络互连协议IP地址；
根据所述IP地址确定所述视频播放端的地理位置，并根据所述地理位置对应的当地使用语言作为所述播放语言。
可选的，所述接收模块11还用于接收所述播放端的所述第二终端设备发送的直播观看请求；
所述处理模块13还用于根据所述直播观看请求确定所述视频播放端的网络互连协议IP地址。
可选的，所述接收模块11还用于接收所述视频播放端的所述第二终端设备发送的直播观看请求；所述直播观看请求中携带所述播放语言。
上述实现方式提供的直播处理装置，用于实现用于实现前述任一方法实施例中的直播服务器侧的技术方案，其实现原理和技术效果类似，在此不再赘述。
图5为本申请实施例提供的直播处理装置实施例二的结构示意图，如图5所示，本实施例提供的直播处理装置20包括：
发送模块21，用于根据用户操作向直播服务器发送直播观看请求；
接收模块22，用于接收所述直播服务器返回的目标媒体数据，所述目标媒体数据中的音频的语言类型为播放端需要的播放语言；
播放模块23，用于播放所述目标媒体数据。
可选的，所述直播观看请求中携带所述播放语言。
本实施例提供的直播处理装置，用于实现用于实现前述任一方法实施例中的播放端的终端设备的技术方案，其实现原理和技术效果类似，在此不再赘述。
图6为本申请实施例提供的直播服务器实施例一的结构示意图，如图6所示，该直播服务器至少包括：用于接收数据的接收器、用于发送数据的发送器、存储器和处理器；
所述存储器用于存储计算机指令；所述处理器用于运行所述存储器存储的所述计算机指令实现前述任一方法实施例中直播服务器侧的技术方案。
图7为本申请实施例提供的终端设备实施例一的结构示意图，如图7所示，该终端设备至少包括：用于接收数据的接收器、用于发送数据的发送器、用于播放媒体数据的播放器、存储器和处理器；
所述存储器用于存储计算机指令；所述处理器用于运行所述存储器存储的所述计算机指令实现前述任一方法实施例中终端设备侧的技术方案。
本申请还提供一种存储介质，包括：可读存储介质和计算机指令，所述计算机指令存储在所述可读存储介质中；所述计算机指令用于实现前述任一方法实施例中直播服务器侧的技术方案。
本申请还提供一种存储介质，包括：可读存储介质和计算机指令，所述计算机指令存储在所述可读存储介质中；所述计算机指令用于实现前述任一方法实施例中终端设备侧的技术方案。
在上述直播服务器或者终端设备的具体实现中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：ApplicationSpecific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：只读存储器(英文：read-only memory，缩写：ROM)、RAM、快闪存储器、硬盘、固态硬盘、磁带(英文：magnetictape)、软盘(英文：floppy disk)、光盘(英文：optical disc)及其任意组合。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (18)

1.一种直播处理方法，其特征在于，包括：
接收视频直播端的第一终端设备发送的源媒体数据；所述源媒体数据包括视频数据和音频数据；
将所述音频数据翻译为至少一个目标语言的音频数据；所述至少一个目标语言与所述音频数据的源语言不同；
获取视频播放端需要的播放语言，并从所述至少一个目标语言类型的音频数据中获取与所述播放语言对应的音频数据；
将所述播放语言对应的音频数据与所述视频数据进行合成，得到目标媒体数据；
将所述目标媒体数据发送至所述视频播放端的第二终端设备。
2.根据权利要求1所述的方法，其特征在于，所述获取视频播放端的播放语言，包括：
根据所述视频播放端所在的地理位置，确定所述视频播放端的所述播放语言。
3.根据权利要求2所述的方法，其特征在于，所述根据所述视频播放端所在的地理位置，确定所述视频播放端的所述播放语言，包括：
获取所述视频播放端的网络互连协议IP地址；
根据所述IP地址确定所述视频播放端的地理位置，并根据所述地理位置对应的当地使用语言作为所述播放语言。
4.根据权利要求3所述的方法，其特征在于，所述获取所述视频播放端的网络互连协议IP地址，包括：
接收所述播放端的所述第二终端设备发送的直播观看请求；
根据所述直播观看请求确定所述视频播放端的网络互连协议IP地址。
5.根据权利要求1所述的方法，其特征在于，所述获取视频播放端需要的播放语言，包括：
接收所述视频播放端的所述第二终端设备发送的直播观看请求；所述直播观看请求中携带所述播放语言。
6.一种直播处理方法，其特征在于，包括：
根据用户操作向直播服务器发送直播观看请求；
接收所述直播服务器返回的目标媒体数据，所述目标媒体数据中的音频的语言类型为播放端需要的播放语言；
播放所述目标媒体数据。
7.根据权利要求6所述的方法，其特征在于，所述直播观看请求中携带所述播放语言。
8.一种直播处理装置，其特征在于，包括：
接收模块，用于接收视频直播端的第一终端设备发送的源媒体数据；所述源媒体数据包括视频数据和音频数据；
翻译模块，用于将所述音频数据翻译为至少一个目标语言的音频数据；所述至少一个目标语言与所述音频数据的源语言不同；
处理模块，用于获取视频播放端需要的播放语言，并从所述至少一个目标语言类型的音频数据中获取与所述播放语言对应的音频数据；
所述处理模块还用于将所述播放语言对应的音频数据与所述视频数据进行合成，得到目标媒体数据；
发送模块，用于将所述目标媒体数据发送至所述视频播放端的第二终端设备。
9.根据权利要求8所述的装置，其特征在于，所述处理模块具体用于：
根据所述视频播放端所在的地理位置，确定所述视频播放端的所述播放语言。
10.根据权利要求9所述的装置，其特征在于，所述处理模块具体用于：
获取所述视频播放端的网络互连协议IP地址；
根据所述IP地址确定所述视频播放端的地理位置，并根据所述地理位置对应的当地使用语言作为所述播放语言。
11.根据权利要求10所述的装置，其特征在于，所述接收模块还用于接收所述播放端的所述第二终端设备发送的直播观看请求；
所述处理模块还用于根据所述直播观看请求确定所述视频播放端的网络互连协议IP地址。
12.根据权利要求9所述的装置，其特征在于，所述接收模块还用于接收所述视频播放端的所述第二终端设备发送的直播观看请求；所述直播观看请求中携带所述播放语言。
13.一种直播处理装置，其特征在于，包括：
发送模块，用于根据用户操作向直播服务器发送直播观看请求；
接收模块，用于接收所述直播服务器返回的目标媒体数据，所述目标媒体数据中的音频的语言类型为播放端需要的播放语言；
播放模块，用于播放所述目标媒体数据。
14.根据权利要求13所述的装置，其特征在于，所述直播观看请求中携带所述播放语言。
15.一种直播服务器，其特征在于，包括：用于接收数据的接收器、用于发送数据的发送器、存储器和处理器；
所述存储器用于存储计算机指令；所述处理器用于运行所述存储器存储的所述计算机指令实现权利要求1至5任一项所述的直播处理方法。
16.一种终端设备，其特征在于，包括：用于接收数据的接收器、用于发送数据的发送器、用于播放媒体数据的播放器、存储器和处理器；
所述存储器用于存储计算机指令；所述处理器用于运行所述存储器存储的所述计算机指令实现权利要求6或7所述的直播处理方法。
17.一种存储介质，其特征在于，包括：可读存储介质和计算机指令，所述计算机指令存储在所述可读存储介质中；所述计算机指令用于实现权利要求1至5任一项所述的直播处理方法。
18.一种存储介质，其特征在于，包括：可读存储介质和计算机指令，所述计算机指令存储在所述可读存储介质中；所述计算机指令用于实现权利要求6或7所述的直播处理方法。
CN201810497656.7A 2018-05-22 2018-05-22 直播处理方法、装置、设备以及存储介质 Active CN108737845B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810497656.7A CN108737845B (zh) 2018-05-22 2018-05-22 直播处理方法、装置、设备以及存储介质
US16/354,044 US10743038B2 (en) 2018-05-22 2019-03-14 Live broadcast processing method, apparatus, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810497656.7A CN108737845B (zh) 2018-05-22 2018-05-22 直播处理方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN108737845A true CN108737845A (zh) 2018-11-02
CN108737845B CN108737845B (zh) 2019-09-10

Family

ID=63934997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810497656.7A Active CN108737845B (zh) 2018-05-22 2018-05-22 直播处理方法、装置、设备以及存储介质

Country Status (2)

Country Link
US (1) US10743038B2 (zh)
CN (1) CN108737845B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110519635A (zh) * 2019-08-07 2019-11-29 河北远东通信系统工程有限公司 一种无线集群系统的音视频媒体流合流方法及系统
CN110636323A (zh) * 2019-10-15 2019-12-31 博科达(北京)科技有限公司 一种基于云平台的全球直播及视频点播系统及方法
CN110659387A (zh) * 2019-09-20 2020-01-07 上海掌门科技有限公司 用于提供视频的方法和设备
CN111918087A (zh) * 2020-08-07 2020-11-10 单伟 一种跨境直播购物平台
CN112788349A (zh) * 2019-11-01 2021-05-11 上海哔哩哔哩科技有限公司 数据流推送方法、系统、计算机设备及可读存储介质
CN112839236A (zh) * 2020-12-31 2021-05-25 北京达佳互联信息技术有限公司 视频处理方法、装置、服务器及存储介质
CN113301357A (zh) * 2020-07-27 2021-08-24 阿里巴巴集团控股有限公司 直播方法、装置及电子设备
CN113365093A (zh) * 2021-06-07 2021-09-07 广州虎牙科技有限公司 直播方法、装置、系统、电子设备及存储介质
CN113709509A (zh) * 2021-08-05 2021-11-26 中移（杭州）信息技术有限公司 音视频数据的传输方法、装置以及存储介质
CN113709579A (zh) * 2021-08-05 2021-11-26 中移（杭州）信息技术有限公司 音视频数据的传输方法、装置以及存储介质
CN114449299A (zh) * 2021-12-30 2022-05-06 广州盖盟达工业品有限公司 一种商品直播处理方法、装置、终端设备及存储介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019147280A1 (en) * 2018-01-29 2019-08-01 Hewlett-Packard Development Company, L.P. Language-specific downstream workflows
CN113905319B (zh) * 2020-06-22 2024-02-20 广州辉群智能科技有限公司 一种广播系统及广播系统的控制方法、控制终端
CN113938706B (zh) * 2020-07-14 2023-02-10 花瓣云科技有限公司 一种增加字幕和/或音频的方法及系统
CN113301363B (zh) * 2020-12-29 2023-04-07 阿里巴巴集团控股有限公司 直播信息处理方法、装置及电子设备
CN114765692B (zh) * 2021-01-13 2024-01-09 北京字节跳动网络技术有限公司 一种直播数据处理方法、装置、设备及介质
CN114912467A (zh) * 2021-02-09 2022-08-16 艾锐势企业有限责任公司 用于同声传译的电子设备、方法、介质及程序
CN115190340B (zh) * 2021-04-01 2024-03-26 华为终端有限公司 直播数据的传输方法、直播设备和介质
CN115225917A (zh) * 2021-04-15 2022-10-21 北京字节跳动网络技术有限公司 一种录音推流方法、装置、设备及介质
CN113473240B (zh) * 2021-05-27 2023-08-08 北京达佳互联信息技术有限公司 直播间的数据处理方法、装置、电子设备及存储介质
CN113613030A (zh) * 2021-08-20 2021-11-05 云南腾云信息产业有限公司 一种直播控制方法、系统及计算机可读存储介质
CN113938708B (zh) * 2021-10-14 2024-04-09 咪咕文化科技有限公司 直播的音频纠错方法、装置、计算设备及存储介质
CN113973215A (zh) * 2021-10-25 2022-01-25 北京字节跳动网络技术有限公司 数据去重方法、装置及存储介质
CN114051150A (zh) * 2021-11-11 2022-02-15 北京轨道交通路网管理有限公司 直播方法、装置、电子设备及计算机可读存储介质
CN114501042A (zh) * 2021-12-20 2022-05-13 阿里巴巴（中国）有限公司 跨境直播处理方法及电子设备
CN114727138B (zh) * 2022-03-31 2023-12-19 大众问问(北京)信息科技有限公司 商品信息处理方法、装置和计算机设备
WO2023219556A1 (en) * 2022-05-13 2023-11-16 Song Peng A system and method to manage a plurality of language audio streams
CN115022663A (zh) * 2022-06-15 2022-09-06 北京奇艺世纪科技有限公司 直播流的处理方法、装置、电子设备、以及介质
CN117395449B (zh) * 2023-12-08 2024-04-26 江西拓世智能科技股份有限公司 针对ai数字人直播内容差异化处理方法及处理装置
CN117714801A (zh) * 2023-12-14 2024-03-15 广东保伦电子股份有限公司 多人音视频互动直播数据交互方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1937609A (zh) * 2006-08-29 2007-03-28 华为技术有限公司 流媒体平台支持多音轨内容的方法、系统及流媒体服务器
CN103916692A (zh) * 2014-03-25 2014-07-09 小米科技有限责任公司 视频播放方法、装置及播放终端
CN105049950A (zh) * 2014-04-16 2015-11-11 索尼公司 显示信息的方法和系统
CN105340288A (zh) * 2013-06-17 2016-02-17 谷歌公司 增强的节目指南
CN205647778U (zh) * 2016-04-01 2016-10-12 安徽听见科技有限公司 一种智能会议系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070047520A1 (en) * 2005-08-31 2007-03-01 Byers Charles C Method for calling multimedia IP units about an impending emergency situation
US7806329B2 (en) * 2006-10-17 2010-10-05 Google Inc. Targeted video advertising
KR101526475B1 (ko) * 2007-06-29 2015-06-05 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 및 그 구동 방법
US8190118B2 (en) * 2008-03-26 2012-05-29 At&T Mobility Ii Llc Integration of emergency alert information
WO2010082780A2 (en) * 2009-01-18 2010-07-22 Lg Electronics Inc. Iptv and method for controlling emergency alert system widget in iptv
US20100299687A1 (en) * 2009-05-23 2010-11-25 Adrian Bertino-Clarke Peer-to-peer video content distribution
US8250598B2 (en) * 2009-10-13 2012-08-21 At&T Intellectual Property I, L.P. Method and apparatus for transmitting emergency alert messages
US8549569B2 (en) * 2011-06-17 2013-10-01 Echostar Technologies L.L.C. Alternative audio content presentation in a media content receiver
US10666961B2 (en) * 2016-01-08 2020-05-26 Qualcomm Incorporated Determining media delivery event locations for media transport
CN106713941A (zh) * 2017-01-04 2017-05-24 北京百度网讯科技有限公司 一种音视频直播的实现方法和服务器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1937609A (zh) * 2006-08-29 2007-03-28 华为技术有限公司 流媒体平台支持多音轨内容的方法、系统及流媒体服务器
CN105340288A (zh) * 2013-06-17 2016-02-17 谷歌公司 增强的节目指南
CN103916692A (zh) * 2014-03-25 2014-07-09 小米科技有限责任公司 视频播放方法、装置及播放终端
CN105049950A (zh) * 2014-04-16 2015-11-11 索尼公司 显示信息的方法和系统
CN205647778U (zh) * 2016-04-01 2016-10-12 安徽听见科技有限公司 一种智能会议系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110519635B (zh) * 2019-08-07 2021-10-08 河北远东通信系统工程有限公司 一种无线集群系统的音视频媒体流合流方法及系统
CN110519635A (zh) * 2019-08-07 2019-11-29 河北远东通信系统工程有限公司 一种无线集群系统的音视频媒体流合流方法及系统
CN110659387A (zh) * 2019-09-20 2020-01-07 上海掌门科技有限公司 用于提供视频的方法和设备
CN110636323A (zh) * 2019-10-15 2019-12-31 博科达(北京)科技有限公司 一种基于云平台的全球直播及视频点播系统及方法
CN110636323B (zh) * 2019-10-15 2021-11-23 博科达(北京)科技有限公司 一种基于云平台的全球直播及视频点播系统及方法
CN112788349A (zh) * 2019-11-01 2021-05-11 上海哔哩哔哩科技有限公司 数据流推送方法、系统、计算机设备及可读存储介质
CN113301357A (zh) * 2020-07-27 2021-08-24 阿里巴巴集团控股有限公司 直播方法、装置及电子设备
WO2022022370A1 (zh) * 2020-07-27 2022-02-03 阿里巴巴集团控股有限公司 直播方法、装置及电子设备
CN111918087A (zh) * 2020-08-07 2020-11-10 单伟 一种跨境直播购物平台
CN112839236A (zh) * 2020-12-31 2021-05-25 北京达佳互联信息技术有限公司 视频处理方法、装置、服务器及存储介质
CN113365093A (zh) * 2021-06-07 2021-09-07 广州虎牙科技有限公司 直播方法、装置、系统、电子设备及存储介质
CN113365093B (zh) * 2021-06-07 2022-09-06 广州虎牙科技有限公司 直播方法、装置、系统、电子设备及存储介质
CN113709509A (zh) * 2021-08-05 2021-11-26 中移（杭州）信息技术有限公司 音视频数据的传输方法、装置以及存储介质
CN113709579A (zh) * 2021-08-05 2021-11-26 中移（杭州）信息技术有限公司 音视频数据的传输方法、装置以及存储介质
CN114449299A (zh) * 2021-12-30 2022-05-06 广州盖盟达工业品有限公司 一种商品直播处理方法、装置、终端设备及存储介质
CN114449299B (zh) * 2021-12-30 2023-07-11 广州万物集工业互联网科技有限公司 一种商品直播处理方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
US20190364303A1 (en) 2019-11-28
CN108737845B (zh) 2019-09-10
US10743038B2 (en) 2020-08-11

Similar Documents

Publication Publication Date Title
CN108737845B (zh) 直播处理方法、装置、设备以及存储介质
CN103718528B (zh) 一种多终端协同播放多媒体文件的方法和相关装置及系统
CN104869467B (zh) 媒体播放中的信息输出方法、装置和系统
CN106921866A (zh) 辅助直播的多视频导播方法和设备
US20100146055A1 (en) Multiplexed Data Sharing
CN106686397A (zh) 一种多人网络直播方法、装置及其电子设备
CN109525851A (zh) 直播方法、装置和存储介质
CN109982148A (zh) 一种直播方法、装置、计算机设备与存储介质
CN106162357B (zh) 获取视频内容的方法及装置
US20130278826A1 (en) System, methods, and computer program products for multi-stream audio/visual synchronization
CN106534935A (zh) 硬件资源冲突的控制方法及装置
CN103915086A (zh) 信息处理的方法、装置和系统
KR100393417B1 (ko) 공연 실황을 중계하는 인터넷 방송 방법 및 그 장치
CN106792244A (zh) 视频直播方法及装置
CN107690072B (zh) 视频播放方法和装置
KR102163695B1 (ko) 인터넷을 통한 실시간 참여형 스트리밍 서비스 제공 방법 및 그 장치
CN110392273B (zh) 音视频处理的方法、装置、电子设备及存储介质
JP2003153114A (ja) テレビ番組上で呼称される名称をユーザの要求に応えて差し替えて提供するデジタル放送システム及びその方法
CN109002275B (zh) Ar背景音频处理方法、装置、ar设备和可读存储介质
CN106658155A (zh) 播放器切换播放方法及装置
CN109982101A (zh) 一种直播处理的方法、装置、设备和存储介质
US11431770B2 (en) Method, system, apparatus, and electronic device for managing data streams in a multi-user instant messaging system
JP5997500B2 (ja) 放送通信連携受信装置
CN110225384A (zh) 状态消息的推送方法、交互内容的切换方法、装置及设备
CN106340287A (zh) 一种手机歌曲点唱的处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant