CN112565656A - 视频通话方法、装置、系统、电子设备及存储介质 - Google Patents

视频通话方法、装置、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN112565656A
CN112565656A CN202011364552.2A CN202011364552A CN112565656A CN 112565656 A CN112565656 A CN 112565656A CN 202011364552 A CN202011364552 A CN 202011364552A CN 112565656 A CN112565656 A CN 112565656A
Authority
CN
China
Prior art keywords
user equipment
key
drm
data
encryption information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011364552.2A
Other languages
English (en)
Other versions
CN112565656B (zh
Inventor
杨昊
刘飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011364552.2A priority Critical patent/CN112565656B/zh
Publication of CN112565656A publication Critical patent/CN112565656A/zh
Application granted granted Critical
Publication of CN112565656B publication Critical patent/CN112565656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请公开了一种视频通话方法、装置、系统、电子设备及存储介质,涉及视频处理技术领域,第一用户设备采集音视频信息后生成携带关键数据的秘钥请求指令,将秘钥请求指令至DRM服务器,并接收DRM服务器发送的DRM秘钥,并基于DRM秘钥加密音视频数据,获得第一加密信息,基于指定传输协议加密第一加密信息和关键数据,获得第二加密信息,第一用户设备将第二加密信息发送至第二用户设备;第二用户设备基于指定传输协议解密第二加密信息获得第一加密信息和关键数据,根据关键数据从DRM服务器获取DRM秘钥,设备通过DRM秘钥解密所述第一加密信息,获得音视频数据,对音视频数据进行双重加密,保证其在传输过程中的安全性。

Description

视频通话方法、装置、系统、电子设备及存储介质
技术领域
本申请涉及视频处理技术领域,更具体地,涉及一种视频通话方法、装置、系统、电子设备及存储介质。
背景技术
当多个用户设备通过服务器进行视频通话时,例如视频会议、视频电话等,为了保证多个用户设备之间的通话内容的安全性,通常用户设备采用秘钥对通话内容进行加密。然而,在实际应用中,仍然存在盗用用户设备的秘钥的情况,因此,如何提高视频通话的安全性仍然是一个亟待解决的问题。
发明内容
鉴于上述问题,本申请提出了一种视频通话方法、装置、系统、电子设备及存储介质,能够解决上述问题。
第一方面,本申请实施例提供了一种视频通话方法,应用于视频通话系统的第一用户设备,所述视频通话系统还包括DRM服务器和第二用户设备,所述第一用户设备与所述第二用户设备连接,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,所述方法包括:采集视频通话中的音视频数据,并发送秘钥请求指令至所述DRM服务器,其中,所述秘钥请求指令携带有关键数据;接收所述DRM服务器基于所述第一用户设备发送的所述秘钥请求指令反馈的DRM秘钥;基于所述DRM秘钥加密所述音视频数据,获得第一加密信息;基于指定传输协议加密所述第一加密信息和所述关键数据,获得第二加密信息;将所述第二加密信息发送至所述第二用户设备,以使所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
第二方面,本申请实施例提供了一种视频通话方法,应用于视频通话系统的第二用户设备,所述视频通话系统还包括第一用户设备和DRM服务器,所述第二用户设备与所述第一用户设备连接,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,所述方法包括:
接收所述第一用户设备发送的第二加密信息,所述第二加密信息为所述第一用户设备基于指定传输协议对关键数据和基于DRM秘钥加密其采集的视频通话中的音视频数据获得的第一加密信息进行再加密获得,其中,所述DRM秘钥为所述第一用户设备根据所述关键数据从所述DRM服务器获取;基于所述指定传输协议解密所述第二加密信息,获得所述第一加密信息和所述关键数据;基于所述关键数据生成秘钥请求指令,并发送所述秘钥请求指令至所述DRM服务器;接收所述DRM服务器基于所述第二用户设备发送的秘钥请求指令反馈的所述DRM秘钥;通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
第三方面,本申请实施例提供了一种视频通话方法,应用于视频通话系统的DRM服务器,所述视频通话系统还包括第一用户设备和第二用户设备,所述DRM服务器分别与所述第一用户设备和所述第二用户设备连接,所述第一用户设备与所述第二用户设备连接,所述方法包括:接收所述第一用户设备发送的秘钥请求指令,其中,所述第一用户设备发送的所述秘钥请求指令携带关键数据;基于所述第一用户设备发送的所述秘钥请求指令生成DRM秘钥,并将所述DRM秘钥发送至所述第一用户设备,以使所述第一用户设备基于所述DRM秘钥加密其采集的通话视频中的音视频数据,获得第一加密信息,以及基于指定传输协议加密所述第一加密信息和所述关键数据,获得第二加密信息并发送至所述第二用户设备;接收所述第二用户设备发送的秘钥请求指令,其中,所述第二用户设备发送的所述秘钥请求指令携带所述关键数据,所述第二用户设备发送的所述秘钥请求指令携带的所述关键数据通过所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得;基于所述第二用户设备发送的所述秘钥请求指令生成所述DRM秘钥,并将所述DRM秘钥发送至所述第二用户设备,以使所述第二用户设备通过所述DRM秘钥解密第一加密信息,获得所述音视频数据,其中,所述第一加密信息为所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得。
第四方面,本申请实施例提供了一种视频通话方法,应用于视频通话系统的媒体服务器,所述视频通话系统还包括第一用户设备、DRM服务器和第二用户设备,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,所述第一用户设备、所述DRM服务器和所述第二用户设备均与所述媒体服务器连接,所述方法包括:接收所述第一用户设备采集的视频通话中的音视频数据,并发送秘钥请求指令至所述DRM服务器,其中,所述秘钥请求指令携带有关键数据;接收所述DRM服务器基于所述秘钥请求指令反馈的DRM秘钥;基于所述DRM秘钥加密所述音视频数据,获得第一加密信息;基于指定传输协议加密所述第一加密信息和所述关键数据,得到第二加密信息,并将所述第二加密信息发送至所述第二用户设备,以使所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
第五方面,本申请实施例提供了一种视频通话装置,应用于视频通话系统的第一用户设备,所述视频通话系统还包括DRM服务器和第二用户设备,所述第一用户设备与所述第二用户设备连接,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,所述装置包括:第一秘钥请求模块,采集视频通话中的音视频数据,并发送秘钥请求指令至所述DRM服务器,其中,所述秘钥请求指令携带有关键数据;第一秘钥接收模块,接收所述DRM服务器基于所述第一用户设备发送的所述秘钥请求指令反馈的DRM秘钥;第一加密模块,基于所述DRM秘钥加密所述音视频数据,获得第一加密信息;第二加密模块,用于基于指定传输协议加密所述第一加密信息和所述关键数据,获得第二加密信息;第一解密模块,用于将所述第二加密信息发送至所述第二用户设备,以使所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
第六方面,本申请实施例提供了一种视频通话装置,应用于视频通话系统的第二用户设备,所述视频通话系统还包括第一用户设备和DRM服务器,所述第二用户设备与所述第一用户设备连接,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,所述装置包括:信息获取模块,用于接收所述第一用户设备发送的第二加密信息,所述第二加密信息为所述第一用户设备基于指定传输协议对关键数据和基于DRM秘钥加密其采集的视频通话中的音视频数据获得的第一加密信息进行再加密获得,其中,所述DRM秘钥为所述第一用户设备根据所述关键数据从所述DRM服务器获取;第二解密模块,用于基于所述指定传输协议解密所述第二加密信息,获得所述第一加密信息和所述关键数据;第二秘钥请求模块,用于基于所述关键数据生成秘钥请求指令,并发送所述秘钥请求指令至所述DRM服务器;第二秘钥接收模块,用于接收所述DRM服务器基于所述第二用户设备发送的秘钥请求指令反馈的所述DRM秘钥;第三解密模块,用于通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
第七方面,本申请实施例提供了一种视频通话装置,应用于视频通话系统的DRM服务器,所述视频通话系统还包括第一用户设备和第二用户设备,所述第一用户设备与所述第二用户设备连接,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,所述装置包括:第一秘钥接收模块,用于接收所述第一用户设备发送的秘钥请求指令,其中,所述第一用户设备发送的所述秘钥请求指令携带关键数据;第一秘钥生成模块,用于基于所述第一用户设备发送的所述秘钥请求指令生成DRM秘钥,并将所述DRM秘钥发送至所述第一用户设备,以使所述第一用户设备基于所述DRM秘钥加密其采集的通话视频中的音视频数据,获得第一加密信息,以及基于指定传输协议加密所述第一加密信息和所述关键数据,获得第二加密信息并发送至所述第二用户设备;第二秘钥接收模块,用于接收所述第二用户设备发送的秘钥请求指令,其中,所述第二用户设备发送的所述秘钥请求指令携带所述关键数据,所述第二用户设备发送的所述秘钥请求指令携带的所述关键数据通过所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得;第二秘钥生成模块,用于基于所述第二用户设备发送的所述秘钥请求指令生成所述DRM秘钥,并将所述DRM秘钥发送至所述第二用户设备,以使所述第二用户设备通过所述DRM秘钥解密第一加密信息,获得所述音视频数据,其中,所述第一加密信息为所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得。
第八方面,本申请实施例提供了一种视频通话装置,应用于视频通话系统的媒体服务器,所述视频通话系统还包括第一用户设备、DRM服务器和第二用户设备,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,所述第一用户设备、所述DRM服务器和所述第二用户设备均与所述媒体服务器连接,所述装置包括:音视频数据接收模块,用于接收所述第一用户设备采集的视频通话中的音视频数据,并发送秘钥请求指令至所述DRM服务器,其中,所述秘钥请求指令携带有关键数据;第三秘钥接收模块,用于接收所述DRM服务器基于所述秘钥请求指令反馈的DRM秘钥;第三加密模块,用于基于所述DRM秘钥加密所述音视频数据,获得第一加密信息;第四加密模块,用于基于指定传输协议加密所述第一加密信息和所述关键数据,得到第二加密信息,并将所述第二加密信息发送至所述第二用户设备,以使所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
第九方面,本申请实施例提供了一种视频通话系统,包括:第一用户设备、第二用户设备和DRM服务器,所述第一用户设备与所述第二用户设备连接,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接;所述第一用户设备,用于采集视频通话中的音视频数据,并发送秘钥请求指令至所述DRM服务器,其中,所述秘钥请求指令携带有关键数据;所述DRM服务器,用于基于所述第一用户设备发送的所述秘钥请求指令反馈的DRM秘钥,并发送至所述第一用户设备;所述第一用户设备,用于基于所述DRM秘钥加密所述音视频数据,获得第一加密信息,并基于指定传输协议加密所述第一加密信息和所述关键数据,获得第二加密信息;所述第一用户设备,还用于将所述第二加密信息发送至所述第二用户设备;所述第二用户设备,用基于所述指定传输协议解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
第十方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述方法。
第十一方面,本申请实施例提供了一种计算机可读取存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述方法。
本申请提供一种视频通话方法、装置、系统、电子设备及存储介质,第一用户设备采集音视频信息后,生成携带关键数据的秘钥请求指令,并将秘钥请求指令至DRM服务器,DRM服务器依据秘钥请求指令生成DRM秘钥并发送至第一用户设备,第一用户设备基于DRM秘钥加密音视频数据,获得第一加密信息,再基于指定传输协议加密第一加密信息和关键数据,获得第二加密信息,第一用户设备将第二加密信息发送至第二用户设备;第二用户设备基于指定传输协议解密第二加密信息获得第一加密信息和关键数据,再根据关键数据从DRM服务器获取DRM秘钥,第二用户设备通过DRM秘钥解密所述第一加密信息,获得音视频数据,对音视频数据进行双重加密,保证了音视频数据在传输过程中的安全性。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种视频通话系统的示意图;
图2为本申请实施例提供的一种视频通话方法的时序图;
图3为本申请实施例提供的一种视频通话方法的流程图;
图4示出了本申请实施例提供的第一用户设备的WebRTC的架构示意图;
图5为本申请实施例提供的又一种视频通话方法的流程图;
图6为本申请实施例提供的另一种视频通话方法的流程图;
图7为本申请实施例提供的又一种视频通话系统的示意图;
图8为本申请实施例提供的又一种视频通话方法的时序图;
图9为本申请实施例提供的再一种视频通话方法的流程图;
图10为本申请实施例提供的一种视频通话装置的逻辑框图;
图11为本申请实施例提供的又一种视频通话装置的逻辑框图;
图12为本申请实施例提供的另一种视频通话装置的逻辑框图;
图13为本申请实施例提供的再一种视频通话装置的逻辑框图;
图14是本申请实施例的用于执行根据本申请实施例的视频通话方法的电子设备的框图;
图15是本申请实施例的用于保存或者携带实现根据本申请实施例的视频通话方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
当多个用户设备通过服务器进行视频通话时,例如视频会议、视频电话等,为了保证多个用户设备之间的通话内容的安全性,通常用户设备采用秘钥对通话内容进行加密。然而,在实际应用中,仍然存在盗用用户设备的秘钥的情况,因此,如何提高视频通话的安全性仍然是一个亟待解决的问题。
针对上述技术问题,发明人经过长期的研究发现,并提出了本申请提供的视频通话方法、装置、系统、电子设备及存储介质,通过对视频通话中的音视频数据进行双重加密,大幅度提高了音视频数据在传输过程中的安全性。其中,具体的视频通话方法在后续的实施例中进行详细的说明。
为了便于说明,本实施例示出了一种视频通话系统,用于在第一用户侧对音视频数据进行双重加密,第一用户将加密后音视频数据进行传输,保证了在加密后的音视频数据在视频通话系统的通信链路中的每个环节的安全性均较高,请参阅图1,视频通话系统100包括:第一用户设备110、媒体服务器120、DRM服务器130和第二用户设备140,第一用户设备110通过媒体服务器120与第二用户设备140连接,以进行视频通话。第一用户设备110和第二用户设备120均与DRM服务器130连接,以使第一用户设备110在DRM服务器获取DRM秘钥实现加解、以及使第二用户设备120在在DRM服务器获取DRM秘钥实现解密。
可选地,第一用户设备110与DRM服务器130之间可建立网络实时通信的通信连接。
其中,网络实时通信(Web Real-Time Communication,简称WebRTC)是google公司力推的一个开源项目,旨在给浏览器与手机或电脑的web应用提供简单的JavaScript接口,使其具备RTC(Real-Time Communications)实时通信能力。意味着开发者在支持WebRTC浏览器上开发web应用仅需简单的JavaScript语句就可以实现复杂的多媒体RTC功能,极大降低了开发难度和开发成本,W3C等组织正在制定WebRTC标准JavaScript API接口。WebRTC整个项目技术架构中,WebRTC底层提供了音视频多媒体的核心技术,包括音视频采集、编解码、网络传输、显示渲染等功能,同时提供Native C++API接口,供外部应用调用。浏览器所提供的WebRTC标准JavaScript API接口的最终也是通过内部调用WebRTC Native C++API接口实现。
DRM服务器130是基于数字版权加密保护技术(Digital Rights Management,简称DRM)的服务器,DRM服务器用于为第一用户设备110和第二用户设备120提供秘钥。
可选地,第一用户设备110可以为,但不限于手机、笔记本电脑、平板电脑、台式电脑等。第二用户设备120可以为,但不限于手机、笔记本电脑、平板电脑、台式电脑等。
在图1的基础上,本申请实施例提供一种视频通话方法,图2为本申请实施例提供的一种视频通话方法的时序图,请参阅图2,所述视频通话方法包括如下步骤:
步骤S101、第一用户设备采集视频通话中的音视频数据,并生成携带关键数据的秘钥请求指令。
步骤S102、第一用户设备发送秘钥请求指令至DRM服务器。
步骤S103、DRM服务器基于第一用户设备发送的秘钥请求指令反馈DRM秘钥至第一用户设备。
步骤S104、第一用户设备基于DRM秘钥加密音视频数据,获得第一加密信息。
步骤S105、第一用户设备基于指定传输协议加密第一加密信息和关键数据,获得第二加密信息。
上述步骤S101-步骤S105为第一用户设备基于DRM服务器反馈的DRM秘钥进行第一次加密,获得第一加密信息,再使用指定传输协议加密对第一加密信息进行再次加密,获得第二加密信息,保证了第二加密信息在视频通话系统的通信链路中的每一个节点传输时的安全性较高。
为了进一步保证安全性,第一用户可以实时对音视频数据进行加密,保证了在第二用户设备接收到的音视频信息均被加密,以确保无裸流(裸流即未加密的音视频信息)落盘。
步骤S106、第一用户设备发送第二加密信息至媒体服务器。
步骤S107、媒体服务器发送第二加密信息至第二用户设备。
步骤S108、第二用户设备基于指定传输协议解密第二加密信息,获得第一加密信息和关键数据。
步骤S109、第二用户设备生成携带关键数据的秘钥请求指令,并发送秘钥请求指令至DRM服务器。
步骤S110、DRM服务器基于第二用户设备发送的秘钥请求指令反馈DRM秘钥至第二用户设备。
步骤S111、第二用户设备基于DRM秘钥解密第一加密信息,获得音视频数据。
步骤S106-步骤S111为第二用户设备两次解密第二加密信息获得音视频数据。
需要说明的是,上述视频通话可以应用于网络直播、视频会议、视频电话、语音电话等场景。
如下,以视频通话方法应用于第一用户设备为例,请参阅图3,所述视频通话方法具体包括如下步骤:
步骤S210、采集视频通话中的音视频数据,并发送秘钥请求指令至所述DRM服务器,其中,所述秘钥请求指令携带有关键数据(keydata),为了提高视频通话的安全性,在每一次第一用户设备进行视频通话时,关键数据均不相同。
在一些实施方式中,本申请实施例中的第一用户设备可以为嵌入式系统,图4示出了本申请实施例提供的第一用户设备的WebRTC的架构示意图,请参阅图4,WebRTC的架构主要包括:硬件层、系统层和WebRTC核心库。其中,硬件层包括处理器、摄像头、麦克风和网卡,系统层包括编解码器(MediaCodec)和DRM系统,WebRTC核心库包括视频引擎、数据库、数字版权管理(Widevine)、音频引擎、实时传输协议(RTP/SRTP)和PlayRdeay(PlayRdeay是由微软公司设计的DRM产品)。
请继续参阅图4,第一用户设备包括麦克风和摄像头,通过麦克风采集第一用户在视频通话中的音频数据,并通过摄像头采集第一用户在视频通话中的图像数据;基于音频数据和图像数据,获得视频通话中的音视频数据。
需要说明的是,麦克风和摄像头可以根据应用场景进行选择性地开启,例如,当视频通话的应用场景为网络直播、视频会议、视频电话等时,需要同时采集音频数据和图像数据,因此麦克风和摄像头均开启;当视频通话的应用场景为语音电话时,可以仅开启麦克风。
可选地,音视频数据可以通过图4的编解码器进行压缩编码后再进行加密。
当第一用户设备采集到音视频数据后,生成秘钥请求指令,并通过第一用户设备的数据通道发送秘钥请求指令至DRM服务器以请求加密音视频数据的DRM秘钥。可选地,所述第一用户设备设置有第一WebRTC客户端,第一用户设备可以通过第一WebRTC客户端将秘钥请求指令发送至DRM服务器,或者,第一用户设备安装第一应用程序,可以通过第一应用程序发送秘钥请求指令至DRM服务器。
步骤S220、接收所述DRM服务器基于所述第一用户设备发送的所述秘钥请求指令反馈的DRM秘钥。
DRM服务器基于第一用户设备发送的秘钥请求指令,生成关键数据对应的DRM秘钥,并发送至第一用户设备。
为了提高视频通话的安全性,在同一次视频通话中,DRM服务器反馈的DRM秘钥也不相同,即使DRM秘钥被盗用,也无法解密加密后的音视频信息。
在一些实施方式中,根据第一用户设备发送的秘钥请求指令的时刻不同,DRM服务器反馈至第一用户设备的DRM秘钥不同。具体为,在第一时刻时,第一用户设备发送的携带第一时刻的秘钥请求指令值DRM服务器,DRM服务器基于秘钥请求指令反馈第一DRM秘钥。在第二时刻时,第一用户设备发送的携带第二时刻的秘钥请求指令值DRM服务器,DRM服务器基于秘钥请求指令反馈第二DRM秘钥。
在另一些实施方式中,DRM服务器按照预设时间间隔更新DRM秘钥,例如,DRM服务器每十分钟更新一次DRM秘钥。
步骤S230、基于所述DRM秘钥加密所述音视频数据,获得第一加密信息。
其中,基于DRM服务器反馈的DRM秘钥对音视频数据进行第一次加密,获得第一加密信息。通过DRM秘钥加密,对音视频数据进行加密保护,防止音视频数据被截取。
可选地,DRM秘钥可以在第一用户设备的加密通道或者可信区域加密音视频数据,提高音视频数据的安全性。
步骤S240、基于指定传输协议加密所述第一加密信息和所述关键数据,获得第二加密信息。
第一用户设备通过指定传输协议对第一加密信息进行再次加密,提高了音视频数据的安全性,同时,通过指定传输协议对关键数据进行加密,防止关键数据在传输过程中被截取。
可选地,指定传输协议可以为安全实时传输协议(Secure Real-time TransportProtocol,简称SRTP),在第一用户设备在采集音视频数据之前,第一用户设备发送握手请求至第二用户设备,第二用户设备基于握手请求生成握手信令,并将握手信令发送至第一用户设备,以进行网络协商,协商第一用户设备与第二用户设备的工作参数,例如,协商第一用户设备和第二用户设备加解密的方式为原生SRTP,可以理解的是,原生SRTP为预先存储于第一用户设备和第二用户设备的加解密方式,并且第一用户设备预先存储的原生SRTP和第二用户设备预先存储的原生SRTP相同。第一用户设备和第二用户设备协商的工作参数还包括:第一用户设备和第二用户设备分别支持的DRM类型为Widevine还是PlayReady,第一用户设备和第二用户设备分别支持的Widevine等级为L1还是L3等信息,当第一用户设备和第二用户设备支持的DRM类型相同,且类型的等级相同时,第一用户设备和第二用户设备才能进行对等的通信。或者,协商第一用户设备编码音视频数据的方式,以便第二用户设备能够解码第一用户设备编码的音视频数据,以在第二用户设备侧对音视频数据进行播放。
第一用户设备基于所述第一WebRTC客户端的原生SRTP加密所述第一加密信息和所述关键数据,获得第二加密信息,在一种实施方式中,原生SRTP可以为SRTP算法,第一WebRTC客户端基于SRTP算法加密第一加密信息和关键数据,获得第二加密信息。
同样的,DRM秘钥可以在第一用户设备的加密通道或者可信区域加密第一加密信息和关键数据,提高音视频数据的安全性。
步骤S250、将所述第二加密信息发送至所述第二用户设备,以使所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
可选地,所述视频通话系统还包括媒体服务器,第一用户设备将所述第二加密信息通过所述媒体服务器发送至所述第二用户设备。由于第二加密信息是将音视频数据依次通过DRM秘钥和原生SRTP双重加密后的信息,因此,第二用户设备无法直接读取其中的音视频数据,第二用户设备需要通过原生SRTP和DRM秘钥分别进行解密。
第一用户设备第一次解密时,第二用户设备预先存储的原生SRTP与第一用户预先存储的原生SRTP相同,在一些实施方式中,第二用户设备设置有第二WebRTC客户端,第二用户设备基于所述第二WebRTC客户端的原生SRTP解密所述第二加密信息获得所述第一加密信息和所述关键数据。在另一些实施方式中,第二用户设备安装有第二应用程序,第二用户设备基于第二应用程序的原生SRTP解密第二加密信息获得和关键数据。
由于第二用户设备第一次解密获得的第一加密信息仍为DRM秘钥加密后的信息,因此,第二用户设备仍无法直接读取音视频信息,第二用户设备需要通过DRM秘钥解密第一加密信息后,才能获得音视频信息,第二用户设备基于关键数据生成秘钥请求指令,并将秘钥请求指令发送至DRM服务器,DRM服务器接收第二用户设备发送的秘钥请求指令,发送DRM秘钥至第二用户设备,第二用户设备基于DRM秘钥解密第一加密信息获得音视频数据,在第二用户设备播放音视频数据,例如,在第二用户设备的第二WebRTC客户端或者第二应用程序播放音视频数据。
需要说明的是,上述视频通话可以应用于网络直播、视频会议时,第二用户设备的数量可以为多个。
在本实施例提供的视频通话方法,第一用户设备采集音视频信息后,生成携带关键数据的秘钥请求指令,并将秘钥请求指令至DRM服务器,DRM服务器依据秘钥请求指令生成DRM秘钥并发送至第一用户设备,第一用户设备基于DRM秘钥加密音视频数据,获得第一加密信息,再基于指定传输协议加密第一加密信息和关键数据,获得第二加密信息,第一用户设备将第二加密信息发送至第二用户设备;第二用户设备基于指定传输协议解密第二加密信息获得第一加密信息和关键数据,再根据关键数据从DRM服务器获取DRM秘钥,第二用户设备通过DRM秘钥解密所述第一加密信息,获得音视频数据,对音视频数据进行双重加密,保证了音视频数据在传输过程中的安全性。
如下,以视频通话方法应用于第二用户设备为例,请参阅图5,所述视频通话方法具体包括如下步骤:
步骤S310、接收所述第一用户设备发送的第二加密信息,所述第二加密信息为所述第一用户设备基于指定传输协议对关键数据和基于DRM秘钥加密其采集的视频通话中的音视频数据获得的第一加密信息进行再加密获得,其中,所述DRM秘钥为所述第一用户设备根据所述关键数据从所述DRM服务器获取。
可以理解的是,第二用户接收的第二加密信息经过第一用户设备双重加密。
步骤S320、基于所述指定传输协议解密所述第二加密信息,获得所述第一加密信息和所述关键数据。
第二用户设备通过指定传输协议对第二加密信息解密,其中,第二用户设备中指定传输协议与第一用户设备中指定传输协议相同,可选地,指定传输协议可以为SRTP,在第一用户设备在采集音视频数据之前,第一用户设备发送握手请求至第二用户设备,第二用户设备基于握手请求生成握手信令,并将握手信令发送至第一用户设备,以进行网络协商,协商第一用户设备与第二用户设备的工作参数,例如,协商第一用户设备和第二用户设备加解密的方式为原生SRTP,可以理解的是,原生SRTP为预先存储于第一用户设备和第二用户设备的加解密方式,并且第一用户设备预先存储的原生SRTP和第二用户设备预先存储的原生SRTP相同。第一用户设备和第二用户设备协商的工作参数还包括:第一用户设备和第二用户设备分别支持的DRM类型为Widevine还是PlayReady,第一用户设备和第二用户设备分别支持的Widevine等级为L1还是L3等信息,当第一用户设备和第二用户设备支持的DRM类型相同,且类型的等级相同时,第一用户设备和第二用户设备才能进行对等的通信。或者,协商第一用户设备编码音视频数据的方式,以便第二用户设备能够解码第一用户设备编码的音视频数据,以在第二用户设备侧对音视频数据进行播放。
第二用户设备基于第二用户设备的第二WebRTC客户端的原生SRTP解密第二加密信息,获得第一加密信息和关键数据。
可选地,为了提高安全性,第二用户设备可以在可信区域解密第二加密信息。
步骤S330、基于所述关键数据生成秘钥请求指令,并发送所述秘钥请求指令至所述DRM服务器。
其中,秘钥请求指令携带关键数据。
步骤S340、接收所述DRM服务器基于所述第二用户设备发送的秘钥请求指令反馈的所述DRM秘钥。
第二用户设备将秘钥请求指令发送至DRM服务器,DRM服务器基于第二用户设备发送的秘钥请求指令生成DRM秘钥,第二用户设备接收DRM服务器发送的DRM秘钥。可以理解的,在第二用户设备解密第一加密消息时,DRM服务器类似于授权中心,DRM服务器授予第二用户设备DRM秘钥后,第二用户设备才能基于DRM秘钥后解密第一加密消息,为了保证音视频数据的安全性,DRM服务器在授予DRM秘钥时需要对第二用户设备发送的秘钥请求指令进行校验,具体为,当第一用户设备与第二用户设备握手协商后,第一用户设备与第二用户设备建立通信连接,并且,将第一用户设备与第二用户设备进行绑定,并且由第一用户设备或者第二用户设备将第一用户设备与第二用户设备之间的绑定信息发送至DRM服务器,当第一用户设备基于携带关键数据的秘钥请求指令向DRM服务器请求DRM秘钥时,DRM服务器记录第一用户设备与关键数据之间的对应关系,当DRM服务器接收到第二用户设备发送的秘钥请求指令时,DRM服务器根据第二用户设备发送的秘钥请求中的关键数据,确定第一次基于关键数据请求DRM秘钥的设备是第一用户设备,再根据绑定信息,确定第二用户设备是与第一用户设备绑定的,当本次请求DRM秘钥的第一用户设备与第一次请求DRM秘钥的第一用户设备绑定时,确定第二用户设备的请求指令可信,发送DRM秘钥至第二用户设备。
步骤S350、通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
为了进一步保证音视频数据的安全,第二用户设备将所述第一加密信息存储于所述第二用户设备的可信区域,再通过所述DRM秘钥解密所述可信区域中的所述第一加密信息,获得所述通话视频。
可选地,通话视频可以在第二用户设备的第二WebRTC客户端或第二应用程序上播放。
在本实施例中,第二用户设备依次通过指定传输协议解密和DRM秘钥解密第二加密信息,获得通话视频,保证了视频通话在传输时的安全性。
如下,以视频通话方法应用于DRM服务器为例,请参阅图6,所述视频通话方法具体包括如下步骤:
步骤S410、接收所述第一用户设备发送的秘钥请求指令,其中,所述第一用户设备发送的所述秘钥请求指令携带关键数据。
步骤S420、基于所述第一用户设备发送的所述秘钥请求指令生成DRM秘钥,并将所述DRM秘钥发送至所述第一用户设备,以使所述第一用户设备基于所述DRM秘钥加密其采集的通话视频中的音视频数据,获得第一加密信息,以及基于指定传输协议加密所述第一加密信息和所述关键数据,获得第二加密信息并发送至所述第二用户设备。
步骤S430、接收所述第二用户设备发送的秘钥请求指令,其中,所述第二用户设备发送的所述秘钥请求指令携带所述关键数据,所述第二用户设备发送的所述秘钥请求指令携带的所述关键数据通过所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得。
步骤S440、基于所述第二用户设备发送的所述秘钥请求指令生成所述DRM秘钥,并将所述DRM秘钥发送至所述第二用户设备,以使所述第二用户设备通过所述DRM秘钥解密第一加密信息,获得所述音视频数据,其中,所述第一加密信息为所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得。
本实施例涉及的步骤,可以参见上述实施例,在此不再赘述。
本申请实施例还提供一种视频通话系统,为了提高对音视频数据的加密效率,第一用户设备将音视频数据发送至媒体服务器,由媒体服务器具备强大的计算能力,能快速的对音视频数据进行双重加密,提高了音视频数据在传输至第二用户设备过程中的安全性,图7为本申请实施例提供的又一种视频通话系统的示意图,请参阅图7,视频通话系统100包括:第一用户设备110、媒体服务器120、DRM服务器130和第二用户设备140,第一用户设备110和第二用户设备140均与DRM服务器130连接,第一用户设备110、DRM服务器130和第二用户设备140均与媒体服务器120连接。
在图7的基础上,本申请实施例提供另一种视频通话方法,图8为本申请实施例提供的又一种视频通话方法的时序图,请参阅图8,所述视频通话方法具体包括如下步骤:
步骤S501、第一用户设备发送视频通话中的音视频数据至媒体服务器。
步骤S502、媒体服务器发送携带关键数据的秘钥请求指令DRM服务器。
步骤S503、DRM服务器基于媒体服务器发送的秘钥请求指令反馈DRM秘钥至媒体服务器。
步骤S504、媒体服务器基于DRM秘钥加密音视频数据,获得第一加密信息。
步骤S505、媒体服务器基于指定传输协议加密第一加密信息和关键数据,获得第二加密信息。
步骤S506、媒体服务器发送第二加密信息至第二用户设备。
步骤S507、第二用户设备基于指定传输协议解密第二加密信息,获得第一加密信息和关键数据。
步骤S508、第二用户设备发送携带关键数据的秘钥请求指令至DRM服务器。
步骤S509、DRM服务器基于第二用户设备发送的秘钥请求指令反馈DRM秘钥。
步骤S510、第二用户设备基于DRM秘钥解密第一加密信息,获得音视频数据。
相对于图2,本实施例(图8)对音视频数据双重加密在媒体服务器中进行,其余的加密方式均与图2中的相同。
如下,以视频通话方法应用于媒体服务器为例,请参阅图9,所述视频通话方法具体包括如下步骤:
步骤S610、接收所述第一用户设备采集的视频通话中的音视频数据,并发送秘钥请求指令至所述DRM服务器,其中,所述秘钥请求指令携带有关键数据。
可选地,第一用户设备包括麦克风和摄像头,通过麦克风采集第一用户在视频通话中的音频数据,并通过摄像头采集第一用户在视频通话中的图像数据;基于音频数据和图像数据,获得视频通话中的音视频数据,第一用户设备将音视频数据发送至媒体服务器。
为了保证音视频数据在第一用户设备发送至媒体服务器时的安全性,可以将第一用户设备采集的音视频数据加密后,再发送至媒体服务器,具体地,所述接收所述第一用户设备采集的视频通话中的音视频数据,可以包括如下步骤:
步骤S611、接收所述第一用户设备发送的第三加密信息,其中,所述第三加密信息为所述第一用户设备基于所述指定传输协议加密所述音视频数据获得。
可选地,指定传输协议可以为SRTP,第一用户设备预先存储有原生SRTP,第一用户设备基于原生SRTP加密音视频数据,获得第三加密信息。
步骤S612、基于所述指定传输协议解密所述第三加密信息,获得所述音视频数据。
为了保证媒体服务器能够获取第三加密信息中的音视频数据,媒体服务器中用于解密的指定传输协议与第一用户设备中的用于加密的指定传输协议相同。可选地,指定传输协议可以为SRTP,媒体服务器预先存储有与第一用户设备相同的原生SRTP,媒体服务器基于原生SRTP解密第三加密信息,获得音视频数据。
步骤S620、接收所述DRM服务器基于所述秘钥请求指令反馈的DRM秘钥。其中,所述秘钥请求指令携带有关键数据。
步骤S630、基于所述DRM秘钥加密所述音视频数据,获得第一加密信息。
步骤S640、基于指定传输协议加密所述第一加密信息和所述关键数据,得到第二加密信息,并将所述第二加密信息发送至所述第二用户设备,以使所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
在本申请实施例中,步骤S620-步骤S640可以参阅前述实施例的步骤S210-步骤S250,在此不再赘述。
在本实施例中,由于媒体服务器具有较快的数据处理能力,通过媒体服务器对音视频数据进行双重加密获得第二加密信息,保证了音视频数据能够快速加密成功,以保证第二用户设备能够更快收到第二加密信息,降低了第二用户设备获取音视频数据的时延。
为实现上述方法类实施例,本实施例提供一种视频通话装置,应用于视频通话系统的第一用户设备,所述视频通话系统还包括DRM服务器和第二用户设备,所述第一用户设备与所述第二用户设备连接,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,请参阅图10,视频通话装置200包括:第一秘钥请求模块210、第一秘钥接收模块220、第一加密模块230、第二加密模块240和第一解密模块250。
第一秘钥请求模块210,采集视频通话中的音视频数据,并发送秘钥请求指令至所述DRM服务器,其中,所述秘钥请求指令携带有关键数据;
第一秘钥接收模块220,接收所述DRM服务器基于所述第一用户设备发送的所述秘钥请求指令反馈的DRM秘钥;
第一加密模块230,基于所述DRM秘钥加密所述音视频数据,获得第一加密信息;
第二加密模块240,用于基于指定传输协议加密所述第一加密信息和所述关键数据,获得第二加密信息;
第一解密模块250,用于将所述第二加密信息发送至所述第二用户设备,以使所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
可选地,第二加密模块240包括:加密子模块。
加密子模块,用于基于所述第一WebRTC客户端的原生SRTP加密第一加密信息和所述关键数据,获得第二加密信息。
第一解密模块250包括:解密子模块。
解密子模块,用于将所述第二加密信息发送至所述第二用户设备,以使所述第二用户设备基于所述第二WebRTC客户端的原生SRTP解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
可选地,所述第一用户设备包括麦克风和摄像头,第一秘钥请求模块210包括:音视频采集子模块和音视频数据获取子模块。
音视频采集子模块,用于通过所述麦克风采集视频通话中的音频数据,并通过所述摄像头采集所述视频通话中的图像数据;
音视频数据获取子模块,用于基于所述音频数据和所述图像数据,获得所述视频通话中的音视频数据。
可选地,视频通话装置300应用于视频通话系统的第二用户设备,所述视频通话系统还包括第一用户设备和DRM服务器,所述第二用户设备与所述第一用户设备连接,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,请参阅图11,所述视频通话装置300包括:信息获取模块310、第二解密模块320、第二秘钥请求模块330、第二秘钥接收模块340和第三解密模块350。
信息获取模块310,用于接收所述第一用户设备发送的第二加密信息,所述第二加密信息为所述第一用户设备基于指定传输协议对关键数据和基于DRM秘钥加密其采集的视频通话中的音视频数据获得的第一加密信息进行再加密获得,其中,所述DRM秘钥为所述第一用户设备根据所述关键数据从所述DRM服务器获取;
第二解密模块320,用于基于所述指定传输协议解密所述第二加密信息,获得所述第一加密信息和所述关键数据;
第二秘钥请求模块330,用于基于所述关键数据生成秘钥请求指令,并发送所述秘钥请求指令至所述DRM服务器;
第二秘钥接收模块340,用于接收所述DRM服务器基于所述第二用户设备发送的秘钥请求指令反馈的所述DRM秘钥;
第三解密模块350,用于通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
可选地,视频通话装置400应用于视频通话系统的DRM服务器,所述视频通话系统还包括第一用户设备和第二用户设备,所述第一用户设备与所述第二用户设备连接,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,请参阅图12,视频通话装置400包括:第一秘钥接收模块410、第一秘钥生成模块420、第二秘钥接收模块430和第二秘钥生成模块440。
第一秘钥接收模块410,用于接收所述第一用户设备发送的秘钥请求指令,其中,所述第一用户设备发送的所述秘钥请求指令携带关键数据;
第一秘钥生成模块420,用于基于所述第一用户设备发送的所述秘钥请求指令生成DRM秘钥,并将所述DRM秘钥发送至所述第一用户设备,以使所述第一用户设备基于所述DRM秘钥加密其采集的通话视频中的音视频数据,获得第一加密信息,以及基于指定传输协议加密所述第一加密信息和所述关键数据,获得第二加密信息并发送至所述第二用户设备;
第二秘钥接收模块430,用于接收所述第二用户设备发送的秘钥请求指令,其中,所述第二用户设备发送的所述秘钥请求指令携带所述关键数据,所述第二用户设备发送的所述秘钥请求指令携带的所述关键数据通过所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得;
第二秘钥生成模块440,用于基于所述第二用户设备发送的所述秘钥请求指令生成所述DRM秘钥,并将所述DRM秘钥发送至所述第二用户设备,以使所述第二用户设备通过所述DRM秘钥解密第一加密信息,获得所述音视频数据,其中,所述第一加密信息为所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得。
可选地,视频通话装置500应用于视频通话系统的媒体服务器,所述视频通话系统还包括第一用户设备、DRM服务器和第二用户设备,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,所述第一用户设备、所述DRM服务器和所述第二用户设备均与所述媒体服务器连接,请参阅图13,视频通话装置500包括:音视频数据接收模块510、第三秘钥接收模块520、第三加密模块530和第四加密模块540。
音视频数据接收模块510,用于接收所述第一用户设备采集的视频通话中的音视频数据,并发送秘钥请求指令至所述DRM服务器,其中,所述秘钥请求指令携带有关键数据;
第三秘钥接收模块520,用于接收所述DRM服务器基于所述秘钥请求指令反馈的DRM秘钥;
第三加密模块530,用于基于所述DRM秘钥加密所述音视频数据,获得第一加密信息;
第四加密模块540,用于基于指定传输协议加密所述第一加密信息和所述关键数据,得到第二加密信息,并将所述第二加密信息发送至所述第二用户设备,以使所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
可选地,本实施例提供一种视频通话系统,请参阅图1,视频通话系统100包括第一用户设备110、第二用户设备140和DRM服务器130,所述第一用户设备110与所述第二用户设备140连接,所述第一用户设备110和所述第二用户设备140均与所述DRM服务器130连接;
所述第一用户设备110,用于采集视频通话中的音视频数据,并发送秘钥请求指令至所述DRM服务器130,其中,所述秘钥请求指令携带有关键数据;
所述DRM服务器130,用于基于所述第一用户设备发送的所述秘钥请求指令反馈的DRM秘钥,并发送至所述第一用户设备110;
所述第一用户设备110,用于基于所述DRM秘钥加密所述音视频数据,获得第一加密信息,并基于指定传输协议加密所述第一加密信息和所述关键数据,获得第二加密信息;
所述第一用户设备110,还用于将所述第二加密信息发送至所述第二用户设备140;
所述第二用户设备140,用基于所述指定传输协议解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器130获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参阅图14,其示出了本申请实施例提供的一种电子设备600的结构框图。该电子设备600可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备600可以包括一个或多个如下部件:处理器610、存储器620以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器620中并被配置为由一个或多个处理器610执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
其中,处理器610可以包括一个或者多个处理核。处理器610利用各种接口和线路连接整个电子设备600内的各个部分,通过运行或执行存储在存储器620内的指令、程序、代码集或指令集,以及调用存储在存储器620内的数据,执行电子设备600的各种功能和处理数据。可选地,处理器610可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(ProgrammableLogic Array,PLA)中的至少一种硬件形式来实现。处理器610可集成中央处理器(CentralProcessing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责待显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器610中,单独通过一块通信芯片进行实现。
存储器620可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器620可用于存储指令、程序、代码、代码集或指令集。存储器620可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储移动终端600在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参阅图15,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质700中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。
综上所述,本申请提供一种视频通话方法、装置、系统、电子设备及存储介质,第一用户设备采集音视频信息后,生成携带关键数据的秘钥请求指令,并将秘钥请求指令至DRM服务器,DRM服务器依据秘钥请求指令生成DRM秘钥并发送至第一用户设备,第一用户设备基于DRM秘钥加密音视频数据,获得第一加密信息,再基于指定传输协议加密第一加密信息和关键数据,获得第二加密信息,第一用户设备将第二加密信息发送至第二用户设备;第二用户设备基于指定传输协议解密第二加密信息获得第一加密信息和关键数据,再根据关键数据从DRM服务器获取DRM秘钥,第二用户设备通过DRM秘钥解密所述第一加密信息,获得音视频数据,对音视频数据进行双重加密,保证了音视频数据在传输过程中的安全性。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种视频通话方法,其特征在于,应用于视频通话系统的第一用户设备,所述视频通话系统还包括DRM服务器和第二用户设备,所述第一用户设备与所述第二用户设备连接,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,所述方法包括:
采集视频通话中的音视频数据,并发送秘钥请求指令至所述DRM服务器,其中,所述秘钥请求指令携带有关键数据;
接收所述DRM服务器基于所述第一用户设备发送的所述秘钥请求指令反馈的DRM秘钥;
基于所述DRM秘钥加密所述音视频数据,获得第一加密信息;
基于指定传输协议加密所述第一加密信息和所述关键数据,获得第二加密信息;
将所述第二加密信息发送至所述第二用户设备,以使所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
2.根据权利要求1所述的方法,其特征在于,所述第一用户设备设置有第一WebRTC客户端,所述第二用户设备设置有第二WebRTC客户端,所述基于指定传输协议加密所述第一加密信息和所述关键数据,获得第二加密信息,包括:
基于所述第一WebRTC客户端的原生SRTP加密所述第一加密信息和所述关键数据,获得第二加密信息;
所述将所述第二加密信息发送至所述第二用户设备,以使所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据,包括:
将所述第二加密信息发送至所述第二用户设备,以使所述第二用户设备基于所述第二WebRTC客户端的原生SRTP解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
3.根据权利要求1所述的方法,其特征在于,所述视频通话系统还包括媒体服务器,所述第一用户设备和所述第二用户设备通过所述媒体服务器连接,所述将所述第二加密信息发送至所述第二用户设备,包括:
将所述第二加密信息通过所述媒体服务器发送至所述第二用户设备。
4.根据权利要求1所述的方法,其特征在于,所述第一用户设备包括麦克风和摄像头,所述采集视频通话中的音视频数据,包括:
通过所述麦克风采集视频通话中的音频数据,并通过所述摄像头采集所述视频通话中的图像数据;
基于所述音频数据和所述图像数据,获得所述视频通话中的音视频数据。
5.一种视频通话方法,其特征在于,应用于视频通话系统的第二用户设备,所述视频通话系统还包括第一用户设备和DRM服务器,所述第二用户设备与所述第一用户设备连接,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,所述方法包括:
接收所述第一用户设备发送的第二加密信息,所述第二加密信息为所述第一用户设备基于指定传输协议对关键数据和基于DRM秘钥加密其采集的视频通话中的音视频数据获得的第一加密信息进行再加密获得,其中,所述DRM秘钥为所述第一用户设备根据所述关键数据从所述DRM服务器获取;
基于所述指定传输协议解密所述第二加密信息,获得所述第一加密信息和所述关键数据;
基于所述关键数据生成秘钥请求指令,并发送所述秘钥请求指令至所述DRM服务器;
接收所述DRM服务器基于所述第二用户设备发送的秘钥请求指令反馈的所述DRM秘钥;
通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
6.一种视频通话方法,其特征在于,应用于视频通话系统的DRM服务器,所述视频通话系统还包括第一用户设备和第二用户设备,所述DRM服务器分别与所述第一用户设备和所述第二用户设备连接,所述第一用户设备与所述第二用户设备连接,所述方法包括:
接收所述第一用户设备发送的秘钥请求指令,其中,所述第一用户设备发送的所述秘钥请求指令携带关键数据;
基于所述第一用户设备发送的所述秘钥请求指令生成DRM秘钥,并将所述DRM秘钥发送至所述第一用户设备,以使所述第一用户设备基于所述DRM秘钥加密其采集的通话视频中的音视频数据,获得第一加密信息,以及基于指定传输协议加密所述第一加密信息和所述关键数据,获得第二加密信息并发送至所述第二用户设备;
接收所述第二用户设备发送的秘钥请求指令,其中,所述第二用户设备发送的所述秘钥请求指令携带所述关键数据,所述第二用户设备发送的所述秘钥请求指令携带的所述关键数据通过所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得;
基于所述第二用户设备发送的所述秘钥请求指令生成所述DRM秘钥,并将所述DRM秘钥发送至所述第二用户设备,以使所述第二用户设备通过所述DRM秘钥解密第一加密信息,获得所述音视频数据,其中,所述第一加密信息为所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得。
7.一种视频通话方法,其特征在于,应用于视频通话系统的媒体服务器,所述视频通话系统还包括第一用户设备、DRM服务器和第二用户设备,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,所述第一用户设备、所述DRM服务器和所述第二用户设备均与所述媒体服务器连接,所述方法包括:
接收所述第一用户设备采集的视频通话中的音视频数据,并发送秘钥请求指令至所述DRM服务器,其中,所述秘钥请求指令携带有关键数据;
接收所述DRM服务器基于所述秘钥请求指令反馈的DRM秘钥;
基于所述DRM秘钥加密所述音视频数据,获得第一加密信息;
基于指定传输协议加密所述第一加密信息和所述关键数据,得到第二加密信息,并将所述第二加密信息发送至所述第二用户设备,以使所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
8.根据权利要求7所述的方法,其特征在于,所述接收所述第一用户设备采集的视频通话中的音视频数据,包括:
接收所述第一用户设备发送的第三加密信息,其中,所述第三加密信息为所述第一用户设备基于所述指定传输协议加密所述音视频数据获得;
基于所述指定传输协议解密所述第三加密信息,获得所述音视频数据。
9.一种视频通话装置,其特征在于,应用于视频通话系统的第一用户设备,所述视频通话系统还包括DRM服务器和第二用户设备,所述第一用户设备与所述第二用户设备连接,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,所述装置包括:
第一秘钥请求模块,采集视频通话中的音视频数据,并发送秘钥请求指令至所述DRM服务器,其中,所述秘钥请求指令携带有关键数据;
第一秘钥接收模块,接收所述DRM服务器基于所述第一用户设备发送的所述秘钥请求指令反馈的DRM秘钥;
第一加密模块,基于所述DRM秘钥加密所述音视频数据,获得第一加密信息;
第二加密模块,用于基于指定传输协议加密所述第一加密信息和所述关键数据,获得第二加密信息;
第一解密模块,用于将所述第二加密信息发送至所述第二用户设备,以使所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
10.一种视频通话装置,其特征在于,应用于视频通话系统的第二用户设备,所述视频通话系统还包括第一用户设备和DRM服务器,所述第二用户设备与所述第一用户设备连接,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,所述装置包括:
信息获取模块,用于接收所述第一用户设备发送的第二加密信息,所述第二加密信息为所述第一用户设备基于指定传输协议对关键数据和基于DRM秘钥加密其采集的视频通话中的音视频数据获得的第一加密信息进行再加密获得,其中,所述DRM秘钥为所述第一用户设备根据所述关键数据从所述DRM服务器获取;
第二解密模块,用于基于所述指定传输协议解密所述第二加密信息,获得所述第一加密信息和所述关键数据;
第二秘钥请求模块,用于基于所述关键数据生成秘钥请求指令,并发送所述秘钥请求指令至所述DRM服务器;
第二秘钥接收模块,用于接收所述DRM服务器基于所述第二用户设备发送的秘钥请求指令反馈的所述DRM秘钥;
第三解密模块,用于通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
11.一种视频通话装置,其特征在于,应用于视频通话系统的DRM服务器,所述视频通话系统还包括第一用户设备和第二用户设备,所述第一用户设备与所述第二用户设备连接,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,所述装置包括:
第一秘钥接收模块,用于接收所述第一用户设备发送的秘钥请求指令,其中,所述第一用户设备发送的所述秘钥请求指令携带关键数据;
第一秘钥生成模块,用于基于所述第一用户设备发送的所述秘钥请求指令生成DRM秘钥,并将所述DRM秘钥发送至所述第一用户设备,以使所述第一用户设备基于所述DRM秘钥加密其采集的通话视频中的音视频数据,获得第一加密信息,以及基于指定传输协议加密所述第一加密信息和所述关键数据,获得第二加密信息并发送至所述第二用户设备;
第二秘钥接收模块,用于接收所述第二用户设备发送的秘钥请求指令,其中,所述第二用户设备发送的所述秘钥请求指令携带所述关键数据,所述第二用户设备发送的所述秘钥请求指令携带的所述关键数据通过所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得;
第二秘钥生成模块,用于基于所述第二用户设备发送的所述秘钥请求指令生成所述DRM秘钥,并将所述DRM秘钥发送至所述第二用户设备,以使所述第二用户设备通过所述DRM秘钥解密第一加密信息,获得所述音视频数据,其中,所述第一加密信息为所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得。
12.一种视频通话装置,其特征在于,应用于视频通话系统的媒体服务器,所述视频通话系统还包括第一用户设备、DRM服务器和第二用户设备,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接,所述第一用户设备、所述DRM服务器和所述第二用户设备均与所述媒体服务器连接,所述装置包括:
音视频数据接收模块,用于接收所述第一用户设备采集的视频通话中的音视频数据,并发送秘钥请求指令至所述DRM服务器,其中,所述秘钥请求指令携带有关键数据;
第三秘钥接收模块,用于接收所述DRM服务器基于所述秘钥请求指令反馈的DRM秘钥;
第三加密模块,用于基于所述DRM秘钥加密所述音视频数据,获得第一加密信息;
第四加密模块,用于基于指定传输协议加密所述第一加密信息和所述关键数据,得到第二加密信息,并将所述第二加密信息发送至所述第二用户设备,以使所述第二用户设备基于所述指定传输协议解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
13.一种视频通话系统,其特征在于,包括:第一用户设备、第二用户设备和DRM服务器,所述第一用户设备与所述第二用户设备连接,所述第一用户设备和所述第二用户设备均与所述DRM服务器连接;
所述第一用户设备,用于采集视频通话中的音视频数据,并发送秘钥请求指令至所述DRM服务器,其中,所述秘钥请求指令携带有关键数据;
所述DRM服务器,用于基于所述第一用户设备发送的所述秘钥请求指令反馈的DRM秘钥,并发送至所述第一用户设备;
所述第一用户设备,用于基于所述DRM秘钥加密所述音视频数据,获得第一加密信息,并基于指定传输协议加密所述第一加密信息和所述关键数据,获得第二加密信息;
所述第一用户设备,还用于将所述第二加密信息发送至所述第二用户设备;
所述第二用户设备,用基于所述指定传输协议解密所述第二加密信息获得所述第一加密信息和所述关键数据,以及根据所述关键数据从所述DRM服务器获取所述DRM秘钥,通过所述DRM秘钥解密所述第一加密信息,获得所述音视频数据。
14.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-8任一项所述的方法。
15.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-8任一项所述的方法。
CN202011364552.2A 2020-11-27 2020-11-27 视频通话方法、装置、系统、电子设备及存储介质 Active CN112565656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011364552.2A CN112565656B (zh) 2020-11-27 2020-11-27 视频通话方法、装置、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011364552.2A CN112565656B (zh) 2020-11-27 2020-11-27 视频通话方法、装置、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112565656A true CN112565656A (zh) 2021-03-26
CN112565656B CN112565656B (zh) 2023-05-23

Family

ID=75045212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011364552.2A Active CN112565656B (zh) 2020-11-27 2020-11-27 视频通话方法、装置、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112565656B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220247730A1 (en) * 2021-01-29 2022-08-04 Apple Inc. Electronic conferencing
FR3125669A3 (fr) * 2021-07-26 2023-01-27 Streamwide Chiffrement de communications

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101080896A (zh) * 2004-12-16 2007-11-28 纳格拉影像股份有限公司 在本地网络中传输数字数据的方法
US20080104392A1 (en) * 2006-10-26 2008-05-01 Fujitsu Limited Information access system, reader/writer device and contactless information storage device
US9043827B1 (en) * 2009-12-16 2015-05-26 Prime Research Alliance E, Inc. Method and system for providing conditional access to encrypted content
CN105262772A (zh) * 2015-11-06 2016-01-20 腾讯科技(深圳)有限公司 一种数据传输方法、系统及相关装置
CN105429753A (zh) * 2015-12-30 2016-03-23 宇龙计算机通信科技(深圳)有限公司 提高VoLTE通信安全性的语音数据方法、系统及移动终端
CN107145769A (zh) * 2017-03-31 2017-09-08 华为技术有限公司 一种数字版权管理drm方法、设备及系统
CN107395603A (zh) * 2017-07-28 2017-11-24 移康智能科技(上海)股份有限公司 控制指令传输的加密、解密方法、终端设备/服务器
CN107426521A (zh) * 2016-05-24 2017-12-01 中兴通讯股份有限公司 一种视频通话方法及终端
CN107659829A (zh) * 2017-11-06 2018-02-02 网宿科技股份有限公司 一种视频加密的方法和系统
CN108366296A (zh) * 2018-03-08 2018-08-03 四川泰立科技股份有限公司 视频加密方法及装置
US10129221B1 (en) * 2016-07-05 2018-11-13 Uber Technologies, Inc. Transport facilitation system implementing dual content encryption
CN109951844A (zh) * 2019-01-31 2019-06-28 维沃移动通信有限公司 一种信息保护方法和装置
CN111510745A (zh) * 2020-03-27 2020-08-07 曹新 一种互联网视频数据加密传输方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101080896A (zh) * 2004-12-16 2007-11-28 纳格拉影像股份有限公司 在本地网络中传输数字数据的方法
US20080104392A1 (en) * 2006-10-26 2008-05-01 Fujitsu Limited Information access system, reader/writer device and contactless information storage device
US9043827B1 (en) * 2009-12-16 2015-05-26 Prime Research Alliance E, Inc. Method and system for providing conditional access to encrypted content
CN105262772A (zh) * 2015-11-06 2016-01-20 腾讯科技(深圳)有限公司 一种数据传输方法、系统及相关装置
CN105429753A (zh) * 2015-12-30 2016-03-23 宇龙计算机通信科技(深圳)有限公司 提高VoLTE通信安全性的语音数据方法、系统及移动终端
CN107426521A (zh) * 2016-05-24 2017-12-01 中兴通讯股份有限公司 一种视频通话方法及终端
US10129221B1 (en) * 2016-07-05 2018-11-13 Uber Technologies, Inc. Transport facilitation system implementing dual content encryption
CN107145769A (zh) * 2017-03-31 2017-09-08 华为技术有限公司 一种数字版权管理drm方法、设备及系统
CN107395603A (zh) * 2017-07-28 2017-11-24 移康智能科技(上海)股份有限公司 控制指令传输的加密、解密方法、终端设备/服务器
CN107659829A (zh) * 2017-11-06 2018-02-02 网宿科技股份有限公司 一种视频加密的方法和系统
CN108366296A (zh) * 2018-03-08 2018-08-03 四川泰立科技股份有限公司 视频加密方法及装置
CN109951844A (zh) * 2019-01-31 2019-06-28 维沃移动通信有限公司 一种信息保护方法和装置
CN111510745A (zh) * 2020-03-27 2020-08-07 曹新 一种互联网视频数据加密传输方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BORIS GROZEV; EMIL IVOV; ARNAUD BUDKIEWICZ: "PERC double media encryption for WebRTC 1.0 sender simulcast", 《2017 PRINCIPLES, SYSTEMS AND APPLICATIONS OF IP TELECOMMUNICATIONS (IPTCOMM)》 *
相佳佳等: "使用匿名通信的双通道匿名在线会议方案", 《小型微型计算机系统》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220247730A1 (en) * 2021-01-29 2022-08-04 Apple Inc. Electronic conferencing
FR3125669A3 (fr) * 2021-07-26 2023-01-27 Streamwide Chiffrement de communications

Also Published As

Publication number Publication date
CN112565656B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN108965302B (zh) 媒体数据传输系统、方法、装置及存储介质
US20200236408A1 (en) Reducing time to first encrypted frame in a content stream
EP2835933B1 (en) Method, device and system for implementing media data processing
US20080216177A1 (en) Contents Distribution System
US20170171166A1 (en) Anti-hotlinking method and electronic device
EP3231182A1 (en) Secure media player
CN112565656B (zh) 视频通话方法、装置、系统、电子设备及存储介质
CN110611830A (zh) 一种视频处理方法、装置、设备及介质
CN103414733A (zh) Hls流媒体的播放方法及系统
CN115065487B (zh) 隐私保护云计算方法、保护金融隐私数据的云计算方法
CN106209896B (zh) 基于音视频格式的流媒体加密方法和模块
CN113905258A (zh) 视频播放方法、网络设备以及存储介质
WO2024032289A1 (zh) 视频播放方法和系统、视频安全平台、通信设备
KR20140051483A (ko) 오브젝트 특성에 따라 적응적으로 화면 정보 데이터를 보호하는 방법 및 장치
CN112804058A (zh) 一种会议数据加解密方法、装置、存储介质及电子设备
CN109600631B (zh) 视频文件的加密及公布方法与装置
TW201640392A (zh) 實現數位版權管理的方法、客戶端及系統
KR101701625B1 (ko) 암호화된 컨텐츠의 복호화 키를 안전하게 획득하여 컨텐츠를 재생하기 위한 방법 및 시스템
CN113051592A (zh) 文件加密方法、装置、电子设备及存储介质
CN106534895B (zh) 一种加密多媒体文件的播放方法与终端
CN110875820A (zh) 多媒体内容保护密钥的管理方法及系统、密钥代理装置
CN112188308B (zh) 一种加密视频文件库的生成方法及装置
CN115002089B (zh) 流媒体传输方法、装置、电子设备及存储介质
CN111741374B (zh) 获取白盒查找表的方法、装置、电子设备、存储介质及服务端
US20240095314A1 (en) Distributed Digital Rights Management (DRM) Protection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant