CN107294968B - 一种音视频数据的监控方法和系统 - Google Patents

一种音视频数据的监控方法和系统 Download PDF

Info

Publication number
CN107294968B
CN107294968B CN201710478255.2A CN201710478255A CN107294968B CN 107294968 B CN107294968 B CN 107294968B CN 201710478255 A CN201710478255 A CN 201710478255A CN 107294968 B CN107294968 B CN 107294968B
Authority
CN
China
Prior art keywords
audio
key
video data
terminal
receiving terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710478255.2A
Other languages
English (en)
Other versions
CN107294968A (zh
Inventor
冯巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201710478255.2A priority Critical patent/CN107294968B/zh
Publication of CN107294968A publication Critical patent/CN107294968A/zh
Application granted granted Critical
Publication of CN107294968B publication Critical patent/CN107294968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/06—Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1045—Proxies, e.g. for session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种音视频数据的监控方法和装置，该方法包括：接收发送终端和接收终端的信令控制数据，将信令控制数据中的公钥指纹均替换为转发服务器的公钥指纹，以及将信令控制数据中的转发地址的优先级设置为最高；在发送终端和接收终端依据修改后的信令控制数据建立经过转发服务器的传输通道之后，将公钥指纹在发送终端和接收终端处作公钥指纹认证，认证通过后，在发送终端与转发服务器之间以及接收终端与转发服务器之间作密钥协商，得到第一密钥对；接收来自发送终端的第一音视频数据密文，采用第一密钥对对第一音视频数据密文解密，得到音视频数据明文并传输至监控服务器。本发明能够实现对音视频数据的有效监控。

Description

一种音视频数据的监控方法和系统
技术领域
本发明涉及音视频监控技术领域，特别是涉及一种音视频数据的监控方法和系统。
背景技术
随着智能设备和网络技术的不断发展，基于网页实时通信(Web Real-TimeCommunication，WebRTC)技术的音视频通话得到越来越广泛的应用。在WebRTC框架下，通话双方每次通话时首先通过DTLS(Datagram Transport Layer Security，数据包传输层安全性)协议来协商加密密钥，然后利用此密钥对音视频数据进行加密，通过SRTP(SecureReal-time Transport Protocol，安全实时传输)协议将数据传输到对端。此技术具有较高的安全性及隐私性。
但在某些情况下，需要配合网络安全部门对特定的通话过程进行备案、分析或者监控，以避免服务被诈骗集团或者暴恐分子利用，给社会造成危害。由于上述的WebRTC的加密特性，使得即使是视频通话服务提供商也难以获取到通话的原始内容。而且在绝大多数(例如，90％以上)的情况下，通话双方是基于P2P(Peer-to-Peer，点对点)的方式进行通话，音视频数据是不经过视频通话服务提供商的服务器的，这进一步给音视频数据监控增加了难度。
由此可见，相关技术中的音视频数据的传输方案尚无法实现对原始音频视频数据的监控管理。
发明内容
本发明提供了一种视频数据的监控方法和系统，以解决相关技术中的音视频数据的传输方案尚无法实现对原始音频视频数据的监控管理的问题。
为了解决上述问题，根据本发明的一个方面，本发明公开了一种视频数据的监控方法，包括：
接收分别来自于发送终端和接收终端的两组信令控制数据，其中，每组所述信令控制数据包括：本地IP地址、外网IP地址、转发地址以及公钥指纹；
将每组所述信令控制数据中的公钥指纹均替换为转发服务器的公钥指纹，以及设置每组所述信令控制数据中的转发地址的优先级，其中，每组信令控制数据中的转发地址设置后的优先级高于各自本地IP地址和外网IP地址的优先级；
将修改后的来自于所述发送终端的所述信令控制数据发送至所述接收终端，将修改后的来自于所述接收终端的信令控制数据发送至所述发送终端；
在所述发送终端和所述接收终端依据修改后的每组信令控制数据中的本地IP地址、外网IP地址、转发地址，建立所述发送终端和所述接收终端之间且经过所述转发服务器的音视频数据传输通道之后，将所述转发服务器的公钥指纹分别发送至所述发送终端和所述接收终端以分别进行公钥指纹认证；
在所述发送终端和所述接收终端均对所述转发服务器的公钥指纹认证通过之后，在所述发送终端与所述转发服务器之间进行密钥协商，得到第一密钥对；
通过所述音视频数据传输通道接收来自所述发送终端的第一音视频数据密文，采用所述第一密钥对对所述第一音视频数据密文解密，得到音视频数据明文并传输至监控服务器。
可选地，所述接收分别来自于发送终端和接收终端的两组信令控制数据的步骤之前，所述方法还包括：
预先接收需要进行音视频数据监控的终端的账号信息以及转发服务器的公钥指纹；
利用所述账号信息确定所述发送终端和所述接收终端。
可选地，所述第一密钥对包括所述发送终端的第一密钥和所述转发服务器的第二密钥，其中，所述第一密钥与所述第二密钥为一对配对密钥，所述采用所述第一密钥对对所述第一音视频数据密文解密，得到音视频数据明文的步骤，包括：
采用所述第二密钥对经过所述第一密钥加密后的所述第一音视频数据密文解密，得到音视频数据明文。
可选地，所述在所述发送终端和所述接收终端均对所述转发服务器的公钥指纹认证通过之后，所述方法还包括：
在所述接收终端与所述转发服务器之间进行密钥协商，得到第二密钥对；
可选地，所述通过所述音视频数据传输通道接收来自所述发送终端的第一音视频数据密文，采用所述第一密钥对对所述第一音视频数据密文解密，得到音视频数据明文并传输至监控服务器之后，所述方法还包括：
采用所述第二密钥对所述音视频数据明文加密，得到第二音视频数据密文，通过所述音视频数据传输通道将所述第二音视频数据密文发送至所述接收终端。
可选地，所述第二密钥对包括所述接收终端的第三密钥和所述转发服务器的第四密钥，其中，所述第三密钥和所述第四密钥为一对配对密钥，所述采用所述第二密钥对所述音视频数据明文加密，得到第二音视频数据密文的步骤，包括：
采用所述第四密钥对所述音视频数据明文加密，得到第二音视频数据密文，使得所述接收终端能够采用所述第三密钥对所述第二音视频数据密文解密。
根据本发明的另一方面，本发明还公开了一种视频数据的监控系统，包括：
接收模块，用于接收分别来自于发送终端和接收终端的两组信令控制数据，其中，每组所述信令控制数据包括：本地IP地址、外网IP地址、转发地址以及公钥指纹；
修改模块，用于将每组所述信令控制数据中的公钥指纹均替换为转发服务器的公钥指纹，以及设置每组所述信令控制数据中的转发地址的优先级，其中，每组信令控制数据中的转发地址设置后的优先级高于各自本地IP地址和外网IP地址的优先级；
发送模块，用于将修改后的来自于所述发送终端的所述信令控制数据发送至所述接收终端，以及将修改后的来自于所述接收终端的信令控制数据发送至所述发送终端；
认证模块，用于在所述发送终端和所述接收终端依据修改后的每组信令控制数据中的本地IP地址、外网IP地址、转发地址，建立所述发送终端和所述接收终端之间且经过所述转发服务器的音视频数据传输通道之后，将所述转发服务器的公钥指纹分别发送至所述发送终端和所述接收终端以分别进行公钥指纹认证；
协商模块，用于在所述发送终端和所述接收终端均对所述转发服务器的公钥指纹认证通过之后，在所述发送终端与所述转发服务器之间进行密钥协商，得到第一密钥对；
解密模块，用于通过所述音视频数据传输通道接收来自所述发送终端的第一音视频数据密文，采用所述第一密钥对对所述第一音视频数据密文解密，得到音视频数据明文并传输至监控服务器。
可选地，所述系统还包括：
预先接收模块，用于预先接收需要进行音视频数据监控的终端的账号信息以及转发服务器的公钥指纹；
确定模块，用于利用所述账号信息确定所述发送终端和所述接收终端。
可选地，所述第一密钥对包括所述发送终端的第一密钥和所述转发服务器的第二密钥，其中，所述第一密钥与所述第二密钥为一对配对密钥，所述解密模块包括：
解密子模块，用于采用所述第二密钥对经过所述第一密钥加密后的所述第一音视频数据密文解密，得到音视频数据明文。
可选地，所述协商模块，还用于在所述接收终端与所述转发服务器之间进行密钥协商，得到第二密钥对；
可选地，所述系统还包括：
加密模块，用于采用所述第二密钥对所述音视频数据明文加密，得到第二音视频数据密文，通过所述音视频数据传输通道将所述第二音视频数据密文发送至所述接收终端。
可选地，所述第二密钥对包括所述接收终端的第三密钥和所述转发服务器的第四密钥，其中，所述第三密钥和所述第四密钥为一对配对密钥，所述加密模块包括：
加密子模块，用于采用所述第四密钥对所述音视频数据明文加密，得到第二音视频数据密文，使得所述接收终端能够采用所述第三密钥对所述第二音视频数据密文解密。
与现有技术相比，本发明包括以下优点：
本发明通过将发送终端和接收终端的转发地址的优先级设置为地址中的最高，从而可以使发送终端与接收终端之间的数据传输通道经过转发服务器；并通过将发送终端和接收终端交互的公钥指纹替换为转发服务器的公钥指纹，从而可以使转发服务器在数据传输通道上进行握手认证时通过与两个终端之间的握手认证，成为中间人；进而作为转发服务器的中间人就可以与两个终端分别协商出对传递数据的密钥，从而在数据传输过程中截取两个终端之间传递的音视频数据进行监控管理，而又不影响两个终端之间的数据传输，不会被两个终端检测到数据的截取过程。
附图说明
图1是本发明的一种音视频数据的监控方法实施例的步骤流程图；
图2是本发明的又一种音视频数据的监控方法实施例的数据流程图；
图3是本发明的一种音视频数据的监控系统实施例的系统架构图；
图4是本发明的一种音视频数据的监控系统实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本申请发明人在实现本申请的过程中发现，现有技术的音视频数据的传输方案中，数据的传输是采用对等网络(P2P)方式的，即，加密的音视频数据是不经过转发服务器器端的。发明人发现如果需要使音视频数据经过服务器端，可以利用WebRTC中的ICE协议中的优先级机制，将转发地址的优先级设为最高，使ICE协议在选择通话连接时，优先选择relay的连接方式，即通话数据的传输经过转发(Relay)服务器；
此外，发明人还发现音视频数据是按照SRTP协议加密后进行传输的，因此，转发服务器端还需要获取到加密的密钥。为此，发明人采用的解决方案是：转发服务器可以伪装成中间人，分别与通话双方进行密钥协商，从而获取到对音视频数据进行加解密的密钥；
进一步的，发明人发现，用于对音视频数据进行加解密的密钥是利用DTLS协议来协商的。而转发服务器作为中间人(Man-in-Middle)如果想要获取到密钥，则需要通过通话双方的认证。为此，发明人采用的解决方案是：在信令服务器在传递双方公钥指纹的时候，将其替换成转发服务器的公钥签名指纹，以通过DTLS握手阶段双方的认证过程。
下面参照图1所示出的本发明的一种音视频数据的监控方法实施例的步骤流程图来对发明人的改进方案做出详细阐述，其中，该方法具体可以包括如下步骤：
步骤201，接收分别来自于发送终端和接收终端的两组信令控制数据；
其中，每组所述信令控制数据包括：本地IP地址、外网IP地址、转发地址以及公钥指纹；
其中，所述公钥指纹为对相应终端的公钥作签名处理后的数据，也即，发送终端侧的公钥指纹为对发送终端侧的公钥作签名处理后的数据，接收终端侧侧公钥指纹为对接收终端侧的公钥作签名处理后的数据。
其中，在具体应用时，签名处理可以是采用哈希算法提取公钥的摘要，再使用与公钥配对的私钥对摘要加密，得到公钥指纹。
步骤202，将每组所述信令控制数据中的公钥指纹均替换为转发服务器的公钥指纹，以及设置每组所述信令控制数据中的转发地址的优先级，其中，每组信令控制数据中的转发地址设置后的优先级高于各自本地IP地址和外网IP地址的优先级；
以发送终端的信令控制数据为例，本地IP地址、外网IP地址和转发地址都有优先级，本步骤中可以将转发地址的优先级设置为在这三个地址中最高；而接收终端的信令控制数据的转发地址的优先级的设置方式同理，在此不再赘述。
步骤203，将修改后的来自于所述发送终端的所述信令控制数据发送至所述接收终端，将修改后的来自于所述接收终端的信令控制数据发送至所述发送终端；
其中，信令服务器在传递发送终端和接收终端的公钥指纹时，可以将它们的公钥指纹替换为转发服务器的公钥指纹进行传递，以便于转发服务器可以作为中间人通过通话双方的认证。
并且，信令服务器在传递发送终端和接收终端的各个地址时，还可以将两个终端的转发地址的优先级设置为最高，这样，双方在建立通信的通道时就可以经过转发服务器，即两个终端的转发地址均为转发服务器的IP附加转发服务器下发两个终端的端口号。
步骤204，在所述发送终端和所述接收终端依据修改后的每组信令控制数据中的本地IP地址、外网IP地址、转发地址，建立所述发送终端和所述接收终端之间且经过所述转发服务器的音视频数据传输通道之后，将所述转发服务器的公钥指纹分别发送至所述发送终端和所述接收终端以分别进行公钥指纹认证；
其中，由于转发地址的优先级最高，因此，两个终端在使用经信令服务器修改后的信令控制数据建立发送终端和接收终端之间的传输通道时，会经过转发服务器，即通道为发送终端-转发服务器-接收终端，其中，转发服务器作为中间人假装对方与两个终端通信。
在例如利用ICE协议建立了该传输通道后，为了实现通信，需要借助于公钥指纹进行认证，这里由于前述步骤中信令服务器将两个终端交换的公钥指纹均替换为转发服务器的公钥指纹，因此，在进行公钥指纹认证时，就可以使发送终端与转发服务器之间的公钥指纹认证通过，以及使转发服务器与接收终端之间的公钥指纹认证通过。
步骤205，在所述发送终端和所述接收终端均对所述转发服务器的公钥指纹认证通过之后，在所述发送终端与所述转发服务器之间进行密钥协商，得到第一密钥对；
其中，如果公钥指纹认证不通过，则直接结束流程。
其中，在通过了公钥指纹认证后，即对通信的对方判别正确后，就可以利用DTLS协议使认证通过的双发协商通信的数据密钥，即采用数据加解密的具体密钥。这里就可以协商出发送终端与转发服务器之间的第一密钥对，以及转发服务器与接收终端之间的第二密钥对。
步骤206，通过所述音视频数据传输通道接收来自所述发送终端的第一音视频数据密文，采用所述第一密钥对对所述第一音视频数据密文解密，得到音视频数据明文并传输至监控服务器；
其中，发送终端需要向接收终端发送一音视频数据，但实际上发送终端是在向转发服务器进行通信，因此，转发服务器可以采用SRTP协议接收采用第一密钥对加密后的第一音视频数据密文，并采用第一密钥对对该第一音视频数据密文进行解密，从而得到音视频数据明文并转发至监控服务器进行监控管理。
借助于本发明上述实施例的技术方案，本发明实施例通过将发送终端和接收终端的转发地址的优先级设置为地址中的最高，从而可以使发送终端与接收终端之间的数据传输通道经过转发服务器；并通过将发送终端和接收终端交互的公钥指纹替换为转发服务器的公钥指纹，从而可以使转发服务器在数据传输通道上进行握手认证时通过与两个终端之间的握手认证，成为中间人；进而作为转发服务器的中间人就可以与两个终端分别协商出对传递的数据的密钥，从而在数据传输过程中截取两个终端之间传递的音视频数据进行监控管理，而又不影响两个终端之间的数据传输，不会被两个终端监测到数据的截取过程。
可选地，在步骤206之后，根据本发明实施例的方法还可以包括：采用所述第二密钥对所述音视频数据明文加密，得到第二音视频数据密文，通过所述音视频数据传输通道(例如采用所述SRTP协议)将所述第二音视频数据密文发送至所述接收终端。
为了实现两个终端之间的数据通信，这里转发服务器还需要作为中间人伪装成发送终端，采用和接收终端协商出的第二密钥对对该音视频数据明文进行加密，得到第二音视频数据密文并发送至接收终端，这样，接收终端就会以为接收到的密文为发送终端发送的。
可选地，在步骤205中，在所述发送终端和所述接收终端均对所述转发服务器的公钥指纹认证通过之后，所述方法还可以包括：在所述接收终端与所述转发服务器之间进行密钥协商，得到第二密钥对。
这样，转发服务器就可以在对截获后的密文解密后，利用第二密钥对来对明文数据进行加密以伪装成发送终端，并将加密后的数据转发至接收终端。
第二实施例
参照图2，示出了采用本发明上述实施例的监控方法的一具体实例的数据流程图，下面结合图2进行详细阐述邀请方A和受邀方B之间的数据传递过程，以及转发服务器对它们之间传递的原始音视频数据的监控过程。
前序步骤01(未示出)：邀请方A通过信令服务器邀请受邀方B，受邀方B接受邀请并应答。在应答之后，信令服务器会向监控服务器查询邀请方A和受邀方B两个账号之间的通话是否需要进行监控。如果需要监控，则监控服务器生成后续作为中间人的转发服务器的非对称加密的公钥、私钥及公钥指纹并下发至信令服务器。同时，监控服务器会通知该选定的转发服务器对邀请方A和受邀方B之间的通话进行加解密以及获取通话过程中的原始音视频数据。
或者，前序步骤02(未示出)，在邀请方A和受邀方B之间未进行邀请应答之前，监控服务器可以直接向信令服务器下发如下信息：
需要对音视频数据通话进行监控的通话终端的账号信息(例如邀请方A和受邀方B的IP地址等)；
所选定的转发服务器的公钥指纹；
或进一步包括所选定的转发服务器的非对称加密的公钥、私钥。
并且，在邀请方A和受邀方B之间未进行邀请应答之前，监控服务器还需要向该所选定的转发服务器发送通知指令，该通知指令表示该转发服务器需要对待监控的终端(例如邀请方A和受邀方B)进行监控的指令。
这样，信令服务器在接收到监控服务器下发的需要监控的终端的账号信息后，就可以利用所述账号信息确定需要进行通话监控的终端(例如，上述实施例中的发送终端和接收终端)。
然后，如图2所示：
步骤1：邀请方A和受邀方B同时开始从转发服务器处收集自己的外网IP地址和转发地址；
步骤2：邀请方A和受邀方B初始化自身的DTLS加解密模块，从而获得各自的非对称加解密所需的公钥和私钥，并采用签名算法生成公钥指纹(其中，邀请方A和受邀方B的公钥指纹不同，该公钥指纹用于进行通话时的双方认证)；然后，邀请方A和受邀方B将各自的本地IP地址、外网IP地址、转发地址及上述三个地址的优先级和公钥指纹通过信令服务器转发至对方。
其中，在此步骤中，信令服务器对于这些信息不再采用透传的方式。而是会改变优先级和双方的公钥指纹后(即，使得转发地址优先级在三个地址中最高，并将双方的公钥指纹替换为转发服务器的公钥指纹)发送到对方；
步骤3：邀请方A和受邀方B根据自身和对方发送过来的本地IP地址、外网IP地址和转发地址，利用ICE协议，建立音视频数据传输通道。其中，由于在步骤2中，转发地址的优先级被改变，转发地址的优先级变为最高，而本地IP地址及外网IP地址的地址相较更低，使得在建立音视频数据传输通道时，会选择优先级最高的通道，即该音视频数据传输通道会经过转发服务器。
具体而言，由于邀请方A和受邀方B都包括3个地址，任意两个地址可以构成一个通道，那么在邀请方A和受邀方B之间可以形成9个通道，但并不是每个通道都可以联通，其中，对于每个通道都要进行如图2所示的连通性检测以及相应的检测响应，如果检测响应为成功，那么则说明一个通道可以联通。而这6个地址都具有相应的优先级，假如9个通道中联通了4个，还需要确定这四个通道中优先级最大的。其中，通道的优先级的计算方式为两个地址的优先级的乘积，例如邀请方A的外网地址和转发服务器的下发给邀请方A的转发地址之间的数据传输通道的优先级为邀请方A的外网地址的优先级与该转发地址的优先级的乘积。
这样就可以确定联通的且优先级靠前的数据传输通道，其中，由于转发地址的优先级最大，因此，最终确定的数据传输通道必然经过转发服务器。
步骤4：邀请方A和受邀方B利用建立好的数据传输通道(即将数据先发往转发服务器，然后由转发服务器发到对端)使用DTLS协商出用于音视频数据加解密的密钥；
其中，在步骤2中邀请方A和受邀方B的公钥指纹(fingerprint-A和fingerprint-B)，已经分别被替换成转发服务器使用的公钥指纹(fingerprint-T)。所以转发服务器在截获邀请方A和受邀方B的DTLS用于协商密钥的报文后，作为一个中间人，就可以与邀请方A和受邀方B分别进行DTLS协商过程，从而协商出转发服务器与邀请方A通话所需的密钥对Key(T-a,A)和转发服务器与受邀方B通话所需的密钥对Key(T-b,B)。
其中，Key(T-a,A)是密钥对，可以包括Key(T-a)和Key(A)，其中，Key(T-a)为转发服务器的与邀请方A通信的密钥，而Key(A)为邀请方A与转发服务器进行通信的密钥，其中，Key(A)与Key(T-a)是一对非对称密钥；而Key(T-b,B)同理，在此不再赘述。
也即，所述转发服务器保存有所述Key(T-a,A)和所述Key(T-b,B)，所述邀请方A保存有所述Key(T-a,A)，所述受邀方B保存有所述Key(T-b,B)。
步骤5：邀请方A和受邀方B利用协商好的密钥，对本方编码后的音视频数据进行加密，通过SRTP协议发送到对端。其中，邀请方A以为是在跟受邀方B通信，而受邀方B以为是在和邀请方A通信，转发服务器作为中间人与它们进行通信。
具体的，邀请方A采用Key(A)对编码后的音视频数据进行加密得到密文，并打包成SRTP报文发送至以为是受邀方B的转发服务器；转发服务器采用Key(T-a)对密文解密，得到明文，并采用与受邀方B通信的Key(T-b)对该明文进行加密，将密文重新打包成SRTP报文发送至受邀方B；受邀方B在接收到密文后，就可以采用与以为是邀请方A的转发服务器通信的Key(B)进行解密，得到编码后的音视频数据，最后进行解码得到原始音视频数据。
步骤6(未示出)：转发服务器采用Key(T-b,B)中的Key(T-b)对所述原始音视频数据加密，得到音视频数据密文，并通过所述音视频数据传输通道采用所述SRTP协议将所述音视频数据密文发送至所述受邀方B。
其中，由于通信是邀请方A和受邀方B之间的数据通信，因此，转发服务器在截获原始音视频数据后，不仅会将其发送至控制服务器，还会作为中间人伪装成邀请方A，并采用和受邀方B协商出的Key(T-b,B)中的Key(T-b)对原始音视频数据进行加密，得到音视频数据密文并发送至受邀方B，这样，受邀方B就会以为接收到的密文为邀请方A发送的。
最后，受邀方B就可以采用Key(T-b,B)中的Key(B)来对收到的音视频数据密文解密。
在此过程中，邀请方A的数据被转发服务器截获。同理，受邀方B的数据也可以采用相同的方式被截获，具体流程类似，在此不再赘述。
借助于本发明上述实施例的技术方案，本发明实施例建立了一种云端(即服务器端)架构，使得视频通话服务的提供商能够在不需升级前端通话设备(即邀请方A和受邀方B)软硬件的基础上，根据需要获取到特定的通话过程中原始的音视频数据，从而便于监控管理。
参照图3，示出了对应于上述实施例方法的系统的架构图。
从图3可以看出，该系统包括移动设备端和云端，移动设备端示出了通话设备A和通话设备B，云端示出了信令服务器、转发服务器和监控服务器。
其中，通话终端上层包括视频通话应用程序，下层包含WebRTC库，通话终端A和通话终端B之间的音视频通话服务借助于终端的外设(扬声器、WiFi/4G、蓝牙)与云端连接，从而进行通话终端A和通话终端B之间的音视频通信，以及对通信的音视频数据进行监控管理过程。
其中，监控服务器发送至信令服务器的内容包括但不限于：需要监控的通话设备的账号信息、转发服务器的地址以及转发服务器的公钥指纹；
信令服务器分别通话设备A和通话设备B之间的通信内容包括不限于ICE过程所需的联通的地址候选连接(即上文中的已联通的音视频数据传输通道)、DTLS所需的认证信息(即各个公钥指纹)；
转发服务器分别通话设备A和通话设备B之间的通信内容包括不限于加密的音视频数据；
转发服务器发送至监控服务器的内容为解密后的原始音视频数据。
其中，信令服务器通过对备选连接地址的优先级进行修改，数据通路可以优先选择经过转发服务器；此外，信令服务器还会对DTLS密钥协商中的双方认证所需的公钥指纹进行修改，变为转发服务器的公钥指纹，这样转发服务器在通过指纹认证后，就可以作为中间人在DTLS协商过程中协商出通话双方的密钥，并利用此密钥对通话中加解密的音视频数据进行解密，获取到原始的音视频数据，最后将原始的音视频数据转发至监控服务器进行备案、分析或者监控，以避免本发明的技术方案被诈骗集团或者暴恐分子利用，从而为社会造成危害。并且，本发明实施例不需要修改前端通话设备的软硬件，即可完成对通话设备的服务器端监控功能，通用性和可扩展性强。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
与上述本发明实施例所提供的方法相对应，参照图4，示出了本发明一种音视频数据的监控系统实施例的结构框图，具体可以包括如下模块：
接收模块51，用于接收分别来自于发送终端和接收终端的两组信令控制数据，其中，每组所述信令控制数据包括：本地IP地址、外网IP地址、转发地址以及公钥指纹，其中，所述公钥指纹为对相应终端的公钥作签名处理后的数据；
修改模块52，用于将每组所述信令控制数据中的公钥指纹均替换为转发服务器的公钥指纹，以及设置每组所述信令控制数据中的转发地址的优先级，其中，每组信令控制数据中的转发地址设置后的优先级高于各自本地IP地址和外网IP地址的优先级；
发送模块53，用于将修改后的来自于所述发送终端的所述信令控制数据发送至所述接收终端，以及将修改后的来自于所述接收终端的信令控制数据发送至所述发送终端；
认证模块54，用于在所述发送终端和所述接收终端依据修改后的每组信令控制数据中的本地IP地址、外网IP地址、转发地址，建立所述发送终端和所述接收终端之间且经过所述转发服务器的音视频数据传输通道之后，将所述转发服务器的公钥指纹分别发送至所述发送终端和所述接收终端以分别进行公钥指纹认证；
协商模块55，用于在所述发送终端和所述接收终端均对所述转发服务器的公钥指纹认证通过之后，在所述发送终端与所述转发服务器之间进行密钥协商，得到第一密钥对；
解密模块56，用于通过所述音视频数据传输通道接收来自所述发送终端的第一音视频数据密文，采用所述第一密钥对对所述第一音视频数据密文解密，得到音视频数据明文并传输至监控服务器。
可选地，所述系统还包括：
预先接收模块，用于预先接收需要进行音视频数据监控的终端的账号信息以及转发服务器的公钥指纹；
确定模块，用于利用所述账号信息确定所述发送终端和所述接收终端。
可选地，所述第一密钥对包括所述发送终端的第一密钥和所述转发服务器的第二密钥，其中，所述第一密钥与所述第二密钥为一对配对密钥，所述解密模块56包括：
解密子模块，用于采用所述第一密钥对经过所述第一密钥加密后的所述第一音视频数据密文解密，得到音视频数据明文。
可选地，所述协商模块55，还用于在所述接收终端与所述转发服务器之间进行密钥协商，得到第二密钥对；
可选地，所述系统还包括：
加密模块，用于采用所述第二密钥对所述音视频数据明文加密，得到第二音视频数据密文，通过所述音视频数据传输通道采用将所述第二音视频数据密文发送至所述接收终端。
可选地，所述第二密钥对包括所述接收终端的第三密钥和所述转发服务器的第四密钥，其中，所述第三密钥和所述第四密钥为一对配对密钥，所述加密模块包括：
加密子模块，用于采用所述第四密钥对所述音视频数据明文加密，得到第二音视频数据密文，使得所述接收终端能够采用所述第三密钥对所述第二音视频数据密文解密。
可选地，所述转发服务器保存有所述第一密钥对和所述第二密钥对，所述发送终端保存有所述第一密钥对，所述接收终端保存有所述第二密钥对。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种音视频数据的监控方法和一种音视频数据的监控系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种音视频数据的监控方法，其特征在于，包括：
接收分别来自于发送终端和接收终端的两组信令控制数据，其中，每组所述信令控制数据包括：本地IP地址、外网IP地址、转发地址以及公钥指纹；
将每组所述信令控制数据中的公钥指纹均替换为转发服务器的公钥指纹，以及设置每组所述信令控制数据中的转发地址的优先级，其中，每组信令控制数据中的转发地址设置后的优先级高于各自本地IP地址和外网IP地址的优先级；
将修改后的来自于所述发送终端的所述信令控制数据发送至所述接收终端，将修改后的来自于所述接收终端的信令控制数据发送至所述发送终端；
在所述发送终端和所述接收终端依据修改后的每组信令控制数据中的本地IP地址、外网IP地址、转发地址，建立所述发送终端和所述接收终端之间且经过所述转发服务器的音视频数据传输通道之后，将所述转发服务器的公钥指纹分别发送至所述发送终端和所述接收终端以分别进行公钥指纹认证；
在所述发送终端和所述接收终端均对所述转发服务器的公钥指纹认证通过之后，在所述发送终端与所述转发服务器之间进行密钥协商，得到第一密钥对；
通过所述音视频数据传输通道接收来自所述发送终端的第一音视频数据密文，采用所述第一密钥对对所述第一音视频数据密文解密，得到音视频数据明文并传输至监控服务器；
所述第一密钥对包括所述发送终端的第一密钥和所述转发服务器的第二密钥，其中，所述第一密钥与所述第二密钥为一对配对密钥，所述采用所述第一密钥对对所述第一音视频数据密文解密，得到音视频数据明文的步骤，包括：
采用所述第二密钥对经过所述第一密钥加密后的所述第一音视频数据密文解密，得到音视频数据明文。
2.根据权利要求1所述的方法，其特征在于，所述接收分别来自于发送终端和接收终端的两组信令控制数据的步骤之前，所述方法还包括：
预先接收需要进行音视频数据监控的终端的账号信息以及转发服务器的公钥指纹；
利用所述账号信息确定所述发送终端和所述接收终端。
3.根据权利要求1所述的方法，其特征在于，
所述在所述发送终端和所述接收终端均对所述转发服务器的公钥指纹认证通过之后，所述方法还包括：
在所述接收终端与所述转发服务器之间进行密钥协商，得到第二密钥对；
所述通过所述音视频数据传输通道接收来自所述发送终端的第一音视频数据密文，采用所述第一密钥对对所述第一音视频数据密文解密，得到音视频数据明文并传输至监控服务器之后，所述方法还包括：
采用所述第二密钥对所述音视频数据明文加密，得到第二音视频数据密文，通过所述音视频数据传输通道将所述第二音视频数据密文发送至所述接收终端；
所述第二密钥对包括所述接收终端的第三密钥和所述转发服务器的第四密钥，其中，所述第三密钥和所述第四密钥为一对配对密钥，所述采用所述第二密钥对所述音视频数据明文加密，得到第二音视频数据密文的步骤，包括：
采用所述第四密钥对所述音视频数据明文加密，得到第二音视频数据密文，使得所述接收终端能够采用所述第三密钥对所述第二音视频数据密文解密。
4.一种视频数据的监控系统，其特征在于，包括：
接收模块，用于接收分别来自于发送终端和接收终端的两组信令控制数据，其中，每组所述信令控制数据包括：本地IP地址、外网IP地址、转发地址以及公钥指纹；
修改模块，用于将每组所述信令控制数据中的公钥指纹均替换为转发服务器的公钥指纹，以及设置每组所述信令控制数据中的转发地址的优先级，其中，每组信令控制数据中的转发地址设置后的优先级高于各自本地IP地址和外网IP地址的优先级；
发送模块，用于将修改后的来自于所述发送终端的所述信令控制数据发送至所述接收终端，以及将修改后的来自于所述接收终端的信令控制数据发送至所述发送终端；
认证模块，用于在所述发送终端和所述接收终端依据修改后的每组信令控制数据中的本地IP地址、外网IP地址、转发地址，建立所述发送终端和所述接收终端之间且经过所述转发服务器的音视频数据传输通道之后，将所述转发服务器的公钥指纹分别发送至所述发送终端和所述接收终端以分别进行公钥指纹认证；
协商模块，用于在所述发送终端和所述接收终端均对所述转发服务器的公钥指纹认证通过之后，在所述发送终端与所述转发服务器之间进行密钥协商，得到第一密钥对；
解密模块，用于通过所述音视频数据传输通道接收来自所述发送终端的第一音视频数据密文，采用所述第一密钥对对所述第一音视频数据密文解密，得到音视频数据明文并传输至监控服务器；
所述第一密钥对包括所述发送终端的第一密钥和所述转发服务器的第二密钥，其中，所述第一密钥与所述第二密钥为一对配对密钥，所述解密模块包括：
解密子模块，用于采用所述第二密钥对经过所述第一密钥加密后的所述第一音视频数据密文解密，得到音视频数据明文。
5.根据权利要求4所述的系统，其特征在于，所述系统还包括：
预先接收模块，用于预先接收需要进行音视频数据监控的终端的账号信息以及转发服务器的公钥指纹；
确定模块，用于利用所述账号信息确定所述发送终端和所述接收终端。
6.根据权利要求4所述的系统，其特征在于，所述协商模块，还用于在所述接收终端与所述转发服务器之间进行密钥协商，得到第二密钥对；
所述系统还包括：
加密模块，用于采用所述第二密钥对所述音视频数据明文加密，得到第二音视频数据密文，通过所述音视频数据传输通道将所述第二音视频数据密文发送至所述接收终端；
所述第二密钥对包括所述接收终端的第三密钥和所述转发服务器的第四密钥，其中，所述第三密钥和所述第四密钥为一对配对密钥，所述加密模块包括：
加密子模块，用于采用所述第四密钥对所述音视频数据明文加密，得到第二音视频数据密文，使得所述接收终端能够采用所述第三密钥对所述第二音视频数据密文解密。
CN201710478255.2A 2017-06-21 2017-06-21 一种音视频数据的监控方法和系统 Active CN107294968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710478255.2A CN107294968B (zh) 2017-06-21 2017-06-21 一种音视频数据的监控方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710478255.2A CN107294968B (zh) 2017-06-21 2017-06-21 一种音视频数据的监控方法和系统

Publications (2)

Publication Number Publication Date
CN107294968A CN107294968A (zh) 2017-10-24
CN107294968B true CN107294968B (zh) 2020-04-21

Family

ID=60096823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710478255.2A Active CN107294968B (zh) 2017-06-21 2017-06-21 一种音视频数据的监控方法和系统

Country Status (1)

Country Link
CN (1) CN107294968B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108848084B (zh) * 2018-06-04 2019-04-23 珠海安联锐视科技股份有限公司 一种基于安全的安防监控网络通讯方法
CN111147506A (zh) * 2019-12-30 2020-05-12 武汉兴图新科电子股份有限公司 一种基于html5播放流媒体数据的方法、系统及存储设备
CN114079650A (zh) * 2020-08-11 2022-02-22 华为技术有限公司 一种基于ims数据通道的通信方法及设备
CN112217862A (zh) * 2020-09-03 2021-01-12 视联动力信息技术股份有限公司 一种数据通信方法、装置、终端设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100499884C (zh) * 2003-08-08 2009-06-10 华为技术有限公司 一种转发多媒体消息的方法
CN101212518A (zh) * 2006-12-29 2008-07-02 耐通信息科技（上海）有限公司 Ip-pbx选择语音视频编码的方法
CN101079696B (zh) * 2007-06-29 2012-02-08 中兴通讯股份有限公司 一种行业监控系统中流媒体加密的系统和方法
CN101094394A (zh) * 2007-07-17 2007-12-26 中国科学院软件研究所 一种保证视频数据安全传输的方法及视频监控系统
CN102724563A (zh) * 2012-06-15 2012-10-10 深圳市汇海威视科技有限公司 监控前端及终端、监控系统及音视频信号加密与解密方法
CN105262847B (zh) * 2014-07-18 2019-01-04 中国电信股份有限公司 终端设备之间的通信方法和系统
CN104244026B (zh) * 2014-09-04 2017-08-15 浙江宇视科技有限公司 一种视频监控系统中的密钥分发装置
CN106209949A (zh) * 2015-05-07 2016-12-07 北京大学 基于WebRTC的交互式直播方法及装置

Also Published As

Publication number Publication date
CN107294968A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
US11822626B2 (en) Secure web RTC real time communications service for audio and video streaming communications
US12003660B2 (en) Method and system to implement secure real time communications (SRTC) between WebRTC and the internet of things (IoT)
US9693226B2 (en) Method and apparatus for securing a connection in a communications network
CN109302412B (zh) 基于CPK的VoIP通信处理方法、终端、服务器及存储介质
CN107294968B (zh) 一种音视频数据的监控方法和系统
CN105634737B (zh) 一种数据传输方法、终端及其系统
CN101997679A (zh) 加密信息协商方法、设备及网络系统
CN101420413A (zh) 会话密钥协商方法、网络系统、认证服务器及网络设备
KR20150079489A (ko) 실시간 통신 방법 및 시스템
CN108833943B (zh) 码流的加密协商方法、装置及会议终端
CN104243146A (zh) 一种加密通信方法、装置及终端
CN113472792B (zh) 一种长连接网络通信加密方法及系统
CN102025485B (zh) 密钥协商的方法、密钥管理服务器及终端
CN109194905B (zh) 视频会议连接加密、建立方法、终端、服务器以及系统
KR101210938B1 (ko) 암호 통신 방법 및 이를 이용한 암호 통신 시스템
CN112235320B (zh) 一种基于密码的视联网组播通信方法及装置
CN103986640A (zh) 一种可保障用户通讯内容安全的即时通讯方法及其系统
EP3624393B1 (en) Key distribution system and method, key generation device, representative user terminal, server device, user terminal and program
CN106714150B (zh) 对通信连接进行加密的方法及智能终端
CN110890968B (zh) 一种即时通信方法、装置、设备及计算机可读存储介质
JP6554851B2 (ja) Ｉｐ電話暗号化装置および暗号化方法
CN118282693A (zh) 数据加解密方法、装置、设备、存储介质及产品
Wu et al. Transparently secure smartphone-based social networking
KR20110080100A (ko) 음성 특징에 기반한 암호키를 이용하여 음성 데이터 패킷을 송수신하기 위한 방법 및 장치
JP5746774B2 (ja) セキュアな通信のための鍵管理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant