CN101156374B - 一种监听视频呼叫的系统和方法 - Google Patents

一种监听视频呼叫的系统和方法 Download PDF

Info

Publication number
CN101156374B
CN101156374B CN2006800119334A CN200680011933A CN101156374B CN 101156374 B CN101156374 B CN 101156374B CN 2006800119334 A CN2006800119334 A CN 2006800119334A CN 200680011933 A CN200680011933 A CN 200680011933A CN 101156374 B CN101156374 B CN 101156374B
Authority
CN
China
Prior art keywords
video
terminal
call
calling
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800119334A
Other languages
English (en)
Other versions
CN101156374A (zh
Inventor
任宜军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN101156374A publication Critical patent/CN101156374A/zh
Application granted granted Critical
Publication of CN101156374B publication Critical patent/CN101156374B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/30Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/306Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information intercepting packet switched data communications, e.g. Web, Internet or IMS communications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10Architectures or entities
    • H04L65/102Gateways
    • H04L65/1043Gateway controllers, e.g. media gateway control protocol [MGCP] controllers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • H04L65/1106Call signalling protocols; H.323 and related
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Technology Law (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种监听视频呼叫的系统,用于监听主叫视频终端和被叫视频终端之间的视频通讯,该系统包括MSC服务器、媒体网关、视频网关和监听接收单元;MSC服务器在主叫视频终端发起对被叫视频终端的视频呼叫时,指示媒体网关对主叫和被叫视频终端的呼叫数据进行复制后发送至视频网关,指示视频网关从主叫和被叫视频终端的呼叫数据中解复用出音频流和视频流,视频网关发送音频和视频流至监听接收单元进行播放。本发明还公开了一种监听视频呼叫的方法。基于上述系统和方法,本发明可以实现对视频呼叫的监听,填补了现有技术的空白;而且,使监听不受地点和时间的限制,实现更加灵活的监听。

Description

一种监听视频呼叫的系统和方法
技术领域
本发明涉及移动通信领域的视频跟踪技术,更准确地说,涉及一种监听视频呼叫的系统和方法。
发明背景
视频呼叫(VP,Video Phone)在3G中被定义为基于64k的非受限数据信息(UDI,Unrestricted Data Information)的数据业务。它使呼叫双方可以相互看到对方终端上的摄像头所拍摄到的图像。该64k的数据业务将视频数据、音频数据和控制数据复用在一起,每种信息占用一个逻辑通道,也就是说,视频数据占用视频逻辑通道,音频数据占用音频逻辑通道,控制数据占用控制逻辑通道。
监听是给国家安全人员,包括有监听权限的警察、军队、国安部门人员提供的一种手段,使得这些人员可以在知道犯罪份子或者嫌疑人员电话号码的前提下,将这些号码通知到交换机,以获取被控号码的通讯内容。这样,当犯罪份子或嫌疑人员进行通话或者其他活动,比如发送、接收短信、开机、关机、位置更新时,安全人员能够对犯罪份子或嫌疑人员的状态有所了解。
现有的监听都是基于语音的监听,当犯罪份子或者嫌疑人员进行通话时,交换机将通话过程中复制出来的音频数据直接送往监听中心,通常是将通话内容输出到某个指定的电话号码。
由于监听对于国家安全所具有的重要意义,目前在许多国家,监听已经作为交换机设备的入网条件之一,得到普遍应用。而对于国家安全人员而言,现在已经逐渐不满足于单纯的语音监听,尤其是随着VP应用的日益普遍,犯罪份子等使用VP的几率也大大增加,因此视频监听的迫切性也随之增加,对通话过程中双方终端上的摄像头所拍摄到的图像进行监听,以进一步获取安全人员感兴趣的且更为直观的信息,比如地理位置、人物图像等。
发明内容
有鉴于此,本发明的主要目的在于提供一种监听视频呼叫的系统和方法,对视频呼叫进行监听。
本发明的目的是通过如下技术方案实现的:
一种监听视频呼叫的系统,用于监听主叫视频终端与被叫视频终端之间的视频通讯,其包括移动交换中心MSC服务器、媒体网关、视频网关和监听接收单元;
MSC服务器在主叫视频终端向被叫视频终端发起视频呼叫后,向视频网关发出呼叫,并控制媒体网关复制主叫和被叫视频终端的呼叫数据;
媒体网关在MSC服务器的控制下分别复制主叫和被叫视频终端的呼叫数据,并将复制的呼叫数据发送至视频网关;
视频网关接收MSC服务器发出的呼叫,与媒体网关建立连接,接收媒体网关复制的呼叫数据;从呼叫数据解复用出音频流和视频流后,发送音频流、视频流和控制信令至监听接收单元;
监听接收单元根据控制信令播放解复用出的音频流和视频流。
一种监听视频呼叫的方法,用于监听主叫视频终端和被叫视频终端之间的视频通讯,其包括:
在主叫视频终端向被叫视频终端发起视频呼叫后,分别对主叫和被叫视频终端的呼叫数据进行复制;
从复制的呼叫数据中解复用出音频和视频流后在监听接收端播放。
从以上技术方案可以看出,本发明利用媒体网关(MGW)对被控用户的呼叫数据进行复制,然后在视频网关(VIG)上将呼叫数据解复用为音频流和视频流后,发送给监听接收端,弥补了现有技术没有视频监听的空白。
根据本发明的一个优选实施例,将被控用户的呼叫数据转换为RTP流并通过RTSP服务器广播到网络上,可以通过访问网站的形式进行监听,使得监听不再局限于特定的场所或终端,以任何形式连接上网都可以进行监听,使监听的实现更加灵活。
根据本发明的一个优选实施例,利用混合器(Muxer)将解复用出的音频流和视频流进行压缩存储,在需要时播放存储的音频流和视频流,使监听不受时间的制约,使监听的实现更加灵活。
根据本发明的另一优选实施例,VIG直接以TDM流的形式向H.324M终端发送音频流和视频流,H.324M终端播放该音频流和视频流,由于H.324M终端为3G移动终端,使得监听的地点更加不受限制。
附图简要说明
图1a是本发明实施例一的监听视频呼叫的系统结构示意图。
图1b是本发明实施例一的移动交换中心(MSC)服务器的结构示意图。
图1c是本发明实施例一的媒体网关(MGW)的结构示意图。
图1d是本发明实施例一的视频网关(VIG)的结构示意图。
图1e是本发明实施例一的监听视频呼叫的方法流程图。
图2a是本发明实施例二的监听视频呼叫的系统结构示意图。
图2b是本发明实施例二的视频网关(VIG)的结构示意图。
图3是本发明实施例三的监听视频呼叫的系统结构示意图。
图4是本发明实施例四的监听视频呼叫的系统结构示意图。
图5是本发明实施例五的监听视频呼叫的系统结构示意图。
实施本发明的方式
为了使本发明的目的、技术方案和优点更清楚,下面结合附图和具体实施方式对本发明作进一步描述。
本发明的核心思想是:移动交换中心(MSC,Mobile SwitchingCenter)服务器在一视频终端向另一视频终端发起视频呼叫时,指示媒体网关(MGW,Media GateWay)对两个视频终端的呼叫数据进行复制,并指示视频网关(VIG,Video Inter-working Gateway)接收MGW复制的呼叫数据,并将呼叫数据解复用为音频流和视频流后,发送给监听接收单元。
实施例一:
图1a是本发明实施例一的监听视频呼叫的系统结构示意图。如图1a所示,在实施例一中,监听视频呼叫的系统包括:视频终端A、视频终端B、MSC服务器、MGW、VIG、实时流媒体协议(RTSP,Real TimeStreaming Protocol)服务器、混合器(Muxer)、存储设备、RTSP网站服务器和RTSP终端。下面分别介绍这些网络实体:
(1)所述视频终端A和视频终端B是具有视频通讯功能的移动终端。
(2)所述MSC服务器作为控制面,存储有被控用户的号码,该用户号码可以由监听中心设置;在被控用户主叫或被叫时,控制MGW进行承载面上的复制,并向VIG发出呼叫,通知VIG接收MGW复制的呼叫数据的信道信息。在此实施例中,所述MSC服务器可以是视频终端A所属MSC服务器,应该理解,所述MSC服务器也可以是视频终端B所属MSC服务器。
(3)所述MGW作为承载面,在MSC服务器的控制下,复制被控用户的上、下行VP呼叫数据,然后转发给VIG。具体来说就是,如果主叫方是被控用户,需要复制主叫方的上行和下行的呼叫数据,主叫方的下行呼叫数据是被叫方的上行数据,因此复制的是主叫方的上行呼叫数据和被叫方的上行呼叫数据;如果被叫方是被控用户,需要复制被叫方的上行和下行的呼叫数据,被叫方的下行呼叫数据是主叫方的上行呼叫数据,因此复制的仍然是被叫方的上行呼叫数据和主叫方的上行呼叫数据。由上可见,无论主叫方还是被叫方是被控用户,复制的数据是相同的,分别为主叫方的上行呼叫数据和被叫方的上行呼叫数据。
(4)VIG根据MSC服务器发出的呼叫与MGW建立连接,在承载面上对MGW发来的呼叫数据进行处理,解复用出音频流和视频流,转换为实时传输协议(RTP,Real-Time transport protocol)流,经由Muxer发送给RTSP服务器;在控制面通过RTSP协议向RTSP服务器发送包含RTP流地址信息和编解码信息的控制信令;VIG具有制作及更新PORTAL页面的功能,一旦VIG接收到呼叫,即更新监听界面,例如PORTAL页面,将被控用户的号码列在PORTAL页面上。
(5)Muxer将接收到的RTP流转发给RTSP服务器,并将RTP流转换为流媒体格式的文件后存储在存储设备中,存储后的流媒体格式文件也可被RTSP服务器读取。本发明也可以不包括所述Muxer,此时VIG将RTP流直接发送至RTSP服务器。
(6)RTSP服务器将接收到的Muxer转发来的RTP流当作节目直播源,通过网络广播;也可以将存储设备保存的流媒体格式文件作为节目直播源,通过网络广播。
(7)RTSP网站服务器接收RTSP服务器广播的RTP流,将RTP流与监听界面,即POTAL页面上显示的被控用户的号码进行关联。
(8)RTSP终端通过浏览器访问RTSP网站服务器的POTAL页面,点击被控用户的号码进行实时的视频监听,或者访问存储下来的监听对象的视频文件。
上述的Muxer、存储设备、RTSP服务器、RTSP网站服务器和RTSP终端属于监听接收单元,其完成的工作是对监听到被控用户的音频和视频数据进行还原,并播放音频和视频数据。
上述的Muxer、存储设备和RTSP服务器可以位于同一物理实体中,Muxer也可以和VIG位于同一物理实体中。如果Muxer与RTSP服务器不位于同一物理实体,那么需要在RTSP服务器与Muxer同时安装共享的网络协议,以便及时通过Muxer向RTSP服务器转发RTP流,或及时将Muxer存储下来的流媒体格式文件传送到RTSP服务器。
图1b是本发明实施例一的MSC服务器的结构示意图。如图1b所示,实施例一的MSC服务器中与视频监听有关的部分包括监听用户判断单元、视频呼叫识别单元和视频监听控制单元。其中,监听用户判断单元接收到终端用户的呼叫时,判断呼叫的主叫或被叫号码是否为被控用户的号码,如果是被控用户号码,则说明需要启动对该呼叫的监听,将呼叫路由至视频呼叫识别单元;否则,将呼叫路由至正常呼叫的处理单元;视频呼叫识别单元在接收到监听用户判断单元路由来的呼叫时,根据呼叫是否包含64k的UDI来判断呼叫是否为视频呼叫,如果包含64k的UDI,则说明呼叫是视频呼叫,将视频呼叫路由至视频监听控制单元;否则,将呼叫路由至监听音频呼叫的处理单元中;视频监听控制单元在接收到视频呼叫识别单元路由来的视频呼叫时,执行以下功能:向VIG分别发出两个呼叫,即一个包含主叫号码的初始地址消息(IAM,Initial Address Message),一个包含被叫号码的IAM消息,指示VIG建立与MGW的联系;向MGW发送复制指示信令,指示MGW分别复制两路呼叫数据。
图1c是本发明实施例一的MGW的结构示意图。如图1c所示,实施例一的MGW中与视频监听有关的部分包括呼叫数据复制单元和呼叫数据发送单元。其中,呼叫数据复制单元在MSC服务器的指示下,分别复制主叫方和被叫方的上行呼叫数据,然后将主叫方和被叫方的上行呼叫数据分别发送至呼叫数据发送单元;呼叫数据发送单元分别将主叫方和被叫方的上行呼叫数据发送至VIG。
图1d是本发明实施例一的VIG的结构示意图。如图1d所示,实施例一的VIG中与视频监听有关的部分包括呼叫处理单元、H.245处理单元、数据解复用单元和媒体发送单元。其中,呼叫处理单元在接收到MSC服务器的呼叫时,将主叫号码和被叫号码发送至RTSP网站服务器,或仅将主叫和被叫号码中作为被控号码的号码发送至RTSP网站服务器;H.245处理单元分别终结主叫方和被叫方上行呼叫数据中包含的H.245协商,然后将主叫方和被叫方的上行呼叫数据分别发送至呼叫数据处理单元;数据解复用单元将主叫方上行呼叫数据中的视频OLC消息复制给被叫方上行呼叫数据,然后根据主叫方和被叫方的上行呼叫数据的音频OLC消息和视频OLC消息,将音频流和视频流分别从呼叫数据中,例如H.223流中解复用出来,发送至媒体发送单元;媒体发送单元将音频流和视频流转换为RTP流发送至监听接收单元,在本实施例中发送至监听接收单元的Muxer。
上述将主叫方上行呼叫数据中的视频OLC消息复制给被叫方上行呼叫数据的原因是:对于音频数据,呼叫双方的终端都会发送OLC消息,告诉对方音频是在哪个信道上传送,但是对于视频数据,只会有主叫方发送OLC消息,而监听的两个呼叫是独立的,之间没有关联,因此VIG需要在两个数据间交换OLC消息,就需要将主叫方上行呼叫数据中的视频OLC消息复制给被叫方上行呼叫数据。
下面对实施例一的监听视频呼叫的方法进行详细介绍,该方法基于图1a所示的系统。图5是本发明实施例一的监听视频呼叫的方法流程图。如图1e所示,在实施例一中,监听视频呼叫具体包括如下步骤:
步骤101:在MSC服务器上存储被控用户的号码,可以是监听中心通过监听网关将被控用户的号码设置并存储在MSC服务器上,也可以是直接在MSC服务器上设置并存储被控用户的号码。
步骤102:视频终端A向视频终端B发出视频呼叫。
步骤103:MSC服务器接收到视频终端A向视频终端B发出的呼叫,提取出呼叫的主叫和被叫号码,根据存储的被控用户的号码,判断主叫或被叫号码是否为被控用户的号码,如果主叫或被叫号码是被控号码,则执行步骤104;如果主叫和被叫号码均不是被控号码,则结束本流程,执行正常呼叫的接续流程。
步骤104:MSC服务器判断其是否包含64K的UDI,如果包含,则说明该呼叫是视频呼叫,执行步骤105;否则,结束本流程,执行音频呼叫监听的接续流程。
步骤105:MSC服务器通过综合业务数字网(ISDN,Integrated ServiceDigitalNetwork)用户部分(ISUP,ISDN User Part)协议、电话用户部分(TUP,Telephone User Part)协议或基群速率适配(PRA,Primary RateAdaptation)协议向VIG发出呼叫,由于需要对上、下行呼叫数据分别监听,所以上行发送一个呼叫,即包含主叫号码的IAM消息,下行发送一个呼叫,即包含被叫号码的IAM消息,通过ISUP、PRA或TUP信令向VIG发送这两个呼叫,所述两个呼叫包含从MGW接收呼叫数据的信道信息的控制信令;MSC服务器通过H.248信令向MGW发出对被控用户的上、下行数据进行复制的指示。
步骤106:MGW在MSC服务器的指示下,分别利用端点1和端点2复制上、下行呼叫数据,即主叫方的上行呼叫数据和被叫方的上行呼叫数据,并且,利用端点3复制端点1的主叫方上行呼叫数据,利用端点4复制端点2的被叫方上行呼叫数据,然后将端点3和端点4的呼叫数据发送至VIG,例如通过H.324M协议传输复制后的呼叫数据至VIG。
步骤107:VIG接收到MSC服务器的呼叫后,建立与MGW的连接,分别接收端点3和端点4发来的主叫方和被叫方的上行呼叫数据;同时,VIG更新RTSP网站服务器上的监听界面,例如PORTAL页面,将作为被控用户号码的主叫和/或被叫号码列在PORTAL页面上的实时监听栏内。
步骤108:VIG分别终结端点3和端点4发来的呼叫数据中所包含的H.245协商。由于监听是对被控用户的上、下行呼叫数据的复制,所以VIG会接收到视频终端A和视频终端B发起的H.245协商消息,VIG的行为不能影响视频终端的行为,所以在接收到来自视频终端A和视频终端B的H.245协商消息后,不能向视频终端A和视频终端B发送回应消息,因此VIG支持的H.245协商是单向的。
步骤109:VIG将来自主叫方的上行呼叫数据,即端点3发来的呼叫数据所包含的视频打开逻辑信道(OLC,Open Logic Channel)消息复制给被叫方的上行呼叫数据,即端点4发来的呼叫数据。这是因为,对于音频数据,呼叫双方的终端都会发送OLC消息,告诉对方音频是在哪个信道上传送,但是对于视频数据,只会有主叫方发送OLC消息,而监听的两个呼叫是独立的,之间没有关联,因此VIG需要在两个数据间交换OLC消息。
步骤110:VIG根据主叫方上行呼叫数据和被叫方上行呼叫数据的音频OLC和视频OLC消息,将音频流和视频流分别从承载主叫方和被叫方上行呼叫数据的H.223流中解复用出来,转换为RTP流。
步骤111:VIG通过标准的RTSP协议的宣布(announce)流程,将包含RTP流的IP地址、端口号、编解码(CODEC)信息等的控制信令发送给RTSP服务器,并将转换为后的RTP流发送给Muxer。
步骤112:Muxer将RTP流转发给RTSP服务器;同时将RTP流进行压缩,转换为流媒体格式文件,如RM文件或3GP文件后在存储设备中存储,所存储的流媒体格式文件也能够被RTSP服务器作为历史数据读取。
步骤113:RTSP服务器根据VIG发来的控制信令,将Muxer转发的RTP流作为节目源,通过网络进行广播;或者将存储设备中存储的流媒体格式文件的数据作为节目源,通过网络进行广播。
步骤114:RTSP网站服务器接收RTSP服务器广播的RTP流,将其与PORTAL页面上监听栏显示的用户号码相关联。
步骤115:监听人员通过RTSP终端的浏览器访问RTSP网站服务器的PORTAL页面,点击被控用户的号码,进行监听。
实施例二:
图2a是本发明实施例二的监听视频呼叫的系统结构示意图。如图2a所示,在实施例二中,监听视频呼叫的系统包括:视频终端A、视频终端B、MSC服务器1、MGW、VIG、MSC服务器2和H.324M终端。其中的视频终端A、视频终端B、MSC服务器1、MGW分别与实施例一所述功能相同,VIG的功能稍有不同,并且由MSC服务器2和H.324M终端作为本实施例的监听接收单元。其中,MSC服务器1是被监听端的MSC服务器,MSC服务器2是监听端的MSC服务器。应该理解,MSC服务器1和MSC服务器2有可能是同一个MSC服务器。下面着重介绍本实施例与实施例一的不同之处:
(1)VIG根据MSC服务器1发出的呼叫与MGW建立连接,在承载面上对MGW发来的呼叫数据进行处理,解复用出音频和视频数据,该音频和视频流是TDM流,无需进行协议转换,直接发送给H.324M终端当前所属的MSC服务器2;在控制面通过RTSP协议向H.324M终端当前所属的MSC服务器2发送包含TDM流地址信息和编解码信息的控制信令。
(2)MSC服务器2是H.324M终端当前所属的MSC服务器,可以将VIG发来的TDM流发送给H.324M终端。
(3)H.324M终端即3G手机,接收VIG发来的TDM流,然后播放音频和视频数据。
在本实施例中,MSC服务器1中和MGW中与视频监听有关的部分与实施例一的相关部分完全相同,在此不予赘述。
参见图2b,在本实施例中,VIG中与视频监听有关的部分包括H.245处理单元、数据解复用单元和媒体发送单元。其中,H.245处理单元与数据解复用单元与实施例一的功能完全相同,在此不予赘述;媒体发送将语音和视频流转换为TDM流发送至监听接收单元,在本实施例中发送至MSC服务器2。MSC服务器2将TDM流发送至H.324M终端。
本实施例可以实现利用移动终端实现监听的方案,监听人员无需守在固定的监听地点,利用移动电话即可实现监听。
实施例三:
图3是本发明实施例三的监听视频呼叫的系统结构示意图。如图3所示,在实施例三中,监听视频呼叫的系统包括:视频终端A、视频终端B、MSC服务器、MGW、VIG、H.323多点控制单元(MCU,Multi-Console Unit)和一个以上H.323终端。其中的视频终端A、视频终端B、MSC服务器、MGW分别与实施例一所述功能相同,VIG的功能稍有不同,并且由H.323MCU和H.323终端作为监听接收单元。下面着重介绍本实施例与实施例一的不同之处:
(1)VIG根据MSC服务器发出的呼叫与MGW建立连接,在承载面上对MGW发来的呼叫数据进行处理,解复用出音频和视频数据,转换为RTP流,发送给H.323MCU;在控制面通过RTSP协议向H.323MCU发送包含RTP流地址信息和编解码信息的控制信令。
(2)H.323MCU接收VIG发来的RTP流,向一个以上H.323终端发送音频和视频数据。
(3)一个以上H.323终端播放音频和视频数据。
在本实施例中,MSC服务器中和MGW中与视频监听有关的部分与实施例一的相关部分完全相同,在此不予赘述。
在本实施例中,VIG中与视频监听有关的部分包括H.245处理单元、数据解复用单元和媒体发送。其中,H.245处理单元与数据解复用单元与实施例一的功能完全相同,在此不予赘述;媒体发送单元将语音和视频流转换为RTP流发送至监听接收单元,在本实施例中发送至H.323MCU。本实施例可以实现多个H.323终端同时监听。
实施例四:
图4是本发明实施例四的监听视频呼叫的系统结构示意图。如图4所示,在实施例四中,监听视频呼叫的系统包括:视频终端A、视频终端B、MSC服务器、MGW、VIG、会话初始协议(SIP,Session InitiationProtocol)MCU和一个以上SIP终端。其中的视频终端A、视频终端B、MSC服务器、MGW分别与实施例一所述的功能相同,VIG的功能稍有不同,并且由SIP MCU和SIP终端作为监听接收单元。下面着重介绍本实施例与实施例一的不同之处:
(1)VIG具有SIP功能,根据MSC服务器发出的呼叫与MGW建立连接,在承载面上对MGW发来的呼叫数据进行处理,解复用出音频和视频数据,转换为RTP流,发送给SIP MCU;在控制面通过SIP协议向SIP MCU发送包含RTP流地址信息和编解码信息的控制信令。
(2)SIP MCU接收VIG发来的RTP流,向SIP终端发送音频和视频数据。
(3)SIP终端播放音频和视频数据。
在本实施例中,MSC服务器中和MGW中与视频监听有关的部分与实施例一的相关部分完全相同,在此不予赘述。
在本实施例中,VIG中与视频监听有关的部分包括H.245处理单元、数据解复用单元和媒体发送单元。其中,H.245处理单元与数据解复用单元与实施例一的功能完全相同,在此不予赘述;媒体发送单元将语音和视频流转换为RTP流发送至监听接收单元,在本实施例中发送至SIPMCU。本实施例可以实现多个SIP终端同时监听。
实施例五:
图5是本发明实施例五的监听视频呼叫的系统结构示意图。如图5所示,在实施例五中,监听视频呼叫的系统包括:视频终端A、视频终端B、MSC、MGW、VIG和SIP终端。其中的视频终端A、视频终端B、MSC、MGW分别与实施例一所述的功能相同,VIG的功能稍有不同,并且由SIP终端作为监听接收单元。下面着重介绍本实施例与实施例一的不同之处:
(1)VIG具有SIP功能,根据MSC发出的呼叫与MGW建立连接,在承载面上对MGW发来的呼叫数据进行处理,解复用出音频和视频数据,转换为RTP流,发送给SIP终端;在控制面通过SIP协议向SIP终端发送包含RTP流地址信息和编解码信息的控制信令。
(2)SIP终端播放音频和视频数据。
在本实施例中,MSC中和MGW中与视频监听有关的部分与实施例一的相关部分完全相同,在此不予赘述。
在本实施例中,VIG中与视频监听有关的部分包括H.245处理单元、数据解复用单元和媒体发送单元。其中,H.245处理单元与数据解复用单元与实施例一的功能完全相同,在此不予赘述;媒体发送单元将语音和视频流转换为RTP流发送至监听接收单元,在本实施例中发送至SIP终端。
在具体的实施过程中可对根据本发明的优选实施例进行适当的改进,以适应具体情况的具体需要。因此可以理解,本文所述的本发明的具体实施方式只是起示范作用,并不用以限制本发明的保护范围。

Claims (26)

1.一种监听视频呼叫的系统,用于监听主叫视频终端与被叫视频终端之间的视频通讯,其特征在于,包括移动交换中心MSC服务器、媒体网关、视频网关和监听接收单元;
MSC服务器与媒体网关连接,在主叫视频终端向被叫视频终端发起视频呼叫后,MSC服务器向视频网关发出呼叫,并向媒体网关发送复制主叫和被叫视频终端的呼叫数据的指示消息;
媒体网关根据所收到的指示消息,分别复制主叫和被叫视频终端的呼叫数据,并将复制的呼叫数据发送至视频网关;
视频网关接收MSC服务器发出的呼叫,与媒体网关建立连接,接收媒体网关复制的呼叫数据;从呼叫数据解复用出音频流和视频流后,发送音频流、视频流和控制信令至监听接收单元;
监听接收单元根据控制信令播放解复用出的音频流和视频流。
2.根据权利要求1所述的系统,其特征在于,所述监听接收单元包括H.323多点控制单元和至少一个H.323终端;
所述视频网关将呼叫数据转换为实时传输协议RTP流后发送至H.323多点控制单元,H.323多点控制单元将RTP流发送至至少一个H.323终端;
所述至少一个H.323终端播放RTP流。
3.根据权利要求1所述的系统,其特征在于,所述监听接收单元包括监听端MSC服务器和H.324M终端;
所述视频网关发送音频流和视频流至监听端MSC服务器;
所述监听端MSC服务器将音频流和视频流发送至H.324M终端;
H.324M终端播放接收到的音频流和视频流。
4.根据权利要求3所述的系统,其特征在于,所述MSC服务器和监听端MSC服务器为同一MSC服务器。
5.根据权利要求1所述的系统,其特征在于,所述监听接收单元包括会话起始协议SIP多点控制单元和至少一个SIP终端;
所述视频网关将呼叫数据转换为RTP流后发送至SIP多点控制单元,SIP多点控制单元将RTP流发送至至少一个SIP终端;
所述至少一个SIP终端播放RTP流。
6.根据权利要求1所述的系统,其特征在于,所述监听接收单元包括SIP终端;
所述视频网关将呼叫数据转换为RTP流后发送至SIP终端;
SIP终端播放RTP流。
7.根据权利要求1所述的系统,其特征在于,所述监听接收单元包括实时流媒体协议RTSP服务器、RTSP网站服务器和RTSP终端;
所述视频网关在接收到MSC服务器的呼叫后,在RTSP网站服务器的监听界面上添加主叫和被叫视频终端的号码;
所述视频网关将呼叫数据转换为RTP流后发送至RTSP服务器,RTSP服务器将所接收到的RTP流通过网络向RTSP网站服务器广播;
RTSP网站服务器接收RTSP服务器广播的RTP流,将RTP流与监听界面上的主叫和被叫视频终端的号码相关联;
RTSP终端通过登录RTSP网站服务器的监听界面播放RTP流。
8.根据权利要求7所述的系统,其特征在于,进一步包括混合器;
所述混合器将视频网关发来的RTP流转发至RTSP服务器。
9.根据权利要求8所述的系统,其特征在于,进一步包括存储设备;
所述混合器将视频网关发来的RTP流进行压缩,转换为流媒体格式文件后存储在存储设备中;
所述存储设备将压缩后的媒体流文件发送至RTSP服务器,所述RTSP服务器对媒体流文件解压缩后通过网络向RTSP网站服务器广播。
10.根据权利要求1至9中任一项所述的系统,其特征在于,所述MSC服务器向视频网关发出的呼叫由综合业务数字网用户部分ISUP协议、电话用户部分TUP协议或基群速率适配PRA协议承载。
11.根据权利要求2至4中任一项所述的系统,其特征在于,所述视频网关向监听接收单元发出的控制信令由H.323协议承载,包含音频流和视频流的地址、端口号、编解码信息。
12.根据权利要求5或6所述的系统,其特征在于,所述视频网关向监听接收单元发出的控制信令由SIP协议承载,包含音频流和视频流的地址、端口号、编解码信息。
13.根据权利要求7至9中任一项所述的系统,其特征在于,所述视频网关向监听接收单元发出的控制信令由RTSP协议承载,包含音频流和视频流的地址、端口号、编解码信息。
14.根据权利要求1至9中任一项所述的系统,其特征在于,所述MSC服务器包括视频监听用户判断单元、呼叫识别单元和视频监听控制单元;其中
监听用户判断单元在主叫视频终端向被叫视频终端发起呼叫时,判断呼叫的主叫和被叫号码是否为被控用户的号码,如果是,则将呼叫路由至视频呼叫识别单元;否则,将呼叫路由至MSC服务器的正常呼叫处理单元;
视频呼叫识别单元,接收到监听用户判断单元路由来的呼叫时,判断呼叫是否为视频呼叫,如果是,则将视频呼叫路由至视频监听控制单元;否则,将呼叫路由至MSC服务器的监听音频呼叫的处理单元;
视频监听控制单元根据视频呼叫识别单元路由来的视频呼叫,向视频网关发出分别对应主叫号码与被叫号码的两个呼叫,指示VIG建立与MGW的联系;指示媒体网关分别复制主叫和被叫视频终端的呼叫数据。
15.根据权利要求1至9中任一项所述的系统,其特征在于,所述MGW包括呼叫数据复制单元和呼叫数据发送单元;其中
呼叫数据复制单元在MSC服务器的指示下,分别复制主叫和被叫视频终端的上行呼叫数据,然后将主叫和被叫视频终端的上行呼叫数据分别发送至呼叫数据发送单元;
呼叫数据发送单元分别将主叫和被叫视频终端的上行呼叫数据发送至视频网关。
16.根据权利要求7至9中任一项所述的系统,其特征在于,所述视频网关包括呼叫处理单元、H.245处理单元、数据解复用单元和媒体发送单元;其中
呼叫处理单元在接收到MSC服务器的呼叫后,将主叫和被叫视频终端的号码发送至RTSP网站服务器;
H.245处理单元在接收到主叫和被叫视频终端的呼叫数据时,分别删除主叫和被叫视频终端的呼叫数据中包含的H.245协商消息,将主叫和被叫视频终端的呼叫数据分别发送至数据解复用单元;
数据解复用处理单元将主叫视频终端的呼叫数据中的视频打开逻辑信道OLC消息复制给被叫视频终端的呼叫数据,根据主叫和被叫视频终端的呼叫数据的音频和视频OLC消息,分别解复用出音频和视频流后发送至媒体发送单元;
媒体发送单元分别将解复用出的音频和视频流进行转换后发送至监听接收单元。
17.根据权利要求1至6中任一项所述的系统,其特征在于,所述视频网关包括H.245处理单元、数据解复用单元和媒体发送单元;其中,
H.245处理单元在接收到主叫和被叫视频终端的呼叫数据时,分别删除主叫和被叫视频终端的呼叫数据中包含的H.245协商消息,将主叫和被叫视频终端的呼叫数据分别发送至数据解复用单元;
数据解复用单元将主叫视频终端的呼叫数据中的视频打开逻辑信道OLC消息复制给被叫视频终端的呼叫数据,根据主叫和被叫视频终端的呼叫数据的音频和视频OLC消息,分别解复用出音频和视频流后发送至媒体发送单元;
媒体发送单元分别将解复用出的音频和视频流进行转换后发送至监听接收单元。
18.一种监听视频呼叫的方法,用于监听主叫视频终端和被叫视频终端之间的视频通讯,其特征在于,包括:
在主叫视频终端向被叫视频终端发起视频呼叫时,媒体网关根据接收自移动交换中心MSC服务器的复制主叫和被叫视频终端的呼叫数据的指示消息,对主叫和被叫视频终端的呼叫数据进行复制;
从复制的呼叫数据中解复用出音频和视频流后在监听接收端播放。
19.根据权利要求18所述的方法,其特征在于,进一步包括:设置被控用户的号码;
所述分别对主叫和被叫视频终端的视频数据进行复制之前,进一步包括:判断主叫或被叫视频终端号码是否为所设置的被控用户的号码,如果是,则分别对主叫和被叫视频终端的视频数据进行复制。
20.根据权利要求18所述的方法,其特征在于,所述对呼叫数据进行复制之后,从呼叫数据中解复用出音频和视频流之前,进一步包括:
分别终结主叫和被叫视频终端的呼叫数据中包含的H.245协商;
将主叫视频终端的呼叫数据中包含的视频打开逻辑通道OLC消息复制给被叫视频终端的呼叫数据。
21.根据权利要求20所述的方法,其特征在于,所述从复制的呼叫数据中解复用出音频和视频流包括:根据主叫和被叫视频终端的呼叫数据中包含的音频OLC消息和视频OLC消息,分别从主叫和被叫视频终端的呼叫数据中解复用出音频流和视频流。
22.根据权利要求18所述的方法,其特征在于,所述从复制的呼叫数据中解复用出音频和视频流之后,在监听接收端播放之前,进一步包括:对解复用出的音频和视频流进行格式转换。
23.根据权利要求22所述的方法,其特征在于,所述对音频和视频流进行格式转换后,进一步包括:向监听接收端发送主叫和被叫视频终端的音频流和视频流的地址、端口号、编解码信息;
所述在监听接收端播放包括:根据所述音频流和视频流的地址、端口号和编解码信息,在监听接收端接收并播放主叫和被叫视频终端的音频流和视频流。
24.根据权利要求23所述的方法,其特征在于,所述向监听接收端发送主叫和被叫视频终端的音频流和视频流的地址、端口号、编解码信息包括:通过标准实时流媒体协议RTSP的宣布流程向监听接收端发送主叫和被叫视频终端的音频流和视频流的地址、端口号、编解码信息。
25.根据权利要求18所述的方法,其特征在于,所述从复制的呼叫数据中解复用出音频和视频流之后,在监听接收端播放之前,进一步包括:对解复用出的音频流和视频流进行压缩,以流媒体格式文件存储;
所述播放音频流和视频流包括:对存储的流媒体格式文件的数据进行解压缩,得到音频流和视频流后播放。
26.根据权利要求18所述的方法,其特征在于,所述对主叫视频终端和被叫视频终端的呼叫数据进行复制为:对主叫视频终端的上行呼叫数据和被叫视频终端的上行呼叫数据进行复制。
CN2006800119334A 2005-07-14 2006-07-14 一种监听视频呼叫的系统和方法 Expired - Fee Related CN101156374B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200510036026.2 2005-07-14
CNB2005100360262A CN100384160C (zh) 2005-07-14 2005-07-14 监听视频呼叫的方法和装置
PCT/CN2006/001676 WO2007006237A1 (fr) 2005-07-14 2006-07-14 Système de surveillance d’appel vidéo

Publications (2)

Publication Number Publication Date
CN101156374A CN101156374A (zh) 2008-04-02
CN101156374B true CN101156374B (zh) 2010-04-21

Family

ID=37578729

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB2005100360262A Expired - Fee Related CN100384160C (zh) 2005-07-14 2005-07-14 监听视频呼叫的方法和装置
CN2006800119334A Expired - Fee Related CN101156374B (zh) 2005-07-14 2006-07-14 一种监听视频呼叫的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB2005100360262A Expired - Fee Related CN100384160C (zh) 2005-07-14 2005-07-14 监听视频呼叫的方法和装置

Country Status (7)

Country Link
US (1) US7920578B2 (zh)
EP (1) EP1819097B1 (zh)
CN (2) CN100384160C (zh)
AT (1) ATE434312T1 (zh)
DE (1) DE602006007304D1 (zh)
RU (1) RU2369026C2 (zh)
WO (1) WO2007006237A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8867575B2 (en) 2005-04-29 2014-10-21 Jasper Technologies, Inc. Method for enabling a wireless device for geographically preferential services
US8391161B1 (en) 2009-05-07 2013-03-05 Jasper Wireless, Inc. Virtual diagnostic system for wireless communications network systems
US9167471B2 (en) 2009-05-07 2015-10-20 Jasper Technologies, Inc. System and method for responding to aggressive behavior associated with wireless devices
WO2008086639A1 (en) * 2006-12-30 2008-07-24 Huawei Technologies Co., Ltd. System for voice interception of video phone services in a multi-media network
JP5242683B2 (ja) * 2007-08-10 2013-07-24 テレフオンアクチーボラゲット エル エム エリクソン(パブル) インターネットプロトコル(ip)ドメインでの監視における又はこれに関連する改良
CN101370220B (zh) * 2007-08-16 2011-05-11 中兴通讯股份有限公司 一种视频媒体监听方法及其系统
CN101534264A (zh) * 2008-03-14 2009-09-16 华为技术有限公司 一种实现ims域与cs域互通的方法及设备
WO2010009765A1 (en) * 2008-07-24 2010-01-28 Telefonaktiebolaget Lm Ericsson (Publ) Lawful interception for targets in a proxy mobile internet protocol network
CN101677388A (zh) * 2008-09-17 2010-03-24 中国移动通信集团公司 可视通信系统、终端网关、视频网关以及可视通信方法
CN101488954A (zh) * 2009-01-09 2009-07-22 中兴通讯股份有限公司 语音监听方法以及接入网关
CN102480575B (zh) * 2010-11-30 2014-12-10 迈普通信技术股份有限公司 Voip录音控制方法及其系统
CN102185988B (zh) * 2011-05-18 2015-06-03 中兴通讯股份有限公司 实时采集语音数据的方法、系统和媒体网关
CN102843337B (zh) * 2011-06-20 2017-07-14 中兴通讯股份有限公司 Ip多媒体子系统中媒体内容监听方法及装置
CN102316111B (zh) * 2011-09-16 2017-07-21 南京中兴软件有限责任公司 媒体流的处理方法、视频呼叫的监听方法和视讯网关
CN103369292B (zh) * 2013-07-03 2016-09-14 华为技术有限公司 一种呼叫处理方法及网关
CN105554431A (zh) * 2016-02-17 2016-05-04 努比亚技术有限公司 一种视频通话录像方法、装置及系统
KR102651793B1 (ko) * 2017-01-10 2024-03-28 삼성전자주식회사 영상 통화를 수행하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록매체
CN109040645B (zh) * 2018-08-02 2022-06-17 平安科技(深圳)有限公司 音视频文件转录方法、装置及存储介质、服务器
CN111065058B (zh) * 2018-10-16 2021-08-17 成都鼎桥通信技术有限公司 一种视频组呼方法、终端以及网络系统
CN111432075B (zh) * 2020-03-12 2022-03-08 深圳震有科技股份有限公司 基于voip网络实时监控语音通话方法及装置
CN113179523B (zh) * 2021-04-15 2022-07-22 海能达通信股份有限公司 环境监听方法及其系统、电子设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1445967A (zh) * 2002-03-15 2003-10-01 阿尔卡特公司 收听呼叫的方法
CN1509015A (zh) * 2002-12-16 2004-06-30 华为技术有限公司 实现分组语音网络监听的系统及方法
WO2004091250A1 (en) * 2003-04-09 2004-10-21 Telefonaktiebolaget Lm Ericsson (Publ) Lawful interception of multimedia calls
WO2005025133A1 (en) * 2003-09-05 2005-03-17 Telefonaktiebolaget Lm Ericsson (Publ) Monitoring in a telecommunication network

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI106509B (fi) * 1997-09-26 2001-02-15 Nokia Networks Oy Laillinen salakuuntelu tietoliikenneverkossa
US20020124262A1 (en) * 1999-12-01 2002-09-05 Andrea Basso Network based replay portal
US7286652B1 (en) * 2000-05-31 2007-10-23 3Com Corporation Four channel audio recording in a packet based network
WO2002011458A1 (de) * 2000-08-02 2002-02-07 Siemens Aktiengesellschaft Verfahren zum vermitteln für die übertragung von nutzdatenpaketen sowie zugehörige signalisierungseinheit
DE60133316T2 (de) * 2000-10-10 2008-07-10 Nortel Networks Ltd., St. Laurent System und verfahren zum abfangen von telekommunikationen
EP1396113B1 (en) * 2001-05-16 2009-07-29 Nokia Corporation Method and system allowing lawful interception of connections such as voice-over-internet-protocol calls
CN100450176C (zh) * 2001-12-11 2009-01-07 艾利森电话股份有限公司 用于流媒体的数字权利管理方法和客户设备
JP3643557B2 (ja) * 2001-12-28 2005-04-27 株式会社東芝 記録再生装置
US7836160B2 (en) * 2002-01-08 2010-11-16 Verizon Services Corp. Methods and apparatus for wiretapping IP-based telephone lines
EP1389862B1 (en) * 2002-08-08 2004-11-03 Alcatel Lawful interception for VoIP calls in IP based networks
US7184531B2 (en) * 2003-06-05 2007-02-27 Siemens Communications, Inc. System and method for authorizing a party to join a conference
EP1528774A1 (en) * 2003-10-30 2005-05-04 Alcatel Method and system of providing lawful interception of calls

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1445967A (zh) * 2002-03-15 2003-10-01 阿尔卡特公司 收听呼叫的方法
CN1509015A (zh) * 2002-12-16 2004-06-30 华为技术有限公司 实现分组语音网络监听的系统及方法
WO2004091250A1 (en) * 2003-04-09 2004-10-21 Telefonaktiebolaget Lm Ericsson (Publ) Lawful interception of multimedia calls
WO2005025133A1 (en) * 2003-09-05 2005-03-17 Telefonaktiebolaget Lm Ericsson (Publ) Monitoring in a telecommunication network

Also Published As

Publication number Publication date
ATE434312T1 (de) 2009-07-15
RU2369026C2 (ru) 2009-09-27
EP1819097A1 (en) 2007-08-15
WO2007006237A1 (fr) 2007-01-18
CN101156374A (zh) 2008-04-02
US20070268361A1 (en) 2007-11-22
EP1819097B1 (en) 2009-06-17
CN100384160C (zh) 2008-04-23
CN1889469A (zh) 2007-01-03
US7920578B2 (en) 2011-04-05
RU2007125542A (ru) 2009-01-20
DE602006007304D1 (zh) 2009-07-30
EP1819097A4 (en) 2008-03-12

Similar Documents

Publication Publication Date Title
CN101156374B (zh) 一种监听视频呼叫的系统和方法
CN1636384B (zh) 进行带可选语音到文本转换的电话会议的方法和系统
US7227922B2 (en) Method and device for the transmission of data in a packet-oriented data network
US20050208962A1 (en) Mobile phone, multimedia chatting system and method thereof
EP2482612B1 (en) Method, application server and system for privacy protection in video call
JP3909303B2 (ja) 電気通信システム及びストリーミングビデオコンテンツの送信方法
EP1676439B1 (en) Video conference with improved multi media capabilities
CN101909192B (zh) 电视终端的通信方法及其电视终端
CN104980683A (zh) 一种视频电话会议的实现方法及装置
CN100561963C (zh) 一种实现多媒体内容共享的系统
TW201044851A (en) Video preview modules, systems, user equipment, and methods
KR101585871B1 (ko) 이동통신 시스템에서 화이트 보드 서비스 제공을 위한 장치 및 방법
CN100581197C (zh) 一种获取媒体特征信息的方法和系统以及终端设备
US8248453B2 (en) Call control system and method for mobile communication
JP2006319779A (ja) テレビ会議制御装置、テレビ会議制御方法およびそのコンピュータ・プログラム
JP2002290940A (ja) テレビ会議システム
EP2087674B1 (en) Method to stream compressed digital audio over circuit switched, voice networks
KR100718806B1 (ko) H.323 기반의 텍스트 서비스가 가능한 VoIP 시스템
CN101437249B (zh) 视频呼叫的监听方法及其应用
KR100739306B1 (ko) 멀티미디어 메시지의 처리방법
EP1395055B1 (en) Method for providing access to video data and voice data of a video telephony call
KR100793427B1 (ko) 화상전화를 이용한 방송 콘텐츠 생성 방법 및 이를 위한장치
KR100590488B1 (ko) 이동통신망에서 멀티모달 인터페이스를 이용하는 trs서비스 제공 시스템 및 방법
KR20060036645A (ko) 응급 신고 서비스 장치 및 방법
KR20030016065A (ko) 디지털 가입자 인터페이스 보드를 이용한 화상회의 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100421

CF01 Termination of patent right due to non-payment of annual fee