CN104836980A - 基于智能终端和ip摄像头实现视频通话的系统及方法 - Google Patents

Abstract

本发明公开了一种基于智能终端和IP摄像头实现视频通话的系统及方法，涉及视频通话领域。本发明采用IP摄像头进行视频通话的编码及传输，并采用智能终端进行解码，使视频通话的编码能力与智能终端的编码能力分离。用户通过智能终端APP与同一NAT下的IP摄像头绑定，交互各自绑定的NAT下的IP摄像头对应的外网NAT穿越监控URL及密钥，使得双方可以指定各自NAT下的智能终端设备访问对方NAT下的指定IP摄像头，因此，用户能够经济地利用IP摄像头与智能终端实现视频通话，充分利用IP摄像头的光学采集、编码优势及智能终端的交互性优势。

Description

基于智能终端和IP摄像头实现视频通话的系统及方法

技术领域

本发明涉及视频通话领域，具体是涉及一种基于智能终端和IP摄像头实现视频通话的系统及方法。

背景技术

随着宽带技术的发展，基于视频的业务逐步普及，例如，视频通话、视频监控，将是未来智慧家庭中的核心业务。现阶段，视频监控业务一般由IP(Internet Protocol，网络之间互连的协议)摄像头承载，IP摄像头负责音视频的编码、传输；远端访问获取监控视频，是被动单向的。视频通话业务可在智能终端(例如Android/iOS机顶盒、手机、平板)上实现，智能终端负责音视频的编码及解码，可双向互通。

IP摄像头有专业的光学采集器件，优于智能终端的内置摄像头或外置的USB摄像头；IP摄像头有专业的编码芯片负责视频的硬件编码传输，质量高，带宽占用低。但是，IP摄像头通常缺乏屏幕，交互能力较弱。

相对IP摄像头而言，智能终端的硬件编码能力较弱，甚至是用软件去编码，在视频通信业务中容易消耗太多的CPU资源及带宽，影响用户体验。但是，智能终端通过自身屏幕，或外接屏幕，通过智能终端上运行的APP(APPlication，应用)，实现便捷的交互。

鉴于以上情况，用户迫切需要一种同时具有IP摄像头视频监控的画面质量和智能终端交互优点的、经济可行的视频通话系统。

发明内容

本发明的目的是为了克服上述背景技术的不足，提供一种基于智能终端和IP摄像头实现视频通话的系统及方法，使得用户能够经济地利用IP摄像头与智能终端实现视频通话，充分利用IP摄像头的光学采集、编码优势及智能终端的交互性优势。

本发明提供一种基于智能终端和IP摄像头实现视频通话的系统，包括公网中的平台服务器、同一网络地址转换NAT下的多个IP摄像头、多个智能终端、多个显示终端，其特征在于：所述平台服务器包括信令单元、用户管理单元，所述信令单元接收IP摄像头的注册，生成IP摄像头对应的NAT穿越监控统一资源定位符URL；外网设备通过NAT穿越监控URL找到对应的IP摄像头；信令单元接收智能终端的注册，生成对应的NAT访问地址；信令单元将这些地址存放在用户管理单元中；并负责视频通话过程中智能终端间的信令转发；用户管理单元存放IP摄像头对应的最新NAT穿越监控URL、视频通话用户NAT穿越地址及该用户的好友列表；用户管理单元根据信令单元的请求，按IP摄像头的唯一硬件标识符检索到IP摄像头对应的最新NAT穿越监控URL；

智能终端控制视频通话的信令交互，且具备视频通话的视频呈现能力：智能终端根据远端IP摄像头对应的NAT穿越监控URL、远程监控访问密钥、本地IP摄像头获取的本地监控访问加密URL，访问远端IP摄像头、本地IP摄像头，来呈现视频通话的远端视频与本地视频；

显示终端具备视频通话的视频呈现能力：显示终端根据智能终端提供的远端IP摄像头对应的NAT穿越监控URL、远程监控访问密钥、本地IP摄像头获取的本地监控访问加密URL，访问远端IP摄像头、本地IP摄像头，来呈现视频通话的远端视频与本地视频。

在上述技术方案的基础上，所述IP摄像头包括监控注册单元、密钥管理单元，所述监控注册单元用于向平台服务器的信令单元注册；所述密钥管理单元在非视频通话时间内，随机动态生成IP摄像头的远程监控访问密钥；密钥管理单元接收智能终端发来的IP摄像头唯一硬件标识获取请求、本地监控访问加密URL获取请求、远程监控访问密钥获取请求、视频通话心跳消息、视频通话结束消息；回复IP摄像头唯一硬件标识、本地监控访问加密URL、远程监控访问密钥。

在上述技术方案的基础上，所述密钥管理单元定期更新监控注册单元的远程监控访问密钥；密钥管理单元收到智能终端发来的远程监控访问密钥获取请求消息后，停止更新远程监控访问密钥；当密钥管理单元未收到视频通话心跳消息导致超时后，或密钥管理单元收到视频通话结束消息后，密钥管理单元立即恢复定期更新远程监控访问密钥；确保视频通话结束后，对应的远程监控密钥失效，确保NAT下的IP摄像头监控视频无法通过已结束的通话中使用的作废旧密钥从外网访问。

在上述技术方案的基础上，所述智能终端包括视频通话单元，所述视频通话单元通过密钥管理单元与IP摄像头进行通信：

视频通话单元负责搜寻同一NAT下的IP摄像头，并与之绑定，获取对应IP摄像头的唯一硬件标识、本地监控访问加密URL、远程监控访问密钥，由自身呈现，或交给同一NAT下的显示终端呈现；在视频通话过程中，定期向IP摄像头发送视频通话心跳消息；在视频通话结束时，向IP摄像头发送视频通话结束信息；视频通话单元向平台服务器的信令单元进行注册，获取用户管理单元维护的该视频通话账号的好友列表；根据所绑定的同一NAT下的IP摄像头的唯一硬件标识，获取该IP摄像头对应的NAT穿越监控URL。

在上述技术方案的基础上，所述视频通话单元作为主叫在发起视频通话时，将指定的本地使用的IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，传送给被叫方的智能终端；并在视频通话建立后，根据提供的被叫方IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，来访问被叫方指定的IP摄像头，呈现被叫方的视频；并根据从本地IP摄像头获取的本地监控访问加密URL，呈现本地视频。

在上述技术方案的基础上，所述视频通话单元作为被叫在接通视频电话前，将指定的本地使用的IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，传送给主叫方的智能终端；并在视频通话建立后，根据提供的主叫方IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，来访问主叫方指定的IP摄像头，呈现主叫方的视频；并根据从本地IP摄像头获取的本地监控访问加密URL，呈现本地视频。

在上述技术方案的基础上，所述视频通话建立后，本地的智能终端将远端IP摄像头对应的NAT穿越监控URL、远程监控访问密钥、本地IP摄像头获取的本地监控访问加密URL，交由自身或同一NAT下的显示终端；该显示终端根据远端IP摄像头对应的NAT穿越监控URL、远程监控访问密钥访问远端IP摄像头，呈现远端视频；该显示终端根据本地监控访问加密URL，呈现本地视频。

本发明还提供一种用于上述系统的基于智能终端和IP摄像头实现视频通话的方法，包括以下步骤：

IP摄像头上电后，密钥管理单元开始工作，进行初始化；密钥管理单元创建网络监听线程、密钥更新线程，网络监听线程用来与智能终端通信；密钥更新线程用来根据通话状态更新密钥；网络监听线程与密钥更新线程并行工作，相互独立，创建顺序无限制；

用户启动智能终端上的视频通话应用APP后，视频通话单元开始工作，进行初始化；视频通话单元先创建摄像头交互线程、平台交互线程，摄像头交互线程用来与NAT下的IP摄像头进行相关参数及消息的交互；平台交互线程用来与平台服务器交互；摄像头交互线程与平台交互线程并行工作，相互独立，创建顺序无限制；视频通话单元再创建监听主叫行为线程、监听被叫请求线程，监听主叫行为线程与监听被叫请求线程并行工作，相互独立，创建顺序无限制；

IP摄像头与智能终端并行工作，相互独立。

在上述技术方案的基础上，所述密钥管理单元创建网络监听线程的流程为：

S101、监听网络接口，收到消息后转向S102；

S102、解析消息类型，并根据消息类型执行对应的S103～S114后续步骤；

S103、判断消息类型是否为智能终端的关联请求，如果是智能终端的关联请求，则转到S104；否则转到S105；

S104、消息类型是智能终端的关联请求时，与智能终端建立绑定关系，并将IP摄像头的唯一硬件标识符发给智能终端，返回到S101；

S105、判断消息类型是否为本地监控访问加密URL获取请求，如果是，则转到S106；否则转到S107；

S106、将IP摄像头的本地监控访问加密URL发送给智能终端，返回到S101；

S107、判断消息类型是否为远程监控访问密钥获取请求，如果是，则转到S108；否则转到S110；

S108、将通话标记设定为真，转到S109；

S109、将当前的远程监控访问密钥发送给智能终端，返回到S101；

S110、判断消息类型是否为视频通话心跳消息，如果是，则转到S111；否则转到S113；

S111、将通话标记设定为真，转到S112；

S112、重置心跳定时器，返回到S101；

S113、判断消息类型是否为视频通话结束信息，如果是，则转到S114；否则返回到S101；

S114、将通话标记设定为假，返回到S101。

在上述技术方案的基础上，所述密钥管理单元创建密钥更新线程的流程为：

S201、更新IP摄像头的远程监控访问密钥，并配置生效；

S202、定期休眠，用来定时轮询后续状态；

S203、判断通话标记是否为真，若通话标记为真，则转到S204；若通话标记为假，则确认视频通话已结束，即现在更新远程监控访问密钥不影响视频通话，返回到S201，更新远程监控访问密钥；

S204、判断心跳定时器是否超时，若心跳定时器超时，则转到S205；若心跳定时器未超时，返回到S202，定期休眠；

S205、若心跳定时器超时，则推断视频通话已结束，即现在更新远程监控访问密钥不影响视频通话，置通话标记为假，返回到S201，更新远程监控访问密钥。

在上述技术方案的基础上，所述视频通话单元创建摄像头交互线程的流程为：

S301、寻找NAT下的IP摄像头；

S302、对发现的IP摄像头依次进行关联及进行后续步骤；

S303、根据IP摄像头提供的唯一硬件标识符，向平台服务器查询对应的NAT穿越监控URL；

S304、获取IP摄像头的本地监控访问加密URL；

S305、休眠一段时间，返回S301，从而定期更新同一NAT下的IP摄像头相关信息。

在上述技术方案的基础上，所述视频通话单元创建监听主叫行为线程的流程为：

S401、检测智能终端是否向好友发起呼叫，由平台服务器负责处理信令的中转，如果检测到智能终端向好友发起呼叫，则转到S402，否则继续检测智能终端是否向好友发起呼叫；

S402、创建主叫呼叫线程；

S403、指定NAT下用来通话的本地IP摄像头，向其获取当前的远程监控访问密钥；

S404、向被叫发起呼叫，附带S303中获取的本地IP摄像头对应的NAT穿越监控URL、S403中的远程监控访问密钥；

S405、被叫响应呼叫后，附带被叫指定的本地IP摄像头对应的NAT穿越监控URL、远程监控访问密钥；

S406、根据S405中被叫指定的IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，访问被叫指定IP摄像头，获得远端视频；

S407、检索出S304中获取的本地IP摄像头的本地监控访问加密URL，并访问，获得本地视频；

S408、在通话过程中，定期向对应的本地IP摄像头发送视频通话心跳消息；

S409、主叫挂机或收到被叫挂机消息后，通话结束，停止访问主被叫的IP摄像头；

S410、向本地IP摄像头发送视频通话结束消息；

S411、释放主叫通话线程资源。

在上述技术方案的基础上，所述视频通话单元创建监听被叫请求线程的流程为：

S501、若收到其他智能终端发起的新的视频通话呼叫请求，其消息中带有主叫指定的主叫方本地IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，则继续后续S502，否则继续等待；

S502、创建被叫呼叫线程；

S503、指定NAT中用来视频通话的IP摄像头，向其获取指定IP摄像头的远程监控访问密钥；

S504、应答主叫的呼叫请求，附带S303中获取的本地IP摄像头对应的NAT穿越监控URL、S503中的远程监控访问密钥；

S505、根据S501中主叫指定的IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，访问主叫指定IP摄像头，获得远端视频；

S506、根据S304中获取的本地监控访问加密URL，获得本地视频；

S507、在通话过程中，定期向对应的本地IP摄像头发送视频通话心跳消息；

S508、主动挂机或收到主叫挂机消息后，通话结束，停止访问主被叫的IP摄像头；

S509、向本地IP摄像头发送视频通话结束消息；

S510、释放被叫通话线程资源。

在上述技术方案的基础上，所述视频通话单元建立成功视频通话时，将远端指定IP摄像头对应的NAT穿越监控URL、远程监控访问密钥访、本地IP摄像头的本地监控访问加密URL，发送给显示终端，即调整上述步骤S406、S407，由显示终端来显示远端视频、本地视频。

在上述技术方案的基础上，所述视频通话单元建立成功视频通话时，将远端指定IP摄像头对应的NAT穿越监控URL、远程监控访问密钥访、本地IP摄像头的本地监控访问加密URL，发送给显示终端，即调整上述步骤S505、S506，由显示终端来显示远端视频、本地视频。

在上述技术方案的基础上，在上述视频通话的流程中，智能终端主叫方在S401发起新的呼叫请求，创建新的主叫呼叫线程，实现N+1方会话，N为同一智能终端的并发主叫呼叫线程及被叫通话线程数目之和，N为正整数。

在上述技术方案的基础上，在上述视频通话的流程中，智能终端被叫方在S501接受新的呼叫请求，实现N+1方会话，N为同一智能终端的并发主叫呼叫线程及被叫通话线程数目之和，N为正整数。

在上述技术方案的基础上，将智能终端作为显示终端，具体的应用场景有：智能终端是手机或平板电脑，显示终端是接电视机的智能机顶盒、或其他手机、平板电脑，将视频通话在发起或接收呼叫的手机或平板电脑上显示，或控制智能机顶盒在电视机上显示，或控制在其他手机、平板电脑上显示。

在上述技术方案的基础上，所述视频通话单元创建平台交互线程的流程为：

视频通话单元向平台注册，使得平台创建对应智能终端的NAT穿越地址，便于好友访问；获取对应账号的好友列表及上线状态；休眠一段时间；重复执行以上步骤，视频通话单元继续向平台注册，从而定期更新智能终端对应的NAT穿越地址及好友列表状态。

与现有技术相比，本发明的优点如下：

(1)与传统的视频通话依赖智能终端的编码能力、解码能力相比，本发明采用IP摄像头进行视频通话的编码及传输，并采用智能终端进行解码，使视频通话的编码能力与智能终端的编码能力分离。用户通过智能终端APP与同一NAT下的IP摄像头绑定，交互各自绑定的NAT下的IP摄像头对应的外网NAT穿越监控URL及密钥，使得双方可以指定各自NAT下的智能终端设备访问对方NAT下的指定IP摄像头，因此，用户能够经济地利用IP摄像头与智能终端实现视频通话，充分利用IP摄像头的光学采集、编码优势及智能终端的交互性优势，弥补IP摄像头交互性差、智能终端硬件编码能力差的缺点。

(2)本发明提供了一种将指定的IP摄像头加入视频通话，并在指定的显示终端上显示对应视频的方法，丰富了视频通话的使用场景。

(3)在双方通话的流程中，智能终端可以发起新的呼叫请求，创建新的主叫呼叫线程；智能终端还可以接受新的呼叫请求，实现N+1方会话，N为同一智能终端的并发主叫呼叫线程及被叫通话线程数目之和，N为正整数，能够便捷地从双方通话扩展成多方通话。

附图说明

图1是本发明实施例中基于智能终端和IP摄像头实现视频通话的系统的结构框图。

图2是本发明实施例中密钥管理单元创建网络监听线程的流程图。

图3是本发明实施例中密钥管理单元创建密钥更新线程的流程图。

图4是本发明实施例中视频通话单元创建摄像头交互线程的流程图。

图5是本发明实施例中视频通话单元创建监听主叫行为线程的流程图。

图6是本发明实施例中视频通话单元创建监听被叫请求线程的流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细描述。

参见图1所示，本发明实施例提供一种基于智能终端和IP摄像头实现视频通话的系统，包括公网中的平台服务器、同一NAT(Network Address Translation，网络地址转换)下的多个IP摄像头、多个智能终端、多个显示终端，平台服务器包括信令单元、用户管理单元。信令单元接收IP摄像头的注册，生成IP摄像头对应的NAT穿越监控URL(Uniform Resource Locator，统一资源定位符)；外网设备通过NAT穿越监控URL找到对应的IP摄像头；信令单元接收智能终端的注册，生成对应的NAT访问地址；信令单元将这些地址存放在用户管理单元中；并负责视频通话过程中智能终端间的信令转发。用户管理单元存放IP摄像头对应的最新NAT穿越监控URL、视频通话用户NAT穿越地址及该用户的好友列表；用户管理单元根据信令单元的请求，按IP摄像头的唯一硬件标识符检索到IP摄像头对应的最新NAT穿越监控URL。

智能终端控制视频通话的信令交互，且具备视频通话的视频呈现能力：智能终端根据远端IP摄像头对应的NAT穿越监控URL、远程监控访问密钥、本地IP摄像头获取的本地监控访问加密URL，访问远端IP摄像头、本地IP摄像头，来呈现视频通话的远端视频与本地视频。

显示终端具备视频通话的视频呈现能力：显示终端根据智能终端提供的远端IP摄像头对应的NAT穿越监控URL、远程监控访问密钥、本地IP摄像头获取的本地监控访问加密URL，访问远端IP摄像头、本地IP摄像头，来呈现视频通话的远端视频与本地视频。

在实际应用中，智能终端也可作为显示终端，具体的应用场景有：智能终端是手机或平板电脑，显示终端是接电视机的智能机顶盒、或其他手机、平板电脑，可以将视频通话在发起或接收呼叫的手机或平板电脑上显示，也可控制智能机顶盒在电视机上显示，或控制在其他手机、平板电脑上显示。

参见图1所示，IP摄像头包括监控注册单元、密钥管理单元。

IP摄像头的监控注册单元用于向平台服务器的信令单元注册。

密钥管理单元在非视频通话时间内，随机动态生成IP摄像头的远程监控访问密钥。密钥管理单元接收智能终端发来的IP摄像头唯一硬件标识获取请求、本地监控访问加密URL获取请求、远程监控访问密钥获取请求、视频通话心跳消息、视频通话结束消息；回复IP摄像头唯一硬件标识、本地监控访问加密URL、远程监控访问密钥。

密钥管理单元定期更新监控注册单元的远程监控访问密钥；密钥管理单元收到智能终端发来的远程监控访问密钥获取请求消息后，停止更新远程监控访问密钥；当密钥管理单元未收到视频通话心跳消息导致超时后，或密钥管理单元收到视频通话结束消息后，密钥管理单元立即恢复定期更新远程监控访问密钥。该方式能够确保视频通话结束后，对应的远程监控密钥失效，确保NAT下的IP摄像头监控视频无法通过已结束的通话中使用的作废旧密钥从外网访问。

参见图1所示，智能终端包括视频通话单元，视频通话单元通过密钥管理单元与IP摄像头进行通信：

视频通话单元负责搜寻同一NAT下的IP摄像头，并与之绑定，获取对应IP摄像头的唯一硬件标识、本地监控访问加密URL、远程监控访问密钥，由自身呈现，或交给同一NAT下的显示终端呈现；在视频通话过程中，定期向IP摄像头发送视频通话心跳消息；在视频通话结束时，向IP摄像头发送视频通话结束信息；视频通话单元向平台服务器的信令单元进行注册，获取用户管理单元维护的该视频通话账号的好友列表；根据所绑定的同一NAT下的IP摄像头的唯一硬件标识，获取该IP摄像头对应的NAT穿越监控URL；

视频通话单元作为主叫在发起视频通话时，将指定的本地使用的IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，传送给被叫方的智能终端；并在视频通话建立后，根据提供的被叫方IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，来访问被叫方指定的IP摄像头，呈现被叫方的视频；并根据从本地IP摄像头获取的本地监控访问加密URL，呈现本地视频。

视频通话单元作为被叫在接通视频电话前，将指定的本地使用的IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，传送给主叫方的智能终端；并在视频通话建立后，根据提供的主叫方IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，来访问主叫方指定的IP摄像头，呈现主叫方的视频；并根据从本地IP摄像头获取的本地监控访问加密URL，呈现本地视频。

视频通话建立后，本地的智能终端可以将远端IP摄像头对应的NAT穿越监控URL、远程监控访问密钥、本地IP摄像头获取的本地监控访问加密URL，交由自身或同一NAT下的显示终端；该显示终端根据远端IP摄像头对应的NAT穿越监控URL、远程监控访问密钥访问远端IP摄像头，呈现远端视频；该显示终端根据本地监控访问加密URL，呈现本地视频。

本发明实施例还提供一种用于上述系统的基于智能终端和IP摄像头实现视频通话的方法，包括以下步骤：

IP摄像头上电后，密钥管理单元开始工作，进行初始化；密钥管理单元创建网络监听线程、密钥更新线程，网络监听线程用来与智能终端通信；密钥更新线程用来根据通话状态更新密钥；网络监听线程与密钥更新线程并行工作，相互独立，创建顺序无限制；

用户启动智能终端上的视频通话APP(APPlication，应用)后，视频通话单元开始工作，进行初始化；视频通话单元先创建摄像头交互线程、平台交互线程，摄像头交互线程用来与NAT下的IP摄像头进行相关参数及消息的交互；平台交互线程用来与平台服务器交互；摄像头交互线程与平台交互线程并行工作，相互独立，创建顺序无限制；视频通话单元再创建监听主叫行为线程、监听被叫请求线程，监听主叫行为线程与监听被叫请求线程并行工作，相互独立，创建顺序无限制；

IP摄像头与智能终端并行工作，相互独立。

参见图2所示，密钥管理单元创建网络监听线程的流程为：

S101、监听网络接口，收到消息后转向S102；

S102、解析消息类型，并根据消息类型执行对应的S103～S114后续步骤；

S103、判断消息类型是否为智能终端的关联请求，如果是智能终端的关联请求，则转到S104；否则转到S105；

S104、消息类型是智能终端的关联请求时，与智能终端建立绑定关系，并将IP摄像头的唯一硬件标识符发给智能终端，返回到S101；

S105、判断消息类型是否为本地(即同一NAT)监控访问加密URL获取请求，如果是，则转到S106；否则转到S107；

S106、将IP摄像头的本地监控访问加密URL发送给智能终端，返回到S101；

S107、判断消息类型是否为远程监控访问密钥获取请求，如果是，则转到S108；否则转到S110；

S108、将通话标记设定为真，转到S109；

S109、将当前的远程监控访问密钥发送给智能终端，返回到S101；

S110、判断消息类型是否为视频通话心跳消息，如果是，则转到S111；否则转到S113；

S111、将通话标记设定为真，转到S112；

S112、重置心跳定时器，返回到S101；

S113、判断消息类型是否为视频通话结束信息，如果是，则转到S114；否则返回到S101；

S114、将通话标记设定为假，返回到S101。

参见图3所示，密钥管理单元创建密钥更新线程的流程为：

S201、更新IP摄像头的远程监控访问密钥，并配置生效；

S202、定期休眠，用来定时轮询后续状态；

S203、判断通话标记是否为真，若通话标记为真，则转到S204；若通话标记为假，则确认视频通话已结束，即现在更新远程监控访问密钥不影响视频通话，返回到S201，更新远程监控访问密钥；

S204、判断心跳定时器是否超时，若心跳定时器超时，则转到S205；若心跳定时器未超时，返回到S202，定期休眠；

S205、若心跳定时器超时，则推断视频通话已结束，即现在更新远程监控访问密钥不影响视频通话，置通话标记为假，返回到S201，更新远程监控访问密钥。

参见图4所示，视频通话单元创建摄像头交互线程的流程为：

S301、寻找NAT下的IP摄像头；

S302、对发现的IP摄像头依次进行关联及进行后续步骤；

S303、根据IP摄像头提供的唯一硬件标识符，向平台服务器查询对应的NAT穿越监控URL；

S304、获取IP摄像头的本地监控访问加密URL；

S305、休眠一段时间，返回S301，从而定期更新同一NAT下的IP摄像头相关信息。

视频通话单元创建平台交互线程的流程为：

视频通话单元向平台注册，使得平台创建对应智能终端的NAT穿越地址，便于好友访问；获取对应账号的好友列表及上线状态；休眠一段时间；重复执行以上步骤，视频通话单元继续向平台注册，从而定期更新智能终端对应的NAT穿越地址及好友列表状态。

参见图5所示，视频通话单元创建监听主叫行为线程的流程为：

S401、检测智能终端是否向好友发起呼叫，由平台服务器负责处理信令的中转，如果检测到智能终端向好友发起呼叫，则转到S402，否则继续检测智能终端是否向好友发起呼叫；

S402、创建主叫呼叫线程；

S403、指定NAT下用来通话的本地IP摄像头，向其获取当前的远程监控访问密钥；

S404、向被叫发起呼叫，附带S303中获取的本地IP摄像头对应的NAT穿越监控URL、S403中的远程监控访问密钥；

S405、被叫响应呼叫后，附带被叫指定的本地IP摄像头对应的NAT穿越监控URL、远程监控访问密钥；

S406、根据S405中的被叫指定的IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，访问被叫指定IP摄像头，获得远端视频；

S407、检索出S304中获取的本地IP摄像头的本地监控访问加密URL，并访问，获得本地视频；

S408、在通话过程中，定期向对应的本地IP摄像头发送视频通话心跳消息；

S409、主叫挂机或收到被叫挂机消息后，通话结束，停止访问主被叫的IP摄像头；

S410、向本地IP摄像头发送视频通话结束消息；

S411、释放主叫通话线程资源。

参见图6所示，视频通话单元创建监听被叫请求线程的流程为：

S501、若收到其他智能终端发起的新的视频通话呼叫请求，其消息中带有主叫指定的主叫方本地IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，则继续后续S502，否则继续等待；

S502、创建被叫呼叫线程；

S503、指定NAT中用来视频通话的IP摄像头，向其获取指定IP摄像头的远程监控访问密钥；

S504、应答主叫的呼叫请求，附带S303中获取的本地IP摄像头对应的NAT穿越监控URL、S503中的远程监控访问密钥；

S505、根据S501中主叫指定的IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，访问主叫指定IP摄像头，获得远端视频；

S506、根据S304中获取的本地监控访问加密URL，获得本地视频；

S507、在通话过程中，定期向对应的本地IP摄像头发送视频通话心跳消息；

S508、主动挂机或收到主叫挂机消息后，通话结束，停止访问主被叫的IP摄像头；

S509、向本地IP摄像头发送视频通话结束消息；

S510、释放被叫通话线程资源。

在视频通话单元建立成功视频通话时，可以将远端指定IP摄像头对应的NAT穿越监控URL、远程监控访问密钥访、本地IP摄像头的本地监控访问加密URL，发送给显示终端，即调整上述步骤S406、S407、S505、S506，由显示终端来显示远端视频、本地视频。

在上述视频通话的流程中，智能终端主叫方在S401发起新的呼叫请求，创建新的主叫呼叫线程，可以实现N+1方会话，N为同一智能终端的并发主叫呼叫线程及被叫通话线程数目之和，N为正整数。

在上述视频通话的流程中，智能终端被叫方在S501接受新的呼叫请求，可以实现N+1方会话，N为同一智能终端的并发主叫呼叫线程及被叫通话线程数目之和，N为正整数。

因此，本发明实施例能够实现将指定的IP摄像头加入视频通话，并在指定的智能显示设备上显示对应视频，丰富了视频通话的使用场景，还能够便捷地从双方通话扩展成多方通话。

本领域的技术人员可以对本发明实施例进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。

说明书中未详细描述的内容为本领域技术人员公知的现有技术。

Claims (19)

1.一种基于智能终端和IP摄像头实现视频通话的系统，包括公网中的平台服务器、同一网络地址转换NAT下的多个IP摄像头、多个智能终端、多个显示终端，其特征在于：所述平台服务器包括信令单元、用户管理单元，所述信令单元接收IP摄像头的注册，生成IP摄像头对应的NAT穿越监控统一资源定位符URL；外网设备通过NAT穿越监控URL找到对应的IP摄像头；信令单元接收智能终端的注册，生成对应的NAT访问地址；信令单元将这些地址存放在用户管理单元中；并负责视频通话过程中智能终端间的信令转发；用户管理单元存放IP摄像头对应的最新NAT穿越监控URL、视频通话用户NAT穿越地址及该用户的好友列表；用户管理单元根据信令单元的请求，按IP摄像头的唯一硬件标识符检索到IP摄像头对应的最新NAT穿越监控URL；

智能终端控制视频通话的信令交互，且具备视频通话的视频呈现能力：智能终端根据远端IP摄像头对应的NAT穿越监控URL、远程监控访问密钥、本地IP摄像头获取的本地监控访问加密URL，访问远端IP摄像头、本地IP摄像头，来呈现视频通话的远端视频与本地视频；

显示终端具备视频通话的视频呈现能力：显示终端根据智能终端提供的远端IP摄像头对应的NAT穿越监控URL、远程监控访问密钥、本地IP摄像头获取的本地监控访问加密URL，访问远端IP摄像头、本地IP摄像头，来呈现视频通话的远端视频与本地视频。

2.如权利要求1所述的基于智能终端和IP摄像头实现视频通话的系统，其特征在于：所述IP摄像头包括监控注册单元、密钥管理单元，所述监控注册单元用于向平台服务器的信令单元注册；所述密钥管理单元在非视频通话时间内，随机动态生成IP摄像头的远程监控访问密钥；密钥管理单元接收智能终端发来的IP摄像头唯一硬件标识获取请求、本地监控访问加密URL获取请求、远程监控访问密钥获取请求、视频通话心跳消息、视频通话结束消息；回复IP摄像头唯一硬件标识、本地监控访问加密URL、远程监控访问密钥。

3.如权利要求2所述的基于智能终端和IP摄像头实现视频通话的系统，其特征在于：所述密钥管理单元定期更新监控注册单元的远程监控访问密钥；密钥管理单元收到智能终端发来的远程监控访问密钥获取请求消息后，停止更新远程监控访问密钥；当密钥管理单元未收到视频通话心跳消息导致超时后，或密钥管理单元收到视频通话结束消息后，密钥管理单元立即恢复定期更新远程监控访问密钥；确保视频通话结束后，对应的远程监控密钥失效，确保NAT下的IP摄像头监控视频无法通过已结束的通话中使用的作废旧密钥从外网访问。

4.如权利要求3所述的基于智能终端和IP摄像头实现视频通话的系统，其特征在于：所述智能终端包括视频通话单元，所述视频通话单元通过密钥管理单元与IP摄像头进行通信：

视频通话单元负责搜寻同一NAT下的IP摄像头，并与之绑定，获取对应IP摄像头的唯一硬件标识、本地监控访问加密URL、远程监控访问密钥，由自身呈现，或交给同一NAT下的显示终端呈现；在视频通话过程中，定期向IP摄像头发送视频通话心跳消息；在视频通话结束时，向IP摄像头发送视频通话结束信息；视频通话单元向平台服务器的信令单元进行注册，获取用户管理单元维护的该视频通话账号的好友列表；根据所绑定的同一NAT下的IP摄像头的唯一硬件标识，获取该IP摄像头对应的NAT穿越监控URL。

5.如权利要求4所述的基于智能终端和IP摄像头实现视频通话的系统，其特征在于：所述视频通话单元作为主叫在发起视频通话时，将指定的本地使用的IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，传送给被叫方的智能终端；并在视频通话建立后，根据提供的被叫方IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，来访问被叫方指定的IP摄像头，呈现被叫方的视频；并根据从本地IP摄像头获取的本地监控访问加密URL，呈现本地视频。

6.如权利要求4所述的基于智能终端和IP摄像头实现视频通话的系统，其特征在于：所述视频通话单元作为被叫在接通视频电话前，将指定的本地使用的IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，传送给主叫方的智能终端；并在视频通话建立后，根据提供的主叫方IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，来访问主叫方指定的IP摄像头，呈现主叫方的视频；并根据从本地IP摄像头获取的本地监控访问加密URL，呈现本地视频。

7.如权利要求4所述的基于智能终端和IP摄像头实现视频通话的系统，其特征在于：所述视频通话建立后，本地的智能终端将远端IP摄像头对应的NAT穿越监控URL、远程监控访问密钥、本地IP摄像头获取的本地监控访问加密URL，交由自身或同一NAT下的显示终端；该显示终端根据远端IP摄像头对应的NAT穿越监控URL、远程监控访问密钥访问远端IP摄像头，呈现远端视频；该显示终端根据本地监控访问加密URL，呈现本地视频。

8.一种用于权利要求4所述系统的基于智能终端和IP摄像头实现视频通话的方法，其特征在于，包括以下步骤：

IP摄像头上电后，密钥管理单元开始工作，进行初始化；密钥管理单元创建网络监听线程、密钥更新线程，网络监听线程用来与智能终端通信；密钥更新线程用来根据通话状态更新密钥；网络监听线程与密钥更新线程并行工作，相互独立，创建顺序无限制；

用户启动智能终端上的视频通话应用APP后，视频通话单元开始工作，进行初始化；视频通话单元先创建摄像头交互线程、平台交互线程，摄像头交互线程用来与NAT下的IP摄像头进行相关参数及消息的交互；平台交互线程用来与平台服务器交互；摄像头交互线程与平台交互线程并行工作，相互独立，创建顺序无限制；视频通话单元再创建监听主叫行为线程、监听被叫请求线程，监听主叫行为线程与监听被叫请求线程并行工作，相互独立，创建顺序无限制；

IP摄像头与智能终端并行工作，相互独立。

9.如权利要求8所述的基于智能终端和IP摄像头实现视频通话的方法，其特征在于，所述密钥管理单元创建网络监听线程的流程为：

S101、监听网络接口，收到消息后转向S102；

S102、解析消息类型，并根据消息类型执行对应的S103～S114后续步骤；

S103、判断消息类型是否为智能终端的关联请求，如果是智能终端的关联请求，则转到S104；否则转到S105；

S104、消息类型是智能终端的关联请求时，与智能终端建立绑定关系，并将IP摄像头的唯一硬件标识符发给智能终端，返回到S101；

S105、判断消息类型是否为本地监控访问加密URL获取请求，如果是，则转到S106；否则转到S107；

S106、将IP摄像头的本地监控访问加密URL发送给智能终端，返回到S101；

S107、判断消息类型是否为远程监控访问密钥获取请求，如果是，则转到S108；否则转到S110；

S108、将通话标记设定为真，转到S109；

S109、将当前的远程监控访问密钥发送给智能终端，返回到S101；

S110、判断消息类型是否为视频通话心跳消息，如果是，则转到S111；否则转到S113；

S111、将通话标记设定为真，转到S112；

S112、重置心跳定时器，返回到S101；

S113、判断消息类型是否为视频通话结束信息，如果是，则转到S114；否则返回到S101；

S114、将通话标记设定为假，返回到S101。

10.如权利要求8所述的基于智能终端和IP摄像头实现视频通话的方法，其特征在于，所述密钥管理单元创建密钥更新线程的流程为：

S201、更新IP摄像头的远程监控访问密钥，并配置生效；

S202、定期休眠，用来定时轮询后续状态；

S203、判断通话标记是否为真，若通话标记为真，则转到S204；若通话标记为假，则确认视频通话已结束，即现在更新远程监控访问密钥不影响视频通话，返回到S201，更新远程监控访问密钥；

S204、判断心跳定时器是否超时，若心跳定时器超时，则转到S205；若心跳定时器未超时，返回到S202，定期休眠；

S205、若心跳定时器超时，则推断视频通话已结束，即现在更新远程监控访问密钥不影响视频通话，置通话标记为假，返回到S201，更新远程监控访问密钥。

11.如权利要求8所述的基于智能终端和IP摄像头实现视频通话的方法，其特征在于，所述视频通话单元创建摄像头交互线程的流程为：

S301、寻找NAT下的IP摄像头；

S302、对发现的IP摄像头依次进行关联及进行后续步骤；

S303、根据IP摄像头提供的唯一硬件标识符，向平台服务器查询对应的NAT穿越监控URL；

S304、获取IP摄像头的本地监控访问加密URL；

S305、休眠一段时间，返回S301，从而定期更新同一NAT下的IP摄像头相关信息。

12.如权利要求11所述的基于智能终端和IP摄像头实现视频通话的方法，其特征在于，所述视频通话单元创建监听主叫行为线程的流程为：

S401、检测智能终端是否向好友发起呼叫，由平台服务器负责处理信令的中转，如果检测到智能终端向好友发起呼叫，则转到S402，否则继续检测智能终端是否向好友发起呼叫；

S402、创建主叫呼叫线程；

S403、指定NAT下用来通话的本地IP摄像头，向其获取当前的远程监控访问密钥；

S404、向被叫发起呼叫，附带S303中获取的本地IP摄像头对应的NAT穿越监控URL、S403中的远程监控访问密钥；

S405、被叫响应呼叫后，附带被叫指定的本地IP摄像头对应的NAT穿越监控URL、远程监控访问密钥；

S406、根据S405中被叫指定的IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，访问被叫指定IP摄像头，获得远端视频；

S407、检索出S304中获取的本地IP摄像头的本地监控访问加密URL，并访问，获得本地视频；

S408、在通话过程中，定期向对应的本地IP摄像头发送视频通话心跳消息；

S409、主叫挂机或收到被叫挂机消息后，通话结束，停止访问主被叫的IP摄像头；

S410、向本地IP摄像头发送视频通话结束消息；

S411、释放主叫通话线程资源。

13.如权利要求11所述的基于智能终端和IP摄像头实现视频通话的方法，其特征在于，所述视频通话单元创建监听被叫请求线程的流程为：

S501、若收到其他智能终端发起的新的视频通话呼叫请求，其消息中带有主叫指定的主叫方本地IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，则继续后续S502，否则继续等待；

S502、创建被叫呼叫线程；

S503、指定NAT中用来视频通话的IP摄像头，向其获取指定IP摄像头的远程监控访问密钥；

S504、应答主叫的呼叫请求，附带S303中获取的本地IP摄像头对应的NAT穿越监控URL、S503中的远程监控访问密钥；

S505、根据S501中主叫指定的IP摄像头对应的NAT穿越监控URL、远程监控访问密钥，访问主叫指定IP摄像头，获得远端视频；

S506、根据S304中获取的本地监控访问加密URL，获得本地视频；

S507、在通话过程中，定期向对应的本地IP摄像头发送视频通话心跳消息；

S508、主动挂机或收到主叫挂机消息后，通话结束，停止访问主被叫的IP摄像头；

S509、向本地IP摄像头发送视频通话结束消息；

S510、释放被叫通话线程资源。

14.如权利要求12所述的基于智能终端和IP摄像头实现视频通话的方法，其特征在于，所述视频通话单元建立成功视频通话时，将远端指定IP摄像头对应的NAT穿越监控URL、远程监控访问密钥访、本地IP摄像头的本地监控访问加密URL，发送给显示终端，即调整上述步骤S406、S407，由显示终端来显示远端视频、本地视频。

15.如权利要求13所述的基于智能终端和IP摄像头实现视频通话的方法，其特征在于，所述视频通话单元建立成功视频通话时，将远端指定IP摄像头对应的NAT穿越监控URL、远程监控访问密钥访、本地IP摄像头的本地监控访问加密URL，发送给显示终端，即调整上述步骤S505、S506，由显示终端来显示远端视频、本地视频。

16.如权利要求12所述的基于智能终端和IP摄像头实现视频通话的方法，其特征在于：在上述视频通话的流程中，智能终端主叫方在S401发起新的呼叫请求，创建新的主叫呼叫线程，实现N+1方会话，N为同一智能终端的并发主叫呼叫线程及被叫通话线程数目之和，N为正整数。

17.如权利要求13所述的基于智能终端和IP摄像头实现视频通话的方法，其特征在于：在上述视频通话的流程中，智能终端被叫方在S501接受新的呼叫请求，实现N+1方会话，N为同一智能终端的并发主叫呼叫线程及被叫通话线程数目之和，N为正整数。

18.如权利要求8至17中任一项所述的基于智能终端和IP摄像头实现视频通话的方法，其特征在于：将智能终端作为显示终端，具体的应用场景有：智能终端是手机或平板电脑，显示终端是接电视机的智能机顶盒、或其他手机、平板电脑，将视频通话在发起或接收呼叫的手机或平板电脑上显示，或控制智能机顶盒在电视机上显示，或控制在其他手机、平板电脑上显示。

19.如权利要求8至17中任一项所述的基于智能终端和IP摄像头实现视频通话的方法，其特征在于，所述视频通话单元创建平台交互线程的流程为：

视频通话单元向平台注册，使得平台创建对应智能终端的NAT穿越地址，便于好友访问；获取对应账号的好友列表及上线状态；休眠一段时间；重复执行以上步骤，视频通话单元继续向平台注册，从而定期更新智能终端对应的NAT穿越地址及好友列表状态。