CN100486140C - 基于因特网的立体视频监视方法及系统 - Google Patents

Abstract

本发明涉及一种基于因特网的立体视频监视方法及系统。本发明提供的方法工作步骤是：1)视频采集和处理、2)视频数据网络传输、3)由本地系统对视频数据处理和显示，本发明提供的系统由双通道视频采集系统的输出经因特网视频网络传输系统连通本地立体视觉显示系统的输入所构成。本发明能将远程现场场景在本地以三维立体视频再现，从而实现远程立体视频监视，具有远程立体显示、实时性强、通用和经济实用的优点。

Description

基于因特网的立体视频监视方法及系统

技术领域

本发明涉及一种网络视频监视技术，特别是一种基于因特网(Internet)的立体视频监视方法及系统。

背景技术

人类在观看周围世界时，不仅能看到物体的宽度和高度，而且能知道它们的深度，能判断物体之间或观看者与物体之间的距离。人类之所以拥有这种三维感觉，是因为人类的双眼可以各自独立观察外界的景物，即左眼看到左眼的景物，右眼看到右眼的景物，两者之间有着角度上的差距，而后再经过人大脑的融合计算、处理，即可于大脑中呈现立体的景物。双目立体视觉产生即利用相似的原理。通过让左、右眼所看的影像各自独立，立体视觉显示装置可以让观察者的两眼看到分别属于左右眼的不同影像。例如，我们可以将左右眼的影像可交替地显示在显示装置上，并配合同步快门观察器(Synchronized Shutter Viewer)：如一液晶立体眼镜(LC shutter glasses)，当显示装置显示左眼影像时遮蔽右眼，当屏幕显示右眼影像时遮蔽左眼，即可使左眼只能看到左眼的影像，而右眼只能看到右眼的影像，如此周而复始，以快于人类视觉暂留的速度进行交替显示，立体视觉显示装置即可使观察者看到立体的影像。

远程监视是可以让使用者在远端位置通过因特网系统来对现场进行操控及观察。随着因特网的普及，目前使用者已可通过与因特网连结的计算机平台在远程位置来对远程监视装置(如数字摄像头)进行操控及观看其所摄取的画面；亦即远程监视装置可将其所摄取到的数字画面经由因特网而传送至使用者的个人计算机平台，以此让使用者可利用其个人计算机的显示器来观看其所摄取的画面。但自然界的物体都是三维的，而一般的视频监视系统，如中国专利：网络式远程监视装置，申请号02103480.X，及中国专利：店铺内设备的远程监视系统，申请号02104994.7，只能把三维的物体以二维的形式保存、记录下来，丢掉了大量的信息。

通常在计算机屏幕上生成的三维景观图实际上也只是一个2.5维的透视景观图，而不是真正意义上的三维立体景观图，而只有在引入三维立体显示技术术后才能真正感受到3维立体的效果。

源于双目结构的立体视觉特性给我们提供了一个从左右两幅图象中获得真实世界相对深度感的直接而简单的方法，而这种相对深度信息在诸如远程通信(远程医疗，远程会议)、远程机器人(远程遥控，自主航空，监视)、娱乐(交互式HDTV，立体电影)和虚拟现实之类的应用中是至关重要的，美国、日本、德国、加拿大等发达国家投入了大量资金进行这方面的研究，且提出了许多新的方法。国内也这几年取得了一定的成果，如中国专利：实现立体视频图象的方法及装置，申请号98116597.4，提出了实现立体视频图象的方法及装置，但该方法主要适用于电视、电脑、电子游戏机等显示立体视频图象，并非适用于基于网络的远程监视，且采用的方法是基于模拟技术的，没有对视频数据进行数字化。

另外，目前大部分的立体视觉技术都是在图形工作站上完成的，或者需要昂贵的设备如头盔(HMD)、数据手套等，这些昂贵的设备限制了三维立体技术的应用。同时，目前大多数的三维立体技术都是应用虚拟现实中，三维立体图像的数据都是计算机自动生成的，由于现实场景的复杂性和实变性，因此三维立体图像与现实中的场景有一定的失真，同时不能很好地处理现实场景中的时变物体。

发明内容

鉴于以上所述现有技术的存在的问题和不足，本发明的目的在于提供一种基于因特网的立体视频监视方法及系统，能将远程现场场景在本地以三维立体视频再现，从而实现远程立体视频监视。

为达到上述目的，本发明采用下述技术构思：根据双目立体视觉原理、运用计算机技术、光学技术和网络技术，将实时获取的两个带有视差的实际场景图像数据，通过因特网传输至远程计算机端，利用三维立体显示技术实时还原出被摄物体的立体形状。

本发明采用以下技术方案实现：一种基于因特网的立体视频监视方法，其特征在于工作步骤如下：

1)视频采集和数据处理，步骤如下：

①采用左通道和右通道两个视频采集的工业摄像头对远程现场场景进行视频采集，

②采集得到的视频数据送入内置视频捕捉卡中进行数据化处理，

③将得到的数字化视频数据分别存入两个缓冲区中，同时加注同步控制信号，然后再将它们进行数据融合处理得到混合视频数据，

④将混合视频数据由MPEG4视频编码器进行数据压缩后送至网络通讯卡；

2)视频数据网络传输，步骤如下：

①对压缩后混合的视频数据，采用RTP协议，通过因特网传输至本地的立体显示计算机系统的网络通讯卡中；

②同时采用TCP协议，由因特网反馈控制信号，检测视频数据压缩是否合理；

3)由本地系统对视频数据的处理和显示，步骤如下：

①从因特网接收被压缩的混合视频数据，传输至本地立体显示计算机系统的网络通讯卡中，

②被压缩的混合视频数据由MPEG4视频解码器还原成混合视频数据，

③再将混合视频数据拆分，将其分成左右两通道的视频数据及同步数据；

④将左右两通道的视频数据送到立体显示计算机系统的显示器，将同步信号送至液晶阀立体眼镜，完成远程场景的三维视频重现。

一种用于上述基于因特网的立体视频监视方法的系统，包括权利要求1所述基于因特网的立体视频监视方法的系统，包括双通道视频采集系统、基于因特网的视频数据网络传输系统和本地立体视觉显示系统，其特征在于：

1)双通道视频采集系统为左、右两个通道的视频采集系统，由两个左右工业摄像头分别各经一个内置视频捕捉卡连接微机构成；

2)本地立体视觉显示系统为双通道立体视觉显示系统，由微机连接立体眼镜构成；

3)双通道视频采集系统的输出口经因特网视频数据网络传输系统连通本地立体视觉显示系统的输入口。

下面对发明的技术方案作较详细说明：本发明提供的方法是一种实时双通道视频采集、融合、压缩、传输及立体显示的方法。

双通道立体视频采集的方法，包括：

采用微软公司(Microsoft)DirectShow的滤镜(Filter)技术与多线程技术的双通道视频数据采集。由于混合视频数据量很大，同时为了兼容多种不同的视频捕捉卡，所以采集视频数据时采用了滤镜技术，双通道的视频数据采集在两线程中分别进行，采集到的视频数据保存在两个视频缓冲区中，利用线程同步机制来保证采集的视频数据的同步，从而实现双通道视频数据的采集。这样有效地利用了CPU的资源，提高了系统的实时性，可在一般PC上实现。

双通道视频流数据融合。为了便于进行视频传输和压缩，必须对双通道的视频流数据进行融合，即将两个视频缓冲区的内容进行融合，融合后的缓存数据结构如图3所示。

立体视频流数据MPEG4编码压缩。为了减少网络传输数据量，我们对融合后的立体视频缓冲区的流数据进行实时压缩，立体视频流数据的压缩采用MPEG4视频编码器实现。

立体视频流数据的网络实时传输方法，包括：

采用RTP(Real-time Transport Protocol)协议的反馈传输方法。本发明中为保证视频传输的低延时和高可靠，使用了RTP协议的反馈传输方案，即同时使用RTP和TCP协议。RTP负责传输数据；TCP负责传输反馈控制信号。RTP协议是一种多点传输协议，位于传输层之上与应用程序相结合而工作。RTP协议下层选用UDP协议，这不仅继承了UDP快速传输的优点，而且提高了传输质量。一方面，通过对RTP数据包按序重排，远端客户能够缓解网络不可靠时产生的包乱序到达的问题；另一方面，客户端分析本身的RR报文，按设计的算法计算参考值，一旦参考值满足一定条件，则通过TCP信道发送指令告诉服务器端更改当前压缩算法配置，提高了传输的稳定性。

双缓冲和多线程技术实现方法。包括：

双缓冲由两个队列实现，一个媒体样本队列，一个RTP包队列。多线程由RTP线程、媒体线程和主线程。一个媒体样本分为多个RTP包传输，媒体样本的第一个包打上Marker标记。服务器端发送的主线程不断将媒体样本存入媒体样本队列，媒体线程从媒体样本队列取出媒体样本，打包成RTP包存入RTP包队列，而RTP线程负责从RTP包队列取出RTP包发送。客户端接收的工作与服务器端相反。其RTP线程需要实现RTP包到达时的排序工作，媒体线程完成从RTP包到媒体样本的组包工作。客户端接收到带Marker标志的RTP包就表示接收一个媒体样本完成。缓冲区为数据包的排序等处理提供空间；而传输两端RTP滤镜中的线程，缓解了网络功能给滤镜的主线程带来的负担。

混合视频流的立体显示方法，包括：

立体视频流数据MPEG4解码。为了能对网络传输来的立体视频流数据进行处理，必须先进行视频流数据进行解码。我们对接收到的立体视频流数据进行实时解码，立体视频流数据的解码采用MPEG4视频解码器完成，并保存在立体视频缓冲区中。

双通道视频流实时数据拆分。对立体视频缓冲区中的内容进行实时数据拆分，拆分的过程为融合的逆过程，将立体视频缓冲区的内容拆分成双通道视频缓冲区。

基于OpenGL的立体显示方法。当OpenGL的立体显示模式运作起来后，显示卡驱动就向立体眼镜发出指令，在左右眼镜片上加载同步信号，也就是当显示器上显示左眼图像时，右眼镜片生成屏蔽信号，右眼也就看不到显示器上的图像，在显示右眼图像时，过程类似。这样不管在何时，观察者的左右眼只能看到左右眼对应的视频图像，带视差的左右眼图像经大脑加工合成就产生了立体视觉。

本发明与现有技术相比较，具有如下显而易见的突出特点和显著优点：本发明采用上述的双通道立体视频采集方法、立体视频流数据和网络实时传输方法、双缓冲和多线程技术实现方法和实时视频流的立体显示方法，从而具有远程立体显示、实时性强、通用和经济实用的优点。

附图说明

图1为本发明一个实施例的基于因特网的立体视频监视方法流程图。

图2为用于图1示例的系统框图。

图3为双通道视频数据融合后的缓存数据结构图。

图4为客户端接收滤镜的网络接收策略。

图5为图1示例的详细流程图。

具体实施方式

本发明的一个优选实施例是：参照图1和图2，基于因特网的立体视频监视系统包括三大部分：双通道视频采集系统1、基于因特网的立体视频网络传输系统2和本地立体视觉显示系统3。

双通道视频采集子系统1：

本发明实施例中的双通道视频采集系统中采用了两个工业摄像头和两块内置视频捕捉卡对现场场景进行视频数据的采集。工作方法步骤如图5中的双通道视频采集系统20所示，包括：

双通道视频捕捉。利用DirectShow的样本捕捉滤镜(Sample Grabber Filter)，分别用两个线程进行左通道视频捕捉7和右通道视频捕捉8，将捕捉到的数据保存在左、右两个视频缓冲区中，同时采用临界区线程同步的方法来保证双通道视频数据的同步。

视频流数据融合9。为了便于数据的压缩和网络传输，必须对双通道视频流数据进行融合，融合后得到如图3所示结构的混合视频流数据。

视频流数据MPEG4动态编码压缩10。立体视频流数据MPEG4编码压缩利用DivX的Encoder Filter进行，可完成实时立体视频数据压缩。

基于因特网的立体视频数据网络传输系统2：

利用RTP协议进行立体视频网络传输，如图5中基于RTP协议的视频流数据网络传输系统21所示，包括基于RTP协议视频流数据网络发送11、检测网络状况12和基于RTP协议视频流数据网络接收13三个步骤。其中检测网络状况12用于对实时的网络状况进行检测，以决定是否需要改变视频流数据编码压缩的参数，从而保证视频流数据网络传输的实时性。

本地立体视觉显示系统3：

为了能将立体视频流数据中的立体场景信息显示出来，包括三个步骤，如图5中双目立体视觉显示子系统22所示，首先对网络传输过来的立体视频流数据进行视频流数据MPEG4解码15，利用DivX的Decoder Filter进行解码，并保存在立体视频缓冲区中。

然后对立体视频缓冲区中的内容实时进行视频流数据拆分16，拆分的过程为融合的逆过程，立体视频流数据经拆分后，成为左通道目标视频流17和右通道目标视频流18。

最后利用双目立体显示19，将三维现场场景还原出来。当OpenGL的立体显示模式运作起来后，显示卡驱动就向立体眼镜发出指令，在左右眼镜片上加载同步信号，也就是当显示器上显示左眼场景数据时，右眼镜片生成屏蔽信号，右眼也就看不到显示器上的图像，在显示右眼图像时，过程类似。这样不管在何时，观察者的左右眼只能看到左右眼相对应的视频图像，经大脑加工、处理、合成，产生远程现场的三维立体场景。

为了能够在立体视频显示中达到理想的效果，需要对本发明实施例中的立体视频监视系统进行校准，包括焦距校准，双目颜色平衡度校准和人的双目水平视距定标。

本实施例中焦距校准方面，采用了对左右眼捕获的图像中的直线长度进行比较，如果两幅图像中的长度相等，就认为两个摄像头的焦距相等。双目颜色平衡度校准方面，利用灰度直方图对左右眼捕获的同一个场景的图像进行分析，当两者得出的直方图比较接近时，就认为两个摄像头的颜色平衡度已相近。双目水平视距定标方面，把两个摄像头的间距固定为人类双眼的平均距离65mm。

Claims (2)

1.一种基于因特网的立体视频监视方法，其特征在于工作步骤如下：

1)视频采集和数据处理，步骤如下：

①采用左通道和右通道两个视频采集的工业摄像头对远程现场场景进行视频采集；

②采集得到的视频数据送入内置视频捕捉卡中进行数据化处理；

③将得到的数字化视频数据分别存入两个缓冲区中，同时加注同步控制信号，然后再将它们进行数据融合处理得到混合视频数据；

④将混合视频数据由MPEG4视频编码器进行数据压缩后送至网络通讯卡；

2)视频数据网络传输，步骤如下：

①对压缩后混合的视频数据，采用RTP协议，通过因特网传输至本地的立体显示计算机系统的网络通讯卡中；

②同时采用TCP协议，由因特网反馈控制信号，检测视频数据压缩是否合理；

3)由本地系统对视频数据的处理和显示，步骤如下：

①从因特网接收被压缩的混合视频数据，传输至本地立体显示计算机系统的网络通讯卡中；

②被压缩的混合视频数据由MPEG4视频解码器还原成混合视频数据；

③再将混合视频数据拆分，将其分成左右两通道的视频数据及同步数据；

④将左右两通道的视频数据送到立体显示计算机系统的显示器，将同步信号送至液晶阀立体眼镜，完成远程场景的三维视频重现。

2.一种用于权利要求1所述基于因特网的立体视频监视方法的系统，包括视频采集系统(1)、基于因特网的视频数据网络传输系统(2)和本地立体视觉显示系统(3)，其特征在于：

1)双通道视频采集系统(1)为左、右两个通道的视频采集系统，由两个左右工业摄像头分别各经一个内置视频捕捉卡连接微机构成；

2)本地立体视觉显示系统(3)为双通道立体视觉显示系统，由微机连接立体眼镜构成；

3)双通道视频采集系统(1)的输出口经因特网视频数据网络传输系统连通本地立体视觉显示系统(3)的输入口。

Images