CN101729850A - 基于笔迹特征数据流的视频通信方法及其处理系统 - Google Patents
基于笔迹特征数据流的视频通信方法及其处理系统 Download PDFInfo
- Publication number
- CN101729850A CN101729850A CN200810201108A CN200810201108A CN101729850A CN 101729850 A CN101729850 A CN 101729850A CN 200810201108 A CN200810201108 A CN 200810201108A CN 200810201108 A CN200810201108 A CN 200810201108A CN 101729850 A CN101729850 A CN 101729850A
- Authority
- CN
- China
- Prior art keywords
- handwriting characteristic
- handwriting
- video communication
- data flow
- characteristic parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Facsimiles In General (AREA)
Abstract
本发明公开了一种基于笔迹特征数据流的视频通信方法。在视频通信的过程中，所有参与者以软画板为协作平台，他们在软画板上写字、绘画时的笔迹特征参数被迅速采集，编码成笔迹特征数据流并通过网络实时发送给远程客户端，远程终端立即对收到数据进行解码，根据接收端与发送端的显示屏分辨率的差异对解码出来的笔记特征参数作相应的调整，并绘制出相应的图形；远程参与者可以对图形进行修改和评述，他的意见也被发送给其余参与者。基于本发明技术方案的视频通信只需要极小的网络带宽就能保证会议期间画面清晰、流畅和声音清晰，极大地克服了现有技术的投资巨大、运营成本高、算法复杂、画面不清晰的缺点，同时能让参与者间达到深层次的沟通和交流。
Description
技术领域
本发明涉及一种基于笔迹特征数据流的视频通信方法及其处理系统，具体地说，本发明涉及一种在网络环境中把在软画板上形成画面的笔迹特征参数作为视频处理对象的视频通信方法及其处理系统。
背景技术
各种会议占据企业员工很多工作时间，同时也花费企业很高的成本。如何有效地利用会议时间和节约会议期间来往的费用被企业作为增加生产力和节约成本方面的有效手段而越来越重视。
每个企业都需要信息和意见的自由交流以改善他们的产品和服务。团队里和团队外的人员之间的有效沟通和协作可以提高产品的质量、提升产品或项目开发的研发周期并减少成本。然而，快速有效地沟通通常是很难实现的，特别是在跨国企业。而阻碍快速有效沟通的一个关键因素通常是人们在不同的地域上。通常，人们为了参加一两个小时的会议可能会花费大笔费用和几天的时间在旅途上，特别是当召开跨国界或跨大陆会议时，该问题就更加突出。
为此，人们迫切地需要一种方式来使得在召开会议时不在同一地域上的相关人都能够轻松容易地实时参加会议、发表个人意见并分享他人的意见。这就是视频会议系统。现在的视频会议系统可以分为软终端和硬终端两种。虽然基于硬终端的视频会议系统的提供的视频会议的画面清晰、流畅，但是这种系统不光硬件设备昂贵，而且在开会时需要占用很大的带宽，要为此付出高昂的通讯费，并且基本上基于LAN和ATM网络。这就限制了这种会议系统的广泛应用。而基于Internet的软终端视频会议系统是以摄像头和麦克风为视频和音频输入的设备，传送一路分辨率为CIF的视频和音频通常需要占用400Kbps以上的带宽。在Internet网中处处满足这样的带宽是很困难的，而很多这类视频会议产品同时传送几路视频，甚至十几路视频，更不用说跨国界或跨大陆的视频会议了。当然，一些公司试图引入某种技术，以降低视频会议带宽的需求，如：专利号为CN1525300A，“用于实时白板流技术的系统和方法”；专利号为CN1555197A，“基于Internet的视频会议共享白板的实现方法”；专利号为CN101005600A，“使用白板的会议系统”等等。但是，这些方法都没有从本质上解决视频会议对带宽的需求。
网络技术的成熟为网络教育发展提供了技术基础。目前，世界各地区和国家均不同程度地关注和介入虚拟大学和网上教学模式，但发展极不均衡。世界上有几百所所大学提供网络教学课程。这些提供网络教学课程的大学中有52.6％在北美，23.9％在欧洲，大洋洲为10.6％，亚洲7.5％，拉丁美洲和加勒比海为4.8％，非洲为0.6％。造成这种现象的一个关键原因是现在的网络教育依托在很大的网络带宽之上，而全球的网络资源主要分布在北美洲。
还有，在现在视频会议或者网络课堂中，会议参与者或者网络课堂参与者很不方便(或者根本不能)对显示在用户窗口中的图形进行修改以反馈他们的不同意见，这极度地限制了所有会议参与者或者课堂参与者的深入交流和沟通。
发明内容
为了克服现有视频通信技术的不足，尽可能降低视频通信对网络带宽的需求，并保证视频会议期间画面清晰、流畅和声音清晰，本发明抛弃了在传统的视频通信技术中把画面作为处理对象的处理方式，而采用了把形成画面时的笔迹特征参数作为处理对象的处理方式。在通信的过程中，所有视频通信参与者以软画板为协作平台，通过在软画板上写字、画图，或者是画画来表达他们各自的观点和意见，以达到深层次的讨论和交流；并且，只需要极小的网络就能保证视频会议期间画面清晰、流畅和声音清晰。
为了实现上述这一目的，本发明的技术方案如下：一种基于笔迹特征数据流的视频通信方法，该通信方法涉及两方或者两方以上通信参与者(为了讨论方便，在本发明中把发送视频通信数据的终端(即产生数据端)称为本地端，而把收到视频通信数据的终端称为远程端)，在视频通信开始时，首先要对所有视频通信参与者的终端上软画板上进行初始化，即这些终端的软画板上只呈现背景。本发明中所述的软画板是指用户窗口(也称为用户界面、显示窗口)，属于软件。当本地端检测到用户着笔时，本地端立即进行处理数据，其步骤如下：
A、采集数据：收集本地用户着笔时的笔迹特征参数；
B、图形绘制：即根据采集到的笔迹特征参数在软画板上绘制出相应的图形；
C、数据编码：对本地产生的笔迹特征参数进行无损编码，把它们处理成笔迹特征数据流；
D、数据发送：通过网络把本地产生的笔迹特征数据流发送给其余参加本次视频通信的远程终端。
远程端接收到笔迹特征数据流时，立即做出相应处理，处理步骤如下：
E、数据解码：对收到的笔迹特征数据流进行解码，以得到笔迹特征参数；
F、数据前处理：如果收到数据终端的显示屏的分辨率与发送数据终端的显示屏分辨率有所不同，则在绘制图形前需要对解码出来的笔记特征参数作相应的调整；
G、图形绘制：根据笔记特征参数在自身的软画板上绘制出相应图形。
如果某一远程参与者有不同的意见，他可以对软画板上显示的画面进行修改，那么他的通信设备就成了本地端，其余视频通信参与者的终端就成远程端，返回步骤A。
同在普通的画板上绘画一样，在通信期间软画板上的图形随着笔迹特征参数的增多而丰富，即本发明采用增量式绘制图形——当收到笔迹特征参数时，图形才增加相应的部分，否则图形将保持不变。从上面叙述可知，在本发明中本地端与远程端是相对的，本地端在视频通信过程中产生数据，它不但需要根据本地产生的笔迹特征参数绘制图形，而且需要把笔迹特征参数编码成笔迹特征数据流，实时发送出去；远程端则对收到的笔迹特征数据流立即进行解码，如果它的显示屏的分辨率与发送端(即本地端)的显示屏分辨率有所不同，则需要对解码出来的笔迹特征参数做相应的调整，并绘制出相应部分的图形；如果远程端对显示在软画板上的图形进行修改，那么它就变成本地端，原来的本地端就成为了远程端。
本发明的另一目的在于提供一种基于笔迹特征数据流的视频通信处理系统，采用该处理系统的视频通信只需要极小的网络带宽就能保证视频会议期间画面清晰、流畅和声音清晰。
为了实现这一目的，本发明的技术方案如下：一种基于笔迹特征数据流的视频通信处理系统，该处理系统涉及两个(或者两个以上)通信终端，其特征在于所有通信终端均包含采集数据模块，用于收集本地用户着笔时的笔迹特征参数；数据编码模块，对本地产生的笔迹特征参数进行无损编码，把它们处理成笔迹特征数据流；数据发送模块，通过网络把本地产生的笔迹特征数据流发送给其余参加本次视频通信的远程终端；数据接收模块，接收网络远端传来的笔迹特征数据流；数据解码模块，对收到的笔迹特征数据流进行解码，以得到笔迹特征参数；数据前处理模块，根据本身的显示屏分辨率与发送端的显示屏分辨率的差异对解码出来的笔记特征参数作相应的调整；图形绘制模块，根据笔记特征参数在软画板上绘制出相应图形。
上述的笔迹特征参数由着笔时着笔点的坐标、笔当时的压力(级)、笔的颜色等三个参数组成。在不引起混淆的情况下，这三个参数将分别简称为坐标、压力级、颜色。坐标表示在画图时笔尖在画面中的一具体位置；压力级表示在画图时施加给笔尖的压力，在画面上呈现出来的是笔迹的粗细程度或墨迹的浓度，或线条的宽度；颜色就是画图过程中所采用的颜色。本发明把这三个参数(着笔点的坐标、笔当时的压力(级)、笔的颜色)的组合定义为笔迹特征参数，即本发明所说的处理对象。在通信的过程中，实时采集笔迹特征参数的三个组成成分，并对采集到的笔迹特征参数进行实时编码，即处理成笔迹特征数据流，通过网络把笔迹特征数据流传送给远程客户端。远程客户端立即对收到笔迹特征数据流进行解码以得到与发送端相同的笔迹特征参数，远程客户端根据自身的显示屏分辨率与发送端的不同对笔迹特征参数(坐标、压力级、颜色)相应调整后就能绘制出与发送端相似的图形。由于组成笔迹特征参数的三个成分(坐标、压力级、颜色)只要有一点差别，绘制出来的图形就有很大的不同，所以在对笔迹特征参数进行编码时采用的是无损编码方式，即编码前的数据与解码后的数据是完全相同的。
如本发明所述的方法具有许多优点：1)它公开了一种把形成画面时的笔迹作为处理对象的，非常具有前景的数据处理方式，这种处理方式使视频通信的数据量极大地减小，从而大大降低了视频会议或者网络课堂对带宽的要求，节约了企业或教育机构的运营成本；2)同时，这种处理方式使所有与会者都能够像在同一个会议室开会一样，方便了参与者的深入沟通和交流；3)这种处理方式也克服了传统视频会议或者网络课堂的参与者只能听和发表评论、却不能对窗口中的内容进行修改(比如传统硬件会议系统)或者对窗口中内容修改不方便、不准确(比如纯软件会议系统)的不足，也使视频会议系统或网络课堂系统的广泛应用成为可能，同时也节约了人力成本、方便了学员；4)实现本发明的算法的复杂度非常低，这使得处理器性能比较低便携产品(如智能手机)就可以成为本发明的视频通信终端设备。
除了上述的优点之外，本发明的其它优点可以从下面结合附图的具体描述中进一步体现出来。
附图说明
图1是基于笔迹特征数据流的视频通信方法及系统的典型通信系统图。
图2是基于笔迹特征数据流的视频通信方法及系统的视频通信时处理笔迹特征参数的过程图。
图3a和图3b是采用直接方式对笔迹特征参数编码、解码的流程图。
图4a和图4b是采用差值方式对笔迹特征参数编码、解码的流程图。
图5a和图5b是以坐标增量和压力级增量的组合为无损编码的编码对象的编码、解码流程。
图6a和图6b是分别以坐标增量和压力级增量为无损编码的编码对象的编码、解码流程。
图7a和图7b是以加速度量为无损编码的编码对象的编码、解码流程。
具体实施方式
在本发明的较佳实施例的下述描述中，参考了作为说明书一部分的附图进行描述，所述附图说明了本发明可以采用的特定实施例。本领域技术人员应该理解在不背离本发明精神的情况下，还可以使用其它实施例或对这些实施例进行修改。这都没有超出本发明的公开范围。
1、示范工作环境
一种基于笔迹特征数据流的视频通信方法及系统通常具有基于网络环境中服务器和多个安排在基于网络的环境中的客户终端。客户终端可以是(但不局限于)个人计算机、服务器计算机、手提或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、智能手机、平板PC、网络PC、微型计算机、大型机、包含上述任意系统和设备的分布式计算环境。这些客户终端中，有些终端只有基本的配置，它们只能播放音频、视频和录音。另一些则配备高级的设备，如投影仪、坐标检测仪等，坐标检测仪包括(但不局限于)电子画板、电子白板、鼠标笔等。在参加视频会议或者网络课堂时，用户利用坐标检测仪在软画板上画图的笔迹特征参数被收集并处理成笔迹特征数据流。这些笔迹特征数据流通过网络实时地发送给了服务器，服务器把接收到的数据转发给远程的视频会议或者网络课堂的参与者的客户终端(如PC，智能手机等)，而他们的也可以利用坐标检测仪对软画板上的内容进行修改，他们所添加的部分也被处理成笔迹特征数据流也以同样的方式发送回来以及其于远程参与者的客户终端，同时在会议或者课堂的进程中他们可以进行口头表达意见，这些口头意见被音频采集设备采集并压缩编码成音频流，以相同或者相似的方式发送给其他参与者的终端。
这种系统的典型方案包括公司的视频会议和教育机构所开设的网络课堂(为了讨论方便，将以视频会议为例进行阐述)。如图1所示，该视频会议涉及到在聚集在A地会议室101的L个人，和聚集在B地会议室102的N个人，以及M个分散的远程用户104a～104m。聚集在会议室101中的L个人配备有电子画板(属于输入设备)111、捕获会议音频的麦克风设备112、投影仪115、个人电脑114，以及安装在麦克风设备上的扬声器113，以及将个人计算机114连接到在Internet网络环境中的服务器100的网络连接103。聚集在会议室102里的N个人的配备与聚集在会议室101中的L个人的配备相似，只是配备的坐标检测仪是电子白板而不是电子画板。分布在其他地方的M个视频会议参与者可以在办公室里，家里，还可能在商务旅途中。他们配备了个人终端(如个人PC、笔记本电脑、智能手机等等)、带麦克风的耳机，坐标检测仪(如画板、鼠标笔等等)，以及能够连接服务器100的网络连接。所有参加会议的人利用软画板作为协作空间，通过利用坐标检测仪在软画板上写字、画图来共享他们的意见。
2、基于笔迹特征数据流的视频通信方法。
如图2所示，当视频会议参与者X利用坐标检测仪在软画板上写字画图时(即着笔)，本地端立即进行处理数据，其步骤如下：
步骤211，采集数据：收集本地用户着笔时的笔迹特征参数；
步骤212，图形绘制：即根据采集到的笔迹特征参数在软画板上绘制出相应的图形；
步骤213，数据编码：对本地产生的笔迹特征参数进行无损编码，把它们处理成笔迹特征数据流；
步骤214，数据发送：通过网络把本地产生的笔迹特征数据流发送给其余参加本次视频通信的远程终端。
另一视频会议参与者Y位于网络远程终端，远程端接收到笔迹特征数据流时(221)，立即做出相应处理，处理步骤如下：
步骤222，数据解码，对收到的笔迹特征数据流进行解码，以得到笔迹特征参数；
步骤223，数据前处理，如果收到数据终端的显示屏的分辨率与发送数据终端的显示屏分辨率的不同，则在绘制图形前需要对解码出来的笔记特征参数作相应的调整；
步骤224，图形绘制，根据笔记特征参数在自身的软画板上绘制出相应图形。
如果某一远程通信参与者有不同的意见，他可以对软画板上显示的画面进行修改，那么他的通信设备就成了本地端，其余视频通信参与者的终端就成远程端，返回步骤211。
当然，不同的人对软画板上的图形进行修改时最好采用不同的颜色，以便于提醒所有视频会议或者网络课堂参与者有新的内容正在或者已经输入到画板上。
在视频通信期间，他们说的话被录音设备采集，编码成音频流也被发送给远程的会议参与者的终端。远程客户终端接收到音频流后调用相应的音频解码器进行解码成音频数据，通过耳机、扬声器播放出来。
3.笔迹数据的处理方式
当客户在软画板上写字画图时，笔迹特征参数的取得方式是：坐标可以包括(但不局限于)电子笔在画图板或手写板上的坐标、笔在电子白板上的坐标、鼠标笔在计算机屏幕显示的坐标、或者鼠标在计算机屏幕显示的坐标；压力级包括(但不局限于)利用画图板画图时传感器采集到的压力(级)，或者在程序中取得的、与线条粗细相关的命令；颜色包括(但不局限于)画图时传感器采集到的颜色或代表颜色的命令，或者在程序中取得的、与颜色相关的命令。为了使视频会议参与者的终端接收到笔迹特征数据能够正确处理以在软画板上绘制出与发送端相似的图形，同时减小传送的数据量，需要对笔迹特征参数进行编码处理。
3.1、笔迹特征参数编码、解码方法1
对笔迹特征参数编码的最简单一种方式就是把组成笔迹特征参数的坐标、压力级和颜色直接封装成笔迹特征数据流，处理流程如图3所示。为了处理方便，每次读入输入缓存的数据是一笔的所有笔迹特征参数，即刚着笔瞬间到起笔瞬间的所有笔迹特征参数，在这期间任何时刻的压力级都不等于0。编码过程如图3中300所示。在开始时，计数变量i值为1，假设读入笔迹特征参数的个数是FrameLen，详细地处理步骤如下：
步骤301，读取数据：读取一笔的所有笔迹特征参数放入输入缓存；
步骤302，输出起始码：为了在解码开始时能够判断收到的数据是开头的数据就是刚着笔时的笔迹特征参数，在一笔的笔迹特征数据流的开头把起始码Start_Code放入输出缓存中；
步骤303，输出颜色：在一次着笔期间，笔迹颜色是不变的，所以一笔的笔迹特征数据流里只需要放入一次颜色值到输出缓存；
步骤304，输出坐标和压力级：把这笔第i笔迹特征参数的坐标Z(i)和压力级F(i)读出来放入输出缓存中；
步骤305，计数变量加1：i＝1+i；
步骤306，结束判断：如果i＜FrameLen+1，则转到步骤304继续处理，否则执行下面的步骤；
步骤307，输出结束码：为了在解码时能够判断这次笔迹特征数据流结束，把结束码End_Code放到输出缓存中所有数据的后面；
步骤308，把输出缓存中从起始码Start_Code和结束码End_Code的所有笔迹特征数据流输出，编码结束。
当远程客户端接收到笔迹特征数据后，处理流程如图3中320。在解码开始时，计数变量i值为0，解码的详细步骤如下：
步骤321，读取数据：读取一笔的所有笔迹特征数据流放入输入缓存；
步骤322，去掉起始码：去掉笔迹特征数据流开头的起始码Start_Code；
步骤323，读取颜色：去掉起始码Start_Code后可以直接取得这笔笔迹的颜色C；
步骤324，读取坐标和压力级：读取这笔第i笔迹特征参数的坐标Z(i)和压力级F(i)；
步骤325，结束判断：如果End_Code等于刚读出来坐标与压力级的组合Z(i)F(i)，则表明码流已经被解码完，接下来执行步骤329，否则执行步骤326；
步骤326，构造笔迹特征参数S(i)：S(i)＝{Z(i)，F(i)，C}
步骤327，输出数据：把笔迹特征参数S(i)放入输出缓存中；
步骤328，计数变量加1：i＝1+i；并转到步骤324继续执行。
步骤329，输出数据：把输出缓存中的所有笔迹特征参数输出，解码结束。
3.2、笔迹特征参数编码、解码方法2
在一次着笔期间，连续的前后两个笔迹特征参数的采样值不但颜色不改变，而且坐标和压力级之间通常也相差很小，所以只需要更少的比特数就可以完成对笔迹特征参数的编码。在编码之初，初始化参数为i＝0，Z(0)＝F(0)＝0。每次也是读入输入缓存的数据是一笔的所有笔迹特征参数，假设读入笔迹特征参数的个数是FrameLen，其编码流程如图4中的400所示：
步骤401，读取数据：读取一笔的所有笔迹特征参数放入输入缓存；
步骤402，输出起始码：在一笔的笔迹特征数据流的开头把起始码Start_Code放入输出缓存中；
步骤403，输出颜色：把这着笔的颜色值到输出缓存；
步骤404，计数变量加1：i＝1+i；
步骤405，增量计算：读取第i笔迹特征参数的坐标Z(i)和压力级F(i)，分别计算出坐标增量和压力级增量，即
ΔZ(i)＝Z(i)-Z(i-1)
ΔF(i)＝F(i)-F(i-1)
步骤406，增量输出：把ΔZ(i)和ΔF(i)放入输出缓存中。
步骤407，结束判断：如果i＜FrameLen+1，则转到步骤404继续处理，否则执行下面的步骤；
步骤408，输出结束码：把结束码End_Code放到输出缓存中所有数据的后面；
步骤409，输出数据：把输出缓存中从起始码Start_Code和结束码End_Code的所有笔迹特征数据流输出，编码结束。
在解码之初，初始化参数为i＝0，Z(0)＝F(0)＝0，解码流程如图中420，详细步骤如下：
步骤421，读取数据：读取一笔的所有笔迹特征数据流放入输入缓存；
步骤422，去掉起始码：去掉笔迹特征数据流开头的起始码Start_Code；
步骤423，读取颜色：去掉起始码Start_Code后直接取得这笔笔迹的颜色C；
步骤424，计数变量加1：i＝1+i；
步骤425，读取增量：读取第i笔迹特征参数的坐标增量ΔZ(i)和压力级增量ΔF(i)；
步骤426，结束判断：如果End_Code等于刚读出来ΔZ(i)与ΔF(i)的组合ΔZ(i)ΔF(i)，则表明码流已经被解码完，接下来执行步骤430，否则执行步骤427；
步骤427，计算坐标和压力级：根据读出来的坐标增量和压力级增量计算出坐标和压力级：
Z(i)＝Z(i-1)+ΔZ(i)
F(i)＝F(i-1)+ΔF(i)
步骤428，构造笔迹特征参数S(i)：S(i)＝{Z(i)，F(i)，C}
步骤429，输出数据：把笔迹特征参数S(i)放入输出缓存中，并转到步骤424继续执行；
步骤430，输出数据：把输出缓存中的所有笔迹特征参数输出，解码结束。
3.3、笔迹特征参数编码、解码方法3
为了进一步减小笔迹特征数据流的比特率，在2.2节的增量编码的基础上采用无损编码算法对坐标增量与压力级增量的组合{ΔZ(i)ΔF(i)}进行编码就可以达到这个目的。编码流程如图5中500所示，无损编码的对象是坐标增量与压力级增量的组合{ΔZ(i)ΔF(i)}，详细编码流程如下：
步骤501，读取数据：读取一笔的所有笔迹特征参数放入输入缓存；
步骤502，输出起始码：把起始码Start_Code放入输出缓存中；
步骤503，输出颜色：把这着笔的颜色值到输出缓存；
步骤504，输出直流分量：把第1个笔迹特征参数的坐标和压力级放入输出缓存中；
步骤505，增量计算及组合：读取第i笔迹特征参数的坐标Z(i)和压力级F(i)，分别计算出坐标增量和压力级增量，即
ΔZ(i)＝Z(i)-Z(i-1)
， (2≤i≤FrameLen)
ΔF(i)＝F(i)-F(i-1)
增量组合X(i)是X(i)＝{ΔZ(i)，ΔF(i)}；
步骤506，无损编码：采用无损编码算法对增量组合X(i)进行编码；
步骤507，输出码流：把经过无损编码得到的码流放到输出缓存中；
步骤508，输出结束码：把结束码End_Code放到输出缓存中所有数据的后面；
步骤509，输出数据：把输出缓存中从起始码Start_Code和结束码End_Code的所有笔迹特征数据流输出，编码结束
解码流程如图5中520所示，详细步骤如下：
步骤521，读取数据：读取一笔的所有笔迹特征数据流放入输入缓存；
步骤522，去掉起始码：去掉笔迹特征数据流开头的起始码Start_Code；
步骤523，读取颜色：去掉起始码Start_Code后直接取得这笔笔迹的颜色C；
步骤524，读取直流分量：读取笔迹特征参数的第1个采样的坐标Z(1)和压力级F(1)；
步骤525，读取码流：读取所有无损编码码流；
步骤526，无损解码：对无损编码的码流进行解码；
步骤527，数据复原：根据解码得到的坐标增量和压力级增量和质量分量计算出坐标和压力级，并组合出笔迹特征参数S(i)：
S(i)＝{Z(i)，F(i)，C}
其中
Z(i)＝Z(i-1)+ΔZ(i)
， (2≤i≤FrameLen)
F(i)＝F(i-1)+ΔF(i)
步骤528，输出数据：把输出缓存中的所有笔迹特征参数输出，解码结束。
本发明中采用的无损压缩算法包括(但不局限于)LZ77编码、LZMA编码、LZW编码、哈夫曼编码、算术编码、ADPCM、指数哥伦布编码、游程编码、DEFLATE编码、ABO编码。这些算法都是经典算法，这里不再讨论。
3.4、笔迹特征参数编码、解码方法4
通常情况下，按顺序对复合对象中单个对象进行编码会更进一步降低码流的比特率。为此，可以对在2.3节的编码算法进行改进。改进的算法的编码流程如图6中600所示，详细编码流程如下：
步骤601，读取数据：读取一笔的所有笔迹特征参数放入输入缓存；
步骤602，输出起始码：把起始码Start_Code放入输出缓存中；
步骤603，输出颜色：把这着笔的颜色值到输出缓存；
步骤604，输出直流分量：把第1个笔迹特征参数的坐标和压力级放入输出缓存中；
步骤605，成份分离及增量计算：读取剩余的迹特征参数的坐标Z(i)和压力级F(i)，分别计算出坐标增量系列{ΔZ(i)：2≤i≤FrameLen}和压力级增量系列{ΔF(i)：2≤i≤FrameLen}；
步骤606，坐标增量无损编码：采用无损编码算法对坐标增量{ΔZ(i)：2≤i≤FrameLen}进行编码；
步骤607，坐标码流输出：把经过无损编码得到的坐标码流放到输出缓存中；
步骤608，输出结束码：把结束码End_Code放到输出缓存中；
步骤609，压力级增量无损编码：对压力级增量{ΔF(i)：2≤i≤FrameLen}进行无损编码；
步骤610，压力级码流输出：把压力级码流放到输出缓存中；
步骤611，输出结束码：把结束码End_Code放到输出缓存中；
步骤612，输出数据：把输出缓存中的所有笔迹特征数据流输出，结束编码。
解码流程如图6中620所示，详细步骤如下：
步骤621，读取数据：读取一笔的所有笔迹特征数据流放入输入缓存；
步骤622，去掉起始码：去掉笔迹特征数据流开头的起始码Start_Code；
步骤623，读取颜色：去掉起始码Start_Code后直接取得这笔笔迹的颜色C；
步骤624，读取直流分量：读取笔迹特征参数的第1个采样的坐标Z(1)和压力级F(1)；
步骤625，读取坐标码流：读取所有坐标码流；
步骤626，无损解码：对坐标码流进行解码；
步骤627，坐标数据复原：根据解码得到的坐标增量和坐标的直流分量计算出坐标系列{Z(i)：1≤i≤FrameLen}；
步骤628，读取压力级码流：读取所有压力级码流；
步骤629，无损解码：对压力级码流进行解码；
步骤630，压力级数据复原：根据解码得到的压力级增量和压力级的直流分量计算出压力级系列{F(i)：1≤i≤FrameLen}；
步骤631，笔迹参数复原及输出：根据颜色C、坐标系列{Z(i)：1≤i≤FrameLen}、压力级系列{F(i)：1≤i≤FrameLen}合成笔迹特征参数系列{S(i)：1≤i≤FrameLen}并输出，结束解码。
3.5、笔迹特征参数编码、解码方法5
通常情况下加速度量比增量变化更小，为此，以加速度量为编码对象将更加降低笔迹特征参数码流的比特率。其编码流程如图7所示，是实施例4的改进，详细过程如下：
步骤701，读取数据：读取一笔的所有笔迹特征参数放入输入缓存；
步骤702，输出起始码：把起始码Start_Code放入输出缓存中；
步骤703，输出颜色：把这着笔的颜色值到输出缓存；
步骤704，增量和加速度量的计算：分别计算出坐标的x方向增量{ΔX(i)}和加速度量{δX(i)}；y方向的增量{ΔY(i)}和加速度量{δY(i)}；以及压力级的增量{ΔF(i)}和加速度量{δF(i)}，计算方法如下：
ΔX(i)＝X(i)-X(i-1)
ΔY(i)＝Y(i)-Y(i-1)，(2≤i≤FrameLen)
ΔF(i)＝F(i)-F(i-1)
其中
δX(i)＝ΔX(i)-ΔX(i-1)
δY(i)＝ΔY(i)-ΔY(i-1)，(3≤i≤FrameLen)
δF(i)＝ΔF(i)-ΔF(i-1)
步骤705，输出直流分量：把第1个笔迹特征参数的坐标和压力级放入以及第2个坐标增量(ΔX(2)，ΔY(2))，第2个压力级增量ΔF(2)输出缓存中；
步骤706，加速度无损编码：采用无损编码算法分别对加速度量系列{δX(i)}、{δY(i)}和{δF(i)}进行编码，得到加速度量流；
步骤707，码流输出：按照坐标的X，Y方向，压力级顺序把经过无损编码得到的码流放到输出缓存中，它们之间用结束码End_Code分开；
步骤708，输出数据：把输出缓存中的所有笔迹特征数据流输出，结束编码。
解码流程如图7中720所示，详细步骤如下：
步骤721，读取数据：读取一笔的所有笔迹特征数据流放入输入缓存；
步骤722，去掉起始码：去掉笔迹特征数据流开头的起始码Start_Code；
步骤723，读取颜色：去掉起始码Start_Code后直接取得这笔笔迹的颜色C；
步骤724，读取直流分量：读取笔迹特征参数的第1个采样的坐标Z(1)和压力级F(1)；
步骤725，读取码流：把所有加速度量流读取出来；
步骤726，无损解码：对读取到的加速度量流进行解码；
步骤727，笔迹特征参数形成：根据解码得到的加速度量和读取得到的直流分量计算出坐标的X方向系列{X(i)}，Y方向系列{Y(i)}，压力及系列{F(i)}；并组合出笔迹特征参数S(i)：
S(i)＝{Z(i)，F(i)，C}，(1≤i≤FrameLen)
其中Z(i)＝{X(i)，Y(i)}。而
X(i)＝X(i-1)+ΔX(i)
Y(i)＝Y(i-1)+ΔY(i)，(2≤i≤FrameLen)
F(i)＝F(i-1)+ΔF(i)
其中
ΔX(i)＝ΔX(i-1)+δX(i)
ΔY(i)＝ΔY(i-1)+δY(i)，(3≤i≤FrameLen)
ΔF(i)＝ΔF(i-1)+δF(i)
步骤728，输出数据：把输出缓存中的所有笔迹特征参数输出，解码结束。
4、内容保存
整个会议所有内容(包括软画板上的图形、口头评述、图像视频)都保存，以便将来进行查阅。这样，视频通信的参与者可以在空闲的时间里回顾该会议。另外，不能参加的人员也可以在随后的时间查阅此次视频通信。
Claims (7)
1.一种基于笔迹特征数据流的视频通信方法，该通信方法涉及两方或者两方以上通信参与者(其中发送视频通信数据的终端，也即收集数据的终端被称为本地端，而收到视频通信数据的终端被称为远程端)，其特征在于，采用了把形成画面时的笔迹特征参数作为处理对象的处理方式，在视频通信期间，当检测到用户着笔时，本地端立即进行处理数据，其步骤如下：
A、采集数据：收集本地用户着笔时的笔迹特征参数；
B、图形绘制：即根据采集到的笔迹特征参数在软画板上绘制出相应的图形；
C、数据编码：对本地产生的笔迹特征参数进行无损编码，把它们处理成笔迹特征数据流；
D、数据发送：通过网络把本地产生的笔迹特征数据流发送给其余参加本次视频通信的远程终端；
远程端接收到笔迹特征数据流时立即做出相应处理，处理步骤如下：
E、数据解码：对收到的笔迹特征数据流进行解码，以得到笔迹特征参数；
F、数据前处理：如果收到数据终端的显示屏的分辨率与发送数据终端的显示屏分辨率的不同，则在绘制图形前需要对解码出来的笔记特征参数作相应的调整；
G、图形绘制：根据笔记特征参数在自身的软画板上绘制出相应图形。
2.如权利要求1所述的基于笔迹特征数据流的视频通信方法，其特征在于在视频通信开始时，首先要对所有视频通信参与者的软画板进行初始化，即这些软画板上只呈现背景。
3.如权利要求1所述的基于笔迹特征数据流的视频通信方法，其特征在于在通信期间采用增量式绘制图形，即当收到笔迹特征参数时，才绘制增加部分的图形，否则图形将保持不变。
4.如权利要求1所述的基于笔迹特征数据流的视频通信方法，其特征在于笔迹特征参数由着笔时着笔点的坐标、笔当时的压力(级)、笔的颜色三个参数组成。
5.一种基于笔迹特征数据流的视频通信处理系统，该处理系统涉及两个(或者两个以上)通信终端(其中发送视频通信数据的终端，也即收集数据的终端被称为本地端，而收到视频通信数据的终端被称为远程端)，其特征在于所有通信终端均包含采集数据模块，用于收集本地用户着笔时的笔迹特征参数；数据编码模块，对本地产生的笔迹特征参数进行无损编码，把它们处理成笔迹特征数据流；数据发送模块，通过网络把本地产生的笔迹特征数据流发送给其余参加本次视频通信的远程端；数据接收模块，接收网络远程端传来的笔迹特征数据流；数据解码模块，对收到的笔迹特征数据流进行解码，以得到笔迹特征参数；数据前处理模块，根据本身的显示屏分辨率与发送端的显示屏分辨率的差异对解码出来的笔记特征参数作相应的调整；图形绘制模块，根据笔记特征参数在软画板上绘制出相应图形。
6.如权利要求5所述的基于笔迹特征数据流的视频通信处理系统，其特征在于图形绘制模块采用增量式绘制图形，即当收到笔迹特征参数时，才绘制增加部分的图形，否则图形将保持不变。
7.如权利要求5所述的基于笔迹特征数据流的视频通信处理系统，其特征在于笔迹特征参数由着笔时着笔点的坐标、笔当时的压力(级)、笔的颜色三个参数组成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200810201108A CN101729850A (zh) | 2008-10-13 | 2008-10-13 | 基于笔迹特征数据流的视频通信方法及其处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200810201108A CN101729850A (zh) | 2008-10-13 | 2008-10-13 | 基于笔迹特征数据流的视频通信方法及其处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101729850A true CN101729850A (zh) | 2010-06-09 |
Family
ID=42449932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200810201108A Pending CN101729850A (zh) | 2008-10-13 | 2008-10-13 | 基于笔迹特征数据流的视频通信方法及其处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101729850A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102314466A (zh) * | 2010-09-27 | 2012-01-11 | 苏州阔地网络科技有限公司 | 一种白板同步的方法 |
| CN102314235A (zh) * | 2010-09-17 | 2012-01-11 | 苏州阔地网络科技有限公司 | 一种实现电子白板同步的方法 |
| CN102546643A (zh) * | 2012-01-16 | 2012-07-04 | 唐桥科技(杭州)有限公司 | 网络会议系统中流畅实时地广播书写到异地的方法 |
| CN103198724A (zh) * | 2013-03-26 | 2013-07-10 | 闫健 | 一种全景模式的在线学习系统及学习系统专用笔 |
| CN103838579A (zh) * | 2014-03-13 | 2014-06-04 | 上海景界信息科技有限公司 | 采用安卓系统的微课录制方法及录制引擎 |
| CN104581353A (zh) * | 2013-10-24 | 2015-04-29 | 深圳习习网络科技有限公司 | 一种视频的录制/播放方法及录制/播放装置 |
| CN104850247A (zh) * | 2014-02-18 | 2015-08-19 | 候万春 | 把写的内容通过互联网实时输出到网络服务器的电子笔 |
| CN108156502A (zh) * | 2018-01-05 | 2018-06-12 | 创盛视联数码科技（北京）有限公司 | 一种提高画笔和文字视频直播同步性的方法 |
| CN108924572A (zh) * | 2018-07-26 | 2018-11-30 | 高新兴科技集团股份有限公司 | 一种计算机图形和实景图像自适应的视频编解码方法和系统 |
| CN110689052A (zh) * | 2019-09-06 | 2020-01-14 | 平安国际智慧城市科技股份有限公司 | 会话消息处理方法、装置、计算机设备和存储介质 |
| US11403237B2 (en) | 2011-09-14 | 2022-08-02 | Barco N.V. | Electronic tool and methods with audio for meetings |
| US11422951B2 (en) | 2011-09-14 | 2022-08-23 | Barco N.V. | Electronic tool and methods for meetings between two users |
| US11792085B2 (en) | 2011-09-14 | 2023-10-17 | Barco N.V. | Electronic tool and methods for meetings |
-
2008
- 2008-10-13 CN CN200810201108A patent/CN101729850A/zh active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102314235A (zh) * | 2010-09-17 | 2012-01-11 | 苏州阔地网络科技有限公司 | 一种实现电子白板同步的方法 |
| CN102314235B (zh) * | 2010-09-17 | 2013-06-05 | 苏州阔地网络科技有限公司 | 一种实现电子白板同步的方法 |
| CN102314466A (zh) * | 2010-09-27 | 2012-01-11 | 苏州阔地网络科技有限公司 | 一种白板同步的方法 |
| US11403237B2 (en) | 2011-09-14 | 2022-08-02 | Barco N.V. | Electronic tool and methods with audio for meetings |
| US11792085B2 (en) | 2011-09-14 | 2023-10-17 | Barco N.V. | Electronic tool and methods for meetings |
| US11422951B2 (en) | 2011-09-14 | 2022-08-23 | Barco N.V. | Electronic tool and methods for meetings between two users |
| CN102546643A (zh) * | 2012-01-16 | 2012-07-04 | 唐桥科技(杭州)有限公司 | 网络会议系统中流畅实时地广播书写到异地的方法 |
| CN103198724A (zh) * | 2013-03-26 | 2013-07-10 | 闫健 | 一种全景模式的在线学习系统及学习系统专用笔 |
| CN104581353A (zh) * | 2013-10-24 | 2015-04-29 | 深圳习习网络科技有限公司 | 一种视频的录制/播放方法及录制/播放装置 |
| CN104581353B (zh) * | 2013-10-24 | 2018-08-24 | 深圳习习网络科技有限公司 | 一种视频的录制/播放方法及录制/播放装置 |
| CN104850247A (zh) * | 2014-02-18 | 2015-08-19 | 候万春 | 把写的内容通过互联网实时输出到网络服务器的电子笔 |
| CN103838579A (zh) * | 2014-03-13 | 2014-06-04 | 上海景界信息科技有限公司 | 采用安卓系统的微课录制方法及录制引擎 |
| CN108156502A (zh) * | 2018-01-05 | 2018-06-12 | 创盛视联数码科技（北京）有限公司 | 一种提高画笔和文字视频直播同步性的方法 |
| CN108924572A (zh) * | 2018-07-26 | 2018-11-30 | 高新兴科技集团股份有限公司 | 一种计算机图形和实景图像自适应的视频编解码方法和系统 |
| CN110689052B (zh) * | 2019-09-06 | 2022-03-11 | 平安国际智慧城市科技股份有限公司 | 会话消息处理方法、装置、计算机设备和存储介质 |
| CN110689052A (zh) * | 2019-09-06 | 2020-01-14 | 平安国际智慧城市科技股份有限公司 | 会话消息处理方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101729850A (zh) | 基于笔迹特征数据流的视频通信方法及其处理系统 | |
| US9491405B2 (en) | Method and apparatus for displaying conference material in video conference | |
| EP2479986B1 (en) | Audio processing in a multi-participant conference | |
| CN102752667B (zh) | 一种多流流媒体直播互动系统及直播互动方法 | |
| CN110234081A (zh) | 视频短信的发送、接收方法及其装置和手持电子设备 | |
| US7391910B2 (en) | LAPE: layered presentation system utilizing compressed-domain image processing | |
| US20010035976A1 (en) | Method and system for online presentations of writings and line drawings | |
| CN102984496B (zh) | 视频会议中的视音频信息的处理方法、装置及系统 | |
| CN112543297A (zh) | 一种视频会议直播方法、装置和系统 | |
| CN101282454A (zh) | 一种基于ip机顶盒的视频通讯系统 | |
| CN101572794A (zh) | 会议终端、会议服务器、会议系统及数据处理方法 | |
| CA2333036A1 (en) | Method and apparatus for processing, displaying and communicating images | |
| JP2008067203A (ja) | 映像合成装置、方法およびプログラム | |
| CN103369289A (zh) | 一种视频模拟形象的通信方法和装置 | |
| CN100473163C (zh) | 动静态混合画面的投影方法和投影系统 | |
| CN103036966A (zh) | 移动终端远程交互测试系统和远程交互测试方法 | |
| CN109168043A (zh) | 显示推荐信息的方法、设备和系统 | |
| JP2009065696A (ja) | 映像合成装置、方法およびプログラム | |
| US9729822B2 (en) | Method and system for sharing content in videoconferencing | |
| CN108055267A (zh) | 一种数据分享方法和终端 | |
| CN201742493U (zh) | Ipav数字会议管理系统 | |
| CN111901628A (zh) | 基于zSpace桌面VR一体机的云端渲染方法 | |
| CN106170003A (zh) | 多方视频会议系统和多方视频会议数据传输方法 | |
| CN205430457U (zh) | 一种多媒体同步播放系统 | |
| CN204559756U (zh) | 一种多通道汇显医疗会议视频系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20100609 |