CN103369289A - 一种视频模拟形象的通信方法和装置 - Google Patents

一种视频模拟形象的通信方法和装置 Download PDF

Info

Publication number
CN103369289A
CN103369289A CN2012100876651A CN201210087665A CN103369289A CN 103369289 A CN103369289 A CN 103369289A CN 2012100876651 A CN2012100876651 A CN 2012100876651A CN 201210087665 A CN201210087665 A CN 201210087665A CN 103369289 A CN103369289 A CN 103369289A
Authority
CN
China
Prior art keywords
cartoon
data
recipient
video
rending model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100876651A
Other languages
English (en)
Other versions
CN103369289B (zh
Inventor
汪斐
陈波
高歌
俞尚
张会丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tencent Computer Systems Co Ltd
Original Assignee
Shenzhen Tencent Computer Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tencent Computer Systems Co Ltd filed Critical Shenzhen Tencent Computer Systems Co Ltd
Priority to CN201210087665.1A priority Critical patent/CN103369289B/zh
Priority to JP2014526383A priority patent/JP5870469B2/ja
Priority to PCT/CN2013/072246 priority patent/WO2013143380A1/zh
Publication of CN103369289A publication Critical patent/CN103369289A/zh
Priority to US14/165,117 priority patent/US9210372B2/en
Application granted granted Critical
Publication of CN103369289B publication Critical patent/CN103369289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Telephonic Communication Services (AREA)
  • Image Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种视频模拟形象的通信方法和装置，方法包括：发送方采集摄像数据，通过图像识别算法将所采集的摄像数据转换为矢量数据，将矢量数据发送给接收方；接收方调用卡通渲染模型，根据所收到的矢量数据和所述卡通渲染模型渲染出对应的卡通视频模拟形象。装置包括：摄像数据采集模块，用于采集本地的摄像数据；识别转换模块，用于通过图像识别算法将所采集的摄像数据转换为矢量数据；发送模块，用于将矢量数据发送给接收方；接收模块，用于接收来自发送方的数据；对方视频模拟模块，用于调用卡通渲染模型，根据所收到的矢量数据和所述卡通渲染模型渲染出对应的卡通视频模拟形象。利用本发明，可以减少网络传输的数据量，节省网络带宽资源。

Description

一种视频模拟形象的通信方法和装置
技术领域
本发明涉及网络通信技术领域，尤其涉及一种视频模拟形象的通信方法和装置。
背景技术
随着互联网技术的发展，各种基于互联网的通信工具也运用而生，从简单的基于文字信息的即时聊天通信工具、到语音聊天通信工具、甚至视频聊天通信工具都已经应用在人们的生活和工作中。
其中，所述视频聊天通信工具实际上就是利用网页或客户端技术，并借助视频采集工具如摄像头来进行可视化的聊天通信。通信双方通过数据处理设备(如计算机、智能手机等)机器上安装的摄像头将自己的视频形象录制下来，并且利用聊天工具通过实时或非实时的方式将自己的视频形象传输给对方，达到可视化聊天的效果，这样的聊天效果生动形象，因此视频聊天工具已经被越来越多的网友所喜爱。
图1为目前视频聊天技术的一种典型的视频数据处理和传输的示意图。参见图1，其中发送方和接收方具体是指安装在通信双方数据处理设备上的视频聊天工具。所述视频聊天工具需要连接本地的视频采集工具例如摄像头等。发送方的视频聊天工具采集本地摄像头所拍摄的视频数据，将视频数据进行压缩和编码，转变为视频位图数据，并通过网络传输给接收方。所谓位图亦称为点阵图像或绘制图像，是由称作像素(图片元素)的单个点组成的，这些点可以进行不同的排列和染色以构成图样。接收方的视频聊天工具在收到所述视频位图数据后，经过解码和解压缩处理，然后显示在本地的显示界面上，从而实现了视频数据的传输。图1中只画出了视频图像单向发送的过程，对于反方向的视频图像发送过程同理。这样，通信双方就可以利用视频聊天工具进行视频互动交流了。
但是视频聊天技术存在着一些安全风险，例如可能会发生用户隐私形象的泄漏，或者黑客盗取用户的视频聊天形象进行非法敲诈等等。为了降低视频聊天过程中的安全风险，同时又保留视频聊天技术形象生动的效果，目前已经出现了一种将视频聊天中的人物视频形象模拟为卡通形象的视频模拟形象的通信技术。图2为现有的一种将视频通信中的人物视频模拟成卡通形象的一种示意图。参见图2，这种技术是对图1所示的传统的视频通信技术上改造而来。即：发送方的视频聊天工具采集摄像头所拍摄的视频数据，对这些视频数据进行过滤，以所拍摄的人物视频图像为基础模拟渲染出对应的卡通视频模拟形象，即卡通形象的模拟视频，然后对该卡通形象的视频数据进行压缩和编码，生成视频位图数据，并通过网络传输给接收方；接收方的视频聊天工具在收到所述卡通形象的视频位图数据后进行对应的解码和解压，最后显示在本地的显示界面上。
图2所述的现有技术的缺陷是：
该现有技术只是对图1所示的传统视频聊天技术进行了简单的改进，利用传统的视频压缩技术对所渲染出来的视频数据进行编码并传输至通话的另一方，由于这种编码方案针对的是真实的视频数据，在网络中传输的数据是视频位图数据，这种视频位图数据的数据量较大，在网络传输时所占用的网络流量偏大，在网络带宽资源有限的情况下会造成视频播放不流畅的问题。
发明内容
有鉴于此，本发明的主要目的在于提供一种视频模拟形象的通信方法和装置，以减少网络传输的数据量，节省网络带宽资源。
本发明的技术方案是这样实现的：
一种视频模拟形象的通信方法，包括：
发送方采集摄像数据，通过图像识别算法将所采集的摄像数据转换为矢量数据，将矢量数据发送给接收方；
接收方调用卡通渲染模型，根据所收到的矢量数据和所述卡通渲染模型渲染出对应的卡通视频模拟形象。
一种视频模拟形象的通信装置，包括：
摄像数据采集模块，用于采集本地的摄像数据；
识别转换模块，用于通过图像识别算法将所采集的摄像数据转换为矢量数据；
发送模块，用于将矢量数据发送给接收方；
接收模块，用于接收来自发送方的数据；
对方视频模拟模块，用于调用卡通渲染模型，根据所收到的矢量数据和所述卡通渲染模型渲染出对应的卡通视频模拟形象。
与现有技术相比，本发明在发送方采集摄像数据，通过图像识别算法将所采集的摄像数据转换为矢量数据，将矢量数据发送给接收方，由接收方进行渲染；最终渲染出的卡通视频模拟形象的基础数据都设置在卡通渲染模型中，接收方可以根据收到的矢量数据，读取所述卡通渲染模型从而渲染出对应的卡通形象。本发明在网络中传输的是数据量非常小的矢量数据，而不是位图数据，因此可以减少网络传输的数据量，节省网络带宽资源。
附图说明
图1为目前视频聊天技术的一种典型的视频数据处理和传输的示意图；
图2为现有的一种将视频通信中的人物视频模拟成卡通形象的一种示意图；
图3为本发明所述视频模拟形象的通信方法的一种流程示意图；
图4为本发明所述视频模拟形象的通信装置的一种组成示意图；
图5为本发明所述方法的又一种具体实施例的流程示意图；
图6为本发明所述方法的再一种具体实施例的流程示意图；
图7为本发明所述视频模拟形象的通信装置的又一种具体实施例的组成示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图3为本发明所述视频模拟形象的通信方法的一种流程示意图。图3中所展示的是本发明所述视频模拟形象的通信过程中单方向的过程，即假设用户A和B间进行视频通信，将A的形象展示给B所涉及的过程，其中A为发送方，B为接收方。将B的形象展示给A的过程同理，只是B为发送方，A为接收方。此外，本方案同样适用于多人的视频过程中，可以将某一方看作是发送方，其余各方均是接收方。下面将按照所涉及的具体流程进行详细介绍。
参见图3，本发明的方法主要包括：发送方采集摄像数据，通过图像识别算法将所采集的摄像数据转换为矢量数据，将矢量数据发送给接收方；接收方调用卡通渲染模型，根据所收到的矢量数据和所述卡通渲染模型渲染出对应的卡通视频模拟形象(本说明书中简称为卡通形象)，并最终显示所述卡通视频模拟形象的视频。
对应的，本发明还公开了一种视频模拟形象的通信装置，用于执行本发明的所述方法。图4为本发明所述视频模拟形象的通信装置的一种组成示意图，参见图4，该装置是一种安装在用户终端上的视频聊天工具，通信双方可以通过该视频聊天工具执行本发明的方法，实现本发明所述的卡通视频模拟形象的视频通信，该装置具体包括：
摄像数据采集模块401，用于采集本地的摄像数据；
识别转换模块402，用于通过图像识别算法将所采集的摄像数据转换为矢量数据；
发送模块403，用于将矢量数据发送给接收方；
接收模块404，用于接收来自发送方的数据；
对方视频模拟模块405，用于调用卡通渲染模型，根据所收到的矢量数据和所述卡通渲染模型渲染出对应的卡通视频模拟形象，将所述渲染出的卡通视频模拟形象输出显示。
在本说明书中，如未特殊说明，所述发送方具体是指发送方的视频模拟形象通信装置，所述接收方具体是指接收方的视频模拟形象通信装置。
本发明所述的方法需要预先设置卡通渲染模型数据，接收方最终渲染出的卡通形象所需要的基础数据都设置在该卡通渲染模型数据中，该卡通渲染模型数据中主要包括的数据有：基础形象模型数据以及进一步的卡通效果数据等。所述基础形象模型数据例如包括：卡通人物形象的各种脸型的模型数据、各种头型的模型数据、各种五官的模型数据、各种衣服的模型数据、以及所佩戴的眼镜饰品等模型数据；每种基础形象模型数据都具有调用标识信息，在渲染时，只要指定了某个模型数据的调用标识，则根据该模型数据渲染出对应的形象来，所述指定的调用标识信息由发送方通过图像识别算法识别得到，例如是什么脸型(脸型标识)、五官的特征(五官标识)、什么发型(发型标识)、穿什么衣服(衣服标识)、是否带眼镜以及眼镜的式样(眼镜标识)等等。所述卡通效果数据可以备选，用于进一步增强和丰富所述卡通形象的表现效果，例如可以包括各种表情和动作的卡通效果数据，如开心的卡通效果数据、脸红的卡通效果数据、出汗的卡通效果数据等等，也可以是一段预定义的动画等等。每种卡通效果都对应设置有调用指令数据，该调用指令数据由发送方发出。
所述卡通渲染模型数据可以预先存储在接收方本地，或者也可以预先将所述卡通渲染模型数据存储在指定服务器，并将存储地址告知接收方，当接收方收到所述矢量数据之后，可以从该指定服务器下载所述卡通渲染模型数据。
如图3所示，发送方采集摄像数据主要是通过与发送方终端的摄像采集装置如摄像头连接通信，采集摄像头所拍摄的摄像数据。在视频聊天过程中，发送方所拍摄的摄像数据通常为发送方用户的人物形象视频，例如用户的基本形象(包括头型、脸型、衣服等)、表情、头部、以及肢体动作等。然后通过图像识别算法对所采集的摄像数据进行识别处理，得到矢量数据。所述图像识别算法可以采用现有技术，主要处理过程包括：1)图像预处理，例如灰度归一处理；2)人脸检测和定位处理；3)形象特征提取处理；4)人脸识别处理。经过图形识别算法的处理，可以得到摄像数据的矢量数据，矢量数据相对于位图数据来讲，其数据量大大降低，可以减少对网络带宽的占用。
所述矢量数据中包括基础形象数据和形象变化数据。所述基础形象数据用于指定所述卡通渲染模型中的具体的基础形象模型，例如是什么脸型(脸型标识)、五官的特征(五官标识)、什么发型(发型标识)、穿什么衣服(衣服标识)、是否带眼镜以及眼镜的式样(眼镜标识)等等，这些基础形象数据就是对卡通渲染模型中的具体的基础形象模型数据的调用标识，接收方可以根据这些基础形象数据的指示，读取卡通渲染模型中对应的基础形象模型数据，从而渲染出卡通视频模拟形象的基础形象。具体的渲染过程可以利用现有的动画渲染技术，其中主要过程包括：1)读取载入模型数据；2)根据所述基础形象数据和载入的模型数据，利用渲染模型公式计算渲染对象的具体形象信息；3)绘制出具体的卡通形象。
所述形象变化数据用于指示当前摄像视频中人物形象的动态变化信息，例如眼睛闭合、张开的程度(例如可以用1～3个等级来表示)，嘴巴闭合、张开的程度(例如可以用1～10个等级来表示)，头部摇摆的幅度(利用可以用-10～10个等级来表示)。接收方可以根据这些形象变化数据修改所渲染出的所述基础形象，从而得到动态的卡通视频模拟形象。
与现有技术相比，本发明在网络中传输的是数据量非常小的矢量数据，而非位图数据，因此可以减少网络传输的数据量，节省网络带宽资源。另外，现有技术方案传输的位图数据的视频质量(如分辨率等)是固定的，一旦发送方渲染出的视频质量不高，即使接收方的硬件运算能力非常强，也无法显示出高质量的视频效果。但是本发明由于传输给接收方的是矢量数据，如果接收方的硬件运算能力强，可以渲染比发送方更好的视频效果，比如更高的分辨率，更逼真的动画细节等。
图5为本发明所述方法的又一种具体实施例的流程示意图，参见图5，在该实施例中，所述发送方的视频模拟形象通信装置还可以进一步与麦克风等音频采集装置连接，以采集音频数据发送给接收方，接收方将收到的音频数据与所述渲染的卡通形象同步播放。所述音频数据的传输通信通道可以为独立的通信通道，也可以采用与所述矢量数据相同的通信通道。
与之对应的，如图7所示，本发明所述视频模拟形象的通信装置的一种实施例中，该装置进一步包括：音频采集模块406，用于采集音频数据，由所述发送模块403进一步将所述音频数据发送给接收方；所述对方视频模拟模块405进一步用于：将收到的来自接收方的音频数据与所述渲染的卡通形象同步播放。
在图5所述的实施例中，发送方还可以发出特殊卡通效果的指令，作为所述矢量数据的一部分发送给接收方。这些指令对应于上述卡通渲染模型中的卡通效果数据，一种具体的指令对应一种具体的卡通效果，例如包括各种心情的卡通效果指令，如开心的卡通效果指令、脸红的卡通效果指令、出汗的卡通效果指令、播放预定义动画的指令等等。
所述卡通效果指令的触发方式有多种，例如主要包括以下两种：
触发方式一、发送方提供指定卡通效果的触发机构，例如在界面上显示触发按钮，例如分别代表触发开心效果、脸红效果、出汗效果等等，在所述触发机构被触发后(如所述按钮被点击)，将对应卡通效果的指令数据发送给接收方；接收方根据收到的指令数据从卡通渲染模型中读取出对应的卡通效果数据，在所述卡通视频模拟形象画面上渲染该卡通效果。例如如果触发了脸红效果的指令，则渲染出脸红的卡通效果。
触发方式二、发送方利用传感器检测感应信号，例如目前许多手机都具有各种传感器，可以检测到的各种感应信号，比如手机的摇晃、所在的位置、所对准的方向等。发送方的视频模拟形象通信装置采集这些传感器的感应信号，并将所述感应信号数据作为卡通效果的具体指令发送给接收方。所述卡通渲染模型中存储有具体感应信号和具体卡通效果的对应关系，接收方根据收到的感应信号数据从卡通渲染模型中读取出对应的卡通效果数据，在所述卡通视频模拟形象画面上渲染出对应的卡通效果。
与之对应的，如图7所示，本发明所述视频模拟形象的通信装置的一种实施例中，该装置400进一步包括指定效果触发模块407，用于提供指定卡通效果的触发机构，在所述触发机构被触发后，将对应卡通效果的指令数据通过所述发送模块403发送给接收方；所述对方形象渲染模块405进一步用于：根据收到的指令数据从卡通渲染模型中读取出对应的卡通效果数据，在所述卡通视频模拟形象画面上渲染该卡通效果。
该装置400还可以进一步包括传感检测模块408，用于利用传感器检测感应信号，并将所述感应信号数据通过所述发送模块403发送给接收方；所述对方形象渲染模块405进一步用于：根据收到的感应信号数据从卡通渲染模型中读取出对应的卡通效果数据，在所述卡通视频模拟形象画面上渲染出对应的卡通效果。
对于数据的传输方式，为了提高传输效率，本发明的发送方在向接收方发送所述数据之前，还可以进一步对所发送的数据进行编码、压缩处理，比如使用哈夫曼编码或Gzip数据压缩方法，以便使在网络上传输的数据较小；接收方在收到来自发送方的数据后，进一步进行解压、解码处理。在具体传输时，针对不同的使用场景，传输方式可以是多样化的，比如一对一的(双方聊天)，或是一对多的(视频会议、集体游戏)。根据通讯形式的不同，这些数据的传输可以是实时的，也可以是非实时的，可以由服务器暂时保存，或经过服务器中转。因为这些数据的数据量很小，可以在网络上较快的进行传输。
对应的，本发明所述视频模拟形象的通信装置的一种实施例中，所述发送模块中进一步包括编码模块，用于对要发送的数据进行编码、压缩处理，之后再发送；所述接收模块中进一步包括解码模块，用于对接收的数据进行解码、解压处理，再给所述对方视频模拟模块处理。
在进行卡通视频模拟形象的通信互动的过程中，视频通信的双方不但希望对方能看到自己的视频卡通形象，而且希望在本地也可以看到自己的视频卡通形象。为了达到这一目的，如图6所示，在本发明的一种实施例中，所述方法还进一步包括：发送方将所述发送给接收方的数据复制在本地，并调用与接收方的卡通渲染模型相同的卡通渲染模型，根据所复制的数据和所述卡通渲染模型渲染出对应的卡通视频模拟形象，具体包括：根据所述矢量数据渲染出与接收方所渲染出的一致的卡通形象，根据所述触发机构触发的指令数据和/或传感器检测的感应信号渲染出对应的卡通效果，以及根据本地麦克风所采集的音频数据，与本地渲染的卡通形象同步播放。
为了确保在发送方本地显示的发送方用户的视频卡通形象与接收方看到的发送方用户的视频卡通形象的效果相同，需要接收方和发送方调用相同的卡通渲染模型数据，或者调用相同的卡通渲染模型数据和用于视频渲染的本地硬件配置信息。所述硬件配置信息例如可以是屏幕分辨率、刷新频率等信息。保证了双方具有相同的卡通渲染模型数据后，就可以渲染出相同的卡通视频形象效果，保证了双方的所述硬件配置信息的一致，则可以使渲染出的卡通视频形象的显示效果更加一致。
如图6所示，为了使接收方和发送方调用相同的卡通渲染模型数据或者相同的卡通渲染模型数据和本地硬件配置信息，需要对所述卡通渲染模型和所述硬件配置信息进行同步，具体的同步方式可以有：
第一种同步方式，在双方中的至少一方设置有卡通渲染模型，在接收方与发送方为实时通信的情况下，双方通过约定的通信协议同步传输卡通渲染模型数据，使双方具有相同的卡通渲染模型；双方在需调用卡通渲染模型时，直接调用本地的卡通渲染模型。在通过所述通信协议同步传输卡通渲染模型数据时，还可以进一步同步传输所述用于视频渲染的本地硬件配置信息，双方根据预设的策略将所述硬件配置信息调正为一致。
第二种同步方式，只在发送方设置卡通渲染模型，在接收方与发送方为非实时通信的情况下，发送方在发送所述矢量数据的同时附带发送所述卡通渲染模型数据到指定服务器进行存储，并将存储地址告知接收方，接收方在收到所述矢量数据后，从所述存储地址下载所述卡通渲染模型数据到本地；双方在需调用卡通渲染模型时，直接调用本地的卡通渲染模型。在发送方发送卡通渲染模型数据时，还可以进一步发送所述用于视频渲染的本地硬件配置信息给接收方，接收方在收到后，将本地的所述硬件配置信息调整为与发送方的所述硬件配置信息一致。
对应的，如图7所示，所述视频模拟形象的通信装置还可以进一步包括：
复制模块409，用于将发送给接收方的数据复制在本地；
本方视频模拟模块410，用于调用与对方的卡通渲染模型相同的卡通渲染模型，根据所复制的数据和所述卡通渲染模型渲染出对应的卡通视频模拟形象。
所述视频模拟形象的通信装置还可以进一步包括模型同步模块411，用于同步通信双方的卡通渲染模型数据，或同步通信双方的卡通渲染模型数据和用于视频渲染的硬件配置信息。具体可以采用上述的同步方式。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (16)

1.一种视频模拟形象的通信方法，其特征在于，包括：
发送方采集摄像数据，通过图像识别算法将所采集的摄像数据转换为矢量数据，将矢量数据发送给接收方；
接收方调用卡通渲染模型，根据所收到的矢量数据和所述卡通渲染模型渲染出对应的卡通视频模拟形象。
2.根据权利要求1所述的方法，其特征在于，该方法进一步包括：发送方采集音频数据发送给接收方，接收方将收到的音频数据与所述渲染的卡通视频模拟形象同步播放。
3.根据权利要求1所述的方法，其特征在于，该方法进一步包括：发送方提供指定卡通效果的触发机构，在所述触发机构被触发后，将对应卡通效果的指令数据发送给接收方；接收方根据收到的指令数据从卡通渲染模型中读取出对应的卡通效果数据，在所述卡通视频模拟形象画面上渲染该卡通效果。
4.根据权利要求1所述的方法，其特征在于，该方法进一步包括：发送方利用传感器检测感应信号，并将所述感应信号数据发送给接收方，接收方根据该感应信号数据从卡通渲染模型中读取出对应的卡通效果数据，在所述卡通视频模拟形象画面上渲染出对应的卡通效果。
5.根据权利要求1至4任一项所述的方法，其特征在于，该方法进一步包括：发送方将所述发送给接收方的数据复制在本地，并调用与接收方的卡通渲染模型相同的卡通渲染模型，根据所复制的数据和所述卡通渲染模型渲染出对应的卡通视频模拟形象。
6.根据权利要求5所述的方法，其特征在于，所述发送方和接收方调用卡通渲染模型的方法为：
在双方中的至少一方设置有卡通渲染模型，在接收方与发送方为实时通信的情况下，双方通过约定的通信协议同步传输卡通渲染模型数据，使双方具有相同的卡通渲染模型；双方在需调用卡通渲染模型时，直接调用本地的卡通渲染模型；
或者，只在发送方设置卡通渲染模型，在接收方与发送方为非实时通信的情况下，发送方在发送所述矢量数据的同时附带发送所述卡通渲染模型数据到指定服务器进行存储，并将存储地址告知接收方，接收方在收到所述矢量数据后，从所述存储地址下载所述卡通渲染模型数据到本地；双方在需调用卡通渲染模型时，直接调用本地的卡通渲染模型。
7.根据权利要求6所述的方法，其特征在于，所述发送方或接收方在发送卡通渲染模型数据的同时，进一步发送用于视频渲染的本地硬件配置信息，对方收到所述硬件配置信息后，进一步利用该硬件配置信息调整对应的视频显示效果。
8.根据权利要求5所述的方法，其特征在于，
所述矢量数据中包括基础形象数据和形象变化数据；
所述根据所收到的矢量数据和所述卡通渲染模型渲染出对应的卡通视频模拟形象的具体方法为：
根据所述基础形象数据读取卡通渲染模型中的基础形象模型数据，渲染出卡通视频模拟形象的基础形象；
根据所述形象变化数据修改所渲染出的所述基础形象，得到动态的卡通视频模拟形象。
9.根据权利要求1至4任一项所述的方法，其特征在于，
发送方在向接收方发送所述数据之前，进一步对所发送的数据进行编码、压缩处理；
接收方在收到来自发送方的数据后，进一步进行解压、解码处理。
10.一种视频模拟形象的通信装置，其特征在于，包括：
摄像数据采集模块，用于采集本地的摄像数据；
识别转换模块，用于通过图像识别算法将所采集的摄像数据转换为矢量数据；
发送模块，用于将矢量数据发送给接收方；
接收模块，用于接收来自发送方的数据；
对方视频模拟模块，用于调用卡通渲染模型，根据所收到的矢量数据和所述卡通渲染模型渲染出对应的卡通视频模拟形象。
11.根据权利要求10所述的装置，其特征在于，该装置进一步包括：
音频采集模块，用于采集音频数据，由所述发送模块进一步将所述音频数据发送给接收方；
所述对方视频模拟模块进一步用于：将收到的来自接收方的音频数据与所述渲染的卡通形象同步播放。
12.根据权利要求10所述的装置，其特征在于，该装置进一步包括：
指定效果触发模块，用于提供指定卡通效果的触发机构，在所述触发机构被触发后，将对应卡通效果的指令数据通过所述发送模块发送给接收方；
所述对方形象渲染模块进一步用于：根据收到的指令数据从卡通渲染模型中读取出对应的卡通效果数据，在所述卡通视频模拟形象画面上渲染该卡通效果。
13.根据权利要求10所述的装置，其特征在于，该装置进一步包括：
传感检测模块，用于利用传感器检测感应信号，并将所述感应信号数据通过所述发送模块发送给接收方；
所述对方形象渲染模块进一步用于：根据收到的感应信号数据从卡通渲染模型中读取出对应的卡通效果数据，在所述卡通视频模拟形象画面上渲染出对应的卡通效果。
14.根据权利要求10至13任一项所述的装置，其特征在于，该装置进一步包括：
复制模块，用于将发送给接收方的数据复制在本地；
本方视频模拟模块，用于调用与对方的卡通渲染模型相同的卡通渲染模型，根据所复制的数据和所述卡通渲染模型渲染出对应的卡通视频模拟形象。
15.根据权利要求14所述的装置，其特征在于，该装置进一步包括：
模型同步模块，用于同步通信双方的卡通渲染模型数据，或同步通信双方的卡通渲染模型数据和用于视频渲染的硬件配置信息。
16.根据权利要求10至13任一项所述的装置，其特征在于，所述发送模块中进一步包括编码模块，用于对要发送的数据进行编码、压缩处理，之后再发送；所述接收模块中进一步包括解码模块，用于对接收的数据进行解码、解压处理，之后再给所述对方视频模拟模块处理。
CN201210087665.1A 2012-03-29 2012-03-29 一种视频模拟形象的通信方法和装置 Active CN103369289B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201210087665.1A CN103369289B (zh) 2012-03-29 2012-03-29 一种视频模拟形象的通信方法和装置
JP2014526383A JP5870469B2 (ja) 2012-03-29 2013-03-06 ビデオシミュレーション画像のための通信方法及びデバイス
PCT/CN2013/072246 WO2013143380A1 (zh) 2012-03-29 2013-03-06 一种视频模拟形象的通信方法和装置
US14/165,117 US9210372B2 (en) 2012-03-29 2014-01-27 Communication method and device for video simulation image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210087665.1A CN103369289B (zh) 2012-03-29 2012-03-29 一种视频模拟形象的通信方法和装置

Publications (2)

Publication Number Publication Date
CN103369289A true CN103369289A (zh) 2013-10-23
CN103369289B CN103369289B (zh) 2016-05-04

Family

ID=49258186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210087665.1A Active CN103369289B (zh) 2012-03-29 2012-03-29 一种视频模拟形象的通信方法和装置

Country Status (4)

Country Link
US (1) US9210372B2 (zh)
JP (1) JP5870469B2 (zh)
CN (1) CN103369289B (zh)
WO (1) WO2013143380A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103647922A (zh) * 2013-12-20 2014-03-19 百度在线网络技术（北京）有限公司 虚拟视频通话方法和终端
CN105263040A (zh) * 2015-10-08 2016-01-20 安徽理工大学 一种节省手机流量观看球赛直播的方法
CN105407313A (zh) * 2015-10-28 2016-03-16 掌赢信息科技（上海）有限公司 一种视频通话方法、设备和系统
CN106209878A (zh) * 2016-07-20 2016-12-07 北京邮电大学 基于WebRTC的多媒体数据传输方法及装置
CN106303690A (zh) * 2015-05-27 2017-01-04 腾讯科技（深圳）有限公司 一种视频处理方法及装置
CN107203953A (zh) * 2017-07-14 2017-09-26 深圳极速汉语网络教育有限公司 一种基于互联网、表情识别和语音识别的教学系统及其实现方法
CN107465885A (zh) * 2016-06-06 2017-12-12 中兴通讯股份有限公司 一种实现视频通讯的方法和装置
CN107911644A (zh) * 2017-12-04 2018-04-13 吕庆祥 基于虚拟人脸表情进行视频通话的方法及装置
CN109302598A (zh) * 2018-09-30 2019-02-01 Oppo广东移动通信有限公司 一种数据处理方法、终端、服务器和计算机存储介质
CN112165598A (zh) * 2020-09-28 2021-01-01 北京字节跳动网络技术有限公司 数据处理的方法、装置、终端和存储介质
WO2023124054A1 (zh) * 2021-12-29 2023-07-06 达闼机器人股份有限公司 一种基于数字孪生监控物理世界的方法、装置及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631914A (zh) * 2014-10-31 2016-06-01 鸿富锦精密工业(武汉)有限公司 漫画创作系统及方法
US11736756B2 (en) * 2016-02-10 2023-08-22 Nitin Vats Producing realistic body movement using body images
US10497163B1 (en) * 2017-05-16 2019-12-03 Electronic Arts Inc. Computer architecture for animation of a character in a simulation based on muscle activation data
EP3852355A4 (en) * 2018-09-13 2021-11-10 Sony Semiconductor Solutions Corporation INFORMATION PROCESSING DEVICE AND METHOD, IMAGING DEVICE, MOBILE BODY DEVICE AND COMPUTER PROGRAM
CN109831638B (zh) * 2019-01-23 2021-01-08 广州视源电子科技股份有限公司 视频图像传输方法、装置、交互智能平板和存储介质
CN111586259B (zh) * 2020-04-03 2022-09-23 北京仿真中心 图像仿真方法、图像计算机以及目标模拟器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606347A (zh) * 2004-11-15 2005-04-13 北京中星微电子有限公司 一种视频通信的方法
CN101535991A (zh) * 2006-10-16 2009-09-16 惠普开发有限公司 流式视频通信
CN101640792A (zh) * 2008-08-01 2010-02-03 中国移动通信集团公司 卡通视频的压缩编解码方法、设备及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63191476A (ja) * 1987-02-04 1988-08-08 Nippon Telegr & Teleph Corp <Ntt> 知能画像通信方式
JPH08307841A (ja) * 1995-05-10 1996-11-22 Hitachi Ltd 擬似動画ｔｖ電話装置
JPH09138767A (ja) * 1995-11-14 1997-05-27 Fujitsu Ten Ltd 感情表現の通信装置
JP2002325238A (ja) * 2001-04-26 2002-11-08 Seiko Instruments Inc 簡易動画送受信システム及び動画送受信方法
JP4182656B2 (ja) * 2001-10-01 2008-11-19 コニカミノルタホールディングス株式会社 端末装置、送信方法、およびコンピュータプログラム
JP2003248841A (ja) * 2001-12-20 2003-09-05 Matsushita Electric Ind Co Ltd バーチャルテレビ通話装置
US20070230794A1 (en) * 2006-04-04 2007-10-04 Logitech Europe S.A. Real-time automatic facial feature replacement
JP4725936B1 (ja) * 2011-02-01 2011-07-13 有限会社Ｂｏｎｄ 入力支援装置、入力支援方法及びプログラム
US9613450B2 (en) * 2011-05-03 2017-04-04 Microsoft Technology Licensing, Llc Photo-realistic synthesis of three dimensional animation with facial features synchronized with speech
CN102364965A (zh) * 2011-10-05 2012-02-29 辜进荣 手机通信信息精化显示方法
US9456244B2 (en) * 2012-06-25 2016-09-27 Intel Corporation Facilitation of concurrent consumption of media content by multiple users using superimposed animation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606347A (zh) * 2004-11-15 2005-04-13 北京中星微电子有限公司 一种视频通信的方法
CN101535991A (zh) * 2006-10-16 2009-09-16 惠普开发有限公司 流式视频通信
CN101640792A (zh) * 2008-08-01 2010-02-03 中国移动通信集团公司 卡通视频的压缩编解码方法、设备及系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103647922A (zh) * 2013-12-20 2014-03-19 百度在线网络技术（北京）有限公司 虚拟视频通话方法和终端
CN106303690A (zh) * 2015-05-27 2017-01-04 腾讯科技（深圳）有限公司 一种视频处理方法及装置
CN105263040A (zh) * 2015-10-08 2016-01-20 安徽理工大学 一种节省手机流量观看球赛直播的方法
CN105407313A (zh) * 2015-10-28 2016-03-16 掌赢信息科技（上海）有限公司 一种视频通话方法、设备和系统
CN107465885A (zh) * 2016-06-06 2017-12-12 中兴通讯股份有限公司 一种实现视频通讯的方法和装置
WO2017211139A1 (zh) * 2016-06-06 2017-12-14 中兴通讯股份有限公司 一种实现视频通讯的方法和装置
CN106209878A (zh) * 2016-07-20 2016-12-07 北京邮电大学 基于WebRTC的多媒体数据传输方法及装置
CN107203953A (zh) * 2017-07-14 2017-09-26 深圳极速汉语网络教育有限公司 一种基于互联网、表情识别和语音识别的教学系统及其实现方法
CN107911644A (zh) * 2017-12-04 2018-04-13 吕庆祥 基于虚拟人脸表情进行视频通话的方法及装置
CN107911644B (zh) * 2017-12-04 2020-05-08 吕庆祥 基于虚拟人脸表情进行视频通话的方法及装置
CN109302598A (zh) * 2018-09-30 2019-02-01 Oppo广东移动通信有限公司 一种数据处理方法、终端、服务器和计算机存储介质
CN112165598A (zh) * 2020-09-28 2021-01-01 北京字节跳动网络技术有限公司 数据处理的方法、装置、终端和存储介质
WO2023124054A1 (zh) * 2021-12-29 2023-07-06 达闼机器人股份有限公司 一种基于数字孪生监控物理世界的方法、装置及存储介质

Also Published As

Publication number Publication date
US9210372B2 (en) 2015-12-08
US20140139619A1 (en) 2014-05-22
WO2013143380A1 (zh) 2013-10-03
JP2014529233A (ja) 2014-10-30
JP5870469B2 (ja) 2016-03-01
CN103369289B (zh) 2016-05-04

Similar Documents

Publication Publication Date Title
CN103369289A (zh) 一种视频模拟形象的通信方法和装置
KR101768980B1 (ko) 가상 동영상 통화 방법 및 단말
CN103220543B (zh) 基于kinect的实时3d视频通信系统及其实现方法
CN101273637B (zh) 媒体管理器、媒体内容管理方法和系统以及包含媒体管理器的通信单元
CN110430441B (zh) 一种云手机视频采集方法、系统、装置及存储介质
KR950030647A (ko) 화상통신장치
WO2014117660A1 (zh) 视频短信的发送、接收方法及其装置和手持电子设备
CN102271241A (zh) 一种基于面部表情/动作识别的图像通信方法及系统
CN103368929A (zh) 一种视频聊天方法及系统
CN103218843A (zh) 虚拟人物通讯系统和方法
CN104780091B (zh) 一种具有语音音频处理功能的即时通信方法和系统
WO2024061295A1 (zh) 视频数据的处理方法和系统
CN109769143A (zh) 视频图像处理方法、装置、视频系统、设备和存储介质
CN103841358B (zh) 低码流的视频会议系统及方法、发送端设备、接收端设备
CN103036966A (zh) 移动终端远程交互测试系统和远程交互测试方法
CN111372113B (zh) 基于数字人表情、嘴型及声音同步的用户跨平台交流方法
CN109819270A (zh) 动态视频海报的合成分享方法及系统
CN114143700A (zh) 一种音频处理方法、装置、设备、介质及程序产品
CN102364965A (zh) 手机通信信息精化显示方法
CN104079860B (zh) 一种信息处理方法及电子设备
CN103051858A (zh) 视讯通信实时屏幕互动装置、方法及系统
CN111901628A (zh) 基于zSpace桌面VR一体机的云端渲染方法
CN102223406A (zh) 音频信息网络数字化实时传输系统及方法
CN103875241B (zh) 用于在传输数字图像时间序列时处理干扰的方法和设备
JP2005173772A (ja) 画像通信システムおよび画像生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant