CN105516785A - 传送人形玩偶图像或影像的通讯系统、通讯方法与服务器 - Google Patents

传送人形玩偶图像或影像的通讯系统、通讯方法与服务器 Download PDF

Info

Publication number
CN105516785A
CN105516785A CN201610090493.1A CN201610090493A CN105516785A CN 105516785 A CN105516785 A CN 105516785A CN 201610090493 A CN201610090493 A CN 201610090493A CN 105516785 A CN105516785 A CN 105516785A
Authority
CN
China
Prior art keywords
data
end device
server
image
head portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610090493.1A
Other languages
English (en)
Inventor
蔡宪聪
丘立全
廖伟闵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qi Yun Science And Technology Co Ltd
Original Assignee
Qi Yun Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qi Yun Science And Technology Co Ltd filed Critical Qi Yun Science And Technology Co Ltd
Priority to CN201610090493.1A priority Critical patent/CN105516785A/zh
Publication of CN105516785A publication Critical patent/CN105516785A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明揭露了一种传送人形玩偶图像或影像的通讯系统。通讯系统包括至少一传送端装置、至少一接收端装置以及一服务器。接收端装置储存一素体资料。服务器分别与传送端装置以及接收端装置通讯连接,并储存一三维头像资料,其中三维头像资料系对应传送端装置的使用者。服务器接收来自传送端装置的一识别资料以及一通讯请求。服务器依据通讯请求传送三维头像资料至接收端装置。其中,三维头像资料对应识别资料。接收端装置依据三维头像资料以及素体资料显示人形玩偶图像或影像。本发明另揭露了一种传送人形玩偶图像或影像的方法及服务器。

Description

传送人形玩偶图像或影像的通讯系统、通讯方法与服务器
技术领域
本发明涉及一种通讯系统、方法与服务器,特别是关于一种传送图像或影像的通讯系统、通讯方法与服务器。
背景技术
人形玩偶,简称为人偶,或又称为公仔(Figurines),因为具有模仿特定人物的神情相貌与身形装束而受到许多人士的喜爱。人形玩偶源自于以欧美或日本动漫画人物形象为基础打造的实体产品,或是少部分原创角色的创作作品。过去人偶多是以填充或塑胶材质制成,但随着影像处理技术以及行动终端效能的提升,现在使用者已经可以在智慧型装置上自拍相片来制作自己的人偶,再以影像或影片的形式输出,成为真人人偶贴图或动画。
因为真人人偶与使用者的相貌非常近似,所以可识别度相当高,用于即时通讯软件时,只要搭配想要表达的文字,便可以带来相当多趣味。然而,因为人偶要与真人相似,所以不仅要有立体外型,在面部表情以及身体特征等方面都要尽量精致,因此导致传送端必须使用大量资源来生成真人人偶图像或影像,加重终端装置电力消耗以及处理时间的问题。尤其对通讯软件而言,降低终端装置资源的消耗比重以及迅速地送出讯息是非常重要的,如果真人人偶无法克服这方面的问题,应用上会产生相当大的限制。
再者,真人人偶图像或影像为求立体与逼真,尺寸普遍远大于一般通讯软件中使用的贴图,当大量使用时,对于资料通信确实是个负担,更别说如果是大量传送以真人人偶制成的动画影像,其影响就更为明显。尤其在节庆或活动时通常是最多人使用真人人偶贴图或动画表达祝贺的时候,当每个真人人偶的尺寸都偏大,且传送需求密集时,非常容易造成网络阻塞。
又因为真人人偶是由传送端生成后直接送至接收端,所以必须要即时完成,当贴图或动画没有成功送出时,下一次就必须重新制作,当然也无法做到预设特定时间再送出贴图或动画的工作。
是以,即便真人人偶应用于通讯软件中相当有趣,但是因为必须由传送端生成真人人偶并制成贴图或动画,再传送至接收端,从而产生了消耗资源大、占用过多上传量以及无法在预设时间送出等问题,有需要提出一种解决方案。
发明内容
本发明的目的为提供一种传送人形玩偶图像或影像的通讯系统、通讯方法与服务器,透过传送端装置、接收端装置以及服务器间的通讯连接,传送端装置送出识别资料以及通讯请求到服务器,使服务器将预先储存的三维头像资料送至接收端装置来显示人形玩偶图像或影像,相较于以传送端装置生成整个人形玩偶图像或影像再传送给接收端装置而言,本发明可以显著地降低传送端装置到服务器间的资料通信量,也可以避免网络壅塞。再加上头像是预先储存于服务器的中,而非通讯时才制作,可以避免加重终端装置电力消耗,以及处理时间过长的问题。
另外,本发明也适合传送预设讯息。在一实施例中,因为三维头像已经被储存,服务器只需要识别传送端的身份,并依据传送端设定的条件,即可以在条件达成时,例如特定的时间,送出头像资料到接收端来形成人形玩偶图像或影像,可以解决由传送端直接传送整个图像或影像至接收端所产生资料过大而服务器无法暂存,导致无法传送预设讯息的问题。
在本发明中,所称的人形并非必要包括全身的外型,而是有包括到至少一部分即可。当然,在本发明实施例中,人形较佳是除了包括头部以外,还包括全身身形与服饰配件。在本发明不同实施例中,人形玩偶可以为与真人面容、身形比例完全相同或相似的玩偶,但不以此为限,其他面容、身形比例有所变化但仍可看出与真人神韵相似的玩偶亦属于人形玩偶的一种,例如头部比例略大而身体比例刻意缩小的大头公仔。
为达上述目的,本发明提供一种传送人形玩偶图像或影像的通讯系统,此通讯系统包括至少一传送端装置、至少一接收端装置以及一服务器。接收端装置储存一素体资料(dolldata)。服务器分别与传送端装置以及接收端装置通讯连接,并储存一三维头像资料,其中三维头像资料系对应传送端装置的使用者。服务器接收来自传送端装置的一识别资料以及一通讯请求。服务器依据通讯请求传送三维头像资料至接收端装置。其中,三维头像资料对应识别资料。接收端装置依据三维头像资料以及素体资料显示人形玩偶图像或影像。
为达上述目的,本发明提供一种传送人形玩偶图像或影像的通讯方法,此通讯方法系应用于一通讯系统。通讯系统包括至少一传送端装置、至少一接收端装置以及一服务器,且服务器分别与传送端装置以及接收端装置通讯连接。此通讯方法包括以下步骤:以接收端装置储存一素体资料;以服务器储存一三维头像资料,其中三维头像资料系对应传送端装置的使用者;以服务器接收来自传送端装置的一识别资料以及一通讯请求;以服务器依据通讯请求传送三维头像资料至接收端装置,其中三维头像资料对应识别资料;以及以接收端装置依据三维头像资料以及素体资料显示人形玩偶图像或影像。
为达上述目的,依据本发明的一种传送人形玩偶图像或影像的服务器,其分别与至少一传送端装置以及至少一接收端装置通讯连接。服务器包括一存储模组、一通讯模组以及一处理模组。处理模组分别与存储模组以及通讯模组通讯连接。存储模组储存一三维头像资料,其中三维头像资料系对应传送端装置的使用者。通讯模组接收来自传送端装置的一识别资料以及一通讯请求。处理模组依据通讯请求,透过通讯模组传送三维头像资料至接收端装置,其中三维头像资料对应识别资料。接收端装置依据三维头像资料以及素体资料显示人形玩偶图像或影像。
综上所述,若传送端装置每次需要传送人形玩偶图像或影像至接收端装置时,都必须要制作完成真人人形玩偶后再整个上传至服务器,再转传至接收端,必然会因为人形玩偶是三维格式且拟真度高导致资料尺寸过大而上传不易,或是消耗过多的通信量,衍生造成网络壅塞以及无法传送预设讯息等问题。加上为了制作真人人形玩偶,对于传送端装置的硬件需求、电力消耗以及处理时间都会造成严重负担。反观利用本发明的传送人形玩偶图像或影像的通讯系统、通讯方法与服务器,透过服务器预先储存了传送端装置的使用者的三维头像资料,所以在真正要进行图像或影像传送时,传送端装置只需要传送识别资料以及通讯请求至服务器,而服务器便可据以将对应的三维头像资料传送给接收端装置,从而与接收端装置预先储存的素体资料整合而显示出真人人形玩偶。透过本发明,大量减少了传送端装置因为使用人形玩偶进行通讯所需要的上传资料量,避免发生通讯延迟,尤其是在单位时间内有大量使用者使用的延迟情况,提升使用者使用的意愿。
附图说明
下面结合附图和具体实施方式来详细说明本发明;
图1为本发明一实施例的传输人形玩偶图像或影像的通讯系统的系统架构示意图。
图2A及2B为本发明一实施例中使用者于传送端装置进行注册程序时的显示示意图。
图3为本发明一实施例中从平面头像中撷取脸部特征点的结果的示意图。
图4为依据本发明一实施例选择出来的脸部模型的示意图。
图5为本发明一实施例中所示的通讯装置显示素体资料的头部部分时的示意图。
图6为图5所示的素体并标志特征点后的示意图。
图7为依据本发明一实施例进行素体资料调整时的示意图。
图8为依据本发明一实施例进行脸部模型与素体对位结合的示意图。
图9为依据本发明一实施例的传送端装置显示真人人形玩偶的示意图。
图10A为本发明一实施例中接收端装置在收到服务器通知资料后的显示示意图。
图10B为本发明一实施例中接收端装置显示传送端装置的使用者的人形玩偶图像的显示示意图。
图11A至11C分别为本发明一实施例中使用者于传送端装置操作APP选择三维构件时的显示示意图。
图12为依据本发明一实施例的传送人形玩偶图像或影像的通讯方法的步骤流程图。
其中:
1通讯系统2传送端装置
21脸型框22发型构件
23服饰构件24眼镜构件
3服务器31通讯模块
32存储模块33处理模块
4接收端装置41、42图标
5平面头像51脸部特征点
51固定单元52轨道
6脸部模型资料61脸部对位点
71素体对位点
F特征区
F1特征区特征点
I、Ia显示介面
P1人形玩偶图像
S1~S5步骤。
具体实施方式
以下将参照相关图式,说明本发明较佳实施例的传送人形玩偶图像或影像的通讯系统、方法以及服务器,其中相同的元件将以相同的符号说明的。
图1为本发明一实施例的传送人形玩偶图像或影像的通讯系统的系统架构示意图,如图1所示,本实施例的通讯系统1包括至少一传送端装置2、一服务器3以及至少一接收端装置4。通讯系统1较佳是可以同时包括多数个传送端装置2、一或多个服务器3(可形成服务器组,以加速图像或影像的处理及通信速度)以及多数个接收端装置4,以供多数个使用者使用,扩大用户族群。
其中,传送端装置2与接收端装置4可以为任何具有通讯功能的装置,例如但不限于智慧型手机、平板电脑、行动数位助理、具联网功能的照相机或录影机、穿戴式装置、智慧家电或笔记型电脑。但较佳地,传送端装置2以及接收端装置4均为可以下载并安装行动应用程序(Mobileapplication,简称APP)的装置。在本实施例中,传送端装置2以及接收端装置4均系以智慧型手机为例说明,并以3G或4G行动通讯技术,或Wi-Fi等无线通讯的方式,透过网络与服务器3通讯连接。
服务器3包括一通讯模组31、一存储模组32以及一处理模组33,通讯模组31与存储模组32分别与处理模组33通讯连接。在以下所举的实施例中,服务器3以处理模组33依据程式指令进行资料运算,并控制通讯模组31进行资料的传送与接收,以及自存储模组32储取处理所需要的指令与资料。通讯模组31可例如但不限于乙太网络介面,或光纤介面;存储模组32可以为单一一个硬盘,或透过网络连接起来的多个硬盘;处理模组33可以包括一个或多个中央处理器(CPU)。服务器3使用乙太网络介面的通讯模组31,连接电信服务业者系统,以透过网络与传送端装置2、接收端装置4通讯连接。
在本实施例中,使用者可以先利用传送端装置2自服务器3中下载一APP。使用者操作传送端装置2启动APP后,接着会被要求进行注册程序,以下先注册程序进行说明。
图2A及2B为本发明一实施例中使用者于传送端装置进行注册程序时的显示示意图。请参考图2A,首先传送端装置2会要求使用者自拍一张正面照片,以取得使用者的平面头像。在拍摄的时候,APP会提供一个脸型框21(如图2B所示),以协助使用者快速定位并取得较完整的面部影像。当拍摄完成后,所述平面头像会被上传到服务器3。当然,上述步骤也可以透过使用者上传一张正面照片达成。
当平面头像传送至服务器3后,服务器3的处理模组33可以依据演算法或软件程序辨识平面头像内的脸部特征,以形成一脸部特征资料。具体来说,处理模组33可以依据与影像辨识有关的演算法或软件程序辨识平面头像,以区别其中例如但不限于眉毛、五官以及脸型等具脸部特征代表性的特定区域,再以复数个点排列出所述区域的轮廓。接着,服务器3撷取所述点为脸部特征点,再将所述脸部特征点组成或再与其他内容共同组成脸部特征资料,便取得了脸部的特征。图3为本发明一实施例中从平面头像中撷取脸部特征点的结果的示意图。请参考图3,本实施例系以主动外观模型演算法(ActiveAppearanceModel,简称AAM)分析平面头像5,并取得总共八十七个脸部特征点51。此八十七个脸部特征点51也具有注册编号,且是与一组素体资料的特征区特征点51相对应(素体资料的说明请参见后述),以供将来进行调整素体脸部特征使用。为避免图面过于繁杂有碍理解,图3中未将八十七个脸部特征点51悉数标出。
另要补充说明的是,图2B与图3所示的平面头像虽然不似属于同一个使用者,然而其系为了清楚说明本实施例而选用较为清晰的图示,并不影响本发明所属技术领域中具有通常知识者理解实施内容。
当然,为提升主动外观模型演算法的功效,在使用前亦可以先经过一组或一组以上的参考影像进行训练。此外,为更进一步改善主动外观模型演算法,在撷取脸部特征点51的过程中,亦可以同时搭配模型预测,以及YCbCr色彩空间中肤色范围差异化的处理。
同时,服务器3的处理模组33还会依据图3所示的平面头像5进行辨识,以产生一个脸部模型资料。服务器3的存储模组32中可以储存大量的脸部模型,惟各模型间略有差异。服务器3的处理模组33可依据上述撷取到的脸部特征点51的集合的几何中心位置为参考标准,将脸部特征点51的集合划分成一个座标系,并依据中心位置与各脸部特征点51的距离与夹角进行相似度运算,从而于脸部模型资料库中找出相似度较高者。请参考图4,其为依据本发明一实施例选择出来的脸部模型的示意图。
脸部模型资料6包括复数个脸部对位点61。脸部对位点61系预设于各脸部模型资料中,且实质上脸部对位点61的排列会形成脸部模型的轮廓,如图4所示。
服务器3的存储模组32存有一素体资料。素体系指具有部分人体形框或轮廓的模型,例如头部模型,或本实施例的全身模型,图5为本发明一实施例中所示的通讯装置显示素体资料的头部部分时的示意图。素体资料可以包括完整的头部(如图5所示)、躯干与四肢,头部正面为脸部,脸部上具有眉毛、眼耳鼻口等五官。素体资料的建立可以由服务器3取得包括脸部信息的人体信息资料,透过三维建模的方式来达成。
图6为图5所示的素体并标志特征点后的示意图。请参考图6,本实施例的素体资料在建立时,定义眉毛、五官与脸型为特征区F,每一个特征区F内具有复数个特征区特征点F1。以眼睛为例,特征区特征点F1是依据眼睛周围轮廓排列,换言的,眼睛特征区F内的特征区特征点F1排列出眼睛的轮廓外型。每一个特征区特征点F1的空间座标位置分别被记录在素体资料中。其中,空间座标位置产生的方法可以是以脸部的中心点为参考座标,计算出每一特征区特征点F1的相对空间座标。此外,每一特征区特征点F1具有各自的注册编号,在本实施例中共有八十七个特征区特征点F1,分布于例如但不限于眉毛、眼睛、鼻子、嘴巴、耳朵等特征区F内,所以编号依序由一号编号至八十七号,以作为各点间的识别方式。惟须说明的是,为避免图面过于繁杂有碍理解,图6中并未将八十七个特征区特征点F1悉数标出。
接着,服务器3会依据脸部特征资料、脸部模型资料以及素体资料进行以下动作。图7为依据本发明一实施例进行素体资料调整时的示意图。请参考图7,首先,处理模组33会利用脸部特征资料中脸部特征点51与素体资料中特征区特征点F1间的注册编号关系,依据各个脸部特征点51的空间座标,分别修改各个特征区特征点F1的空间座标,结果会改变特征区特征点F1的排列,从而使得素体资料被显示时的像素位置发生变化,让素体的脸部,例如但不限于五官相对位置、表情等,看起来近似平面头像5的脸部。在本实施例的一个态样中,处理模组33是先计算注册编号相同的脸部特征点51与特征区特征点F1间的空间座标差异,再利用径向基底函数(Radialbasisfunction,RBF)网络。此种类似类神经网络的软件系统将差异用于修正素体资料,使得素体的脸部可以呈现出非常接近平面头像5的样貌。
图8为依据本发明一实施例进行脸部模型与素体对位结合的示意图。请同时参考图8与图4,因为脸部对位点61具有各自的注册编号,另外相对的,素体资料也具有素体对位点71且同样具有注册编号,因此处理模组33可依据二者对位点间的注册编号关系,将脸部模型与素体结合。上述步骤类似在素体上“贴脸皮”,也就是将挑选出来具有近似平面头像5脸型特征的脸部模型贴到素体上,让素体具有平面头像5的脸型特征,例如但不限于脸型宽窄、下巴尖阔等。
然而,因为素体的脸型是预设的标准脸型,当脸部模型与素体结合后必然会有存在差异。举例来说,当平面头像5是属于窄脸尖下巴时,脸部模型也是窄脸尖下巴,若将此种脸部模型贴在素体上,显示出来的三维头像会在两颊处发生素体凸出,但是下巴处脸部模型与素体间存有空隙的问题。此时,处理模组33需再依据脸部模型的脸部对位点61调整素体的素体对位点71。在本实施例中,处理模组33的调整是改变素体对位点71的空间座标,连带使得素体资料被显示时的像素位置发生变化,从而使得脸部模型与素体共同显示时,二者间不会有素体凸出,或脸部模型与素体间有空隙的问题。因为调整素体对位点71的空间座标可使素体对位点71向几何中心位置靠拢或远离,显示出来的效果如同素体被移除或增加了一部分。
接着,处理模组33会将经过脸部特征资料与脸部模型资料调整好的素体资料,与脸部模型资料合并,即可产生与使用者的平面头像5对应的三维头像。再进一步说明,也就是显示的三维头像中,五官、眉毛等是来自于被脸部特征资料调整过后的素体资料,而包覆脸部的脸皮部分是来自于脸部模型资料。在上述得到三维头像的过程中,可以由处理模组33将调整过后的素体资料以及脸部模型资料再进一步的结合,而形成结合后的单一资料;又或者,可以维持分开的二份资料的形式,但标记属于一个三维头像,本发明在此不限。
当然,上述二个调整素体资料的步骤并无固定的执行先后顺序,也就是先以脸部模型资料调整素体资料脸型,再以脸部特征资料调整素体五官等亦无不可。
在本发明其他实施例中,处理模组33可以在三维头像产生后,另外对三维头像进行贴图处理,以使三维头像的资料内容增加头发、眼镜、胡子或甚至其他服饰配件。贴图处理同样可以透过对位点辅助的方式来达成。具体来说,三维头像可以具有头发的对位点,而被选择的头发模组上也具有对位点,处理模组33将前者与后者的各点建立对应关系,并储存为一笔更新的三维头像资料。当然,其他如眼镜、胡子等部分的贴图处理亦可以照此方式进行。
接着,处理模组33将得到的三维头像资料以及接收来自传送端装置2的识别资料共同储存于存储模组32。其中,识别资料可以是传送端装置2的使用者的帐号。
另要特别说明的是,注册程序是要将使用者的识别资料与三维头像资料建立对应关系,并储存于存储模组32,是以,在其他实施例中,亦可以传送端装置2在下载APP同时取得素体资料,并取代服务器3直接在本地进行运算并得到三维头像资料,其后再直接上传给服务器3,让服务器3与识别资料共同储存,本发明在此不限。就效果而言,以服务器3处理进而得到三维头像的方式可以降低对本地端运算及资料通信量的需求(传送平面头像资料量低于传送三维头像资料);以传送端装置2处理的好处在于方便配合显示荧幕,即时显示让使用者判断是否三维头像是否与自己相似。
另外,使用者取得的平面头像也可以非本人,只要能在拍摄或上传的平面头像选择特定对象即可,达成一种模仿他人的趣味。
在本实施例中,当注册完成后并要传送人形玩偶的图像或影像时,使用者要进行传送程序。以下就传送程序进行说明。
图9为依据本发明一实施例的传送端装置显示真人人形玩偶的示意图。请参考图9,在本实施例中,当使用者欲传送自己的人形玩偶图像或影像至接收端装置4时,APP会先重新取得三维头像资料,并与预先取得的素体资料结合,以于显示介面I产生一个人形玩偶图像P1并显示于传送端装置2。其中,三维头像资料与素体资料结合时,传送端装置2只需要比对二笔资料中相应的对位点,而直接将素体资料中的头部替换或覆写(overwrite)为三维头像资料即可。
至于,三维头像资料可以是在注册程序完成后自服务器3取得,或是在注册程序中自己产生。而素体资料可以在注册程序时就依据使用者的条件或喜好设定完成,例如依据身高体重调整胖瘦,并附上预设的简单衣着。另外,在传送端装置2上显示一个人形玩偶图像系为了方便使用者进行视觉化操作,包括确认人形玩偶的相似度,并非必要动作,于此叙明。
接着,使用者选择要将此人形玩偶图像传送给何人。选择的方式可以直接连结到传送端装置2的联络人通讯录,或是在APP下建立的联络人通讯录。当选择后,传送端装置2向服务器送出要与特定对象通讯的通讯请求以及代表使用者的识别资料。如前所述,识别资料可以是使用者的帐号。而通讯请求可以包括特定对象的帐号以及传送人形玩偶图像的指令。
要特别说明的是,传送端装置2并不将人形玩偶图像传送至服务器3,再由服务器3传送至接收端装置4。在本实施例中,当服务器3接收到通讯请求后,服务器2会依据传送端装置2的识别资料,找出储存在存储模组32中对应使用者帐号的三维头像资料,也就是使用者在注册时已经建立的三维头像资料,再将所述三维头像资料送至接收端装置4。透过这种方式,可以显著地降低由传送端装置2上传的资料量,尤其是在节庆或活动时,可以避免同时有多个使用者要传送资料量大的三维图像所造成网络堵塞的问题,亦可以减轻传送端装置2的硬件负担。
在本实施例中,当接收端装置4接收到服务器2传送的资料后会进行显示程序。以下就显示程序进行说明。
图10A为本发明一实施例中接收端装置在收到服务器通知资料后的显示示意图。请参考图10A所示,在服务器3送出三维头像资料前,服务器3会先发送一个通知资料给接收端装置4,接收端装置4在收到后会于APP的显示介面Ia上显示出讯息进来的图标41。若接收端装置4的使用者点击或触碰所述图标41,则接收端装置4会送出一个反应资料给服务器3,表示愿意接收并显示人形玩偶图像,借此可以避免无兴趣观看的图像或影像消耗通信量的问题。当然,此步骤亦非必要,也可以无须接收端装置4的反应资料,由服务器3直接送出三维头像资料至接收端装置4。
图10B为本发明一实施例中接收端装置显示传送端装置的使用者的人形玩偶图像的显示示意图。由于接收端装置4在下载APP的同时,亦储存了素体资料,所以当接收端装置4接收到服务器3传送过来的三维头像资料后,可以进行素体资料的替换或覆写,其后再读取所述替换或覆写的素体资料便可于APP显示介面Ia中显示使用者的真人人形玩偶图像P2。其中,结合素体资料与三维头像资料的细节可参考前述传送端装置2在注册程序中的说明,两者大致相同,与此不再赘述。
本发明其他实施例是传送人形玩偶影像,其技术内容以及执行细节与上述传送图像大致相同,只是图像是为图片格式,而影像是为多帧图片连续显示而成的影片,可以透过手动或APP自动制作多张图像合并而成影像。
为更清楚表达传送端装置2的使用者传送人形玩偶图像P2的用意,传送端装置2的使用者可以在通讯请求的内容中附加文字或语音资料。换言的,使用者可以将欲配合人形玩偶图像P2的表达意思透过打字或录音的方式记录下来,再由服务器3转送至接收端装置4。请参考图10B所示,当接收端装置4接收到文字或语音资料时,可以与真人人形玩偶P2合并显示一个提示图标42。接收端装置4的使用者点击或触碰后,可以显示文字或播放录音内容。当然,如果是文字内容,亦可以直接与真人人形玩偶图像P2合并显示,而覆盖在上或附加在下作为注解,本发明在此不限。
在本发明另一实施例中,服务器3传送给接收端装置4的三维头像资料可以是脸部特征资料与脸部模型资料,而非已经处理完成的整个三维头像,再由接收端装置4据以对原本已经储存的素体资料进行调整,而让接收端装置4可以得到要显示的三维头像。借由此方式可以更进一步降低服务器3到接收端装置4的通信量。
在本发明另一实施例中,为增加趣味或使真人人形玩偶更接近本人风格,使用者可以选择与真人人形玩偶搭配的三维构件。具体来说,服务器3中可预先储存多数个三维构件资料,包括服饰资料、配件资料、装备资料或鞋靴资料,对应地,当使用者在下载或更新APP的同时,也在传送端装置4中储存了相同的三维构件资料。在送出识别资料与通讯请求前,APP可引导使用者进行多数个三维构件的选择,以增加或改变人形玩偶显示出来的样子。
图11A至11C分别为本发明一实施例中使用者于传送端装置操作APP选择三维构件时的显示示意图。请同时参考图11A至11C,传送端装置2会依据APP中的三维构件资料在介面I中显示出多种发型构件22、服饰构件23、眼镜构件24;而在其他实施例中,还会显示如不同造型的鞋靴,或运动或职业装备,如冲浪板或工具箱。在另外其他实施例中,下载APP时不会下载三维构件资料,而是执行APP时会向服务器3取得所述三维构件资料,或是可代表所述三维构件资料的平面图像,再显示于传送端装置2。
当使用者选择一或多个三维构件后,同样地,传送端装置2并不会向服务器3送出被选择的三维构件资料,反而是送出资料量较小的三维构件选择资料。具体来说,各三维构件都可以被编号,所以三维构件选择资料可以是一组编号,例如发型一号加上服饰一号加上眼镜七号。而当服务器3传送资料至接收端装置4时,除了传送三维头像资料外,还会传送依据三维构件选择资料而挑选出来的三维构件资料。是以,当接收端装置4取得三维头像资料、选择的三维构件资料以及原本预先储存的素体资料后,即可显示具有发型一号加上服饰一号加上眼镜七号的人形玩偶图像或影像。至于三维构件与人形玩偶的结合方式同样的借由标记线或对位点完成。举例来说,素体资料在颈部与腰部各有一标记线,当接收到上半身服饰的三维构件资料时,即可以透过替换或覆写的方式,改变默认的上半身成为有穿特定服饰的上半身,就效果上来看,如同更换衣服。
在本发明又一实施例中,使用者还可以传送有动作的真人人形玩偶影像至接收端装置4。其中,服务器3同样储存多种不同的动作,使用者选择动作的方式则与前述实施例中选择三维构件的方式大致相同,且传送端装置2传送到服务器3的是动作选择资料,例如第二号动作,而非整套的动作资料。至于当服务器3要传送给接收端装置4时则有所不同,此时会依据动作选择资料挑选对应的动作资料,再传送给接收端装置4。接收端装置4可以依据接收到的动作资料,以及依据三维头像资料以及素体资料所得到的人形玩偶,显示出人形玩偶做第二号动作的影像。其中,动作资料的内容可以是描述以时间为单位,各预设点如何移动以及移动多少。由于人形玩偶的各关节就对应所述预设点,所以在播放时可以显示出真人人形玩偶执行特定动作。
在本发明又一实施例中,使用者可以传送有背景的人形玩偶图像或影像至接收端装置4。其中,服务器3同样储存多种不同的背景,例如办公室内或海边,而使用者选择背景的方式则与前述实施例中选择三维构件或动作的方式大致相同,且传送端装置2传送到服务器的是背景选择资料,例如第三号背景,而非包括全部画素的背景图像。至于当服务器要传送给接收端装置4时则有所不同,此时会依据背景选择资料挑选对应的背景资料,再传送给接收端装置4。接收端装置4可以依据接收到的背景资料,以及依据三维头像资料以及素体资料所得到的真人人形玩偶,显示出在特定环境中的人形玩偶的图像或影像。
图12为依据本发明一实施例的传送人形玩偶图像或影像的通讯方法的步骤流程图。此通讯方法系应用于一通讯系统。此通讯系统包括至少一传送端装置、至少一接收端装置以及一服务器,且服务器分别与传送端装置以及接收端装置通讯连接。请参考图13,此通讯方法包括以下步骤:以接收端装置储存一素体资料(S1);以服务器储存一三维头像资料,三维头像资料系对应传送端装置的使用者(S2);以服务器接收来自传送端装置的一识别资料以及一通讯请求(S3);以服务器依据通讯请求传送三维头像资料至接收端装置,其中三维头像资料对应识别资料(S4);以及以接收端装置依据三维头像资料以及素体资料显示人形玩偶图像或影像(S5)。然而,本方法的技术内容与实施细节均与前述通讯系统所执行的技术内容与实施细节大致相同,可参考前述,于此不再赘述。
本发明另揭露一种用于制作真人人形玩偶的服务器,其分别与至少一传送端装置以及至少一接收端装置通讯连接。服务器包括一存储模组、一通讯模组以及一处理模组。处理模组分别与存储模组以及通讯模组电性连接。通讯模组接收来自传送端装置的一识别资料以及一通讯请求。处理模组依据通讯请求,透过通讯模组传送三维头像资料至接收端装置,以使接收端装置依据三维头像资料以及素体资料显示人形玩偶图像或影像。其中三维头像资料对应识别资料。然而,此服务器的技术内容与实施细节均与前述通讯系统所执行的技术内容与实施细节大致相同,可参考前述,于此不再赘述。
综上所述,若传送端装置每次需要传送人形玩偶图像或影像至接收端装置时,都必须要制作完成真人人形玩偶后再整个上传至服务器,再转传至接收端,必然会因为人形玩偶是三维格式且拟真度高导致资料尺寸过大而上传不易,或是消耗过多的通信量,衍生造成网络壅塞以及无法传送预设讯息等问题。加上为了制作真人人形玩偶,对于传送端装置的硬件需求、电力消耗以及处理时间都会造成严重负担。反观利用本发明的传送人形玩偶图像或影像的通讯系统、通讯方法与服务器,透过服务器预先储存了传送端装置的使用者的三维头像资料,所以在真正要进行图像或影像传送时,传送端装置只需要传送识别资料以及通讯请求至服务器,而服务器便可据以将对应的三维头像资料传送给接收端装置,从而与接收端装置预先储存的素体资料整合而显示出真人人形玩偶。透过本发明,大量减少了传送端装置因为使用人形玩偶进行通讯所需要的上传资料量,避免发生通讯延迟,尤其是在单位时间内有大量使用者使用的延迟情况,提升使用者使用的意愿。
综上所述,虽然本发明已用较佳实施例揭露如上,然其并非用以限定本发明,本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰,因此本发明的保护范围当视后附的申请专利范围所界定者为准。

Claims (10)

1.一种传送人形玩偶图像或影像的通讯系统,包括:
至少一传送端装置;
至少一接收端装置,储存一素体资料;以及
一服务器,分别与所述传送端装置以及所述接收端装置通讯连接,所述服务器储存一三维头像资料,所述三维头像资料系对应所述传送端装置的使用者,
其中,所述服务器接收来自所述传送端装置的一识别资料以及一通讯请求,所述服务器依据所述通讯请求传送所述三维头像资料至所述接收端装置,所述三维头像资料对应所述识别资料,且所述接收端装置依据所述三维头像资料、以及所述素体资料显示所述人形玩偶图像或影像。
2.如权利要求1所述的通讯系统,其特征在于,所述服务器储存多数个三维构件资料,所述服务器接收来自所述传送端装置的一三维构件选择资料,所述服务器依据所述通讯请求传送所述多数个三维构件资料的至少其中的一至所述接收端装置,被传送的所述三维构件资料对应所述三维构件选择资料,且所述接收端装置依据所述三维头像资料、被传送的所述三维构件资料以及所述素体资料显示所述人形玩偶图像或影像。
3.如权利要求1所述的通讯系统,其特征在于,所述服务器储存多数个动作资料,并依据来自所述传送端装置的一动作选择资料,传送所述多数个动作资料的至少其中的一至所述接收端装置。
4.如权利要求1所述的通讯系统,其特征在于,所述服务器储存多数个背景资料,并依据来自所述传送端装置的一背景选择资料,传送所述多数个背景资料的至少其中的一至所述接收端装置。
5.一种传送人形玩偶图像或影像的通讯方法,系应用于一通讯系统,所述通讯系统包括至少一传送端装置、至少一接收端装置以及一服务器,所述服务器分别与所述传送端装置以及所述接收端装置通讯连接,所述通讯方法包括以下步骤:
以所述接收端装置储存一素体资料;
以所述服务器储存一三维头像资料,所述三维头像资料系对应所述传送端装置的使用者;
以所述服务器接收来自所述传送端装置的一识别资料以及一通讯请求;
以所述服务器依据所述通讯请求传送所述三维头像资料至所述接收端装置,其中所述三维头像资料对应所述识别资料;以及
以所述接收端装置依据所述三维头像资料以及所述素体资料显示所述人形玩偶图像或影像。
6.如权利要求5所述的通讯方法,包括以下步骤:
以所述服务器储存多数个三维构件资料;
以所述服务器接收来自所述传送端装置的一三维构件选择资料;
以所述服务器依据所述通讯请求传送所述多数个三维构件资料的至少其中的一至所述接收端装置,其中被传送的所述三维构件资料对应所述三维构件选择资料;以及
以所述接收端装置依据所述三维头像资料、被传送的所述三维构件资料以及所述素体资料显示所述人形玩偶图像或影像。
7.如权利要求5所述的通讯方法,包括以下步骤:
以所述服务器储存多数个动作资料;以及
以所述服务器依据来自所述传送端装置的一动作选择资料,传送所述多数个动作资料的至少其中的一至所述接收端装置。
8.一种传送人形玩偶图像或影像的服务器,系分别与至少一传送端装置以及至少一接收端装置通讯连接,且包括:
一存储模组,储存一三维头像资料,所述三维头像资料系对应所述传送端装置的使用者,
一通讯模组;以及
一处理模组,分别与所述存储模组以及所述通讯模组通讯连接,
其中,所述通讯模组接收来自所述传送端装置的一识别资料以及一通讯请求,所述处理模组依据所述通讯请求,透过所述通讯模组传送所述三维头像资料至所述接收端装置,所述三维头像资料对应所述识别资料,以使所述接收端装置依据所述三维头像资料以及所述素体资料显示所述人形玩偶图像或影像。
9.如权利要求8所述的服务器,其特征在于,其中所述存储模组储存多数个三维构件资料,所述通讯模组接收来自所述传送端装置的一三维构件选择资料,所述处理模组依据所述通讯请求,透过所述通讯模组传送所述多数个三维构件资料的至少其中的一至所述接收端装置,被传送的所述三维构件资料对应所述三维构件选择资料,以使所述接收端装置依据所述三维头像资料、被传送的所述三维构件资料以及所述素体资料显示所述人形玩偶图像或影像。
10.如权利要求8所述的服务器,其特征在于,所述存储模组储存多数个动作资料,并所述处理模组依据来自所述传送端装置的一动作选择资料,透过所述通讯模组传送所述多数个动作资料的至少其中的一至所述接收端装置。
CN201610090493.1A 2016-02-18 2016-02-18 传送人形玩偶图像或影像的通讯系统、通讯方法与服务器 Pending CN105516785A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610090493.1A CN105516785A (zh) 2016-02-18 2016-02-18 传送人形玩偶图像或影像的通讯系统、通讯方法与服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610090493.1A CN105516785A (zh) 2016-02-18 2016-02-18 传送人形玩偶图像或影像的通讯系统、通讯方法与服务器

Publications (1)

Publication Number Publication Date
CN105516785A true CN105516785A (zh) 2016-04-20

Family

ID=55724372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610090493.1A Pending CN105516785A (zh) 2016-02-18 2016-02-18 传送人形玩偶图像或影像的通讯系统、通讯方法与服务器

Country Status (1)

Country Link
CN (1) CN105516785A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791442A (zh) * 2016-05-13 2016-07-20 启云科技股份有限公司 传送排程人形玩偶图像和信息的传送端装置、服务器、系统和方法
CN110045817A (zh) * 2019-01-14 2019-07-23 启云科技股份有限公司 采用虚拟实境技术的交互式摄影系统
CN111046704A (zh) * 2018-10-12 2020-04-21 杭州海康威视数字技术股份有限公司 存储身份识别信息的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992708A (zh) * 2005-12-31 2007-07-04 腾讯科技(深圳)有限公司 网络通信中的三维虚拟形象显示方法
CN201805487U (zh) * 2009-06-26 2011-04-20 国立政治大学 影像处理装置以及具影像处理的电子装置
CN102571624A (zh) * 2010-12-20 2012-07-11 英属维京群岛商速位互动股份有限公司 实时通信系统及相关的计算器可读介质
CN104115503A (zh) * 2011-12-29 2014-10-22 英特尔公司 使用化身的通信
CN104378620A (zh) * 2014-11-24 2015-02-25 联想(北京)有限公司 一种图像处理方法及电子设备
US20150123967A1 (en) * 2013-11-01 2015-05-07 Microsoft Corporation Generating an avatar from real time image data
US20160027200A1 (en) * 2014-07-28 2016-01-28 Adobe Systems Incorporated Automatically determining correspondences between three-dimensional models

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992708A (zh) * 2005-12-31 2007-07-04 腾讯科技(深圳)有限公司 网络通信中的三维虚拟形象显示方法
CN201805487U (zh) * 2009-06-26 2011-04-20 国立政治大学 影像处理装置以及具影像处理的电子装置
CN102571624A (zh) * 2010-12-20 2012-07-11 英属维京群岛商速位互动股份有限公司 实时通信系统及相关的计算器可读介质
CN104115503A (zh) * 2011-12-29 2014-10-22 英特尔公司 使用化身的通信
US20150123967A1 (en) * 2013-11-01 2015-05-07 Microsoft Corporation Generating an avatar from real time image data
US20160027200A1 (en) * 2014-07-28 2016-01-28 Adobe Systems Incorporated Automatically determining correspondences between three-dimensional models
CN104378620A (zh) * 2014-11-24 2015-02-25 联想(北京)有限公司 一种图像处理方法及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
丁向民: "《数字多媒体技术导论》", 31 December 2012 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791442A (zh) * 2016-05-13 2016-07-20 启云科技股份有限公司 传送排程人形玩偶图像和信息的传送端装置、服务器、系统和方法
CN111046704A (zh) * 2018-10-12 2020-04-21 杭州海康威视数字技术股份有限公司 存储身份识别信息的方法和装置
CN111046704B (zh) * 2018-10-12 2023-05-09 杭州海康威视数字技术股份有限公司 存储身份识别信息的方法和装置
CN110045817A (zh) * 2019-01-14 2019-07-23 启云科技股份有限公司 采用虚拟实境技术的交互式摄影系统

Similar Documents

Publication Publication Date Title
US20230394775A1 (en) Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same
US11443462B2 (en) Method and apparatus for generating cartoon face image, and computer storage medium
US10609334B2 (en) Group video communication method and network device
CN111652121B (zh) 一种表情迁移模型的训练方法、表情迁移的方法及装置
US20210295483A1 (en) Image fusion method, model training method, and related apparatuses
US9639974B2 (en) Image transformation systems and methods
CN106355629A (zh) 一种虚拟形象的配置方法及装置
CN110503703A (zh) 用于生成图像的方法和装置
CN108933723B (zh) 消息展示方法、装置及终端
CN111432267B (zh) 视频调整方法、装置、电子设备及存储介质
CN110148191A (zh) 视频虚拟表情生成方法、装置及计算机可读存储介质
CN105516785A (zh) 传送人形玩偶图像或影像的通讯系统、通讯方法与服务器
CN105264884B (zh) 显示装置及其控制方法
CN113426129A (zh) 自定义角色的相貌调整方法、装置、终端和存储介质
CN112449098B (zh) 一种拍摄方法、装置、终端及存储介质
WO2023077965A1 (zh) 虚拟宠物的外观编辑方法、装置、终端及存储介质
US20160240015A1 (en) Three-dimensional avatar generating system, device and method thereof
US11562548B2 (en) True size eyewear in real time
CN112446821B (zh) 一种图像处理方法、装置及电子设备
KR20010082779A (ko) 이미지 데이터를 이용한 아바타 제작 방법 및 아바타를이용한 에이전트 시스템
CN104715505A (zh) 三维头像产生系统及其装置、产生方法
CN204791190U (zh) 三维头像产生系统及其装置
CN205754433U (zh) 传送排程人形玩偶图像和信息的传送端装置、服务器和系统
CN114067025A (zh) 图像生成方法和装置、存储介质及电子设备
Hou et al. A Digitized You in My Eye: A Perceptually Driven Spatial Communication Prototype for XR

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160420