CN103442137A - 一种在手机通话中查看对方虚拟人脸的方法 - Google Patents
一种在手机通话中查看对方虚拟人脸的方法 Download PDFInfo
- Publication number
- CN103442137A CN103442137A CN2013103744292A CN201310374429A CN103442137A CN 103442137 A CN103442137 A CN 103442137A CN 2013103744292 A CN2013103744292 A CN 2013103744292A CN 201310374429 A CN201310374429 A CN 201310374429A CN 103442137 A CN103442137 A CN 103442137A
- Authority
- CN
- China
- Prior art keywords
- face
- mobile phone
- visual human
- phone communication
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明提供一种在手机通话中查看对方虚拟人脸的方法，首先创建基于带有脸部轮廓的虚拟人脸模型数据库，将通话过程中摄像头实时拍摄的数字图像经过处理后得到的五官面部表情坐标值导入带有脸部轮廓的虚拟人脸模型中合成虚拟人脸，借助移动通讯网络将虚拟人脸实时的传送至另一方，实现边通话边查看对方的面部表情变化。本发明的在手机通话中查看对方虚拟人脸的方法相对于现有的3G网络可视通话方法具有费用低、运行速度快的优点。
Description
技术领域
本发明涉及一种查看虚拟人脸的方法，尤其涉及一种在手机通话中查看对方虚拟人脸的方法，用户在通话过程中能看到对方的面部表情和情绪。
背景技术
随着科学技术的发展，使得身处异地的民众可以通过手机或固定电话进行语音通信，虽远隔万里而不觉遥远。目前的语音通信方式，有使用手机的移动通信、基于PSTN（公共交换电话网络）的语音通信以及基于电脑的语音通信。其中，移动通信已经发展到第四代，一部小巧的3G手机就可以实现远程可视通话，通话的双方可以在电话显示屏中查看到对方的视频图像，携带方便，图像传输质量高，但是现在使用的可视频通话手机查看对方画面的方法是以付出高昂的费用为代价的，同时，需要通话双方的手机都有3G卡并且需要在3G网络信号覆盖区域才能实现可视通话，不能全面普及，另外一方面，3G网络传输的是人整个面部视频画面，流量大，通讯费用高，系统运行慢。因此，亟需一种新的能应用在手机中实现通话时实时查看对方面部表情的方法，能够同时具备使用费用低、运行速度快的特点。
发明内容
为了解决背景技术中的不足，本发明的目的在于克服背景技术的缺陷，提供一种使用费用低、运行速度快的能在手机通话中查看对方虚拟人脸的方法。
为达到上述目的，本发明采用的技术方案为：一种在手机通话中查看对方虚拟人脸的方法，其特征在于包括以下步骤：
S1创建基于人脸部图像的数据库；
S2对数据库中的图像进行分类；
S3手机服务器基于3D建模手法对分类后的图像建模，得到虚拟人脸模型；
S4创建基于虚拟人脸模型的数据库；
S5主叫手机用户发起电话呼叫，被叫手机用户应答，建立通话；
S6主叫手机用户启动摄像头，拍摄脸部数字图像并发送至手机服务器；
S7服务器对接收到的脸部数字图像进行五官特征提取，包括位置特征和与之对应的表情特征；
S8对提取的五官特征基于统计手法获取五官表情坐标；
S9主叫手机用户从虚拟人脸模型数据库中挑选满意的虚拟人脸模型；
S10将五官表情坐标导入步骤S10中的挑选的满意虚拟人脸模型中并匹配合成虚拟人脸；
S11主叫手机用户主动查看合成的虚拟人脸是否满意，如果满意则基于移动电话网络发送至被叫用户手机，被叫用户可以接收并查看主叫用户的面部表情；不满意则返回步骤S9。
本发明一个较佳实施例中，进一步包括所述S3中3D建模的步骤为：
2.1）对脸部图像进行特征定位，并提取显示脸部轮廓的特征数据，绘制脸部轮廓；
2.2）对脸部轮廓做表面深度恢复，获得带有脸颊和额头部分信息的3D人脸轮廓；
2.3）修复3D人脸轮廓，得到真实感虚拟人脸模型。
本发明一个较佳实施例中，进一步包括所述S7用统计手法提取五官表情特征的步骤为：
3.1）对所述脸部数字图像进行预处理，消除背景，滤除图像中过高噪声；
3.2）将预处理后的脸部数字图像分割成若干个区域，并对每个区域的表情特征进行统计；
3.3）用一组坐标点来定义一个表情特征，用一系列表示表情特征的坐标点的集合来定义所述区域的表情特征坐标。
本发明一个较佳实施例中，进一步包括步骤3.3）中选取23~40个区域。
本发明一个较佳实施例中，进一步包括所述区域包括至少包括眉毛、眼睛、鼻子、嘴巴、下巴。
本发明一个较佳实施例中，进一步包括所述统计手法基于Census算法编程。
本发明的有益之处在于：本发明的一种在手机通话中查看对方虚拟人脸的方法通过服务器将通话者的面部表情与模型库中的虚拟人脸模型进行匹配合成得到虚拟人脸，并将合成后的虚拟人脸在通话过程中发送到另一手机中，相对于现有的3G网络可视通话具有费用低、运行速度快的优点。
说明书附图
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明的在手机通话中查看对方虚拟人脸的方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合实施例及实施例附图对本发明作进一步详细的说明。
如图1所示，本发明的在手机通话中查看对方虚拟人脸的方法主要执行以下步骤：
S1、创建基于人脸部图像的数据库，该数据库是手机服务器中自带并预先存储的，用户也可以根据自己的喜好从网络中下载得到。
S2对数据库中的图像进行分类，可以根据图像的性别、年龄、肤色等特征进行二进制编码分类，如“0”定义为男性，“1”定义为女性，二进制编码的组合分别来定义年龄和肤色，如“000”定义为1-10岁，“001”代表11-20岁，依次类推，或者“00”代表黄色皮肤，“01”代表黑色皮肤。
S3手机服务器基于3D建模手法对分类后的图像建模，得到虚拟人脸模型；
其中，3D建模手法得到虚拟人脸模型的步骤为：
2.1）对脸部图像进行特征定位，并提取显示脸部轮廓的特征数据，绘制脸部轮廓；
2.2）对脸部轮廓做表面深度恢复，获得带有脸颊和额头部分信息的3D人脸轮廓。
2.3）修复3D人脸轮廓，得到真实感虚拟人脸模型。
S4创建基于虚拟人脸模型的数据库，将虚拟人脸模型储存子啊数据库中，供用户使用。
S5主叫手机用户发起电话呼叫，被叫手机用户应答，建立通话；
S6主叫手机用户启动摄像头，拍摄脸部数字图像并发送至手机服务器；
S7服务器对接收到的脸部数字图像进行五官特征提取，包括五官位置特征和与之对应的表情特征；
S8对提取的五官特征基于统计手法获取五官表情坐标；
其中，用统计手法基于Census算法编程提取五官表情特征的步骤为：
3.1）对所述脸部数字图像进行预处理，消除背景，滤除图像中过高噪声；
3.2）将预处理后的脸部数字图像选取眉毛、眼睛、鼻子、嘴巴、下巴五个部位，将每个部位分割成23~40个区域，并对每个区域的表情特征进行统计；
3.3）用一组坐标点来定义一个表情特征，用一系列表示表情特征的坐标点的集合来定义所述区域的表情特征坐标。
S9主叫手机用户从虚拟人脸模型数据库中挑选满意的虚拟人脸模型；
S10将五官表情坐标导入步骤S10中的挑选的满意虚拟人脸模型中并匹配合成虚拟人脸；
S11主叫手机用户主动查看合成的虚拟人脸是否满意，如果满意则基于移动电话网络发送至被叫用户手机，被叫用户可以接收并查看主叫用户的面部表情；不满意则返回步骤S9。
本发明的用于查看虚拟人物表情的通话方法，优化了传输画面类型，通过服务器将通话者的面部表情与模型库中的虚拟人脸模型进行匹配合成得到虚拟人脸，并将合成后的虚拟人脸在通话过程中发送到另一手机中，使得通话过程中的双方都可以边通话边看到对方的面部表情变化，仅仅选取面部五官表情变化，相对于现有的3G网络可视电话提高了运行速度，同时，兼容性好，对是否有3G网络覆盖没有要求，只需一部普通的能通话的手机就可以实现，具有费用低的优点，各种群体都可以使用。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其它的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化均应为等效的置换方式，都包含在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。
Claims (6)
1. 一种在手机通话中查看对方虚拟人脸的方法，其特征在于包括以下步骤：
S1创建基于人脸部图像的数据库；
S2对数据库中的图像进行分类；
S3手机服务器基于3D建模手法对分类后的图像建模，得到虚拟人脸模型；
S4创建基于虚拟人脸模型的数据库；
S5主叫手机用户发起电话呼叫，被叫手机用户应答，建立通话；
S6主叫手机用户启动摄像头，拍摄脸部数字图像并发送至手机服务器；
S7服务器对接收到的脸部数字图像进行五官特征提取，包括位置特征和与之对应的表情特征；
S8对提取的五官特征基于统计手法获取五官表情坐标；
S9主叫手机用户从虚拟人脸模型数据库中挑选满意的虚拟人脸模型；
S10将五官表情坐标导入步骤S10中的挑选的满意虚拟人脸模型中并匹配合成虚拟人脸；
S11主叫手机用户主动查看合成的虚拟人脸是否满意，如果满意则基于移动电话网络发送至被叫用户手机，被叫用户可以接收并查看主叫用户的面部表情；不满意则返回步骤S9。
2.根据权利要求1所述的一种在手机通话中查看对方虚拟人脸的方法，其特征在于：所述S3中3D建模的步骤为：
2.1）对脸部图像进行特征定位，并提取显示脸部轮廓的特征数据，绘制脸部轮廓；
2.2）对脸部轮廓做表面深度恢复，获得带有脸颊和额头部分信息的3D人脸轮廓；
2.3）修复3D人脸轮廓，得到真实感虚拟人脸模型。
3.根据权利要求1所述的一种在手机通话中查看对方虚拟人脸的方法，其特征在于：所述S7用统计手法提取五官表情特征的步骤为：
3.1）对所述脸部数字图像进行预处理，消除背景，滤除图像中过高噪声；
3.2）将预处理后的脸部数字图像分割成若干个区域，并对每个区域的表情特征进行统计；
3.3）用一组坐标点来定义一个表情特征，用一系列表示表情特征的坐标点的集合来定义所述区域的表情特征坐标。
4.根据权利要求3所述的一种在手机通话中查看对方虚拟人脸的方法，其特征在于：步骤3.3）中选取23~40个区域。
5.根据权利要求4所述的一种在手机通话中查看对方虚拟人脸的方法，其特征在于：所述区域包括至少包括眉毛、眼睛、鼻子、嘴巴、下巴。
6.根据权利要求3所述的一种在手机通话中查看对方虚拟人脸的方法，其特征在于：所述统计手法基于Census算法编程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310374429.2A CN103442137B (zh) | 2013-08-26 | 2013-08-26 | 一种在手机通话中查看对方虚拟人脸的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310374429.2A CN103442137B (zh) | 2013-08-26 | 2013-08-26 | 一种在手机通话中查看对方虚拟人脸的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103442137A true CN103442137A (zh) | 2013-12-11 |
| CN103442137B CN103442137B (zh) | 2016-04-13 |
Family
ID=49695799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310374429.2A Expired - Fee Related CN103442137B (zh) | 2013-08-26 | 2013-08-26 | 一种在手机通话中查看对方虚拟人脸的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103442137B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104735389A (zh) * | 2013-12-23 | 2015-06-24 | 联想(北京)有限公司 | 信息处理方法和信息处理设备 |
| CN105357171A (zh) * | 2014-08-21 | 2016-02-24 | 中兴通讯股份有限公司 | 通话的方法及终端 |
| CN106649712A (zh) * | 2016-12-20 | 2017-05-10 | 北京小米移动软件有限公司 | 输入表情信息的方法及装置 |
| CN107025679A (zh) * | 2016-01-29 | 2017-08-08 | 掌赢信息科技（上海）有限公司 | 一种2d虚拟模型的驱动方法及设备 |
| CN107025678A (zh) * | 2016-01-29 | 2017-08-08 | 掌赢信息科技（上海）有限公司 | 一种3d虚拟模型的驱动方法及装置 |
| CN107911644A (zh) * | 2017-12-04 | 2018-04-13 | 吕庆祥 | 基于虚拟人脸表情进行视频通话的方法及装置 |
| CN108271058A (zh) * | 2018-02-02 | 2018-07-10 | 优酷网络技术（北京）有限公司 | 视频互动方法、用户客户端、服务器及存储介质 |
| WO2018137455A1 (zh) * | 2017-01-25 | 2018-08-02 | 迈吉客科技（北京）有限公司 | 一种图像互动方法及互动装置 |
| CN109858382A (zh) * | 2019-01-04 | 2019-06-07 | 广东智媒云图科技股份有限公司 | 一种根据口述内容绘制人像的方法 |
| CN110460719A (zh) * | 2019-07-23 | 2019-11-15 | 维沃移动通信有限公司 | 一种语音通话方法及移动终端 |
| CN111641798A (zh) * | 2020-06-15 | 2020-09-08 | 黑龙江科技大学 | 一种视频通信方法及装置 |
| CN113099150A (zh) * | 2020-01-08 | 2021-07-09 | 华为技术有限公司 | 图像处理的方法、设备及系统 |
| CN115797556A (zh) * | 2022-11-22 | 2023-03-14 | 灵瞳智能科技(北京)有限公司 | 一种虚拟数字人面部轮廓3d重建装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040130614A1 (en) * | 2002-12-30 | 2004-07-08 | Valliath George T. | Method, system and apparatus for telepresence communications |
| CN101997958A (zh) * | 2009-08-27 | 2011-03-30 | 杭州聚贝软件科技有限公司 | 在话机终端上利用单张照片合成虚拟人(Avatar)的方法 |
| CN102271241A (zh) * | 2011-09-02 | 2011-12-07 | 北京邮电大学 | 一种基于面部表情/动作识别的图像通信方法及系统 |
| CN102364965A (zh) * | 2011-10-05 | 2012-02-29 | 辜进荣 | 手机通信信息精化显示方法 |
| CN103218843A (zh) * | 2013-03-15 | 2013-07-24 | 苏州跨界软件科技有限公司 | 虚拟人物通讯系统和方法 |
-
2013
- 2013-08-26 CN CN201310374429.2A patent/CN103442137B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040130614A1 (en) * | 2002-12-30 | 2004-07-08 | Valliath George T. | Method, system and apparatus for telepresence communications |
| CN101997958A (zh) * | 2009-08-27 | 2011-03-30 | 杭州聚贝软件科技有限公司 | 在话机终端上利用单张照片合成虚拟人(Avatar)的方法 |
| CN102271241A (zh) * | 2011-09-02 | 2011-12-07 | 北京邮电大学 | 一种基于面部表情/动作识别的图像通信方法及系统 |
| CN102364965A (zh) * | 2011-10-05 | 2012-02-29 | 辜进荣 | 手机通信信息精化显示方法 |
| CN103218843A (zh) * | 2013-03-15 | 2013-07-24 | 苏州跨界软件科技有限公司 | 虚拟人物通讯系统和方法 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104735389A (zh) * | 2013-12-23 | 2015-06-24 | 联想(北京)有限公司 | 信息处理方法和信息处理设备 |
| CN104735389B (zh) * | 2013-12-23 | 2018-08-31 | 联想(北京)有限公司 | 信息处理方法和信息处理设备 |
| CN105357171A (zh) * | 2014-08-21 | 2016-02-24 | 中兴通讯股份有限公司 | 通话的方法及终端 |
| CN107025678A (zh) * | 2016-01-29 | 2017-08-08 | 掌赢信息科技（上海）有限公司 | 一种3d虚拟模型的驱动方法及装置 |
| CN107025679A (zh) * | 2016-01-29 | 2017-08-08 | 掌赢信息科技（上海）有限公司 | 一种2d虚拟模型的驱动方法及设备 |
| CN106649712A (zh) * | 2016-12-20 | 2017-05-10 | 北京小米移动软件有限公司 | 输入表情信息的方法及装置 |
| CN106649712B (zh) * | 2016-12-20 | 2020-03-03 | 北京小米移动软件有限公司 | 输入表情信息的方法及装置 |
| WO2018137455A1 (zh) * | 2017-01-25 | 2018-08-02 | 迈吉客科技（北京）有限公司 | 一种图像互动方法及互动装置 |
| CN107911644A (zh) * | 2017-12-04 | 2018-04-13 | 吕庆祥 | 基于虚拟人脸表情进行视频通话的方法及装置 |
| CN107911644B (zh) * | 2017-12-04 | 2020-05-08 | 吕庆祥 | 基于虚拟人脸表情进行视频通话的方法及装置 |
| CN108271058A (zh) * | 2018-02-02 | 2018-07-10 | 优酷网络技术（北京）有限公司 | 视频互动方法、用户客户端、服务器及存储介质 |
| CN109858382A (zh) * | 2019-01-04 | 2019-06-07 | 广东智媒云图科技股份有限公司 | 一种根据口述内容绘制人像的方法 |
| CN110460719A (zh) * | 2019-07-23 | 2019-11-15 | 维沃移动通信有限公司 | 一种语音通话方法及移动终端 |
| CN113099150A (zh) * | 2020-01-08 | 2021-07-09 | 华为技术有限公司 | 图像处理的方法、设备及系统 |
| CN111641798A (zh) * | 2020-06-15 | 2020-09-08 | 黑龙江科技大学 | 一种视频通信方法及装置 |
| CN115797556A (zh) * | 2022-11-22 | 2023-03-14 | 灵瞳智能科技(北京)有限公司 | 一种虚拟数字人面部轮廓3d重建装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103442137B (zh) | 2016-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103442137B (zh) | 一种在手机通话中查看对方虚拟人脸的方法 | |
| CN103369289B (zh) | 一种视频模拟形象的通信方法和装置 | |
| CN107370981A (zh) | 一种视频会议中参会人员的信息提示方法和装置 | |
| CN104424624B (zh) | 一种图像合成的优化方法及装置 | |
| CN111553864B (zh) | 图像修复方法及装置、电子设备和存储介质 | |
| US20090016617A1 (en) | Sender dependent messaging viewer | |
| CN102271241A (zh) | 一种基于面部表情/动作识别的图像通信方法及系统 | |
| CN104850213A (zh) | 可穿戴电子设备和用于可穿戴电子设备的信息处理方法 | |
| CN108347578A (zh) | 视频通话中视频图像的处理方法及装置 | |
| CN107465885A (zh) | 一种实现视频通讯的方法和装置 | |
| CN113194254A (zh) | 图像拍摄方法及装置、电子设备和存储介质 | |
| CN109117778A (zh) | 信息处理方法、装置、服务器及存储介质 | |
| CN114007099A (zh) | 一种视频处理方法、装置和用于视频处理的装置 | |
| CN108337465A (zh) | 视频处理方法和装置 | |
| KR20210076373A (ko) | 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체 | |
| CN110689546A (zh) | 个性化头像的生成方法、装置、设备及存储介质 | |
| CN113453027B (zh) | 直播视频、虚拟上妆的图像处理方法、装置及电子设备 | |
| CN112839223A (zh) | 图像压缩方法、装置、存储介质及电子设备 | |
| US11776201B2 (en) | Video lighting using depth and virtual lights | |
| CN102364965A (zh) | 手机通信信息精化显示方法 | |
| CN105719335B (zh) | 一种地图图像渲染方法、装置以及车载终端 | |
| CN113887498A (zh) | 人脸识别方法、装置、设备和存储介质 | |
| CN102238362A (zh) | 一种社区网络中图像传输方法及系统 | |
| CN103634557A (zh) | 视频通话时用于个人保护的影像处理方法及装置 | |
| KR100958595B1 (ko) | 영상통신단말기의 영상 합성 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160413 Termination date: 20210826 |