CN107277642B - 一种基于视频通话数据流处理实现趣味贴图的方法 - Google Patents

一种基于视频通话数据流处理实现趣味贴图的方法 Download PDF

Info

Publication number
CN107277642B
CN107277642B CN201710606007.1A CN201710606007A CN107277642B CN 107277642 B CN107277642 B CN 107277642B CN 201710606007 A CN201710606007 A CN 201710606007A CN 107277642 B CN107277642 B CN 107277642B
Authority
CN
China
Prior art keywords
button
video call
sub
mapping
data stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710606007.1A
Other languages
English (en)
Other versions
CN107277642A (zh
Inventor
黄子恺
李新良
张果
杨秋平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yingwang Technology (Shandong) Co.,Ltd.
Original Assignee
Shenzhen Xolo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xolo Technology Co ltd filed Critical Shenzhen Xolo Technology Co ltd
Priority to CN201710606007.1A priority Critical patent/CN107277642B/zh
Publication of CN107277642A publication Critical patent/CN107277642A/zh
Application granted granted Critical
Publication of CN107277642B publication Critical patent/CN107277642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于视频通话数据流处理实现趣味贴图的方法，当启动第三方应用时，判断此时相机是否打开，相机打开时，弹出贴图按钮，同时搜索已有的贴图资源；点击贴图按钮，展示所有搜索到的贴图资源的子按钮；点击所述子按钮，把所述子按钮参数、对应的贴图资源路径参数下传至系统底层；系统底层获取这些参数，同时根据子按钮的开关状态来决定是否截取视频通话影像数据流；判断视频通话影像数据流中人脸检测是否为连续帧，如果不是，则直接显示。如果是，进行格式转换，然后通过GPU叠加转换格式后的视频通话影像数据流和贴图，再显示。本发明可以在本系统运行的任意视频通话应用及相机应用提供趣味贴图功能，提高资源利用率。

Description

一种基于视频通话数据流处理实现趣味贴图的方法
技术领域
本发明涉及移动终端的操作系统，尤其涉及在系统中基于视频通话数据流的处理，对所有有需要的应用程序增加趣味贴图的方法。
背景技术
随着移动终端功能的不断升级，现有的移动终端已经成为了人们日常生活的必备品之一了。例如，人们经常会拿手机或者ipad进行视频聊天，该方式是现代社会远距离的人与人之间沟通交流的重要桥梁。
为了增加视频聊天中的趣味性及装饰性，有部分第三方应用在其视频聊天功能中增加了趣味贴图功能，例如：使用QQ来进行视频聊天时，有一个功能按钮叫特效互动，点击该功能按钮，就可以在视频中对应的人脸上贴图，例如给人脸打上腮红或者戴上兔子耳朵等。但是这种第三方视频聊天功能中的趣味应用开发都有一定局限性，仅支持自家应用的视频聊天，无法提供给其他不具备该功能的应用在视频聊天时使用，譬如，利用苹果自带的FaceTime聊天时，由于FaceTime并没有相应的功能，因此就不可以使用趣味贴图。这样造成了资源应用的局限性。
因此，如何提供一种全系统可用的趣味贴图方法是业界亟待解决的技术问题。
发明内容
本发明为了解决上述现有技术中存在的技术问题，提出一种基于视频通话数据流处理实现趣味贴图的方法，包括如下步骤：
步骤1，当用户启动预先收录在内的第三方应用时，判断此时相机是否打开，若相机未打开，则执行步骤2，若相机打开，则执行步骤3；
步骤2，持续监控相机是否开启直至所述第三方应用关闭，一旦相机打开，则转入步骤3；
步骤3，弹出贴图按钮，同时搜索已有的贴图资源；
步骤4，用户点击贴图按钮，展示所有搜索到的贴图资源的子按钮；
步骤5，用户点击所述子按钮，把所述子按钮状态开关参数、对应的贴图资源路径参数下传至系统底层；
步骤6，系统底层获取所述子按钮状态开关参数、对应的贴图资源路径参数，同时根据子按钮的开关状态来决定是否截取视频通话影像数据流；
步骤7，判断视频通话影像数据流中人脸检测是否为连续帧，如果是，转至下一步；如果不是，则不进行贴图处理，直接系统默认显示。
步骤8，将不同格式的视频通话影像数据流转换为RGBA格式，通过GPU叠加转换格式后的视频通话影像数据流和贴图，然后再把GPU叠加处理后的数据进行格式转换成系统底层所支持格式的影像数据流，再进行显示。
本发明基于系统底层，来实现趣味贴图，可以在系统中实现任何第三方应用的视频通话和第三方应用相机趣味贴图功能，使用范围广且资源复用率高，并且在底层时，通过人脸检测连续帧的方法，使视频通话时用户手机晃动预览更流畅，用户体验效果更佳。
附图说明
图1为本发明贴图子按钮显示流程图。
图2为本发明视频通话底层数据流截取处理图。
图3为本发明贴图加载条件流程图。
具体实施方式
下面结合附图及示例对本发明的原理及方法进行详细说明。
微信是人们日常沟通交流的工具之一，现有的其他软件如QQ等都有趣味贴图功能，但是微信使用虽然广泛，但是并没有贴图功能，且QQ贴图无法应用于微信贴图，因此下面以微信视频通话为例，进行说明。
如图1至图3所示，目前本发明的方法将市面上使用较广泛的视频通话应用均收录在内，包括FaceTime、微信等。当然用户也可以选择其习惯的第三方应用添加至收录目录内，还可以对已收录的应用进行移除。
当用户打开微信，通过在当前进程设置监听来判断此时相机是否打开，若相机未打开，持续监控相机是否开启直至所述第三方应用关闭，若相机打开，获取当前打开的Camera实例对像，并创建Toast浮动窗口显示贴图按钮，同时搜索已有的贴图资源，并把搜索到的贴图资源路径保存下来，同步在贴图按钮中将作为子按钮显示所搜索到的贴图资源。弹出来的贴图按钮为可移动的浮窗按钮，这样不会因为各种第三方应用的设计不同，而挡住应用原有的功能键。而搜索的贴图资源不仅仅是系统内目前存在的贴图资源，同时还包括网络贴图资源，例如某贴图开发方放在云中的共享贴图资源等。
当用户点击贴图按钮，将会展示所有搜索到的贴图资源的子按钮，譬如兔子耳朵、胡子等等子按钮。这些子按钮有开和关两种状态，分别标记为1和0。子按钮的初始状态为关状态0，当子按钮的初始状态为关状态，此时不截取视频通话影像数据流，用户点击所述子按钮后，子按钮将转换开关状态，若子按钮转为开状态，截取视频通话影像数据流。当用户点击子按钮，会把子按钮的开或关状态，和用户所点击的贴纸资源路径以字符串的形式，通过系统自带的SetKey方法，ApplyParamters下传到系统底层代码。
在系统底层通过GetKey方法，解析字符串，获取子按钮的开、关状态和字符串指令路径下的贴纸资源。
当子按钮的开关状态为0时，不截取视频通话影像数据流，数据流不做任何处理直接按照系统默认显示，不带任何贴图效果。
当子按钮的开关状态为1时，截断正在视频通话时影像数据流，获取当前数据流的相关参数: 缓冲类型bufType、格式format、宽width、高height、跨度stride、缓冲大小bufSize及数据流YUV virtAddr，通过对YUV数据的分析，判断当前一帧影像数据是否有检测到人脸，且定义检测到人脸变量为mfaceDetectedCount,如果检测到人脸，mfaceDetectedCount+1; 如果没有检测到人脸，mfaceDetectedCount赋值为 0，通过多帧影像数据的连续检测判断，mfaceDetectedCount累加到N数值时（N为变数，可自定义），即判断人脸是连续稳定的人脸帧，然后开启贴图的渲染显示。
根据不同格式的视频通话影像数据流，进行格式转换，将不同格式的视频通话影像数据流转换为RGBA格式(OPENGL底层必须格式)，根据下传的贴图资源路径下的贴图特效包，进行GPU各种渲染技术的效果叠加，把处理完毕的影像数据流返回之前截取时视频通话影像数据流通道上，传至系统显示贴图效果，即当前视频通话时贴图显示效果。
本发明基于系统底层代码，对底层视频聊天时影像数据流的截取特殊处理，兼容数据格式种类较多，数据流处理较为前端，且不针对具体某个应用，适用于所有第三方应用的视频通话功能，保证了功能可靠性和适用范围广度性。对于没有贴图功能的第三方应用提供了一种超级趣味性的视频聊天和用户体验。
以上具体实施例仅用以举例说明本发明的结构，本领域的普通技术人员在本发明的构思下可以做出多种变形和变化，这些变形和变化均包括在本发明的保护范围之内。

Claims (5)

1.一种基于视频通话数据流处理实现趣味贴图的方法，其特征在于，包括如下步骤：
步骤1，当用户启动预先收录在内的第三方应用时，判断此时相机是否打开，若相机未打开，则执行步骤2，若相机打开，则执行步骤3；
步骤2，持续监控相机是否开启直至所述第三方应用关闭，一旦相机打开，则转入步骤3；
步骤3，弹出贴图按钮，同时搜索已有的贴图资源；
步骤4，用户点击贴图按钮，展示所有搜索到的贴图资源的子按钮；
步骤5，用户点击所述子按钮，把所述子按钮开关状态参数、对应的贴图资源路径参数下传至系统底层；
步骤6，系统底层获取所述子按钮开关状态参数、对应的贴图资源路径参数，同时根据子按钮的开关状态来决定是否截取视频通话影像数据流；
步骤7，判断视频通话影像数据流中人脸检测是否为连续帧，如果是，转至下一步骤；如果不是，则直接系统默认显示；
步骤8，将不同格式的视频通话影像数据流转换为RGBA格式，通过GPU叠加转换格式后的视频通话影像数据流和贴图，然后再把GPU叠加处理后的数据进行格式转换成系统底层所支持格式的影像数据流，再进行显示。
2.如权利要求1所述的基于视频通话数据流处理实现趣味贴图的方法，其特征在于，所述步骤3中，已有的贴图资源包括系统内的贴图资源及网络贴图资源。
3.如权利要求1所述的基于视频通话数据流处理实现趣味贴图的方法，其特征在于，所述步骤4中，当已展示了所述子按钮时，户点击贴图按钮，将收起所有所述子按钮，仅显示贴图按钮。
4.如权利要求1所述的基于视频通话数据流处理实现趣味贴图的方法，其特征在于，所述步骤6中，子按钮的初始状态为关状态，此时不截取视频通话影像数据流，用户点击所述子按钮后，子按钮将转换开关状态，若子按钮转为开状态，截取视频通话影像数据流。
5.如权利要求1所述的基于视频通话数据流处理实现趣味贴图的方法，其特征在于，所述贴图按钮为可移动的浮窗按钮。
CN201710606007.1A 2017-07-24 2017-07-24 一种基于视频通话数据流处理实现趣味贴图的方法 Active CN107277642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710606007.1A CN107277642B (zh) 2017-07-24 2017-07-24 一种基于视频通话数据流处理实现趣味贴图的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710606007.1A CN107277642B (zh) 2017-07-24 2017-07-24 一种基于视频通话数据流处理实现趣味贴图的方法

Publications (2)

Publication Number Publication Date
CN107277642A CN107277642A (zh) 2017-10-20
CN107277642B true CN107277642B (zh) 2020-09-15

Family

ID=60078054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710606007.1A Active CN107277642B (zh) 2017-07-24 2017-07-24 一种基于视频通话数据流处理实现趣味贴图的方法

Country Status (1)

Country Link
CN (1) CN107277642B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986042A (zh) * 2018-06-15 2018-12-11 Oppo广东移动通信有限公司 贴纸共享方法及装置
CN109033393B (zh) * 2018-07-31 2021-06-01 Oppo广东移动通信有限公司 贴纸处理方法、装置、存储介质及电子设备
CN109379623A (zh) * 2018-11-08 2019-02-22 北京微播视界科技有限公司 视频内容生成方法、装置、计算机设备和存储介质
CN110865754B (zh) * 2019-11-11 2020-09-22 北京达佳互联信息技术有限公司 信息展示方法、装置及终端
CN113556500B (zh) * 2020-04-24 2022-05-13 华为技术有限公司 一种视频叠加方法、装置及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436668A (zh) * 2011-09-05 2012-05-02 上海大学 京剧脸谱自动化妆方法
CN103945161A (zh) * 2014-04-14 2014-07-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN104079863A (zh) * 2014-06-27 2014-10-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN105578108A (zh) * 2014-11-05 2016-05-11 爱唯秀股份有限公司 电子运算设备、视讯通话系统与其运行方法
CN105812708A (zh) * 2016-03-18 2016-07-27 严俊涛 视频通话方法及系统
CN106303690A (zh) * 2015-05-27 2017-01-04 腾讯科技（深圳）有限公司 一种视频处理方法及装置
CN106778706A (zh) * 2017-02-08 2017-05-31 康梅 一种基于表情识别的实时假面视频展示方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9013536B2 (en) * 2013-03-13 2015-04-21 Futurewei Technologies, Inc. Augmented video calls on mobile devices

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436668A (zh) * 2011-09-05 2012-05-02 上海大学 京剧脸谱自动化妆方法
CN103945161A (zh) * 2014-04-14 2014-07-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN104079863A (zh) * 2014-06-27 2014-10-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN105578108A (zh) * 2014-11-05 2016-05-11 爱唯秀股份有限公司 电子运算设备、视讯通话系统与其运行方法
CN106303690A (zh) * 2015-05-27 2017-01-04 腾讯科技（深圳）有限公司 一种视频处理方法及装置
CN105812708A (zh) * 2016-03-18 2016-07-27 严俊涛 视频通话方法及系统
CN106778706A (zh) * 2017-02-08 2017-05-31 康梅 一种基于表情识别的实时假面视频展示方法

Also Published As

Publication number Publication date
CN107277642A (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
CN107277642B (zh) 一种基于视频通话数据流处理实现趣味贴图的方法
US11880628B2 (en) Screen mirroring display method and electronic device
US11907604B2 (en) Screen mirroring display method using layer orders of target controls and electronic device
CN110377250B (zh) 一种投屏场景下的触控方法及电子设备
CN107770618B (zh) 一种图像处理方法、装置及存储介质
EP4060475A1 (en) Multi-screen cooperation method and system, and electronic device
CN109542287B (zh) 消息提醒方法、装置、移动终端及存储介质
CN108377157B (zh) 一种Wi-Fi天线的控制方法及装置
CN112423076B (zh) 一种音频投屏同步控制方法、设备及计算机可读存储介质
CN108881781B (zh) 视频通话过程中分辨率的确定方法及装置
CN103488371A (zh) 一种在移动终端上制作动画的方法及移动终端
WO2023030099A1 (zh) 跨设备交互的方法、装置、投屏系统及终端
CN114071197A (zh) 投屏数据处理方法和装置
CN104391628B (zh) 进程切换方法及装置
CN112114929A (zh) 显示设备及其图像显示方法
CN110851350A (zh) 网页界面白屏监测的方法及装置
WO2019033800A1 (zh) 终端视频通话显示控制方法、装置、终端及存储介质
CN113518243A (zh) 一种图像处理方法及装置
CN104702701A (zh) 一种数据分享方法及装置
CN106020846A (zh) 桌面工具显示方法及装置
US11194598B2 (en) Information display method, terminal and storage medium
CN111666075B (zh) 一种多设备交互的方法及系统
CN105897567B (zh) 一种信息共享的方法及装置
CN114647390A (zh) 一种增强的屏幕共享方法和系统、电子设备
CN105589646A (zh) 一种截屏方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 518000 702, Hengyu center, Dengliang Road, Nanshan District, Shenzhen, Guangdong

Patentee after: INONE TECHNOLOGY (SHENZHEN) Co.,Ltd.

Address before: 518000 702, Hengyu center, Dengliang Road, Nanshan District, Shenzhen, Guangdong

Patentee before: XOLO TECHNOLOGY (SHENZHEN) Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 253000 No. 6596, Dongfanghong East Road, Yuanqiao Town, economic and Technological Development Zone, De Zhou City, Shandong Province (e-n-303-46, Dezhou Zhongyuan science and technology innovation and entrepreneurship Park)

Patentee after: Yingwang Technology (Shandong) Co.,Ltd.

Address before: 518000 702, Hengyu center, Dengliang Road, Nanshan District, Shenzhen, Guangdong

Patentee before: INONE TECHNOLOGY (SHENZHEN) Co.,Ltd.

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method of realizing interesting mapping based on video call data stream processing

Effective date of registration: 20220119

Granted publication date: 20200915

Pledgee: Dezhou Rural Commercial Bank Co.,Ltd.

Pledgor: Yingwang Technology (Shandong) Co.,Ltd.

Registration number: Y2022980000641

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230112

Granted publication date: 20200915

Pledgee: Dezhou Rural Commercial Bank Co.,Ltd.

Pledgor: Yingwang Technology (Shandong) Co.,Ltd.

Registration number: Y2022980000641

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method to realize interesting map based on video call data stream processing

Effective date of registration: 20230131

Granted publication date: 20200915

Pledgee: Dezhou Rural Commercial Bank Co.,Ltd.

Pledgor: Yingwang Technology (Shandong) Co.,Ltd.

Registration number: Y2023980031755