CN111669497A - 一种移动端自拍时音量驱动贴纸效果的方法 - Google Patents

一种移动端自拍时音量驱动贴纸效果的方法 Download PDF

Info

Publication number
CN111669497A
CN111669497A CN202010534368.1A CN202010534368A CN111669497A CN 111669497 A CN111669497 A CN 111669497A CN 202010534368 A CN202010534368 A CN 202010534368A CN 111669497 A CN111669497 A CN 111669497A
Authority
CN
China
Prior art keywords
sticker
volume
face
reading
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010534368.1A
Other languages
English (en)
Inventor
程龙
冯一飞
熊永春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Quwei Science & Technology Co ltd
Original Assignee
Hangzhou Quwei Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Quwei Science & Technology Co ltd filed Critical Hangzhou Quwei Science & Technology Co ltd
Priority to CN202010534368.1A priority Critical patent/CN111669497A/zh
Publication of CN111669497A publication Critical patent/CN111669497A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Abstract

本发明公开了一种移动端自拍时音量驱动贴纸效果的方法。它具体包括如下步骤：将输入的音频数据解码，读取PCM数据；处理PCM数据解析音量相关信息；应用音量驱动贴纸；读取相机录制的一帧画面，并识别人脸，如果存在人脸，则进入到下一步；否则直接显示该画面；获得人脸特征点，并计算出贴纸原始的旋转、位移、缩放特征；通过解析的音量信息计算出系数k，根据系数k重新计算贴纸的旋转、位移、缩放，用新计算出来的旋转、位移、缩放更新显示效果；绘制并显示画面，循环上述来处理录制的视频。本发明的有益效果是：可以使得人脸贴纸的效果更佳丰富，随着背景音乐节律运动；不同的音乐带来不同的效果，有区分度。

Description

一种移动端自拍时音量驱动贴纸效果的方法
技术领域
本发明涉及图像处理相关技术领域，尤其是指一种移动端自拍时音量驱动贴纸效果的方法。
背景技术
现有人脸贴纸渲染一般流程：1.读取出相机采集的画面A；2.识别出人脸特征点位置；3.根据特征点位置和模板信息计算人脸贴纸图像的旋转平移缩放等参数；4.绘制贴纸到画面A，并显示；5.如录制则对画面进行编码，输出到文件。现有的人脸贴纸，动态效果固定，某些变化不能和背景音乐形成良好共振。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种根据音乐区分不同动作的移动端自拍时音量驱动贴纸效果的方法。
为了实现上述目的，本发明采用以下技术方案：
一种移动端自拍时音量驱动贴纸效果的方法，具体包括如下步骤：
(1)将输入的音频数据解码，读取PCM数据；
(2)处理PCM数据解析音量相关信息；
(3)应用音量驱动贴纸，其中贴纸是设计师根据人脸设计的一组贴在人脸上的效果的集合；
(4)读取相机录制的一帧画面，并识别人脸，如果存在人脸，则进入到下一步；否则直接显示该画面；
(5)获得人脸特征点，并计算出贴纸原始的旋转、位移、缩放特征；
(6)通过步骤(2)解析的音量信息计算出系数k，根据系数k重新计算步骤(5)中贴纸的旋转、位移、缩放，用新计算出来的旋转、位移、缩放更新显示效果；
(7)绘制并显示画面，循环步骤(3)到步骤(7)来处理录制的视频。
本发明中当用户选择音频文件之后，APP后台就开始解析其音量相关特性，并保存到一个临时文件中；当绑定的贴纸模板存在相关音量驱动的配置的时候，进行线性映射，改变相关贴纸显示参数的数值，实现变化；随着音乐播放时间的推移，更新这些值。这样可以使得人脸贴纸的效果更佳丰富，随着背景音乐节律运动；不同的音乐带来不同的效果，有区分度。
作为优选，在步骤(1)中，读取单通道PCM数据，如果双通道需要提取其中的一个通道作为计算。
作为优选，在步骤(2)中，具体操作方法为：按固定某个步长读取PCM数据，比较每个采样的数据的大小，获取平均值，代表这一段的音量，将解析成的音量数据保存在本地，并记录平均值。
作为优选，在步骤(5)中，具体操作方法为：获得人脸101个特征点，特征点是描述人脸在相关的位置的数据，每隔固定步长节点，读取音量均值amp_value。
作为优选，在步骤(6)中，具体操作方法为：按照配置文件中的映射相关信息，计算出最终值，假设某个系数的值域为[a,b]，最终系数k＝(b-a)*amp_value+a，利用最终系数k对贴纸的绘制参数进行更新。
本发明的有益效果是：可以使得人脸贴纸的效果更佳丰富，随着背景音乐节律运动；不同的音乐带来不同的效果，有区分度。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所述的实施例中，一种移动端自拍时音量驱动贴纸效果的方法，具体包括如下步骤：
(1)将输入的音频数据解码，读取PCM数据；读取单通道PCM数据，如果双通道需要提取其中的一个通道作为计算。
(2)处理PCM数据解析音量相关信息；具体操作方法为：按固定某个步长读取PCM数据，比如10ms一个单位；比较每个采样的数据的大小，获取平均值，代表这一段的音量，将解析成的音量数据保存在本地，并记录平均值。如果PCM数据是双声道，需要进行分离操作，假如左声道buf为A，比较A中每个采样的数据的大小，获取最大值，代表这一段的音量。
(3)应用音量驱动贴纸，其中贴纸是设计师根据人脸设计的一组贴在人脸上的效果的集合；
(4)读取相机录制的一帧画面，并识别人脸，如果存在人脸，则进入到下一步；否则直接显示该画面；
(5)获得人脸特征点，并计算出贴纸原始的旋转、位移、缩放特征；具体操作方法为：获得人脸101个特征点，特征点是描述人脸在相关的位置的数据，每隔固定步长10ms节点，读取音量均值amp_value。
(6)通过步骤(2)解析的音量信息计算出系数k，根据系数k重新计算步骤(5)中贴纸的旋转、位移、缩放，用新计算出来的旋转、位移、缩放更新显示效果；具体操作方法为：按照配置文件中的映射相关信息，计算出最终值，假设某个系数的值域为[a,b]，最终系数k＝(b-a)*amp_value+a，利用最终系数k对贴纸的绘制参数进行更新。例如缩放系数的值域为[1,2]，amp_value的值为0.5，那么最终的缩放系数就是1.5。
(7)绘制并显示画面，循环步骤(3)到步骤(7)来处理录制的视频。
本发明中当用户选择音频文件之后，APP后台就开始解析其音量相关特性，并保存到一个临时文件中；当绑定的贴纸模板存在相关音量驱动的配置的时候，进行线性映射，改变相关贴纸显示参数的数值，实现变化；随着音乐播放时间的推移，更新这些值。这样可以使得人脸贴纸的效果更佳丰富，随着背景音乐节律运动；不同的音乐带来不同的效果，有区分度。

Claims (5)

1.一种移动端自拍时音量驱动贴纸效果的方法，其特征是，具体包括如下步骤：
(1)将输入的音频数据解码，读取PCM数据；
(2)处理PCM数据解析音量相关信息；
(3)应用音量驱动贴纸，其中贴纸是设计师根据人脸设计的一组贴在人脸上的效果的集合；
(4)读取相机录制的一帧画面，并识别人脸，如果存在人脸，则进入到下一步；否则直接显示该画面；
(5)获得人脸特征点，并计算出贴纸原始的旋转、位移、缩放特征；
(6)通过步骤(2)解析的音量信息计算出系数k，根据系数k重新计算步骤(5)中贴纸的旋转、位移、缩放，用新计算出来的旋转、位移、缩放更新显示效果；
(7)绘制并显示画面，循环步骤(3)到步骤(7)来处理录制的视频。
2.根据权利要求1所述的一种移动端自拍时音量驱动贴纸效果的方法，其特征是，在步骤(1)中，读取单通道PCM数据，如果双通道需要提取其中的一个通道作为计算。
3.根据权利要求1或2所述的一种移动端自拍时音量驱动贴纸效果的方法，其特征是，在步骤(2)中，具体操作方法为：按固定某个步长读取PCM数据，比较每个采样的数据的大小，获取平均值，代表这一段的音量，将解析成的音量数据保存在本地，并记录平均值。
4.根据权利要求3所述的一种移动端自拍时音量驱动贴纸效果的方法，其特征是，在步骤(5)中，具体操作方法为：获得人脸101个特征点，特征点是描述人脸在相关的位置的数据，每隔固定步长节点，读取音量均值amp_value。
5.根据权利要求4所述的一种移动端自拍时音量驱动贴纸效果的方法，其特征是，在步骤(6)中，具体操作方法为：按照配置文件中的映射相关信息，计算出最终值，假设某个系数的值域为[a,b]，最终系数k＝(b-a)*amp_value+a，利用最终系数k对贴纸的绘制参数进行更新。
CN202010534368.1A 2020-06-12 2020-06-12 一种移动端自拍时音量驱动贴纸效果的方法 Pending CN111669497A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010534368.1A CN111669497A (zh) 2020-06-12 2020-06-12 一种移动端自拍时音量驱动贴纸效果的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010534368.1A CN111669497A (zh) 2020-06-12 2020-06-12 一种移动端自拍时音量驱动贴纸效果的方法

Publications (1)

Publication Number Publication Date
CN111669497A true CN111669497A (zh) 2020-09-15

Family

ID=72387241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010534368.1A Pending CN111669497A (zh) 2020-06-12 2020-06-12 一种移动端自拍时音量驱动贴纸效果的方法

Country Status (1)

Country Link
CN (1) CN111669497A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101375327A (zh) * 2006-01-25 2009-02-25 索尼株式会社 节拍提取设备和节拍提取方法
CN102064832A (zh) * 2010-11-11 2011-05-18 广东欧珀移动通信有限公司 一种随音乐变化振动效果的实现方法
CN107195310A (zh) * 2017-03-05 2017-09-22 杭州趣维科技有限公司 一种声音驱动粒子特效的视频处理方法
CN108877838A (zh) * 2018-07-17 2018-11-23 黑盒子科技（北京）有限公司 音乐特效匹配方法及装置
CN109462776A (zh) * 2018-11-29 2019-03-12 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN110072047A (zh) * 2019-01-25 2019-07-30 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101375327A (zh) * 2006-01-25 2009-02-25 索尼株式会社 节拍提取设备和节拍提取方法
CN102064832A (zh) * 2010-11-11 2011-05-18 广东欧珀移动通信有限公司 一种随音乐变化振动效果的实现方法
CN107195310A (zh) * 2017-03-05 2017-09-22 杭州趣维科技有限公司 一种声音驱动粒子特效的视频处理方法
CN108877838A (zh) * 2018-07-17 2018-11-23 黑盒子科技（北京）有限公司 音乐特效匹配方法及装置
CN109462776A (zh) * 2018-11-29 2019-03-12 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN110072047A (zh) * 2019-01-25 2019-07-30 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置

Similar Documents

Publication Publication Date Title
US8271872B2 (en) Composite audio waveforms with precision alignment guides
JP4370811B2 (ja) 音声表示出力制御装置、および音声表示出力制御処理プログラム
EP1635575A1 (en) System and method for embedding scene change information in a video bitstream
US7706663B2 (en) Apparatus and method for embedding content information in a video bit stream
EP2079234A2 (en) Video searching apparatus, editing apparatus, video searching method, and program
US20020122659A1 (en) Video and audio information processing
US7424333B2 (en) Audio fidelity meter
EP2966645B1 (en) Method, apparatus and computer program product for editing media content
JP4987943B2 (ja) 電子機器及び画像表示方法
EP1337116A3 (en) Format converting apparatus, method and program for recording information.
CN111491203B (zh) 视频回放方法、装置、设备和计算机可读存储介质
KR960035612A (ko) 비디오 정보기록 재생장치와 그 방법 및 비디오테이프
US8559796B2 (en) Video recorder apparatus for recording moving picture file in detachable recording medium
EP1503382A3 (en) Digital AV information recording medium, and recording/playback method and recording/playback apparatus using the medium
US7289963B2 (en) Sound-reproducing apparatus and high frequency interpolation-processing method
JP5341523B2 (ja) メタデータを生成する方法及び装置
CN109858005A (zh) 基于语音识别的文档更新方法、装置、设备及存储介质
CN111669497A (zh) 一种移动端自拍时音量驱动贴纸效果的方法
CN104637496B (zh) 计算机系统及音频比对方法
CN104575542A (zh) 一种实现音频区域播放的方法及装置
US20050117475A1 (en) Recording device, playback device, and contents transmission method
JP4357852B2 (ja) 時系列信号の圧縮解析装置および変換装置
CN109495786B (zh) 视频处理参数信息的预配置方法、装置及电子设备
CN106101573A (zh) 一种视频标注的锚定及匹配方法
KR100745250B1 (ko) 오디오/비디오 동기용 멀티미디어 파일 작성 프로그램을기록한 컴퓨터로 읽을 수 있는 기록매체 및 오디오/비디오동조화 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200915

RJ01 Rejection of invention patent application after publication