CN110072047B - 图像形变的控制方法、装置和硬件装置 - Google Patents

图像形变的控制方法、装置和硬件装置 Download PDF

Info

Publication number
CN110072047B
CN110072047B CN201910073610.7A CN201910073610A CN110072047B CN 110072047 B CN110072047 B CN 110072047B CN 201910073610 A CN201910073610 A CN 201910073610A CN 110072047 B CN110072047 B CN 110072047B
Authority
CN
China
Prior art keywords
image
deformation
audio file
acquiring
attribute value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910073610.7A
Other languages
English (en)
Other versions
CN110072047A (zh
Inventor
沈言浩
范旭
倪光耀
杨辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
Douyin Vision Beijing Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201910073610.7A priority Critical patent/CN110072047B/zh
Publication of CN110072047A publication Critical patent/CN110072047A/zh
Priority to BR112021014591-5A priority patent/BR112021014591A2/pt
Priority to JP2021542563A priority patent/JP7209851B2/ja
Priority to KR1020217024178A priority patent/KR102491773B1/ko
Priority to PCT/CN2020/070729 priority patent/WO2020151491A1/zh
Priority to EP20745555.1A priority patent/EP3917131A4/en
Application granted granted Critical
Publication of CN110072047B publication Critical patent/CN110072047B/zh
Priority to US17/384,189 priority patent/US11409794B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/081—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)

Abstract

本公开公开一种图像形变的控制方法、装置和硬件装置。其中，该图像形变的控制方法包括：获取待处理图像；获取音频文件；播放所述音频文件，获取当前时间节点所对应的所述音频文件的第一属性值；根据所述第一属性值确定所述图像形变的幅度；根据所述图像形变的幅度，对所述待处理图像进行形变处。本公开实施例的图像形变的控制方法，通过音频文件的属性值来控制图像形变的幅度，解决了现有技术中无法灵活生成形变特效的技术问题。

Description

图像形变的控制方法、装置和硬件装置
技术领域
本公开涉及图像处理领域，特别是涉及一种图像形变的控制方法、装置和硬件装置。
背景技术
随着计算机技术的发展，智能终端的应用范围得到了广泛的提高，例如可以通过智能终端听音乐、玩游戏、上网聊天和拍照等。对于智能终端的拍照技术来说，其拍照像素已经达到千万像素以上，具有较高的清晰度和媲美专业相机的拍照效果。
目前在采用智能终端进行拍照时，不仅可以使用出厂时内置的拍照软件实现传统功能的拍照效果，还可以通过从网络端下载应用程序(Application，简称为：APP)来实现具有附加功能的拍照效果，例如可以实现暗光检测、美颜相机和超级像素等功能的APP。智能终端的特效功能通常包括肤色调整、磨皮、大眼和瘦脸等处理效果，能对图像中已识别出的所有人脸进行某种程度的特效处理。
然而目前的特效功能，只能预先设置好特效的效果，并合成到视频或者图像中，如果需要修改特效，则需要重新制作特效后再合成到视频或者图像中，使得特效的生成很不灵活。
发明内容
根据本公开的一个方面，提供以下技术方案：
一种图像形变的控制方法，包括：获取待处理图像；获取音频文件；播放所述音频文件，获取当前时间节点所对应的所述音频文件的第一属性值；根据所述第一属性值确定所述图像形变的幅度；根据所述图像形变的幅度，对所述待处理图像进行形变处理。
进一步的，所述获取待处理图像，包括：获取视频图像，将所述视频图像中的视频帧图像作为待处理图像。
进一步的，所述获取音频文件，包括：获取所述视频图像所包含的音频文件。
进一步的，所述播放所述音频文件，获取当前时间节点所对应的所述音频文件的第一属性值，包括：播放所述音频文件；获取所述视频图像当前所播放的视频帧图像；根据所述视频帧图像计算当前时间节点；根据所述当前时间节点获取所述音频文件的第一属性值。
进一步的，所述获取音频文件，包括：获取音频文件并对所述音频文件进行解析，得到所述音频文件中每个时间节点与音频文件的第一属性值的对应关系表。
进一步的，所述播放所述音频文件，获取当前时间节点所对应的所述音频文件的第一属性值，包括：播放所述音频文件；获取所述音频文件当前的播放时间节点；根据所述对应关系表获取与当前的播放时间节点对应的第一属性值。
进一步的，所述根据所述第一属性值确定所述图像形变的幅度，包括：获取第一属性值与所述图像形变幅度的对应关系；根据所述第一属性值和所述对应关系计算所述图像形变幅度。
进一步的，所述根据所述图像形变的幅度，对所述待处理图像进行形变处理，包括：获取形变的类型；根据所述图像形变的类型以及图像形变的幅度，对所述待处理图像进行形变处理。
进一步的，所述获取形变的类型，包括：获取当前图像的状态序列号；根据所述状态序列号获取形变的类型。
进一步的，所述获取当前图像的状态序列号，包括：获取图像形变的幅度；当所述图像形变幅度大于第一阈值，设置形变位的值为真，并获取当前图像的状态序列号；当所述图像形变幅度小于第一阈值且所述形变位的值为真，则将当前图像的状态序列号加1得到第一状态序列号；将所述第一状态序列号除以所述状态序列号的总数得到的余数作为所述当前图像的状态序列号。
根据本公开的另一个方面，还提供以下技术方案：
一种图像形变的控制装置，包括：
图像获取模块，用于获取待处理图像；
音频文件获取模块，用于获取音频文件；
第一属性值获取模块，用于播放所述音频文件，获取当前时间节点所对应的所述音频文件的第一属性值；
形变幅度获取模块，用于根据所述第一属性值确定所述图像形变的幅度；
形变处理模块，用于根据所述图像形变的幅度，对所述待处理图像进行形变处理。
进一步的，所述图像获取模块，包括：
视频图像获取模块，用于获取视频图像，将所述视频图像中的视频帧图像作为待处理图像。
进一步的，所述音频文件获取模块，还用于：获取所述视频图像所包含的音频文件。
进一步的，所述第一属性值获取模块，包括：
第一音频播放模块，用于播放所述音频文件；
视频帧图像获取模块，用于获取所述视频图像当前所播放的视频帧图像；
第一时间节点获取模块，用于根据所述视频帧图像计算当前时间节点；
第一第一属性值获取模块，用于根据所述当前时间节点获取所述音频文件的第一属性值。
进一步的，所述音频文件获取模块，包括：
音频文件解析模块，用于获取音频文件并对所述音频文件进行解析，得到所述音频文件中每个时间节点与音频文件的第一属性值的对应关系表。
进一步的，所述第一属性值获取模块，包括：
第二时间节点获取模块，用于获取所述音频当前的播放时间节点；
第二第一属性值获取模块，根据所述对应关系表获取与当前的播放时间节点对应的第一属性值。
进一步的，所述形变幅度获取模块，包括：
对应关系获取模块，获取第一属性值与所述图像形变幅度的对应关系；
形变幅度计算模块，用于根据所述第一属性值和所述对应关系计算所述图像形变幅度。
进一步的，所述形变处理模块，包括：
形变类型获取模块，用于获取形变的类型；
第一形变处理模块，用于根据所述图像形变的类型以及图像形变的幅度，对所述待处理图像进行形变处理。
进一步的，所述形变类型获取模块，包括：
状态序列号获取模块，用于对待处理图像进行分割，得到待处理的目标对象的轮廓区域；
形变类型获取子模块，用于根据所述状态序列号获取形变的类型。
进一步的，所述状态序列号获取模块，还包括：
第一幅度获取模块，用于获取图像形变的幅度；
第一当前状态序列号获取模块，用于当所述图像形变幅度大于第一阈值，设置形变位的值为真，并获取当前图像的状态序列号；
第二当前状态序列号获取模块，用于当所述图像形变幅度小于第一阈值且所述形变位的值为真，则将当前图像的状态序列号加1得到第一状态序列号；将所述第一状态序列号除以所述状态序列号的总数得到的余数作为所述当前图像的状态序列号。
根据本公开的又一个方面，还提供以下技术方案：
一种电子设备，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现上述任一图像形变的控制方法所述的步骤。
根据本公开的又一个方面，还提供以下技术方案：
一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行上述任一方法中所述的步骤。
本公开公开一种图像形变的控制方法、装置和硬件装置。其中，该图像形变的控制方法包括：获取待处理图像；获取音频文件；播放所述音频文件，获取当前时间节点所对应的所述音频文件的第一属性值；根据所述第一属性值确定所述图像形变的幅度；根据所述图像形变的幅度，对所述待处理图像进行形变处。本公开实施例的图像形变的控制方法，通过音频文件的属性值来控制图像形变的幅度，解决了现有技术中无法灵活生成形变特效的技术问题。
上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。
附图说明
图1为根据本公开实施例一的图像形变的控制方法的流程示意图；
图2为根据本公开中步骤S10501的一个具体实施方式的流程示意图；
图3为根据本公开中步骤S201的一个具体实施方式的流程示意图；
图4为根据本公开的图像形变的控制方法中的状态切换的具体实例示意图；
图5为根据本公开一个实施例的图像形变的控制装置的结构示意图；
图6为本公开中形变类型获取模块50501的一个具体实施方式的结构示意图；
图7为根据本公开实施例提供的电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
本公开实施例一提供一种图像形变的控制方法。本实施例提供的该图像形变的控制方法可以由一计算装置来执行，该计算装置可以实现为软件，或者实现为软件和硬件的组合，该计算装置可以集成设置在服务器、终端设备等中。如图1所示，该图像形变的控制方法主要包括如下步骤S101至步骤S105。其中：
步骤S101：获取待处理图像；
在该实施例中，获取待处理图像可以通过图像传感器获取，所述图像传感器指可以采集图像的各种设备，典型的图像传感器为摄像机、摄像头、相机等。在该实施例中，所述图像传感器可以是终端设备上的摄像头，比如智能手机上的前置或者后置摄像头，摄像头采集的图像可以直接显示在手机的显示屏上，在该步骤中，获取图像传感器所拍摄的图像视频，用于在下一步进一步对图像进行处理。
在一个实施例中，所述获取待处理图像，可以是获取当前终端设备所采集到的视频的当前图像帧，由于视频是由多个图像帧组成的，在该实施例中获取视频图像，将所述视频图像中的视频帧图像作为待处理图像。可选的，所述获取视频图像，将所述视频图像中的视频帧图像作为待处理图像，包括：获取所述视频图像中与当前播放时间节点对应的视频帧图像，将所述当前播放时间节点对应的视频帧图像作为待处理图像。在该实施例中，根据当前时间的不同而获取视频图像中的不同视频帧图像进行处理。
步骤S102：获取音频文件；
在该步骤中，所述获取音频文件可以是从本地的存储空间中获取音频文件也可以是从网络存储空间中获取音频文件，典型的音频文件为音乐、人声等等。
在一个实施例中，所述获取音频文件，包括：获取音频文件并对所述音频文件进行解析，得到所述音频文件中每个时间节点与音频文件的第一属性值的对应关系表。可选的，所述音频文件与待处理的图像相互独立，所述的图像可以是动态的图像如视频或动图，也可以是静态的图像如图片。获取所要使用的音频文件，并对所述音频文件进行预处理，所述预处理可以是对音频文件进行逐时间节点的解析，所述时间节点可以根据采样频率设置，在该实施例中，可以设置时间节点之间的长度为10ms，也就是说每隔10ms采样一个时间节点，解析该时间节点上的音频文件第一属性值，所述的音频文件第一属性可以是音频文件的任何属性，典型的如音强、音调、音色、音长、节奏等，在该实施例中以音频文件第一属性值为节奏的强度为例，可以设置节奏的强度有5个等级，对于每个时间节点，经过对音频文件的解析，可以得到该时间节点上的节奏强度等级，将音频文件解析完之后，可以得到时间节点与其对应的节奏强度等级的对应关系，在该可选实施例中，可以使用对应关系表来保存该对应关系。如下表所示，为对应关系表的一个实例：
时间节点 节奏强度等级
10ms 2级
20ms 4级
30ms 5级
40ms 3级
…… ……
在另一个可选实施例中，所述音频文件与待处理图像相关联，所述的图像可以是动态的图像如视频或动图，也可以是静态的图像如图片，所述的相关联典型的可以是所述音频文件与待处理图像具有对应关系，如当视频播放或者图片打开的时候所述音频文件与之一起播放，这种情况典型的所述音频文件为视频中的音频文件或图片内置的音频文件。在该实施例中，获取所要使用的音频文件，并对所述音频文件进行预处理，所述预处理可以是对音频文件进行逐时间节点的解析，所述时间节点可以根据采样频率设置，在该实施例中，采样率可以跟图像的属性相关，如图像为视频，视频每秒有30帧视频帧，则可以设置时间节点之间的长度为33ms，也就是说每隔33ms采样一个时间节点，这样时间节点将与视频帧对应，或者图像为动图，则动图中同样有多帧图片，将每帧图片的出现时间作为时间节点，如果图像为静态的图片，则可以任意设置时间节点，当然当图像为视频或动图的时候，同样可以任意设置时间节点，在此不再赘述。解析该时间节点上的音频文件属性数据，所述的音频文件属性数据可以是音频文件的任何属性，典型的如音强、音调、音色、音长、节奏等，在该实施例中以音频文件属性数据为节奏的强度为例，可以设置节奏的强度有5个等级，对于每个时间节点，经过对音频文件的解析，可以得到该时间节点上的节奏强度等级，将音频文件解析完之后，可以得到时间节点与其对应的节奏强度等级的对应关系，在该实施例中，可以使用对应关系表来保存该对应关系。该可选实施例中的对应关系表与上一可选实施例的对应关系表类似，不再赘述。上述对应关系表，也可以是时间节点和音频文件属性的值的对应关系表，不用直接对应到音频文件属性的值的等级，在此不再赘述。
在一个对应关系表的实施例中，在所述对应关系表表中，所述时间节点包括时间节点ID和与该ID对应的音频文件属性数据，所述时间节点ID典型的可以是所述时间节点在时间节点序列中的序号。
可以理解的是，上述实施例中描述了预先对音频文件进行解析的方案，但是这些解析方式并不够成对本公开的限制，实际上任何解析方式都可以应用到本公开中；此外，在该步骤中，也可以不对音频文件进行解析，而仅仅是获取音频文件，不对音频文件进行预先解析的方案将在下文中描述，在此不再赘述。
步骤S103：播放所述音频文件，获取当前时间节点所对应的所述音频文件的第一属性值；
在一个实施例中，所述播放所述音频文件，获取当前时间节点所对应的所述音频文件的第一属性值，包括：获取所述音频当前的播放时间节点；根据所述对应关系表获取与当前的播放时间节点对应的第一属性值。
在一个可选实施例中，所述音频与所述待处理图像相互独立，此时获取所述音频当前所播放到的时间节点，如果当前播放的时间不在时间节点上，可以通过向上或者向下取整的方式确定当前的时间节点。根据当前的时间节点查找步骤S102中所生成的对应关系表，获取所述当前时间节点所对应的音频文件的属性值，记为音频文件的第一属性值。典型的，可以使用所述时间节点的序号，到所述对应关系表中查找与该序号相同的时间节点所对应的音频文件属性值，将所述音频文件属性值作为音频文件的第一属性值。
在另一个可选实施例中，所述音频与所述待处理图像相关联，如所述音频为视频中的音频，所述播放所述音频文件，获取当前时间节点所对应的所述音频文件的第一属性值，包括：播放所述音频文件；获取所述视频图像当前所播放的视频帧图像；根据所述视频帧图像计算当前时间节点；根据所述当前时间节点获取所述音频文件的第一属性值。此时根据步骤S101中的采样方法，可以使用视频帧出现的频率来采样音频的时间节点，此时视频帧和音频的时间节点是有对应关系的，因此视频帧的序号与音频的时间节点的序号是一一对应的，此时通过视频帧可以直接计算当前的时间节点；使用所述当前的时间节点的序号在对应关系表中查找与该序号相同的时间节点所对应的音频文件的属性值，将该音频文件的属性值作为音频文件的第一属性值。
在一个实施例中，所述音频并未在步骤S102中进行预先解析，此时所述播放所述音频，获取与当前播放时间节点对应的音频文件的第一属性值，包括：播放所述音频，并对当前播放时间节点的音频进行采样，得到采样音频；解析所述采样音频，得到音频文件的第一属性值。在该实施例中，可以预先设置采样频率，之后在播放音频时，实时对音频进行采样分析，获取音频的属性。该属性可以为上述步骤S102中所述的任意一种音频文件属性，在该实施例中，只需要提前设置采样频率、音频文件属性以及音频文件属性值所对应的等级即可，无需事先生成时间节点与音频属性等级或者音频属性值的对应关系表。
步骤S104：根据所述第一属性值确定所述图像形变的幅度；
在一个实施例中，所述根据所述第一属性值确定所述图像形变的幅度，包括：获取第一属性值与所述图像形变幅度的对应关系；根据所述第一属性值和所述对应关系计算所述图像形变幅度。
可选的，在该实施例中所述获取第一属性值与所述图像形变幅度的对应关系可以是获取第一属性值与所述图像形变幅度的对应关系表，在该实施例中，事先设置第一属性值与图像形变幅度的一一对应关系，并生成第一属性值与所述图像形变幅度的对应关系表。在该实施例中，所述的第一属性值可以如步骤S102中一样，为5个等级值，每个等级对应一个形变幅度。在该实施例中，所述形变幅度可以通过查表得到，因此所述根据所述第一属性值和所述对应关系计算所述图像形变幅度包括：在所述第一属性值与所述图像形变幅度的对应关系表中查找所述第一属性值，并获取所述第一属性值所对应的图像形变幅度。
可选的，在该实施例中所述获取第一属性值与所述图像形变幅度的对应关系可以是获取通过第一属性值计算所述图像形变幅度的函数关系，该函数关系可以是线性的函数关系也可以是非线性的函数关系，通过上述函数关系可以提供更加多变的形变幅度。在该实施例中，所述第一属性值可以是如步骤S102中一样，为5个等级值，也可以直接使用第一属性的原始值，比如音乐的强度值来计算图像形变的幅度，本公开对此没有限制。
步骤S105：根据所述图像形变的幅度，对所述待处理图像进行形变处理。
在一个实施例中，所述根据所述图像形变的幅度，对所述待处理图像进行形变处理，是将所述图像形变的幅度作为形变处理的参数，来设置形变处理的程度，通过上述设置了形变程度的形变处理，对待处理图像进行处理，得到形变后的图像。
可选的，所述根据所述图像形变的幅度，对所述待处理图像进行形变处理，包括：S10501，获取形变的类型；S10502，根据所述图像形变的类型以及图像形变的幅度，对所述待处理图像进行形变处理。在一个实施例中，可以预先设置形变的类型，在该实施例中根据预先设置的形变类型和步骤S104中所获取的形变的幅度来对待处理图像进行形变处理。在另外一个实施例中，可以预选设置形变的类型的触发条件，如检测到人的眼睛眨动两次，对眼睛做放大处理，检测到人手挥动时，对人的嘴做缩小处理等等，在该实施例中，预先设置触发条件和形变类型的对应关系，并放置在配置文件中，当检测到触发条件时，获取对应的形变类型，这样通过配置，可以实现不同的形变类型的切换。
在一个实施例中，所述待处理图像为人脸图像，所述形变为针对人脸图像中的五官的形变，在该实施例中，还可以预先设置形变所针对的五官。针对五官的形变，需要将五官从待处理图像中分割出来。分割五官，首选是人脸检测，人脸检测是任意给定一个图像或者一组图像序列，采用一定策略对其进行搜索，以确定所有人脸的位置和区域的一个过程，从各种不同图像或图像序列中确定人脸是否存在，并确定人脸数量和空间分布的过程。通常人脸检测的方法可以分为4类：(1)基于先验知识的方法，该方法将典型的人脸形成规则库对人脸进行编码，通过面部特征之间的关系进行人脸定位；(2)特征不变方法，该方法在姿态、视角或光照条件改变的情况下找到稳定的特征，然后使用这些特征确定人脸；(3)模板匹配方法，该方法存储几种标准的人脸模式，用来分别描述整个人脸和面部特征，然后计算输入图像和存储的模式间的相互关系并用于检测；(4)基于外观的方法，该方法与模板匹配方法相反，从训练图像集中进行学习从而获得模型，并将这些模型用于检测。在此可以使用第(4)种方法中的一个实现方式来说明人脸检测的过程：首先需要提取特征完成建模，本实施例使用Haar特征作为判断人脸的关键特征，Haar特征是一种简单的矩形特征，提取速度快，一般Haar特征的计算所使用的特征模板采用简单的矩形组合由两个或多个全等的矩形组成，其中特征模板内有黑色和白色两种矩形；之后，使用AdaBoost算法从大量的Haar特征中找到起关键作用的一部分特征，并用这些特征产生有效的分类器，通过构建出的分类器可以对图像中的人脸进行检测。
在检测到人脸之后，根据预先定义的关键点，来分割出人脸的五官，典型的人脸可以使用108个关键点来标记人脸轮廓、眼睛、眉毛、嘴巴、鼻子、耳朵等等，根据相应的关键点的位置，可以分割出不同的五官的图像。
上述具体实例只是举例，不够成对本公开的限制，实际上图像的分割有很多方法，只要是能分割出五官的方法均可以应用到本公开中，在此不再赘述。
在分割出五官之后，可以根据该步骤中的方法，获取形变的类型以及所针对的五官，之后可以根据形变的幅度、所针对的五官对图像进行形变处理。
在该实施例中，由于形变的幅度是跟音频文件相关的，因此可以通过音频文件自动对图像进行形变处理，而无需事先针对图像做出形变处理的图像。
在一个实施例中，所述待处理图像为图像中的目标对象，如上述实施例中的五官，根据所述第一属性值对所述当前视频图像帧中的目标对象进行形变处理。所述当前图像帧中可以包括多个对象，可以如上述实施例中的处理方法处理图像帧。在该实施例中，所述待处理图像可以是视频，随着视频的播放，在每一帧视频帧中的目标对象的形态可能发生变化，对每一帧视频帧的处理也会随着音频的时间节点发生变化，呈现出视频中的目标对象上的特效随着音频的变化而变化的效果。
本公开实施例二提供一种图像形变的控制方法。本实施例提供的该图像形变的控制方法可以由一计算装置来执行，该计算装置可以实现为软件，或者实现为软件和硬件的组合，该计算装置可以集成设置在服务器、终端设备等中。如图2所示，在该实施例二中，所述实施例一中的步骤S10501的包括：
步骤S201：获取当前图像的状态序列号；
步骤S202：根据所述状态序列号获取形变的类型。
在该实施例中，所述图像包括状态序列号，每个状态序列号对应一个形变的目标对象以及形变的类型。具体的，状态序列号1对应左眉毛挑动，状态序列号2对应右眉毛挑动，状态序列号3对应左右眉毛挑动，状态序列号4为左眉毛挑动左眼放大，等等，可以设置多个状态，每个状态都具有对应的状态序列号，当获得当前状态的序列号时，可以确定形变的类型。
可选的，形变处理可以在图像的多个状态之间切换，以实现在多个形变类型之间切换的效果。具体的，如图3所示，所述步骤S201获取当前图像的状态序列号，包括：
S301,获取图像形变的幅度；
S302,当所述图像形变幅度大于第一阈值，设置形变位的值为真，并获取当前图像的状态序列号；
S303，当所述图像形变幅度小于第一阈值且所述形变位的值为真，则将当前图像的状态序列号加1得到第一状态序列号；
S304，将所述第一状态序列号除以所述状态序列号的总数得到的余数作为所述当前图像的状态序列号。
在该实施例中，设当前状态序列号为state,设默认状态序列号为1，也就是图像默认为状态1，state＝1；获取形变的幅度，设该形变的幅度为intensity，根据当前的state值获取形变的类型，对当前state所对应的五官进行形变处理。刚开始时，state＝1，此时判断intensity是否大于第一阈值，如果大于第一阈值，则设置形变位为真，设形变位为flag，将其值设置为true。如果intensity小于等于第一阈值，且flag的值为ture，则state＝(state+1)％max_state_num，其中的max_state_num为状态的个数，％为取余数的运算。如图4所示，为上述状态切换的一个具体例子，在该例子中，一共有12个状态，从状态1开始，当获取到的形变幅度大于第一阈值时，开始进行形变处理，此时设置flag＝ture,如果还形变幅度一直大于该第一阈值，则形变处理一直处于状态1，也就是左眉毛挑动；当形变幅度小于或等于该第一阈值，且flag＝ture时，通过(state+1)％max_state_num计算当前的state值，在该例子中，max_state_num＝12，state+1＝2，计算余数为2，则将状态切换到状态2，此时状态序列号为2，对应的开始做右眉毛挑动的形变处理；循环上述处理，直至到达状态12，此时state+1＝13，得到(state+1)％max_state_num为1，切换至状态1开始第二轮循环。
在该实施例中，当音乐的节奏强度达到阈值之后，开始对图像中的目标对象进行形变处理，目标对象以及形变的类型由状态序列号决定，状态序列号根据一定的规则进行变化，以在多个状态之间切换来改变目标对象以及形变处理的类型，根据音乐的不同带来不同的循环形变处理效果。
本公开公开一种图像形变的控制方法、装置和硬件装置。其中，该图像形变的控制方法包括：获取待处理图像；获取音频文件；播放所述音频文件，获取当前时间节点所对应的所述音频文件的第一属性值；根据所述第一属性值确定所述图像形变的幅度；根据所述图像形变的幅度，对所述待处理图像进行形变处。本公开实施例的图像形变的控制方法，通过音频文件的属性值来控制图像形变的幅度，解决了现有技术中无法灵活生成形变特效的技术问题。
在上文中，虽然按照上述的顺序描述了上述方法实施例中的各个步骤，本领域技术人员应清楚，本公开实施例中的步骤并不必然按照上述顺序执行，其也可以倒序、并行、交叉等其他顺序执行，而且，在上述步骤的基础上，本领域技术人员也可以再加入其他步骤，这些明显变型或等同替换的方式也应包含在本公开的保护范围之内，在此不再赘述。
下面为本公开装置实施例，本公开装置实施例可用于执行本公开方法实施例实现的步骤，为了便于说明，仅示出了与本公开实施例相关的部分，具体技术细节未揭示的，请参照本公开方法实施例。
本公开实施例提供一种图像形变的控制装置。该装置可以执行上述图像形变的控制方法实施例一中所述的步骤。如图5所示，该装置500主要包括：图像获取模块501、音频文件获取模块502、第一属性值获取模块503、形变幅度获取模块504和形变处理模块505。其中，
图像获取模块501，用于获取待处理图像；
音频文件获取模块502，用于获取音频文件；
第一属性值获取模块503，用于播放所述音频文件，获取当前时间节点所对应的所述音频文件的第一属性值；
形变幅度获取模块504，用于根据所述第一属性值确定所述图像形变的幅度；
形变处理模块505，用于根据所述图像形变的幅度，对所述待处理图像进行形变处理。
进一步的，所述图像获取模块501，包括：
视频图像获取模块，用于获取视频图像，将所述视频图像中的视频帧图像作为待处理图像。
进一步的，所述音频文件获取模块502，还用于：获取所述视频图像所包含的音频文件。
进一步的，所述第一属性值获取模块503，包括：
第一音频播放模块，用于播放所述音频文件；
视频帧图像获取模块，用于获取所述视频图像当前所播放的视频帧图像；
第一时间节点获取模块，用于根据所述视频帧图像计算当前时间节点；
第一第一属性值获取模块，用于根据所述当前时间节点获取所述音频文件的第一属性值。
进一步的，所述音频文件获取模块502，包括：
音频文件解析模块，用于获取音频文件并对所述音频文件进行解析，得到所述音频文件中每个时间节点与音频文件的第一属性值的对应关系表。
进一步的，所述第一属性值获取模块503，包括：
第二时间节点获取模块，用于获取所述音频当前的播放时间节点；
第二第一属性值获取模块，根据所述对应关系表获取与当前的播放时间节点对应的第一属性值。
进一步的，所述形变幅度获取模块504，包括：
对应关系获取模块，获取第一属性值与所述图像形变幅度的对应关系；
形变幅度计算模块，用于根据所述第一属性值和所述对应关系计算所述图像形变幅度。
进一步的，所述形变处理模块505，包括：
形变类型获取模块50501，用于获取形变的类型；
第一形变处理模块50502，用于根据所述图像形变的类型以及图像形变的幅度，对所述待处理图像进行形变处理。
图5所示装置可以执行图1所示实施例的方法，本实施例未详细描述的部分，可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1所示实施例中的描述，在此不再赘述。
本公开实施例提供另一种图像形变的控制装置。该装置可以执行上述图像形变的控制方法实施例二中所述的步骤。该装置涉及图像形变的控制装置实施例1中形变类型获取模块50501。如图6所示，所述形变类型获取模块50501，包括：
状态序列号获取模块601，用于对待处理图像进行分割，得到待处理的目标对象的轮廓区域；
形变类型获取子模块602，用于根据所述状态序列号获取形变的类型。
进一步的，所述状态序列号获取模块601，还包括：
第一幅度获取模块，用于获取图像形变的幅度；
第一当前状态序列号获取模块，用于当所述图像形变幅度大于第一阈值，设置形变位的值为真，并获取当前图像的状态序列号；
第二当前状态序列号获取模块，用于当所述图像形变幅度小于第一阈值且所述形变位的值为真，则将当前图像的状态序列号加1得到第一状态序列号；将所述第一状态序列号除以所述状态序列号的总数得到的余数作为所述当前图像的状态序列号。
图6所示装置可以执行图2所示实施例的方法，本实施例未详细描述的部分，可参考对图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2所示实施例中的描述，在此不再赘述。
下面参考图7，其示出了适于用来实现本公开实施例的电子设备700的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待处理图像；获取音频文件；播放所述音频文件，获取当前时间节点所对应的所述音频文件的第一属性值；根据所述第一属性值确定所述图像形变的幅度；根据所述图像形变的幅度，对所述待处理图像进行形变处理。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种图像形变的控制方法，其特征在于，包括：
获取待处理图像；
从所述待处理图像中识别出目标对象；
获取音频文件；
播放所述音频文件，获取当前时间节点所对应的所述音频文件的第一属性值；
根据所述第一属性值确定所述图像形变的幅度；
当所述图像形变幅度大于第一阈值，设置形变位的值为真，并获取当前图像的状态序列号；
当所述图像形变幅度小于第一阈值且所述形变位的值为真，则将当前图像的状态序列号加1得到第一状态序列号；
将所述第一状态序列号除以所述状态序列号的总数得到的余数作为所述当前图像的状态序列号；
根据所述状态序列号获取形变的类型；
根据所述图像形变的类型以及图像形变的幅度，对所述目标对象进行形变处理；其中，不同的图像形变的类型用于指示对不同的目标对象进行形变处理或对不同的目标对象进行不同的形变处理。
2.如权利要求1所述的图像形变的控制方法，其特征在于，所述获取待处理图像，包括：
获取视频图像，将所述视频图像中的视频帧图像作为待处理图像。
3.如权利要求2所述的图像形变的控制方法，其特征在于，所述获取音频文件，包括：
获取所述视频图像所包含的音频文件。
4.如权利要求3所述的图像形变的控制方法，其特征在于，所述播放所述音频文件，获取当前时间节点所对应的所述音频文件的第一属性值，包括：
播放所述音频文件；
获取所述视频图像当前所播放的视频帧图像；
根据所述视频帧图像计算当前时间节点；
根据所述当前时间节点获取所述音频文件的第一属性值。
5.如权利要求1所述的图像形变的控制方法，其特征在于，所述获取音频文件，包括：
获取音频文件并对所述音频文件进行解析，得到所述音频文件中每个时间节点与音频文件的第一属性值的对应关系表。
6.如权利要求5所述的图像形变的控制方法，其特征在于，所述播放所述音频文件，获取当前时间节点所对应的所述音频文件的第一属性值，包括：
播放所述音频文件；
获取所述音频文件当前的播放时间节点；
根据所述对应关系表获取与当前的播放时间节点对应的第一属性值。
7.如权利要求1所述的图像形变的控制方法，其特征在于，所述根据所述第一属性值确定所述图像形变的幅度，包括：
获取第一属性值与所述图像形变幅度的对应关系；
根据所述第一属性值和所述对应关系计算所述图像形变幅度。
8.一种图像形变的控制装置，其特征在于，包括：
图像获取模块，用于获取待处理图像；从所述待处理图像中识别出目标对象；
音频文件获取模块，用于获取音频文件；
第一属性值获取模块，用于播放所述音频文件，获取当前时间节点所对应的所述音频文件的第一属性值；
形变幅度获取模块，用于根据所述第一属性值确定所述图像形变的幅度；
形变处理模块，用于当所述图像形变幅度大于第一阈值，设置形变位的值为真，并获取当前图像的状态序列号；当所述图像形变幅度小于第一阈值且所述形变位的值为真，则将当前图像的状态序列号加1得到第一状态序列号；将所述第一状态序列号除以所述状态序列号的总数得到的余数作为所述当前图像的状态序列号；根据所述状态序列号获取形变的类型；根据所述图像形变的类型以及图像形变的幅度，对所述目标对象进行形变处理；其中，不同的图像形变的类型用于指示对不同的目标对象进行形变处理或对不同的目标对象进行不同的形变处理。
9.一种电子设备，包括：
存储器，用于存储非暂时性计算机可读指令；以及
处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现根据权利要求1-7中任意一项所述的图像形变的控制方法。
10.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行权利要求1-7中任意一项所述的图像形变的控制方法。
CN201910073610.7A 2019-01-25 2019-01-25 图像形变的控制方法、装置和硬件装置 Active CN110072047B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201910073610.7A CN110072047B (zh) 2019-01-25 2019-01-25 图像形变的控制方法、装置和硬件装置
BR112021014591-5A BR112021014591A2 (pt) 2019-01-25 2020-01-07 Método de controle, dispositivo e dispositivo de hardware de deformação de imagem
JP2021542563A JP7209851B2 (ja) 2019-01-25 2020-01-07 画像変形の制御方法、装置およびハードウェア装置
KR1020217024178A KR102491773B1 (ko) 2019-01-25 2020-01-07 이미지 변형 제어 방법, 장치 및 하드웨어 장치
PCT/CN2020/070729 WO2020151491A1 (zh) 2019-01-25 2020-01-07 图像形变的控制方法、装置和硬件装置
EP20745555.1A EP3917131A4 (en) 2019-01-25 2020-01-07 IMAGE DISTORTION CONTROL METHOD AND DEVICE, AND HARDWARE DEVICE
US17/384,189 US11409794B2 (en) 2019-01-25 2021-07-23 Image deformation control method and device and hardware device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910073610.7A CN110072047B (zh) 2019-01-25 2019-01-25 图像形变的控制方法、装置和硬件装置

Publications (2)

Publication Number Publication Date
CN110072047A CN110072047A (zh) 2019-07-30
CN110072047B true CN110072047B (zh) 2020-10-09

Family

ID=67366108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910073610.7A Active CN110072047B (zh) 2019-01-25 2019-01-25 图像形变的控制方法、装置和硬件装置

Country Status (7)

Country Link
US (1) US11409794B2 (zh)
EP (1) EP3917131A4 (zh)
JP (1) JP7209851B2 (zh)
KR (1) KR102491773B1 (zh)
CN (1) CN110072047B (zh)
BR (1) BR112021014591A2 (zh)
WO (1) WO2020151491A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110072047B (zh) * 2019-01-25 2020-10-09 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置
CN113055738B (zh) * 2019-12-26 2022-07-29 北京字节跳动网络技术有限公司 视频特效处理方法及装置
CN111669497A (zh) * 2020-06-12 2020-09-15 杭州趣维科技有限公司 一种移动端自拍时音量驱动贴纸效果的方法
CN111833460A (zh) * 2020-07-10 2020-10-27 北京字节跳动网络技术有限公司 增强现实的图像处理方法、装置、电子设备及存储介质
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
US20230410396A1 (en) * 2022-06-17 2023-12-21 Lemon Inc. Audio or visual input interacting with video creation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989706A (zh) * 2017-06-02 2018-12-11 北京字节跳动网络技术有限公司 基于音乐节奏生成特效的方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3384314B2 (ja) * 1997-12-02 2003-03-10 ヤマハ株式会社 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体
JP3645716B2 (ja) * 1998-07-31 2005-05-11 シャープ株式会社 アニメーション作成方法、アニメーション作成装置、及びアニメーション作成プログラムを記録したコンピュータ読み取り可能な記録媒体
CN1320497C (zh) * 2002-07-03 2007-06-06 中国科学院计算技术研究所 基于统计与规则结合的语音驱动人脸动画方法
CN100369469C (zh) * 2005-08-23 2008-02-13 王维国 语音驱动头部图像合成影音文件的方法
JP4775066B2 (ja) * 2006-03-28 2011-09-21 カシオ計算機株式会社 画像加工装置
US20090268039A1 (en) * 2008-04-29 2009-10-29 Man Hui Yi Apparatus and method for outputting multimedia and education apparatus by using camera
JP5428294B2 (ja) * 2008-10-31 2014-02-26 ブラザー工業株式会社 運動コンテンツ生成システム、出力端末、運動コンテンツ生成装置、コンテンツ生成方法及びコンテンツ生成プログラム
US20100118033A1 (en) * 2008-11-10 2010-05-13 Vistaprint Technologies Limited Synchronizing animation to a repetitive beat source
JP5639832B2 (ja) * 2010-09-30 2014-12-10 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理システム、及び情報処理装置
US20120179757A1 (en) * 2011-01-10 2012-07-12 Troy Allen Jones System and process for communication and promotion of audio within a social network
JP5434965B2 (ja) * 2011-06-03 2014-03-05 カシオ計算機株式会社 動画生成方法、動画生成装置及びプログラム
TWI554103B (zh) 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
JP2016208200A (ja) * 2015-04-21 2016-12-08 キヤノン株式会社 撮像装置
US10453494B2 (en) * 2017-01-10 2019-10-22 Adobe Inc. Facilitating synchronization of motion imagery and audio
CN108322802A (zh) * 2017-12-29 2018-07-24 广州市百果园信息技术有限公司 视频图像的贴图处理方法、计算机可读存储介质及终端
CN108334821B (zh) * 2018-01-18 2020-12-18 联想(北京)有限公司 一种图像处理方法及电子设备
CN108769535B (zh) * 2018-07-04 2021-08-10 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN109147825A (zh) * 2018-08-09 2019-01-04 湖南永爱生物科技有限公司 基于语音识别的人脸表情装饰方法、装置、存储介质及电子设备
CN110072047B (zh) * 2019-01-25 2020-10-09 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989706A (zh) * 2017-06-02 2018-12-11 北京字节跳动网络技术有限公司 基于音乐节奏生成特效的方法及装置

Also Published As

Publication number Publication date
WO2020151491A1 (zh) 2020-07-30
BR112021014591A2 (pt) 2021-10-05
KR102491773B1 (ko) 2023-01-26
JP7209851B2 (ja) 2023-01-20
KR20210110852A (ko) 2021-09-09
CN110072047A (zh) 2019-07-30
US11409794B2 (en) 2022-08-09
EP3917131A1 (en) 2021-12-01
EP3917131A4 (en) 2022-11-02
US20210406305A1 (en) 2021-12-30
JP2022518520A (ja) 2022-03-15

Similar Documents

Publication Publication Date Title
CN110072047B (zh) 图像形变的控制方法、装置和硬件装置
CN110766777B (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
CN110827378B (zh) 虚拟形象的生成方法、装置、终端及存储介质
CN110070896B (zh) 图像处理方法、装置、硬件装置
CN111476871B (zh) 用于生成视频的方法和装置
CN112532897A (zh) 视频剪辑方法、装置、设备及计算机可读存储介质
CN110070063B (zh) 目标对象的动作识别方法、装置和电子设备
CN110062157B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN115311178A (zh) 图像拼接方法、装置、设备及介质
CN111488759A (zh) 动物脸部的图像处理方法和装置
CN110288532B (zh) 生成全身图像的方法、装置、设备及计算机可读存储介质
CN113902636A (zh) 图像去模糊方法及装置、计算机可读介质和电子设备
CN110059739B (zh) 图像合成方法、装置、电子设备和计算机可读存储介质
CN110069641B (zh) 图像处理方法、装置和电子设备
CN111507139A (zh) 图像效果生成方法、装置和电子设备
CN111507142A (zh) 人脸表情图像处理方法、装置和电子设备
US11810336B2 (en) Object display method and apparatus, electronic device, and computer readable storage medium
CN111292247A (zh) 图像处理方法和装置
CN113905177B (zh) 视频生成方法、装置、设备及存储介质
CN111292276B (zh) 图像处理方法和装置
CN108961314A (zh) 运动图像生成方法、装置、电子设备及计算机可读存储介质
CN110097622B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN111507143B (zh) 表情图像效果生成方法、装置和电子设备
CN110942033B (zh) 用于推送信息的方法、装置、电子设备和计算机介质
CN111489769B (zh) 图像处理方法、装置和硬件装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Tiktok vision (Beijing) Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Douyin Vision Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: Tiktok vision (Beijing) Co.,Ltd.