CN108597001A - 气氛数据处理方法、装置、存储介质及终端 - Google Patents

气氛数据处理方法、装置、存储介质及终端 Download PDF

Info

Publication number
CN108597001A
CN108597001A CN201810461459.XA CN201810461459A CN108597001A CN 108597001 A CN108597001 A CN 108597001A CN 201810461459 A CN201810461459 A CN 201810461459A CN 108597001 A CN108597001 A CN 108597001A
Authority
CN
China
Prior art keywords
frame picture
body region
atmosphere data
background area
atmosphere
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810461459.XA
Other languages
English (en)
Inventor
王宇鹭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810461459.XA priority Critical patent/CN108597001A/zh
Publication of CN108597001A publication Critical patent/CN108597001A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种气氛数据处理方法、装置、存储介质及终端,该方法包括:获取帧画面,识别所述帧画面中的主体区域和背景区域;根据所述主体区域中的特征确定气氛数据;根据所述气氛数,填充所述背景区域,简化了气氛数据处理操作,进而降低了终端的功耗。

Description

气氛数据处理方法、装置、存储介质及终端
技术领域
本申请实施例涉及移动终端技术领域,尤其涉及气氛数据处理方法、装置、存储介质及终端。
背景技术
随着移动终端的不断发展,终端设备中的拍摄功能也越来越丰富,应用程序可以在用户使用终端设备拍照或视频通话时,在拍摄界面为用户添加动态表情,进而增加拍照或视频通话的趣味性。
目前,用户在拍照或视频通话时应用程序随机选择的动态表情可能不是用户想要的表情,而用户从众多动态表情进行选择操作比较繁琐,导致终端设备的功耗增加。
发明内容
本申请实施例的目的是提供一种气氛数据处理方法、装置、存储介质及终端,可以降低终端气氛数据处理时的功耗。
第一方面,本申请实施例提供了一种气氛数据处理方法,包括:
获取帧画面,识别所述帧画面中的主体区域和背景区域;
根据所述主体区域中的特征确定气氛数据;
根据所述气氛数据,填充所述背景区域。
第二方面,本申请实施例提供了一种气氛数据处理装置,包括:
获取模块,用于获取帧画面,识别所述帧画面中的主体区域和背景区域;
确定模块,用于根据所述获取模块获取的所述主体区域中的特征确定气氛数据;
填充模块,用于根据所述确定模块确定的所述气氛数据,填充所述获取模块获取的所述背景区域。
第三方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所示的气氛数据处理方法。
第四方面,本申请实施例提供了一种终端,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所示的气氛数据处理方法。
本申请实施例中提供的气氛数据处理方案,首先获取的帧画面,识别帧画面中的主体区域和背景区域;然后,根据主体区域中的特征确定气氛数据;最后,根据气氛数据,填充背景区域,简化了气氛数据的处理操作,进而降低了终端的功耗。
附图说明
图1为本申请实施例提供的一种气氛数据处理方法的流程示意图;
图2为本申请实施例提供的另一种气氛数据处理方法的流程示意图;
图3为本申请实施例提供的另一种气氛数据处理方法的流程示意图;
图4为本申请实施例提供的另一种气氛数据处理方法的流程示意图;
图5为本申请实施例提供的另一种气氛数据处理方法的流程示意图;
图6为本申请实施例提供的一种气氛数据处理装置的结构示意图;
图7为本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本申请的技术方案。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
随着移动终端的不断发展,终端设备中的拍摄功能也越来越丰富,应用程序可以在用户使用移动终端拍照或视频通话时,在拍摄界面为用户添加动态表情,进而增加拍照或视频通话的趣味性。
但是,应用程序只能为用户在拍摄界面添加动态表情,且用户在拍照或视频通话时应用程序随机选择的动态表情可能不是用户想要的表情,需要用户手动从众多动态表情中进行选择操作比较繁琐,导致终端设备的功耗增加。
本申请实施例提供了一种气氛数据处理方法,能够根据帧画面中主体区域的特征确定气氛数据,为帧画面中的背景区域填充气氛数据,进而避免了添加气氛数据操作复杂的问题,可以降低终端的功耗。具体方案如下所示:
图1为本申请实施例提供的一种气氛数据处理方法的流程示意图,该方法用于终端对拍照或视频聊天界面进行气氛数据处理的情况,该方法可以由安装有拍照或视频类应用程序的移动终端或具有拍照或视频功能的移动终端来执行,该移动终端可以为智能手机、平板电脑、可穿戴设备或笔记本电脑等,其中拍照或视频类应用程序包括拍照类应用和视频类应用,该方法具体包括如下步骤:
步骤110、获取帧画面,识别帧画面中的主体区域和背景区域。
其中,帧画面包括摄像头按照预设的采样频率,采集到的每一帧画面。拍摄的视频包括由摄像头采集连续的多帧画面形成的一段影像。而拍摄的照片则是摄像头采集到的一帧画面,但是在点击拍摄前,拍摄界面也是由摄像头采集连续的多帧画面形成的,只是不对采集到的帧画面进行存储而已。主体区域包括帧画面中主要拍摄目标所在的区域,例如,用户在自拍时,拍摄目标即为用户本人,因此,主体区域即为用户在画面中所在的区域。背景区域可以是指帧画面中,除主体区域以外的其他区域,例如,用户在景点进行拍照留念时,主体区域为用户本人所在区域,而除用户以外的建筑、街道和行人等都是背景区域。可选的,用户在拍摄视频时通常是要针对拍摄目标拍摄一系列动作,因此,在连续的帧画面中,发生变化的部分可能是主体区域,静止不动的部分可能是背景区域。
本申请实施例中,触发识别帧画面中的主体区域和背景区域的条件和频率并不限定,例如可以是自动触发,可以理解为检测到开启拍摄或视频通话功能后,即自动对获取的帧画面识别主体区域和背景区域;又如,还可以是手动触发,例如,接收到用户点击添加气氛数据组件后,即对获取的帧画面识别主体区域和背景区域。识别的频率可以是对获取的每帧画面都识别主体区域和背景区域,还可以是根据预设时间间隔(如5秒)识别一次帧画面的主体区域和背景区域,进一步减小终端设备的功耗。其中,预设时间间隔可以是终端设备默认的,还可以是用户根据需要提前设定的。
在识别帧画面的主体区域和背景区域时,可对帧画面进行图像处理操作,识别出图像中的拍摄目标所在区域,作为主体区域,其余区域作为背景区域;还可以是通过预选训练的区域识别模型来进行帧画面中主体区域和背景区域的识别,例如,将获取的帧画面输入区域识别模型中,模型基于输入的帧画面,结合训练时的算法分别输出帧画面中的主体区域和背景区域。本申请对此不做限定。
可选的,若拍摄物较多时,可以计算各拍摄物在帧画面中所占比例,选择比例大的拍摄物作为拍摄目标,其所在区域即为主体区域,例如,若用户在旅游景点视频通话,此时帧画面中不但有用户,还包括来来往往的人群,此时拍摄物数量较多,在识别主体区域时,可以将帧画面中所占比例最大的用户所在区域作为主体区域。
步骤120、根据主体区域中的特征确定气氛数据。
其中,主体区域的特征可以包括用户的表情特征、手势特征或语音特征等中的一个或多个的组合。表情特征包括主体区域中拍摄目标的面部所表现出来的特征,可以包括微笑、流泪、害怕或生气等。手势特征包括主体区域中拍摄目标的肢体所表现出来的特征,可以包括OK手势、胜利手势、握拳手势等。语音特征包括主体区域中拍摄目标的话语中所包含的特征,可以包括开心、生气、难受等。其中,主体区域的特征可以为非固定的,例如在拍照或视频通话的过程中,根据主体区域用户特征的变化进行实时调整。气氛包括在特定环境中给人带来某种强烈感觉的氛围,气氛数据用于表示特定环境中某种氛围的数据,其形式可以是音乐、图片、文字或动画中的至少一种。
可选的,主体区域特征的确定方法可以分为三个核心环节:拍摄目标检测、拍摄目标特征提取和特征情感分类。具体的,确定主体区域的特征时,可以是首先在主体区域识别拍摄目标所在区域,然后根据拍摄目标所具有的特征进行特征的提取,最后根据提取的特征进行感情分类。
由于主体区域中的特征与气氛是存在一定对应关系的,例如,流泪的特征对应的是悲伤的气氛,害怕的特征对应的是恐怖的气氛,微笑的特征对应的是快乐的气氛等。可选的,主体区域中的特征与气氛之间的对应关系可以是预先设定好的,例如,可以是系统默认的,也可以是用户根据自身需要提前设定的。在根据主体区域中的特征确定气氛数据时,可以直接根据特征查找与其对应的气氛,然后获取该气氛对应的气氛数据,例如,特征为微笑,其对应的气氛为快乐,然后获取欢乐气氛对应的数据,如,欢快的歌曲、放礼花的动画等。
可选的,确定气氛数据时还可以结合多种形式的特征进行确定,例如,在主体区域表情特的基础上,结合识别到的手势特征、语音特征中的至少一个来共同确定气氛数据。从多维度进行气氛数据的确定,从而保证确定的气氛数据更为准确。
步骤130、根据气氛数据,填充背景区域。
其中,气氛数据是用来表示特定环境中某种氛围的数据,而环境中的氛围应该从背景中进行体现,因此,将背景区域中填充气氛数据。在本申请实施例中,具体的填充方式并不限定,可以是全屏填充,也可以是指定位置的填充。例如,当气氛数据为下雨的动画时,可以选择全屏填充;当气氛数据为放礼花的动画时,可以选择在背景的上方区域进行填充。
本申请实施例中提供的气氛数据处理方案,首先获取帧画面,识别帧画面中的主体区域和背景区域;然后,根据主体区域中的特征确定气氛数据;最后,根据气氛数据,填充背景区域。相对于相关技术中用户需要从众多表情中手动选择需要添加的动态表情,操作复杂,耗时较长。本申请实施例直接识别帧画面中的主体区域进行分析确定气氛数据添加到背景区域,简化了气氛数据的处理操作,进而能够降低终端的功耗。
图2为本申请实施例提供的另一种气氛数据处理方法的流程示意图,作为对上述实施例的进一步说明,包括:
步骤210、获取帧画面,识别帧画面中的主体区域和背景区域。
步骤220、根据主体区域中的手势特征或表情特征确定气氛数据。
其中,表情特征可以是用户面部表情所表现出来的特征,可以是微笑、流泪、害怕等,手势特征可以是手部运动或状态对应的特性,例如,可以是手部关节部位的弯曲、双手合拢、鼓掌等。需要说明的是,在本申请实施例中,手势特征并不仅限于手部的特征,可以是任何身体运动或状态对应的特征,如身体向上跳、抬腿等。
可选的,依据获取的帧画面确定手势特征的方式有很多,本申请对此不做限定。例如,可以是先从帧画面中检测手势所在位置,并提取手势图像进行分析,进而确定手势特征,可选的,在进行手势图像分析时,还可以将手势分为静态手势和动态手势,针对不同种类的手势采用不同的分析方法进行手势特征的确定。根据获取的帧画面确定表情特征的方式本申请也不做限定,例如,确定方法可以分为三个核心环节:人脸目标检测、人脸表情特征提取和人脸表情的情感分类。具体的,确定主体区域的表情特征时,可以是首先在主体区域识别人脸所在区域,然后根据人脸的器官特征、纹理区域和预定义的特征点中的至少一个采用不同的特征提取方法进行面部表情信息的提取,最后根据提取的表情信息进行感情分类。例如,从主体区域识别到人脸位置后,根据人脸的器官特征提取到嘴角向下的表情信息,根据纹理区域提取到两眉紧锁的表情信息,从预定义的脸部区域提取到面部湿润的表情信息,根据这些面部表情信息可确定表情特征为流泪。
可选的,在确定气氛数据时,可以仅依据手势特征或表情特征中的一个进行确定,例如,选择手势特征或表情特征更明显的一方进行气氛数据的确定。还可以是将表情特征与手势特征相结合来确定气氛数据,例如,根据主体区域中的手势特征和表情特征确定气氛数据时,可以是查找手势特征对应的至少一个气氛数据,再查找表情特征对应的至少一个气氛数据,将手势特征和表情特征共同确定的气氛数据作为最终确定的气氛数据。还可以是,分别为手势特征和表情特征设置不同的权重,将两种特征查找到的气氛数据按照各自的权重进行计算后确定最终的气氛数据。
步骤230、根据气氛数据,获取相应的表情数据,填充主体区域。
其中,表情数据可以是与气氛数据对应的用来表示人脸部的表情和情绪动作的数据,其形式可以包括图片、动画、音频或文字中的至少一种。例如,快乐的气氛数据可以对应用户鼓掌、大笑等动画,还可以对应笑声等音频数据,也可以是开心等文字数据。
示例性的,在添加表情数据时,由于表情数据是表示人的表情和动作,其作用对象为用户,因此,需要将表情数据添加到主体区域用户所在的位置。例如,气氛数据对应的鼓掌、大笑等动画可以分别添加到主图区域用户的手和嘴所在位置。
步骤240、根据气氛数据,填充背景区域。
本申请实施例提供的气氛数据处理方法,依据手势特征或表情特征确定气氛数据,保证了气氛数据的准确性,自动为主体区域添加表情数据,为背景区域填充气氛数据,增加了拍照或视频通话的趣味性,且同时并没有添加其他操作,保证了终端的低功耗特性。
图3为本申请实施例提供的另一种气氛数据处理方法的流程示意图,作为对上述实施例的进一步说明,包括:
步骤310、获取帧画面。
步骤320、接收用户在帧画面中输入的焦点信息。
焦点信息是用来表示帧画面中拍摄焦点的信息,例如,可以是拍摄焦点的位置信息、拍摄物信息等。可选的,用户在帧画面中输入焦点信息的方式可以是通过手动收入焦点信息,例如,可以是用户在视频聊天时,手动在帧画面中点选出拍摄焦点所在位置;也可以是在帧画面中框选出拍摄焦点所在区域。用户在帧画面中输入焦点信息的方式还可以是通过语音收入焦点信息,例如,用户在拍照时,可以通过语音描述拍摄焦点的拍摄物信息完成焦点信息的输入。
可选的,接收用户在帧画面中输入的焦点信息的触发条件可以是获取帧画面后,实时接收用户输入的焦点信息;还可以是按照预设时间间隔定时接收到用户输入的焦点信息。
步骤330、根据焦点信息确定帧画面中的主体区域。
由于焦点信息的不同,确定帧画面中的主体区域的方式也不同,具体的,若焦点信息为用户点选的位置信息时,则以点选位置为中心,其预设范围内的区域作为主体区域;若焦点信息为用户框选的区域信息时,则将框选的区域作为主体区域;若焦点信息为用户输入的语音信息时,则识别语音信息对应的拍摄目标,将帧画面中该拍摄目标所在的区域作为主体区域。
步骤340、根据帧画面中的主体区域,识别帧画面中的背景区域。
帧画面包括主体区域和背景区域两部分,当主体区域确定后,在帧画中除去主体区域后,剩下的部分即为背景区域。例如,可以将帧画面和主体区域进行差分运算,得到背景区域。
步骤350、根据主体区域中的特征确定气氛数据;
步骤360、根据气氛数据,填充所述背景区域。
本申请实施例提供的气氛数据处理方法,获取帧画面中的面部区域,根据用户输入的焦点信息确定帧画面中的主体区域,帧画面中的其他区域为背景区域,根据主体区域中的特征确定气氛数据,填充到背景区域中。简化了气氛数据的处理操作,进而能够降低终端的功耗。
图4为本申请实施例提供的另一种气氛数据处理方法的流程示意图,作为对上述实施例的进一步说明,包括:
步骤410、获取帧画面中的面部区域。
其中,面部区域可以是用户拍照或视频通话时面部在帧画面中所占区域。例如,用户在视频通话时,通常视频界面仅显示用户的上半身,此时即获取视频界面帧画面中的用户的面部区域。可选的,若在拍照场景下,帧画面为全身照时,此时获取帧画面中的面部区域可以是用户面部所在区域,还可以是获取用户整个身体所在区域。
可选的,从帧画面中确定面部区域的方法有很多,本申请对此不进行限定。例如,可以是对帧画面进行面部识别算法处理操作,结合人脸共有的一些特性,来确定帧画面中面部区域所在位置。还可以是通过预先训练的面部识别模型来从输入的帧画面中确定面部区域的位置。
步骤420、当面部区域在帧画面中所占比例大于一预设阈值时,确定面部区域为主体区域。
预设阈值是用于判断面部区域是否符合要求的依据,其大小可以是系统默认的,也可以是用户预先根据需求设定的,对此不进行限定。其个数可以是一个或多个,例如,可以根据拍摄场景的不同设置多个预设阈值,在判断面部区域时,根据拍摄场景选择其对应的一预设阈值进行面部区域所占比例的判断。
从帧画面中识别面部区域时,为了防止识别到的面部区域范围较小,导致无法准确判断用户的特征,因此,在识别出面部区域后,先进行面部区域在帧画面中所占比例的判断,如果小于预设比例,则说明面部区域过小,可能会影响特征确定的准确性,因此,返回步骤410,获取下一帧画面的面部区域进行所占比例的判断,如果大于预设比例,则可以将识别到的面部区域作为帧画面中的主体区域。
步骤430、根据帧画面中的主体区域,识别帧画面中的背景区域。
步骤440、根据主体区域中的特征确定气氛数据。
步骤450、根据气氛数据,填充背景区域。
本申请实施例提供的气氛数据处理方法,获取帧画面中的面部区域,在该面部区域在帧画面中所占比例大于一预设阈值时,将该面部区域确定为主体区域,帧画面中的其他区域为背景区域,根据主体区域中的特征确定气氛数据,填充到背景区域中。简化了气氛数据的处理操作,进而能够降低终端的功耗。
图5为本申请实施例提供的另一种气氛数据处理方法的流程示意图,作为对上述实施例的一个优选实例,该方法可适用于视频通话场景下进行气氛数据的处理,其中第一用户和第二用户为视频通话的双方,该方法包括:
步骤510、获取第一帧画面,识别第一帧画面中的第一主体区域和第一背景区域。
其中,第一帧画面可以是主叫方的视频画面,也可以是与终端用户视频通话的另一方的视频画面,即被叫方的视频画面。如果第一帧画面为主叫方的视频画面,则第二帧画面为被叫方的视频画面。如果第一帧画面为被叫方的视频帧画面,则第二帧画面为主叫方的视频画面。进一步的,如果视频通话涉及至少三方参与,则第二帧画面可以为第一帧画面以外的任意一个参与方的视频画面。第一主体区域和第一背景区域分别为第一帧画面中对应的主体区域和背景区域。
视频通话的时候终端显示屏上通常会显示至少两个视频画面,其中,一个是主叫方的视频画面,其余为被叫方的视频画面。可选的,获取第一帧画面,识别第一帧画面中的第一主体区域和第一背景区域可以是获取终端用户(即主叫方)的帧画面,识别主叫方帧画面的主体区域和背景区域,也可以是获取被叫方的帧画面,识别被叫方帧画面的主体区域和背景区域。
可选的,第一帧画面具体为视频通话中哪个参与方的帧画面,可以是终端用户点击视频界面上的按键选择的,也可以是终端设备自动进行语音识别,对进行语音输入的参与方进行识别,将语音输入的参与方的画面作为第一帧画面。当然,上述判断方法仅作为示意性说明,还可以有其他方法,本申请不做限定。
步骤520、获取第二帧画面,识别第二帧画面中的第二主体区域和第二背景区域。
第二帧画面可以为第一帧画面以外的任意一个参与方的视频画面。第二主体区域和第二背景区域分别为第二帧画面中对应的主体区域和背景区域。在识别第一帧画面中的第一主体区域和第一背景区域之后,要获取第二帧画面,识别第二帧画面中的第二主体区域和背景区域。
步骤530、根据第一主体区域中的特征确定气氛数据。
根据第一帧画面的主体区域中的特征(如,用户的表情特征、手势特征和语音特征中的一个或多个的组合)确定的气氛数据,可以表示视频通话双方当前聊天场景对应的气氛数据,可以根据该气氛数据为视频通话中的任意一个参与方添加气氛数据。
步骤540、根据气氛数据,填充第二背景区域。
根据第一帧画面的第一主体区域确定的气氛数据,填充第二帧画面的第二背景区域。
可选的,根据第一帧画面的第一主体区域确定气氛数据,不仅可以填充第二背景区域,还可以填充第一背景区域。具体为哪个帧画面的背景区域添加气氛数据可以是根据用户手动设置的,例如,可以是终端用户在显示屏上点击哪个视频画面就为该视频画面的用户添加气氛数据。还可以是系统默认的,例如,为当前说话方添加气氛数据。也可以是同时为第一背景区域和第二背景区域都添加气氛数据,此时,为第一背景区域和第二背景区域添加的气氛数据可以是相同的,也可以是不同的,例如,当气氛数据为快乐时,可以为两背景区域同时添加放礼花的动画。又如,还可以是为第一背景区域添加鼓掌的动画,为第二背景区域添加大笑的动画。
可选的,还可以在第一主体区域和/或第二主体区域添加气氛数据对应的表情数据,为帧画面的不同的区域添加不同的数据,进一步增加了视频聊天的趣味性和互动性。
本申请实施例提供的气氛数据处理方法,应用到了用户视频通话的过程中,根据通话双方的任意一方的帧画面的主体区域确定气氛数据,添加到通话任意一方的背景区域中,增加了视频聊天的趣味性和互动性的同时,保证了设备的低功耗特性。
图6为本申请实施例提供的一种气氛数据处理装置的结构示意图。如图6所示,该装置包括:获取模块610,确定模块620,填充模块630。
获取模块610,用于获取帧画面,识别所述帧画面中的主体区域和背景区域;
确定模块620,用于根据所述获取模块610获取的所述主体区域中的特征确定气氛数据;
填充模块630,用于根据所述确定模块620确定的所述气氛数据,填充所述获取模块610获取的所述背景区域。
进一步的,确定模块620用于,根据所述主体区域中的手势特征或表情特征确定气氛数据。
进一步的,上述装置还包括:
表情数据获取模块,用于根据所述气氛数据,获取相应的表情数据;
表情数据填充模块,用于根据表情数据获取模块获取表情数据,填充所述主体区域。
进一步的,获取模块610用于,接收用户在所述帧画面中输入的焦点信息;
根据所述焦点信息确定所述帧画面中的主体区域。
进一步的,获取模块610用于:
获取第一帧画面,识别所述第一帧画面中的第一主体区域和第一背景区域;
获取第二帧画面,识别所述第二帧画面中的第二主体区域和第二背景区域;
相应的,确定模块620,用于根据所述第一主体区域中的特征确定气氛数据;
相应的,填充模块630,用于根据所述气氛数据,填充所述第二背景区域。
进一步的,获取模块610,用于获取帧画面中的面部区域;
当所述面部区域在所述帧画面中所占比例大于一预设阈值时,确定所述面部区域为所述主体区域。
进一步的,获取模块610用于,根据预设时间间隔获取帧画面,识别所述帧画面中的主体区域和背景区域。
本申请实施例中提供的气氛数据处理方案,首先获取模块610获取帧画面,识别帧画面中的主体区域和背景区域;然后,确定模块620根据主体区域中的特征确定气氛数据;最后,填充模块630根据气氛数据,填充背景区域。相对于相关技术中用户需要从众多表情中手动选择需要添加的动态表情,操作复杂,耗时较长。本申请实施例直接识别帧画面中的主体区域进行分析确定气氛数据添加到背景区域,简化了气氛数据的处理操作,进而能够降低终端的功耗。
上述装置可执行本申请前述所有实施例所提供的方法,具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请前述所有实施例所提供的方法。
图7是本申请实施例提供的一种终端设备的结构示意图。如图7所示,该终端可以包括:壳体(图中未示出)、存储器701、中央处理器(Central Processing Unit,CPU)702(又称处理器,以下简称CPU)、存储在存储器701上并可在处理器702上运行的计算机程序、电路板(图中未示出)和电源电路(图中未示出)。所述电路板安置在所述壳体围成的空间内部;所述CPU702和所述存储器701设置在所述电路板上;所述电源电路,用于为所述终端的各个电路或器件供电;所述存储器701,用于存储可执行程序代码;所述CPU702通过读取所述存储器701中存储的可执行程序代码来运行与所述可执行程序代码对应的程序。
所述终端还包括:外设接口703、RF(Radio Frequency,射频)电路705、音频电路706、扬声器711、电源管理芯片708、输入/输出(I/O)子系统709、触摸屏712、其他输入/控制设备710以及外部端口704,这些部件通过一个或多个通信总线或信号线707来通信。
应该理解的是,图示终端设备700仅仅是终端的一个范例,并且终端设备700可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
下面就本实施例提供的用于一种终端设备进行详细的描述,该终端设备以智能手机为例。
存储器701,所述存储器701可以被CPU702、外设接口703等访问,所述存储器701可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
外设接口703,所述外设接口703可以将设备的输入和输出外设连接到CPU702和存储器701。
I/O子系统709,所述I/O子系统709可以将设备上的输入输出外设,例如触摸屏712和其他输入/控制设备710,连接到外设接口703。I/O子系统709可以包括显示控制器7091和用于控制其他输入/控制设备710的一个或多个输入控制器7092。其中,一个或多个输入控制器7092从其他输入/控制设备710接收电信号或者向其他输入/控制设备710发送电信号,其他输入/控制设备710可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮、摄像头等。值得说明的是,输入控制器7092可以与以下任一个连接:键盘、红外端口、USB接口以及诸如鼠标的指示设备。
其中,按照触摸屏的工作原理和传输信息的介质分类,触摸屏712可以为电阻式、电容感应式、红外线式或表面声波式。按照安装方式分类,触摸屏712可以为:外挂式、内置式或整体式。按照技术原理分类,触摸屏712可以为:矢量压力传感技术触摸屏、电阻技术触摸屏、电容技术触摸屏、红外线技术触摸屏或表面声波技术触摸屏。
触摸屏712,所述触摸屏712是用户终端与用户之间的输入接口和输出接口,将可视输出显示给用户,可视输出可以包括图形、文本、图标、视频等。可选的,触摸屏712将用户在触屏幕上触发的电信号(如接触面的电信号),发送给处理器702。
I/O子系统709中的显示控制器7091从触摸屏712接收电信号或者向触摸屏712发送电信号。触摸屏712检测触摸屏上的接触,显示控制器7091将检测到的接触转换为与显示在触摸屏712上的用户界面对象的交互,即实现人机交互,显示在触摸屏712上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是,设备还可以包括光鼠,光鼠是不显示可视输出的触摸敏感表面,或者是由触摸屏形成的触摸敏感表面的延伸。
RF电路705,主要用于建立智能音箱与无线网络(即网络侧)的通信,实现智能音箱与无线网络的数据接收和发送。例如收发短信息、电子邮件等。
音频电路706,主要用于从外设接口703接收音频数据,将该音频数据转换为电信号,并且将该电信号发送给扬声器711。
扬声器711,用于将智能音箱通过RF电路705从无线网络接收的语音信号,还原为声音并向用户播放该声音。
电源管理芯片708,用于为CPU702、I/O子系统及外设接口所连接的硬件进行供电及电源管理。
在本实施例中,中央处理器702用于:
获取帧画面,识别所述帧画面中的主体区域和背景区域;
根据所述主体区域中的特征确定气氛数据;
根据所述气氛数据,填充所述背景区域。
进一步的,所述根据所述主体区域中的特征确定气氛数据,包括:
根据所述主体区域中的手势特征或表情特征确定气氛数据。
进一步的,在根据所述主体区域中的特征确定气氛数据之后,还包括:
根据所述气氛数据,获取相应的表情数据,填充所述主体区域。
进一步的,所述识别所述帧画面中的主体区域,包括:
接收用户在所述帧画面中输入的焦点信息;
根据所述焦点信息确定所述帧画面中的主体区域。
进一步的,所述获取帧画面,识别所述帧画面中的主体区域和背景区域,包括:
获取第一帧画面,识别所述第一帧画面中的第一主体区域和第一背景区域;
获取第二帧画面,识别所述第二帧画面中的第二主体区域和第二背景区域;
相应的,根据所述主体区域中的特征确定气氛数据,包括:
根据所述第一主体区域中的特征确定气氛数据;
相应的,所述根据所述气氛数据,填充所述背景区域,包括:
根据所述气氛数据,填充所述第二背景区域。
进一步的,所述获取帧画面,识别所述帧画面中的主体区域,包括:
获取帧画面中的面部区域;
当所述面部区域在所述帧画面中所占比例大于一预设阈值时,确定所述面部区域为所述主体区域。
进一步的,所述获取帧画面,识别所述帧画面中的主体区域和背景区域,包括:
根据预设时间间隔获取帧画面,识别所述帧画面中的主体区域和背景区域。
本申请实施例还提供一种包含终端设备可执行指令的存储介质,所述终端设备可执行指令在由终端设备处理器执行时用于执行一种气氛数据处理方法,该方法包括:
获取帧画面,识别所述帧画面中的主体区域和背景区域;
根据所述主体区域中的特征确定气氛数据;
根据所述气氛数据,填充所述背景区域。
进一步的,所述根据所述主体区域中的特征确定气氛数据,包括:
根据所述主体区域中的手势特征或表情特征确定气氛数据。
进一步的,在根据所述主体区域中的特征确定气氛数据之后,还包括:
根据所述气氛数据,获取相应的表情数据,填充所述主体区域。
进一步的,所述识别所述帧画面中的主体区域,包括:
接收用户在所述帧画面中输入的焦点信息;
根据所述焦点信息确定所述帧画面中的主体区域。
进一步的,所述获取帧画面,识别所述帧画面中的主体区域和背景区域,包括:
获取第一帧画面,识别所述第一帧画面中的第一主体区域和第一背景区域;
获取第二帧画面,识别所述第二帧画面中的第二主体区域和第二背景区域;
相应的,根据所述主体区域中的特征确定气氛数据,包括:
根据所述第一主体区域中的特征确定气氛数据;
相应的,所述根据所述气氛数据,填充所述背景区域,包括:
根据所述气氛数据,填充所述第二背景区域。
进一步的,所述获取帧画面,识别所述帧画面中的主体区域,包括:
获取帧画面中的面部区域;
当所述面部区域在所述帧画面中所占比例大于一预设阈值时,确定所述面部区域为主体区域。
进一步的,所述获取帧画面,识别所述帧画面中的主体区域和背景区域,包括:
根据预设时间间隔获取帧画面,识别所述帧画面中的主体区域和背景区域。
本申请实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的气氛数据处理操作,还可以执行本申请任意实施例所提供的气氛数据处理方法中的相关操作。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种气氛数据处理方法,其特征在于,包括:
获取帧画面,识别所述帧画面中的主体区域和背景区域;
根据所述主体区域中的特征确定气氛数据;
根据所述气氛数据,填充所述背景区域。
2.根据权利要求1所述的气氛数据处理方法,其特征在于,所述根据所述主体区域中的特征确定气氛数据,包括:
根据所述主体区域中的手势特征或表情特征确定气氛数据。
3.根据权利要求1所述的气氛数据处理方法,其特征在于,在根据所述主体区域中的特征确定气氛数据之后,还包括:
根据所述气氛数据,获取相应的表情数据,填充所述主体区域。
4.根据权利要求1所述的气氛数据处理方法,其特征在于,所述识别所述帧画面中的主体区域,包括:
接收用户在所述帧画面中输入的焦点信息;
根据所述焦点信息确定所述帧画面中的主体区域。
5.根据权利要求1所述的气氛数据处理方法,其特征在于,所述获取帧画面,识别所述帧画面中的主体区域和背景区域,包括:
获取第一帧画面,识别所述第一帧画面中的第一主体区域和第一背景区域;
获取第二帧画面,识别所述第二帧画面中的第二主体区域和第二背景区域;
相应的,根据所述主体区域中的特征确定气氛数据,包括:
根据所述第一主体区域中的特征确定气氛数据;
相应的,所述根据所述气氛数据,填充所述背景区域,包括:
根据所述气氛数据,填充所述第二背景区域。
6.根据权利要求1所述的气氛数据处理方法,其特征在于,所述获取帧画面,识别所述帧画面中的主体区域,包括:
获取帧画面中的面部区域;
当所述面部区域在所述帧画面中所占比例大于一预设阈值时,确定所述面部区域为所述主体区域。
7.根据权利要求1所述的气氛数据处理方法,其特征在于,所述获取帧画面,识别所述帧画面中的主体区域和背景区域,包括:
根据预设时间间隔获取帧画面,识别所述帧画面中的主体区域和背景区域。
8.一种气氛数据处理装置,其特征在于,包括:
获取模块,用于获取帧画面,识别所述帧画面中的主体区域和背景区域;
确定模块,用于根据所述获取模块获取的所述主体区域中的特征确定气氛数据;
填充模块,用于根据所述确定模块确定的所述气氛数据,填充所述获取模块获取的所述背景区域。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述气氛数据处理方法。
10.一种终端,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-7任一所述的气氛数据处理方法。
CN201810461459.XA 2018-05-15 2018-05-15 气氛数据处理方法、装置、存储介质及终端 Pending CN108597001A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810461459.XA CN108597001A (zh) 2018-05-15 2018-05-15 气氛数据处理方法、装置、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810461459.XA CN108597001A (zh) 2018-05-15 2018-05-15 气氛数据处理方法、装置、存储介质及终端

Publications (1)

Publication Number Publication Date
CN108597001A true CN108597001A (zh) 2018-09-28

Family

ID=63630951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810461459.XA Pending CN108597001A (zh) 2018-05-15 2018-05-15 气氛数据处理方法、装置、存储介质及终端

Country Status (1)

Country Link
CN (1) CN108597001A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161377A (zh) * 2019-12-26 2020-05-15 北京猎豹网络科技有限公司 一种图片中添加字符的方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104780339A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的表情特效动画加载方法和电子设备
CN106023067A (zh) * 2016-05-17 2016-10-12 珠海市魅族科技有限公司 一种图像处理方法及装置
CN107240143A (zh) * 2017-05-09 2017-10-10 北京小米移动软件有限公司 表情包生成方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104780339A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的表情特效动画加载方法和电子设备
CN106023067A (zh) * 2016-05-17 2016-10-12 珠海市魅族科技有限公司 一种图像处理方法及装置
CN107240143A (zh) * 2017-05-09 2017-10-10 北京小米移动软件有限公司 表情包生成方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161377A (zh) * 2019-12-26 2020-05-15 北京猎豹网络科技有限公司 一种图片中添加字符的方法、装置、电子设备及存储介质
CN111161377B (zh) * 2019-12-26 2023-06-27 北京乐蜜科技有限责任公司 一种图片中添加字符的方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US20230230306A1 (en) Animated emoticon generation method, computer-readable storage medium, and computer device
CN109819313B (zh) 视频处理方法、装置及存储介质
CN108833818B (zh) 视频录制方法、装置、终端及存储介质
CN108363706B (zh) 人机对话交互的方法和装置、用于人机对话交互的装置
CN103529934B (zh) 用于处理多个输入的方法和装置
CN112560605B (zh) 交互方法、装置、终端、服务器和存储介质
CN108604447A (zh) 信息处理装置、信息处理方法和程序
CN109413563A (zh) 视频的音效处理方法及相关产品
KR20100062207A (ko) 화상통화 중 애니메이션 효과 제공 방법 및 장치
CN109348135A (zh) 拍照方法、装置、存储介质及终端设备
CN110572716B (zh) 多媒体数据播放方法、装置及存储介质
CN108566516A (zh) 图像处理方法、装置、存储介质及移动终端
CN109660728A (zh) 一种拍照方法及装置
CN114205324A (zh) 消息显示方法、装置、终端、服务器及存储介质
CN109428859A (zh) 一种同步通信方法、终端及服务器
CN109005350A (zh) 图像重复拍摄提示方法、装置、存储介质及移动终端
CN113194254A (zh) 图像拍摄方法及装置、电子设备和存储介质
CN109308178A (zh) 一种语音画图方法及其终端设备
CN108304434B (zh) 信息反馈方法和终端设备
CN108494996A (zh) 图像处理方法、装置、存储介质及移动终端
CN108763350A (zh) 文本数据处理方法、装置、存储介质及终端
CN111835621A (zh) 会话消息处理方法、装置、计算机设备及可读存储介质
CN108665510A (zh) 连拍图像的渲染方法、装置、存储介质及终端
CN108960213A (zh) 目标跟踪方法、装置、存储介质及终端
CN109587552A (zh) 视频人物音效处理方法、装置、移动终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180928

RJ01 Rejection of invention patent application after publication