CN117037048B - 一种基于虚拟形象的社交互动方法及系统 - Google Patents

一种基于虚拟形象的社交互动方法及系统 Download PDF

Info

Publication number
CN117037048B
CN117037048B CN202311300662.6A CN202311300662A CN117037048B CN 117037048 B CN117037048 B CN 117037048B CN 202311300662 A CN202311300662 A CN 202311300662A CN 117037048 B CN117037048 B CN 117037048B
Authority
CN
China
Prior art keywords
image
social
value
virtual scene
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311300662.6A
Other languages
English (en)
Other versions
CN117037048A (zh
Inventor
李其伦
薄涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lekai Technology Co ltd
Original Assignee
Beijing Lekai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Lekai Technology Co ltd filed Critical Beijing Lekai Technology Co ltd
Priority to CN202311300662.6A priority Critical patent/CN117037048B/zh
Publication of CN117037048A publication Critical patent/CN117037048A/zh
Application granted granted Critical
Publication of CN117037048B publication Critical patent/CN117037048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及视觉社交技术领域,具体公开了一种基于虚拟形象的社交互动方法及系统,所述方法包括接收社交端发送的社交请求,获取社交端的摄像头管理权限;基于所述摄像头管理权限实时获取社交视频,对所述社交视频进行识别,构建虚拟场景;在虚拟场景中插入虚拟形象并单向显示,接收社交端的确认信息后,开启数据传输端口;实时记录含有虚拟形象的虚拟场景的特征值,根据所述特征值控制所述数据传输端口。本发明对社交视频进行识别,提取少量的图像进行识别,构建虚拟形象的同时,构建虚拟场景,在计算量较少的前提下,提高了虚拟形象社交过程的信息量。

Description

一种基于虚拟形象的社交互动方法及系统
技术领域
本发明涉及视觉社交技术领域,具体是一种基于虚拟形象的社交互动方法及系统。
背景技术
随着智能手机的普及以及网络技术的发展,社交过程变的非常容易,其中,音频社交和视频社交逐渐的成为了两大主流。
由于视频社交的信息量更大,其创新方向更加广阔,其中一种创新方向就是视频社交过程的信息转码过程,人们在视频社交时,往往会很在意自己的视觉状态,当状态不好的时,用户会很抵触视频社交,这催生了美颜技术,也即,在视频社交过程中引入滤镜或特效,优化个人的视觉状态。
美颜技术有一种极限方案,就是直接采用虚拟形象,这在保留了用户神态的基础上,隐藏了用户的视觉状态,但是现有的虚拟形象技术是基于人脸识别的替换式方案,它通过定位用户的五官,然后采用预设的贴图对人脸进行替换,几乎不会随用户的变化而变化,这种方案的信息量很少,失去了视频社交原本的优势,因此,如何提高虚拟形象社交互动过程中的信息量是本发明技术方案想要解决的技术问题。
发明内容
本发明的目的在于提供一种基于虚拟形象的社交互动方法及系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于虚拟形象的社交互动方法,所述方法包括:
接收社交端发送的社交请求,获取社交端的摄像头管理权限;
基于所述摄像头管理权限实时获取社交视频,对所述社交视频进行识别,构建虚拟场景;
在虚拟场景中插入虚拟形象并单向显示,接收社交端的确认信息后,开启数据传输端口;所述数据传输端口用于将含有虚拟形象的虚拟场景向其他社交端发送;
实时记录含有虚拟形象的虚拟场景的特征值,根据所述特征值控制所述数据传输端口;控制方式包括开启和关闭。
作为本发明进一步的方案:所述基于所述摄像头管理权限实时获取社交视频,对所述社交视频进行识别,构建虚拟场景的步骤包括:
基于所述摄像头管理权限打开摄像头,基于摄像头的采集参数实时获取社交视频;所述采集参数含有调节端口,所述调节端口用于接收用户输入的调节指令;
对所述社交视频进行数据抽取,得到图像集;
依次计算图像集中各图像的清晰度,将所述清晰度与预设的清晰度阈值进行比对,当所述清晰度小于预设的清晰度阈值时,在图像集中删除对应图像,得到更新集;
在更新集中依次读取图像,对读取到的图像进行识别,构建虚拟场景;
其中,图像的清晰度计算过程为:
式中,为图像均值,分别为两个方向上的像素尺寸,为点 处的数值,为清晰度。
作为本发明进一步的方案:所述在更新集中依次读取图像,对读取到的图像进行识别,构建虚拟场景的步骤包括:
在更新集中依次读取图像,将所述图像转换至YCbCr空间,并提取Y分量;
遍历所述Y分量中的各个像素点,确定区域轮廓;
计算各个区域轮廓的像素均值及全局均值,根据所述全局均值对图像进行一级聚类;
比对一级聚类后的同类图像的像素均值,根据比对结果对图像进行二级聚类;
在二级聚类后的图像中选取一个图像,对选取出的图像进行修正;
将修正后的图像输入训练好的识别模型,输出识别物,根据所述识别物构建虚拟场景。
作为本发明进一步的方案:所述在二级聚类后的图像中选取一个图像,对选取出的图像进行修正的步骤包括:
对所述Y分量进行反色处理,并在预设半径下对其进行高斯模糊;
根据高斯模糊后的数值计算修正值;
对所述修正值进行逆转换,得到修正后的图像;
其中,计算修正值的过程包括:
式中,为图像修正后点的值,为原图像中点的值; 为点的修正指数,为反色处理并进行高斯模糊后的点的值。
作为本发明进一步的方案:所述对所述修正值进行逆转换,得到修正后的图像的步骤包括:
式中,为修正后的RGB值,为原图像的RGB值;Y为修正值,也 即,上述
作为本发明进一步的方案:所述实时记录含有虚拟形象的虚拟场景的特征值,根据所述特征值控制所述数据传输端口的步骤包括:
遍历含有虚拟形象的虚拟场景中的像素点,根据遍历结果确定轮廓;
计算各个轮廓的像素均值,根据所述像素均值计算并记录虚拟场景的特征值;
根据时间顺序排列所述特征值,并拟合变化曲线;
根据变化曲线的导数值控制所述数据传输端口。
本发明技术方案还提供了一种基于虚拟形象的社交互动系统,所述系统包括:
权限获取模块,用于接收社交端发送的社交请求,获取社交端的摄像头管理权限;
视频获取识别模块,用于基于所述摄像头管理权限实时获取社交视频,对所述社交视频进行识别,构建虚拟场景;
端口开放模块,用于在虚拟场景中插入虚拟形象并单向显示,接收社交端的确认信息后,开启数据传输端口;所述数据传输端口用于将含有虚拟形象的虚拟场景向其他社交端发送;
端口调节模块,用于实时记录含有虚拟形象的虚拟场景的特征值,根据所述特征值控制所述数据传输端口;控制方式包括开启和关闭。
作为本发明进一步的方案:所述视频获取识别模块包括:
采集单元,用于基于所述摄像头管理权限打开摄像头,基于摄像头的采集参数实时获取社交视频;所述采集参数含有调节端口,所述调节端口用于接收用户输入的调节指令;
数据抽取单元,用于对所述社交视频进行数据抽取,得到图像集;
图像剔除单元,用于依次计算图像集中各图像的清晰度,将所述清晰度与预设的清晰度阈值进行比对,当所述清晰度小于预设的清晰度阈值时,在图像集中删除对应图像,得到更新集;
识别构建单元,用于在更新集中依次读取图像,对读取到的图像进行识别,构建虚拟场景;
其中,图像的清晰度计算过程为:
式中,为图像均值,分别为两个方向上的像素尺寸,为点 处的数值,为清晰度。
作为本发明进一步的方案:所述识别构建单元包括:
提取子单元,用于在更新集中依次读取图像,将所述图像转换至YCbCr空间,并提取Y分量;
遍历子单元,用于遍历所述Y分量中的各个像素点,确定区域轮廓;
第一聚类子单元,用于计算各个区域轮廓的像素均值及全局均值,根据所述全局均值对图像进行一级聚类;
第二聚类子单元,用于比对一级聚类后的同类图像的像素均值,根据比对结果对图像进行二级聚类;
修正子单元,用于在二级聚类后的图像中选取一个图像,对选取出的图像进行修正;
执行子单元,用于将修正后的图像输入训练好的识别模型,输出识别物,根据所述识别物构建虚拟场景。
作为本发明进一步的方案:所述端口调节模块包括:
轮廓识别单元,用于遍历含有虚拟形象的虚拟场景中的像素点,根据遍历结果确定轮廓;
记录单元,用于计算各个轮廓的像素均值,根据所述像素均值计算并记录虚拟场景的特征值;
拟合单元,用于根据时间顺序排列所述特征值,并拟合变化曲线;
控制单元,用于根据变化曲线的导数值控制所述数据传输端口。
与现有技术相比,本发明的有益效果是:本发明对社交视频进行识别,提取少量的图像进行识别,构建虚拟形象的同时,构建虚拟场景,在计算量较少的前提下,提高了虚拟形象社交过程的信息量,此外,实时记录变化情况,根据变化情况判断是否存在突变,在遇到突发情况时,由用户选择是否公开,鲁棒性较高。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例。
图1为基于虚拟形象的社交互动方法的流程框图。
图2为步骤S200的流程框图。
图3为步骤S400的流程框图。
图4为基于虚拟形象的社交互动系统的组成结构框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为基于虚拟形象的社交互动方法的流程框图,本发明实施例中,一种基于虚拟形象的社交互动方法,所述方法包括:
步骤S100:接收社交端发送的社交请求,获取社交端的摄像头管理权限;
社交端是用户的个人电子设备,包括智能手机和个人电脑等,它需要具备图像获取功能,用于采集用户的当前场景,在此基础上,它还需要具备数据处理功能和数据传输功能,用于对采集到的当前场景进行识别,并创建含有虚拟形象的虚拟场景。
一个用户对应一个社交端,社交端用于与用户交互,接收到用户发送的社交请求时,将社交请求转移至数据处理中心,用户发送社交请求意味着他想与另一个社交端建立联系,一旦连接建立,那么另一个社交端即可观看到用户的视频,此时,再创建虚拟场景和虚拟形象会存在一定的信息泄露,比如,在连接建立后,虚拟场景和虚拟形象创建完成前的这一段时间内,另一个社交端观看到的是用户的实际视频,因此,创建虚拟场景和虚拟形象的步骤应该在连接建立之前。
接收到社交端发送的社交请求后,需要获取社交端的摄像头管理权限,只有获取到摄像头管理权限后才能够进行后续步骤。
步骤S200:基于所述摄像头管理权限实时获取社交视频,对所述社交视频进行识别,构建虚拟场景;
基于摄像头管理权限获取社交视频,获取过程是实时获取过程,其获取频率一般较高,比如一秒内获取24帧图像;对所述社交视频中的视觉信息进行识别,可以构建虚拟场景;在本发明技术方案中,不对音频进行分析。
步骤S300:在虚拟场景中插入虚拟形象并单向显示,接收社交端的确认信息后,开启数据传输端口;所述数据传输端口用于将含有虚拟形象的虚拟场景向其他社交端发送;
虚拟场景创建完成后,基于获取到的人像创建虚拟形象,将虚拟形象插入虚拟场景并显示,接收用户输入调节信息,对虚拟形象和虚拟场景进行修正直至用户满意,其中,当接收到社交端的确认信息时,意味着用户满意;此时,开启数据传输端口,含有虚拟形象的虚拟场景可以向其他社交端发送,这一过程的含义是创建连接通道。
需要说明的是,关于虚拟形象的创建过程,现有的很多自拍App都有类似功能,比如“漫画脸”特效,借鉴该功能,即可完成虚拟形象的创建过程。
步骤S400:实时记录含有虚拟形象的虚拟场景的特征值,根据所述特征值控制所述数据传输端口;控制方式包括开启和关闭;
在上述内容的基础上,计算含有虚拟形象的虚拟场景的特征值,对特征值进行识别,可以快速地判定是否存在波动时刻,波动时刻指的是含有虚拟形象的虚拟场景发生了突变。
图2为步骤S200的流程框图,所述基于所述摄像头管理权限实时获取社交视频,对所述社交视频进行识别,构建虚拟场景的步骤包括:
步骤S201:基于所述摄像头管理权限打开摄像头,基于摄像头的采集参数实时获取社交视频;所述采集参数含有调节端口,所述调节端口用于接收用户输入的调节指令;
步骤S201是摄像头的基础功能,由摄像头管理权限可以对摄像头的采集过程进行调节,用以获取不同清晰度的视频;但是在大部分场景下,采集参数采用默认值即可,用户也不会对其进行调节。
步骤S202:对所述社交视频进行数据抽取,得到图像集;
剔除社交视频中的音频信息,保留图像信息,得到图像集。
步骤S203:依次计算图像集中各图像的清晰度,将所述清晰度与预设的清晰度阈值进行比对,当所述清晰度小于预设的清晰度阈值时,在图像集中删除对应图像,得到更新集;
由上述内容可以得知,图像集中的图像数量极多,每一秒都会对应多个图像,这些图像之间的重复率较高,因此,需要对图像集中的图像进行选取;最先选取的依据是图像清晰度,在拍摄视频的过程中,电子设备不断运动(智能手机),获取到的图像的清晰度有可能会非常低,此时,该图像不具备分析价值,需要剔除;剔除图像后的图像集称为更新集。
步骤S204:在更新集中依次读取图像,对读取到的图像进行识别,构建虚拟场景;
在更新集中依次读取图像,并对图像进行识别,可以构建虚拟场景。
值得一提的是,上述内容中的图像的清晰度计算过程为:
式中,为图像均值,分别为两个方向上的像素尺寸,为点 处的数值,为清晰度。
需要说明的是的含义,它可以是单独的R值、G值和B值,也可以是由R值、G 值和B值确定的单一数值,比如灰度值。
作为本发明技术方案的一个优选实施例,对所述步骤S204进行了具体的限定,所述在更新集中依次读取图像,对读取到的图像进行识别,构建虚拟场景的步骤包括:
在更新集中依次读取图像,将所述图像转换至YCbCr空间,并提取Y分量;
遍历所述Y分量中的各个像素点,确定区域轮廓;
计算各个区域轮廓的像素均值及全局均值,根据所述全局均值对图像进行一级聚类;
比对一级聚类后的同类图像的像素均值,根据比对结果对图像进行二级聚类;
在二级聚类后的图像中选取一个图像,对选取出的图像进行修正;
将修正后的图像输入训练好的识别模型,输出识别物,根据所述识别物构建虚拟场景。
上述内容对虚拟场景的构建过程进行了具体的描述,首先,在更新集里读取图像,该图像由摄像头获取得到,为RGB图像,RGB图像有三个参数,不易分析,因此,将RGB图像转换至YCbCr空间后,提取Y分量,并对Y分量进行单独处理;其中,Y是指亮度分量,Cb指蓝色色度分量,而Cr指红色色度分量。
然后,遍历Y分量中的各个像素点,根据相邻像素点的色值关系可以确定不同区域的轮廓,称为区域轮廓;计算每个区域轮廓中色值的均值,得到各个区域轮廓的像素均值;计算所有像素均值的均值,得到全局均值。
最后,根据全局均值对图像进行一级聚类,再根据像素均值对图像进行二级聚类,此时,可以将相似的图像归为一类,在此基础上,依次在各类图像中选取一个图像,从而对更新集进行进一步的简化。
当选取到图像后,对图像进行修正,降低环境对图像的影响后,输入训练好的识别模型,得到识别物,读取识别物的理论模型,构建虚拟场景即可;其中,所述识别模型采用现有识物服务即可,所述识物服务在购物平台中非常常见。
在本发明技术方案的一个实例中,对图像的修正过程进行了限定,所述在二级聚类后的图像中选取一个图像,对选取出的图像进行修正的步骤包括:
对所述Y分量进行反色处理,并在预设半径下对其进行高斯模糊;
根据高斯模糊后的数值计算修正值;
对所述修正值进行逆转换,得到修正后的图像。
其中,计算修正值的过程包括:
式中,为图像修正后点的值,为原图像中点的值; 为点的修正指数,为反色处理并进行高斯模糊后的点的值。
作为本发明技术方案的一个优选实施例,所述对所述修正值进行逆转换,得到修正后的图像的步骤包括:
式中,为修正后的RGB值,为原图像的RGB值;Y为修正值,也 即,上述
关于上述图像处理内容,其目的是降低图像的环境影响,提高图像的细节度;具体的:
如果mask的值大于128,说明那个点是个暗像素同时周边也是暗像素,因此γ值需要小于0以便将其增亮,mask值小于128,对应的说明当前点是个较亮的像素,且周边像素也较亮,mask值为128则不产生任何变化,同时,mask值离128越远,校正的量就越大。
进一步的,由于现有的图像具有三个色值参数,在处理时需要对三个色值参数进行独立处理,再进行融合,这极大地提高了计算量,在本发明技术方案中,提供了一种解决方案,也即:将图像转换到YCbCr空间,然后只处理亮度通道,最后在转换到RGB空间,这一过程在保证处理效果的同时,极大地简化了计算过程。
实际上,如果对三个色值参数进行独立处理有可能会导致严重偏色,而只处理Y分量却不会,这也是其中一个优点。
图3为步骤S400的流程框图,所述实时记录含有虚拟形象的虚拟场景的特征值,根据所述特征值控制所述数据传输端口的步骤包括:
步骤S401:遍历含有虚拟形象的虚拟场景中的像素点,根据遍历结果确定轮廓;
步骤S402:计算各个轮廓的像素均值,根据所述像素均值计算并记录虚拟场景的特征值;
步骤S403:根据时间顺序排列所述特征值,并拟合变化曲线;
步骤S404:根据变化曲线的导数值控制所述数据传输端口。
在本发明技术方案的一个实例中,对数据传输端口的控制过程进行了限定,由于在上述内容中存在轮廓识别过程(步骤S204的限定部分),因此,步骤S400采用相似的计算过程计算特征值,这样可以简化程序设计过程;其中,所述特征值可以采用上述的“全局均值”,也即,计算所有像素均值的均值,也可以基于像素均值的分布情况确定新的形式,比如,组成矩阵,计算行列式;具体由工作人员限定。
排列所有特征值,连接并拟合坐标,可以得到一条变化曲线,对所述变化曲线进行求导,将求得的导数与预设的导数阈值进行比对,当求得的导数达到预设的导数阈值时,就说明特征值发生了突变,这意味着视频本身发生了突变,此时,需要将数据传输端口短暂关闭,由用户判断是否再次开启;这么做的好处是,虚拟形象具有隐藏身份的功能,如果因为角度或者其他原因暴露了真实信息,可能会造成意料之外的后果。
图4为基于虚拟形象的社交互动系统的组成结构框图,本发明实施例中,一种基于虚拟形象的社交互动系统,所述系统10包括:
权限获取模块11,用于接收社交端发送的社交请求,获取社交端的摄像头管理权限;
视频获取识别模块12,用于基于所述摄像头管理权限实时获取社交视频,对所述社交视频进行识别,构建虚拟场景;
端口开放模块13,用于在虚拟场景中插入虚拟形象并单向显示,接收社交端的确认信息后,开启数据传输端口;所述数据传输端口用于将含有虚拟形象的虚拟场景向其他社交端发送;
端口调节模块14,用于实时记录含有虚拟形象的虚拟场景的特征值,根据所述特征值控制所述数据传输端口;控制方式包括开启和关闭。
进一步的,所述视频获取识别模块12包括:
采集单元,用于基于所述摄像头管理权限打开摄像头,基于摄像头的采集参数实时获取社交视频;所述采集参数含有调节端口,所述调节端口用于接收用户输入的调节指令;
数据抽取单元,用于对所述社交视频进行数据抽取,得到图像集;
图像剔除单元,用于依次计算图像集中各图像的清晰度,将所述清晰度与预设的清晰度阈值进行比对,当所述清晰度小于预设的清晰度阈值时,在图像集中删除对应图像,得到更新集;
识别构建单元,用于在更新集中依次读取图像,对读取到的图像进行识别,构建虚拟场景;
其中,图像的清晰度计算过程为:
式中,为图像均值,分别为两个方向上的像素尺寸,为点 处的数值,为清晰度。
具体的,所述识别构建单元包括:
提取子单元,用于在更新集中依次读取图像,将所述图像转换至YCbCr空间,并提取Y分量;
遍历子单元,用于遍历所述Y分量中的各个像素点,确定区域轮廓;
第一聚类子单元,用于计算各个区域轮廓的像素均值及全局均值,根据所述全局均值对图像进行一级聚类;
第二聚类子单元,用于比对一级聚类后的同类图像的像素均值,根据比对结果对图像进行二级聚类;
修正子单元,用于在二级聚类后的图像中选取一个图像,对选取出的图像进行修正;
执行子单元,用于将修正后的图像输入训练好的识别模型,输出识别物,根据所述识别物构建虚拟场景。
更进一步的,所述端口调节模块14包括:
轮廓识别单元,用于遍历含有虚拟形象的虚拟场景中的像素点,根据遍历结果确定轮廓;
记录单元,用于计算各个轮廓的像素均值,根据所述像素均值计算并记录虚拟场景的特征值;
拟合单元,用于根据时间顺序排列所述特征值,并拟合变化曲线;
控制单元,用于根据变化曲线的导数值控制所述数据传输端口。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于虚拟形象的社交互动方法,其特征在于,所述方法包括:
接收社交端发送的社交请求,获取社交端的摄像头管理权限;
基于所述摄像头管理权限实时获取社交视频,对所述社交视频进行识别,构建虚拟场景;
在虚拟场景中插入虚拟形象并单向显示,接收社交端的确认信息后,开启数据传输端口;所述数据传输端口用于将含有虚拟形象的虚拟场景向其他社交端发送;
实时记录含有虚拟形象的虚拟场景的特征值,根据所述特征值控制所述数据传输端口;控制方式包括开启和关闭;
所述基于所述摄像头管理权限实时获取社交视频,对所述社交视频进行识别,构建虚拟场景的步骤包括:
基于所述摄像头管理权限打开摄像头,基于摄像头的采集参数实时获取社交视频;所述采集参数含有调节端口,所述调节端口用于接收用户输入的调节指令;
对所述社交视频进行数据抽取,得到图像集;
依次计算图像集中各图像的清晰度,将所述清晰度与预设的清晰度阈值进行比对,当所述清晰度小于预设的清晰度阈值时,在图像集中删除对应图像,得到更新集;
在更新集中依次读取图像,对读取到的图像进行识别,构建虚拟场景;
其中,图像的清晰度计算过程为:
式中,为图像均值,/>和/>分别为两个方向上的像素尺寸,/>为点/>处的数值,/>为清晰度;
所述在更新集中依次读取图像,对读取到的图像进行识别,构建虚拟场景的步骤包括:
在更新集中依次读取图像,将所述图像转换至YCbCr空间,并提取Y分量;
遍历所述Y分量中的各个像素点,确定区域轮廓;
计算各个区域轮廓的像素均值及全局均值,根据所述全局均值对图像进行一级聚类;
比对一级聚类后的同类图像的像素均值,根据比对结果对图像进行二级聚类;
在二级聚类后的图像中选取一个图像,对选取出的图像进行修正;
将修正后的图像输入训练好的识别模型,输出识别物,根据所述识别物构建虚拟场景。
2.根据权利要求1所述的基于虚拟形象的社交互动方法,其特征在于,所述在二级聚类后的图像中选取一个图像,对选取出的图像进行修正的步骤包括:
对所述Y分量进行反色处理,并在预设半径下对其进行高斯模糊;
根据高斯模糊后的数值计算修正值;
对所述修正值进行逆转换,得到修正后的图像;
其中,计算修正值的过程包括:
式中,为图像修正后点/>的值,/>为原图像中点/>的值;/>为点的修正指数,/>为反色处理并进行高斯模糊后的点/>的值。
3.根据权利要求2所述的基于虚拟形象的社交互动方法,其特征在于,所述对所述修正值进行逆转换,得到修正后的图像的步骤包括:
式中,、/>和/>为修正后的RGB值,/>、/>和/>为原图像的RGB值;Y为修正值,也即,上述/>
4.根据权利要求1所述的基于虚拟形象的社交互动方法,其特征在于,所述实时记录含有虚拟形象的虚拟场景的特征值,根据所述特征值控制所述数据传输端口的步骤包括:
遍历含有虚拟形象的虚拟场景中的像素点,根据遍历结果确定轮廓;
计算各个轮廓的像素均值,根据所述像素均值计算并记录虚拟场景的特征值;
根据时间顺序排列所述特征值,并拟合变化曲线;
根据变化曲线的导数值控制所述数据传输端口。
5.一种基于虚拟形象的社交互动系统,其特征在于,所述系统包括:
权限获取模块,用于接收社交端发送的社交请求,获取社交端的摄像头管理权限;
视频获取识别模块,用于基于所述摄像头管理权限实时获取社交视频,对所述社交视频进行识别,构建虚拟场景;
端口开放模块,用于在虚拟场景中插入虚拟形象并单向显示,接收社交端的确认信息后,开启数据传输端口;所述数据传输端口用于将含有虚拟形象的虚拟场景向其他社交端发送;
端口调节模块,用于实时记录含有虚拟形象的虚拟场景的特征值,根据所述特征值控制所述数据传输端口;控制方式包括开启和关闭;
所述视频获取识别模块包括:
采集单元,用于基于所述摄像头管理权限打开摄像头,基于摄像头的采集参数实时获取社交视频;所述采集参数含有调节端口,所述调节端口用于接收用户输入的调节指令;
数据抽取单元,用于对所述社交视频进行数据抽取,得到图像集;
图像剔除单元,用于依次计算图像集中各图像的清晰度,将所述清晰度与预设的清晰度阈值进行比对,当所述清晰度小于预设的清晰度阈值时,在图像集中删除对应图像,得到更新集;
识别构建单元,用于在更新集中依次读取图像,对读取到的图像进行识别,构建虚拟场景;
其中,图像的清晰度计算过程为:
式中,为图像均值,/>和/>分别为两个方向上的像素尺寸,/>为点/>处的数值,/>为清晰度;
所述识别构建单元包括:
提取子单元,用于在更新集中依次读取图像,将所述图像转换至YCbCr空间,并提取Y分量;
遍历子单元,用于遍历所述Y分量中的各个像素点,确定区域轮廓;
第一聚类子单元,用于计算各个区域轮廓的像素均值及全局均值,根据所述全局均值对图像进行一级聚类;
第二聚类子单元,用于比对一级聚类后的同类图像的像素均值,根据比对结果对图像进行二级聚类;
修正子单元,用于在二级聚类后的图像中选取一个图像,对选取出的图像进行修正;
执行子单元,用于将修正后的图像输入训练好的识别模型,输出识别物,根据所述识别物构建虚拟场景。
6.根据权利要求5所述的基于虚拟形象的社交互动系统,其特征在于,所述端口调节模块包括:
轮廓识别单元,用于遍历含有虚拟形象的虚拟场景中的像素点,根据遍历结果确定轮廓;
记录单元,用于计算各个轮廓的像素均值,根据所述像素均值计算并记录虚拟场景的特征值;
拟合单元,用于根据时间顺序排列所述特征值,并拟合变化曲线;
控制单元,用于根据变化曲线的导数值控制所述数据传输端口。
CN202311300662.6A 2023-10-10 2023-10-10 一种基于虚拟形象的社交互动方法及系统 Active CN117037048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311300662.6A CN117037048B (zh) 2023-10-10 2023-10-10 一种基于虚拟形象的社交互动方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311300662.6A CN117037048B (zh) 2023-10-10 2023-10-10 一种基于虚拟形象的社交互动方法及系统

Publications (2)

Publication Number Publication Date
CN117037048A CN117037048A (zh) 2023-11-10
CN117037048B true CN117037048B (zh) 2024-01-09

Family

ID=88637634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311300662.6A Active CN117037048B (zh) 2023-10-10 2023-10-10 一种基于虚拟形象的社交互动方法及系统

Country Status (1)

Country Link
CN (1) CN117037048B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107741809A (zh) * 2016-12-21 2018-02-27 腾讯科技(深圳)有限公司 一种虚拟形象之间的互动方法、终端、服务器及系统
CN108171789A (zh) * 2017-12-21 2018-06-15 迈吉客科技(北京)有限公司 一种虚拟形象生成方法和系统
CN108984087A (zh) * 2017-06-02 2018-12-11 腾讯科技(深圳)有限公司 基于三维虚拟形象的社交互动方法及装置
CN112215929A (zh) * 2020-10-10 2021-01-12 珠海格力电器股份有限公司 一种虚拟社交的数据处理方法、装置及系统
CN114266695A (zh) * 2021-12-24 2022-04-01 阿里巴巴(中国)有限公司 图像处理方法、图像处理系统及电子设备
CN116843802A (zh) * 2022-03-23 2023-10-03 腾讯科技(深圳)有限公司 虚拟形象的处理方法及相关产品

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8881030B2 (en) * 2009-08-24 2014-11-04 Disney Enterprises, Inc. System and method for enhancing socialization in virtual worlds

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107741809A (zh) * 2016-12-21 2018-02-27 腾讯科技(深圳)有限公司 一种虚拟形象之间的互动方法、终端、服务器及系统
CN108984087A (zh) * 2017-06-02 2018-12-11 腾讯科技(深圳)有限公司 基于三维虚拟形象的社交互动方法及装置
CN108171789A (zh) * 2017-12-21 2018-06-15 迈吉客科技(北京)有限公司 一种虚拟形象生成方法和系统
CN112215929A (zh) * 2020-10-10 2021-01-12 珠海格力电器股份有限公司 一种虚拟社交的数据处理方法、装置及系统
CN114266695A (zh) * 2021-12-24 2022-04-01 阿里巴巴(中国)有限公司 图像处理方法、图像处理系统及电子设备
CN116843802A (zh) * 2022-03-23 2023-10-03 腾讯科技(深圳)有限公司 虚拟形象的处理方法及相关产品

Also Published As

Publication number Publication date
CN117037048A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN106165390B (zh) 图像处理装置、摄影装置、图像处理方法
US20230401682A1 (en) Styled image generation method, model training method, apparatus, device, and medium
CN107730445A (zh) 图像处理方法、装置、存储介质和电子设备
CN103699532B (zh) 图像颜色检索方法和系统
CN101620679B (zh) 图像中的红眼消除方法
US8111940B2 (en) Image correction apparatus and method, and image correction program
CN112614060A (zh) 人脸图像头发渲染方法、装置、电子设备和介质
US20230230215A1 (en) Image processing method and apparatus, device, and medium
CN110163810A (zh) 一种图像处理方法、装置以及终端
Iraji et al. Skin color segmentation in fuzzy YCBCR color space with the mamdani inference
CN113393540A (zh) 图像中的色边像素点的确定方法、装置和计算机设备
US8164613B2 (en) Video communication system, terminal, and image converter
CN115442575A (zh) 一种基于视频质量评估的视频自适应传输方法及系统
CN116188296A (zh) 图像优化方法及其装置、设备、介质、产品
CN114283473A (zh) 人脸检测方法、装置、计算机设备和存储介质
CN117037048B (zh) 一种基于虚拟形象的社交互动方法及系统
CN113556544B (zh) 基于场景自适应的视频编码方法和装置、设备及存储介质
CN113628100A (zh) 视频增强方法、装置、终端及存储介质
CN112232205B (zh) 移动端cpu实时多功能人脸检测方法
EP3975043A1 (en) Image processing method, terminal, and storage medium
CN105488819A (zh) 颜色模板的生成方法、图像处理方法及装置
CN109729259A (zh) 图像处理装置、其方法、其系统以及计算机可读介质
CN112565887A (zh) 一种视频处理方法、装置、终端及存储介质
WO2023151210A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
WO2022111269A1 (zh) 视频的细节增强方法、装置、移动终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant