CN117079194B - 云视频ai理解生成方法、装置及计算机设备 - Google Patents

云视频ai理解生成方法、装置及计算机设备 Download PDF

Info

Publication number
CN117079194B
CN117079194B CN202311316558.6A CN202311316558A CN117079194B CN 117079194 B CN117079194 B CN 117079194B CN 202311316558 A CN202311316558 A CN 202311316558A CN 117079194 B CN117079194 B CN 117079194B
Authority
CN
China
Prior art keywords
cloud video
video frames
cloud
pixel block
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311316558.6A
Other languages
English (en)
Other versions
CN117079194A (zh
Inventor
贺国超
王曜
刘琦
许亦
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuntian Changxiang Information Technology Co ltd
Original Assignee
Shenzhen Yuntian Changxiang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuntian Changxiang Information Technology Co ltd filed Critical Shenzhen Yuntian Changxiang Information Technology Co ltd
Priority to CN202311316558.6A priority Critical patent/CN117079194B/zh
Publication of CN117079194A publication Critical patent/CN117079194A/zh
Application granted granted Critical
Publication of CN117079194B publication Critical patent/CN117079194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种云视频AI理解生成方法、装置及计算机设备，包括以下步骤：获取期望图像；根据期望图像，进行像素块抽取，得到多个第一像素块；根据第一像素块，通过AI理解网络，得到多个云视频帧；将多个云视频帧，通过序列映射关系，得到云视频帧序列顺序；根据云视频帧序列顺序，对各个云视频帧进行序列化，得到云视频。本发明通过AI理解网络，自动快速生成符合期望的视频，提高云视频帧生成效率，而且通过序列映射关系控制云视频帧的序列顺序，能够保证生成的云视频动态性更佳，更具真实感。

Description

云视频AI理解生成方法、装置及计算机设备
技术领域
本发明涉及视频处理技术领域，具体涉及一种云视频AI理解生成方法、装置及计算机设备。
背景技术
云游戏是以云计算为基础的游戏方式，在云游戏的运行模式下，所有游戏都在服务器端运行，并将渲染完毕后的游戏画面压缩后通过网络传送给用户。在客户端，用户的游戏设备不需要任何高端处理器和显卡，只需要基本的视频解压能力就可以了。云计算（cloud computing），是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。
在现有技术进行云游戏的云视频生成时，通常使用人工制作渲染的方式，容易造成云视频制作效率低下，难以满足在云游戏中云视频加载服务的时效性，影响云游戏体验。
发明内容
本发明的目的在于提供一种云视频AI理解生成方法、装置及计算机设备，以解决现有技术中云视频制作效率低下，难以满足在云游戏中云视频加载服务的时效性，影响云游戏体验的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
在本发明的第一个方面，本发明提供了一种云视频AI理解生成方法，包括以下步骤：
获取期望图像，所述期望图像对应于云视频生成的期望特征；
根据期望图像，进行像素块抽取，得到多个第一像素块；
根据第一像素块，通过AI理解网络，得到多个云视频帧，所述AI理解网络为神经网络；
将多个云视频帧，通过序列映射关系，得到云视频帧序列顺序，所述序列映射关系为聚类模型；
根据云视频帧序列顺序，对各个云视频帧进行序列化，得到云视频。
作为本发明的一种优选方案，所述第一像素块确定，包括：
对期望图像进行laplace变换，得到期望图像的各个低频分量，以及期望图像的各个高频分量；
在期望图像中，逐一将各个高频分量对应的像素块截取出，作为高频像素块；
在期望图像中，逐一将各个低频分量对应的像素块截取出，作为第一低频像素块；
高频像素块和第一低频像素块共同构成第一像素块。
作为本发明的一种优选方案，所述根据第一像素块，通过AI理解网络，得到多个云视频帧，包括：
第一步：在所有高频像素块中，随机抽取至少一个高频像素块，标记为第二像素块；
第二步：将所述第二像素块与所有第一低频像素块以在期望图像中的位置进行拼接，得到第三像素块；
第三步：在对抗网络GAN中输入第三像素块，由对抗网络GAN生成云视频帧；
循环执行第一步至第三步，得到多个云视频帧。
作为本发明的一种优选方案，所述云视频帧序列顺序的确定，包括：
将多个云视频帧，利用KMeans算法对多个云视频帧进行聚类划分，得到多个视频帧簇；
在每个视频帧簇中，设定云视频帧序列顺序中相邻位置的云视频帧的动量连续性最大化函数，作为帧排序期望目标函数；
所述帧排序期望目标函数的函数表达式为：；；式中，f ij 为第i个云视频帧和第j个云视频帧间的动量连续性，G i 为第i个云视频帧，G j 为第j个云视频帧，similar(G i ,G j )为G i 和G j 间的相似度运算函数，F为视频帧簇中以云视频帧的序列顺序的所有云视频帧间的动量连续性总和，G i 和G j 为相邻位置的云视频帧，n为视频帧簇中云视频帧的总数量，max为最大化运算符，i，j为计数变量；将视频帧簇作为求解空间，对帧排序期望目标进行排序求解，得到每个视频帧簇中云视频帧的序列顺序；
依据各个视频帧簇之间的聚类距离，由小到大排列，确定各个视频帧簇之间的序列顺序；
根据各个视频帧簇之间的序列顺序，对各个视频帧簇中云视频帧的序列顺序进行拼接，得到所述云视频帧序列顺序。
作为本发明的一种优选方案，多个云视频帧在对抗网络GAN生成后，进行标准化处理。
作为本发明的一种优选方案，所述第三像素块与期望图像具有相同的图像矩阵空间。
作为本发明的一种优选方案，将序列化后的各个云视频帧，进行超分辨处理，得到云视频。
作为本发明的一种优选方案，所述各个视频帧簇之间的聚类距离对应于各个视频帧簇中聚类中心之间距离。
在本发明的第二个方面，本发明提供了一种云视频AI理解生成装置，包括：
数据获取模块，用于获取期望图像，所述期望图像对应于云视频生成的期望特征；
数据处理模块，用于根据期望图像，进行像素块抽取，得到多个第一像素块；
根据第一像素块，通过AI理解网络，得到多个云视频帧，所述AI理解网络为神经网络；
将多个云视频帧，通过序列映射关系，得到云视频帧序列顺序，所述序列映射关系为聚类模型；
根据云视频帧序列顺序，对各个云视频帧进行序列化，得到云视频；
数据存储模块，用于存储AI理解网络、序列映射关系。
在本发明的第三个方面，本发明提供了一种计算机设备，
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使计算机设备执行云视频AI理解生成方法。
在本发明的第四个方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现云视频AI理解生成方法。
本发明与现有技术相比较具有如下有益效果：
本发明通过AI理解网络，自动快速生成符合期望的视频，提高云视频帧生成效率，而且通过序列映射关系控制云视频帧的序列顺序，能够保证生成的云视频动态性更佳，更具真实感。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的云视频AI理解生成方法流程图；
图2为本发明实施例提供的云视频AI理解生成方法装置框图；
图3为本发明实施例提供的计算机装置的内部结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在本发明的第一个方面，本发明提供了一种云视频AI理解生成方法，包括以下步骤：
获取期望图像，期望图像对应于云视频生成的期望特征；
根据期望图像，进行像素块抽取，得到多个第一像素块；
根据第一像素块，通过AI理解网络，得到多个云视频帧，AI理解网络为神经网络；
将多个云视频帧，通过序列映射关系，得到云视频帧序列顺序，序列映射关系为聚类模型；
根据云视频帧序列顺序，对各个云视频帧进行序列化，得到云视频。
本发明为了能够快速生成云游戏中的云视频，加速云游戏的视觉画面生成，提高云游戏上市速度，依据表征用户意愿的游戏画面期望特征，通过神经网络——GAN对抗网络，批量生产包含用户意愿的游戏画面期望特征的云视频帧，相较于人工制作包含用户意愿的游戏画面期望特征的云视频帧而言，效率得到了极大的提升。
本发明为了使得生成的云视频帧具有更丰富的动态性，增强后续序列化后形成的云视频的真实感，将表征用户意愿的游戏画面期望特征进行离散化，即将期望图像进行像素块离散化，形成多个像素块，再基于各个像素块（离散化的游戏画面期望特征），进行云视频帧生成，保证了各个云视频帧之间的主体相似性，同时也丰富了云视频帧之间动态细节，最终使得序列化形成的云视频画面主题连续，画面动态真实。
本发明为了实现各个云视频帧之间的主体相似性增强，同时丰富了云视频帧之间动态细节，将游戏画面期望特征离散为画面主体特征和画面细节特征，对应到第一画像中，是将第一画像离散为表征高频分量的像素块和表征低频分量的像素块，并将所有表征低频分量的像素块与随机选取的多个表征高频分量的像素块构建出生成云视频帧的基础数据，其中，运用所有表征低频分量的像素块能够保证所有生成的云视频帧主体相似，保证了云视频画面主体的相似性或同属性，即保证了云视频画面主题的连续性，逻辑性，而局部运用表征高频分量的像素块，保证了云视频画面纹理细节差异性，使得画面纹理细节变化性丰富，丰富了云视频帧之间动态细节。
本发明为了进一步保证云视频的真实性和逻辑性，构建序列映射关系，对生成的一系列视频帧进行序列化，即保持序列中相邻的视频帧之间具有最大的画面相似性，反映到用户视觉中，连续性更强，逻辑性也更强，因此，本发明利用相邻位置的云视频帧的动量连续性最大化，作为帧排序期望目标，根据帧排序期望目标求解得到的云视频序列化结果，能够保持相邻位置视频帧之间，画面相似度最高，动量连续性最强。
本发明为了使得生成的视频帧具有更丰富的动态性，增强后续序列化后形成的云视频的真实感，将表征用户意愿的游戏画面期望特征进行离散化，即将期望图像进行像素块离散化，形成多个像素块，具体如下：
第一像素块确定，包括：
对期望图像进行laplace变换，得到期望图像的各个低频分量，以及期望图像的各个高频分量；
在期望图像中，逐一将各个高频分量对应的像素块截取出，作为高频像素块；
在期望图像中，逐一将各个低频分量对应的像素块截取出，作为第一低频像素块；
高频像素块和第一低频像素块共同构成第一像素块。
本发明为了能够快速生成云游戏中的云视频，加速云游戏的视觉画面生成，提高云游戏上市速度，依据表征用户意愿的游戏画面期望特征，通过神经网络——GAN对抗网络，批量生产包含用户意愿的游戏画面期望特征的视频帧，具体如下：
根据第一像素块，通过AI理解网络，得到多个云视频帧，包括：
第一步：在所有高频像素块中，随机抽取至少一个高频像素块，标记为第二像素块；
第二步：将第二像素块与所有第一低频像素块以在期望图像中的位置进行拼接，得到第三像素块；
第三步：在对抗网络GAN中输入第三像素块，由对抗网络GAN生成云视频帧；
循环执行第一步至第三步，得到多个云视频帧。
本发明为了实现各个云视频帧之间的主体相似性增强，同时丰富了云视频帧之间动态细节，将游戏画面期望特征离散为画面主体特征和画面细节特征，对应到第一画像中，是将第一画像离散为表征高频分量的像素块和表征低频分量的像素块，并将所有表征低频分量的像素块与随机选取的多个表征高频分量的像素块构建出生成云视频帧的基础数据，其中，运用所有表征低频分量的像素块能够保证所有生成的云视频帧主体相似，保证了云视频画面主体的相似性或同属性，即保证了云视频画面主题的连续性，逻辑性，而局部运用表征高频分量的像素块，保证了云视频画面纹理细节差异性，使得画面纹理细节变化性丰富，丰富了云视频帧之间动态细节。
本发明为了进一步保证云视频的真实性和逻辑性，构建序列映射关系，对生成的一系列视频帧进行序列化，具体如下：
云视频帧序列顺序的确定，包括：
将多个云视频帧，利用KMeans算法对多个云视频帧进行聚类划分，得到多个视频帧簇；
在每个视频帧簇中，设定云视频帧序列顺序中相邻位置的云视频帧的动量连续性最大化函数，作为帧排序期望目标函数；
帧排序期望目标函数的函数表达式为：；；式中，f ij 为第i个云视频帧和第j个云视频帧间的动量连续性，G i 为第i个云视频帧，G j 为第j个云视频帧，similar(G i ,G j )为G i 和G j 间的相似度运算函数，F为视频帧簇中以云视频帧的序列顺序的所有云视频帧间的动量连续性总和，G i 和G j 为相邻位置的云视频帧，n为视频帧簇中云视频帧的总数量，max为最大化运算符，i，j为计数变量；将视频帧簇作为求解空间，对帧排序期望目标进行排序求解，得到每个视频帧簇中云视频帧的序列顺序；
依据各个视频帧簇之间的聚类距离，由小到大排列，确定各个视频帧簇之间的序列顺序；
根据各个视频帧簇之间的序列顺序，对各个视频帧簇中云视频帧的序列顺序进行拼接，得到云视频帧序列顺序。
本发明为了进一步保证云视频的真实性和逻辑性，构建序列映射关系，对生成的一系列视频帧进行序列化，即保持序列中相邻的视频帧之间具有最大的画面相似性，反映到用户视觉中，连续性更强，逻辑性也更强，因此，本发明利用相邻位置的云视频帧的动量连续性最大化，作为帧排序期望目标，根据帧排序期望目标求解得到的云视频序列化结果，能够保持相邻位置视频帧之间，画面相似度最高，动量连续性最强。
因此，本发明在构建云视频帧序列顺序中相邻位置的云视频帧的动量连续性最大化函数，利用相邻位置的云视频帧的画面相似性进行最大化量化，实现画面相似度越高，动量连续性越高，反映到用户视觉中，视觉连续性更强，视觉逻辑性也更强。
多个云视频帧在对抗网络GAN生成后，进行标准化处理。
第三像素块与期望图像具有相同的图像矩阵空间。
将序列化后的各个云视频帧，进行超分辨处理，得到云视频。
各个视频帧簇之间的聚类距离对应于各个视频帧簇中聚类中心之间距离。
如图2所示，在本发明的第二个方面，本发明提供了一种云视频AI理解生成装置，包括：
数据获取模块，用于获取期望图像，期望图像对应于云视频生成的期望特征；
数据处理模块，用于根据期望图像，进行像素块抽取，得到多个第一像素块；
根据第一像素块，通过AI理解网络，得到多个云视频帧，AI理解网络为神经网络；
将多个云视频帧，通过序列映射关系，得到云视频帧序列顺序，序列映射关系为聚类模型；
根据云视频帧序列顺序，对各个云视频帧进行序列化，得到云视频；
数据存储模块，用于存储AI理解网络、序列映射关系。
数据处理模块通过AI理解网络，根据第一像素块，得到多个云视频帧，具体如下：
第一步：数据处理模块在所有高频像素块中，随机抽取至少一个高频像素块，标记为第二像素块；
第二步：数据处理模块将第二像素块与所有第一低频像素块以在期望图像中的位置进行拼接，得到第三像素块；
第三步：数据处理模块在对抗网络GAN中输入第三像素块，由对抗网络GAN生成云视频帧；
数据处理模块循环执行第一步至第三步，得到多个云视频帧。
数据处理模块根据序列映射关系确定云视频帧序列顺序，具体如下：
数据处理模块将多个云视频帧，利用KMeans算法对多个云视频帧进行聚类划分，得到多个视频帧簇；
数据处理模块在每个视频帧簇中，设定云视频帧序列顺序中相邻位置的云视频帧的动量连续性最大化函数，作为帧排序期望目标函数；
帧排序期望目标函数的函数表达式为：；；式中，f ij 为第i个云视频帧和第j个云视频帧间的动量连续性，G i 为第i个云视频帧，G j 为第j个云视频帧，similar(G i ,G j )为G i 和G j 间的相似度运算函数，F为视频帧簇中以云视频帧的序列顺序的所有云视频帧间的动量连续性总和，G i 和G j 为相邻位置的云视频帧，n为视频帧簇中云视频帧的总数量，max为最大化运算符，i，j为计数变量；
数据处理模块将视频帧簇作为求解空间，对帧排序期望目标进行排序求解，得到每个视频帧簇中云视频帧的序列顺序；
数据处理模块依据各个视频帧簇之间的聚类距离，由小到大排列，确定各个视频帧簇之间的序列顺序；
数据处理模块根据各个视频帧簇之间的序列顺序，对各个视频帧簇中云视频帧的序列顺序进行拼接，得到云视频帧序列顺序。
如图3所示，在本发明的第三个方面，本发明提供了一种计算机设备，
至少一个处理器；以及
与至少一个处理器通信连接的存储器；
其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使计算机设备执行云视频AI理解生成方法。
在本发明的第四个方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现云视频AI理解生成方法。
本发明通过AI理解网络，自动快速生成符合期望的视频，提高云视频帧生成效率，而且通过序列映射关系控制云视频帧的序列顺序，能够保证生成的云视频动态性更佳，更具真实感。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (8)

1.一种云视频AI理解生成方法，其特征在于，包括以下步骤：
获取期望图像，所述期望图像对应于云视频生成的期望特征；
根据期望图像，进行像素块抽取，得到多个第一像素块；
根据第一像素块，通过AI理解网络，得到多个云视频帧，所述AI理解网络为神经网络；
将多个云视频帧，通过序列映射关系，得到云视频帧序列顺序，所述序列映射关系为聚类模型；
根据云视频帧序列顺序，对各个云视频帧进行序列化，得到云视频；
所述第一像素块确定，包括：
对期望图像进行laplace变换，得到期望图像的各个低频分量，以及期望图像的各个高频分量；
在期望图像中，逐一将各个高频分量对应的像素块截取出，作为高频像素块；
在期望图像中，逐一将各个低频分量对应的像素块截取出，作为第一低频像素块；
高频像素块和第一低频像素块共同构成第一像素块；
所述根据第一像素块，通过AI理解网络，得到多个云视频帧，包括：
第一步：在所有高频像素块中，随机抽取至少一个高频像素块，标记为第二像素块；
第二步：将所述第二像素块与所有第一低频像素块以在期望图像中的位置进行拼接，得到第三像素块；
第三步：在对抗网络GAN中输入第三像素块，由对抗网络GAN生成云视频帧；
循环执行第一步至第三步，得到多个云视频帧。
2.根据权利要求1所述的一种云视频AI理解生成方法，其特征在于：所述云视频帧序列顺序的确定，包括：
将多个云视频帧，利用KMeans算法对多个云视频帧进行聚类划分，得到多个视频帧簇；
在每个视频帧簇中，设定云视频帧序列顺序中相邻位置的云视频帧的动量连续性最大化函数，作为帧排序期望目标函数；
所述帧排序期望目标函数的函数表达式为：f ij =max[similar(G i ,G j )]；；式中，f ij 为第i个云视频帧和第j个云视频帧间的动量连续性，G i 为第i个云视频帧，G j 为第j个云视频帧，similar(G i ,G j )为G i 和G j 间的相似度运算函数，F为视频帧簇中以云视频帧的序列顺序的所有云视频帧间的动量连续性总和，G i 和G j 为相邻位置的云视频帧，n为视频帧簇中云视频帧的总数量，max为最大化运算符，i，j为计数变量；将视频帧簇作为求解空间，对帧排序期望目标进行排序求解，得到每个视频帧簇中云视频帧的序列顺序；
依据各个视频帧簇之间的聚类距离，由小到大排列，确定各个视频帧簇之间的序列顺序；
根据各个视频帧簇之间的序列顺序，对各个视频帧簇中云视频帧的序列顺序进行拼接，得到所述云视频帧序列顺序。
3.根据权利要求2所述的一种云视频AI理解生成方法，其特征在于：
多个云视频帧在对抗网络GAN生成后，进行标准化处理。
4.根据权利要求3所述的一种云视频AI理解生成方法，其特征在于：所述第三像素块与期望图像具有相同的图像矩阵空间。
5.根据权利要求4所述的一种云视频AI理解生成方法，其特征在于：将序列化后的各个云视频帧，进行超分辨处理，得到云视频。
6.根据权利要求5所述的一种云视频AI理解生成方法，其特征在于：所述各个视频帧簇之间的聚类距离对应于各个视频帧簇中聚类中心之间距离。
7.一种云视频AI理解生成装置，其特征在于，包括：
数据获取模块，用于获取期望图像，所述期望图像对应于云视频生成的期望特征；
数据处理模块，用于根据期望图像，进行像素块抽取，得到多个第一像素块；
根据第一像素块，通过AI理解网络，得到多个云视频帧，所述AI理解网络为神经网络；
将多个云视频帧，通过序列映射关系，得到云视频帧序列顺序，所述序列映射关系为聚类模型；
根据云视频帧序列顺序，对各个云视频帧进行序列化，得到云视频；
数据存储模块，用于存储AI理解网络、序列映射关系；
第一像素块确定，包括：
对期望图像进行laplace变换，得到期望图像的各个低频分量，以及期望图像的各个高频分量；
在期望图像中，逐一将各个高频分量对应的像素块截取出，作为高频像素块；
在期望图像中，逐一将各个低频分量对应的像素块截取出，作为第一低频像素块；
高频像素块和第一低频像素块共同构成第一像素块；
根据第一像素块，通过AI理解网络，得到多个云视频帧，包括：
第一步：在所有高频像素块中，随机抽取至少一个高频像素块，标记为第二像素块；
第二步：将所述第二像素块与所有第一低频像素块以在期望图像中的位置进行拼接，得到第三像素块；
第三步：在对抗网络GAN中输入第三像素块，由对抗网络GAN生成云视频帧；
循环执行第一步至第三步，得到多个云视频帧。
8.一种计算机设备，其特征在于，
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使计算机设备执行权利要求1-6任一项所述的方法。
CN202311316558.6A 2023-10-12 2023-10-12 云视频ai理解生成方法、装置及计算机设备 Active CN117079194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311316558.6A CN117079194B (zh) 2023-10-12 2023-10-12 云视频ai理解生成方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311316558.6A CN117079194B (zh) 2023-10-12 2023-10-12 云视频ai理解生成方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN117079194A CN117079194A (zh) 2023-11-17
CN117079194B true CN117079194B (zh) 2024-01-05

Family

ID=88711918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311316558.6A Active CN117079194B (zh) 2023-10-12 2023-10-12 云视频ai理解生成方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN117079194B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448083A (zh) * 2018-09-29 2019-03-08 浙江大学 一种从单幅图像生成人脸动画的方法
CN109618222A (zh) * 2018-12-27 2019-04-12 北京字节跳动网络技术有限公司 一种拼接视频生成方法、装置、终端设备及存储介质
CN109889849A (zh) * 2019-01-30 2019-06-14 北京市商汤科技开发有限公司 视频生成方法、装置、介质及设备
CN109919884A (zh) * 2019-01-30 2019-06-21 西北工业大学 基于高斯滤波加权的红外和可见光图像融合方法
CN112019762A (zh) * 2020-07-23 2020-12-01 北京迈格威科技有限公司 视频处理方法及装置、存储介质及电子设备
CN114092610A (zh) * 2021-11-22 2022-02-25 哈尔滨工业大学（深圳） 一种基于生成对抗网络的人物视频生成方法
CN115174963A (zh) * 2022-09-08 2022-10-11 阿里巴巴（中国）有限公司 视频生成方法、视频帧生成方法、装置及电子设备
CN115375539A (zh) * 2021-07-21 2022-11-22 黑芝麻智能科技有限公司 图像分辨率增强、多帧图像超分辨率系统和方法
CN115689947A (zh) * 2022-12-30 2023-02-03 杭州魔点科技有限公司 一种图像锐化的方法、系统、电子装置和存储介质
CN115861131A (zh) * 2023-02-03 2023-03-28 北京百度网讯科技有限公司 基于图像生成视频、模型的训练方法、装置及电子设备
CN116246195A (zh) * 2021-12-08 2023-06-09 电子湾有限公司 用于电子商务应用程序的依据图像的自动视频生成

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8135222B2 (en) * 2009-08-20 2012-03-13 Xerox Corporation Generation of video content from image sets
US9407926B2 (en) * 2014-05-27 2016-08-02 Intel Corporation Block-based static region detection for video processing

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448083A (zh) * 2018-09-29 2019-03-08 浙江大学 一种从单幅图像生成人脸动画的方法
CN109618222A (zh) * 2018-12-27 2019-04-12 北京字节跳动网络技术有限公司 一种拼接视频生成方法、装置、终端设备及存储介质
CN109889849A (zh) * 2019-01-30 2019-06-14 北京市商汤科技开发有限公司 视频生成方法、装置、介质及设备
CN109919884A (zh) * 2019-01-30 2019-06-21 西北工业大学 基于高斯滤波加权的红外和可见光图像融合方法
CN112019762A (zh) * 2020-07-23 2020-12-01 北京迈格威科技有限公司 视频处理方法及装置、存储介质及电子设备
CN115375539A (zh) * 2021-07-21 2022-11-22 黑芝麻智能科技有限公司 图像分辨率增强、多帧图像超分辨率系统和方法
CN114092610A (zh) * 2021-11-22 2022-02-25 哈尔滨工业大学（深圳） 一种基于生成对抗网络的人物视频生成方法
CN116246195A (zh) * 2021-12-08 2023-06-09 电子湾有限公司 用于电子商务应用程序的依据图像的自动视频生成
CN115174963A (zh) * 2022-09-08 2022-10-11 阿里巴巴（中国）有限公司 视频生成方法、视频帧生成方法、装置及电子设备
CN115689947A (zh) * 2022-12-30 2023-02-03 杭州魔点科技有限公司 一种图像锐化的方法、系统、电子装置和存储介质
CN115861131A (zh) * 2023-02-03 2023-03-28 北京百度网讯科技有限公司 基于图像生成视频、模型的训练方法、装置及电子设备

Also Published As

Publication number Publication date
CN117079194A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
WO2021093453A1 (zh) 三维表情基的生成方法、语音互动方法、装置及介质
CN111814620B (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
CN113838176B (zh) 模型的训练方法、三维人脸图像生成方法及设备
US11900557B2 (en) Three-dimensional face model generation method and apparatus, device, and medium
CN111275784B (zh) 生成图像的方法和装置
CN111681177B (zh) 视频处理方法及装置、计算机可读存储介质、电子设备
CN111754622B (zh) 脸部三维图像生成方法及相关设备
Ling et al. Re-visiting discriminator for blind free-viewpoint image quality assessment
CN113095206A (zh) 虚拟主播生成方法、装置和终端设备
CN110930492A (zh) 模型渲染的方法、装置、计算机可读介质及电子设备
CN113096015B (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
CN117079194B (zh) 云视频ai理解生成方法、装置及计算机设备
CN115713585B (zh) 纹理图像重建方法、装置、计算机设备和存储介质
CN116959058A (zh) 一种三维人脸驱动方法及相关装置
CN112990370B (zh) 图像数据的处理方法和装置、存储介质及电子设备
CN113222178B (zh) 模型训练方法、用户界面的生成方法、装置及存储介质
CN115063513A (zh) 一种图像处理方法以及装置
CN115496651A (zh) 特征处理方法、装置、计算机可读存储介质及电子设备
CN113592765A (zh) 图像处理方法、装置、设备及存储介质
Kanojia et al. MIC-GAN: multi-view assisted image completion using conditional generative adversarial networks
CN115953553B (zh) 虚拟形象生成方法、装置、电子设备以及存储介质
CN116485964B (zh) 一种数字虚拟对象的表情处理方法、装置及存储介质
Alkobi et al. Internal diverse image completion
Schneider et al. Photo-Realistic Exemplar-Based Face Ageing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant