CN115061770A - 显示动态壁纸的方法和电子设备 - Google Patents

显示动态壁纸的方法和电子设备 Download PDF

Info

Publication number
CN115061770A
CN115061770A CN202210954710.2A CN202210954710A CN115061770A CN 115061770 A CN115061770 A CN 115061770A CN 202210954710 A CN202210954710 A CN 202210954710A CN 115061770 A CN115061770 A CN 115061770A
Authority
CN
China
Prior art keywords
image
sequence
optical flow
flow information
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210954710.2A
Other languages
English (en)
Other versions
CN115061770B (zh
Inventor
王龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210954710.2A priority Critical patent/CN115061770B/zh
Publication of CN115061770A publication Critical patent/CN115061770A/zh
Priority to PCT/CN2022/135952 priority patent/WO2024031879A1/zh
Application granted granted Critical
Publication of CN115061770B publication Critical patent/CN115061770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及终端领域，提供了一种显示动态壁纸的方法和电子设备，该方法包括：检测到对第一图像的第一操作；响应于第一操作，对第一图像进行语义分割处理，得到第一图像的语义分割图像，第一图像的语义分割图像中包括第一图像中的目标语义区域的信息；将第一图像与第一图像的语义分割图像输入至预先训练的运动预测模型，得到第一光流信息，第一光流信息包括第一图像中目标语义区域的光流信息；基于第一光流信息与第一图像，得到第一图像序列，第一图像序列包括第一图像，第一图像序列为电子设备的动态壁纸资源；显示第一图像序列。基于本申请的技术方案，能够基于一帧图像生成电子设备的动态壁纸资源，提高用户体验感。

Description

显示动态壁纸的方法和电子设备
技术领域
本申请涉及终端领域，具体地，涉及一种显示动态壁纸的方法和电子设备。
背景技术
电子设备中的壁纸通常可以反应用户的审美需求；对于不同用户可以基于用户的兴趣爱好设置不同的壁纸；目前，在电子设备中显示动态壁纸的方式通常包括两种实现方式；一种实现方式为在多帧图像之间基于动画效果进行切换，从而实现电子设备中显示动态壁纸；另一种实现方式为将获取到的视频设置为壁纸，从而实现电子设备中显示动态壁纸。
但是，对于基于多帧图像叠加动画特效的方式显示动态壁纸而言，需要较为专业的设计和制作，对于一般用户不易获取；对于将已获取的视频设置为动态壁纸的方式而言，动态壁纸在循环播放过程中容易出现显示画面间断跳变的问题。
因此，如何在电子设备中显示动态壁纸，提高用户体验感成为一个亟需解决的问题。
发明内容
本申请提供了一种显示动态壁纸的方法和电子设备，能够基于一帧静态图像自动生成电子设备的动态壁纸资源；从而提高用户体验感。
第一方面，提供了一种显示动态壁纸的方法，应用于电子设备，包括：
检测到对第一图像的第一操作；
响应于第一操作，对所述第一图像进行语义分割处理，得到所述第一图像的语义分割图像，所述第一图像的语义分割图像中包括所述第一图像中的目标语义区域的信息；
将所述第一图像与所述第一图像的语义分割图像输入至预先训练的运动预测模型，得到第一光流信息，所述第一光流信息包括所述第一图像中目标语义区域的光流信息；
基于所述第一光流信息与所述第一图像，得到第一图像序列，所述第一图像序列包括所述第一图像，所述第一图像序列为所述电子设备的动态壁纸资源；
显示所述第一图像序列。
应理解，在本申请的实施例中，目标语义区域为预先配置的图像中具有运动属性的图像区域，具有运动属性可以是指该图像区域所对应的拍摄对象通常处于运动状态。
应理解，第一光流信息可以包括用于表示目标语义区域的运动方向的信息和位置偏移量的大小的信息；其中，运动方向的信息可以是指目标语义区域中的拍摄对象的运动方向；位置偏移量的大小可以是指两帧图像之间同一拍摄对象的位置偏移的大小。
在本申请的实施例中，在电子设备检测到对第一图像的设置操作（例如，设置为壁纸、设置为锁屏、或者设置为背景等）之后，可以对第一图像进行语义分割处理，得到第一图像的语义分割图像；将第一图像与第一图像的语义分割图像输入至预先训练的运动预测模型，得到第一光流信息；基于第一光流信息与第一图像，生成第一图像序列；第一图像序列为电子设备的动态壁纸资源，电子设备可以显示第一图像序列；即在本申请的实施例中，电子设备可以在检测到用户对第一图像（静态图像）的第一操作之后，可以基于第一图像自动生成图像序列并响应于第一操作在电子设备中显示该图像序列；由于在本申请的实施例中，基于用户选择的一帧静态图像能够生成图像序列，并将该图像序列作为动态壁纸资源在电子设备中显示；因此，在电子设备中显示的图像序列能够满足用户的审美需求；此外，与直接下载视频并在电子设备中将该视频作为动态壁纸显示相比，本申请方案中可以基于不同风格的图像生成任何风格的图像序列，因此本方案的局限性较小用户的可选择性更大；与基于多帧静态图像得到动态壁纸相比，本申请方案中的图像序列是基于静态图像与光流信息生成的图像序列；因此，本申请图像序列的连续性较好，即电子设备中显示的动态壁纸的连续性较好；因此，通过本申请实施例提供的显示动态壁纸的方法，能够提高用户体验。
结合第一方面，在第一方面的某些实现方式中，所述基于所述第一光流信息与所述第一图像，得到第一图像序列，包括：
基于所述第一光流信息对所述第一图像中的目标语义区域进行处理，得到所述第一图像序列。
在本申请的实施例中，在基于第一光流信息对第一图像进行处理时，可以仅对第一图像中的目标语义区域进行处理；由于目标语义区域通常为第一图像中具有运动属性的拍摄对象所在的图像区域；因此，基于第一光流信息对第一图像中的目标语义区域进行处理后，可以得到动态的图像序列；在本申请的实施例中，由于可以只对目标语义区域进行处理，因此在基于静态图像得到图像序列的同时能够确保电子设备的功耗较小。
结合第一方面，在第一方面的某些实现方式中，所述基于所述第一光流信息对所述第一图像中的目标语义区域进行处理，得到所述第一图像序列，包括：
获取所述第一图像的图像特征；
基于所述第一光流信息对所述第一图像中目标语义区域的图像特征进行处理，得到图像特征序列，所述图像特征序列包括所述第一图像的图像特征；
对所述图像特征序列进行特征重建处理，得到所述第一图像序列。
在本申请的实施例中，可以基于第一光流信息对第一图像的图像特征进行处理；由于在本申请的方案中，在图像特征空间中基于光流信息对图像特征进行处理得到图像特征序列；基于该图像特征序列，得到的图像序列；与直接在图像空间中进行处理相比，本申请实施能够在一定程度上减少图像序列中出现的伪影等问题，从而能够提高图像序列的连续性；提高图像序列的图像质量。
结合第一方面，在第一方面的某些实现方式中，所述第一光流信息包括第一方向的信息与位置偏移量的信息，所述基于所述第一光流信息对所述第一图像中目标语义区域的图像特征进行处理，得到图像特征序列，包括：
基于所述第一方向与所述位置偏移量对所述第一图像中目标语义区域的图像特征进行第一处理，得到第一图像特征；
基于第二方向与所述位置偏移量对所述第一图像中目标语义区域的图像特征进行第二处理，得到第二图像特征，其中，所述第二方向与所述第一方向相反，所述第一处理与所述第二处理中所述位置偏移量的大小相同；
对所述第一图像特征与所述第二图像特征进行融合处理，得到第三图像特征，所述图像序列中包括所述第三图像特征。
在本申请的实施例中为了提高图像特征序列的连续性；在基于第一图像的图像特征生成图像特征序列时，可以采用融合采样方式生成图像特征序列；融合采样方式是指以第一图像的图像序列为中心，对两个相反方向且位置偏移量的大小相同的两个图像特征进行融合处理，得到融合图像特征；将融合图像特征替换该位置偏移量对应的图像特征，图像特征序列中包括该融合图像特征；基于该融合特征得到的图像序列能够确保图像序列的连续性较好，此外可以使得得到的图像序列能够循环播放。
结合第一方面，在第一方面的某些实现方式中，所述获取所述第一图像的图像特征，包括：
基于图像重建模型中的编码器对所述第一图像进行特征提取，得到所述第一图像的图像特征。
在本申请的实施例中，可以通过图像重建模型提取第一图像的图像特征，图像重建模型中可以包括编码器与解码器，其中，编码器用于对图像进行特征提取得到图像的图像特征；解码器用于对图像特征进行重建，将图像从特征空间转换为图像空间。
结合第一方面，在第一方面的某些实现方式中，所述图像重建模型还包括解码器，所述对所述图像特征序列进行特征重建处理，得到所述第一图像序列，包括：
基于所述图像重建模型中的解码器对所述图像特征序列进行所述特征重建处理，得到所述第一图像序列。
应理解，特征重建处理可以是指图像复原处理（Restore），即将图像特征复原为图像的过程。
结合第一方面，在第一方面的某些实现方式中，还包括：
获取样本图像流，所述样本图像流包括N帧样本图像，N为大于1的整数；
获取所述样本图像流中第N-1帧样本图像与所述第N-1帧样本图像的语义分割图像；
将所述第N-1帧样本图像与所述第N-1帧样本图像的语义分割图像输入至待训练的运动预测模型，得到预测光流信息，所述预测光流信息中包括所述第N-1帧样本图像中样本目标语义区域的预测光流信息；
基于所述预测光流信息对所述第N-1样本图像进行处理，得到第N帧预测图像；
基于所述样本图像流中第N帧样本图像与所述第N帧预测图像对所述待训练的运动预测模型进行训练，得到训练后的运动预测模型。
在本申请的实施例中，可以基于样本视频中两帧连续的样本视频数据（例如，第N-1帧样本图像与第N帧样本图像）作为训练数据；例如，以第N-1帧样本图像与第N-1帧图像的语义分割图像作为待训练的运动预测模型的输入数据，得到运动预测模型输出的预测光流信息；基于预测光流信息对第N-1帧样本图像中的样本目标语义区域进行像素处理，得到第N帧预测图像；通过第N帧样本图像与第N帧预测图像之间的差异，通过反向传播算法训练待训练的运动预测模型的参数，使得待训练的运动预测模型收敛，得到训练后的运动预测模型；基于本申请实施例中的运动预测模型可以得到拍摄对象中具有运动属性的拍摄对象对应的图像区域的光流信息；基于光流信息与静态图像从而能够生成作为动态壁纸资源的视频资源。
结合第一方面，在第一方面的某些实现方式中，所述运动预测模型的参数是基于所述第N帧样本图像与所述第N帧预测图像之间的差异通过反向传播算进行迭代得到的。
结合第一方面，在第一方面的某些实现方式中，所述运动预测模型为卷积神经网络。
结合第一方面，在第一方面的某些实现方式中，所述第一光流信息为所述第一图像中目标语义区域的光流信息。
在本申请的实施例中，第一光流信息可以为第一图像中目标语义区域的光流信息；由于目标语义区域通常为第一图像中具有运动属性的图像区域，具有运动属性可以是指该图像区域所对应的拍摄对象通常处于运动状态；因此，运动预测模型可以只输出第一图像中目标语义区域的光流信息；从而减少运动预测模型的运算量，提高运动预测模型的运算效率。
结合第一方面，在第一方面的某些实现方式中，所述第一操作包括将所述第一图像设置为壁纸的操作、将所述第一图像设置为桌面的操作或者将所述第一图像设置为熄屏显示的操作。
结合第一方面，在第一方面的某些实现方式中，所述第一图像中的目标语义区域为预先配置的图像语义标签对应的所述第一图像中的图像区域。
结合第一方面，在一种可能的实现方式中，预先配置的语义标签可以包括但不限于：流水的语义标签、云雾的语义标签、用户头发区域的语义标签等。
第二方面，提供了一种电子设备，所述电子设备包括一个或多个处理器与存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
检测到对第一图像的第一操作；
响应于第一操作，对所述第一图像进行语义分割处理，得到所述第一图像的语义分割图像，所述第一图像的语义分割图像中包括所述第一图像中的目标语义区域的信息；
将所述第一图像与所述第一图像的语义分割图像输入至预先训练的运动预测模型，得到第一光流信息，所述第一光流信息包括所述第一图像中目标语义区域的光流信息；
基于所述第一光流信息与所述第一图像，得到第一图像序列，所述第一图像序列包括所述第一图像；
显示所述第一图像序列。
结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
基于所述第一光流信息对所述第一图像中的目标语义区域进行处理，得到所述第一图像序列。
结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
获取所述第一图像的图像特征；
基于所述第一光流信息对所述第一图像中目标语义区域的图像特征进行处理，得到图像特征序列，所述图像特征序列包括所述第一图像的图像特征；
对所述图像特征序列进行特征重建处理，得到所述第一图像序列。
结合第二方面，在第二方面的某些实现方式中，所述第一光流信息包括第一方向的信息与位置偏移量的信息，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
基于所述第一方向与所述位置偏移量对所述第一图像中目标语义区域的图像特征进行第一处理，得到第一图像特征；
基于第二方向与所述位置偏移量对所述第一图像中目标语义区域的图像特征进行第二处理，得到第二图像特征，其中，所述第二方向与所述第一方向相反，所述第一处理与所述第二处理中所述位置偏移量的大小相同；
对所述第一图像特征与所述第二图像特征进行融合处理，得到第三图像特征，所述图像序列中包括所述第三图像特征。
结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
基于图像重建模型中的编码器对所述第一图像进行特征提取，得到所述第一图像的图像特征。
结合第二方面，在第二方面的某些实现方式中，所述图像重建模型还包括解码器，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
基于所述图像重建模型中的解码器对所述图像特征序列进行所述特征重建处理，得到所述第一图像序列。
结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
获取样本图像流，所述样本图像流包括N帧样本图像，N为大于1的整数；
获取所述样本图像流中第N-1帧样本图像与所述第N-1帧样本图像的语义分割图像；
将所述第N-1帧样本图像与所述第N-1帧样本图像的语义分割图像输入至待训练的运动预测模型，得到预测光流信息，所述预测光流信息中包括所述第N-1帧样本图像中样本目标语义区域的预测光流信息；
基于所述预测光流信息对所述第N-1样本图像进行处理，得到第N帧预测图像；
基于所述样本图像流中第N帧样本图像与所述第N帧预测图像对所述待训练的运动预测模型进行训练，得到训练后的运动预测模型。
结合第二方面，在第二方面的某些实现方式中，所述运动预测模型的参数是基于所述第N帧样本图像与所述第N帧预测图像之间的差异通过反向传播算进行迭代得到的。
结合第二方面，在第二方面的某些实现方式中，所述运动预测模型为卷积神经网络。
结合第二方面，在第二方面的某些实现方式中，所述第一光流信息为所述第一图像中目标语义区域的光流信息。
结合第二方面，在第二方面的某些实现方式中，所述第一操作包括将所述第一图像设置为壁纸的操作、将所述第一图像设置为桌面的操作或者将所述第一图像设置为熄屏显示的操作。
结合第二方面，在第二方面的某些实现方式中，所述第一图像中的目标语义区域为预先配置的图像语义标签对应的所述第一图像中的图像区域。
第三方面，提供了一种电子设备，包括用于执行第一方面或者第一方面中的任意一种实现方式中的显示动态壁纸的方法的模块/单元。
第四方面，提供一种电子设备，所述电子设备包括一个或多个处理器和存储器与；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或者第一方面中的任意一种实现方式中的显示动态壁纸的方法。
第五方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第一方面中的任一种显示动态壁纸的方法。
第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或者第一方面中的任意一种实现方式中的显示动态壁纸的方法。
第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或者第一方面中的任意一种实现方式中的显示动态壁纸的方法。
在本申请的实施例中，在电子设备检测到对第一图像的设置操作（例如，设置为壁纸、设置为锁屏、或者设置为背景等）之后，可以对第一图像进行语义分割处理，得到第一图像的语义分割图像；将第一图像与第一图像的语义分割图像输入至预先训练的运动预测模型，得到第一光流信息；基于第一光流信息与第一图像，生成第一图像序列；第一图像序列为电子设备的动态壁纸资源，电子设备可以显示第一图像序列；即在本申请的实施例中，电子设备可以在检测到用户对第一图像（静态图像）的第一操作之后，可以基于第一图像自动生成图像序列并响应于第一操作在电子设备中显示该图像序列；由于在本申请的实施例中，基于用户选择的一帧静态图像能够生成图像序列，并将该图像序列作为动态壁纸资源在电子设备中显示；因此，在电子设备中显示的图像序列能够满足用户的审美需求；此外，与直接下载视频并在电子设备中将该视频作为动态壁纸显示相比，本申请方案中可以基于不同风格的图像生成任何风格的图像序列，因此本方案的局限性较小用户的可选择性更大；与基于多帧静态图像得到动态壁纸相比，本申请方案中的图像序列是基于静态图像与光流信息生成的图像序列；因此，本申请图像序列的连续性较好，即电子设备中显示的动态壁纸的连续性较好；因此，通过本申请实施例提供的显示动态壁纸的方法，能够提高用户体验。
附图说明
图1是一种适用于本申请的电子设备的硬件系统的示意图；
图2是一种适用于本申请的电子设备的软件系统的示意图；
图3是一种适用于本申请实施例的应用场景的示意图；
图4是本申请实施例提供的一种显示动态壁纸的方法的示意性流程图；
图5是本申请实施例提供的另一种显示动态壁纸的方法的示意性流程图；
图6是本申请实施例提供的语义分割图像与目标语义区域的示意图；
图7是本申请实施例提供的图像序列的示意图；
图8是本申请实施例提供的另一种显示动态壁纸的方法的示意性流程图；
图9是本申请实施例提供的一种运行预测模型的训练方法的示意性流程图；
图10是一种适用于本申请实施例的图形用户界面的示意图；
图11是一种适用于本申请实施例的图形用户界面的示意图；
图12是一种适用于本申请实施例的图形用户界面的示意图；
图13是本申请实施例提供的一种电子设备的结构示意图；
图14是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
在本申请的实施例中，以下术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
为了便于对本申请实施例的理解，首先对本申请实施例中涉及的相关概念进行简要说明。
1、光流（optical flow）
光流是空间运动物体在观察成像平面上的像素运动的瞬时速度；一般而言，光流是由于场景中前景目标本身的移动和/或相机的运动所产生的。
2、光流图像
光流图像中包括像素点的光流信息，光流信息包括偏移方向与偏移运动量的大小。
3、语义分割(Semantic segmentation)
语义分割是计算机视觉中的基本任务，语义分割是指将图像中的每个像素链接到类标签的过程。
4、图像特征
图像特征是指对图像的特点或内容进行表征的一系列属性的集合；例如，图像特征可以包括图像的颜色特征、纹理特征、形状特征以及空间关系特征等。
5、神经网络
神经网络是指将多个单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入；每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
6、卷积神经网络（convolutional neuron network，CNN）
卷积神经网络是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
7、反向传播算法
神经网络可以采用误差反向传播（back propagation，BP）算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。
下面将结合附图，对本申请实施例中提供的显示动态壁纸的方法和电子设备进行描述。
图1示出了一种适用于本申请的电子设备的硬件系统。
电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实（augmented reality，AR）设备、虚拟现实（virtual reality，VR）设备、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本、个人数字助理（personal digital assistant，PDA）、投影仪等等，本申请实施例对电子设备100的具体类型不作任何限制。
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，SIM）卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
需要说明的是，图1所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图1所示的部件更多或更少的部件，或者，电子设备100可以包括图1所示的部件中某些部件的组合，或者，电子设备100可以包括图1所示的部件中某些部件的子部件。图1示的部件可以以硬件、软件、或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器（application processor，AP）、调制解调处理器、图形处理器（graphics processing unit，GPU）、图像信号处理器（image signal processor，ISP）、控制器、视频编解码器、数字信号处理器（digital signal processor，DSP）、基带处理器、神经网络处理器（neural-network processing unit，NPU）。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。例如，处理器110可以包括以下接口中的至少一个：内部集成电路（inter-integrated circuit，I2C）接口、内部集成电路音频（inter-integrated circuit sound，I2S）接口、脉冲编码调制（pulse codemodulation，PCM）接口、通用异步接收传输器（universal asynchronous receiver/transmitter，UART）接口、移动产业处理器接口（mobile industry processor interface，MIPI）、通用输入输出（general-purpose input/output，GPIO）接口、SIM接口、USB接口。
示例性地，在本申请的实施例中，处理器110可以用于执行本申请实施例提供的显示动态壁纸的方法；例如，检测到对第一图像的第一操作；响应于第一操作，对第一图像进行语义分割处理，得到第一图像的语义分割图像，第一图像的语义分割图像中包括第一图像中的目标语义区域；将第一图像与第一图像的语义分割图像输入至预先训练的运动预测模型，得到第一光流信息，第一光流信息包括第一图像中目标语义区域的光流信息；基于第一光流信息与第一图像，得到第一图像序列，第一图像序列包括第一图像；显示第一图像序列。
图1所示的各模块间的连接关系只是示意性说明，并不构成对电子设备100的各模块间的连接关系的限定。可选地，电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194可以用于显示图像或视频。
可选地，显示屏194可以用于显示图像或视频。显示屏194包括显示面板。显示面板可以采用液晶显示屏（liquid crystal display，LCD）、有机发光二极管（organic light-emitting diode，OLED）、有源矩阵有机发光二极体（active-matrix organic light-emitting diode，AMOLED）、柔性发光二极管（flex light-emitting diode，FLED）、迷你发光二极管（mini light-emitting diode，Mini LED）、微型发光二极管（micro light-emitting diode，Micro LED）、微型OLED （Micro OLED）或量子点发光二极管（quantum dotlight emitting diodes，QLED）。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
示例性地，在本申请的实施例中，显示屏194可以显示动态壁纸、显示动态锁屏或者显示动态桌面等。
电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过摄像头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193（也可以称为镜头）用于捕获静态图像或视频。可以通过应用程序指令触发开启，实现拍照功能，如拍摄获取任意场景的图像。摄像头可以包括成像镜头、滤光片、图像传感器等部件。物体发出或反射的光线进入成像镜头，通过滤光片，最终汇聚在图像传感器上。成像镜头主要是用于对拍照视角中的所有物体（也可以称为待拍摄场景、目标场景，也可以理解为用户期待拍摄的场景图像）发出或反射的光汇聚成像；滤光片主要是用于将光线中的多余光波（例如除可见光外的光波，如红外）滤去；图像传感器可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。图像传感器主要是用于对接收到的光信号进行光电转换，转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。
示例性地，数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
示例性地，视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组（moving picture experts group，MPEG）1、MPEG2、MPEG3和MPEG4。
示例性地，陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴（即，x轴、y轴和z轴）的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。
示例性地，加速度传感器180E可检测电子设备100在各个方向上（一般为x轴、y轴和z轴）加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态，作为横竖屏切换和计步器等应用程序的输入参数。
示例性地，距离传感器180F用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，电子设备100可以利用距离传感器180F测距以实现快速对焦。
示例性地，环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。
示例性地，指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。
示例性地，触摸传感器180K，也称为触控器件。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，并且与显示屏194设置于不同的位置。
上文详细描述了电子设备100的硬件系统，下面介绍电子设备100的软件系统。
图2是本申请实施例提供的电子设备的软件系统的示意图。
如图2所示，系统架构中可以包括应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。
应用层210可以包括图库应用程序。
可选地，应用层210还可以包括相机应用程序、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。
应用框架层220为应用层的应用程序提供应用程序编程接口（applicationprogramming interface，API）和编程框架；应用框架层可以包括一些预定义的函数。
例如，应用框架层220可以包括图库访问接口；图库访问接口可以用于获取图库的相关数据。
硬件抽象层230用于将硬件抽象化。
例如，硬件抽象模块可以包括显示动作壁纸的算法；基于显示动态壁纸的算法，可以执行本申请实施例的显示动态壁纸的相关方法。
驱动层240用于为不同硬件设备提供驱动。例如，驱动层可以包括显示屏驱动。
硬件层250可以包括显示屏以及其他硬件设备。
目前，在电子设备中显示动态壁纸的方式通常包括两种实现方式；一种实现方式为在多帧图像之间基于动画效果进行切换，从而实现电子设备中显示动态壁纸；另一种实现方式为将获取到的视频设置为壁纸，从而实现电子设备中显示动态壁纸。但是，对于基于多帧图像叠加动画特效的方式显示动态壁纸而言，需要较为专业的设计和制作，对于一般用户不易获取；对于将已获取的视频设置为动态壁纸的方式而言，动态壁纸在循环播放过程中容易出现显示画面间断跳变的问题。
有鉴于此，本申请的实施例提供了一种显示动态壁纸的方法和电子设备；在本申请的实施例中，在电子设备检测到对第一图像的设置操作（例如，设置为壁纸、设置为锁屏、或者设置为背景等）之后，可以对第一图像进行语义分割处理，得到第一图像的语义分割图像；将第一图像与第一图像的语义分割图像输入至预先训练的运动预测模型，得到第一光流信息；基于第一光流信息与第一图像，生成第一图像序列；第一图像序列为电子设备的动态壁纸资源，电子设备可以显示第一图像序列；即在本申请的实施例中，电子设备可以在检测到用户对第一图像（静态图像）的第一操作之后，可以基于第一图像自动生成图像序列并响应于第一操作在电子设备中显示该图像序列；由于在本申请的实施例中，基于用户选择的一帧静态图像能够生成图像序列，并将该图像序列作为动态壁纸资源在电子设备中显示；因此，在电子设备中显示的图像序列能够满足用户的审美需求；此外，与直接下载视频并在电子设备中将该视频作为动态壁纸显示相比，本申请方案中可以基于不同风格的图像生成任何风格的图像序列，因此本方案的局限性较小用户的可选择性更大；与基于多帧静态图像得到动态壁纸相比，本申请方案中的图像序列是基于静态图像与光流信息生成的图像序列；因此，本申请图像序列的连续性较好，即电子设备中显示的动态壁纸的连续性较好；因此，通过本申请实施例提供的显示动态壁纸的方法，能够提高用户体验。
下面结合图3对本申请实施例提供的显示动态壁纸的方法进行详细的描述。
可选地，本申请实施例中的显示动态壁纸的方法可以应用于电子设备的显示；例如，电子设备的显示包括但不限于：电子设备的熄屏显示、电子设备的锁屏显示或者电子设备的桌面背景显示等；通过本申请实施例中的显示动态壁纸的方法，电子设备在检测到用户对一帧静态图像的设置操作后，可以基于该一帧静态图像生成图像序列；在电子设备的显示屏中显示该图像序列。
示例性地，如图3所示的电子设备的锁屏显示界面260；该锁屏显示界面260中包括显示对象261，显示对象261可以为树木；显示对象261的树叶可以处于非静止状态；换而言之，锁屏显示界面260中可以显示动态壁纸。
应理解，上述为对应用场景的举例说明，并不对本申请的应用场景作任何限定。
图4是本申请实施例提供的一种显示动态壁纸的方法的示意性流程图。该方法300包括可以由图1所示的电子设备执行；该方法包括步骤S310至步骤S350，下面分别对步骤S310至步骤S350进行详细的描述。
步骤S310、检测到对第一图像的第一操作。
示例性地，电子设备检查到对第一图像的第一操作。
可选地，第一图像可以是电子设备采集的图像；或者，第一图像可以是指用户通过电子设备下载的图像；本申请对第一图像的来源不作任何限定。
可选地，第一操作可以包括但不限于：将第一图像设置为壁纸的操作、将第一图像设置为桌面的操作或者将第一图像设置为熄屏显示的操作。
例如，如图12中的（b）所示，第一操作可以为将第一图像设置为动态壁纸的操作。
步骤S320、响应于第一操作，对第一图像进行语义分割处理，得到第一图像的语义分割图像。
应理解，语义分割是指将图像中的每个像素链接到类标签的过程；基于语义分割处理可以得到第一图像中不同区域的语义信息。
示例性地，第一图像可以为如图6中的（a）所示的图像；第一图像对应的语义分割图像可以为如图6中的（b）所示的图像。
例如，如图6中的（a）所示，第一图像中包括草地、远山以及流水等图像区域；第一图像的语义分割图像中可以包括3个标签分别为标签0~标签2；其中，标签0可以用于标记草地；标签1可以用于标记远山、标签2可以用于标记流水。
可选地，目标语义区域可以为预先配置的图像中具有运动属性的图像区域。
应理解，具有运动属性可以是指该图像区域所对应的拍摄对象通常处于运动状态。
示例性地，预先配置的语义标签可以包括但不限于：流水的语义标签、云雾的语义标签、用户头发区域的语义标签等。
例如，第一图像如图6中的（a）所示，则基于第一图像的语义分割图像与预先设置的语义标签可以得到第一图像中的目标语义区域为区域480，如图6中的（c）所示。
步骤S330、将第一图像与第一图像的语义分割图像输入至预先训练的运动预测模型，得到第一光流信息。
其中，第一光流信息包括第一图像中目标语义区域的光流信息。
可选地，第一光流信息可以指示第一图像中各个像素点的光流信息。
可选地，第一光流信息为第一图像中目标语义区域的光流信息。
应理解，光流信息可以用于表示目标语义区域的运动方向的信息和位置偏移量的大小；其中，运动方向的信息可以是指目标语义区域中的拍摄对象的运动方向；位置偏移量的大小可以是指两帧图像之间该拍摄对象位置偏移的大小。
需要说明的是，运动预测模型可以用于预测输入图像的光流信息；例如，运动预测模型可以用于预测输入图像中各个像素点的光流信息；或者，运动预测模型可以用于预测输入图像中预设语义对应的图像区域（例如，目标语义区域）中各个像素点的光流信息。
可选地，可以通过以下方式得到训练后的运动预测模型：
获取样本图像流，其中，样本图像流包括N帧样本图像，N为大于1的整数；获取样本图像流中第N-1帧样本图像与第N-1帧样本图像的语义分割图像；将第N-1帧样本图像与第N-1帧样本图像的语义分割图像输入至待训练的运动预测模型，得到预测光流信息，预测光流信息中包括所述第N-1帧样本图像中样本目标语义区域的预测光流信息；基于预测光流信息对第N-1样本图像进行处理，得到第N帧预测图像；基于样本图像流中第N帧样本图像与第N帧预测图像对待训练的运动预测模型进行训练，得到训练后的运动预测模型。
可选地，运动预测模型的参数是基于第N帧样本图像与第N帧预测图像之间的差异通过反向传播算进行迭代得到的。示例性地，具体实现方式可以参见后续图9所示，此处不再赘述。
示例性地，运动预测模型可以为卷积神经网络。
步骤S340、基于第一光流信息与第一图像，得到第一图像序列。
其中，第一图像序列包括第一图像，第一图像序列为电子设备的动态壁纸资源。
在一个示例中，可以基于第一光流信息对第一图像中的各个像素点进行处理，得到第一图像序列。
在一个示例中，可以基于第一光流信息对第一图像中的目标语义区域进行处理，得到第一图像序列。
在本申请的实施例中，在基于第一光流信息对第一图像进行处理时，可以仅对第一图像中的目标语义区域进行处理；由于目标语义区域通常为第一图像中具有运动属性的拍摄对象所在的图像区域；因此，基于第一光流信息对第一图像中的目标语义区域进行处理后，可以得到动态的图像序列；在本申请的实施例中，由于可以只对目标语义区域进行处理，因此在基于静态图像得到图像序列的同时能够确保电子设备的功耗较小。
可选地，基于光流信息对第一图像中的目标语义区域进行处理，得到第一图像序列，包括：
获取第一图像的图像特征；基于第一光流信息对第一图像中目标语义区域的图像特征进行处理，得到图像特征序列，图像特征序列包括第一图像的图像特征；对图像特征序列进行特征重建处理，得到第一图像序列。
示例性地，光流图像可以用于表示光流信息；在光流图像与第一图像的图像特征的尺寸大小不一致的情况下，可以对光流图像进行下采样处理，使得光流图像与第一图像的图像特征的尺寸大小相同。
在本申请的实施例中，可以基于第一光流信息对第一图像的图像特征进行处理；由于在本申请的方案中，在图像特征空间中基于光流信息对图像特征进行处理得到图像特征序列；基于该图像特征序列，得到的图像序列；与直接在图像空间中进行处理相比，本申请实施能够在一定程度上减少图像序列中出现的伪影等问题，从而能够提高图像序列的连续性；提高图像序列的图像质量。
可选地，第一光流信息包括第一方向的信息与位置偏移量的信息，基于第一光流信息对第一图像中目标语义区域的图像特征进行处理，得到图像特征序列，包括：
基于第一方向与位置偏移量对第一图像中目标语义区域的图像特征进行第一处理，得到第一图像特征；基于第二方向与位置偏移量对第一图像中目标语义区域的图像特征进行第二处理，得到第二图像特征，其中，第二方向与第一方向相反，第一处理与第二处理中位置偏移量的大小相同；对第一图像特征与第二图像特征进行融合处理，得到第三图像特征，图像序列中包括第三图像特征。
应理解，第一光流信息中的第一方向可以用于表示目标语义区域对应的拍摄对象的运动方向；位置偏移量大小可以用于表示目标语义区域的像素在两帧图像之间的像素偏移量大小。
示例性地，假设第一图像中的目标语义区域为流水所在的图像区域，基于第一光流信息可以得的流水所在的图像区域的运动方向为第一方向（例如，向右），位置偏移量大小为1；第一图像中云雾所在的图像区域包括的像素点A，像素点A的坐标为（x1,y1）；可以以像素点A为基准，基于第一方向与偏移量大小对第一图像的图像特征中流水区域进行偏移运动，得到偏移后图像特征序列，图像特征序列中的图像特征分别包括像素点A1、A2、A3、A4对应的图像特征等；其中，像素点A1表示以像素点A为基准朝向第一方向的反方向进行两次偏移运动，得到像素点A1的坐标为（x1-2,y1-2）；像素点A2表示以像素点A为基准朝向第一方向的反方向进行一次偏移运动，得到像素点A2的坐标为（x1-1,y1-1）；像素点A3表示以像素点A为基准朝向第一方向进行一次偏移运动，得到像素点A3的坐标为（x1+1,y1+1）；像素点A4表示以像素点A为基准朝向第一方向进行两次偏移运动，得到像素点A4的坐标为（x1+2,y1+2）。
在本申请的实施例中为了提高图像特征序列的连续性；在基于第一图像的图像特征生成图像特征序列时，可以采用融合采样方式生成图像特征序列；融合采样方式是指以第一图像的图像序列为中心，对两个相反方向且位置偏移量的大小相同的两个图像特征进行融合处理，得到融合图像特征；将融合图像特征替换该位置偏移量对应的图像特征，图像特征序列中包括该融合图像特征；基于该融合特征得到的图像序列可以使得得到的图像序列能够循环播放，图像序列的连续性较好。
可选地，获取第一图像的图像特征，包括：
基于图像重建模型中的编码器对第一图像进行特征提取，得到第一图像的图像特征。
示例性地，可以通过图像重建模型提取第一图像的图像特征，图像重建模型中可以包括编码器与解码器，其中，编码器用于对图像进行特征提取得到图像的图像特征；解码器用于对图像特征进行重建，将图像从特征空间转换为图像空间得到图像。
例如，图像重建模型可以是指任意一种用于图像重建的卷积神经网络，本申请对图像重建模型不作任何限定。
可选地，图像重建模型还包括解码器，对图像特征序列进行特征重建处理，得到第一图像序列，包括：
基于图像重建模型中的解码器对图像特征序列进行特征重建处理，得到第一图像序列。
应理解，特征重建处理可以是指图像复原处理（Restore），即将图像特征复原为图像的过程。
示例性地，可以通过图像重建模型对图像特征序列进行特征重建处理；图像重建模型中可以包括编码器与解码器，其中，编码器用于对图像进行特征提取得到图像的图像特征；解码器用于对图像特征进行重建，将图像从特征空间转换为图像空间得到图像。
例如，图像序列可以包括如图7所示的图像，其中，图7中的（a）所示的图像、图7中的（b）所示的图像以及图像7中的（c）所示的图像可以是基于图像特征序列进行重建得到的图像序列。
步骤S350、显示第一图像序列。
示例性地，基于第一图像序列可以得到视频；基于第一操作，可以将该视频设置为锁屏显示、壁纸、桌面、熄屏显示等。
可选地，在一种可能的实现方式中，电子设备在生成第一图像序列之后可以保存第一图像序列；在检测到电子设备指示显示第一图像序列的操作之后，电子设备再显示第一图像序列。
在本申请的实施例中，在电子设备检测到对第一图像的设置操作（例如，设置为壁纸、设置为锁屏、或者设置为背景等）之后，可以对第一图像进行语义分割处理，得到第一图像的语义分割图像；将第一图像与第一图像的语义分割图像输入至预先训练的运动预测模型，得到第一光流信息；基于第一光流信息与第一图像，生成第一图像序列；第一图像序列为电子设备的动态壁纸资源，电子设备可以显示第一图像序列；即在本申请的实施例中，电子设备可以在检测到用户对第一图像（静态图像）的第一操作之后，可以基于第一图像自动生成图像序列并响应于第一操作在电子设备中显示该图像序列；由于在本申请的实施例中，基于用户选择的一帧静态图像能够生成图像序列，并将该图像序列作为动态壁纸资源在电子设备中显示；因此，在电子设备中显示的图像序列能够满足用户的审美需求；此外，与直接下载视频并在电子设备中将该视频作为动态壁纸显示相比，本申请方案中可以基于不同风格的图像生成任何风格的图像序列，因此本方案的局限性较小用户的可选择性更大；与基于多帧静态图像得到动态壁纸相比，本申请方案中的图像序列是基于静态图像与光流信息生成的图像序列；因此，本申请图像序列的连续性较好，即电子设备中显示的动态壁纸的连续性较好；因此，通过本申请实施例提供的显示动态壁纸的方法，能够提高用户体验。
图5是本申请实施例提供的另一种显示动态壁纸的方法的示意性流程图。该方法400包括可以由图1所示的电子设备执行；该方法包括步骤S410至步骤S470，下面分别对步骤S410至步骤S470进行详细的描述。
步骤S410、检测到对第一图像的操作。
示例性地，检测到对第一图像的操作可以是指将第一图像设置为动态壁纸的操作。
可选地，第一图像可以是电子设备采集的图像；或者，第一图像可以是指用户通过电子设备下载的图像。
应理解，第一图像为一张静态图像；本申请实施例对第一图像的来源不作任何限定。
可选地，对第一图像的操作可以包括但不限于：将第一图像设置为壁纸的操作、将第一图像设置为桌面的操作或者将第一图像设置为熄屏显示的操作。
例如，如图12中的（b）所示，对第一图像的操作可以为将第一图像设置为动态壁纸的操作。
步骤S420、对第一图像进行语义分割处理，得到语义分割图像。
应理解，语义分割是指将图像中的每个像素链接到类标签的过程；基于语义分割处理可以得到第一图像中不同区域的语义信息。
示例性地，第一图像可以为如图6中的（a）所示的图像；第一图像对应的语义分割图像可以为如图6中的（b）所示的图像。
例如，如图6中的（a）所示，第一图像中包括草地、远山以及流水等图像区域；第一图像的语义分割图像中可以包括3个标签分别为标签0~标签2；其中，标签0可以用于标记草地；标签1可以用于标记远山、标签2可以用于标记流水。
可选地，基于语义分割图像与预先配置的语义标签可以得到目标语义区域。
示例性地，预先配置的语义标签可以包括但不限于：流水的语义标签、云雾的语义标签、用户头发区域的语义标签等。
例如，第一图像如图6中的（a）所示，则基于第一图像的语义分割图像与预先设置的语义标签可以得到第一图像中的目标语义区域为区域480，如图6中的（c）所示。
步骤S430、基于语义分割图像与第一图像，得到目标语义区域的光流图像。
应理解，光流图像可以用于指示光流信息。
可选地，可以将第一图像与第一图像的语义分割图像输入至运动预测模型，得到目标语义区域的光流图像。其中，运动预测模型可以为预先训练的神经网络模型，运动预测模型的训练方法可以参见后续9所示的相关描述。
应理解，目标语义区域的光流图像可以用于指示目标语义区域的运动方向的信息以及目标语义区域的位置偏移量大小；例如，两帧图像之间目标语义区域中各个像素点的位置偏移量大小。
步骤S440、对第一图像进行特征提取，得到第一图像的图像特征。
应理解，特征提取是图象处理中的一个运算；也就是说，特征提取是对第一图像进行的一个运算处理，可以遍历每个像素来确定该像素的图像特征。
还应理解，图像特征是指对图像的特点或内容进行表征的一系列属性的集合；例如，图像特征可以包括图像的颜色特征、纹理特征、形状特征以及空间关系特征等。
可选地，可以通过图像重建模型提取第一图像的图像特征，图像重建模型中可以包括编码器与解码器，其中，编码器用于对图像进行特征提取得到图像的图像特征；解码器用于对图像特征进行特征重建处理，将图像从特征空间转换为图像空间得到图像。
可选地，图像重建模型可以是指任意一种用于图像重建的卷积神经网络，本申请对图像重建模型不作任何限定。
应理解，上述为举例说明，还可以通过其他方式对第一图像进行特征提取。
步骤S450、基于光流图像与第一图像的图像特征，得到图像特征序列。
示例性地，光流图像可以用于表示目标语义区域的运动方向和位置偏移量大小；基于目标语义区域的运动方向和位置偏移量大小，可以对第一图像的图像特征进行偏移计算，得到图像特征序列。
例如，假设第一图像中的目标语义区域为流水所在的图像区域，基于光流图像可以得的流水所在的图像区域的运动方向为第一方向（例如，向右），位置偏移量大小为1；第一图像中流水所在的图像区域包括的像素点A，像素点A的坐标为（x1,y1）；可以以像素点A为基准，基于第一方向与位置偏移量大小对第一图像的图像特征中流水区域进行偏移运动，得到偏移后图像特征序列，图像特征序列中的图像特征分别包括像素点A1、A2、A3、A4对应的图像特征等；其中，像素点A1表示以像素点A为基准朝向第一方向的反方向进行两次位置偏移处理，得到像素点A1的坐标为（x1-2,y1-2）；像素点A2表示以像素点A为基准朝向第一方向的反方向进行一次位置偏移处理，得到像素点A2的坐标为（x1-1,y1-1）；像素点A3表示以像素点A为基准朝向第一方向进行一次位置偏移处理，得到像素点A3的坐标为（x1+1,y1+1）；像素点A4表示以像素点A为基准朝向第一方向进行两次位置偏移处理，得到像素点A4的坐标为（x1+2,y1+2）。
可选地，在光流图像与第一图像的图像特征的尺寸大小不一致的情况下，可以对光流图像进行下采样处理，使得光流图像与第一图像的图像特征的尺寸大小相同。
在本申请的实施例中，可以基于第一光流信息对第一图像的图像特征进行处理；由于在本申请的方案中，在图像特征空间中基于光流信息对图像特征进行处理得到图像特征序列；基于该图像特征序列，得到的图像序列；与直接在图像空间中进行处理相比，本申请实施能够在一定程度上减少图像序列中出现的伪影等问题，从而能够提高图像序列的连续性；提高图像序列的图像质量。
步骤S460、对图像特征序列进行特征重建处理，得到图像序列。
应理解，特征重建处理可以是指图像复原处理（Restore），即将图像特征复原为图像的过程。
可选地，可以通过图像重建模型对图像特征序列进行重建，输出图像序列。其中，图像重建模型中可以包括编码器与解码器，其中，编码器用于对图像进行特征提取得到图像的图像特征；解码器用于对图像特征进行重建，将图像从特征空间转换为图像空间得到图像。
可选地，图像重建模型可以是指任意一种用于图像重建的卷积神经网络，本申请对图像重建模型不作任何限定。
应理解，上述为举例说明，还可以通过其他方式对图像特征序列进行特征重建处理。
例如，图像序列可以包括如图7所示的图像，图7中的（a）所示的图像、图7中的（b）所示的图像以及图像7中的（c）所示的图像可以是基于图像特征序列进行重建得到的图像序列。
步骤S470、显示图像序列。
示例性地，图像序列可以得到视频；基于检测到用户对第一图像的操作，可以响应于用户的操作显示图像序列。
例如，响应于用户对第一图像的操作，可以将图像序列设置为熄屏显示的壁纸、锁屏显示的壁纸或者桌面背景等。
在本申请的实施例中，电子设备可以在检测到用户对第一图像（静态图像）的第一操作之后，可以基于第一图像自动生成图像序列并响应于第一操作在电子设备中显示该图像序列；由于在本申请的实施例中，基于用户选择的一帧静态图像能够生成图像序列，并将该图像序列作为动态壁纸资源在电子设备中显示；因此，在电子设备中显示的图像序列能够满足用户的审美需求；此外，与直接下载视频并在电子设备中将该视频作为动态壁纸显示相比，本申请方案中可以基于不同风格的图像生成任何风格的图像序列，因此本方案的局限性较小用户的可选择性更大；与基于多帧静态图像得到动态壁纸相比，本申请方案中的图像序列是基于静态图像与光流信息生成的图像序列；因此，本申请图像序列的连续性较好，即电子设备中显示的动态壁纸的连续性较好；因此，通过本申请实施例提供的显示动态壁纸的方法，能够提高用户体验。
图8是本申请实施例提供的另一种显示动态壁纸的方法的示意性流程图。该方法500包括可以由图1所示的电子设备执行；该方法包括步骤S510至步骤S570，下面分别对步骤S510至步骤S570进行详细的描述。
步骤S510、获取第一图像。
可选地，第一图像可以是电子设备采集的图像；或者，第一图像可以是指用户通过电子设备下载的图像。
步骤S520、对第一图像进行语义分割处理，得到语义分割图像。
应理解，语义分割是指将图像中的每个像素链接到类标签的过程；基于语义分割处理可以得到第一图像中不同区域的语义信息。
示例性地，第一图像可以为如图6中的（a）所示的图像；第一图像对应的语义分割图像可以为如图6中的（b）所示的图像。
例如，如图6中的（a）所示，第一图像中包括草地、远山以及流水等图像区域；第一图像的语义分割图像中可以包括3个标签分别为标签0~标签2；其中，标签0可以用于标记草地；标签1可以用于标记远山、标签2可以用于标记流水。
可选地，基于语义分割图像与预先配置的语义标签可以得到目标语义区域。
示例性地，预先配置的语义标签可以包括但不限于：流水的语义标签、云雾的语义标签、用户头发区域的语义标签等。
例如，第一图像如图6中的（a）所示，则基于第一图像的语义分割图像与预先设置的语义标签可以得到第一图像中的目标语义区域为区域480，如图6中的（c）所示。
步骤S530、将第一图像与语义分割图像输入至运动预测模型，得到目标语义区域的光流图像。
应理解，目标语义区域的光流图像可以用于指示目标语义区域的光流信息。
示例性地，运动预测模型可以用于预测目标语义区域的光流图像；通过目标语义区域的光流图像可以指示目标语义区域的运动方向的信息与位置偏移量大小。
可选地，运动预测模型可以为预先训练的神经网络模型，运动预测模型的训练方法可以参见后续9所示的相关描述。
例如，运动预测模型可以为预先训练的神经网络；可选地，运动预测模型可以为预先训练的卷积神经网络。
步骤S540、通过图像重建模型中的编码器对第一图像进行特征提取，得到第一图像的图像特征。
应理解，特征提取是图象处理中的一个运算；也就是说，特征提取是对第一图像进行的一个运算处理，可以遍历每个像素来确定该像素的图像特征。
还应理解，图像特征是指对图像的特点或内容进行表征的一系列属性的集合；例如，图像特征可以包括图像的颜色特征、纹理特征、形状特征以及空间关系特征等。
可选地，可以通过图像重建模型提取第一图像的图像特征，图像重建模型中可以包括编码器与解码器，其中，编码器用于对图像进行特征提取得到图像的图像特征；解码器用于对图像特征进行重建，将图像从特征空间转换为图像空间得到图像。
应理解，图像重建模型可以是指任意一种用于图像重建的卷积神经网络，本申请对图像重建模型不作任何限定。
步骤S550、基于光流图像对第一图像的图像特征进行位置偏移处理，得到图像特征序列。
应理解，光流图像可以用于表示目标语义区域的运动方向和位置偏移量大小；基于目标语义区域的运动方向和位置偏移量大小，可以对第一图像的图像特征进行位置偏移计算，得到图像特征序列。
例如，假设第一图像中的目标语义区域为云雾所在的图像区域，基于光流图像可以得的云雾所在的图像区域的运动方向为第一方向（例如，向右），位置偏移量大小为2；第一图像中云雾所在的图像区域包括的像素点A，像素点A的坐标为（x1,y1）；可以以像素点A为基准，基于第一方向与偏移量大小对第一图像的图像特征中云雾区域进行位置偏移运动，得到偏移后图像特征序列，图像特征序列中的图像特征分别包括像素点A1、A2、A3、A4对应的图像特征等；其中，像素点A1表示以像素点A为基准朝向第一方向的反方向进行两次位置偏移运动，得到像素点A1的坐标为（x1-4,y1-4）；像素点A2表示以像素点A为基准朝向第一方向的反方向进行一次位置偏移运动，得到像素点A2的坐标为（x1-2,y1-2）；像素点A3表示以像素点A为基准朝向第一方向进行一次位置偏移运动，得到像素点A3的坐标为（x1+2,y1+2）；像素点A4表示以像素点A为基准朝向第一方向进行两次位置偏移运动，得到像素点A4的坐标为（x1+4,y1+4）。
可选地，在本申请的实施例中为了提高图像特征序列的连续性；在基于第一图像的图像特征生成图像特征序列时，可以采用融合采样方式生成图像特征序列；融合采样方式是指以第一图像的图像序列为中心，对两个相反方向且位置偏移量的大小相同的两个图像特征进行融合处理，得到融合图像特征；将融合图像特征替换该位置偏移量对应的图像特征，图像特征序列中包括该融合图像特征；基于该融合特征得到的图像序列可以使得得到的图像序列能够循环播放，图像序列的连续性较好。
示例性地，假设第一图像的图像特征为I0，基于目标区域的运动方向和位置偏移量大小得到的图像序列为：I1、I2、I0、I3、I4；其中，I1表示以I0为基准在运动方向的反向位置偏移两次得到的图像特征；I2表示以I0为基准在运动方向的反向位置偏移一次得到的图像特征；I3表示以I0为基准在运动方向上位置偏移一次得到的图像特征；I4表示以I0为基准在运动方向上位置偏移两次得到的图像特征；融合采样方式可以是指对I1与I4进行融合处理，得到融合图像特征1；用融合特征1替换I1与I4。类似地，对I2与I3进行融合处理，得到融合图像特征2；用融合特征2替换I2与I3。
例如，可以采用对图像特征对I1与I4进行加权取平均，得到融合图像特征1。
例如，可以采用对图像特征对I2与I3进行加权取平均，得到融合图像特征2。
应理解，上述为对融合处理的举例说明，本申请对融合处理的具体实现方式不作任何限定。
可选地，在光流图像与第一图像的图像特征的尺寸大小不一致的情况下，可以对光流图像进行下采样处理，使得光流图像与第一图像的图像特征的尺寸大小相同。
在本申请的实施例中，可以基于第一光流信息对第一图像的图像特征进行处理；由于在本申请的方案中，在图像特征空间中基于光流信息对图像特征进行处理得到图像特征序列；基于该图像特征序列，得到的图像序列；与直接在图像空间中进行处理相比，本申请实施能够在一定程度上减少图像序列中出现的伪影等问题，从而能够提高图像序列的连续性；提高图像序列的图像质量。
步骤S560、图像重建模型中的编码器对图像特征序列进行特征重建处理，得到图像序列。
应理解，特征重建可以是指图像复原处理（Restore），即将图像特征复原为图像的过程。
可选地，可以通过图像重建模型对图像特征序列进行重建，输出图像序列。例如，图像序列可以包括如图7所示的图像，图7中的（a）所示的图像、图7中的（b）所示的图像以及图像7中的（c）所示的图像可以是基于图像特征序列进行重建得到的图像序列。
其中，图像重建模型中可以包括编码器与解码器，其中，编码器用于对图像进行特征提取得到图像的图像特征；解码器用于对图像特征进行重建，将图像从特征空间转换为图像空间得到图像。
可选地，图像重建模型可以是指任意一种用于图像重建的卷积神经网络，本申请对图像重建模型不作任何限定。
应理解，上述为举例说明，还可以通过其他方式对图像特征序列进行特征重建处理。
步骤S570、基于图像序列，在电子设备中显示动态壁纸。
示例性地，图像序列可以得到视频；基于检测到用户对第一图像的操作，可以响应于用户的操作显示图像序列。
例如，响应于用户对第一图像的操作，可以将图像序列设置为熄屏显示的壁纸、锁屏显示的壁纸或者桌面背景等。
示例性地，检测到用户将图像序列设置为熄屏显示的操作，则若电子设备处于熄屏状态显示该图像序列。
示例性地，检测到用户将图像序列设置为锁屏显示的操作，则若电子设备处于锁屏状态显示该图像序列。
示例性地，检测到用户将图像序列设置为桌面背景的操作，则若电子设备处于解锁状态显示该图像序列。
在本申请的实施例中，电子设备可以在检测到用户对第一图像（静态图像）的第一操作之后，可以基于第一图像自动生成图像序列并响应于第一操作在电子设备中显示该图像序列；由于在本申请的实施例中，基于用户选择的一帧静态图像能够生成图像序列，并将该图像序列作为动态壁纸资源在电子设备中显示；因此，在电子设备中显示的图像序列能够满足用户的审美需求；此外，与直接下载视频并在电子设备中将该视频作为动态壁纸显示相比，本申请方案中可以基于不同风格的图像生成任何风格的图像序列，因此本方案的局限性较小用户的可选择性更大；与基于多帧静态图像得到动态壁纸相比，本申请方案中的图像序列是基于静态图像与光流信息生成的图像序列；因此，本申请图像序列的连续性较好，即电子设备中显示的动态壁纸的连续性较好；因此，通过本申请实施例提供的显示动态壁纸的方法，能够提高用户体验。
下面结合图9对运动预测模型的训练方法进行详细说明。
图9是本申请实施例提供的一种运行预测模型的训练方法的示意性流程图。该方法600包括可以由图1所示的电子设备执行；该方法包括步骤S610至步骤S650，下面分别对步骤S610至步骤S650进行详细的描述。
步骤S610、获取样本视频。
其中，样本视频中可以包括N帧图像，N为大于1的整数。
示例性地，样本视频可以是指包括目标语义区域的样本视频；其中，目标语义区域可以包括但不限于：流水图像区域、云雾图像区域或者用户的头发图像区域等。
步骤S620、获取样本视频中的第N-1帧样本图像、第N-1帧样本图像的语义分割图像与第N帧样本图像。
可选地，可以将第N-1帧样本图像输入至语义分割模型，得到第N-1帧样本图像的语义分割图像；其中，第N-1帧样本图像的语义分割图像可以指示第N-1帧样本图像中各个图像区域的语义信息。
应理解，语义分割模型可以是神经网络；例如，语义分割模型可以为卷积神经网络，或者其他用于语义分割处理的神经网络；本申请实施例对此不作任何限定。
示例性地，假设样本视频中包括10帧图像；则第N-1帧样本图像为样本视频中第9帧图像，第N帧样本图像为样本视频中第10帧图像。
步骤S630、将第N-1帧样本图像与第N-1帧图像的语义分割图像输入至待训练的运动预测模型，得到预测光流图像。
应理解，预测光流信息中可以包括像素的偏移方向与位置偏移量的大小。
可选地，预测光流信息中可以包括第N帧样本图像中各个像素点的光流信息。
示例性地，预测光流图像可以用于指示预测光流信息。
可选地，为了降低运动预测模型的运算量，运动预测图像可以输出的预测光流图像可以包括第N帧样本图像中目标语义区域的光流信息；其中，目标语义区域可以为预先配置的语义区域。
步骤S640、基于预测光流图像得到第N帧预测图像。
示例性地，通过以第N-1帧样本图像为基准，基于预测光流图像中的预测运动方向与预测位置偏移量大小对第N-1帧样本图像进行偏移，得到第N帧预测图像。
例如，预测光流图像中包括第一方向信息与第一偏移量大小；以第N-1帧样本图像为基准，对第N-1帧图像中的像素进行第一方向且第一偏移量大小的位置偏移计算，得到第N帧预测图像。
可选地，若预测光流图像包括第N-1帧样本图像中各个像素点的光流信息，则基于预测光流图像对第N-1帧样本图像中的各个像素点进行偏移计算。
可选地，若预测光流图像包括第N-1帧样本图像中目标语义区域中各个像素点的光流信息，则基于预测光流图像对第N-1帧样本图像中目标语义区域的各个像素点进行偏移计算。
步骤S650、基于第N帧预测图像与第N帧样本图像之间的差异对待训练的运动预测模型进行训练，得到训练后的运动预测模型。
示例性地，计算第N帧预测图像与第N帧样本图像中各个像素点之间的差异，通过反向传播算法训练待训练的运动预测模型的参数，使得待训练的预测模型收敛，得到训练后的运动预测模型。
可选地，运动预测模型可以为预先训练的神经网络；例如，运动预测模型可以为预先训练的卷积神经网络。
在本申请的实施例中，可以基于样本视频中两帧连续的样本视频数据（例如，第N-1帧样本图像与第N帧样本图像）作为训练数据；例如，以第N-1帧样本图像与第N-1帧图像的语义分割图像作为待训练的运动预测模型的输入数据，得到运动预测模型输出的预测光流信息；基于预测光流信息对第N-1帧样本图像中的样本目标语义区域进行像素处理，得到第N帧预测图像；通过第N帧样本图像与第N帧预测图像之间的差异，通过反向传播算法训练待训练的运动预测模型的参数，使得待训练的运动预测模型收敛，得到训练后的运动预测模型；基于本申请实施例中的运动预测模型可以得到拍摄对象中具有运动属性的拍摄对象对应的图像区域的光流信息；基于光流信息与静态图像从而能够生成作为动态壁纸资源的视频资源。
下面结合图10至图12对电子设备中显示动态壁纸的界面示意图进行举例描述。
示例性地，如图10所示，图10中的（a）所示的图形用户界面（graphical userinterface，GUI）为电子设备的桌面701；电子设备检测到用户点击桌面701上的图库应用程序的控件702，如图10中的（b）所示；当电子设备检测到用户点击桌面701上的图库应用程序的控件702之后，显示如图10中的（c）所示的图库显示界面；图库显示界面中包括图像703，电子设备检测到用户点击图像703的操作，如图10中的（d）所示；当电子设备检测到用户点击图像703的操作之后，显示如图11中的（a）所示的图像预览界面；在图像预览界面中，包括分享控件、收藏控件、编辑控件、删除控件与更多控件705；电子设备检测到用户点击更多控件705的操作，如图11中的（b）所示；电子设备检测到用户点击更多控件705的操作之后，显示如图11中的（c）所示的显示界面706；显示界面706中包括显示窗口707；显示窗口707中包括设置为控件、旋转控件等；电子设备检测到用户点击显示窗口707中的设置为控件，如图11中的（d）所示；当电子设备检测到用户点击显示窗口707中的设置为控件之后，显示如图12中的（a）所示的显示界面708；显示界面708中包括动态壁纸的控件709、动态熄屏显示的控件与联系人的控件；电子设备检测到用户点动态壁纸控件709的操作后，执行本申请实施例提供的显示动态壁纸的方法；基于该图像生成图像序列，将图像序列设置为电子设备的动态壁纸。
应理解，上述是以将电子设备中将图像设置为动态壁纸的显示界面进行举例说明；本申请实施例中提供的显示动态壁纸的方法同样适用于电子设备的熄屏显示、锁屏显示、桌面背景显示等；本申请对此不作任何限定。
应理解，上述举例说明是为了帮助本领域技术人员理解本申请实施例，而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本申请实施例的范围内。
上文结合图1至图12详细描述了本申请实施例提供的图像处理方法；下面将结合图13至图14详细描述本申请的装置实施例。应理解，本申请实施例中的装置可以执行前述本申请实施例的各种方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。
图13是本申请实施例提供的一种电子设备的结构示意图。该电子设备800包括检测模块810与处理模块820。
其中，检测模块810用于检测到对第一图像的第一操作；处理模块820用于响应于第一操作，对所述第一图像进行语义分割处理，得到所述第一图像的语义分割图像，所述语义分割图像中包括所述第一图像中的目标语义区域的信息；将所述第一图像与所述第一图像的语义分割图像输入至预先训练的运动预测模型，得到第一光流信息，所述第一光流信息用于指示所述第一图像中目标语义区域的光流信息；基于所述第一光流信息与所述第一图像，得到第一图像序列，所述第一图像序列包括所述第一图像；显示所述第一图像序列。
可选地，作为一个实施例，处理模块820具体用于：
基于所述第一光流信息对所述第一图像中的目标语义区域进行处理，得到所述第一图像序列。
可选地，作为一个实施例，处理模块820具体用于：
获取所述第一图像的图像特征；
基于所述第一光流信息对所述第一图像中目标语义区域的图像特征进行处理，得到图像特征序列，所述图像特征序列包括所述第一图像的图像特征；
对所述图像特征序列进行特征重建处理，得到所述第一图像序列。
可选地，作为一个实施例，所述第一光流信息包括第一方向的信息与位置偏移量的信息，处理模块820具体用于：
基于所述第一方向与所述位置偏移量对所述第一图像中目标语义区域的图像特征进行第一处理，得到第一图像特征；
基于第二方向与所述位置偏移量对所述第一图像中目标语义区域的图像特征进行第二处理，得到第二图像特征，其中，所述第二方向与所述第一方向相反，所述第一处理与所述第二处理中所述位置偏移量的大小相同；
对所述第一图像特征与所述第二图像特征进行融合处理，得到第三图像特征，所述图像序列中包括所述第三图像特征。
可选地，作为一个实施例，处理模块820具体用于：
基于图像重建模型中的编码器对所述第一图像进行特征提取，得到所述第一图像的图像特征。
可选地，作为一个实施例，所述图像重建模型还包括解码器，处理模块820具体用于：
基于所述图像重建模型中的解码器对所述图像特征序列进行所述特征重建处理，得到所述第一图像序列。
可选地，作为一个实施例，处理模块820还用于：
获取样本图像流，所述样本图像流包括N帧样本图像，N为大于1的整数；
获取所述样本图像流中第N-1帧样本图像与所述第N-1帧样本图像的语义分割图像；
将所述第N-1帧样本图像与所述第N-1帧样本图像的语义分割图像输入至待训练的运动预测模型，得到预测光流图像，所述预测光流图像中包括所述第N-1帧样本图像中样本目标语义区域的预测光流信息；
基于所述预测光流信息对所述第N-1样本图像进行处理，得到第N帧预测图像；
基于所述样本图像流中第N帧样本图像与所述第N帧预测图像对所述待训练的运动预测模型进行训练，得到训练后的运动预测模型。
可选地，作为一个实施例，所述运动预测模型的参数是基于所述第N帧样本图像与所述第N帧预测图像之间的差异通过反向传播算进行迭代得到的。
可选地，作为一个实施例，所述运动预测模型为卷积神经网络。
可选地，作为一个实施例，所述第一光流信息为所述第一图像中目标语义区域的光流信息。
可选地，作为一个实施例，所述第一操作包括将所述第一图像设置为壁纸的操作、将所述第一图像设置为桌面的操作或者将所述第一图像设置为熄屏显示的操作。
可选地，作为一个实施例，所述第一图像中的目标语义区域为预先配置的图像语义标签对应的所述第一图像中的图像区域。
需要说明的是，上述电子设备800以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。
例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路（application specific integrated circuit，ASIC）、电子电路、用于执行一个或多个软件或固件程序的处理器（例如共享处理器、专有处理器或组处理器等）和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
图14示出了本申请提供的一种电子设备的结构示意图。图14中的虚线表示该单元或该模块为可选的；电子设备900可以用于实现上述方法实施例中描述的显示动态壁纸的方法。
电子设备900包括一个或多个处理器901，该一个或多个处理器901可支持电子设备900实现方法实施例中的显示动态壁纸的方法。处理器901可以是通用处理器或者专用处理器。例如，处理器1101可以是中央处理器（central processing unit，CPU）、数字信号处理器（digital signal processor，DSP）、专用集成电路（application specificintegrated circuit，ASIC）、现场可编程门阵列（field programmable gate array，FPGA）或者其它可编程逻辑器件，如分立门、晶体管逻辑器件或分立硬件组件。
可选地，处理器901可以用于对电子设备900进行控制，执行软件程序，处理软件程序的数据。电子设备900还可以包括通信单元905，用以实现信号的输入（接收）和输出（发送）。
例如，电子设备900可以是芯片，通信单元905可以是该芯片的输入和/或输出电路，或者，通信单元905可以是该芯片的通信接口，该芯片可以作为终端设备或其它电子设备的组成部分。
又例如，电子设备900可以是终端设备，通信单元905可以是该终端设备的收发器，或者，通信单元905可以900中可以包括一个或多个存储器902，其上存有程序904，程序904可被处理器901运行，生成指令903，使得处理器901根据指令903执行上述方法实施例中描述的显示动态壁纸的方法。
可选地，存储器902中还可以存储有数据。
可选地，处理器901还可以读取存储器902中存储的数据，该数据可以与程序904存储在相同的存储地址，该数据也可以与程序904存储在不同的存储地址。
可选地，处理器901和存储器902可以单独设置，也可以集成在一起，例如，集成在终端设备的系统级芯片（system on chip，SOC）上。
示例性地，存储器902可以用于存储本申请实施例中提供的显示动态壁纸的方法的相关程序904，处理器901可以用于在执行图像处理时调用存储器902中存储的显示动态壁纸的方法的相关程序904，执行本申请实施例的显示动态壁纸的方法；例如，检测到对第一图像的第一操作；响应于第一操作，对第一图像进行语义分割处理，得到第一图像的语义分割图，第一图像的语义分割图像中包括第一图像中的目标语义区域；将第一图像与第一图像的语义分割图像输入至预先训练的运动预测模型，得到第一光流信息，第一光流信息包括第一图像中目标语义区域的光流信息；基于第一光流信息与第一图像，得到第一图像序列，第一图像序列包括第一图像；显示第一图像序列。
可选地，本申请还提供了一种计算机程序产品，该计算机程序产品被处理器901执行时实现本申请中任一方法实施例显示动态壁纸的方法。
例如，该计算机程序产品可以存储在存储器902中，例如是程序904，程序904经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器901执行的可执行目标文件。
可选地，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的显示动态壁纸的方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。
例如，该计算机可读存储介质例如是存储器902。存储器902可以是易失性存储器或非易失性存储器，或者，存储器902可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器（read-only memory，ROM）、可编程只读存储器（programmable ROM，PROM）、可擦除可编程只读存储器（erasable PROM，EPROM）、电可擦除可编程只读存储器（electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（random access memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（static RAM，SRAM）、动态随机存取存储器（dynamic RAM，DRAM）、同步动态随机存取存储器（synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（double data rate SDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synchlinkDRAM，SLDRAM）和直接内存总线随机存取存储器（direct rambus RAM，DR RAM）。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的电子设备的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。
另外，本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种显示动态壁纸的方法，其特征在于，应用于电子设备，所述方法包括：
检测到对第一图像的第一操作；
响应于第一操作，对所述第一图像进行语义分割处理，得到所述第一图像的语义分割图像，所述第一图像的语义分割图像中包括所述第一图像中的目标语义区域的信息；
将所述第一图像与所述第一图像的语义分割图像输入至预先训练的运动预测模型，得到第一光流信息，所述第一光流信息包括所述第一图像中目标语义区域的光流信息；
基于所述第一光流信息与所述第一图像，得到第一图像序列，所述第一图像序列包括所述第一图像，所述第一图像序列为所述电子设备的动态壁纸资源；
显示所述第一图像序列。
2.如权利要求1所述的方法，其特征在于，所述基于所述第一光流信息与所述第一图像，得到第一图像序列，包括：
基于所述第一光流信息对所述第一图像中的目标语义区域进行处理，得到所述第一图像序列。
3.如权利要求2所述的方法，其特征在于，所述基于所述第一光流信息对所述第一图像中的目标语义区域进行处理，得到所述第一图像序列，包括：
获取所述第一图像的图像特征；
基于所述第一光流信息对所述第一图像中目标语义区域的图像特征进行处理，得到图像特征序列，所述图像特征序列包括所述第一图像的图像特征；
对所述图像特征序列进行特征重建处理，得到所述第一图像序列。
4.如权利要求3所述的方法，其特征在于，所述第一光流信息包括第一方向的信息与位置偏移量的信息，所述基于所述第一光流信息对所述第一图像中目标语义区域的图像特征进行处理，得到图像特征序列，包括：
基于所述第一方向与所述位置偏移量对所述第一图像中目标语义区域的图像特征进行第一处理，得到第一图像特征；
基于第二方向与所述位置偏移量对所述第一图像中目标语义区域的图像特征进行第二处理，得到第二图像特征，其中，所述第二方向与所述第一方向相反，所述第一处理与所述第二处理中所述位置偏移量的大小相同；
对所述第一图像特征与所述第二图像特征进行融合处理，得到第三图像特征，所述图像序列中包括所述第三图像特征。
5.如权利要求3或4所述的方法，其特征在于，所述获取所述第一图像的图像特征，包括：
基于图像重建模型中的编码器对所述第一图像进行特征提取，得到所述第一图像的图像特征。
6.如权利要求5所述的方法，其特征在于，所述图像重建模型还包括解码器，所述对所述图像特征序列进行特征重建处理，得到所述第一图像序列，包括：
基于所述图像重建模型中的解码器对所述图像特征序列进行所述特征重建处理，得到所述第一图像序列。
7.如权利要求1至4或6中任一项所述的方法，其特征在于，还包括：
获取样本图像流，所述样本图像流包括N帧样本图像，N为大于1的整数；
获取所述样本图像流中第N-1帧样本图像与所述第N-1帧样本图像的语义分割图像；
将所述第N-1帧样本图像与所述第N-1帧样本图像的语义分割图像输入至待训练的运动预测模型，得到预测光流信息，所述预测光流信息中包括所述第N-1帧样本图像中样本目标语义区域的预测光流信息；
基于所述预测光流信息对所述第N-1样本图像进行处理，得到第N帧预测图像；
基于所述样本图像流中第N帧样本图像与所述第N帧预测图像对所述待训练的运动预测模型进行训练，得到训练后的运动预测模型。
8.如权利要求7所述的方法，其特征在于，所述运动预测模型的参数是基于所述第N帧样本图像与所述第N帧预测图像之间的差异通过反向传播算进行迭代得到的。
9.如权利要求1至4、6或8中任一项所述的方法，其特征在于，所述运动预测模型为卷积神经网络。
10.如权利要求1至4、6或8中任一项所述的方法，其特征在于，所述第一光流信息为所述第一图像中目标语义区域的光流信息。
11.如权利要求1至4、6或8中任一项所述的方法，其特征在于，所述第一操作包括将所述第一图像设置为壁纸的操作、将所述第一图像设置为桌面的操作或者将所述第一图像设置为熄屏显示的操作。
12.如权利要求1至4、6或8中任一项所述的方法，其特征在于，所述第一图像中的目标语义区域为预先配置的图像语义标签对应的所述第一图像中的图像区域。
13.一种电子设备，其特征在于，包括：
一个或多个处理器和存储器；
所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至12中任一项所述的方法。
14.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至12中任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行权利要求1至12中任一项所述的方法。
CN202210954710.2A 2022-08-10 2022-08-10 显示动态壁纸的方法和电子设备 Active CN115061770B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210954710.2A CN115061770B (zh) 2022-08-10 2022-08-10 显示动态壁纸的方法和电子设备
PCT/CN2022/135952 WO2024031879A1 (zh) 2022-08-10 2022-12-01 显示动态壁纸的方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210954710.2A CN115061770B (zh) 2022-08-10 2022-08-10 显示动态壁纸的方法和电子设备

Publications (2)

Publication Number Publication Date
CN115061770A true CN115061770A (zh) 2022-09-16
CN115061770B CN115061770B (zh) 2023-01-13

Family

ID=83207422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210954710.2A Active CN115061770B (zh) 2022-08-10 2022-08-10 显示动态壁纸的方法和电子设备

Country Status (2)

Country Link
CN (1) CN115061770B (zh)
WO (1) WO2024031879A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115660944A (zh) * 2022-10-27 2023-01-31 深圳市大头兄弟科技有限公司 静态图片的动态化方法、装置、设备及存储介质
WO2024031879A1 (zh) * 2022-08-10 2024-02-15 荣耀终端有限公司 显示动态壁纸的方法和电子设备
CN117667295A (zh) * 2024-02-02 2024-03-08 深圳麦风科技有限公司 动态壁纸的显示方法、设备及存储介质
CN118101856A (zh) * 2024-03-25 2024-05-28 荣耀终端有限公司 图像处理方法及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118509592A (zh) * 2024-07-18 2024-08-16 宁波康达凯能医疗科技有限公司 贝叶斯框架下基于语义分割的帧间编码方法、装置及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013138846A1 (en) * 2012-03-22 2013-09-26 Silverbrook Research Pty Ltd Method and system of interacting with content disposed on substrates
CN109889849A (zh) * 2019-01-30 2019-06-14 北京市商汤科技开发有限公司 视频生成方法、装置、介质及设备
CN111556254A (zh) * 2020-04-10 2020-08-18 早安科技(广州)有限公司 利用视频内容进行视频切割的方法、系统、介质及智能设备
CN111598968A (zh) * 2020-06-28 2020-08-28 腾讯科技（深圳）有限公司 一种图像处理方法、装置、存储介质和电子设备
CN111797688A (zh) * 2020-06-02 2020-10-20 武汉大学 一种基于光流和语义分割的视觉slam方法
CN112995433A (zh) * 2021-02-08 2021-06-18 北京影谱科技股份有限公司 一种时序视频生成方法、装置、计算设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697387B (zh) * 2017-10-23 2021-07-30 北京京东尚科信息技术有限公司 运动方向预测方法、装置、电子设备及存储介质
CN109977847B (zh) * 2019-03-22 2021-07-16 北京市商汤科技开发有限公司 图像生成方法及装置、电子设备和存储介质
JP2021194140A (ja) * 2020-06-11 2021-12-27 コニカミノルタ株式会社 画像処理装置及び画像処理方法
CN112218136B (zh) * 2020-10-10 2021-08-10 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机设备及存储介质
CN112733616B (zh) * 2020-12-22 2022-04-01 北京达佳互联信息技术有限公司 一种动态图像的生成方法、装置、电子设备和存储介质
CN115061770B (zh) * 2022-08-10 2023-01-13 荣耀终端有限公司 显示动态壁纸的方法和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013138846A1 (en) * 2012-03-22 2013-09-26 Silverbrook Research Pty Ltd Method and system of interacting with content disposed on substrates
CN109889849A (zh) * 2019-01-30 2019-06-14 北京市商汤科技开发有限公司 视频生成方法、装置、介质及设备
CN111556254A (zh) * 2020-04-10 2020-08-18 早安科技(广州)有限公司 利用视频内容进行视频切割的方法、系统、介质及智能设备
CN111797688A (zh) * 2020-06-02 2020-10-20 武汉大学 一种基于光流和语义分割的视觉slam方法
CN111598968A (zh) * 2020-06-28 2020-08-28 腾讯科技（深圳）有限公司 一种图像处理方法、装置、存储介质和电子设备
CN112995433A (zh) * 2021-02-08 2021-06-18 北京影谱科技股份有限公司 一种时序视频生成方法、装置、计算设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
金大卫 等: ""基于语义的图像检索应用研究"", 《武汉大学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024031879A1 (zh) * 2022-08-10 2024-02-15 荣耀终端有限公司 显示动态壁纸的方法和电子设备
CN115660944A (zh) * 2022-10-27 2023-01-31 深圳市大头兄弟科技有限公司 静态图片的动态化方法、装置、设备及存储介质
CN115660944B (zh) * 2022-10-27 2023-06-30 深圳市闪剪智能科技有限公司 静态图片的动态化方法、装置、设备及存储介质
CN117667295A (zh) * 2024-02-02 2024-03-08 深圳麦风科技有限公司 动态壁纸的显示方法、设备及存储介质
CN117667295B (zh) * 2024-02-02 2024-04-16 深圳麦风科技有限公司 动态壁纸的显示方法、设备及存储介质
CN118101856A (zh) * 2024-03-25 2024-05-28 荣耀终端有限公司 图像处理方法及电子设备

Also Published As

Publication number Publication date
CN115061770B (zh) 2023-01-13
WO2024031879A1 (zh) 2024-02-15

Similar Documents

Publication Publication Date Title
CN115061770B (zh) 显示动态壁纸的方法和电子设备
CN113810587B (zh) 一种图像处理方法及装置
CN113706414B (zh) 视频优化模型的训练方法和电子设备
WO2021078001A1 (zh) 一种图像增强方法及装置
WO2021190348A1 (zh) 图像处理方法和电子设备
CN115633262B (zh) 图像处理方法和电子设备
CN113705665B (zh) 图像变换网络模型的训练方法和电子设备
CN111553846A (zh) 超分辨率处理方法及装置
CN113824873A (zh) 一种图像处理的方法及相关电子设备
CN113099146A (zh) 一种视频生成方法、装置及相关设备
CN116152122B (zh) 图像处理方法和电子设备
WO2023093169A1 (zh) 拍摄的方法和电子设备
CN113538227B (zh) 一种基于语义分割的图像处理方法及相关设备
CN117593611B (zh) 模型训练方法、图像重建方法、装置、设备及存储介质
CN117957852A (zh) 用于减少的时延的相机初始化
CN111612723A (zh) 图像修复方法及装置
CN115150542B (zh) 一种视频防抖方法及相关设备
CN116916151B (zh) 拍摄方法、电子设备和存储介质
CN115908120B (zh) 图像处理方法和电子设备
CN115767290B (zh) 图像处理方法和电子设备
CN116128739A (zh) 下采样模型的训练方法、图像处理方法及装置
CN117156261B (zh) 图像处理方法及相关设备
CN116740777B (zh) 人脸质量检测模型的训练方法及其相关设备
CN116012262B (zh) 一种图像处理方法、模型训练方法及电子设备
CN116668836B (zh) 拍照处理方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant