CN112215919B - 一种电子相册的生成方法以及电子设备 - Google Patents

Abstract

本发明提出了一种电子相册的生成方法以及电子设备，所述方法包括以下步骤：步骤一、利用电子相框获取目标图像集合；步骤二、从目标图像集合筛选人脸图像；步骤三、对人脸图像进行表情变换；步骤四、将变换后的图像成果进行展示；其中，所述电子相框至少包括视频单元、存储单元、控制单元、显示屏、摄像头、无线模块和电源模块。本发明提供的一种电子相册的生成方法，能够在生成电子相册时，应用神经网络算法自动对人脸图像进行识别和裁剪，再对其进行表情变换操作，进而保证了识别和裁剪的精确度和完整性，提高了生成电子相册过程的稳定性和可靠性。

Description

一种电子相册的生成方法以及电子设备

技术领域

本发明涉及相册领域，具体涉及一种电子相册的生成方法以及电子设备。

背景技术

随着时代发展，科学技术使得计算机更加普及，交通也更加便利，旅行变得更加容易，由此照片的存储和观赏便成了一个问题。

传统的相册，其容量有限，且还需要冲洗，时间长了可能还会变得泛黄、模糊。而目前市面上的电子相册往往功能有限，只能将导入其中的照片按一定顺序播放，即使加入了一些诸如闹钟、电话之类的功能，也不能弥补其作为相册本身的局限性，反而使得电子相册成为了一种“类平板电脑”的尴尬产物。

如何在保持电子相册本身最显著的“相册”这一功能的基础上，再次提高照片阅览和交互的趣味性便成了一个亟待解决的问题。

发明内容

针对现有技术中的不足，本发明旨在提供一种能够将静态图片自动转化为动态图片，并将其在显示屏上展示，同时能利用手势识别对其进行操控的电子设备。

为了达到上述发明创造的目的，本发明采用的技术方案为：

本发明提供了一种电子相册的生成方法，包括：

利用电子相框获取目标图像集合；

从目标图像集合筛选人脸图像；

根据人脸图像进行表情变化；

根据表情变化结果生成电子相册；

进一步的，从目标图像集合筛选人脸图像，包括：

根据所述目标图像集合中的任一目标图像确定至少一个人脸轮廓信息；

根据至少一个人脸轮廓信息确定裁切范围，每一裁切范围包括且仅包括一个人脸轮廓所对应的矩形区域；

根据裁切范围生成人脸图像。

进一步的，根据人脸图像进行表情变化，包括：

根据手势识别或输入指令，确定所要变换的表情；

利用神经网络将人脸图像转化为一系列具有变换表情的连续变换的图像；

将这一系列连续变换的图像拼接至原目标图像。

进一步的，根据表情变化结果生成电子相册，包括：

将拼接回原目标图像的一系列连续变换的图像连续播放；

根据手势识别或输入指令，控制播放程序的运行与停止。

其中，所述电子相框包括开发板和位于开发板外壳正面的显示屏和摄像头，开发板内设置有视频单元、存储单元、控制单元、无线模块和电源模块，控制单元分别与存储单元、显示屏、无线模块和电源模块连接，开发板外部设置有USB接口。开发板的背面铰接有一支撑架，其相对开发板的最大转动角度约为60°左右。

进一步的，无线模块包括WIFI模块和蓝牙模块。

本发明还提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上所示的电子相册的生成方法。

本发明创新性地拓展了电子相册的原有技术领域范围，将动态化图片这一概念引入了电子相册领域，并提供了一种实现方法，能够较好的展示上述技术的具体实现。本发明采用神经网络手势识别，使得用户可以通过手势直接操控程序，增强了操作的便捷性；神经网络表情变化，使得用户可由一张静态图片直接转化得到一系列具有变换表情的连续变化图像，从而得到了动态化图片；展示程序，使得用户可非常方便的导入及编辑图片库，并控制展示的进行与停止，界面简洁美观，操作明晰易懂。

附图说明

图1为本发明的电子相框外观结构示意图

图2为本发明提供的电子相册的生成方法流程图

图3为本发明的计算机实现部分示意图

具体实施方式

下面结合附图，对本发明的具体实施方式做详细说明，以便于本技术领域的技术人员理解本发明。但应该清楚，下文所描述的实施例仅仅是本发明的一部分实施例，而不是全部实施例。在不脱离所附的权利要求限定和确定的本发明的精神和范围内，本领域普通技术人员在没有做出任何创造性劳动所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示，电子相框包括开发板1和位于开发板1外壳正面的显示屏及摄像头，开发板1内设置有视频单元、存储单元、控制单元、无线模块和电源模块，控制单元分别与存储单元、显示屏、无线模块和电源模块连接，开发板外部设置有USB接口。显示屏用于展示已处理好的视频，摄像头用于捕捉用户手势以控制程序运行和停止，视频单元用于控制视频在显示屏上的播放与停止，存储单元用于存储用户输入的图片素材，控制单元用于接收直接输入或手势输入并以此控制程序运行，无线模块用于使开发板1可直接连接至无线网络，电源模块用于给开发板1充电，USB接口作用为方便用户用U盘导入图像素材。其中视频单元、存储单元、控制单元、无线模块、电源模块和USB接口集成于开发板1上，而开发板1通过HDMI接口与显示屏相连，通过CSI摄像头接口与摄像头相连。开发板1的背面铰接有一支撑架2，其相对开发板的最大转动角度约为60°左右。

另外，需要将电子相框放在桌上进行使用时，无需要借助外部工具，只需调整支撑架2的角度，即可使电子相框处于合适位置。

在实施时，本实施例优选无线模块为WIFI模块及蓝牙模块。蓝牙模块的型号为HC-05，WIFI模块的型号为BCM43438。

本发明提供了一种电子相册的生成方法，能够在生成电子相册时，应用神经网络算法自动对人脸图像进行识别和裁剪，再对其进行表情变换操作，进而保证了识别和裁剪的精确度和完整性，提高了生成电子相册过程的稳定性和可靠性。并且这一步骤可直接由机器完成，进一步减少了用户操作所消耗的时间。

图2为本发明提供的电子相册的生成方法的流程图，该方法可由电子设备来执行，该方法具体包括如下步骤：

步骤2-1，利用电子相框获取目标图像集合。

目标图像集合可由用户导入，用户将自己拍摄的图像存储到电子设备后，可通过蓝牙、WiFi或USB接口将图像导入电子相框的开发板1的存储单元中。在生成电子相册时，用户可从开发板1的存储单元中自行选择想要生成电子相册的图像。

步骤2-2，筛选人脸图像。

在用户选择好图像后，程序从用户所选择的图像中随机选出一张，作为目标图像，由神经网络算法自动识别目标图像中存在的所有人脸。若未识别到人脸，则报错，从剩余图像中再随机选出一张目标图像，直至识别成功或无剩余图像为止。若成功识别到人脸，则将其逐一裁剪。裁剪后的目标图像包含人面部的所有区域，其选取范围为人脸轮廓信息指示的像素点的外切矩形区域，每一裁切范围包括且仅包括一个人脸轮廓所对应的矩形区域；根据裁切范围生成人脸图像。

步骤2-3，进行表情变换。

将人脸图像导入神经网络，识别出人脸图像的动作单元(action unit)。此时读入用户输入(手势或程序输入)，根据手势识别或程序输入的结果，选择所要做的变换。程序在此前已预处理好若干种变换的方式，在选择好变换的方式后，将人脸图像中的动作单元逐步按照已预处理好并存储的变换方式变换，并在此期间内将这一变换过程取若干个时间点或位置点，将每一个时间点或位置点的人脸图像状态以图像形式保存下来，由此便得到了一系列连续变化的图像。选取时间点或位置点的数量和方式可通过调整相关参数的方式自行选择。

步骤2-4，电子相册的展示。

将生成的一系列连续变化的图像以固定时间间隔，在开发板正面的显示屏上播放。在此过程中，用户可经由手势、程序输入等方式控制计算机程序的运行，该运行包括但不限于停止、播放、切换等操作。

本发明还提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，用于实现上述电子相册的生成方法。所述计算机程序共分为两个版本，分别可以在Windows系统(包括windows7，windows8和windows10版本)和Linux系统(包括Ubuntu 20.04版本)上运行。

所述计算机程序部分示意图如图3所示，所述计算机程序包括图片资源管理器、GUI部分、手势识别器、表情变换器和人脸识别器。其中图片资源管理器为用户存储及管理图像的单元，用户可通过此界面将静态图像导入软件数据库中，以在下一步表情变换中选择。GUI部分包括图片管理界面，即用户选择播放图片界面；开始界面，即电子相册运行时默认界面，用户可由开始界面点击以转换至图片管理界面或全屏界面；全屏界面，即图片开始播放界面，也即主要的展示界面。手势识别器、表情变换器以及人脸识别器均选择使用了神经网络算法，在优化了用户的交互体验的同时，也大大提高了程序运行的稳定性和准确性。经测试，手势识别反应时间一般在200ms内，人脸识别反应时间一般在1s内，表情变换反应时间一般在3s内，由于本发明使用了并行计算技术，人脸识别与表情变换可以在用户对软件进行操作时同步进行运算，故其反应时间不为用户实际等待时间，仅手势识别需要实时处理，用户基本不会感受到明显粘滞感或迟钝感。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员能够理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例。

Claims (5)

1.一种电子相册的生成方法，其特征在于，该方法包括以下步骤：

1)利用电子相框获取目标图像集合：

目标图像集合由用户导入，用户将自己拍摄的图像存储到电子设备后，通过蓝牙、WiFi或USB接口将图像导入电子相框的开发板(1)的存储单元中，在生成电子相册时，用户从开发板(1)的存储单元中自行选择想要生成电子相册的图像；

2)筛选人脸图像：

在用户选择好图像后，程序从用户所选择的图像中随机选出一张，作为目标图像，由神经网络算法自动识别目标图像中存在的所有人脸，若未识别到人脸，则报错，从用户所选择的剩余图像中再随机选出一张目标图像，直至识别成功或无剩余图像为止；若成功识别到人脸，则将其逐一裁剪；裁剪后的目标图像包含人面部的所有区域，其选取范围为人脸轮廓信息指示的像素点的外切矩形区域，每一裁切范围包括且仅包括一个人脸轮廓所对应的矩形区域；根据裁切范围生成人脸图像；

3)进行表情变换：

将人脸图像导入神经网络，识别出人脸图像的动作单元，此时读入用户输入，其中，用户输入包括手势或程序输入，根据手势识别或程序输入的结果，选择所要做的变换；程序在此前已预处理好并存储了若干种变换的方式，在选择好变换的方式后，将人脸图像中的动作单元逐步按照已预处理好并存储的变换方式变换，并在此期间内将这一变换过程取若干个时间点或位置点，将每一个时间点或位置点的人脸图像状态以图像形式保存下来，由此便得到了一系列连续变化的图像，选取时间点或位置点的数量和方式通过调整相关参数的方式自行选择；

4)电子相册的展示：

将生成的一系列连续变化的图像以固定时间间隔，在开发板正面的显示屏上播放，在此过程中，用户可经由手势或程序输入的方式控制计算机程序的运行，该运行包括但不限于停止、播放、切换操作；

其中，所述电子相框包括开发板(1)和位于开发板(1)外壳正面的显示屏及摄像头，开发板(1)内设置有视频单元、存储单元、控制单元、无线模块和电源模块，控制单元分别与存储单元、显示屏、无线模块和电源模块连接，开发板外部设置有USB接口；显示屏用于展示已处理好的一系列连续变化的图像；摄像头用于捕捉用户手势以控制程序运行和停止；视频单元用于控制一系列连续变化的图像在显示屏上的播放与停止；存储单元用于存储用户输入的图像素材；控制单元用于接收直接输入或手势输入并以此控制程序运行；无线模块用于使开发板(1)可直接连接至无线网络，所述无线模块为WIFI模块及蓝牙模块；电源模块用于给开发板(1)充电，USB接口作用为方便用户用U盘导入图像素材；其中视频单元、存储单元、控制单元、无线模块、电源模块和USB接口集成于开发板(1)上，而开发板(1)通过HDMI接口与显示屏相连，通过CSI摄像头接口与摄像头相连；开发板(1)的背面铰接有一支撑架(2)，其相对开发板的最大转动角度约为60°左右；另外，需要将所述电子相框放在桌上进行使用时，无需要借助外部工具，只需调整支撑架(2)的角度，即可使电子相框处于合适位置。

2.根据权利要求1所述的电子相册的生成方法，其特征在于，所述蓝牙模块的型号为HC-05，所述WIFI模块的型号为BCM43438。

3.一种电子设备，其特征在于，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序用于执行如上述权利要求1至2中任一项所述的方法，其中，所述计算机程序共分为两个版本，分别在Windows系统和Linux系统上运行。

4.根据权利要求3所述的电子设备，其特征在于，所述Windows系统包括windows7，windows8和windows10版本；Linux系统包括Ubuntu 20.04版本。

5.根据权利要求4所述的电子设备，其特征在于，所述计算机程序具体包括图片资源管理器、GUI部分、手势识别器、表情变换器和人脸识别器，其中图片资源管理器为用户存储及管理图像的单元，用户可通过此界面将静态图像导入软件数据库中，以在下一步表情变换中选择；GUI部分包括图片管理界面、开始界面和全屏界面，其中，图片管理界面，即用户选择播放图片界面；开始界面，即电子相册运行时默认界面，用户可由开始界面点击以转换至图片管理界面或全屏界面；全屏界面，即图片开始播放界面，也即主要的展示界面；手势识别器、表情变换器以及人脸识别器均使用神经网络算法。

Images