CN113901255A - 一种图像处理终端和方法 - Google Patents

Abstract

本发明公开了一种图像处理终端和方法，用以减小图像处理终端的计算压力，提高处理效率，本实施例图像处理终端该终端包括处理器以及摄像头；所述摄像头用于：获取拍摄图像；所述处理器用于：确定第一拍摄图像的预测实体标签；将所述第一拍摄图像的预测实体标签分配给第二拍摄图像，其中所述第二拍摄图像与所述第一拍摄图像的拍摄位置相同，且拍摄时间间隔小于预设时间间隔阈值，无需对第二拍摄图像进行打标签处理，也能准确得到第二拍摄图像的预测实体标签，减少了打标签处理占用图像处理终端的处理资源，进而减小图像处理终端的计算压力，提高处理效率。

Description

一种图像处理终端和方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像处理终端和方法。

背景技术

随着科技的迅速发展，终端的使用也越来越广泛。在一些应用场景中，具备拍摄功能的终端需要将拍摄的图像进行打标签处理，以便对这些图像进行管理。

相关技术中，终端需要对每帧拍摄图像均进行打标签处理。打标签处理的过程较为复杂、用时较长，导致计算压力过大。

发明内容

本发明提供一种图像处理终端和方法，用以减小终端的计算压力，提高处理效率。

第一方面，本发明实施例提供一种图像处理终端，该终端包括处理器以及摄像头；

所述摄像头用于：获取拍摄图像；

所述处理器用于：确定第一拍摄图像的预测实体标签；将所述第一拍摄图像的预测实体标签分配给第二拍摄图像，其中所述第二拍摄图像与所述第一拍摄图像的拍摄位置相同，且拍摄时间间隔小于预设时间间隔阈值。

上述方案，拍摄位置相同且拍摄时间间隔较小的图像很可能是对同一实体拍摄得到的图像，因此上述图像的标签一般是相同的，通过将第一拍摄图像的预测实体标签直接分配给与该第一拍摄图像的拍摄位置相同且拍摄时间间隔小于预设时间间隔阈值的第二拍摄图像，从而无需对第二拍摄图像进行打标签处理，也能较为准确地得到第二拍摄图像的预测实体标签，减少了打标签处理占用图像处理终端的处理资源，进而减小图像处理终端的计算压力，提高了处理效率。

在一种可选的实施方式中，所述第二拍摄图像与所述第一拍摄图像的相似度大于预设相似度。

相似度较大的图像的标签一般是相同的，上述方案，通过将第一拍摄图像的预测实体标签直接分配给与该第一拍摄图像的拍摄位置相同、拍摄时间间隔小于预设时间间隔阈值，并且相似度较大的第二拍摄图像的预测实体标签，从而无需对第二拍摄图像进行打标签处理，在减小图像处理终端的计算压力的同时，进一步提高第二拍摄图像的预测实体标签的准确性。

在一种可选的实施方式中，所述处理器还用于：

在确定第一拍摄图像的预测实体标签之前，确定携带相同标识码的任一拍摄图像的预测实体标签，其中，所述标识码为根据图像的特征值确定出的编码；

将所述任一拍摄图像的预测实体标签分配给携带相同标识码的其余拍摄图像。

一个图像的副本与该图像的特征值是相同的，因此标识码也相同，上述方案，通过确定携带相同标识码的任一拍摄图像的预测实体标签，并将该预测实体标签分配给携带相同标识码的其余拍摄图像，对于有很多图像副本的场景中，很大程度上减少了打标签处理占用图像处理终端的处理资源。

在一种可选的实施方式中，所述处理器还用于：

将变化序列图像按照图像拍摄时间依次输入训练后的运动状态识别模型，得到所述变化序列图像的预测运动状态标签，其中所述变化序列图像的携带有相同物体、拍摄位置相同并且拍摄时间间隔在预设时间间隔范围。

上述方案，通过将携带有相同物体、拍摄位置相同且拍摄时间间隔在预设时间间隔范围的变化序列图像，按照图像拍摄时间依次输入训练后的运动状态识别模型，能够得到上述变化序列图像的预测运动状态标签，丰富了图像的标签种类，方便对图像进行管理。

在一种可选的实施方式中，所述处理器具体用于：

确定所述变化序列图像的变化区域，并按照图像拍摄时间依次输入所述训练后的运动状态识别模型，得到所述变化序列图像的预测运动状态标签。

上述方案，通过确定变化序列图像中的变化区域，并按照图像拍摄时间将上述变化区域依次输入所述训练后的运动状态识别模型，能够减少运动状态识别模型中的计算量，并且忽略掉不变区域能够更加精准地得到变化序列图像的预测运动状态标签。

在一种可选的实施方式中，所述处理器还用于：

在将变化序列图像按照图像拍摄时间依次输入训练后的运动状态识别模型之前，基于所述物体在所述变化序列图像中的位置和形状，判断在拍摄所述变化序列图像时所述物体是否正在运动，若所述物体正在运动则将将变化序列图像按照图像拍摄时间依次输入训练后的运动状态识别模型。

上述方案，基于物体在变化序列图像中的位置和形状，能够方便准确地判断在拍摄变化序列图像时该物体是否正在运动，如果物体正在运动才会将变化序列图像依次输入训练后的运动状态识别模型，从而减少输入训练后的运动状态识别模型的图像，提高确定变化序列图像中图像的预测运动状态标签的效率，减小图像处理终端的计算压力。

第二方面，本发明实施例提供一种图像处理方法，包括：

确定第一拍摄图像的预测实体标签；

将所述第一拍摄图像的预测实体标签分配给第二拍摄图像，其中所述第二拍摄图像与所述第一拍摄图像的拍摄位置相同，且拍摄时间间隔小于预设时间间隔阈值。

在一种可选的实施方式中，所述第二拍摄图像与所述第一拍摄图像的相似度大于预设相似度。

在一种可选的实施方式中，在确定第一拍摄图像的预测实体标签之前，还包括：

确定携带相同标识码的拍摄图像中任一图像的预测实体标签，其中，所述标识码为根据所述拍摄图像的特征值确定出的编码；

将所述任一图像的预测实体标签分配给携带相同标识码的其余拍摄图像。

在一种可选的实施方式中，还包括：

将变化序列图像按照图像拍摄时间依次输入训练后的运动状态识别模型，得到所述变化序列图像的预测运动状态标签，其中，所述变化序列图像的携带有相同物体、拍摄位置相同并且拍摄时间间隔在预设时间间隔范围。

在一种可选的实施方式中，所述将变化序列图像按照图像拍摄时间依次输入训练后的运动状态识别模型，包括：

确定所述变化序列图像的变化区域，并按照图像拍摄时间依次输入所述训练后的运动状态识别模型，得到所述变化序列图像的预测运动状态标签。

在一种可选的实施方式中，在将变化序列图像按照图像拍摄时间依次输入训练后的运动状态识别模型之前，还包括：

基于所述物体在所述变化序列图像中的位置和形状，判断在拍摄所述变化序列图像时所述物体是否正在运动，若所述物体正在运动则将变化序列图像按照图像拍摄时间依次输入训练后的运动状态识别模型作为所述物体对应的变化序列图像。

第三方面，本申请还提供一种图像处理装置，该装置包括：

标签确定模块，用于确定第一拍摄图像的预测实体标签；

标签分配模块，用于将所述第一拍摄图像的预测实体标签分配给第二拍摄图像，其中所述第二拍摄图像与所述第一拍摄图像的拍摄位置相同，且拍摄时间间隔小于预设时间间隔阈值。

第四方面，本申请还提供一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第二方面所述方法的步骤。

另外，第二至四方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例提供的一种图像处理终端的硬件配置框图；

图2为本发明实施例提供的一种图像处理终端的软件结构框图；

图3A为本发明实施例提供的一种终端上的用户界面的示意图；

图3B为本发明实施例提供的另一种终端上的用户界面的示意图；

图3C为本发明实施例提供的再一种终端上的用户界面的示意图；

图4为本发明实施例提供的一种图像处理方法示意流程图；

图5A为本发明实施例提供的一种图像与预测实体标签的关系示意图；

图5B为本发明实施例提供的另一种图像与预测实体标签的关系示意图；

图5C为本发明实施例提供的再一种图像与预测实体标签的关系示意图；

图5D为本发明实施例提供的又一种图像与预测实体标签的关系示意图；

图6为本发明实施例提供的另一种图像处理方法示意流程图；

图7为本发明实施例提供的再一种图像处理方法示意流程图；

图8为本发明实施例提供的又一种图像处理方法示意流程图；

图9为本发明实施例提供的一种图像处理装置示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是直接相连，也可以通过中间媒介间接相连，可以是两个器件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

图像处理终端需要对具备拍摄功能的终端发送的每帧图像均进行打标签处理。然而，打标签处理的过程较为复杂、用时较长，图像处理终端对每帧图像进行打标签处理会占用大量处理资源，导致图像处理终端的计算压力过大、处理效率较低。

鉴于此，本发明实施例为了减小图像处理终端的计算压力，提高处理效率，提出一种图像处理终端和方法，下面结合附图及具体实施例对本发明作进一步详细的说明。

图1示出了图像处理终端100的硬件配置框图。

下面以图像处理终端100为例对实施例进行具体说明。应该理解的是，图1所示图像处理终端100仅是一个范例，并且图像处理终端100可以具有比图1中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

如图1所示，图像处理终端100包括：射频(radio frequency，RF)电路110、存储器120、显示单元130、摄像头140、传感器150、音频电路160、无线保真(Wireless Fidelity，Wi-Fi)模块170、处理器180、蓝牙模块181、以及电源190等部件。

RF电路110可用于在收发信息或通话过程中信号的接收和发送，可以接收基站的下行数据后交给处理器180处理；可以将上行数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。

存储器120可用于存储软件程序及数据。处理器180通过运行存储在存储器120的软件程序或数据，从而执行图像处理终端100的各种功能以及数据处理。存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器120存储有使得图像处理终端100能运行的操作系统。本申请中存储器120可以存储操作系统及各种应用程序，还可以存储执行本申请实施例所述方法的代码。

显示单元130可用于接收输入的数字或字符信息，产生与图像处理终端100的用户设置以及功能控制有关的信号输入，具体地，显示单元130可以包括设置在图像处理终端100正面的触摸屏131，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。

显示单元130还可用于显示由用户输入的信息或提供给用户的信息以及图像处理终端100的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元130可以包括设置在图像处理终端100正面的显示屏132。其中，显示屏132可以采用液晶显示器、发光二极管等形式来配置。显示单元130可以用于显示本申请中所述的各种图形用户界面。

其中，触摸屏131可以覆盖在显示屏132之上，也可以将触摸屏131与显示屏132集成而实现图像处理终端100的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元130可以显示应用程序以及对应的操作步骤。

摄像头140可用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器180转换成数字图像信号。

图像处理终端100还可以包括至少一种传感器150，比如加速度传感器151、距离传感器152、指纹传感器153、温度传感器154。图像处理终端100还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。

音频电路160、扬声器161、麦克风162可提供用户与图像处理终端100之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出。图像处理终端100还可配置音量按钮，用于调节声音信号的音量。另一方面，麦克风162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出至RF电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。本申请中麦克风162可以获取用户的语音。

Wi-Fi属于短距离无线传输技术，图像处理终端100可以通过Wi-Fi模块170帮助用户收发电子邮件、浏览网页和访问流媒体等，它为用户提供了无线的宽带互联网访问。还可以通过Wi-Fi模块来与其他具有Wi-Fi模块的设备进行信息交互。

处理器180是图像处理终端100的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器120内的软件程序，以及调用存储在存储器120内的数据，执行图像处理终端100的各种功能和处理数据。在一些实施例中，处理器180可包括一个或多个处理单元；处理器180还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器180中。本申请中处理器180可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例所述的处理方法。另外，处理器180与显示单元130可以是耦接。

蓝牙模块181，用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。

图像处理终端100还包括给各个部件供电的电源190(比如电池)。电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗等功能。图像处理终端100还可配置有电源按钮，用于终端的开机和关机，以及锁屏等功能。

图2是本发明实施例的图像处理终端100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供图像处理终端100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

下面结合捕获拍照场景，示例性说明图像处理终端100软件以及硬件的工作流程。

当触摸屏131接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头140捕获静态图像或视频。

本申请实施例中的图像处理终端100可以为手机、平板电脑、可穿戴设备、笔记本电脑以及电视等。

图3A-C是用于示出终端(例如图1的图像处理终端100)上的一组用户界面的示意图。在一些具体实施中，用户通过触摸图3A所示的用户界面上的“图库”应用图标进入图3B所示的用户界面，用户界面显示多个相册中存储的图片；用户通过触摸图3B所示的用户界面上的任一相册的图标可以打开对应相册中存储的图片，或者用户通过触摸图3B所示的用户界面上的“所有图片”的图标可以打开终端中的存储的所有图片，例如用户通过触摸图3B所示的用户界面上的“相机”的图标进入图3C所示的用户界面，用户界面显示终端通过摄像头所拍摄并存储的图片。用户通过触摸图3C所示的用户界面上的图像，选择需要进行打标签处理的图像。

图4为本发明实施例提供的一种图像处理方法示意流程图，如图4所示，具体包括以下步骤：

步骤401：确定第一拍摄图像的预测实体标签。

本实施例中，上述第一拍摄图像的预测实体标签可以是第一拍摄图像中所包含的主要实体或者全部实体的标签，预测实体标签可以添加到第一拍摄图像的辅助信息中，或者添加到第一拍摄图像中的实体上、或者实体附近，例如：

1)第一拍摄图像的预测实体标签是第一拍摄图像中所包含的全部实体的标签，并且预测实体标签添加到第一拍摄图像的辅助信息中；

图5A为本申请实施例提供的一种图像与预测实体标签的关系示意图。参阅5A所示，图像中包含的实体有猫和线球，预测实体标签也为猫和线球，预测实体标签是添加到图像的辅助信息中的，辅助信息除了该预测实体标签，还可包括位置信息、时间信息等信息(5A以辅助信息包括位置信息、时间信息和预测实体标签为例进行说明，但实际应用中可以包括更多或更少信息)。另外，图5A中辅助信息的表格仅是举例说明，还可以是其他形式。

2)第一拍摄图像的预测实体标签是第一拍摄图像中所包含的全部实体的标签，并且预测实体标签添加到第一拍摄图像中；

图5B为本申请实施例提供的另一种图像与预测实体标签的关系示意图。参阅图5B所示，图像中包含的实体有猫和线球，预测实体标签也为猫和线球，预测实体标签是添加到图像中对应实体所在位置附近、或者实体所在位置上(图5B以将标签添加到对应实体上方为例进行说明，但是标签也可以添加到其他位置)。在这种场景中，需要先确定各实体所在位置，才能为其添加预测实体标签。另外，标签的大小和形状也可以根据实际应用场景进行设定(图5B中标签长方形，但是标签也为圆形或者方形，面积可以更大或者更小)，此处不再赘述。

3)第一拍摄图像的预测实体标签是第一拍摄图像中所包含的部分实体的标签，并且预测实体标签添加到第一拍摄图像的辅助信息中；

图5C为本申请实施例提供的再一种图像与预测实体标签的关系示意图。参阅图5C所示，图像中包含的实体有兔子和胡萝卜，预测实体标签为兔子，预测实体标签是添加到图像的辅助信息中的，5C以辅助信息包括预测实体标签、位置信息、时间信息和标识码为例进行说明，如上所述，辅助信息包含的内容和形式都可根据实际应用场景设定。

4)第一拍摄图像的预测实体标签是第一拍摄图像中所包含的部分实体的标签，并且预测实体标签添加到第一拍摄图像的辅助信息中；

图5D为本申请实施例提供的又一种图像与预测实体标签的关系示意图。参阅图5D所示，图像中包含的实体有兔子和胡萝卜，预测实体标签为兔子，图5D以将标签添加到对应实体上方为例进行说明。如上所述，标签的形状、大小、位置都可以根据实际应用场景进行设定。

上述仅是为了举例说明预测实体标签可能的实现方式，不作为对本实施的限定。

本实施例对上述确定第一拍摄图像的预测实体标签的方式不做限定，例如：

将第一拍摄图像的输入训练的训练后的实体识别模型，输出该第一拍摄图像的预测实体标签。其中，训练后的实体识别模型是将样本图像及其实际实体标签作为输入，将样本图像的预测实体标签作为输出对初始实体识别模型进行训练得到的。

步骤402：将所述第一拍摄图像的预测实体标签分配给第二拍摄图像。

其中所述第二拍摄图像与所述第一拍摄图像的拍摄位置相同且拍摄时间间隔小于预设时间间隔阈值。

本实施例中，拍摄位置相同且拍摄时间间隔较小的图像很可能是对同一实体拍摄得到的图像，因此上述图像的标签一般是相同的，基于此，可将第一拍摄图像的预测实体标签直接分配给与该第一拍摄图像的拍摄位置相同且拍摄时间间隔较小的第二拍摄图像。

可以通过但不限于如下方式确定图像的拍摄位置和拍摄时间间隔：

通过读取图像的辅助信息中的位置信息，就能确定图像的拍摄位置；

通过读取图像的辅助信息中的时间信息，就能确定图像的拍摄时间，根据几帧图像中最晚的拍摄时间与最早的拍摄时间之差就能确定这几帧图像的拍摄时间间隔，例如：

图像1的拍摄时间为8:00:00，图像2的拍摄时间为同一天的8:00:03，图像3的拍摄时间为同一天的8:00:10，图像4的拍摄时间为同一天的8:00:11，图像5的拍摄时间为同一天的8:00:14，图像6的拍摄时间为同一天的8:00:15，图像7的拍摄时间为同一天的8:01:20，图像8的拍摄时间为同一天的8:03:20。图像1-6的拍摄时间间隔为图像6的拍摄时间与图像1的拍摄时间之差为15s，图像5-8的拍摄时间间隔为图像8的拍摄时间与图像8的拍摄时间之差为186s，此处不再一一列举上述图像间的拍摄时间间隔。

上述确定图像的拍摄位置和拍摄时间间隔的方式仅是举例说明，不作为对本实施例的限定。

还是以上述图像1-8为例，预设时间间隔阈值为30s，图像1-6的拍摄时间间隔为15s，小于预设时间间隔阈值，可将图像1-6作为第一待处理图像。

上述预设时间间隔阈值仅是举例说明，可以根据实际应用场景设定预设时间间隔阈值，本实施例对此不做限定。

本实施例，通过将第一拍摄图像的预测实体标签直接分配给与该第一拍摄图像的拍摄位置相同且拍摄时间间隔小于预设时间间隔阈值的第二拍摄图像的预测实体标签，从而无需对第二拍摄图像进行打标签处理，也能较为准确地得到第二拍摄图像的预测实体标签，减少了打标签处理占用图像处理终端的处理资源，进而减小图像处理终端的计算压力，提高了处理效率。

可选地，所述第二拍摄图像与所述第一拍摄图像的相似度大于预设相似度。

相似度较大的图像的标签一般是相同的，通过将上述第一拍摄图像的预测实体标签作为与该第一拍摄图像的拍摄位置相同、拍摄时间间隔小于预设时间间隔阈值，并且相似度较大的第二拍摄图像的预测实体标签，能够在减小图像处理终端的计算压力的同时，进一步提高第二拍摄图像的预测实体标签的准确性。

另外，在一些实施例中，可将拍摄位置相同、拍摄时间间隔小于预设时间间隔阈值的拍摄图像作为第一待处理图像，将第一待处理图像中拍摄时间最早的图像作为上述第一拍摄图像，从第一待处理图像中选择与第一拍摄图像的相似度大于预设相似度的图像作为第二拍摄图像，各第二拍摄图像不仅与上述第一拍摄图像相似度较大，并且进一步保证各第二拍摄图像间相似度较大。如果选择其他图像作为上述第一拍摄图像，还是以上述图像1-8为例，从第一待处理图像中(图像1-6作为第一待处理图像)选择图像3作为第一拍摄图像，就有可能会出现拍摄时间较早的图像(以图1为例)与图像3较为相似，拍摄时间较晚的图像(以图6为例)与图像3也较为相似，但是图1与图6差异较大，这时将图像3的预测实体标签同时作为图1和图6的预测实体标签并不合理。通过将上述第一待处理图像中拍摄时间最早的图像作为第一拍摄图像，各第二拍摄图像不仅与上述第一拍摄图像较为相似，避免因各第二拍摄图像间差异较大导致预测实体标签不够合理的问题。

本实施例对上述确定图像的相似度的方式不做限定，例如：

1)通过结构相似性(Structural Similarity，简称SSIM)算法确定相似度。

2)计算图像的互信息，确定相似度。

3)将图像进行归一化处理，计算归一化处理后的图像的指纹信息，然后根据图像的指纹信息序列相同的位数，确定相似度。

可以理解，其他确定图像的相似度的方式也同样适用本实施例。

上述方案，通过将第一拍摄图像的预测实体标签直接分配给与该第一拍摄图像的拍摄位置相同、拍摄时间间隔小于预设时间间隔阈值，并且相似度较大的第二拍摄图像的预测实体标签，从而无需对第二拍摄图像进行打标签处理，在减小图像处理终端的计算压力的同时，进一步提高第二拍摄图像的预测实体标签的准确性。

可选地，在上述确定第一拍摄图像的预测实体标签之前，可以先确定携带相同标识码的任一拍摄图像的预测实体标签，其中，所述标识码为根据图像的特征值确定出的编码；

将所述任一拍摄图像的预测实体标签分配给携带相同标识码的其余拍摄图像。

可以通过但不限于如下方式确定图像的标识码：

1)如果图像的辅助信息包含标识信息，可以根据标识信息确定图像的标识码，其中标识信息包含标识码和应用程序代码等信息。

2)如果图像的辅助信息不包含标识信息，可以根据图像的特征值计算得到标识码。

其他确定图像的标识码也适用本实施例，此处不再赘述。

本实施例，通过确定携带相同标识码的任一拍摄图像的预测实体标签，并将该预测实体标签分配给携带相同标识码的其余拍摄图像，对于有很多图像副本的场景中，很大程度上减少了打标签处理占用图像处理终端的处理资源。

图6为本发明实施例提供的另一种图像处理方法示意流程图，如图6所示，该实施例在图4实施例的基础上，具体包括以下步骤：

步骤601：确定第一拍摄图像的预测实体标签。

步骤602：将所述第一拍摄图像的预测实体标签分配给第二拍摄图像。

其中所述第二拍摄图像与所述第一拍摄图像的拍摄位置相同，且拍摄时间间隔小于预设时间间隔阈值。

该步骤601-602的实现方式与上述步骤401-402的实现方式相同，此处不再赘述。

步骤603：将变化序列图像按照图像拍摄时间依次输入训练后的运动状态识别模型，得到所述变化序列图像的预测运动状态标签。

其中，所述变化序列图像的携带有相同物体、拍摄位置相同并且拍摄时间间隔在预设时间间隔范围。

本实施例中，携带有相同物体、拍摄位置相同，且拍摄时间间隔比较长的变化序列图像很有可能是对某个运动的物体进行拍摄得到的图像，可以基于变化序列图像确定出该运动的物体的运动状态。

其中，上述预设的时间间隔的具体范围可根据实际应用场景进行设定，例如：

当拍摄的物体为手部时，手部有可能进行手势变化，上述具体范围可以设置较小些；

当拍摄的物体为球体时，上述具体范围可以设置较大些；

上述两种场景仅是举例说明，不作为对本实施例的限定。

另外，上述预设时间间隔范围的最小值不能过于小，在很小的时间间隔内物体一般不会发生运动；上述预设时间间隔范围的最大值也不能过于大，在很大的时间间隔内同一位置处拍摄的很可能不是同一物体了，或者即使是同一物体该物体的运动状态已经发生了改变，自然也无法根据包含不同物体的图像或包含不同运动状态物体确定物体的运动状态。

另外，可以通过与上述实施例相同的方式去确定图像的拍摄位置和拍摄时间间隔，此处不再赘述。

本实施例中可以通过上述实施例中确定图像相似度的方式确定图像中是否携带有相同物体，例如：两帧图像间相似度大于预设阈值时，则认为这两帧图像携带有相同物体。

另外，上述训练后的运动状态识别模型是将样本变化序列图像及其实际运动状态标签作为输入，将该样本变化序列图像的预测运动状态标签作为输出对初始运动状态识别模型进行训练得到。

可以理解，该步骤603与步骤601-602没有必然的时序关系，即可以先执行步骤601-602，也可以先执行步骤603，或者同时执行步骤601-602和步骤603。

上述方案，通过将携带有相同物体、拍摄位置相同且拍摄时间间隔在预设时间间隔范围的变化序列图像，按照图像拍摄时间依次输入训练后的运动状态识别模型，能够得到上述变化序列图像的预测运动状态标签，丰富了图像的标签种类，方便对图像进行管理。

图7为本发明实施例提供的再一种图像处理方法示意流程图，如图7所示，该实施例在上述实施例的基础上，具体包括以下步骤：

步骤701：确定第一拍摄图像的预测实体标签。

步骤702：将所述第一拍摄图像的预测实体标签分配给第二拍摄图像。

其中所述第二拍摄图像与所述第一拍摄图像的拍摄位置相同。

该步骤701-702的实现方式与上述步骤401-402的实现方式相同，此处不再赘述。

步骤703：确定所述变化序列图像的变化区域，并按照图像拍摄时间依次输入所述训练后的运动状态识别模型，得到所述变化序列图像的预测运动状态标签。

本实施例中，为了进一步减少计算量，同时更加精准地得到变化序列图像的预测运动状态标签，可先确定上述变化序列图像的变化区域。

本实施例对确定上述变化序列图像的变化区域的具体实现方式不做限定，例如：

1)采用帧差法，即在上述变化序列图像中相邻图像间间采用基于像素的时间差分并且阅值化来提取出圈像中的变化区域，从而得到每帧图像的变化区域。

2)采用背景减除法，即利用当前图像与背景图像的差分来检测出每帧图像的变化区域。

其他确定上述变化序列图像的变化区域的方式也适用本实施例，此处不再赘述。

上述方案，通过确定变化序列图像的变化区域，并按照图像拍摄时间将上述变化区域依次输入所述训练后的运动状态识别模型，能够减少运动状态识别模型中的计算量，并且忽略掉不变区域能够更加精准地得到变化序列图像的预测运动状态标签。

图8为本发明实施例提供的又一种图像处理方法示意流程图，如图8所示，该实施例在上述实施例的基础上，具体包括以下步骤：

步骤801：确定第一拍摄图像的预测实体标签。

步骤802：将所述第一拍摄图像的预测实体标签分配给第二拍摄图像。

其中所述第二拍摄图像与所述第一拍摄图像的拍摄位置相同。

该步骤801-802的实现方式与上述步骤401-402的实现方式相同，此处不再赘述。

步骤803：基于所述物体在所述变化序列图像中的位置和形状，判断在拍摄所述变化序列图像时所述物体是否正在运动，若所述物体正在运动则将变化序列图像按照图像拍摄时间依次输入训练后的运动状态识别模型，得到所述变化序列图像的预测运动状态标签。

本实施例中，如果在拍摄变化序列图像时该物体正在运动才会将变化序列图像输入训练后的运动状态识别模型，如果在拍摄变化序列图像时该物体是静止的，就不用再通过训练后的运动状态识别模型确定预测运动状态标签，减少输入训练后的运动状态识别模型的图像，以免图像处理终端进行不必要的计算。

示例性的，判断物体在上述变化序列中的位置和形状是否相同，如果位置不同或者形状不同，就判定在拍摄变化序列图像时上述物体正在运动，将变化序列图像输入训练后的运动状态识别模型，得到预测运动状态标签。

上述方案，基于物体在变化序列图像中的位置和形状，能够方便准确地判断在拍摄变化序列图像时该物体是否正在运动，如果物体正在运动才会将变化序列图像依次输入训练后的运动状态识别模型，从而减少输入训练后的运动状态识别模型的图像，提高确定变化序列图像中图像的预测运动状态标签的效率，减小图像处理终端的计算压力。

如图9所示，基于相同的发明构思，本发明实施例提供一种图像处理装置900，包括：标签确定模块901和标签分配模块902，可选地还包括标签处理模块903。

标签确定模块901，用于确定第一拍摄图像的预测实体标签；

标签分配模块902，将所述第一拍摄图像的预测实体标签分配给第二拍摄图像，其中所述第二拍摄图像与所述第一拍摄图像的拍摄位置相同，且拍摄时间间隔小于预设时间间隔阈值。

可选地，所述第二拍摄图像与所述第一拍摄图像的相似度大于预设相似度。

可选地，所述标签处理模块903，用于在标签确定模块901确定第一拍摄图像的预测实体标签之前，确定携带相同标识码的拍摄图像中任一图像的预测实体标签，其中，所述标识码为根据所述拍摄图像的特征值确定出的编码；将所述任一图像的预测实体标签分配给携带相同标识码的其余拍摄图像。

可选地，标签确定模块901还用于将变化序列图像按照图像拍摄时间依次输入训练后的运动状态识别模型，得到所述变化序列图像的预测运动状态标签，其中，所述变化序列图像的携带有相同物体、拍摄位置相同并且拍摄时间间隔在预设时间间隔范围。

可选地，标签确定模块901具体用于确定所述变化序列图像的变化区域，并按照图像拍摄时间依次输入所述训练后的运动状态识别模型，得到所述变化序列图像的预测运动状态标签。

可选地，标签确定模块901还用于在将变化序列图像按照图像拍摄时间依次输入训练后的运动状态识别模型之前，基于所述物体在所述变化序列图像中的位置和形状，判断在拍摄所述变化序列图像时所述物体是否正在运动，若所述物体正在运动则将变化序列图像按照图像拍摄时间依次输入训练后的运动状态识别模型作为所述物体对应的变化序列图像。

由于该装置即是本发明实施例中的方法中的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

本发明实施例还提供一种计算机可读非易失性存储介质，包括程序代码，当所述程序代码在计算终端上运行时，所述程序代码用于使所述计算终端执行上述本发明实施例图像处理方法的步骤。

以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。

相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种图像处理终端，其特征在于，该终端包括处理器以及摄像头；

所述摄像头用于：获取拍摄图像；

所述处理器用于：确定第一拍摄图像的预测实体标签；将所述第一拍摄图像的预测实体标签分配给第二拍摄图像，其中所述第二拍摄图像与所述第一拍摄图像的拍摄位置相同，且拍摄时间间隔小于预设时间间隔阈值。

2.如权利要求1所述的终端，其特征在于，所述第二拍摄图像与所述第一拍摄图像的相似度大于预设相似度。

3.如权利要求1所述的终端，其特征在于，所述处理器还用于：

在确定第一拍摄图像的预测实体标签之前，确定携带相同标识码的任一拍摄图像的预测实体标签，其中，所述标识码为根据图像的特征值确定出的编码；

将所述任一拍摄图像的预测实体标签分配给携带相同标识码的其余拍摄图像。

4.如权利要求1～3任一所述的终端，其特征在于，所述处理器还用于：

将变化序列图像按照图像拍摄时间依次输入训练后的运动状态识别模型，得到所述变化序列图像的预测运动状态标签，其中所述变化序列图像的携带有相同物体、拍摄位置相同并且拍摄时间间隔在预设时间间隔范围。

5.如权利要求4所述的终端，其特征在于，所述处理器具体用于：

确定所述变化序列图像的变化区域，并按照图像拍摄时间依次输入所述训练后的运动状态识别模型，得到所述变化序列图像的预测运动状态标签。

6.如权利要求4所述的终端，其特征在于，所述处理器还用于：

在将变化序列图像按照图像拍摄时间依次输入训练后的运动状态识别模型之前，基于所述物体在所述变化序列图像中的位置和形状，判断在拍摄所述变化序列图像时所述物体是否正在运动，若所述物体正在运动则将变化序列图像按照图像拍摄时间依次输入训练后的运动状态识别模型。

7.一种图像处理方法，其特征在于，包括：

确定第一拍摄图像的预测实体标签；

将所述第一拍摄图像的预测实体标签分配给第二拍摄图像，其中所述第二拍摄图像与所述第一拍摄图像的拍摄位置相同，且拍摄时间间隔小于预设时间间隔阈值。

8.如权利要求7所述的方法，其特征在于，所述第二拍摄图像与所述第一拍摄图像的相似度大于预设相似度。

9.如权利要求7所述的方法，其特征在于，在确定第一拍摄图像的预测实体标签之前，还包括：

确定携带相同标识码的拍摄图像中任一图像的预测实体标签，其中，所述标识码为根据所述拍摄图像的特征值确定出的编码；

将所述任一图像的预测实体标签分配给携带相同标识码的其余拍摄图像。

10.如权利要求7～9任一所述的方法，其特征在于，还包括：

将变化序列图像按照图像拍摄时间依次输入训练后的运动状态识别模型，得到所述变化序列图像的预测运动状态标签，其中，所述变化序列图像的携带有相同物体、拍摄位置相同并且拍摄时间间隔在预设时间间隔范围。

Images