CN110460770A - 一种图像处理方法和系统 - Google Patents

Abstract

本发明公开了一种图像处理方法和系统，方法包括：在预定时间内通过图像采集设备采集图像；将采集的所述图像输入预设神经网络模型，以通过所述预设神经网络模型判断所述图像是否为具备目标图像特征的目标图像，得到判断结果；根据所述判断结果确定是否保存所述图像；将所述预定时间内采集的图像中被保存的所有目标图像生成具有延时摄影效果的图像集。通过该技术方案，可以自动筛选图像形成图像序列或视频，从而减少用户的操作，提升用户使用体验。

Description

一种图像处理方法和系统

技术领域

本发明涉及图像处理技术领域，更具体地，涉及一种图像处理方法和系统。

背景技术

传统的延时摄影，有一台相机，一年中的每天定时定点拍一张照片，汇总得到延时摄影的图片或视频。

对于某些特定场景或特定拍摄要求，这种方式过分依赖人工参与，且拍摄效果不一定理想。例如，庐山景区的雾凇只有在特定季节或者特定气象条件下才能形成，若希望针对庐山雾凇通过延时摄影的拍摄方式进行拍摄，传统拍摄手法，在一段时间内，例如一年内的每天的固定时刻，在固定地点均拍摄，后续通过人工审核的方式从中筛选照片以形成图像序列或视频，导致后续工作量极大。

发明内容

鉴于上述问题，本发明提出了一种图像处理方法和相应的系统，其可以自动筛选图像形成图像序列或视频，从而减少用户的操作，提升用户使用体验。

根据本发明实施例的第一方面，提供一种图像处理方法，包括：

在预定时间内通过图像采集设备采集图像；

将采集的所述图像输入预设神经网络模型，以通过所述预设神经网络模型判断所述图像是否为具备目标图像特征的目标图像，得到判断结果；

根据所述判断结果确定是否保存所述图像；

将所述预定时间内采集的图像中被保存的所有目标图像生成具有延时摄影效果的图像集。

在一个实施例中，优选地，所述图像处理方法还包括：

将所述图像采集装置在预设时间和地点采集过的历史图像发送至第一标注终端，以由所述第一标注终端确定出所述历史图像对应的图像特征、图像区域划分方式和图像关联规则，并对所述历史图像中符合所述图像特征的部分图像进行图像特征标注；

将标注过图像特征的图像作为标注样本存储至标注样本数据库中。

在一个实施例中，优选地，所述方法还包括:

将所述图像区域划分方式、所述图像关联规则和标注样本数据库发送至第二标注终端，以由所述第二标注终端根据图像区域划分方式、所述图像关联规则和标注样本对所述历史图像中的其他图像进行图像特征标注，并将标注的图像存储至模型训练特征集中。

在一个实施例中，优选地，所述图像特征标注的过程包括:

对于任一张图像，根据图像区域划分方式显示第一图像子区域的图像，并在所述第一图像子区域中不存在该区域对应的目标图像特征时，舍弃所述图像，在第一图像子区域中存在该区域对应的目标图像特征时，显示第二图像子区域，并根据第二图像子区域中是否包含该区域对应的目标图像特征确定是否舍弃所述图像。

在一个实施例中，优选地，所述方法还包括:

根据所述模型训练特征集的标注图像和神经网络模型训练得到所述预设神经网络模型的模型参数。

在一个实施例中，优选地，所述图像包括以下任一项：单张图像，图像序列中的单张图像和视频中的单张图像，所述图像集包括图像序列和视频。

在一个实施例中，优选地，所述方法还包括：

确定所述被保存的图像和未被保存的图像中，是否存在漏检和误检的图像，得到确定结果；

根据所述确定结果统计所述图像集的准确率和/或漏检率。

在一个实施例中，优选地，所述根据所述判断结果确定是否保存所述图像，包括：

当判断结果为所述图像为具备所有目标图像特征的目标图像时，保存所述图像；

当判断结果为所述图像不具备任一目标图像特征时，舍弃所述图像。

根据本发明实施例的第二方面，提供一种图像处理系统，包括：

固定视角和焦距的图像采集设备，与云端服务器通过无线通信，用于采集图像上传到云端服务器；

所述云端服务器，用于接收所述图像采集设备采集的图像，并采用上述第一方面或第一方面中任一项所述的方法对所述图像进行处理；或者

固定视角和焦距的图像采集设备，与云端服务器通过无线通信，用于采用上述第一方面或第一方面中任一项所述的方法对采集的图像进行处理，并将处理结果上传到云端服务器；

所述云端服务器，用于接收所述处理结果。

根据本发明实施例的第三方面，提供一种图像处理系统，包括：

固定视角和焦距的图像采集设备，与本地设备通过有线或进场通信方式连接，用于将采集的图像发送至所述本地设备；

所述本地设备，用于采用上述第一方面或第一方面中任一项所述的方法对采集的所述图像进行处理，并将处理结果上传到云端服务器；

所述云端服务器，用于接收所述处理结果。

本发明实施例中，可以自动采集图像，并利用预设神经网络模型自动筛选出目标图像，形成具有延时摄影效果的图像序列或视频，从而减少用户的操作，提升用户使用体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明一个实施例的一种图像处理方法的流程图。

图2示出了根据本发明一个实施例的另一种图像处理方法的流程图。

图3示出了根据本发明一个实施例的另一种图像处理方法的流程图。

图4示出了根据本发明一个实施例的又一种图像处理方法的流程图。

图5示出了根据本发明一个实施例的又一种图像处理方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了根据本发明一个实施例的一种图像处理方法的流程图。

如图1所示，本发明的图像处理方法，包括步骤S101-S104：

步骤S101，在预定时间内通过图像采集设备采集图像。可以通过具有延时拍摄功能的图像采集设备拍摄所设定好场景的图像或视频素材。

步骤S102，将采集的图像输入预设神经网络模型，以通过预设神经网络模型判断图像是否为具备目标图像特征的目标图像，得到判断结果；

步骤S103，根据判断结果确定是否保存图像；

步骤S104，将预定时间内采集的图像中被保存的所有目标图像生成具有延时摄影效果的图像集。

在一个实施例中，优选地，图像包括以下任一项：单张图像，图像序列中的单张图像和视频中的单张图像，图像集包括图像序列和视频。

在该实施例中，拍摄设备可以在预定时间内定时或不定时进行图像采集，并将采集到的图像输入预设神经网络模型，通过预设神经网络模型判断该图像是否为目标图像，根据预设神经网络模型的判断结果保存或丢弃该图像，并将预定时间内采集到的图像中被保存的图像生成延时摄影效果的图像集，从而减少用户的操作，提升用户使用体验。

图2示出了根据本发明一个实施例的另一种图像处理方法的流程图。

如图2所示，在一个实施例中，优选地，在步骤S101之前，图像处理方法还包括：

步骤S201,将图像采集装置在预设时间和地点采集过的历史图像发送至第一标注终端，以由第一标注终端确定出历史图像对应的图像特征、图像区域划分方式和图像关联规则，并对历史图像中符合图像特征的部分图像进行图像特征标注；

步骤S202,将标注过图像特征的图像作为标注样本存储至标注样本数据库中。

在该实施例中，将图像采集装置在预设时间和地点采集过的历史图像发送至第一标注终端，如标注专家的标注终端，由专家确定或者获知图像特征(例如表征特定气象的图像特征，表征特定景色的图像特征等等)、图像区域划分方式(例如将图像均分为9个区域)及关联规则，专家在图像中查找图像特征，并对查找到的图像特征进行标注(例如圈出图像特征，标记特征名称等等)，标注了图像特征的图像作为标注样本保存至标注样本数据库中。

在该阶段，图像采集装置需要定时定点进行拍摄(例如每天的固定时间点拍摄一张照片)。其中，某些神经网络训练仅需要正样本，那么，在该过程中，仅需要标注图像特征。在某些神经网络模型中，不仅需要正样本，还需要负样本，因此，不仅要标注图像特征，还需要标注反图像特征(即错误的图像特征，例如，反映雾天的图像区域是正样本所需的图像特征，那么，反映雨天或晴天的图像区域就属于错误的图像特征)，那么此时，标注样本数据库中不仅保存正样本，还保存负样本。

图3示出了根据本发明一个实施例的另一种图像处理方法的流程图。

如图3所示，在一个实施例中，优选地，在步骤S202之后，方法还包括:

步骤S301，将图像区域划分方式、图像关联规则和标注样本数据库发送至第二标注终端，以由第二标注终端根据图像区域划分方式、图像关联规则和标注样本对历史图像中的其他图像进行图像特征标注，并将标注的图像存储至模型训练特征集中。

其中，图像特征标注的过程包括:

对于任一张图像，根据图像区域划分方式显示第一图像子区域的图像，并在第一图像子区域中不存在该区域对应的目标图像特征时，舍弃图像，在第一图像子区域中存在该区域对应的目标图像特征时，显示第二图像子区域，并根据第二图像子区域中是否包含该区域对应的目标图像特征确定是否舍弃图像。

步骤S302，根据模型训练特征集的标注图像和神经网络模型训练得到预设神经网络模型的模型参数。

在该实施例中，第二标注终端，如标注员所使用的终端获取区域划分方式、关联规则及上述样本标注数据库，根据区域划分方式对待标注的图像进行区域划分，并根据关联规则指示的顺序展示各个图像区域，另外还向标注员展示关联规则及标注样本数据库中的图像，以便标注员根据关联规则的指示以及数据库图像的示范展示进行图像特征标注，并将发现图像特征的图像保存到模型训练特征集中。

其中，待标注的图像是拍摄设备拍摄得到的单张照片、照片序列和/或视频，对于照片序列及视频，可以仅选择其中一张图像进行标记，也可以选择其中部分或全部图像进行标记。

以雾凇标注为例，假设区域划分是将图像均分为9个区域，关联规则指示的识别顺序是首先对上三个图像区域进行识别，上三个图像区域对应天空，通过观察这三个图像区域可以判断是否存在目标气象特征，若存在，进行标注，并进一步展示其余6个图像区域，以进行其他图像特征的识别及标注，若不存在，则针对该图像的识别结束，无需将其保存在模型训练特征集中。

通过上述方式可以得到模型训练特征集，利用该样本集合中的标注图像训练神经网络模型，例如，将样本中的样本分为两部分，一部分作为训练集，一部分作为验证集，利用训练集对神经网络模型进行训练，利用验证集对神经网络模型进行优化。

其中，标注样本数据库可以定期或不定期更新，每次更新，均将更新后的数据库下发给第二标注终端。而模型训练特征集也可以根据保存的图像进行更新。

图4示出了根据本发明一个实施例的又一种图像处理方法的流程图。

如图4所示，在一个实施例中，优选地，在步骤S104之后，方法还包括步骤S401：

步骤S401,确定被保存的图像和未被保存的图像中，是否存在漏检和误检的图像，得到确定结果；

步骤S402,根据确定结果统计图像集的准确率和/或漏检率。

在该实施例中还可以通过图像识别算法等来确定被保存的图像和未被保存的图像中，是否存在漏检和误检的图像，从而统计得到图像集的准确率和/或漏检率。其中，准确率表示被准确保存的图像的数量除以保存图像的总数。漏检率表示应该保存却没有被保存的图像的数量处于保存图像的总数。

图5示出了根据本发明一个实施例的又一种图像处理方法的流程图。

如图5所示，在一个实施例中，优选地，上述步骤S103包括：

步骤S501,当判断结果为图像为具备所有目标图像特征的目标图像时，保存图像；

步骤S502,当判断结果为图像不具备任一目标图像特征时，舍弃图像。

根据本发明实施例的第二方面，提供一种图像处理系统，包括：

固定视角和焦距的图像采集设备，与云端服务器通过无线通信，用于采集图像上传到云端服务器；

云端服务器，用于接收图像采集设备采集的图像，并采用上述第一方面或第一方面中任一项的方法对图像进行处理；或者

固定视角和焦距的图像采集设备，与云端服务器通过无线通信，用于采用上述第一方面或第一方面中任一项的方法对采集的图像进行处理，并将处理结果上传到云端服务器；

云端服务器，用于接收处理结果。

在该实施例中，包括固定视角及焦距的图像采集设备及云端服务器，二者无线通信。图像采集设备将采集到的图像上传到云端服务器，云端服务器对上传的图像进行处理；或者，图像采集设备服务器在本地进行图像处理，并将处理结果发送给云端。

根据本发明实施例的第三方面，提供一种图像处理系统，包括：

固定视角和焦距的图像采集设备，与本地设备通过有线或进场通信方式连接，用于将采集的图像发送至本地设备；

本地设备，用于采用上述第一方面或第一方面中任一项的方法对采集的图像进行处理，并将处理结果上传到云端服务器；

云端服务器，用于接收处理结果。

在该实施例中，包括固定视角及焦距的图像采集设备及本地设备，二者有线或通过近场通信方式连接，图像采集设备将采集到的图像发送给本地设备；还包括云端服务器，本地设备在本地对图像进行处理，并将处理结果上报给云端服务器。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明所提供的一种图像处理系统进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

在预定时间内通过图像采集设备采集图像；

将采集的所述图像输入预设神经网络模型，以通过所述预设神经网络模型判断所述图像是否为具备目标图像特征的目标图像，得到判断结果；

根据所述判断结果确定是否保存所述图像；

将所述预定时间内采集的图像中被保存的所有目标图像生成具有延时摄影效果的图像集。

2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

将所述图像采集装置在预设时间和地点采集过的历史图像发送至第一标注终端，以由所述第一标注终端确定出所述历史图像对应的图像特征、图像区域划分方式和图像关联规则，并对所述历史图像中符合所述图像特征的部分图像进行图像特征标注；

将标注过图像特征的图像作为标注样本存储至标注样本数据库中。

3.根据权利要求2所述的图像处理方法，其特征在于，所述方法还包括:

将所述图像区域划分方式、所述图像关联规则和标注样本数据库发送至第二标注终端，以由所述第二标注终端根据图像区域划分方式、所述图像关联规则和标注样本对所述历史图像中的其他图像进行图像特征标注，并将标注的图像存储至模型训练特征集中。

4.根据权利要求3所述的图像处理方法，其特征在于，所述图像特征标注的过程包括:

对于任一张图像，根据图像区域划分方式显示第一图像子区域的图像，并在所述第一图像子区域中不存在该区域对应的目标图像特征时，舍弃所述图像，在第一图像子区域中存在该区域对应的目标图像特征时，显示第二图像子区域，并根据第二图像子区域中是否包含该区域对应的目标图像特征确定是否舍弃所述图像。

5.根据权利要求3或4所述的图像处理方法，其特征在于，所述方法还包括:

根据所述模型训练特征集的标注图像和神经网络模型训练得到所述预设神经网络模型的模型参数。

6.根据权利要求1所述的图像处理方法，其特征在于，所述图像包括以下任一项：单张图像，图像序列中的单张图像和视频中的单张图像，所述图像集包括图像序列和视频。

7.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

确定所述被保存的图像和未被保存的图像中，是否存在漏检和误检的图像，得到确定结果；

根据所述确定结果统计所述图像集的准确率和/或漏检率。

8.根据权利要求1至7中任一项所述的图像处理方法，其特征在于，所述根据所述判断结果确定是否保存所述图像，包括：

当判断结果为所述图像为具备所有目标图像特征的目标图像时，保存所述图像；

当判断结果为所述图像不具备任一目标图像特征时，舍弃所述图像。

9.一种图像处理系统，其特征在于，包括：

固定视角和焦距的图像采集设备，与云端服务器通过无线通信，用于采集图像上传到云端服务器；

所述云端服务器，用于接收所述图像采集设备采集的图像，并采用上述权利要求1至8中任一项所述的方法对所述图像进行处理；或者

固定视角和焦距的图像采集设备，与云端服务器通过无线通信，用于采用上述权利要求1至8中任一项所述的方法对采集的图像进行处理，并将处理结果上传到云端服务器；

所述云端服务器，用于接收所述处理结果。

10.一种图像处理系统，其特征在于，包括：

固定视角和焦距的图像采集设备，与本地设备通过有线或进场通信方式连接，用于将采集的图像发送至所述本地设备；

所述本地设备，用于采用上述权利要求1至8中任一项所述的方法对采集的所述图像进行处理，并将处理结果上传到云端服务器；

所述云端服务器，用于接收所述处理结果。