CN110415295B - 图像数据处理方法和图像数据处理设备 - Google Patents

Abstract

本申请的图像数据处理方法，通过获取拍摄设备实时采集的图像数据，以预定间隔从图像数据中确定采集时间点；将采集时间点的前一帧帧图片与后一帧帧图片进行差分处理，筛选得到差分图像；提取差分图像的轮廓线，若轮廓线的位置范围处于指定区域，则获取差分图像的前一帧帧图片和后一帧帧图片，分别作为第一目标帧图片和第二目标帧图片；根据轮廓线的位置范围截取第一目标帧图片和第二目标帧图片，分别得到第一截图和第二截图，并将第一截图和第二截图回传至服务器进行处理的技术方案，能在实时或连续不断监控目标对象或观察区域的情况下，回传变化的第一截图和第二截图，提升数据处理速度和效率，降低存储资源需求。

Description

图像数据处理方法和图像数据处理设备

技术领域

本发明涉及数据传输和图像数据处理的技术领域，具体而言，本发明涉及一种图像数据处理方法和图像数据处理设备。

背景技术

图像数据处理技术包括一种对图像进行处理得到相应数据的技术，随着物联网技术的发展，生活也越来越智能化。以实体陈列为例，对某区域或者某个位置上的目标对象进行监测，这种监测方式就依赖于图像处理技术，可以实现高度的自动化。通过观察和分析监控录像获取前述相关信息。

现有技术的技术方案采用持续不断录像的方式进行监测，容易占用网络传输资源和存储资源，需要分析和进行图像识别的体量很大，严重制约了获取目标对象的陈列状态、缺失状态的处理速度和效率。

发明内容

本发明的目的旨在至少能解决上述的技术缺陷之一，特别是容易占用网络传输资源和存储资源，需要分析和进行图像识别的体量很大，严重制约了获取目标对象的陈列状态、缺失状态的处理速度和效率的技术缺陷。

本申请提供一种图像数据处理方法，包括：

获取拍摄设备实时采集的图像数据，以预定间隔从所述图像数据中确定采集时间点；

将采集时间点的前一帧帧图片与后一帧帧图片进行差分处理，筛选得到差分图像；

提取所述差分图像的轮廓线，若所述轮廓线的位置范围处于指定区域，则获取差分图像的前一帧帧图片和后一帧帧图片，分别作为第一目标帧图片和第二目标帧图片；

根据所述轮廓线的位置范围截取所述第一目标帧图片和第二目标帧图片，分别得到第一截图和第二截图，并将所述第一截图和第二截图回传至服务器进行处理。

在一种实施例提供的图像数据处理方法中，所述将采集时间点的前一帧帧图片与后一帧帧图片进行差分处理，筛选得到差分图像的步骤，包括：

对所述采集时间点的前一帧图片与后一帧图片分别进行灰度处理；

将经过灰度处理之后的所述采集时间点的前一帧图片与后一帧图片进行像素点比对生成像素差值；

当所述像素差值大于差分阈值时，根据所述像素差值生成差分图像。

在一种实施例提供的图像数据处理方法中，所述获取拍摄设备实时采集的图像数据，以预定间隔从所述图像数据中确定采集时间点的步骤，包括：

获取拍摄设备实时采集的实时视频流，从所述实时视频流中解析得到若干帧图片，并根据所述实时视频流的时间和预定间隔确定采集时间点；

所述根据所述像素差值生成差分图像的步骤，包括：

根据所述像素差值得到至少两张定位图像，其中，所述两张定位图像分别为第一定位图像和第二定位图像；

获取并对第一定位图像的前一帧帧图片和第二定位图像的后一帧帧图片进行差分处理得到差分图像；其中，所述第一定位图像是时间顺序上先于第二定位图像的所述定位图像，所述第二定位图像是时间顺序上最后一张定位图像。

在一种实施例提供的图像数据处理方法中，所述提取所述差分图像的轮廓线的步骤之后，还包括：

对所述采集时间点对应的帧图片中轮廓线以外的区域进行差分处理得到对应区域的背景像素差值；

根据背景像素差值对差分阈值进行调整，更新所述差分阈值；其中，更新后的差分阈值用于下一次差分图像的筛选。

在一种实施例提供的图像数据处理方法中，所述根据所述轮廓线的位置范围截取所述第一目标帧图片和第二目标帧图片，分别得到第一截图和第二截图，并将所述第一截图和第二截图回传至服务器进行处理的步骤之后，还包括：

根据所述第一截图和第二截图中目标对象的轮廓线或特征点分别识别得到目标对象的当前位置和原始位置；其中，目标对象的当前位置是第二截图中目标对象所处的位置，目标对象的原始位置是第一截图中目标对象所处的位置；

通过计算所述目标对象在第一截图和第二截图的位置差异生成移动距离；

当所述移动距离大于距离阈值时生成整理指令；

根据所述整理指令将目标对象从当前位置移动到原始位置。

在一种实施例提供的图像数据处理方法中，所述根据所述轮廓线的位置范围截取所述第一目标帧图片和第二目标帧图片，分别得到第一截图和第二截图，并将所述第一截图和第二截图回传至服务器进行处理的步骤之后，还包括：

获取拍摄设备实时采集的图像数据对应区域中目标对象的对象信息；

对所述第一截图和第二截图分别进行识别，得到目标对象的数量变化值。

在一种实施例提供的图像数据处理方法中，所述第一截图和第二截图分别进行识别，得到目标对象的数量变化值的步骤之后，还包括：

依据第一截图和第二截图的时间戳生成预交易时间段；

根据对象信息在交易数据库中查找预交易时间段内目标对象的交易数量；

若所述交易数量与数量变化值不一致，根据所述交易数量和数量变化值生成告警信息；其中，所述告警信息用于向用户追加交易数量或撤销部分交易。

在一种实施例提供的图像数据处理方法中，所述根据对象信息在交易数据库中查找预交易时间段内目标对象的交易数量的步骤之后，还包括：

对多个预交易时间段内目标对象的交易数量进行分析，得到交易趋势；

获取拍摄设备实时采集的图像数据对应区域中目标对象的仓储信息；

根据所述交易趋势和所述仓储信息，生成所述目标对象的订单信息；其中，所述订单信息包括目标对象的对象信息、数量信息以及位置信息。

在一种实施例提供的图像数据处理方法中，所述根据所述交易趋势和所述仓储信息，生成所述目标对象的订单信息的步骤之后，还包括：

获取所述订单信息并解析目标对象的位置信息；其中，所述位置信息包括所述目标对象的陈列位置信息和仓储位置信息；

根据所述位置信息调用调度系统生成对应所述订单信息的物流路线；

向仓储系统和物流系统发送所述订单信息和物流路线；其中，所述仓储系统根据所述订单信息装配目标对象，所述物流系统根据所述订单信息分配对应目标对象数量和体积的交通工具和配送时间段。

本申请实施例中还对应提供一种图像数据处理设备，所述图像数据处理设备应用如上述实施例中任意一项所述图像数据处理方法，至少包括：

摄像头，用于获取拍摄设备实时采集的图像数据；

处理器，用于执行如权利要求1-9任意一项所述图像数据处理方法的步骤。

本实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例中任意一项所述的图像数据处理方法。

本申请实施例中提供的一种图像数据处理方法，通过获取拍摄设备实时采集的图像数据，以预定间隔从所述图像数据中确定采集时间点；将采集时间点的前一帧帧图片与后一帧帧图片进行差分处理，筛选得到差分图像；提取所述差分图像的轮廓线，若所述轮廓线的位置范围处于指定区域，则获取差分图像的前一帧帧图片和后一帧帧图片，分别作为第一目标帧图片和第二目标帧图片；根据所述轮廓线的位置范围截取所述第一目标帧图片和第二目标帧图片，分别得到第一截图和第二截图，并将所述第一截图和第二截图回传至服务器进行处理的技术方案。本申请实施例中还相应提供一种图像数据处理设备和非临时性计算机可读存储介质。上述技术方案能够在实时或连续不断监控目标对象或者特定观察区域的情况下，回传图像中存在一定变化的第一截图和第二截图。上述技术方案可以在基本保留图像数据有效性的情况下，减少传送图像数据的数量和单张图像的大小，有效降低图像数据传送量和图像数据处理量，提升处理速度，降低存储难度。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为一个实施例的图像数据处理方法的方法流程图；

图2为一个实施例的图像数据处理方法的应用场景示意图；

图3为一个实施例的图像数据的示意图；

图4为实施例中差分图像的示意图；

图5为本实施例第一截图的示意图；

图6为实施例的得到差分图像的方法流程图；

图7为实施例中更新差分阈值的方法流程图；

图8为实施例中不限定时间间隔得到差分图像的方法流程图；

图9为实施例中的根据整理指令移动目标对象的方法流程图；

图10为实施例中的得到交易数量的方法流程图；

图11为实施例中的生成告警信息的方法流程图；

图12为实施例中的生成订单信息的方法流程图；

图13为实施例中的发送物流路线的方法流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

为了克服容易占用网络传输资源和存储资源，需要分析和进行图像识别的体量很大，严重制约了获取目标对象的陈列状态、缺失状态的处理速度和效率的技术缺陷，本申请提供了一种图像数据处理方法，请参考图1，上述图像数据处理方法，包括步骤：

步骤S11：获取拍摄设备实时采集的图像数据，以预定间隔从所述图像数据中确定采集时间点。

步骤S12：将采集时间点的前一帧帧图片与后一帧帧图片进行差分处理，筛选得到差分图像。

步骤S13：提取所述差分图像的轮廓线，若所述轮廓线的位置范围处于指定区域，则获取差分图像的前一帧帧图片和后一帧帧图片，分别作为第一目标帧图片和第二目标帧图片。

步骤S14：根据所述轮廓线的位置范围截取所述第一目标帧图片和第二目标帧图片，分别得到第一截图和第二截图，并将所述第一截图和第二截图回传至服务器进行处理。

请参考图2，本申请实施例为此还示例性地展示上述图像数据处理方法的应用环境。该应用环境中，包括摄像设备，摄像设备与图像数据处理平台之间发生数据交互。服务器与图像数据处理平台之间通过网络连接，图像数据处理平台将摄像设备采集得到的图像数据、经过处理的图像结果等数据或者从第三方系统和数据库中获取的数据，发送到服务器进行进一步处理。其中，上述图像数据处理平台连接有订单系统、交易数据库、仓储系统、物流系统以及调度系统。

图像数据处理平台通过服务器，获取拍摄设备实时采集的图像数据请(参考图3)，以预定间隔从上述图像数据中确定采集时间点。在本实施例中，预定间隔可以考虑到使用场景，将预定间隔设置为相应使用场景的时间，也可以根据图像数据制式等因素确定预定间隔。例如，在本实施例中以拿取目标对象作为示例展示的应用场景，预定间隔可以是1秒。在图像处理的过程中，根据不同的场景，采集时间点还可以是对图像数据分帧处理的时间点，例如是20毫秒。

图像数据处理平台将提取的采集时间点的前一帧帧图片与后一帧帧图片进行差分处理，筛选得到差分图像，差分图像可以参考图4。

图像数据处理平台提取上述差分图像的轮廓线。提取轮廓线的目的在于确定特定的区域是否在差分图像上。此外，轮廓线还可以定位目标对象的在差分图像中的大致位置，能够将降低识别运算量。

图像数据处理平台判断上述差分图像的轮廓线的位置范围，处于指定区域，则根据预定间隔的时间，获取差分图像对应时间点或时间段的前一帧帧图片和后一帧帧图片，分别作为第一目标帧图片和第二目标帧图片。在本实施例中，上述前一帧帧图片和后一帧帧图片之间根据图片分帧的时间间隔确定，也可以根据视频的制式确定每一秒的帧数，进而确定分帧的时间间隔。一般来说，分帧次数越多，处理的精度越高，处理量也随之上升。

在本实施例中，第一目标帧图片和第二目标帧图片是相邻的设定间隔时间的两帧图片。指定区域是摄像设备对准目标对象的目标位置，并最终体现在图片上的区域。例如，摄像设备对准的是货柜，那么轮廓线标注的范围就是货柜所在的区域，轮廓线以外展示的是货柜周围的环境。再举一个例子，摄像设备可以对准某办公桌，那么轮廓线标注的就是办公桌的区域，轮廓线以外的图像显示区域展示的就是相邻的办公桌或者是走道等区域。

图像数据处理平台根据第一目标帧图片和第二目标帧图片中轮廓线的位置范围截取截图，分别得到第一截图和第二截图，并将第一截图和第二截图回传至服务器进行处理。

以第一目标帧图片截取的第一截图为例，在本实施例中请参考图4，图像数据处理平台通过第一目标帧图片的轮廓线识别，确定轮廓线所指定的位置，对轮廓线进行截取，得到轮廓线内部的区域，就是轮廓线区域。图像数据处理平台将第一目标帧图片对应的轮廓线区域截取下来，就得到第一截图。第一目标帧图片的全部显示区域，就是摄像设备采集的摄像区域。图像数据处理平台将上述通过轮廓线截取的第一截图和第二截图，通过网络连接发送给服务器进行进一步分析或者处理。

针对上述技术方案，本申请中还提供一种具体应用该技术方案的实施方式。例如，前述技术方案可以应用在传输视频流的使用场景中，处理器实时获取一段拍摄设备实时采集的视频流，以预定间隔(例如是每间隔两秒)从视频流中确定采集时间点。例如，采集时间点可以是14:05:01、14:05:03、14:05:05、14:05:07、14:05:09等，可以理解为处理器对实时的视频流每隔两秒设定一个采集时间点进行分析。

除此之外，上述的预定间隔还可以根据应用场景、时间、外部环境等变化而改变。例如，当应用场景处于变化较大的情况下，预定间隔可以缩短；当应用场景处于变化较小的情况下，预定间隔可以延长。当然，应用场景、时间、外部环境等变化因素和预定间隔也可以通过智能学习等方式建立匹配模型进行匹配。

处理器对视频流解析为多帧帧图片，将前述确定采集时间点的前一帧帧图片与后一帧帧图片进行差分处理，通过筛选得到差分图像。这里的差分处理可以是像素值的差分处理，也可以是针对选定目标对象的差分处理。

其后，处理器提取所述差分图像的轮廓线，若所述轮廓线的位置范围处于指定区域，则获取差分图像的前一帧帧图片和后一帧帧图片，分别作为第一目标帧图片和第二目标帧图片。前述指定区域可以是图像显示范围以内，也可以设定在图像显示区域之外。在一些实施方式中，指定区域还可以根据图像采集设备的采集角度进行调整。

根据所述轮廓线的位置范围对第一目标帧图片和第二目标帧图片分别进行截取处理，得到第一截图和第二截图，并将所述第一截图和第二截图回传至服务器进行处理。

通过上述处理，可以降低回传至服务器处理的数据量，降低对数据传输的网络要求和带宽占用，还可以降低服务器的处理压力，提升服务器在数据峰值时的处理速度，加快数据处理的速度和反馈的速度。

请参考图6，本申请实施例中还提供一种对帧图片进行差分处理得到差分图像的技术方案，步骤S12将采集时间点的前一帧帧图片与后一帧帧图片进行差分处理，筛选得到差分图像的步骤包括：

步骤S61：对所述帧图片的前一帧图片与后一帧图片分别进行灰度处理。

步骤S62：将经过灰度处理之后的所述采集时间点的前一帧图片与后一帧图片进行像素点比对生成像素差值。

步骤S63：当所述像素差值大于差分阈值时，根据所述像素差值生成差分图像。

在上述过程中，图像数据处理平台对帧图片的前一帧图片与后一帧图片进行灰度处理。其中，前一帧图片和后一帧图片是相邻间隔有预定间隔的两帧图片。

图像数据处理平台将经过灰度处理后帧图片的前一帧图片与后一帧图片，进行像素点比对生成像素差值。在这个过程中，可以预先识别并根据帧图片中的定位物，对帧图片进行像素点的对齐，避免由于外部环境的变化导致图片摄像区域的改变，最终影响像素差值的数值。

除此之外，在一些实施例中图像数据处理平台还可以预先获取目标对象的参考图像。参考图像可以由摄像设备以相同的拍摄角度拍摄，也可以是来源于帧图片的前一帧图片或后一帧图片。例如，当进行差分处理后，帧图片的前一帧图片与后一帧图片的像素差值，显示两帧图片的差异不大时，可以将前一帧图片或后一帧图片作为参考图像。其后，参考图像还可以根据外部环境的变化或者时间变化(一定时间间隔后，例如是每小时)，进行更新。参考图像可以作为这里的前一帧图片参与差分处理。采用参考图像的技术方案，可以一定程度克服外界环境影响(例如光照强度、光照角度以及反射光等)。

图像数据处理平台判断当采集时间点的前一帧图片与后一帧图片的像素差值大于差分阈值时，将该采集时间点的前一帧图片与后一帧图片差分处理后的图像作为差分图像。差分图像可以显示两帧图像之间目标对象的变化，例如是目标对象被移动等运动变化和目标对象消失等数量变化。

为了得到更加准确的差分阈值，提升差分图像处理的准确性，在本实施例中还提供一种技术方案。请参考图7，步骤S13中提取所述差分图像的轮廓线的步骤之后，还包括：

步骤S71：对所述帧图片中轮廓线以外的区域进行差分处理得到对应区域的背景像素差值。

步骤S72：根据背景像素差值对差分阈值进行调整，更新所述差分阈值。

其中，更新后的差分阈值可以用于下一次差分图像的筛选。

为了更好地解释上述处理过程，请辅助参考图5并以第一目标帧图片的轮廓线作为示例，图像数据处理平台分别提取第一目标帧图片和第二目标帧图片在轮廓线之外的区域。第一目标帧图片在轮廓线以外的区域主要呈现的是目标对象所处的环境，轮廓线以外区域与目标对象所在的轮廓线区域，一般是具有同样的环境变化状态。轮廓线以外区域相对目标对象所在的轮廓线区域，由于物体的移动导致的像素差值更小。

图像数据处理平台对第一目标帧图片和第二目标帧图片在轮廓线之外的区域进行差分处理得到对应区域的背景像素差值。上述的背景像素差值可以表示目标对象所处的轮廓线区域的环境变化情况。

图像数据处理平台根据背景像素差值，对差分阈值进行调整并更新差分阈值的数值。由此，图像数据处理平台可以根据环境等变化，进行差分阈值的动态调整和更新。

在一些应用场景中，目标对象的变化可能是非周期性或者在设定间隔的之间的帧图片无法捕捉到相应变化，本实施例为此提供一种相应的技术方案。该技术方案可以针对视频结束时间未知(即持续拍摄)的实时视频流，且存在连续一段较长时间变化的应用场景，例如监控视频中物体持续移动或被取走等动作的实时视频流。请参考图8，步骤S11中获取拍摄设备实时采集的图像数据，以预定间隔从所述图像数据中确定采集时间点的步骤，包括：

步骤S81：获取拍摄设备实时采集的实时视频流，从所述实时视频流中解析得到若干帧图片，并根据所述实时视频流的时间和预定间隔确定采集时间点。

步骤S63中，根据所述像素差值生成差分图像的步骤，包括：

步骤S82：根据所述像素差值得到至少两张定位图像，其中，所述两张定位图像分别为第一定位图像和第二定位图像。

步骤S83：获取并对第一定位图像的前一帧帧图片和第二定位图像的后一帧帧图片进行差分处理得到差分图像。

其中，所述第一定位图像是时间顺序上先于第二定位图像的所述定位图像，所述第二定位图像是时间顺序上最后一张定位图像。

在上述过程中，图像数据处理平台获取拍摄设备实时采集的实时视频流，图像数据处理平台从实时视频流中解析得到若干帧图片用作后续处理。

图像数据处理平台将提取的帧图片中的前一帧帧图片与后一帧帧图片进行差分处理，这里的差分处理采用像素值差值的差分处理。其中，前一帧帧图片与后一帧帧图片是多张帧图片中相邻的两帧帧图片。图像数据处理平台对相邻的前一帧帧图片与后一帧帧图片进行差分处理，可以通过灰度处理、像素差值处理等方式进行。

图像数据处理平台通过差分阈值的条件筛选，将前一帧帧图片与后一帧帧图片的两帧帧图片进行差分检测，得到两帧帧图片之间的像素差值。图片数据处理平台根据像素差值与差分阈值的比较，当像素差值大于差分阈值时，将此时的前一帧帧图片作为第一张定位图像(可以称为第一定位图像)。图片数据处理平台继续根据时间的推移，分析其他帧图片，当出现其他图片帧进行上述差分检测后的像素差值大于差分阈值时，提取此时的后一帧帧图片作为第二张定位图片(可以称为第二定位图像)。通过上述筛选过程，图像数据处理平台得到至少两张定位图像。

图像数据处理平台获取并对第一定位图像的前一帧帧图片和第二定位图像的后一帧帧图片进行差分处理得到差分图像。

当然，在一些实施方式中定位图像可以是多张定位图像，例如目标对象在一段时间内像素差值，存在多个大于差分阈值的时间点，那么可以根据这些满足差分阈值筛选条件的时间点，获取多张定位图像。当有多张定位图像时，图像数据处理平台可以根据最先得到的定位图像作为上述第一定位图像，将最后出现的定位图像作为第二定位图像。

为了进一步利用上述图像数据处理平台处理的结果，本申请实施例中提供一种实施例，可以将目标对象整理回原位置，具体可以适用在无人售货机、陈列架、陈列柜、快递转运区、快递提取区等需要整理的场景。请参考图9，上述步骤S14根据所述轮廓线的位置范围截取所述第一目标帧图片和第二目标帧图片，分别得到第一截图和第二截图，并将所述第一截图和第二截图回传至服务器进行处理的步骤之后，还包括：

步骤S91：根据所述第一截图和第二截图中目标对象的轮廓线或特征点分别识别得到目标对象的当前位置和原始位置。

其中，目标对象的当前位置是第二截图中目标对象所处的位置，目标对象的原始位置是第一截图中目标对象所处的位置。

步骤S92：通过计算所述目标对象在第一截图和第二截图的位置差异生成移动距离。

步骤S93：判断所述移动距离是否大于距离阈值。

若是，执行步骤S94，若否，执行步骤S95。

步骤S94：生成整理指令。

步骤S95：不作处理。

步骤S96：根据所述整理指令将目标对象从当前位置移动到原始位置。

在上述过程中，服务器接收到来自图像数据处理平台的第一截图和第二截图后，相应进行处理。服务器根据上述回传的第一截图和第二截图，分别识别得到第一截图和第二截图中目标对象的当前位置和原始位置。其中，第一截图的时间戳显示第一截图的时间先于第二截图。相应地，第一截图的目标对象所处的位置就是目标对象原始位置，而第二截图中目标对象所处的位置就是目标对象的当前位置。

服务器通过计算上述目标对象在第一截图和第二截图的位置差异，根据这种位置差异生成目标对象的移动距离。例如，目标对象在陈列架上根据第一截图和第二截图的位置差异，识别得到目标对象向外移动了10厘米。

服务器获取距离阈值，判断目标对象的移动距离是否大于距离阈值。例如在本实施例中，目标对象的距离阈值设定为5厘米，那么此时执行步骤S94生成整理指令。如果目标对象的移动距离仅为4厘米，那么执行步骤S95不作处理。

服务器可以将整理指令发送给外部设备(例如是机械臂、滚轮、移动横辐条等可以移动目标对象的设备)，外部设备根据接收到的整理指令，将目标对象从当前位置移动到原始位置。外部设备对目标对象移动的方向、角度和距离，可以根据服务器识别得到的移动距离调整。

为了在超市、商场展柜、自动售货机等场景进一步利用上述图像数据处理平台处理的结果，本申请实施例中提供一种实施例，可以将获得交易数量。请参考图10，上述步骤S14所述根据所述轮廓线的位置范围截取所述第一目标帧图片和第二目标帧图片，分别得到第一截图和第二截图，并将所述第一截图和第二截图回传至服务器进行处理的步骤之后，还包括：

步骤S101：获取拍摄设备实时采集的图像数据对应区域中对象信息。

步骤S102：对所述第一截图和第二截图分别进行识别，得到目标对象的数量变化值。

图像数据处理平台可以获取拍摄设备实时采集的图像数据对应区域中目标对象的交易数据。其中，拍摄设备实时采集的图像数据对应区域是指第一截图或者第二截图所显示的区域。目标对象在本实施例中，可以以包装薯片为例。

具体地，图像数据处理平台可以根据第一截图或第二截图进行目标对象的识别。图像数据处理平台可以在第一截图中识别得到目标对象是一袋包装薯片。更进一步，图像数据处理平台可以根据显示区域内包装薯片外包装上的文字，进行光学字符识别得到关键字。图像数据处理平台再根据关键词在数据库中查找到目标对象(袋装薯片)的名字或条形编码等对象信息。

图像数据处理平台对得到的第一截图和第二截图分别进行识别，得到目标对象的对象信息和数量变化值。根据第一截图和第二截图的时间戳所确定的时间不同，确定在两帧截图时间之间目标对象的数量变化值。例如，在第一截图中袋装薯片有10包，在第二截图中袋装薯片有5包，此时数量变化值就是5。

本申请进一步提供一种技术方案，可以针对数量变化值进行进一步的处理，这种技术方案可在无人超市的自助购物或商品仓储等场景中得到应用。请参考图11，步骤S102所述对所述第一截图和第二截图分别进行识别，得到目标对象的数量变化值的步骤之后，还包括：

步骤S111：依据第一截图和第二截图的时间戳生成预交易时间段。

步骤S112：根据对象信息在交易数据库中查找预交易时间段内目标对象的交易数量。

步骤S113：判断所述交易数量与数量变化值是否一致。若是，执行步骤S115；若否，执行步骤S114。

步骤S114：根据所述交易数量和数量变化值生成告警信息。

其中，所述告警信息用于向用户追加交易数量或撤销部分交易。

步骤S115：不作处理。

图像数据处理平台可以根据目标对象的名字等对象信息，在交易数据库中查询得到目标对象在预交易时间段内目标对象的交易数量。查询交易数量的预交易时间段，可以是根据第一截图和第二截图的时间戳确定的时间点，再根据时间点前后一定时间范围生成，例如在本实施例中是10分钟。时间点前后一定时间范围可以是经过统计后，得到的合理交易时间间隔。

图像数据处理平台在所述交易数据库中查询在10分钟的交易时间间隔内，袋装薯片的交易数量是3包。

图像数据处理平台判断所述交易数量与数量变化值是否一致。在本实施例所举的例子中，交易数据库显示袋装薯片的交易量是3包，而图像数据处理平台识别得到的袋装薯片减少了5包，交易数量与数量变化值不一致。

图像数据处理平台根据上述目标对象的交易数量和数量变化值生成告警信息。图像数据处理平台将告警信息发送至服务器，告警信息用于向用户追加交易数量或撤销部分交易。其中，这里的用户可以通过进入摄像区域的登录用户，例如通过门禁卡、社交软件登录等方式获取得到用户信息。除此之外，图像数据处理平台还可以通过对第一截图和第二截图中用户的脸部特征识别，得到用户的信息。进一步根据用户信息，向用户的订单内追加交易数量和数量变化值之间的差值，或者将用户已完成交易中目标对象的数量对应撤销并将相应数值退还。

本申请实施例中还提供一种技术方案，可以根据数量变化值生成订单信息或仓储信息。请参考图12，步骤S112根据对象信息在交易数据库中查找预交易时间段内目标对象的交易数量的步骤之后，还包括：

步骤S121：对多个预交易时间段内目标对象的交易数量进行分析，得到交易趋势。

步骤S122：获取拍摄设备实时采集的图像数据对应区域中目标对象的仓储信息。

步骤S123：根据所述交易趋势和所述仓储信息，生成所述目标对象的订单信息。

其中，所述订单信息包括目标对象的对象信息、数量信息以及位置信息。

在上述过程中，图像数据处理平台对多个预交易时间段内目标对象的交易数量的数量变化值进行分析，得到交易趋势。交易趋势可以是在未来一段时间内；(例如是一个月内)目标对象数量发生的变化。

图像数据处理平台根据光学字符识别，得到目标对象的对象信息，在仓储系统中获取拍摄设备实时采集的图像数据对应区域中目标对象的仓储信息。仓储信息可以是当前目标对象的数量，也可以是附近一定区域范围内目标对象的数量。

图像数据处理平台根据上述分析的交易趋势和从仓储系统得到的仓储信息，生成对应目标对象的订单信息。订单信息包括目标对象的数量、订单生成时间、预计送达时间以及需要送达的地理位置信息。

为了利用上述订单信息进行有效的应用，本申请实施例中提供一种技术方案，请参考图13。步骤S123根据所述交易趋势和所述仓储信息，生成所述目标对象的订单信息的步骤之后，还包括：

步骤S131：获取所述订单信息并解析目标对象的位置信息。

其中，所述位置信息包括所述目标对象的陈列位置信息和仓储位置信息。

步骤S132：根据所述位置信息调用调度系统生成对应所述订单信息的物流路线。

步骤S133：向仓储系统和物流系统发送所述订单信息和物流路线。

其中，所述仓储系统根据所述订单信息装配目标对象，所述物流系统根据所述订单信息分配对应目标对象数量和体积的交通工具和配送时间段。

图像数据处理平台获取上述在订单系统生成并处理的订单信息，图像数据处理平台解析订单信息中包含的目标对象对应的位置信息。例如，图像数据处理平台通过解析订单信息可以得到目标对象的送达地址，也就是目标对象的陈列位置。图像数据处理平台通过解析订单信息还可以获得目标对象的接收地址或仓库编号，也就是目标对象的仓储位置信息。

图像数据处理平台根据上述位置信息，调用调度系统生成对应上述订单信息的物流路线。调度系统还根据上述物流路线生成调度物流车辆和物流人员的物流信息。调度系统将所生成的物流信息发送至物流系统，物流系统调用地图系统中地图应用插件，获取实时交通状态信息，对物流路线更新或调整。物流系统根据物流信息和物流路线得到预计送达时间，将预计送达时间通过图像数据处理平台向目标对象的送达地址推送。

为了克服容易占用网络传输资源和存储资源，需要分析和进行图像识别的体量很大，严重制约了获取目标对象的陈列状态、缺失状态的处理速度和效率的技术缺陷，本申请提供了一种对应图像数据处理方法的图像数据处理设备，该图像数据处理设备应用如上述实施例中任意一项图像数据处理方法，上述图像数据处理设备至少包括：

摄像头，用于获取拍摄设备实时采集的图像数据，以预定间隔从所述图像数据中提取帧图片；

处理器，用于执行如上述实施例中任意一项所述图像数据处理方法的步骤。

本实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例中任意一项所述的图像数据处理方法。

本申请实施例中提供的一种图像数据处理方法，通过获取拍摄设备实时采集的图像数据，以预定间隔从所述图像数据中确定采集时间点；将采集时间点的前一帧帧图片与后一帧帧图片进行差分处理，筛选得到差分图像；提取所述差分图像的轮廓线，若所述轮廓线的位置范围处于指定区域，则获取差分图像的前一帧帧图片和后一帧帧图片，分别作为第一目标帧图片和第二目标帧图片；根据所述轮廓线的位置范围截取所述第一目标帧图片和第二目标帧图片，分别得到第一截图和第二截图，并将所述第一截图和第二截图回传至服务器进行处理的技术方案。本申请实施例中还相应提供一种图像数据处理设备和非临时性计算机可读存储介质。上述技术方案能够在实时或连续不断监控目标对象或者特定观察区域的情况下，回传图像中存在一定变化的第一截图和第二截图。上述技术方案可以在基本保留图像数据有效性的情况下，减少传送图像数据的数量和单张图像的大小，有效降低图像数据传送量和图像数据处理体量，提升获取目标对象的陈列状态、缺失状态等数据的处理速度和效率，降低存储资源需求。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种图像数据处理方法，其特征在于，包括：

获取拍摄设备实时采集的图像数据，以预定间隔从所述图像数据中确定采集时间点，包括：获取拍摄设备实时采集的实时视频流，从所述实时视频流中解析得到若干帧图片，并根据所述实时视频流的时间和预定间隔确定采集时间点；

将采集时间点的前一帧图片与后一帧图片进行差分处理，筛选得到差分图像，包括：对所述采集时间点的前一帧图片与后一帧图片分别进行灰度处理，将经过灰度处理之后的所述采集时间点的前一帧图片与后一帧图片进行像素点比对生成像素差值，当所述像素差值大于差分阈值时，根据所述像素差值得到至少两张定位图像，其中，所述至少两张定位图像包括第一定位图像和第二定位图像；获取并对第一定位图像的前一帧图片和第二定位图像的后一帧图片进行差分处理得到差分图像；其中，所述第一定位图像是时间顺序上先于第二定位图像的所述定位图像，所述第二定位图像是时间顺序上最后一张定位图像；

提取所述差分图像的轮廓线，若所述轮廓线的位置范围处于指定区域，则根据预定间隔的时间，获取差分图像对应时间点或时间段的前一帧图片和后一帧图片，分别作为第一目标帧图片和第二目标帧图片，所述指定区域为拍摄设备对准目标对象的目标位置并体现在图片上的区域；

根据所述轮廓线的位置范围截取所述第一目标帧图片和第二目标帧图片，分别得到第一截图和第二截图，并将所述第一截图和第二截图回传至服务器进行处理。

2.根据权利要求1所述的图像数据处理方法，其特征在于，所述提取所述差分图像的轮廓线的步骤之后，还包括：

对所述采集时间点对应的帧图片中轮廓线以外的区域进行差分处理得到对应区域的背景像素差值；

根据背景像素差值对差分阈值进行调整，更新所述差分阈值；其中，更新后的差分阈值用于下一次差分图像的筛选。

3.根据权利要求1所述的图像数据处理方法，其特征在于，所述根据所述轮廓线的位置范围截取所述第一目标帧图片和第二目标帧图片，分别得到第一截图和第二截图，并将所述第一截图和第二截图回传至服务器进行处理的步骤之后，还包括：

根据所述第一截图和第二截图中目标对象的轮廓线或特征点分别识别得到目标对象的当前位置和原始位置；其中，目标对象的当前位置是第二截图中目标对象所处的位置，目标对象的原始位置是第一截图中目标对象所处的位置；

通过计算所述目标对象在第一截图和第二截图的位置差异生成移动距离；

当所述移动距离大于距离阈值时生成整理指令；

根据所述整理指令将目标对象从当前位置移动到原始位置。

4.根据权利要求1所述的图像数据处理方法，其特征在于，所述根据所述轮廓线的位置范围截取所述第一目标帧图片和第二目标帧图片，分别得到第一截图和第二截图，并将所述第一截图和第二截图回传至服务器进行处理的步骤之后，还包括：

获取拍摄设备实时采集的图像数据对应区域中目标对象的对象信息；

对所述第一截图和第二截图分别进行识别，得到目标对象的数量变化值。

5.根据权利要求4所述的图像数据处理方法，其特征在于，所述第一截图和第二截图分别进行识别，得到目标对象的数量变化值的步骤之后，还包括：

依据第一截图和第二截图的时间戳生成预交易时间段；

根据对象信息在交易数据库中查找预交易时间段内目标对象的交易数量；

若所述交易数量与数量变化值不一致，根据所述交易数量和数量变化值生成告警信息；其中，所述告警信息用于向用户追加交易数量或撤销部分交易。

6.根据权利要求5所述的图像数据处理方法，其特征在于，所述根据对象信息在交易数据库中查找预交易时间段内目标对象的交易数量的步骤之后，还包括：

对多个预交易时间段内目标对象的交易数量进行分析，得到交易趋势；

获取拍摄设备实时采集的图像数据对应区域中目标对象的仓储信息；

根据所述交易趋势和所述仓储信息，生成所述目标对象的订单信息；其中，所述订单信息包括目标对象的对象信息、数量信息以及位置信息。

7.根据权利要求6所述的图像数据处理方法，其特征在于，所述根据所述交易趋势和所述仓储信息，生成所述目标对象的订单信息的步骤之后，还包括：

获取所述订单信息并解析目标对象的位置信息；其中，所述位置信息包括所述目标对象的陈列位置信息和仓储位置信息；

根据所述位置信息调用调度系统生成对应所述订单信息的物流路线；

向仓储系统和物流系统发送所述订单信息和物流路线；其中，所述仓储系统根据所述订单信息装配目标对象，所述物流系统根据所述订单信息分配对应目标对象数量和体积的交通工具和配送时间段。

8.一种图像数据处理设备，其特征在于，所述图像数据处理设备应用如权利要求1-7任意一项所述图像数据处理方法，至少包括：

摄像头，用于获取拍摄设备实时采集的图像数据；

处理器，用于执行如权利要求1-7任意一项所述图像数据处理方法的步骤。