CN112288677A

CN112288677A - 摄像机

Info

Publication number: CN112288677A
Application number: CN201910674537.9A
Authority: CN
Inventors: 陈磊; 刘刚; 曾峰; 徐鹏
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2019-07-25
Filing date: 2019-07-25
Publication date: 2021-01-29

Abstract

本申请提出了摄像机。其中，一种摄像机，包括：图像传感器，用于采集运粮车辆的图像帧序列；处理器，用于：对于图像帧序列中任一个图像帧，确定图像帧中每个像素点的颜色是否为粮食颜色，得到图像帧中粮食颜色的像素点；根据所述粮食颜色的像素点，生成所述图像帧的二值图；对所述二值图进行膨胀处理，并对经过膨胀处理的所述二值图进行腐蚀处理，得到经过腐蚀的所述二值图；确定所述经过腐蚀的所述二值图中与所述粮食颜色的像素点对应的连通区域，得到所述粮食颜色的像素点对应的最大连通区域；根据所述最大连通区域，确定所述图像帧中粮食区域；根据所述图像帧中粮食区域的占比，确定所述运粮车辆中粮食是否到达扦样标定区。

Description

摄像机

技术领域

本申请涉及图像处理技术领域，特别涉及摄像机。

背景技术

在粮食运输场景中，扦样机可以对到达仓储区的运粮车上粮食进行扦样，以确定粮食的质量。在扦样的时候，运粮车的停放位置必须保证车上粮食处于扦样机可以进行扦样的范围(即扦样标定区)内。在工作人员引导运粮车按规定准确停车后，扦样机才可以进行扦样操作。然而，人工确定运粮车位置的方式效率较低。因此，目前缺少一种自动确定运粮车是否到达扦样标定区的方案。

发明内容

本申请提出了摄像机，能够自动化确定运粮车是否到达扦样标定区，进而提高扦样效率。

根据本申请一个方面，提供一种摄像机，包括：

图像传感器，用于采集运粮车辆的图像帧序列；

处理器，用于：

对于所述图像帧序列中任一个图像帧，确定所述图像帧中每个像素点的颜色是否为粮食颜色，得到所述图像帧中粮食颜色的像素点；

根据所述粮食颜色的像素点，生成所述图像帧的二值图；

对所述二值图进行膨胀处理，并对经过膨胀处理的所述二值图进行腐蚀处理，得到经过腐蚀的所述二值图；

确定所述经过腐蚀的所述二值图中与所述粮食颜色的像素点对应的连通区域，得到所述粮食颜色的像素点对应的最大连通区域；

根据所述最大连通区域，确定所述图像帧中粮食区域；

根据所述图像帧中粮食区域的占比，确定所述运粮车辆中粮食是否到达扦样标定区。

在一些实施例中，所述处理器根据下述方式执行所述根据所述图像帧中粮食区域的占比，确定所述运粮车辆中粮食是否到达扦样标定区：在所述占比达到目标阈值时，确定所述运粮车辆中粮食到达所述扦样标定区。

在一些实施例中，所述处理器进一步用于：在所述图像帧序列中各图像帧中粮食区域的占比逐渐增加时，确定所述运粮车辆中粮食逐渐进入所述扦样标定区；在所述各图像帧中粮食区域的占比逐渐减小时，确定所述运粮车辆中粮食逐渐离开所述扦样标定区。

在一些实施例中，摄像机进一步包括扬声器，所述处理器进一步用于：在确定所述运粮车辆中粮食到达所述扦样标定区时，通过所述扬声器播放停车提示音。

在一些实施例中，所述处理器根据下述方式执行所述根据所述最大连通区域，确定所述图像帧中粮食区域：确定所述最大连通区域的4个边缘点，得到以所述4个边缘点为顶点的四边形区域；根据所述四边形区域的坐标，确定所述图像帧的粮食区域。

在一些实施例中，所述处理器根据下述方式执行所述确定所述最大连通区域的4个边缘点：从上而下逐行检测所述经过腐蚀的所述二值图，在第一次检测到包含所述最大连通区域中像素点的一行时，将该行中所述最大连通区域的两个边界点作为两个上边缘点；从下而上逐行检测所述经过腐蚀的所述二值图，在第一次检测到包含所述最大连通区域中像素点的一行时，将该行中所述最大连通区域的两个边界点作为两个下边缘点。

在一些实施例中，所述处理器根据下述方式执行所述确定所述最大连通区域的4个边缘点：基于角点检测算法，确定所述4个边缘点；或者基于多边形拟合算法，确定所述4个边缘点。

在一些实施例中，所述处理器根据下述方式执行所述确定所述图像帧中每个像素点的颜色是否为粮食颜色：获取粮食的颜色范围，所述颜色范围包括一种或多种粮食的颜色；对于所述图像帧中任一个像素点，确定所述任一个像素点的颜色是否属于所述颜色范围；在所述任一个像素点的颜色属于所述颜色范围时，确定所述任一个像素点的颜色为粮食颜色。

在一些实施例中，所述处理器根据下述方式执行所述确定所述图像帧中每个像素点的颜色是否为粮食颜色：获取标准粮食颜色；对于所述图像帧中任一个像素点，确定所述任一个像素点与所述标准粮食颜色的颜色差异；在所述颜色差异小于差异阈值时，确定所述任一个像素点的颜色为所述粮食颜色。

在一些实施例中，所述处理器根据下述方式执行所述确定所述经过腐蚀的所述二值图中与所述粮食颜色的像素点对应的连通区域：遍历经过腐蚀的所述二值图中像素点，对于经过腐蚀的所述二值图中任一个像素点，在该像素点与邻域中一个或多个像素点灰度值相同时，将该像素点与所述一个或多个像素点聚类，得到所述粮食颜色的像素点的一个或多个连通区域。

在一些实施例中，摄像机进一步包括与扦样机耦接的通信模块，所述处理器进一步用于：在确定所述运粮车辆中粮食到达所述扦样标定区时，通过所述通信模块向扦样机发送表示开始扦样的指令。

综上，本申请的摄像机可以根据运粮车辆的图像帧，自动化确定运粮车辆中粮食区域是否到达扦样标定区，从而可以避免人工引导运粮车辆的麻烦，进而提高扦样效率和扦样方便性。

附图说明

图1示出了根据本申请一些实施例的应用场景100的示意图；

图2示出了根据本申请一些实施例的摄像机110的示意图；

图3示出了根据本申请一些实施例的确定运粮车辆中粮食是否到达扦样标定区的方法300的流程图；

图4A示出了根据本申请一些实施例的一个图像帧；

图4B示出了图4A中图像帧的二值图；

图4C示出了对图4B中二值图进行膨胀处理的效果图；

图4D示出了对图4C中二值图进行腐蚀处理的效果图；

图5A、5B和5C分别示出了小麦、玉米和稻谷的图像帧；

图6示出了根据本申请一些实施例的图像膨胀处理的效果示意图；

图7示出了根据本申请一些实施例的图像腐蚀处理的效果示意图；

图8示出了根据本申请一些实施例的一个四边形区域；

图9示出了根据本申请一些实施例的基于四边形区域确定粮食区域的示意图。

具体实施方式

为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请进一步详细说明。

图1示出了根据本申请一些实施例的应用场景100的示意图。如图1所示，应用场景100可以包括扦样系统。这里，扦样系统可以包括：摄像机110和扦样机120。扦样机120用于对粮食进行取样，以确定粮食质量。运粮车辆(图1未示出)可以沿着箭头101的方向向扦样标定区130移动。在运粮车辆中粮食到达扦样标定区130时，扦样机120可以对运粮车辆中的粮食进行取样。这里，扦样标定区130是指扦样机120的在水平面内的取样范围。

摄像机110的视野范围包括扦样标定区130。摄像机110能够根据拍摄的图像帧确定运粮车辆中粮食是否到达扦样标定区130。这样，摄像机110能够自动化确定运粮车辆中粮食是否到达扦样标定区130。在此基础上，摄像机110能够以声音等形式提示运粮车辆进行停车。

图2示出了根据本申请一些实施例的摄像机110的示意图。如图2所示，摄像机110包括图像传感器111、存储器112、处理器113、通信模块114和扬声器115。

图像传感器111可以采集图像帧序列，例如可以采集运粮车辆的图像帧序列。

处理器113可以根据图像传感器111采集的图像帧，确定运粮车辆中粮食是否到达扦样标定区130。在一些实施例中，处理器113可以执行图3所示的方法300。

如图3所示，在步骤S301中，对于图像帧序列中任一个图像帧，确定图像帧中每个像素点的颜色是否为粮食颜色，得到图像帧中粮食颜色的像素点。换言之，图像传感器111每采集一个图像帧，处理器113可以执行一次步骤S301。

在步骤S302中，根据粮食颜色的像素点，生成图像帧的二值图。这里，二值图中粮食颜色的像素点灰度值为1，非粮食颜色的像素点灰度值为0。例如，图4A示出了图像传感器111采集一个图像帧。需要说明的是，图4A中图像帧尽管被显示为灰度图，实际上可以是彩色图。图4B示出了图4A中图像帧的二值图。图4B中白色区域中像素点为粮食颜色的像素点。

在步骤S303中，对二值图进行膨胀处理，并对经过膨胀处理的二值图进行腐蚀处理，得到经过腐蚀的二值图。在一些场景中，光照不均匀和拍摄角度等原因，导致图像帧中粮食区颜色不均匀。因此，二值图中白色区域中存在一定量的孔隙(即粮食区域中一些像素点没有被确定为粮食颜色的像素点)，通过膨胀处理，步骤S303可以将二值图中一些孔隙合并到连通的白色区域中。例如，图4C示出了对图4B中二值图进行膨胀处理的效果图。在经过膨胀处理的二值图中，最大的白色区域的边缘被扩张。步骤S302通过腐蚀处理，可以去腐蚀掉最大的白色区域的边缘，以便腐蚀后最大的白色区域的边缘更加趋近于粮食区域的实际边缘。例如，图4D示出了对图4C中二值图进行腐蚀处理的效果图。

在步骤S304中，确定经过腐蚀的二值图中与粮食颜色的像素点对应的连通区域，得到粮食颜色的像素点对应的最大连通区域。经过腐蚀的二值图中像素点分为黑白两种。步骤S304可以标定白色的像素点的多个连通区域。这里，白色的最大连通区域对应于粮食区域。

在步骤S305中，根据最大连通区域，确定图像帧中粮食区域。例如，步骤S305可以根据最大连通区域的边缘上像素点的坐标，确定图像帧中粮食区域。换言之，根据最大连通区域的边沿上像素点的坐标，步骤S305可以提取图像帧中相同坐标的区域作为粮食区域。

在步骤S306中，根据图像帧中粮食区域的占比，确定运粮车辆中粮食是否到达扦样标定区。在一些实施例中，在占比达到目标阈值时，步骤S306可以确定运粮车辆中粮食到达扦样标定区。这里，目标阈值例如为70％，但不限于此。

综上，摄像机110通过执行方法300，可以根据运粮车辆的图像帧，确定运粮车辆中粮食区域是否到达扦样标定区130，从而可以避免人工引导运粮车辆的麻烦，进而提高扦样效率。

在一些实施例中，处理器113还可以在图像帧序列中各图像帧中粮食区域的占比逐渐增加时，确定运粮车辆130中粮食逐渐进入扦样标定区130。在各图像帧中粮食区域的占比逐渐减小时，处理器113可以确定运粮车辆中粮食逐渐离开扦样标定区。

在一些实施例中，在确定运粮车辆中粮食到达扦样标定区130时，处理器113还可以通过扬声器115播放停车提示音，以便驾驶员将运粮车辆快速停放在适合位置。这里，扬声器可以内置于摄像机110，也可以是外接的独立设备，本申请对此不做限制。在一些实施例中，处理器113也可以通过通信模块114将停车提示消息发送到显示设备。显示设备可以显示表示停车指示的消息内容。显示设备布置在便于驾驶员查看的位置处。

在一些实施例中，在执行步骤S301时，处理器113可以获取粮食的颜色范围。这里，颜色范围包括一种或多种粮食的颜色。例如，本申请的实施例可以采集多种粮食的图像。每种粮食，可以采集不同光照等拍摄环境下的多个图像帧。例如图5A、5B和5C分别示出了小麦、玉米和稻谷的图像帧。图5A、5B和5C尽管示出的图像为灰度图，实际上可以是彩色图像。本申请的实施例可以确定多种粮食在多种光照条件下的颜色范围。对于图像帧中任一个像素点，处理器113可以确定所述任一个像素点的颜色是否属于颜色范围。在像素点的颜色属于所述颜色范围时，确定该像素点的颜色为粮食颜色。

在一些实施例中，在执行步骤S301时，处理器113可以获取标准粮食颜色。这里，标准粮食颜色例如是多种粮食的颜色的均值。对于图像帧中任一个像素点，确定该像素点与标准粮食颜色的颜色差异。在颜色差异小于差异阈值时，处理器113可以确定像素点的颜色为粮食颜色。这里，差异阈值可以根据需要进行设定。例如，一个像素点的颜色可以表示为红绿蓝(R,G,B)颜色空间中。标准粮食颜色为

该像素点的颜色差异可以表示为：

在ΔR小于红色分量阈值，ΔG小于绿色分量阈值，且ΔB小于蓝色分量阈值时，处理器113可以确定颜色差异小于差异阈值。

在一些实施例中，像素点的颜色可以表示为LAB颜色空间下坐标(L，a，b)。标准粮食颜色为(L_{c_color}，a_{c_color}，b_{c_color})

处理器113可以根据下述方式计算颜色差异ΔE。

在一些实施例中，在步骤S303中，对二值图进行膨胀处理，并对经过膨胀处理的二值图进行腐蚀处理，得到经过腐蚀的二值图。

在一些实施例中，为了对二值图进行膨胀处理，处理器113可以采用结构元素，扫描二值图中每个像素点，并用结构元素与覆盖的二值图做“与”操作。这里，结果元素例如为n×n(n≥3)的结构单元。对于一个像素点而言，如果与操作的结果均为0，确定该像素点的值置为0，否则为1。在一些实施例中，对Z空间中的集合A和B，使用B对A进行膨胀，可定义为：

上述公式以得到B的相对于它自身原点的映像并且由z对映像进行位移为基础。A被B膨胀是所有位移z的集合，

和A至少有一个元素是重叠的。处理器113可以使用上述公式对二值图像进行膨胀操作。例如，图6示出了图像膨胀处理的效果示意图。在图6中，左图粗实线区域601为扫描图像用的结构单元，灰色方块即为二值图像中值为1的像素点，右图中灰色区域为进行膨胀操作后的像素点。可见，膨胀过程中左图的中间空隙点被有效填补。

在一些实施例中，处理器113可以采用结构元素扫描经过膨胀的二值图像中每个像素点，并利用结构元素与其覆盖的二值图像做“与”操作。对于一个像素点而言，如果与操作的结果均为1，则处理器113将该像素点的值置为1，否则为0。结构元素例如为n×n(n≥3)的结构单元。在一些实施例中，对Z空间中的集合A和B，使用B对A进行腐蚀，可定义为：

该公式使用B对A进行腐蚀是所有B中包含于A中的点z的集合用z平移。处理器113可以使用上述公式对二值图像进行腐蚀操作。

图7示出了图像腐蚀处理的效果示意图。在图7中，左图中粗实线区域602为扫描图像用的结构单元，灰色方块即为原先二值图像中值为1的像素点，右图中灰色区域为进行腐蚀操作后的像素点。腐蚀过程可以将边缘像素点去除，但之前膨胀处理补全的空隙并不会被剔除。

在一些实施例中，通信模块114可以与扦样机120通信。在确定运粮车辆中粮食到达扦样标定区时，处理器113可以通过通信模块114向扦样机发送表示开始扦样的指令。这样，本申请的实施例，可以通过摄像机110自动确定粮食是否到达扦样标定区，并在到达扦样标定区时，控制扦样机自动进行扦样操作，从而极大提高扦样方便性和扦样效率。

在一些实施例中，为了标定粮食颜色像素点对应的连通区域。处理器113可以遍历经过腐蚀的二值图中像素点，对于经过腐蚀的二值图中任一个像素点，在该像素点与邻域中一个或多个像素点灰度值相同时，将该像素点与所述一个或多个像素点聚类，得到粮食颜色的像素点的一个或多个连通区域。

在一些实施例中，由于运粮车辆的货箱为长方形，在执行步骤S305时，处理器113可以确定最大连通区域的4个边缘点，得到以4个边缘点为顶点的四边形区域。这样，处理器113可以根据四边形区域的坐标，确定图像帧的粮食区域。例如图8示出了一个四边形区域。4个边缘点为A、B、C和D。图9示出了基于四边形区域确定粮食区域的示意图。

在一些实施例中，处理器113可以从上而下逐行检测经过腐蚀的二值图，在第一次检测到包含最大连通区域中像素点的一行时，将该行中最大连通区域的两个边界点作为上侧的2个边缘点。另外，处理器113可以从下而上逐行检测经过腐蚀的二值图，在第一次检测到包含最大连通区域中像素点的一行时，将该行中最大连通区域的两个边界点作为2个边缘点。这样，本申请的实施例可将上侧的2个边缘点和下侧的2个边缘点作为四边形区域的顶点。

在一些实施例中，处理器113还可以基于角点检测算法，确定4个边缘点。在一些实施例中，处理器113还可以基于多边形拟合算法，确定4个边缘点。

在一些实施例中，存储器112存储有程序。该程序包括指令。该指令当由摄像机110中处理器113执行时，使得摄像机110执行图3所述的方法。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种摄像机，其特征在于，包括：

图像传感器，用于采集运粮车辆的图像帧序列；

处理器，用于：

根据所述粮食颜色的像素点，生成所述图像帧的二值图；

根据所述最大连通区域，确定所述图像帧中粮食区域；

2.如权利要求1所述的摄像机，其特征在于，所述处理器根据下述方式执行所述根据所述图像帧中粮食区域的占比，确定所述运粮车辆中粮食是否到达扦样标定区：

在所述占比达到目标阈值时，确定所述运粮车辆中粮食到达所述扦样标定区。

3.如权利要求1所述的摄像机，其特征在于，所述处理器进一步用于：

在所述图像帧序列中各图像帧中粮食区域的占比逐渐增加时，确定所述运粮车辆中粮食逐渐进入所述扦样标定区；

在所述各图像帧中粮食区域的占比逐渐减小时，确定所述运粮车辆中粮食逐渐离开所述扦样标定区。

4.如权利要求1所述的摄像机，其特征在于，进一步包括扬声器，所述处理器进一步用于：

在确定所述运粮车辆中粮食到达所述扦样标定区时，通过所述扬声器播放停车提示音。

5.如权利要求1所述的摄像机，其特征在于，所述处理器根据下述方式执行所述根据所述最大连通区域，确定所述图像帧中粮食区域：

确定所述最大连通区域的4个边缘点，得到以所述4个边缘点为顶点的四边形区域；

根据所述四边形区域的坐标，确定所述图像帧的粮食区域。

6.如权利要求5所述的摄像机，其特征在于，所述处理器根据下述方式执行所述确定所述最大连通区域的4个边缘点：

从上而下逐行检测所述经过腐蚀的所述二值图，在第一次检测到包含所述最大连通区域中像素点的一行时，将该行中所述最大连通区域的两个边界点作为2个边缘点；

从下而上逐行检测所述经过腐蚀的所述二值图，在第一次检测到包含所述最大连通区域中像素点的一行时，将该行中所述最大连通区域的两个边界点作为2个边缘点。

7.如权利要求5所述的摄像机，其特征在于，所述处理器根据下述方式执行所述确定所述最大连通区域的4个边缘点：

基于角点检测算法，确定所述4个边缘点；或者

基于多边形拟合算法，确定所述4个边缘点。

8.如权利要求1所述的摄像机，其特征在于，所述处理器根据下述方式执行所述确定所述图像帧中每个像素点的颜色是否为粮食颜色：

获取粮食的颜色范围，所述颜色范围包括一种或多种粮食的颜色；

对于所述图像帧中任一个像素点，确定所述任一个像素点的颜色是否属于所述颜色范围；

在所述任一个像素点的颜色属于所述颜色范围时，确定所述任一个像素点的颜色为粮食颜色。

9.如权利要求8所述的摄像机，其特征在于，所述处理器根据下述方式执行所述确定所述图像帧中每个像素点的颜色是否为粮食颜色：

获取标准粮食颜色；

对于所述图像帧中任一个像素点，确定所述任一个像素点与所述标准粮食颜色的颜色差异；

在所述颜色差异小于差异阈值时，确定所述任一个像素点的颜色为所述粮食颜色。

10.如权利要求1所述的摄像机，其特征在于，所述处理器根据下述方式执行所述确定所述经过腐蚀的所述二值图中与所述粮食颜色的像素点对应的连通区域：

遍历经过腐蚀的所述二值图中像素点，对于经过腐蚀的所述二值图中任一个像素点，在该像素点与邻域中一个或多个像素点灰度值相同时，将该像素点与所述一个或多个像素点聚类，得到所述粮食颜色的像素点的一个或多个连通区域。