CN116596928A - 基于图像特征的花生油杂质快速检测方法 - Google Patents

Abstract

本说明书实施例公开了基于图像特征的花生油杂质快速检测方法，涉及计算机视觉技术领域。该方法包括：获取多帧花生油采样图像；基于多帧花生油采样图像的差异确定反光区域和非反光区域的像素点集合；通过反光区域的差异确定每一帧花生油采样图像所对应的增强系数；根据该增强系数确定第一增强函数和第二增强函数；基于第一增强函数对非反光区域中受反光区域影响的第一部分进行增强，基于第二增强函数对非反光区域中的第二部分进行增强；确定每一帧花生油采样图像中的背景区域，并对该背景区域进行灰度值压缩，得到增强后的图像；将增强后的图像输入训练好的神经网络模型，以获取杂质区域图像并识别杂质，实现花生油杂质的快速检测。

Description

基于图像特征的花生油杂质快速检测方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及基于图像特征的花生油杂质快速检测方法。

背景技术

随着人们健康意识的提高，对食品安全的要求也越来越高，花生油作为一种常见的食用油品，其市场需求也在不断增长。各企业纷纷加强技术和生产营销，以提高市场占有率和竞争力。在扩大生产量的同时，由于现有技术及设备原因，检测生产过程中花生油的质量也成为相关企业面临的一个重要问题。

在传统生产工艺中，主要通过人工灯检的方式进行毛油检测。然而，人工灯检方式效率和精度都较低，并且长时间检测对检测工人的视力健康损害较大。基于此，有必要研究一种智能化的花生油杂质检测方法，以提高花生油杂质检测的效率和精度，同时减少劳动力成本。

发明内容

本说明书实施例提供基于图像特征的花生油杂质快速检测方法，该方法包括：

获取多帧花生油采样图像；

基于所述多帧花生油采样图像的差异确定反光区域和非反光区域的像素点集合；

通过所述反光区域的差异确定波动对油面形态的影响程度，确定每一帧所述花生油采样图像所对应的增强系数；

根据所述增强系数确定第一增强函数和第二增强函数；

基于所述第一增强函数对所述非反光区域中受所述反光区域影响的第一部分进行增强，基于所述第二增强函数对所述非反光区域中除所述第一部分以外的第二部分进行增强；

确定每一帧所述花生油采样图像中的背景区域，并对所述背景区域进行灰度值压缩，得到增强后的图像；

将所述增强后的图像输入训练好的神经网络模型，以获取杂质区域图像并识别杂质，实现花生油杂质的快速检测。

在一些实施例中，所述基于所述多帧花生油采样图像的差异确定反光区域和非反光区域的像素点集合，包括：

对所述反光区域和所述非反光区域的邻域像素点进行再筛选，将满足第一条件的邻域像素点加入所述反光区域的像素点集合，将满足第二条件的邻域像素点加入所述非反光区域的像素点集合。

在一些实施例中，所述对所述反光区域和所述非反光区域的邻域像素点进行再筛选，将满足第一条件的邻域像素点加入所述反光区域的像素点集合，将满足第二条件的邻域像素点加入所述非反光区域的像素点集合，包括：

以所述反光区域和所述非反光区域中的每一个像素点为中心确定其对应的八连通域；

计算所述八连通域中每一个邻域像素点的灰度值与所述八连通域的灰度均值的第一差值；

若所述第一差值小于所述邻域像素点的灰度值与背景区域的灰度均值的第二差值，则将所述邻域像素点加入所在八连通域的中心像素点所在的集合，其中，所述背景区域为所述花生油采样图像中除所述反光区域和所述非反光区域以外的区域。

在一些实施例中，所述增强系数通过如下方式计算得到：

其中，为第n帧花生油采样图像对应的增强系数，/>为第n帧花生油采样图像中反光区域的像素点数量，/>为所述花生油采样图像的帧的数量，/>为/>帧花生油采样图像中反光区域的像素点数量均值，/>为/>花生油采样图像中反光区域的像素点数量的最大值，/>为/>花生油采样图像中反光区域的像素点数量的最小值，/>表示选取/>中的最大数。

在一些实施例中，所述根据所述增强系数确定第一增强函数和第二增强函数，包括：

确定所述反光区域的质心，以及所述第一部分中各个像素点对应的连通域；

基于所述第一部分中待增强像素点所属连通域的质心与所述反光区域的质心之间的距离，以及所有所述连通域的质心与所述反光区域的质心之间的距离的最大值，得到第一参数；

确定所述第一部分中各个像素点的第一最大灰度值和第一最小灰度值；

基于所述第一部分中待增强像素点的当前灰度值与所述第一最小灰度值之间的第三差值、所述第一最大灰度值与所述第一最小灰度值之间的第四差值以及所述增强系数，得到第二参数；

基于所述第一参数和所述第二参数，得到所述第一增强函数。

在一些实施例中，所述第一增强函数为：

其中，为增强后的灰度值，/>为所述第一部分中的像素点的当前灰度值，/>、/>为所述第一部分中的像素点对应的最大灰度值和最小灰度值，/>为所述第一部分中各连通域的质心与所述反光区域的质心之间的距离的最大值，/>为当前像素点所属的连通域的质心与所述反光区域的质心之间的距离，/>为当前帧对应的增强系数。

在一些实施例中，所述根据所述增强系数确定第一增强函数和第二增强函数，包括：

确定所述第二部分中各个像素点的第二最大灰度值和第二最小灰度值；

计算所述第二部分中待增强像素点的当前灰度值与所述第二最小灰度值之间的第五差值，以及所述第二最大灰度值与所述第二最小灰度值之间的第六差值；

基于所述增强系数以及所述第五差值与所述第六差值的比值，得到所述第二增强函数。

在一些实施例中，所述第二增强函数为：

其中，为增强后的灰度值，/>为所述第二部分中的像素点的当前灰度值，/>为当前帧非反光区域的第二部分中的最大灰度值，/>为当前帧非反光区域的第二部分中的最小灰度值，/>为当前帧对应的增强系数。

在一些实施例中，所述非反光区域中受所述反光区域影响的第一部分通过如下方式确定：

以所述反光区域中每一个像素点为中心建立具有预设形状和大小的窗口；

将所述非反光区域中落入所述窗口的像素点作为受所述反光区域影响的像素点；

基于所述非反光区域中所有受所述反光区域影响的像素点，确定所述非反光区域的第一部分。

在一些实施例中，所述对所述背景区域进行灰度值压缩，包括：

计算所述背景区域中所有像素点所对应的灰度均值；

基于所述背景区域的所述灰度均值，对所述背景区域中的每一个像素点进行灰度值压缩。

本说明书实施例所提供的基于图像特征的花生油杂质快速检测方法可能带来的有益效果至少包括：（1）通过多帧花生油采样图像的差异对可能的杂质部分进行分类，然后通过波动程度得到每一帧花生油采样图像对应的增强系数，并基于该增强系数确定增强函数对不同区域的杂质进行自适应增强，最后对正常背景区域进行灰度值压缩，可以降低反光区域和波纹干扰对杂质识别的影响，实现较为理想的增强效果，极大程度地降低神经网络误识别的可能性；（2）通过综合考虑第一部分中的待增强像素点与反光区域的质心之间的距离、当前帧对应的增强系数、以及待增强像素点与第一部分中的像素点的最大灰度值和最小灰度值之间的关系来构建第一增强函数，可以对第一部分中的像素点起到更好的增强效果。

附加的特征将在下面的描述中部分地阐述。对于本领域技术人员来说，通过查阅以下内容和附图将变得显而易见，或者可以通过实例的产生或操作来了解。本说明书的特征可以通过实践或使用以下详细实例中阐述的方法、工具和组合的各个方面来实现和获得。

附图说明

本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书的一些实施例所示的基于图像特征的花生油杂质快速检测系统的示例性应用场景示意图；

图2是根据本说明书的一些实施例所示的图像采集平台的示例性场景示意图；

图3是根据本说明书的一些实施例所示的基于图像特征的花生油杂质快速检测系统的示例性模块图；

图4是根据本说明书一些实施例所示的基于图像特征的花生油杂质快速检测方法的示例性流程图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

在花生油生产过程中，由于生产工艺限制，压榨过后的毛油经过过滤后通常也存在部分杂质，通过检测杂质并识别类型，可以更准确地优化生产过程，实现更高质量的花生油生产。但是由于花生油表面会存在波动、反光等问题，如果直接识别杂质的话识别成功率较低，所以需要先对杂质区域进行增强。其中，杂质为花生粕，主要由压榨炼油后的花生仁和少量花生壳组成，其颜色通常为淡褐色或深褐色。

在一些实施例中，可以采用机器视觉的方式对花生油图像进行增强检测，但是，现有的增强方法除了对杂质区域进行增强，同时还对油面其它区域进行增强，该方法虽然增加了杂质区域的对比度，但在整幅增强图像中，尤其是存在反光和波纹干扰的情况下，杂质区域依然不够明显。

基于以上问题，本说明书实施例提供的基于图像特征的花生油杂质快速检测方法在对完成滤渣步骤后的毛油图像进行处理的基础上，通过设计自适应增强函数，针对不同区域的杂质进行自适应增强，从而突出杂质区域的图像显示，实现花生油杂质的快速检测。

下面结合附图对本说明书实施例提供的基于图像特征的花生油杂质快速检测方法和系统进行详细说明。

图1是根据本说明书一些实施例所示的基于图像特征的花生油杂质快速检测系统的示例性应用场景示意图。

参照图1，在一些实施例中，基于图像特征的花生油杂质快速检测系统的应用场景100可以包括图像采集装置110、存储设备120、处理设备130、终端设备140以及网络150。应用场景100中的各个部件可以以多种方式相连接。例如，图像采集装置110可以与存储设备120和/或处理设备130通过网络150连接，也可以与存储设备120和/或处理设备130直接连接。又例如，存储设备120可以与处理设备130直接连接或通过网络150连接。又例如，终端设备140可以与存储设备120和/或处理设备130通过网络150连接，也可以与存储设备120和/或处理设备130直接连接。

图像采集装置110可以用于对滤渣后的毛油进行图像采集以获得花生油采样图像。在一些实施例中，该花生油采样图像中可以包括杂质（例如花生粕）。

图2是根据本说明书的一些实施例所示的图像采集平台的示例性场景示意图。参照图2，在一些实施例中，待检测的油样可以通过微量泵进入取样通道，此时，可以通过摄像机对取样通道进行图像采集。该摄像机的输出端口可以连接到CCD（Charge-CoupledDevice）的输入端口，这样，CCD就可以接收摄像机捕捉到的图像信号。进一步地，CCD的输出端口可以连接到图像采集卡的输入端口，图像采集卡通常会有一个PCI或PCIe接口，可以将其插入计算机的扩展槽中，通过安装图像采集卡的驱动程序，则可以使得计算机识别和控制图像采集卡，当开始采集图像后，摄像机捕捉到的图像信号经过CCD转换，就会被图像采集卡捕获并传输到计算机中进行处理和识别，以得到待检测油样的杂质检测结果。在一些实施例中，图2中所示的摄像机、CCD以及图像采集卡可以是前述图像采集装置110的一部分。

需要注意的是，在搭建前述图像采集平台的过程中，需要使用高分辨率摄像机，将该摄像机放置于取样通道正上方以拍摄花生油毛油，尽可能降低高度以确保不拍摄到其他区域，并拍摄多帧图像。在一些实施例中，为了保证摄像机采集到的图像不受取样通道自身内部的杂质或污渍影响，在使用前需确认采样通道为白色透明且干净无明显污渍，以确保采样结果不被误差影响。

在一些实施例中，该图像采集装置110可以按照设定的图像采集频率对待检测的花生油进行图像采集（例如，每隔0.5秒采集一次），以获得多帧连续的花生油采样图像。在一些实施例中，图像采集装置110可以具有独立的电源，其可以通过有线或无线（例如蓝牙、WiFi等）的方式将采集的花生油采样图像发送给应用场景100中的其他部件（例如，存储设备120、处理设备130、终端设备140）。在一些实施例中，应用场景100中可以包括多个（例如两个及以上）图像采集装置110，该多个图像采集装置110可以针对相同或不同位置的毛油进行图像采集。如图2所示，在一些实施例中，对待检测的油样进行图像采集时可能会受到透射光和/或反射光的影响，从而使得常规图像识别方式无法准确地识别到图像中的杂质。

在一些实施例中，图像采集装置110可以通过网络150将其采集的花生油采样图像发送至存储设备120、处理设备130、终端设备140等。在一些实施例中，可以通过处理设备130对图像采集装置110所采集的花生油采样图像进行处理。例如，处理设备130可以确定自适应增强函数对花生油采样图像中的不同区域进行增强，以得到增强后的图像。在一些实施例中，该自适应增强函数和/或增强后的图像可以发送至存储设备120进行记录，或者发送至终端设备140以反馈给用户（例如质检工作人员）。

网络150可以促进信息和/或数据的交换。网络150可以包括能够促进应用场景100的信息和/或数据交换的任何合适的网络。在一些实施例中，应用场景100的至少一个组件（例如，图像采集装置110、存储设备120、处理设备130、终端设备140）可以通过网络150与应用场景100中至少一个其他组件交换信息和/或数据。例如，处理设备130可以通过网络150从图像采集装置110和/或存储设备120获得针对待检测的毛油采集的花生油采样图像。又例如，处理设备130可以通过网络150从终端设备140获得用户操作指令，示例性的操作指令可以包括但不限于调阅花生油采样图像，读取基于该花生油采样图像确定的自适应增强函数和/或增强后的图像等。

在一些实施例中，网络150可以为任意形式的有线或无线网络，或其任意组合。仅作为示例，网络150可以包括缆线网络、有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网络（LAN）、广域网络（WAN）、无线局域网络（WLAN）、城域网（MAN）、公共开关电话网络（PSTN）、蓝牙网络、ZigBee网络、近场通讯（NFC）网络等或其任意组合。在一些实施例中，网络150可以包括至少一个网络接入点，应用场景100的至少一个组件可以通过接入点连接到网络150以交换数据和/或信息。

存储设备120可以储存数据、指令和/或任何其他信息。在一些实施例中，存储设备120可以存储从图像采集装置110、处理设备130和/或终端设备140获得的数据。例如，存储设备120可以存储图像采集装置110采集的花生油采样图像；又例如，存储设备120可以存储处理设备130计算得到的自适应增强函数和/或增强后的图像。在一些实施例中，存储设备120可以存储处理设备130用来执行或使用来完成本说明书中描述的示例性方法的数据和/或指令。在一些实施例中，存储设备120可以包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器（ROM）等或其任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。在一些实施例中，存储设备120可以在云平台上实现。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

在一些实施例中，存储设备120可以连接到网络150以与应用场景100中的至少一个其他组件（例如，图像采集装置110、处理设备130、终端设备140）通信。应用场景100中的至少一个组件可以通过网络150访问存储设备120中存储的数据、指令或其他信息。在一些实施例中，存储设备120可以与应用场景100中的一个或以上组件（例如，图像采集装置110、终端设备140）直接连接或通信。在一些实施例中，存储设备120可以是图像采集装置110和/或处理设备130的一部分。

处理设备130可以处理从图像采集装置110、存储设备120、终端设备140和/或应用场景100的其他组件获得数据和/或信息。在一些实施例中，处理设备130可以从图像采集装置110、存储设备120或终端设备140中任意一个或多个获得花生油采样图像，通过对该花生油采样图像进行处理以确定自适应增强函数和/或增强后的图像。在一些实施例中，处理设备130可以从存储设备120获取预先存储的计算机指令，并执行该计算机指令以实现本说明书所描述的基于图像特征的花生油杂质快速检测方法。

在一些实施例中，处理设备130可以是单一服务器或服务器组。服务器组可以是集中式的或分布式的。在一些实施例中，处理设备130可以是本地或远程的。例如，处理设备130可以通过网络150从图像采集装置110、存储设备120和/或终端设备140访问信息和/或数据。又例如，处理设备130可以直接连接到图像采集装置110、存储设备120和/或终端设备140以访问信息和/或数据。在一些实施例中，处理设备130可以在云平台上实现。例如，云平台可以包括私有云、公共云、混合云、社区云、分布式云、云间云、多云等或其任意组合。在一些实施例中，处理设备130可以指图2中所示的计算机。

终端设备140可以接收、发送和/或显示数据。所述接收的数据可以包括图像采集装置110采集的数据、存储设备120存储的数据、处理设备130处理得到的自适应增强函数和/或增强后的图像等。所述发送的数据可以包括用户（例如质检工作人员）的输入数据和指令等。例如，终端设备140可以将用户输入的操作指令通过网络150发送给图像采集装置110，以控制图像采集装置110进行相应的数据采集。又例如，终端设备140可以将用户输入的处理指令通过网络150发送给处理设备130。

在一些实施例中，终端设备140可以包括移动设备141、平板计算机142、膝上型计算机143等或其任意组合。例如，移动设备141可以包括移动电话、个人数字助理（PDA）、专用移动终端等或其任意组合。在一些实施例中，终端设备140可以包括输入设备（如键盘、触摸屏）、输出设备（如显示器、扬声器）等。在一些实施例中，处理设备130可以是终端设备140的一部分。

应当注意的是，上述有关应用场景100的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对应用场景100进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，图像采集装置110的可以包括更多或更少的功能组件。

图3是根据本说明书一些实施例所示的基于图像特征的花生油杂质快速检测系统的模块示意图。在一些实施例中，图3所示的基于图像特征的花生油杂质快速检测系统200可以以软件和/或硬件的方式应用到图1所示的应用场景100，例如，可以以软件和/或硬件的形式配置到处理设备130和/或终端设备140，以用于对图像采集装置110所采集的花生油采样图像进行处理，并确定自适应增强函数对花生油采样图像中的不同区域进行增强，以得到增强后的图像。

参照图3，在一些实施例中，基于图像特征的花生油杂质快速检测系统200可以包括获取模块210、区域确定模块220、增强系数确定模块230、增强函数确定模块240、增强模块250、灰度值压缩模块260以及检测模块270。

获取模块210可以用于获取多帧花生油采样图像。

区域确定模块220可以用于基于所述多帧花生油采样图像的差异确定反光区域和非反光区域的像素点集合。

增强系数确定模块230可以用于通过所述反光区域的差异确定波动对油面形态的影响程度，确定每一帧所述花生油采样图像所对应的增强系数。

增强函数确定模块240可以用于根据所述增强系数确定第一增强函数和第二增强函数。

增强模块250可以用于基于所述第一增强函数对所述非反光区域中受所述反光区域影响的第一部分进行增强，基于所述第二增强函数对所述非反光区域中除所述第一部分以外的第二部分进行增强。

灰度值压缩模块260可以用于确定每一帧所述花生油采样图像中的背景区域，并对所述背景区域进行灰度值压缩，得到增强后的图像。

检测模块270可以用于将所述增强后的图像输入训练好的神经网络模型，以获取杂质区域图像并识别杂质，实现花生油杂质的快速检测。

关于上述各个模块的更多细节可以参照本说明书的其他位置（例如图4部分及其相关描述），此处不再赘述。

应当理解，图3所示的基于图像特征的花生油杂质快速检测系统200及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器（固件）的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合（例如，固件）来实现。

需要注意的是，上述关于基于图像特征的花生油杂质快速检测系统200的描述仅出于说明性目的而提供，并不旨在限制本说明书的范围。可以理解，对于本领域的技术人员来说，可以根据本说明书的描述，在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，图3中所述的获取模块210、区域确定模块220、增强系数确定模块230、增强函数确定模块240、增强模块250、灰度值压缩模块260以及检测模块270可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。再例如，基于图像特征的花生油杂质快速检测系统200还可以包括预处理模块，该预处理模块可以用于对前述花生油采样图像进行预处理。诸如此类的变形，均在本说明书的保护范围之内。在一些实施例中，前述各个模块可以是处理设备130和/或终端设备140的一部分。

图4是根据本说明书一些实施例所示的基于图像特征的花生油杂质快速检测方法的示例性流程图。在一些实施例中，方法300可以通过处理逻辑来执行，该处理逻辑可以包括硬件（例如，电路、专用逻辑、可编程逻辑、微代码等）、软件（运行在处理设备上以执行硬件模拟的指令）等或其任意组合。在一些实施例中，图4所示的基于图像特征的花生油杂质快速检测方法300的流程图中的一个或多个操作可以通过图1所示的处理设备130和/或终端设备140实现。例如，方法300可以以指令的形式存储在存储设备120中，并由处理设备130和/或终端设备140调用和/或执行。下文以处理设备130为例描述方法300的执行过程。

参照图4，在一些实施例中，基于图像特征的花生油杂质快速检测方法300可以包括：

步骤310，获取多帧花生油采样图像。在一些实施例中，步骤310可以由获取模块210执行。

在一些实施例中，图像采集装置110（或图2中所示的摄像机）可以每隔0.5秒对待检测的油样进行图像采集，从而获得连续采集的多帧（例如3~10帧）花生油采样图像。在一些实施例中，该多帧花生油采样图像可以存储在存储设备120中，获取模块210可以从存储设备120中获取该多帧花生油采样图像。在一些实施例中，获取模块210也可以直接从图像采集装置110获取该多帧花生油采样图像。

在获得前述多帧花生油采样图像后，可以对该多帧图像进行预处理。具体而言，由于花生油颜色为黄色透明状，色彩较为单一，且拍摄过程相较于摄像机花生油始终是运动的，所以预处理过程可以对得到的花生油采样图像进行灰度化处理，以降低计算复杂度，并对得到的灰度图像进行维纳滤波等降噪处理，以消除噪点和运动模糊效果，得到多帧成像效果较好的花生油采样灰度图像。需要说明的是，前述滤波方式仅为示例性说明，在一些其他的实施例中，可以采用不同的滤波方式对该灰度图像进行处理以实现降噪。

步骤320，基于所述多帧花生油采样图像的差异确定反光区域和非反光区域的像素点集合。在一些实施例中，步骤320可以由区域确定模块220执行。

通常来讲，普通油面区域的杂质较好识别，但采样过程中的光源可能导致油面图像存在一片或多片反光区域。在一些实施例中，考虑到室内光源固定，反光区域位置应无变化，且如果花生油流速较快，油面也会出现波动区域，在这些区域外围的杂质成像很可能被模糊，所以在获得预处理得到的花生油采样灰度图像后，需要对这些区域的杂质进行增强。

由于采样的花生油始终是在运动的，但图像采集装置110和光源的位置始终是固定的，基于此，在本说明书一些实施例所提供的方法中，可以通过多帧图像信息（每帧图像拍摄间隔为0.5秒），识别获取可能为杂质但处于不同油面区域的不同像素集合，然后针对这些集合进行自适应增强，提升杂质区域的对比度，压缩正常区域灰度值，从而突出显示杂质，为后续识别阶段进行铺垫，以便于后续识别过程中更准确地识别出待检测油样中的杂质成分。

具体地，在一些实施例中，区域确定模块220可以在获取模块210获取到多帧花生油采样图像之后，通过帧差法（即对该多帧花生油采样图像中相邻的两针图像进行两两作差）得到运动变化的区域。这些区域包括油面波动区域、杂质区域、由于波动而变化的反光区域。以上区域的位置发生了变化，但由于人造光源较稳定，对应区域的灰度值不会出现较大变化。

上述区域中，波动区域相较于正常区域灰度值偏低，杂质区域中的花生粕为浅褐色或深褐色，在白色传送通道背景下灰度值同样较低，反光区域灰度值应为灰度值最高的区间。基于此，在一些实施例中，可以通过遍历花生油采样图像中各像素灰度值逐帧建立反光区域所对应的像素点集合和非反光区域对应的像素点集合/>。其中，/>为像素灰度值，即反光区域中的最小灰度值远大于非反光区域的最大灰度值。在本说明书中，反光区域中的最小灰度值远大于非反光区域的最大灰度值可以理解为反光区域中的最小灰度值为非反光区域的最大灰度值的1.5倍以上。在一些实施例中，可以将像素灰度值介于/>与/>之间的区域视为正常背景区域。

由于前述集合中的组成像素是通过帧差得到的，集合中除了杂质部分像素还有波动区域像素，其中波动区域不在本方法处理范围内，但如果杂质流动速度较低，两帧间隔不足以流动一个自身大小的位移时，/>包含的杂质像素则不完整。基于此，在一些实施例中，为了获取更完整的反光区域，可以对反光区域的邻域像素点进行再筛选，将满足第一条件的邻域像素点加入反光区域的像素点集合。类似地，也可以对非反光区域的邻域像素点进行再筛选，将满足第二条件的邻域像素点加入非反光区域的像素点集合，从而获得更完整的非反光区域。

具体而言，在一些实施例中，可以以反光区域和非反光区域中的每一个像素点为中心确定其对应的八连通域，然后计算该八连通域中每一个邻域像素点的灰度值与该八连通域的灰度均值的第一差值，若该第一差值小于邻域像素点的灰度值与背景区域的灰度均值的第二差值，且该邻域像素点不属于/>和/>集合，则可以将该邻域像素点加入所在八连通域的中心像素点所在的集合（/>或/>）。

步骤330，通过所述反光区域的差异确定波动对油面形态的影响程度，确定每一帧所述花生油采样图像所对应的增强系数。在一些实施例中，步骤330可以由增强系数确定模块230执行。

在一些实施例中，通过分析不同油面区域的杂质成像情况可得：当杂质处于正常背景区域时，受背景影响较小，通过线性增强函数增强对比度即可；当杂质处于波动区域时，同样可以使用线性增强函数增强其对比度，并且，在本说明书实施例中，由于采集了多帧花生油采样图像，同一杂质始终受波纹影响的概率极低，所以最终的检测结果仍可信；当杂质处于反光区域时，由于反光区域亮度极高，无法通过成像系统探测，所以寻找杂质图像处于反光区域外围的对应帧，并对该帧的此区域杂质图像进行降低灰度值并加高对比度的特殊增强。其中，不同帧所对应的增强系数可以由油面的波动程度决定，而波动对油面形态的影响程度可以由反光区域的大小确定。

下面以对每一帧花生油采样图像进行增强展开说明：

由于波动影响，反光区域的面积总是在不断变化的。在一些实施例中，可以统计不同帧花生油采样图像中集合的像素点数量，得到反光区域面积最大值和最小值所对应的像素点数量的最大值/>和最小值/>，然后通过比较最大最小值，获得波动对油面形态的影响程度。可以理解，在影响程度大的图像中，对应的增强系数相对较大；而在影响程度小的图像中，对应的增强系数相对较小。

在一些实施例中，该增强系数可以通过如下方式计算得到：

其中，为第n帧花生油采样图像对应的增强系数，/>为第n帧花生油采样图像中反光区域的像素点数量，/>为所述花生油采样图像的帧的数量，/>为/>帧花生油采样图像中反光区域的像素点数量均值，/>为/>花生油采样图像中反光区域的像素点数量的最大值，/>为/>花生油采样图像中反光区域的像素点数量的最小值，/>表示选取/>中的最大数。

步骤340，根据所述增强系数确定第一增强函数和第二增强函数。在一些实施例中，步骤340可以由增强函数确定模块240执行。

在通过前述步骤330计算得到每一帧花生油采样图像所对应的增强系数之后，可以进一步根据该增强系数确定每一帧图像所对应的第一增强函数和第二增强函数，其中，第一增强函数可以用于对非反光区域中受反光区域影响的第一部分进行增强，第二增强函数可以用于对非反光区域中除前述第一部分以外的第二部分进行增强。

在一些实施例中，非反光区域中受反光区域影响的第一部分可以通过如下方式确定：首先，以反光区域中每一个像素点为中心建立具有预设形状和大小的窗口；然后，将该非反光区域中落入前述窗口的像素点作为受反光区域影响的像素点；最后，基于该非反光区域中所有受反光区域影响的像素点，确定该非反光区域的第一部分。在一些实施例中，该窗口可以为35*35大小的正方形窗口。

针对非反光区域中受反光区域影响的第一部分，由于其灰度值与中的一般像素点灰度值相比较高，所以在增强时要同时降低其灰度值并拉伸对比度。在处理这部分像素时，因为反光区域周边区域受反光中心的影响不同，所以，在一些实施例中，可以引入像素与反光区域的距离关系作为增强函数的参数之一。

具体而言，在一些实施例中，增强函数确定模块240可以确定反光区域的质心，以及第一部分中各个像素点对应的连通域；然后，基于第一部分中待增强像素点所属连通域的质心与反光区域的质心之间的距离，以及所有连通域的质心与反光区域的质心之间的距离的最大值/>，得到第一参数（/>）；同时，增强函数确定模块240可以确定第一部分中各个像素点的第一最大灰度值/>和第一最小灰度值/>，并基于第一部分中待增强像素点的当前灰度值/>与第一最小灰度值之间的第三差值（/>）、第一最大灰度值与第一最小灰度值之间的第四差值（/>）以及前述增强系数/>，得到第二参数（/>）；最后，增强函数确定模块240可以基于该第一参数和第二参数，得到用于对非反光区域中受反光区域影响的第一部分进行增强的第一增强函数。

在一些实施例中，第一增强函数可以表示如下：

其中，为增强后的灰度值，/>为所述第一部分中的像素点的当前灰度值，/>、/>为所述第一部分中的像素点对应的最大灰度值和最小灰度值，/>为所述第一部分中各连通域的质心与所述反光区域的质心之间的距离的最大值，/>为当前像素点所属的连通域的质心与所述反光区域的质心之间的距离，/>为当前帧对应的增强系数，0.6和0.4分别为第一参数和第二参数对应的权重。

可以理解，在本说明书实施例中，通过综合考虑第一部分中的待增强像素点与反光区域的质心之间的距离、当前帧对应的增强系数、以及待增强像素点与第一部分中的像素点的最大灰度值和最小灰度值之间的关系来构建第一增强函数，可以对第一部分中的像素点起到更好的增强效果。在本说明书实施例中，由于需要将杂质与背景高亮度区域区分出来，通过将前述第一增强函数结合距离因素，可以使得暗的部分更暗，亮的部分也相对变暗，并且，由于反光区域较亮，所以与反光区域的中心距离越远则增强效果越突出。

进一步地，对于非反光区域中不受反光区域影响的第二部分而言，由于距离反光区域位置相对较远，其成像灰度值基本不受到反光区域的强光影响，所以可以直接通过线性增强的方式提升该集合内像素点的对比度。

在一些实施例中，用于对第二部分进行增强的第二增强函数可以表示如下：

其中，为增强后的灰度值，/>为所述第二部分中的像素点的当前灰度值，/>为当前帧非反光区域的第二部分中的最大灰度值，/>为当前帧非反光区域的第二部分中的最小灰度值，/>为当前帧对应的增强系数。

具体而言，在一些实施例中，增强函数确定模块240可以确定第二部分中各个像素点的第二最大灰度值和第二最小灰度值；然后，计算第二部分中待增强像素点的当前灰度值与该第二最小灰度值之间的第五差值（），以及该第二最大灰度值与第二最小灰度值之间的第六差值（/>）；最后，基于前述增强系数以及该第五差值与第六差值的比值，得到用于对第二部分进行增强的第二增强函数。

类似地，该第二增强函数也可以使暗的地方更暗，亮的地方也相对变暗，从而使得杂质可以更好地凸显出来。

步骤350，基于所述第一增强函数对所述非反光区域中受所述反光区域影响的第一部分进行增强，基于所述第二增强函数对所述非反光区域中除所述第一部分以外的第二部分进行增强。在一些实施例中，步骤350可以由增强模块250执行。

在通过前述步骤确定每一帧花生油采样图像所对应的第一增强函数和第二增强函数之后，增强模块250可以基于该第一增强函数对非反光区域中受反光区域影响的第一部分进行增强，同时，基于该第二增强函数对非反光区域中除第一部分以外的第二部分（即不受反光区域影响的部分）进行增强，从而使得杂质可以更好地凸显出来。

步骤360，确定每一帧所述花生油采样图像中的背景区域，并对所述背景区域进行灰度值压缩，得到增强后的图像。在一些实施例中，步骤360可以由灰度值压缩模块260执行。

在一些实施例中，针对于不属于前述反光区域和非反光区域的像素点，可以将其视为背景区域，其灰度值应该大于集合的像素点，但小于/>集合的像素点。所以，当其灰度值取到自身平均值时，就可以得到比较好的对比效果。基于此，可以通过第三增强函数对背景区域中的像素点进行灰度值压缩。在一些实施例中，第三增强函数可以表示如下：

其中，为背景区域中的像素点修改之后的灰度值，n为背景区域中的像素点数量，/>为背景区域中第i个像素的灰度值。

具体而言，在一些实施例中，灰度值压缩模块260可以计算该背景区域中所有像素点所对应的灰度均值，然后基于该背景区域的灰度均值，对背景区域中的每一个像素点进行灰度值压缩。需要说明的是，在本说明书中，对背景区域中像素点进行灰度值压缩可以理解为增加灰度值或减小灰度值。例如，当背景区域中待增强的像素点的灰度值小于该背景区域的灰度均值时，可以增加该待增强的像素点的灰度值，使其达到该背景区域的灰度均值，相反，当背景区域中待增强的像素点的灰度值大于该背景区域的灰度均值时，则可以减小该待增强的像素点的灰度值，使其降低至该背景区域的灰度均值。

通过前述步骤，可以对每一帧花生油采样图像进行增强，得到每一帧花生油采样图像对应的增强后的图像。

步骤370，将所述增强后的图像输入训练好的神经网络模型，以获取杂质区域图像并识别杂质，实现花生油杂质的快速检测。在一些实施例中，步骤370可以由检测模块270执行。

在通过前述步骤得到每一帧花生油采样图像对应的增强后的图像之后，检测模块270可以将增强后的图像输入训练好的神经网络模型，以获取杂质区域图像并识别杂质，实现花生油杂质的快速检测。

在一些实施例中，可以利用大数据获取大量花生油毛油滤渣后杂质区域图像并进行人工标注，然后将图像集按照7：3的比例分为训练集和验证集，利用DNN（Deep NueralNetwork，深度神经网络）网络进行训练，以得到前述训练好的神经网络模型。

具体地，在一些实施例中，可以使用交叉熵函数作为训练过程中的损失函数，然后利用最小梯度法训练至损失函数收敛以完成训练。在完成训练后，可以输入验证集进行验证。若验证结果不达标，可以使用更多的训练样本继续进行训练。若验证结果已达标，则可以输入前述增强后的图像，对该图像进行处理以获取杂质区域图像并识别杂质，实现花生油杂质的快速检测。

综上所述，本说明书实施例可能带来的有益效果包括但不限于：（1）在本说明书一些实施例所提供的基于图像特征的花生油杂质快速检测方法中，通过多帧花生油采样图像的差异对可能的杂质部分进行分类，然后通过波动程度得到每一帧花生油采样图像对应的增强系数，并基于该增强系数确定增强函数对不同区域的杂质进行自适应增强，最后对正常背景区域进行灰度值压缩，可以降低反光区域和波纹干扰对杂质识别的影响，实现较为理想的增强效果，极大程度地降低神经网络误识别的可能性；（2）在本说明书一些实施例所提供的基于图像特征的花生油杂质快速检测方法中，通过综合考虑第一部分中的待增强像素点与反光区域的质心之间的距离、当前帧对应的增强系数、以及待增强像素点与第一部分中的像素点的最大灰度值和最小灰度值之间的关系来构建第一增强函数，可以对第一部分中的像素点起到更好的增强效果。

需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例中，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件（包括固件、常驻软件、微码等）执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网（LAN）或广域网（WAN），或连接至外部计算机（例如通过因特网），或在云计算环境中，或作为服务使用如软件即服务（SaaS）。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件（当前或之后附加于本说明书中的）也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.基于图像特征的花生油杂质快速检测方法，其特征在于，包括：

获取多帧花生油采样图像；

基于所述多帧花生油采样图像的差异确定反光区域和非反光区域的像素点集合；

通过所述反光区域的差异确定波动对油面形态的影响程度，确定每一帧所述花生油采样图像所对应的增强系数；

根据所述增强系数确定第一增强函数和第二增强函数；

基于所述第一增强函数对所述非反光区域中受所述反光区域影响的第一部分进行增强，基于所述第二增强函数对所述非反光区域中除所述第一部分以外的第二部分进行增强；

确定每一帧所述花生油采样图像中的背景区域，并对所述背景区域进行灰度值压缩，得到增强后的图像；

将所述增强后的图像输入训练好的神经网络模型，以获取杂质区域图像并识别杂质，实现花生油杂质的快速检测。

2.如权利要求1所述的基于图像特征的花生油杂质快速检测方法，其特征在于，所述基于所述多帧花生油采样图像的差异确定反光区域和非反光区域的像素点集合，包括：

对所述反光区域和所述非反光区域的邻域像素点进行再筛选，将满足第一条件的邻域像素点加入所述反光区域的像素点集合，将满足第二条件的邻域像素点加入所述非反光区域的像素点集合。

3.如权利要求2所述的基于图像特征的花生油杂质快速检测方法，其特征在于，所述对所述反光区域和所述非反光区域的邻域像素点进行再筛选，将满足第一条件的邻域像素点加入所述反光区域的像素点集合，将满足第二条件的邻域像素点加入所述非反光区域的像素点集合，包括：

以所述反光区域和所述非反光区域中的每一个像素点为中心确定其对应的八连通域；

计算所述八连通域中每一个邻域像素点的灰度值与所述八连通域的灰度均值的第一差值；

若所述第一差值小于所述邻域像素点的灰度值与背景区域的灰度均值的第二差值，则将所述邻域像素点加入所在八连通域的中心像素点所在的集合，其中，所述背景区域为所述花生油采样图像中除所述反光区域和所述非反光区域以外的区域。

4.如权利要求1所述的基于图像特征的花生油杂质快速检测方法，其特征在于，所述增强系数通过如下方式计算得到：

其中，为第n帧花生油采样图像对应的增强系数，/>为第n帧花生油采样图像中反光区域的像素点数量，/>为所述花生油采样图像的帧的数量，/>为/>帧花生油采样图像中反光区域的像素点数量均值，/>为/>花生油采样图像中反光区域的像素点数量的最大值，/>为/>花生油采样图像中反光区域的像素点数量的最小值，/>表示选取/>中的最大数。

5.如权利要求4所述的基于图像特征的花生油杂质快速检测方法，其特征在于，所述根据所述增强系数确定第一增强函数和第二增强函数，包括：

确定所述反光区域的质心，以及所述第一部分中各个像素点对应的连通域；

基于所述第一部分中待增强像素点所属连通域的质心与所述反光区域的质心之间的距离，以及所有所述连通域的质心与所述反光区域的质心之间的距离的最大值，得到第一参数；

确定所述第一部分中各个像素点的第一最大灰度值和第一最小灰度值；

基于所述第一部分中待增强像素点的当前灰度值与所述第一最小灰度值之间的第三差值、所述第一最大灰度值与所述第一最小灰度值之间的第四差值以及所述增强系数，得到第二参数；

基于所述第一参数和所述第二参数，得到所述第一增强函数。

6.如权利要求5所述的基于图像特征的花生油杂质快速检测方法，其特征在于，所述第一增强函数为：

其中，为增强后的灰度值，/>为所述第一部分中的像素点的当前灰度值，/>、为所述第一部分中的像素点对应的最大灰度值和最小灰度值，/>为所述第一部分中各连通域的质心与所述反光区域的质心之间的距离的最大值，/>为当前像素点所属的连通域的质心与所述反光区域的质心之间的距离，/>为当前帧对应的增强系数。

7.如权利要求4所述的基于图像特征的花生油杂质快速检测方法，其特征在于，所述根据所述增强系数确定第一增强函数和第二增强函数，包括：

确定所述第二部分中各个像素点的第二最大灰度值和第二最小灰度值；

计算所述第二部分中待增强像素点的当前灰度值与所述第二最小灰度值之间的第五差值，以及所述第二最大灰度值与所述第二最小灰度值之间的第六差值；

基于所述增强系数以及所述第五差值与所述第六差值的比值，得到所述第二增强函数。

8.如权利要求7所述的基于图像特征的花生油杂质快速检测方法，其特征在于，所述第二增强函数为：

其中，为增强后的灰度值，/>为所述第二部分中的像素点的当前灰度值，/>为当前帧非反光区域的第二部分中的最大灰度值，/>为当前帧非反光区域的第二部分中的最小灰度值，/>为当前帧对应的增强系数。

9.如权利要求1~8中任一项所述的基于图像特征的花生油杂质快速检测方法，其特征在于，所述非反光区域中受所述反光区域影响的第一部分通过如下方式确定：

以所述反光区域中每一个像素点为中心建立具有预设形状和大小的窗口；

将所述非反光区域中落入所述窗口的像素点作为受所述反光区域影响的像素点；

基于所述非反光区域中所有受所述反光区域影响的像素点，确定所述非反光区域的第一部分。

10.如权利要求9所述的基于图像特征的花生油杂质快速检测方法，其特征在于，所述对所述背景区域进行灰度值压缩，包括：

计算所述背景区域中所有像素点所对应的灰度均值；

基于所述背景区域的所述灰度均值，对所述背景区域中的每一个像素点进行灰度值压缩。