CN111753794B - 水果品质分类方法、装置、电子设备及可读存储介质 - Google Patents

水果品质分类方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111753794B
CN111753794B CN202010623491.0A CN202010623491A CN111753794B CN 111753794 B CN111753794 B CN 111753794B CN 202010623491 A CN202010623491 A CN 202010623491A CN 111753794 B CN111753794 B CN 111753794B
Authority
CN
China
Prior art keywords
suspected
scratch
area
fruit
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010623491.0A
Other languages
English (en)
Other versions
CN111753794A (zh
Inventor
张发恩
禹文扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi Chengdu Technology Co ltd
Original Assignee
Innovation Qizhi Chengdu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi Chengdu Technology Co ltd filed Critical Innovation Qizhi Chengdu Technology Co ltd
Priority to CN202010623491.0A priority Critical patent/CN111753794B/zh
Publication of CN111753794A publication Critical patent/CN111753794A/zh
Application granted granted Critical
Publication of CN111753794B publication Critical patent/CN111753794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Abstract

本申请提供一种水果品质分类方法、装置、电子设备及可读存储介质,涉及数据处理技术领域。该方法包括:采集目标水果各个角度的IR图像;基于IR图像对所述目标水果进行伤痕检测,确定目标水果的疑似伤痕区域;通过神经网络模型对所述疑似伤痕区域进行识别,确定疑似伤痕所属的伤痕类别;基于伤痕类别以及针对目标水果的其他品质分类参数信息对目标水果进行品质分类。该方案通过基于IR图像识别出目标水果的疑似伤痕区域,利用神经网络模型对疑似伤痕区域进一步进行伤痕类别检测,从而可以实现更加细粒度的伤痕识别,再结合其他品质分类参数可对目标水果实现更准确地品质分类,并且,无需采用人工进行分拣,有效提高了水果品质分类的效率。

Description

水果品质分类方法、装置、电子设备及可读存储介质
技术领域
本申请涉及数据处理技术领域,具体而言,涉及一种水果品质分类方法、装置、电子设备及可读存储介质。
背景技术
水果一般从采购到消费者手中,这个过程难免造成有些水果的品质受损,而品质受损又包括有多种情况,如碰伤、腐烂、果梗损坏等,一般商家在出售时,一般针对不同的品质受损的水果以不同的价格出售。
现有技术中,为了将不同品质的水果进行分类,一般是采用人工进行分拣,而人工分拣导致分拣效率低,且分拣依赖于人工主观经验,使得其分拣精确度也不高。
发明内容
本申请实施例的目的在于提供一种水果品质分类方法、装置、电子设备及可读存储介质,用以改善现有技术中人工对水果进行分拣而导致效率低且准确率低的问题。
第一方面,本申请实施例提供了一种水果品质分类方法,所述方法包括:采集目标水果各个角度的IR图像;基于所述IR图像对所述目标水果进行伤痕检测,确定所述目标水果的疑似伤痕区域;通过神经网络模型对所述疑似伤痕区域进行识别,确定疑似伤痕所属的伤痕类别;基于所述伤痕类别以及针对所述目标水果的其他品质分类参数信息对所述目标水果进行品质分类。
在上述实现过程中,通过基于IR图像识别出目标水果的疑似伤痕区域,然后利用神经网络模型对疑似伤痕区域进一步进行伤痕类别检测,从而可以实现更加细粒度的伤痕识别,再结合其他品质分类参数可对目标水果实现更准确地品质分类,并且,无需采用人工进行分拣,有效提高了水果品质分类的效率。
可选地,所述基于所述IR图像对所述目标水果进行伤痕检测,确定所述目标水果的疑似伤痕区域,包括:
将所述IR图像分割为多个区域;
对每个区域进行有效像素点统计,所述有效像素点用于描述所述目标水果的果面信息;
基于针对每个区域的有效像素点的统计结果,确定疑似伤痕区域。
在上述实现过程中,通过将IR图像划分为多个区域后,基于每个区域内的有效像素点的统计结果即可更加准确识别出疑似伤痕区域。
可选地,所述基于针对每个区域的有效像素点的统计结果,确定疑似伤痕区域,包括:
判断每个区域内的有效像素点的数量的占比是否超过预设值;
若是,则获取每个区域内的有效像素点的像素灰度值;
根据每个区域内的有效像素点的像素灰度值,获取每个区域内的有效像素点的像素灰度均值;
基于每个区域内对应的像素灰度均值,确定疑似伤痕区域。
在上述实现过程中,由于伤痕区域对应的像素灰度值一般较大,所以基于每个区域内的有效像素点的像素灰度均值可更加准确识别出疑似伤痕区域。
可选地,所述基于每个区域内对应的像素灰度均值,确定疑似伤痕区域,包括:
判断每个区域内的每个有效像素点的像素灰度值与对应的像素灰度均值的差值是否超过预设阈值;
若是,则确定对应的有效像素点为疑似伤痕点;
基于所述疑似伤痕点所在的像素位置确定疑似伤痕区域。
在上述实现过程中,通过先确定每个区域内的疑似伤痕点,则再基于疑似伤痕点所在的像素位置可更加准确且细分出疑似伤痕区域。
可选地,所述基于所述疑似伤痕点所在的像素位置确定疑似伤痕区域,包括:
对各个所述疑似伤痕点进行膨胀与腐蚀的形态学操作,以基于各个疑似伤痕点所在的像素位置将各个疑似伤痕点聚类为多个疑似伤痕块;
确定每个疑似伤痕块的最小外接矩形,并将所述最小外接矩形所确定的矩形区域确定为所述疑似伤痕区域。
在上述实现过程中,通过对疑似伤痕点进行形态学操作,则可将疑似伤痕点连接相邻的像素点以及相邻的疑似伤痕点,从而可以将每个区域更加细分为多个疑似伤痕区域,便于提高后续利用神经网络模型对伤痕类别检测的准确性。
可选地,所述其他品质分类参数包括:所述目标水果的果径、所述目标水果的果形、所述目标水果的果面像素的平均色调、所述目标水果的针对预设颜色的着色比例中的至少一种。
可选地,通过如下方式获取所述目标水果的果面像素的平均色调以及所述目标水果的针对预设颜色的着色比例:
采集所述目标水果各个角度的RGB图像;
将所述RGB图像转换为HSI图像;
基于所述HSI图像中各个像素点的颜色分量确定所述目标水果的果面像素的平均色调;以及基于所述HSI图像中各个像素点的颜色分量确定所述预设颜色的像素点个数;基于所述预设颜色的像素点个数确定所述预设颜色的着色比例。
在上述实现过程中,通过获取针对目标水果的其他品质分类参数,则可进一步结合其他品质分类参数实现对目标水果更准确的品质分类。
第二方面,本申请实施例提供了一种水果品质分类装置,所述装置包括:
图像采集模块,用于采集目标水果各个角度的IR图像;
伤痕区域检测模块,用于基于所述IR图像对所述目标水果进行伤痕检测,确定所述目标水果的疑似伤痕区域;
伤痕类别检测模块,用于通过神经网络模型对所述疑似伤痕区域进行识别,确定疑似伤痕所属的伤痕类别;
品质分类模块,用于基于所述伤痕类别以及针对所述目标水果的其他品质分类参数信息对所述目标水果进行品质分类。
可选地,所述伤痕区域检测模块,用于将所述IR图像分割为多个区域;对每个区域进行有效像素点统计,所述有效像素点用于描述所述目标水果的果面信息;基于针对每个区域的有效像素点的统计结果,确定疑似伤痕区域。
可选地,所述伤痕区域检测模块,用于判断每个区域内的有效像素点的数量的占比是否超过预设值;若是,则获取每个区域内的有效像素点的像素灰度值;根据每个区域内的有效像素点的像素灰度值,获取每个区域内的有效像素点的像素灰度均值;基于每个区域内对应的像素灰度均值,确定疑似伤痕区域。
可选地,所述伤痕区域检测模块,用于判断每个区域内的每个有效像素点的像素灰度值与对应的像素灰度均值的差值是否超过预设阈值;若是,则确定对应的有效像素点为疑似伤痕点;基于所述疑似伤痕点所在的像素位置确定疑似伤痕区域。
可选地,所述伤痕区域检测模块,用于对各个所述疑似伤痕点进行膨胀与腐蚀的形态学操作,以基于各个疑似伤痕点所在的像素位置将各个疑似伤痕点聚类为多个疑似伤痕块;确定每个疑似伤痕块的最小外接矩形,并将所述最小外接矩形所确定的矩形区域确定为所述疑似伤痕区域。
可选地,所述其他品质分类参数包括:所述目标水果的果径、所述目标水果的果形、所述目标水果的果面像素的平均色调、所述目标水果的针对预设颜色的着色比例中的至少一种。
可选地,通过如下方式获取所述目标水果的果面像素的平均色调以及所述目标水果的针对预设颜色的着色比例:
采集所述目标水果各个角度的RGB图像;
将所述RGB图像转换为HSI图像;
基于所述HSI图像中各个像素点的颜色分量确定所述目标水果的果面像素的平均色调;以及基于所述HSI图像中各个像素点的颜色分量确定所述预设颜色的像素点个数;基于所述预设颜色的像素点个数确定所述预设颜色的着色比例。
第三方面,本申请实施例提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如上述第一方面提供的所述方法中的步骤。
第四方面,本申请实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种用于执行水果品质分类方法的电子设备的结构示意图;
图2为本申请实施例提供的一种水果品质分类方法的流程图;
图3为本申请实施例提供的一种苹果的IR图像的成像示意图;
图4为本申请实施例提供的一种苹果的疑似伤痕区域的示意图;
图5为本申请实施例提供的另一种苹果的疑似伤痕区域的示意图;
图6为本申请实施例提供的一种苹果的果径的计算过程示意图;
图7为本申请实施例提供的一种水果品质分类装置的结构框图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提供一种水果品质分类方法,该方法中可以基于IR图像识别出目标水果的疑似伤痕区域,然后利用神经网络模型对疑似伤痕区域进一步进行伤痕类别检测,从而可以实现更加细粒度的伤痕识别,再结合其他品质分类参数可对目标水果实现更准确地品质分类,并且,无需采用人工进行分拣,有效提高了水果品质分类的效率。
请参照图1,图1为本申请实施例提供的一种用于执行水果品质分类方法的电子设备的结构示意图,所述电子设备可以包括:至少一个处理器110,例如CPU,至少一个通信接口120,至少一个存储器130和至少一个通信总线140。其中,通信总线140用于实现这些组件直接的连接通信。其中,本申请实施例中设备的通信接口120用于与其他节点设备进行信令或数据的通信。存储器130可以是高速RAM存储器,也可以是非易失性的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器130可选的还可以是至少一个位于远离前述处理器的存储装置。存储器130中存储有计算机可读取指令,当所述计算机可读取指令由所述处理器110执行时,电子设备执行下述图2所示方法过程,例如,存储器130可用于存储水果的IR图像,处理器110在对水果进行品质分类时,可从存储器130中获取相应的IR图像,并基于IR图像对水果进行伤痕检测,从而确定水果的疑似伤痕区域,再利用神经网络模型对疑似伤痕区域进行识别,确定疑似伤痕所属的伤痕类别,然后基于伤痕类别以及其他品质分类参数对水果进行品质分类。
可以理解,图1所示的结构仅为示意,所述电子设备还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2,图2为本申请实施例提供的一种水果品质分类方法的流程图,该方法包括如下步骤:
步骤S110:采集目标水果各个角度的IR图像。
其中,目标水果可以是指任意一种需要进行品质分类的水果,如苹果、梨、石榴、猕猴桃、橙子等,所以,针对任意一种需要进行品质分类的水果均可采用本申请实施例提供的品质分类方法进行分类。在实际应用中,一般需要对每个水果均进行品质分类,则目标水果表示其中一个水果,以苹果为例,若需要对大量的苹果进行品质分类,则针对每一个苹果,均可采用本申请实施例提供的品质分类方法进行分类,这种情况下,目标水果可以是指其中任意一个苹果。
为了方便描述,本申请实施例中以对苹果进行品质分类为例进行说明。由于水果的果面颜色信息较为丰富,所以,基于红外线(Infrared Radiation,IR)图像能更好地识别出水果的伤痕区域。为了对苹果的伤痕区域进行识别,还需要采集苹果各个角度的IR图像,在采集苹果各个角度的IR图像时,可以将各个苹果依次摆放于一滚动台上,滚动台上方安装有摄像头,苹果可在滚动台上不停地滚动,这样摄像头可采集苹果在滚动过程中的IR图像,从而可获得苹果各个角度的IR图像。
其中,IR图像类似于灰度图像,用于采集IR图像的摄像头可以是IR摄像头,当然,为了使得采集的图像能够全面覆盖苹果的各个角度,其IR摄像头可以包括多个,如包括8个以上的IR摄像头阵列,这些IR摄像头可以将采集的图像发送给电子设备,其采集的苹果的多个角度的IR图像可如图3所示。
步骤S120:基于所述IR图像对所述目标水果进行伤痕检测,确定所述目标水果的疑似伤痕区域。
由于IR图像类似于灰度图像,所以,可以很明显区分出IR图像中像素较深的区域。根据实际情况可知,位于伤痕位置的像素颜色应该较深,这样在基于IR图像对目标水果进行伤痕检测时,可以将灰度值较大的像素区域作为疑似伤痕区域,例如,在具体实现过程中,可以检测获得每张IR图像中苹果上的每个像素点的灰度值,然后可以将灰度值大于一预设值(该值可根据实际情况设定)的像素点所在的区域作为疑似伤痕区域。
步骤S130:通过神经网络模型对所述疑似伤痕区域进行识别,确定疑似伤痕所属的伤痕类别。
其中,神经网络模型可以为卷积神经网络,当然,在其他实施例中,神经网络模型还可以为其他神经网络,如循环神经网络、生成式对抗网络等,在此不一一列举。
由于卷积神经网络对图像识别具有较好的效果,所以,本申请实施例中可以采用卷积神经网络对伤痕类别进行检测,下面以卷积神经网络为例进行说明。通过上述步骤确定疑似伤痕区域后,可利用卷积神经网络进一步对疑似伤痕区域进行识别,从而获得其疑似伤痕所属的伤痕类别。在实际应用过程中,其伤痕类别可以根据水果的品种自行进行定义,如对于苹果来说,其伤痕类别可以包括但不限于:无伤损、果梗、花萼、虫蛀、晒伤、刺伤、压伤、冰雹伤等。可以理解地,对于不同品种的水果,可以定义不同的伤痕类别。
为了使得卷积神经网络可以准确识别出疑似伤痕所属的伤痕类别,则可以预先对卷积神经网络进行训练,在训练过程中,可以采集大量的苹果的伤痕图像,然后将伤痕所属的伤痕类别作为标签数据,输入卷积神经网络中对其中的网络参数进行训练,其详细的训练过程在此不详细描述。在卷积神经网络训练完成后,即可利用卷积神经网络对苹果的疑似伤痕区域进行伤痕类别检测。
需要说明的是,对于其他水果的伤痕类别检测,只是输入卷积神经网络的训练数据不同,但是其检测原理类似,所以,针对其他水果的伤痕类别的检测可参照上述对苹果的伤痕类别的检测过程,在此不再重复描述。
步骤S140:基于所述伤痕类别以及针对所述目标水果的其他品质分类参数信息对所述目标水果进行品质分类。
其中,其他品质分类参数可以针对不同的水果设定不同的品质分类参数,如对于苹果,其他品质分类参数可以包括但不限于:颜色、大小、果形等。
品质类别可以根据实际需求灵活设置,例如,分为一级品质、二级品质和三级品质,不同的伤痕类别以及品质分类参数可决定将水果分为不同的品质,例如,以苹果为例,若其伤痕类别为无伤损,其他品质分类参数为颜色平均色调在20以下(指HSI颜色空间对应的色度)、红色像素着色比例为90%以上,其对应的品质为一级品质,按照该方式,可预先针对不同的品质设置对应的满足条件,则在对水果进行品质分类时,可结合水果的伤痕类别以及其他品质分类参数来综合判断水果属于哪一类品质,这样即可实现对水果进行品质分类。
在上述实现过程中,通过基于IR图像识别出目标水果的疑似伤痕区域,然后利用神经网络模型对疑似伤痕区域进一步进行伤痕类别检测,从而可以实现更加细粒度的伤痕识别,再结合其他品质分类参数可对目标水果实现更准确地品质分类,并且,无需采用人工进行分拣,有效提高了水果品质分类的效率;再者,相比于采用RGB图像来识别疑似伤痕区域,本方案中采用IR图像来识别疑似伤痕区域,可以避免RGB图像中由于颜色纹理信息干扰而使得疑似伤痕区域定位不准确的问题。
作为一种实施方式,为了准确识别出目标水果的疑似伤痕区域,则在上述基于IR图像确定水果的疑似伤痕区域的实现过程中,还可以有如下实现方式:
将IR图像分割为多个区域,对每个区域进行有效像素点统计,该有效像素点用于描述目标水果的果面信息,然后基于针对每个区域的有效像素点的统计结果,确定疑似伤痕区域。
可以理解地,针对每个水果均采集有多张IR图像,则对于每张IR图像均可以进行区域分割。在进行区域分割时,可以将每张IR图像按照预设大小的区域进行分割,例如,将每张IR图像分割为64*64像素大小的块状区域,当然其分割的区域大小也可以根据水果的大小以及摄像头的相关参数来灵活调整。在IR图像的长宽无法被64整除时,则可以在IR图像中补0像素以确保其长宽为64的整数倍,进而可使得IR图像能够被完整分割为多个区域。
其中,有效像素点是指用于描述水果的果面信息,如水果的伤痕特征等,在基于IR图像进行疑似伤痕区域识别前,可以先将IR图像进行二值化处理,这样可以定义0值像素点为背景信息,即无效像素点,非0值像素点即作为有效像素点。所以,在进行有效像素点统计时,可以遍历每个区域中的每个像素点,统计出每个区域中非0值像素点的数量或者分布情况等数据,基于这些数据可确定出疑似伤痕区域。
例如,若有效像素点集中分布在区域内的某一小块区域,则确定该小块区域确定为疑似伤痕区域,或者直接将该分割的区域作为疑似伤痕区域。
或者,还可以基于有效像素点的数量来确定疑似伤痕区域,如判断每个区域内的有效像素点的数量的占比是否超过预设值,若是,则确定该区域为疑似伤痕区域。
例如,某个区域的像素点个数为500,若统计出有效像素点的数量为400,则占比为400/500=0.8,若预设值设置为0.6(其数值可以根据实际需求灵活设置),这种情况下,若占比超过预设值,则确定该区域为疑似伤痕区域,若占比未超过预设值,对于苹果来说,表示其区域可能接近苹果边缘,参与统计的像素比较少,且苹果边缘处光照阴影明显,不适宜对其进行疑似伤痕检测,所以,这种情况下,则确定该区域不是疑似伤痕区域。
在上述实现过程中,通过将IR图像划分为多个区域后,基于每个区域内的有效像素点的统计结果即可更加准确识别出疑似伤痕区域。
为了实现对疑似伤痕区域更为准确的识别,作为一种实施方式,其识别的方式还可以包括:判断每个区域内的有效像素点的数量的占比是否超过预设值,若是,则获取每个区域内的有效像素点的像素灰度值,然后根据每个区域内的有效像素点的像素灰度值,获取每个区域内的有效像素点的像素灰度均值,再基于每个区域内对应的像素灰度均值,确定疑似伤痕区域。
例如,可按照上述实施例中统计出每个区域内有效像素点的数量,然后判断其数量在该区域的总像素点数量的占比是否超过预设值,若是,则获取每个有效像素点的像素灰度值,再统计该区域内的像素灰度均值。其计算像素灰度均值的方式为:其中,X表示像素灰度均值,g表示每个有效像素点的像素灰度值的累加值,n表示有效像素点的个数。
所以,按照该方式可统计出每个区域的像素灰度均值,由于出现伤痕的区域的像素灰度值可能较大,所以,在确定疑似伤痕区域时,作为一种实施方式,可以判断每个区域的像素灰度均值是否超过一阈值(该阈值的具体数值可根据实际情况设置),若超过,则确定该区域为疑似伤痕区域。
在上述实现过程中,由于伤痕区域对应的像素灰度值一般较大,所以基于每个区域内的有效像素点的像素灰度均值可更加准确识别出疑似伤痕区域。
而基于实际经验,苹果表面区域内,IR图像灰度变化平滑,在小块区域内不会有较大变化,如果一个小块区域内出现了像素灰度值的大幅度波动,则可能是伤痕。所以,基于像素灰度均值确定疑似伤痕区域还可以包括以下方式:
判断每个区域内的每个有效像素点的像素灰度值与对应的像素灰度均值的差值是否超过预设阈值,若是,则确定对应的有效像素点为疑似伤痕点,然后基于疑似伤痕点所在的像素位置确定疑似伤痕区域。
例如,针对某个区域,获得该区域中每个有效像素点的像素灰度值后,将每个像素灰度值均与该区域的像素灰度均值进行做差运算,获得相应的差值,如某个有效像素点的像素灰度值为100,该区域的像素灰度均值为80,则其差值为20,若预设阈值为15,此时,该差值超过预设阈值,表示该有效像素点为疑似伤痕点。
按照该方式,可确定每个区域内的疑似伤痕点,作为一种实现方式,可将这些疑似伤痕点所在的像素位置所组成的区域作为疑似伤痕区域,即该疑似伤痕区域包括各个疑似伤痕点所在的像素位置,如图4所示。
在上述实现过程中,通过先确定每个区域内的疑似伤痕点,则再基于疑似伤痕点所在的像素位置可更加准确且细分出疑似伤痕区域。
由于可能一些疑似伤痕区域相对比较靠近,所以,可以将这些疑似伤痕区域进行融合,并且可以将密集分布的离散疑似伤痕点作为视为一整个区域都作为疑似伤痕区域,这样在基于疑似伤痕点所在的像素位置确定疑似伤痕区域还可以有如下实现方式:
对各个疑似伤痕点进行膨胀与腐蚀的形态学操作,以基于各个疑似伤痕点所在的像素位置将各个疑似伤痕点距离为多个疑似伤痕块,然后确定每个疑似伤痕块的最小外接矩形,并将最小外接矩形所确定的矩形区域确定为疑似伤痕区域。
其中,形态学操作实际上就是改变物体的性质,如膨胀就是求局部最大值的操作,腐蚀就是求局部最小值的操作。通常这两个操作是按顺序执行的,即先对图像进行膨胀操作,再进行腐蚀操作,从而可以增强每个区域中的伤痕特征,对于这两个操作的具体实现过程在此不详细描述。
通过上述的形态学操作,则可将疑似伤痕点连接相邻的像素点以及相邻的疑似伤痕点,从而使得每个区域内的各个疑似伤痕点进行聚类以形成多个疑似伤痕块。
在确定多个疑似伤痕块后,确定其最小外接矩形时,可以针对每个疑似伤痕块,计算该疑似伤痕块内所有像素点的横坐标最大值和最小值,以及所有像素点的纵坐标的最大值和最小值,然后将横坐标最小值作为最小外接矩形的左边框上的一点,将横坐标最大值作为最小外接矩形的右边框上的一点,将纵坐标最大值作为最小外接矩形的上边框上的一点,将纵坐标最小值作为最小外接矩形的下边框上的一点,如此可针对每个疑似伤痕块均确定一个最小外接矩形,该最小外接矩形所确定的矩形区域即作为疑似伤痕区域,如图5所示。
这种方式,即可以将每个区域更加细分为多个疑似伤痕区域,从而可将每个疑似伤痕区域均输入神经网络模型中,以利用神经网络模型针对不同的疑似伤痕区域分别进行伤痕类别检测,使得可以提高后续对水果品质分类的准确性。
在上述实现过程中,通过对疑似伤痕点进行形态学操作,则可将疑似伤痕点连接相邻的像素点以及相邻的疑似伤痕点,从而可以将每个区域更加细分为多个疑似伤痕区域,便于提高后续利用神经网络模型对伤痕类别检测的准确性。
另外,参与水果品质分类的因素还有其他品质分类参数,作为一种实施方式,其他品质分类参数可以包括但不限于:目标水果的果径、目标水果的果形、目标水果的果面像素的平均色调、目标水果的针对预设颜色的着色比例中的至少一种。
以苹果为例,下面针对每种品质分类参数的获取方式进行说明。
(1)目标水果的果径:为了准确计算苹果的果径,则在获得苹果的IR图像后,可对IR图像进行二值化处理,以分离出背景和苹果图像。
其果径的计算过程可以为:对每张IR图像,从图像左上角0点开始自上到下,从左到右扫描,扫描线上每个果面像素增加1扫描积分,积分最高的横向扫描线为横直径,记为H,积分最高的纵向扫描线为纵直径,记为V,像素积分H和V分别乘以物理映射系数X,则可以计算出苹果的物理果径长度。
例如,其果径的计算方式示意图可如图6所示,a1为待测苹果图像,图像宽为W,高为H,图像a2中积分轴开始为x=0,细线为积分参与像素,积分路径上没有经过苹果,则积分结果为0。积分轴逐步右移,到图像a3是积分轴为x=6,此时积分路径穿过苹果像素,每穿过一个像素,积分加1,则此次积分结果为12。积分轴继续右移,最大积分数依次更新,图像a4中,积分轴移到x=W/2附近时,积分路径横穿苹果,此时积分路径上有96个像素,此时积分结果为96,积分达到最大值,在积分轴继续向右移动过程中,如图像a5,积分最大值不再更新,直到积分轴低到x=W处时完成最后一次扫描,表示积分过程完成,则可确定苹果的纵直径为96个像素。
通过标定运算,已知纵直径103像素的苹果实际物理尺寸为78.6mm,单像素映射尺寸为0.7631mm(即为上述的物理映射系数),则本次检测苹果的纵直径为0.7631*96=73.256mm。
按照同样的方式,也可以计算出苹果的横直径,为了避免重复描述,对于横直径的计算过程则不再详细描述。
(2)目标水果的果形:在计算出上述苹果的横直径和纵直径后,其苹果的果形可以用横直径与纵直径的比值来表示,用于表征苹果是圆形或长性等形状。
(3)目标水果的果面像素的平均色调:采集目标水果各个角度的RGB图像,将RGB图像转换为HSI图像,基于HSI图像中各个像素点的颜色分量确定目标水果的果面像素的平均色调。
其中,可以利用上述采集IR图像的摄像头来同时采集RGB图像,若是采用另外的摄像头来采集RGB图像,而由于两个摄像头的相机参数不一致而带来的成像偏差可以通过图像处理技术进行修正。
另外,将RGB图像转换为HSI图像的具体实现过程可参照现有的相关实现过程,在此不过多描述。在获得HSI图像后,可在HSI颜色空间下获得图像中每一个像素点的色度值,然后对其求平均即可获得平均色调,计算方式如下:
其中,n表示图像中苹果的像素点个数,Hi表示每个像素点的色度值,H则表示平均色调。
(4)目标水果针对预设颜色的着色比例:针对苹果而言,其预设颜色可以是红色,则可将红色的着色比例作为评价苹果的品质分类参数。其着色比例获得方式可以为:基于HSI图像中各个像素点的颜色分量确定预设颜色的像素点个数,基于预设颜色的像素点个数确定预设颜色的着色比例。
例如,可以从HSI图像中获取每个像素点的颜色分量,然后从中确定出红色分量的像素点个数,则其着色比例为红色分量的像素点个数与总像素点个数的百分比。
可以理解地,上述的其他品质分类参数还可以包括其他参数,如糖分含量、水分含量等,在实际应用中,可以根据需求设置不同的品质分类参数来对水果进行品质分类。
另外,为了提供伤痕类别识别的准确性,还可以基于上述获得的RGB图像检测目标水果的疑似伤痕区域,其检测方式与上述基于IR图像进行识别的方式类似,在此不重复赘述。这样可将两种图像获得的疑似伤痕区域均输入神经网络模型中进行伤痕类别识别,以进一步提高神经网络模型的识别精度。
或者,可以先基于IR图像识别出疑似伤痕区域,然后在对应的RGB图像中同样的坐标区域内把疑似伤痕区域分割出来,然后将RGB图像中分割出来的疑似伤痕区域输入神经网络模型中进行伤痕类别识别,这样可以基于RGB图像对伤痕类别进行识别,而IR图像用于辅助定位疑似伤痕区域,从而可避免RGB图像中由于颜色纹理信息干扰而使得疑似伤痕区域定位不准确的问题。
请参照图7,图7为本申请实施例提供的一种水果品质分类装置200的结构框图,该装置200可以是电子设备上的模块、程序段或代码。应理解,该装置200与上述图2方法实施例对应,能够执行图2方法实施例涉及的各个步骤,该装置200具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。
可选地,所述装置200包括:
图像采集模块210,用于采集目标水果各个角度的IR图像;
伤痕区域检测模块220,用于基于所述IR图像对所述目标水果进行伤痕检测,确定所述目标水果的疑似伤痕区域;
伤痕类别检测模块230,用于通过神经网络模型对所述疑似伤痕区域进行识别,确定疑似伤痕所属的伤痕类别;
品质分类模块240,用于基于所述伤痕类别以及针对所述目标水果的其他品质分类参数信息对所述目标水果进行品质分类。
可选地,所述伤痕区域检测模块220,用于将所述IR图像分割为多个区域;对每个区域进行有效像素点统计,所述有效像素点用于描述所述目标水果的果面信息;基于针对每个区域的有效像素点的统计结果,确定疑似伤痕区域。
可选地,所述伤痕区域检测模块220,用于判断每个区域内的有效像素点的数量的占比是否超过预设值;若是,则获取每个区域内的有效像素点的像素灰度值;根据每个区域内的有效像素点的像素灰度值,获取每个区域内的有效像素点的像素灰度均值;基于每个区域内对应的像素灰度均值,确定疑似伤痕区域。
可选地,所述伤痕区域检测模块220,用于判断每个区域内的每个有效像素点的像素灰度值与对应的像素灰度均值的差值是否超过预设阈值;若是,则确定对应的有效像素点为疑似伤痕点;基于所述疑似伤痕点所在的像素位置确定疑似伤痕区域。
可选地,所述伤痕区域检测模块220,用于对各个所述疑似伤痕点进行膨胀与腐蚀的形态学操作,以基于各个疑似伤痕点所在的像素位置将各个疑似伤痕点聚类为多个疑似伤痕块;确定每个疑似伤痕块的最小外接矩形,并将所述最小外接矩形所确定的矩形区域确定为所述疑似伤痕区域。
可选地,所述其他品质分类参数包括:所述目标水果的果径、所述目标水果的果形、所述目标水果的果面像素的平均色调、所述目标水果的针对预设颜色的着色比例中的至少一种。
可选地,通过如下方式获取所述目标水果的果面像素的平均色调以及所述目标水果的针对预设颜色的着色比例:
采集所述目标水果各个角度的RGB图像;
将所述RGB图像转换为HSI图像;
基于所述HSI图像中各个像素点的颜色分量确定所述目标水果的果面像素的平均色调;以及基于所述HSI图像中各个像素点的颜色分量确定所述预设颜色的像素点个数;基于所述预设颜色的像素点个数确定所述预设颜色的着色比例。
本申请实施例提供一种可读存储介质,所述计算机程序被处理器执行时,执行如图2所示方法实施例中电子设备所执行的方法过程。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如,包括:采集目标水果各个角度的IR图像;基于所述IR图像对所述目标水果进行伤痕检测,确定所述目标水果的疑似伤痕区域;通过神经网络模型对所述疑似伤痕区域进行识别,确定疑似伤痕所属的伤痕类别;基于所述伤痕类别以及针对所述目标水果的其他品质分类参数信息对所述目标水果进行品质分类。
综上所述,本申请实施例提供一种水果品质分类方法、装置、电子设备及可读存储介质,通过基于IR图像识别出目标水果的疑似伤痕区域,然后利用神经网络模型对疑似伤痕区域进一步进行伤痕类别检测,从而可以实现更加细粒度的伤痕识别,再结合其他品质分类参数可对目标水果实现更准确地品质分类,并且,无需采用人工进行分拣,有效提高了水果品质分类的效率。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种水果品质分类方法,其特征在于,所述方法包括:
采集目标水果各个角度的IR图像;
基于所述IR图像对所述目标水果进行伤痕检测,确定所述目标水果的疑似伤痕区域;
通过神经网络模型对所述疑似伤痕区域进行识别,确定疑似伤痕所属的伤痕类别;
基于所述伤痕类别以及针对所述目标水果的其他品质分类参数信息对所述目标水果进行品质分类;
其中,所述基于所述IR图像对所述目标水果进行伤痕检测,确定所述目标水果的疑似伤痕区域,包括:
利用采集所述IR图像的摄像头同时采集RGB图像;
基于所述IR图像识别出疑似伤痕区域,并在对应的RGB图像中同样的坐标区域内分割出疑似伤痕区域;以及
所述通过神经网络模型对所述疑似伤痕区域进行识别,确定疑似伤痕所属的伤痕类别,包括:
将从所述RGB图像中分割出的疑似伤痕区域输入所述神经网络模型中识别伤痕类别。
2.根据权利要求1所述的方法,其特征在于,所述基于所述IR图像对所述目标水果进行伤痕检测,确定所述目标水果的疑似伤痕区域,包括:
将所述IR图像分割为多个区域;
对每个区域进行有效像素点统计,所述有效像素点用于描述所述目标水果的果面信息;
基于针对每个区域的有效像素点的统计结果,确定疑似伤痕区域。
3.根据权利要求2所述的方法,其特征在于,所述基于针对每个区域的有效像素点的统计结果,确定疑似伤痕区域,包括:
判断每个区域内的有效像素点的数量的占比是否超过预设值;
若是,则获取每个区域内的有效像素点的像素灰度值;
根据每个区域内的有效像素点的像素灰度值,获取每个区域内的有效像素点的像素灰度均值;
基于每个区域内对应的像素灰度均值,确定疑似伤痕区域。
4.根据权利要求3所述的方法,其特征在于,所述基于每个区域内对应的像素灰度均值,确定疑似伤痕区域,包括:
判断每个区域内的每个有效像素点的像素灰度值与对应的像素灰度均值的差值是否超过预设阈值;
若是,则确定对应的有效像素点为疑似伤痕点;
基于所述疑似伤痕点所在的像素位置确定疑似伤痕区域。
5.根据权利要求4所述的方法,其特征在于,所述基于所述疑似伤痕点所在的像素位置确定疑似伤痕区域,包括:
对各个所述疑似伤痕点进行膨胀与腐蚀的形态学操作,以基于各个疑似伤痕点所在的像素位置将各个疑似伤痕点聚类为多个疑似伤痕块;
确定每个疑似伤痕块的最小外接矩形,并将所述最小外接矩形所确定的矩形区域确定为所述疑似伤痕区域。
6.根据权利要求1-5任一所述的方法,其特征在于,所述其他品质分类参数包括:所述目标水果的果径、所述目标水果的果形、所述目标水果的果面像素的平均色调、所述目标水果的针对预设颜色的着色比例中的至少一种。
7.根据权利要求6所述的方法,其特征在于,通过如下方式获取所述目标水果的果面像素的平均色调以及所述目标水果的针对预设颜色的着色比例:
采集所述目标水果各个角度的RGB图像;
将所述RGB图像转换为HSI图像;
基于所述HSI图像中各个像素点的颜色分量确定所述目标水果的果面像素的平均色调;以及
基于所述HSI图像中各个像素点的颜色分量确定所述预设颜色的像素点个数;
基于所述预设颜色的像素点个数确定所述预设颜色的着色比例。
8.一种水果品质分类装置,其特征在于,所述装置包括:
图像采集模块,用于采集目标水果各个角度的IR图像;
伤痕区域检测模块,用于基于所述IR图像对所述目标水果进行伤痕检测,确定所述目标水果的疑似伤痕区域;所述基于所述IR图像对所述目标水果进行伤痕检测,确定所述目标水果的疑似伤痕区域,包括:利用采集所述IR图像的摄像头同时采集RGB图像;基于所述IR图像识别出疑似伤痕区域,并在对应的RGB图像中同样的坐标区域内分割出疑似伤痕区域;
伤痕类别检测模块,用于通过神经网络模型对所述疑似伤痕区域进行识别,确定疑似伤痕所属的伤痕类别;所述通过神经网络模型对所述疑似伤痕区域进行识别,确定疑似伤痕所属的伤痕类别,包括:将从所述RGB图像中分割出的疑似伤痕区域输入所述神经网络模型中识别伤痕类别;
品质分类模块,用于基于所述伤痕类别以及针对所述目标水果的其他品质分类参数信息对所述目标水果进行品质分类。
9.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-7任一所述的方法。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1-7任一所述的方法。
CN202010623491.0A 2020-06-30 2020-06-30 水果品质分类方法、装置、电子设备及可读存储介质 Active CN111753794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010623491.0A CN111753794B (zh) 2020-06-30 2020-06-30 水果品质分类方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010623491.0A CN111753794B (zh) 2020-06-30 2020-06-30 水果品质分类方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111753794A CN111753794A (zh) 2020-10-09
CN111753794B true CN111753794B (zh) 2024-02-27

Family

ID=72680334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010623491.0A Active CN111753794B (zh) 2020-06-30 2020-06-30 水果品质分类方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111753794B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560896A (zh) * 2020-11-19 2021-03-26 安徽理工大学 一种基于图像处理的水果品质筛选分类系统
CN113643287B (zh) * 2021-10-13 2022-03-01 深圳市巨力方视觉技术有限公司 水果的分拣方法、装置和计算机可读存储介质
CN114444622B (zh) * 2022-04-11 2022-06-17 中国科学院微电子研究所 一种基于神经网络模型的水果检测系统和方法
CN114882299B (zh) * 2022-07-11 2022-11-15 深圳市信润富联数字科技有限公司 水果分类方法、装置、采摘设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789005A (zh) * 2010-01-22 2010-07-28 深圳创维数字技术股份有限公司 一种基于感兴趣区域的图像检索方法
WO2019000653A1 (zh) * 2017-06-30 2019-01-03 清华大学深圳研究生院 一种图像目标识别方法及装置
CN109472788A (zh) * 2018-11-20 2019-03-15 成都信息工程大学 一种飞机铆钉表面的伤痕检测方法
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备
CN110276386A (zh) * 2019-06-11 2019-09-24 济南大学 一种基于机器视觉的苹果分级方法及系统
CN111161237A (zh) * 2019-12-27 2020-05-15 中山德著智能科技有限公司 一种果蔬表面质检方法及其储存介质、分拣装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8014569B2 (en) * 2006-10-30 2011-09-06 The Regents Of The University Of California Method and apparatus for performing qualitative and quantitative analysis of produce (fruit, vegetables) using spatially structured illumination
TWI778078B (zh) * 2017-06-14 2022-09-21 以色列商肯提克有限公司 用於自動缺陷分類之方法及系統以及相關非暫時性電腦程式產品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789005A (zh) * 2010-01-22 2010-07-28 深圳创维数字技术股份有限公司 一种基于感兴趣区域的图像检索方法
WO2019000653A1 (zh) * 2017-06-30 2019-01-03 清华大学深圳研究生院 一种图像目标识别方法及装置
CN109472788A (zh) * 2018-11-20 2019-03-15 成都信息工程大学 一种飞机铆钉表面的伤痕检测方法
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备
CN110276386A (zh) * 2019-06-11 2019-09-24 济南大学 一种基于机器视觉的苹果分级方法及系统
CN111161237A (zh) * 2019-12-27 2020-05-15 中山德著智能科技有限公司 一种果蔬表面质检方法及其储存介质、分拣装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于数字图像处理的苹果表面缺陷分类方法;刘禾, 汪懋华;农业工程学报(第06期);138-140 *

Also Published As

Publication number Publication date
CN111753794A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN111753794B (zh) 水果品质分类方法、装置、电子设备及可读存储介质
CN115082419B (zh) 一种吹塑箱包生产缺陷检测方法
CN109870461B (zh) 一种电子元器件质量检测系统
CN115239704B (zh) 一种木材表面缺陷的精准检测修复方法
Blasco et al. Recognition and classification of external skin damage in citrus fruits using multispectral data and morphological features
CN114937055A (zh) 基于人工智能的图像自适应分割方法与系统
CN114419025A (zh) 一种基于图像处理的纤维板质量评估方法
CN104268505A (zh) 基于机器视觉的布匹疵点自动检测识别装置及方法
CN115170576A (zh) 基于机器视觉的铝管表面缺陷检测方法
CN111738342A (zh) 一种受电弓异物检测方法、存储介质及计算机设备
CN103543394A (zh) 一种高压电气设备放电紫外成像量化参数提取方法
CN115100206B (zh) 用于具有周期图案纺织物的印花缺陷识别方法
CN109934216B (zh) 图像处理的方法、装置、计算机可读存储介质
CN109376740A (zh) 一种基于视频的水尺读数检测方法
US11315229B2 (en) Method for training defect detector
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN110880175A (zh) 一种焊点缺陷检测方法、系统以及设备
CN108171098B (zh) 一种条码检测方法及设备
CN111383244A (zh) 一种目标检测跟踪方法
CN115457037A (zh) 一种用于阿胶制品生产的原材料质检方法
CN115171218A (zh) 一种基于图像识别技术的物资送样异常行为识别系统
CN115471476A (zh) 一种部件缺陷检测方法、装置、设备及介质
CN117152161B (zh) 一种基于图像识别的刨花板质量检测方法及系统
US11176419B1 (en) Method for labeling image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant