CN115728382A - 水果成熟度检测方法、装置、设备及存储介质 - Google Patents

水果成熟度检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115728382A
CN115728382A CN202111019373.XA CN202111019373A CN115728382A CN 115728382 A CN115728382 A CN 115728382A CN 202111019373 A CN202111019373 A CN 202111019373A CN 115728382 A CN115728382 A CN 115728382A
Authority
CN
China
Prior art keywords
fruit
knocking
audio
audio data
maturity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111019373.XA
Other languages
English (en)
Inventor
杨永健
曹志宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Hualing Co Ltd
Midea Group Co Ltd
Hefei Midea Refrigerator Co Ltd
Original Assignee
Hefei Hualing Co Ltd
Midea Group Co Ltd
Hefei Midea Refrigerator Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Hualing Co Ltd, Midea Group Co Ltd, Hefei Midea Refrigerator Co Ltd filed Critical Hefei Hualing Co Ltd
Priority to CN202111019373.XA priority Critical patent/CN115728382A/zh
Priority to PCT/CN2021/141480 priority patent/WO2023029311A1/zh
Publication of CN115728382A publication Critical patent/CN115728382A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/12—Analysing solids by measuring frequency or resonance of acoustic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor

Landscapes

  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

本发明公开了一种水果成熟度检测方法、装置、设备及存储介质，属于计算机技术领域。本发明通过获取待检测水果对应的敲击音频数据，并获取所述待检测水果的水果种类；按照预设时间窗口从所述敲击音频数据中截取相应的敲击音频片段；从截取到的敲击音频片段中提取待检测水果对应的敲击音频特征；根据所述水果种类确定相应的成熟度检测模型；以及根据所述敲击音频特征通过所述成熟度检测模型检测所述待检测水果的成熟度，基于音频数据检测水果的成熟度无需借助较高的计算能力，并且基于时间窗口所提取到音频特征能够提高成熟度检测的精度。

Description

水果成熟度检测方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种水果成熟度检测方法、装置、设备及存储介质。
背景技术
当前常应用于农业的水果成熟度检测方法需要专业的大型仪器和设备，成本高且使用不便；而应用于生活中的已有技术是结合图像及敲击音频，通过深度学习的方法建立模型，此种方法涉及图像及敲击音频对计算能力需求高，建模过程是黑箱的问题，既不便于快速开发和实现，检测精度也不高。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种水果成熟度检测方法、装置、设备及存储介质，旨在解决现有技术检测开发与实现较为复杂且检测精度不高的技术问题。
为实现上述目的，本发明提供了一种水果成熟度检测方法，所述水果成熟度检测方法包括以下步骤：
按照预设时间窗口从所述敲击音频数据中截取相应的敲击音频片段；
从截取到的敲击音频片段中提取待检测水果对应的敲击音频特征；
根据所述水果种类确定相应的成熟度检测模型；以及
根据所述敲击音频特征通过所述成熟度检测模型检测所述待检测水果的成熟度。
可选地，所述所述根据所述水果种类确定相应的成熟度检测模型之前，还包括：
获取所述水果种类对应的音频数据；
根据所述音频数据构建训练样本数据集；以及
根据所述训练样本数据集对预设机器学习模型进行训练，以得到成熟度检测模型。
可选地，所述根据所述音频数据构建训练样本数据集，包括：
对所述音频数据进行人声分离，以得到敲击音频数据；
基于所述敲击音频数据对应的标签对所述敲击音频数据进行划分，以得到成熟水果敲击音频数据和生水果敲击音频数据；
将所述生水果敲击音频数据作为负样本数据集，将所述成熟水果敲击音频数据作为正样本数据集；以及
根据所述负样本数据集和所述正样本数据集构建训练样本数据集。
可选地，所述根据所述训练样本数据集对预设机器学习模型进行训练，以得到成熟度检测模型，包括：
按照预设时间窗口从所述负样本数据集中获取生水果敲击音频片段，以及从所述正样本数据集中获取熟水果敲击音频片段；
从所述生水果敲击音频片段中提取生水果敲击音频特征，以及从所述熟水果敲击音频片段提取熟水果敲击音频特征；
根据所述生水果敲击音频特征和所述熟水果敲击音频特征对应的特征向量对预设机器学习模型的模型参数进行调整，以得到目标模型参数；以及
将所述目标模型参数输入至所述预设机器学习模型，以得到成熟度检测模型。
可选地，所述所述按照预设时间窗口从所述敲击音频数据中截取相应的敲击音频片段，包括：
获取所述敲击音频数据对应的音频片段的起始时刻；
根据所述起始时刻和预设时间窗口确定目标结束时刻；以及
按照所述起始时刻和所述目标结束时刻从所述音频片段中截取相应的敲击音频片段。
可选地，所述获取待检测水果对应的敲击音频数据，包括：
获取待检测水果在多个时刻的参考敲击音频数据；以及
从多个所述时刻的参考敲击音频数据中筛选出符合预设采样频率的参考敲击音频数据，将所述符合预设采样频率的参考敲击音频数据作为所述待检测水果对应的敲击音频数据。
可选地，所述根据所述敲击音频特征通过所述成熟度检测模型检测所述待检测水果的成熟度之后，还包括：
根据检测的成熟度生成所述待检测水果的成熟度分值；以及
对所述成熟度分值进行展示。
此外，为实现上述目的，本发明还提出一种水果成熟度检测装置，所述水果成熟度检测装置包括：
获取模块，用于获取待检测水果对应的敲击音频数据，并获取所述待检测水果的水果种类；
截取模块，用于按照预设时间窗口从所述敲击音频数据中截取相应的敲击音频片段；
提取模块，用于从截取到的敲击音频片段中提取待检测水果对应的敲击音频特征；
构建模块，用于根据所述水果种类确定相应的成熟度检测模型；以及
检测模块，用于根据所述敲击音频特征通过所述成熟度检测模型检测所述待检测水果的成熟度。
此外，为实现上述目的，本发明还提出一种水果成熟度检测设备，所述水果成熟度检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的水果成熟度检测程序，所述水果成熟度检测程序配置为实现如上文所述的水果成熟度检测方法。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有水果成熟度检测程序，所述水果成熟度检测程序被处理器执行时实现如上文所述的水果成熟度检测方法。
本发明通过获取待检测水果对应的敲击音频数据，并获取所述待检测水果的水果种类；按照预设时间窗口从所述敲击音频数据中截取相应的敲击音频片段；从截取到的敲击音频片段中提取待检测水果对应的敲击音频特征；根据所述水果种类确定相应的成熟度检测模型；以及根据所述敲击音频特征通过所述成熟度检测模型检测所述待检测水果的成熟度，基于音频数据检测水果的成熟度无需借助较高的计算能力，并且基于时间窗口所提取到音频特征能够提高成熟度检测的精度。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的水果成熟度检测设备的结构示意图；
图2为本发明水果成熟度检测方法第一实施例的流程示意图；
图3为本发明水果成熟度检测方法一实施例中音频片段截取示意图；
图4为本发明水果成熟度检测方法第二实施例的流程示意图；
图5为本发明水果成熟度检测方法一实施例中未进行人声去除的原始音频示意图；
图6为本发明水果成熟度检测方法一实施例中进行人声去除的敲击音频示意图；
图7为本发明水果成熟度检测方法第三实施例的流程示意图；
图8为本发明水果成熟度检测方法一实施例中成熟度分值展示的示意图；
图9为本发明水果成熟度检测装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的水果成熟度检测设备结构示意图。
如图1所示，该水果成熟度检测设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对水果成熟度检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及水果成熟度检测程序。
在图1所示的水果成熟度检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明水果成熟度检测设备中的处理器1001、存储器1005可以设置在水果成熟度检测设备中，所述水果成熟度检测设备通过处理器1001调用存储器1005中存储的水果成熟度检测程序，并执行本发明实施例提供的水果成熟度检测方法。
本发明实施例提供了一种水果成熟度检测方法，参照图2，图2为本发明一种水果成熟度检测方法第一实施例的流程示意图。
本实施例中，所述水果成熟度检测方法包括以下步骤：
步骤S10：获取待检测水果对应的敲击音频数据，并获取所述待检测水果的水果种类。
在本实施例中，本实施例的执行主体可以是水果成熟度检测设备，水果成熟度检测设备可以是个人电脑或服务器等电子设备，还可以为其他可实现相同或相似功能的控制器，本实施例对此不加以限制，在本实施例及下述各实施例中，以水果成熟度检测设备为例对本发明水果成熟度检测方法进行说明。
需要说明的是，待检测水果为需要进行成熟度检测的水果，待检测水果可以为西瓜或香瓜等可以通过敲击判断成熟度的水果，现有技术中是通过摄像装置获取待检测水果的图像信息，以及拾音设备获取待检测水果的敲击声，结合图像信息和敲击声对待检测水果进行成熟度检测，现有技术中需要将图像信息与敲击声进行结合，所采取的是需要较高计算能力的深度学习模型，并且主要以图像信息为主，通过图像信息中所包含的待检测水果的颜色、体积大小以及纹路等图像特征确定待检测水果的成熟度，计算要求较高，并且以图像信息为主的检测方式所得到的成熟度检测结果不够准确。本实施例中在对待检测水果进行成熟度检测时，无需获取待检测水果的图像信息，通过获取到的待检测水果对应的敲击声即可实现成熟度检测，通过敲击声进行的成熟度检测精确度较高，并且由于不涉及图像信息的处理，大大降低了对模型计算能力的需求。
在具体实施中，以水果成熟度检测设备为移动终端为例进行说明，移动终端包括手机或平板等设备，移动终端中安装有应用程序，用户通过操作该应用程序开启移动终端的录音功能，在用户或其他人对待检测水果进行敲击时，通过移动终端的录音功能获取相应的敲击音频数据，在获取到敲击音频数据之后关闭移动终端的录音功能，其中，录音功能的开启时长可以根据实际检测需求进行相应地设置，本实施例中对此不加以限制。进一步地，在获取敲击音频数据之后，根据用户所输入的水果信息确定待检测水果对应的水果种类，例如西瓜或香瓜等。此外，本实施例中还可以为了简化用户的操作，通过应用程序开启移动终端摄像头，利用摄像头拍摄待检测水果的图像信息，基于图像信息中所包含的待检测水果的纹路特征和颜色特征确定待检测水果的种类，具体方式可以根据检测需求进行相应地选择，本实施例中对此不加以限制。
需要说明的是，所采集的水果敲击声会受到多种因素的影响，即使对于同一个水果来说，如果敲击的力度、敲击的手法以及敲击的部位不同，所采集到的敲击声音都会不同。并且，不同移动终端之间的录音元件或系统设定有所不同，采集的音频参数也会有所区别，因此需要对所有采集的音频进行再采样，统一至相同的采样率。本实施例中为了筛选出同一采样频率的敲击声，提高检测准确性，可以按照如下方式实现。
在具体实现中，先采集若干个待检测水果的敲击音频数据，然后检测各个敲击音频数据对应的时刻并进行相应的时刻标记，从而得到多个时刻下待检测水果的参考敲击音频数据，该时刻为接收到音频数据的时刻，然后按照预设采样频率筛选出处于同一采样频率下的时刻，例如假设预设频率为T，获取到T0时刻、T1时刻、T2时刻以及T3时刻的参考敲击音频，又假设T1-T0＝T，T2-T1小于T，T3-T2小于T，T3-T1＝T，可以得到T0时刻、T1时刻以及T3时刻处于同一采样频率，T0时刻、T1时刻以及T3时刻对应的参考音频数据即可作为待检测水果的音频数据。最后将处于同一采样频率下的时刻所对应的参考敲击音频数据作为待检测水果的敲击音频数据，即可保证所获取到的敲击音频数据处于同一采样频率，其中，预设采样频率可以根据实际音频采样需求进行相应地设置，本实施例中对此不加以限制。
步骤S20：按照预设时间窗口从所述敲击音频数据中截取相应的敲击音频片段。
需要说明的是，音频当中存在次数不等的敲击声，且敲击声所占整个音频的时长较短，在特征提取前需要对音频数据进行分割处理，准确区分出敲击时段，才能正确获取其音频特征。本实施例中按照预设时间窗口进行敲击音频片段的截取，如图3所示，通过预设时间窗口可以截取到生水果敲击音频片段和熟水果敲击音频片段，图3中A和B为预设时间窗口对应的两个时间点，其中，预设时间窗口可以根据实际需求进行相应地设置，本实施例中对此不加以限制。
步骤S30：从截取到的敲击音频片段中提取待检测水果对应的敲击音频特征。
需要说明的是，水果敲击声相对与外界噪声具有短时间内变化快，响度高和周期性弱的特点，因此在时间域上其音频的短时能量、均方根能量、过零率和响度标准差等特征较为显著。而成熟水果因为其水分充沛，敲击声音相较生水果更为沉闷，其频率更低，在频域上其音频的频谱质心、声谱衰减和梅尔频率倒谱系数等特征较为明显，基于敲击音频片段可以提取出上述音频特征。
步骤S40：根据所述水果种类确定相应的成熟度检测模型。
需要说明的是，现有技术中采用深度学习算法建立模型，计算能力需求高，建模过程中存在黑箱问题，本实施例中利用机器学习算法替换现有技术中所采用的深度学习算法。成熟度检测模型是经过大量的样本数据进行训练得到的，不同种类的水果所得到的样本数据是不同的，因此所得到的成熟度检测模型也是不同的，基于水果种类与成熟度检测模型之间的对应关系可以获取到与水果种类匹配的成熟度检测模型，以提高检测的精度。本实施例中成熟度检测模型存储在服务器中，服务器与移动终端通过互联网形式建立通信连接，移动终端在进行成熟度检测时，可从服务器中获取到成熟度检测模型，本实施例中的服务器包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器，其中，云服务器由基于云计算(CloudComputing)的大量计算机或网络服务器构成。
步骤S50：根据所述敲击音频特征通过所述成熟度检测模型检测所述待检测水果的成熟度
在具体实施中，在确定成熟度检测模型和敲击音频数据之后，将敲击音频数据输入至成熟度检测模型中，成熟度检测模型根据输入的敲击音频数据即可输出待检测水果所对应的成熟度。
本实施例通过获取待检测水果对应的敲击音频数据，并获取所述待检测水果的水果种类；按照预设时间窗口从所述敲击音频数据中截取相应的敲击音频片段；从截取到的敲击音频片段中提取待检测水果对应的敲击音频特征；根据所述水果种类确定相应的成熟度检测模型；以及根据所述敲击音频特征通过所述成熟度检测模型检测所述待检测水果的成熟度，基于音频数据检测水果的成熟度无需借助较高的计算能力，并且基于时间窗口所提取到音频特征能够提高成熟度检测的精度。
参考图4，图4为本发明一种水果成熟度检测方法第二实施例的流程示意图。
基于上述第一实施例，本实施例水果成熟度检测方法在所述步骤S40之前，还包括：
步骤S401：获取所述水果种类对应的音频数据。
需要说明的是，在通过成熟度检测模型进行成熟度检测之前，需要先构建相应的成熟度检测模型，而模型的构建需要大量的样本数据，本实施例中通过获取该水果种类所对应的音频数据得到模型构建所需要的样本数据。本实施例中音频数据的获取采取大数据的方式，在获取音频数据时，为保证样本数据之间的差异性，设置水果品种、水果体积大小、敲击者性别、敲击位置及敲击手法等多个变量来进行音频数据的获取，当然，变量的设置也可以根据实际模型构建需求进行相应地调整，本实施例中对此不加以限制。
步骤S402：根据所述音频数据构建训练样本数据集。
需要说明的是，在得到音频数据之后，可以采取对音频数据进行数据整合、划分以及分组的方式对音频数据进行处理，从而得到可以用于模型训练的训练样本数据集。
进一步地，本实施例中为了提高成熟度检测模型的精度，可以按照如下方式构建训练样本数据集。
在具体实现中，水果受到敲击过程中，人声是主要的影响因素，人声的存在会极大程度地影响水果敲击声音的截取及音频特征的提取，对于实际的敲击声音来说，人声相当于加性噪声。因此，在特征提取前需要对音频降噪即人声的分离滤除，分离所采取的方法包括但不限于使用Deezer开源的Spleeter模型，该模型可以将人声和背景声进行分离，敲击音频即为背景乐声，将二者分离后即可达到降噪的目的。如图5，图5为未进行人声过滤的袁术音频数据，通过人声分离之后，可以得到图6所示的音频数据，也即敲击音频数据。
进一步地，在得到敲击音频数据之后，基于敲击音频数据所对应的标签可以将敲击音频数据划分为成熟水果敲击音频数据和生水果敲击音频数据，本实施例中训练样本数据集包括正样本数据集以及负样本数据集，其中，负样本数据集为生水果敲击音频数据，正样本数据集为成熟水果敲击音频数据作为正样本数据集。本实施例中的标签包括水果的颜色、进食的甜度及口感等，标签为用户所设置的，标签的分类设置可以根据实际需求进行调整，本实施例中对此不加以限制。
步骤S403：根据所述训练样本数据集对预设机器学习模型进行训练，以得到成熟度检测模型。
需要说明的是，本实施例中所采用的模型为机器学习模型，预设机器学习模型所采用的模型类型可以根据实际训练需求进行相应地设置，本实施例中对此不加以限制。进一步地，在得到训练样本数据之后，可以利用XGBoost算法来训练预设机器学习模型，XGBoost是一种基于决策树的可扩展监督学习算法，模型的训练包括参数调整，本实施例中可以结合K折交叉验证与网格搜索算法对预设机器学习模型的参数进行调整，模型的生成实际基于Flask框架、Gunicorn HTTP服务器以及Nginx负载均衡，需要强调的是，对于上述算法、框架以及服务器的选择可以根据实际模型构建需求进行相应地调整，本实施例中对此不加以限制。
进一步地，本实施例中为了更加准确地获取敲击音频数据的音频特征，可以按照如下方式实现。
需要说明的是，音频当中存在次数不等的敲击声，且敲击声所占整个音频的时长较短，在特征提取前需要对音频数据进行分割处理，准确区分出敲击时段，才能正确获取其音频特征。本实施例中按照预设时间窗口进行敲击音频片段的截取，如图3所示，通过预设时间窗口可以截取到生水果敲击音频片段和熟水果敲击音频片段，图3中A和B为预设时间窗口对应的两个时间点，然后基于所截取的生水果敲击音频片段和熟水果敲击音频片段可以得到生水果敲击时的敲击音频特征，以及成熟水果敲击时的敲击音频特征，最后构建生敲击音频特征向量和成熟水果敲击音频特征向量，并将生敲击音频特征向量和成熟水果敲击音频特征向量输入至预设机器模型中，以对预设机器模型的模型参数进行调整，调整后得到的目标模型参数作为预设机器学习模型的当前模型参数，即可得到成熟度检测模型。
本实施例通过获取所述水果种类对应的音频数据；根据所述音频数据构建训练样本数据集；根据所述训练样本数据集对预设机器学习模型进行训练，以得到成熟度检测模型，通过对机器学习模型进行训练得到成熟度检测模型，降低了成熟度检测对于计算能力的需求，同时也提高了成熟度检测的准确性。
参考图7，图7为本发明一种水果成熟度检测方法第三实施例的流程示意图。
基于上述第一实施例或第二实施例，提出本发明一种水果成熟度检测方法的第三实施例。
以基于上述第一实施例为例进行说明，本实施例中所述步骤S20包括：
步骤S201：获取所述敲击音频数据对应的音频片段的起始时刻。
步骤S202：根据所述起始时刻和预设时间窗口确定目标结束时刻。
需要说明的是，敲击音频数据中包含有多个音频片段，如图3所示，每个音频片段都具有相应的起始时刻，例如图3中的A点，即为该音频片段的起始时刻，本实施例中为了更准确地获取到敲击音频特征，需要从音频片段中截取出相应的音频片段。容易理解的是，音频片段包括起始时刻和结束时刻，根据起始时刻和结束时刻可以确定该音频片段的时长，不同的时长影响音频特征的提取结果，本实施例中将预设时间窗口作为敲击音频片段对应的时长，将起始时刻加上预设时间窗口可以得到敲击音频片段对应的结束时刻，即目标结束时刻，其中，预设时间窗口可以根据实际需求进行相应地设置，本实施例中对此不加以限制。
步骤S203：按照所述起始时刻和所述目标结束时刻从所述音频片段中截取相应的敲击音频片段。
在具体实施中，如图3所示，以图3为例进行说明，根据A点对应的起始时刻，然后结合预设时间窗口可以确定目标结束时刻，也即B点对应的结束时刻，然后按照A点对应的起始时刻和B点对应的结束时刻可以截取出AB敲击音频片段。
进一步地，本实施例中所述步骤S50之后还包括：
步骤S60：根据检测的成熟度生成所述待检测水果的成熟度分值。
步骤S70：对所述成熟度分值进行展示。
在具体实施中，本实施例中在检测到待检测水果为成熟水果还是生水果之后，还能够根据待检测水果的成熟度确定相应的成熟度分值，为了使用户更加直观了解到水果的成熟情况以及成熟品质等，本实施例中通过图形化的方式将成熟度分值展示给用户，如图8所示。
本实施例通过获取所述敲击音频数据对应的音频片段的起始时刻，根据所述起始时刻和预设时间窗口确定目标结束时刻，按照所述起始时刻和所述目标结束时刻从所述音频片段中截取相应的敲击音频片段，能够基于预设时间窗口获取准确的敲击音频片段，提高成熟度检测的准确性，同时还能够通过评分直观展示出水果的成熟情况以及相应的成熟品质，提高用户体验。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有水果成熟度检测程序，所述水果成熟度检测程序被处理器执行时实现如上文所述的水果成熟度检测方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
参照图9，图9为本发明水果成熟度检测装置第一实施例的结构框图。
如图9所示，本发明实施例提出的水果成熟度检测装置包括：
获取模块10，用于获取待检测水果对应的敲击音频数据，并获取所述待检测水果的水果种类。
在本实施例中，本实施例的执行主体可以是水果成熟度检测装置，水果成熟度检测装置可以是个人电脑或服务器等电子设备，还可以为其他可实现相同或相似功能的控制器，本实施例对此不加以限制，在本实施例及下述各实施例中，以水果成熟度检测装置为例对本发明水果成熟度检测方法进行说明。
需要说明的是，待检测水果为需要进行成熟度检测的水果，待检测水果可以为西瓜或香瓜等可以通过敲击判断成熟度的水果，现有技术中是通过摄像装置获取待检测水果的图像信息，以及拾音设备获取待检测水果的敲击声，结合图像信息和敲击声对待检测水果进行成熟度检测，现有技术中需要将图像信息与敲击声进行结合，所采取的是需要较高计算能力的深度学习模型，并且主要以图像信息为主，通过图像信息中所包含的待检测水果的颜色、体积大小以及纹路等图像特征确定待检测水果的成熟度，计算要求较高，并且以图像信息为主的检测方式所得到的成熟度检测结果不够准确。本实施例中在对待检测水果进行成熟度检测时，无需获取待检测水果的图像信息，通过获取到的待检测水果对应的敲击声即可实现成熟度检测，通过敲击声进行的成熟度检测精确度较高，并且由于不涉及图像信息的处理，大大降低了对模型计算能力的需求。
在具体实施中，以水果成熟度检测设备为移动终端为例进行说明，移动终端包括手机或平板等设备，移动终端中安装有应用程序，用户通过操作该应用程序开启移动终端的录音功能，在用户或其他人对待检测水果进行敲击时，通过移动终端的录音功能获取相应的敲击音频数据，在获取到敲击音频数据之后关闭移动终端的录音功能，其中，录音功能的开启时长可以根据实际检测需求进行相应地设置，本实施例中对此不加以限制。进一步地，在获取敲击音频数据之后，根据用户所输入的水果信息确定待检测水果对应的水果种类，例如西瓜或香瓜等。此外，本实施例中还可以为了简化用户的操作，通过应用程序开启移动终端摄像头，利用摄像头拍摄待检测水果的图像信息，基于图像信息中所包含的待检测水果的纹路特征和颜色特征确定待检测水果的种类，具体方式可以根据检测需求进行相应地选择，本实施例中对此不加以限制。
需要说明的是，所采集的水果敲击声会受到多种因素的影响，即使对于同一个水果来说，如果敲击的力度、敲击的手法以及敲击的部位不同，所采集到的敲击声音都会不同。并且，不同移动终端之间的录音元件或系统设定有所不同，采集的音频参数也会有所区别，因此需要对所有采集的音频进行再采样，统一至相同的采样率。本实施例中为了筛选出同一采样频率的敲击声，提高检测准确性，可以按照如下方式实现。
在具体实现中，先采集若干个待检测水果的敲击音频数据，然后检测各个敲击音频数据对应的时刻并进行相应的时刻标记，从而得到多个时刻下待检测水果的参考敲击音频数据，该时刻为接收到音频数据的时刻，然后按照预设采样频率筛选出处于同一采样频率下的时刻，例如假设预设频率为T，获取到T0时刻、T1时刻、T2时刻以及T3时刻的参考敲击音频，又假设T1-T0＝T，T2-T1小于T，T3-T2小于T，T3-T1＝T，可以得到T0时刻、T1时刻以及T3时刻处于同一采样频率，T0时刻、T1时刻以及T3时刻对应的参考音频数据即可作为待检测水果的音频数据。最后将处于同一采样频率下的时刻所对应的参考敲击音频数据作为待检测水果的敲击音频数据，即可保证所获取到的敲击音频数据处于同一采样频率，其中，预设采样频率可以根据实际音频采样需求进行相应地设置，本实施例中对此不加以限制。
截取模块20，用于按照预设时间窗口从所述敲击音频数据中截取相应的敲击音频片段。
需要说明的是，音频当中存在次数不等的敲击声，且敲击声所占整个音频的时长较短，在特征提取前需要对音频数据进行分割处理，准确区分出敲击时段，才能正确获取其音频特征。本实施例中按照预设时间窗口进行敲击音频片段的截取，如图3所示，通过预设时间窗口可以截取到生水果敲击音频片段和熟水果敲击音频片段，图3中A和B为预设时间窗口对应的两个时间点，其中，预设时间窗口可以根据实际需求进行相应地设置，本实施例中对此不加以限制。
提取模块30，用于用于从截取到的敲击音频片段中提取待检测水果对应的敲击音频特征。
需要说明的是，水果敲击声相对与外界噪声具有短时间内变化快，响度高和周期性弱的特点，因此在时间域上其音频的短时能量、均方根能量、过零率和响度标准差等特征较为显著。而成熟水果因为其水分充沛，敲击声音相较生水果更为沉闷，其频率更低，在频域上其音频的频谱质心、声谱衰减和梅尔频率倒谱系数等特征较为明显，基于敲击音频片段可以提取出上述音频特征。
构建模块40，用于根据所述水果种类确定相应的成熟度检测模型。
需要说明的是，现有技术中采用深度学习算法建立模型，计算能力需求高，建模过程中存在黑箱问题，本实施例中利用机器学习算法替换现有技术中所采用的深度学习算法。成熟度检测模型是经过大量的样本数据进行训练得到的，不同种类的水果所得到的样本数据是不同的，因此所得到的成熟度检测模型也是不同的，基于水果种类与成熟度检测模型之间的对应关系可以获取到与水果种类匹配的成熟度检测模型，以提高检测的精度。本实施例中成熟度检测模型存储在服务器中，服务器与移动终端通过互联网形式建立通信连接，移动终端在进行成熟度检测时，可从服务器中获取到成熟度检测模型，本实施例中的服务器包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器，其中，云服务器由基于云计算(CloudComputing)的大量计算机或网络服务器构成。
检测模块50，用于根据所述敲击音频特征通过所述成熟度检测模型检测所述待检测水果的成熟度。
在具体实施中，在确定成熟度检测模型和敲击音频数据之后，将敲击音频数据输入至成熟度检测模型中，成熟度检测模型根据输入的敲击音频数据即可输出待检测水果所对应的成熟度。
本实施例通过获取待检测水果对应的敲击音频数据，并获取所述待检测水果的水果种类；按照预设时间窗口从所述敲击音频数据中截取相应的敲击音频片段；从截取到的敲击音频片段中提取待检测水果对应的敲击音频特征；根据所述水果种类确定相应的成熟度检测模型；以及根据所述敲击音频特征通过所述成熟度检测模型检测所述待检测水果的成熟度，基于音频数据检测水果的成熟度无需借助较高的计算能力，并且基于时间窗口所提取到音频特征能够提高成熟度检测的精度。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的水果成熟度检测方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种水果成熟度检测方法，其特征在于，所述水果成熟度检测方法包括：
获取待检测水果对应的敲击音频数据，并获取所述待检测水果的水果种类；
按照预设时间窗口从所述敲击音频数据中截取相应的敲击音频片段；
从截取到的敲击音频片段中提取待检测水果对应的敲击音频特征；
根据所述水果种类确定相应的成熟度检测模型；以及
根据所述敲击音频特征通过所述成熟度检测模型检测所述待检测水果的成熟度。
2.如权利要求1所述的水果成熟度检测方法，其特征在于，所述根据所述水果种类确定相应的成熟度检测模型之前，还包括：
获取所述水果种类对应的音频数据；
根据所述音频数据构建训练样本数据集；以及
根据所述训练样本数据集对预设机器学习模型进行训练，以得到成熟度检测模型。
3.如权利要求2所述的水果成熟度检测方法，其特征在于，所述根据所述音频数据构建训练样本数据集，包括：
对所述音频数据进行人声分离，以得到敲击音频数据；
基于所述敲击音频数据对应的标签对所述敲击音频数据进行划分，以得到成熟水果敲击音频数据和生水果敲击音频数据；
将所述生水果敲击音频数据作为负样本数据集，将所述成熟水果敲击音频数据作为正样本数据集；以及
根据所述负样本数据集和所述正样本数据集构建训练样本数据集。
4.如权利要求3所述的水果成熟度检测方法，其特征在于，所述根据所述训练样本数据集对预设机器学习模型进行训练以得到成熟度检测模型包括：
按照预设时间窗口从所述负样本数据集中获取生水果敲击音频片段，以及从所述正样本数据集中获取熟水果敲击音频片段；
从所述生水果敲击音频片段中提取生水果敲击音频特征，以及从所述熟水果敲击音频片段提取熟水果敲击音频特征；
根据所述生水果敲击音频特征和所述熟水果敲击音频特征对预设机器学习模型的模型参数进行调整，以得到目标模型参数；以及
将所述目标模型参数输入至所述预设机器学习模型，以得到成熟度检测模型。
5.如权利要求1所述的水果成熟度检测方法，其特征在于，所述按照预设时间窗口从所述敲击音频数据中截取相应的敲击音频片段，包括：
获取所述敲击音频数据对应的音频片段的起始时刻；
根据所述起始时刻和预设时间窗口确定目标结束时刻；以及
按照所述起始时刻和所述目标结束时刻从所述音频片段中截取相应的敲击音频片段。
6.如权利要求1所述的水果成熟度检测方法，其特征在于，所述获取待检测水果对应的敲击音频数据，包括：
获取待检测水果在多个时刻的参考敲击音频数据；以及
从多个所述时刻的参考敲击音频数据中筛选出符合预设采样频率的参考敲击音频数据，将所述符合预设采样频率的参考敲击音频数据作为所述待检测水果对应的敲击音频数据。
7.如权利要求1至6中任一项所述的水果成熟度检测方法，其特征在于，所述根据所述敲击音频特征通过所述成熟度检测模型检测所述待检测水果的成熟度之后，还包括：
根据检测的成熟度生成所述待检测水果的成熟度分值；以及
对所述成熟度分值进行展示。
8.一种水果成熟度检测装置，其特征在于，所述水果成熟度检测装置包括：
获取模块，用于获取待检测水果对应的敲击音频数据，并获取所述待检测水果的水果种类；
截取模块，用于按照预设时间窗口从所述敲击音频数据中截取相应的敲击音频片段；
提取模块，用于从截取到的敲击音频片段中提取待检测水果对应的敲击音频特征；
构建模块，用于根据所述水果种类确定相应的成熟度检测模型；以及
检测模块，用于根据所述敲击音频特征通过所述成熟度检测模型检测所述待检测水果的成熟度。
9.一种水果成熟度检测设备，其特征在于，所述水果成熟度检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的水果成熟度检测程序，所述水果成熟度检测程序配置为实现如权利要求1至7中任一项所述的水果成熟度检测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有水果成熟度检测程序，所述水果成熟度检测程序被处理器执行时实现如权利要求1至7任一项所述的水果成熟度检测方法的步骤。
CN202111019373.XA 2021-08-31 2021-08-31 水果成熟度检测方法、装置、设备及存储介质 Pending CN115728382A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111019373.XA CN115728382A (zh) 2021-08-31 2021-08-31 水果成熟度检测方法、装置、设备及存储介质
PCT/CN2021/141480 WO2023029311A1 (zh) 2021-08-31 2021-12-27 水果成熟度检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111019373.XA CN115728382A (zh) 2021-08-31 2021-08-31 水果成熟度检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115728382A true CN115728382A (zh) 2023-03-03

Family

ID=85291987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111019373.XA Pending CN115728382A (zh) 2021-08-31 2021-08-31 水果成熟度检测方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN115728382A (zh)
WO (1) WO2023029311A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117969670B (zh) * 2024-04-02 2024-06-25 湖南大学 一种基于声学特征的西瓜成熟度快速无损检测方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3125082B2 (ja) * 1994-02-28 2001-01-15 静岡製機株式会社 果実及び果菜類熟度判定装置
GB9704908D0 (en) * 1997-03-10 1997-04-30 Imperial College Method and apparatus for assessing the ripeness or firmness of fruit and vegetables
KR100521898B1 (ko) * 2003-09-03 2005-10-31 주식회사 한성엔지니어링 수박의 숙성도 및 당도 검출장치
TWM439355U (en) * 2012-05-17 2012-10-21 Univ Ching Yun Identification device for texture of melon and fruit
CN104359978A (zh) * 2014-11-09 2015-02-18 兰州交通大学 一种西瓜测熟器
CN111141823A (zh) * 2020-01-13 2020-05-12 石河子大学 一种基于智能手机声信号的哈密瓜成熟度快速检测方法
CN111640451B (zh) * 2020-05-07 2023-01-31 Oppo广东移动通信有限公司 一种成熟度评估方法及装置、存储介质
CN112529152A (zh) * 2020-12-03 2021-03-19 开放智能机器（上海）有限公司 一种基于人工智能的西瓜成熟度检测的系统和方法

Also Published As

Publication number Publication date
WO2023029311A1 (zh) 2023-03-09

Similar Documents

Publication Publication Date Title
US11715446B2 (en) Music classification method and beat point detection method, storage device and computer device
CN105023573B (zh) 使用听觉注意力线索的语音音节/元音/音素边界检测
KR20140059754A (ko) 스펙트럼 모션 변환을 구현하는 사운드 신호 처리 시스템 및 방법
CN108764114B (zh) 一种信号识别方法及其设备、存储介质、终端
EP2962299B1 (en) Audio signal analysis
CN110600059A (zh) 声学事件检测方法、装置、电子设备及存储介质
CN107622773B (zh) 一种音频特征提取方法与装置、电子设备
CN110931019B (zh) 公安语音数据采集方法、装置、设备和计算机存储介质
CN111640451B (zh) 一种成熟度评估方法及装置、存储介质
CN111199749B (zh) 行为识别方法、装置，机器学习方法、装置以及记录介质
CN112420049A (zh) 数据处理方法、装置及存储介质
CN115728382A (zh) 水果成熟度检测方法、装置、设备及存储介质
CN111341333A (zh) 噪声检测方法、噪声检测装置、介质及电子设备
CN110689885A (zh) 机器合成语音识别方法、装置、存储介质及电子设备
CN108880815A (zh) 身份验证方法、装置和系统
CN111640421B (zh) 语音对比方法、装置、设备及计算机可读存储介质
CN110739006B (zh) 音频处理方法、装置、存储介质及电子设备
JP5937125B2 (ja) 音識別条件設定支援装置および音識別条件設定支援方法
JP6307814B2 (ja) 基音可視化装置、基音可視化方法およびプログラム
CN107154996B (zh) 来电拦截方法、装置、存储介质及终端
CN106340310A (zh) 语音检测方法及装置
CN109147819A (zh) 音频信息处理方法、装置及存储介质
CN114938248A (zh) 一种水下无线光通信解调模型的搭建及解调方法
CN105319582A (zh) 一种地震属性参数的选择方法和装置
CN107025902A (zh) 数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination