CN116369362A - 一种海鲜产品分类萃取装置控制方法及控制系统 - Google Patents

一种海鲜产品分类萃取装置控制方法及控制系统 Download PDF

Info

Publication number
CN116369362A
CN116369362A CN202310619777.5A CN202310619777A CN116369362A CN 116369362 A CN116369362 A CN 116369362A CN 202310619777 A CN202310619777 A CN 202310619777A CN 116369362 A CN116369362 A CN 116369362A
Authority
CN
China
Prior art keywords
seafood
circuit board
control circuit
images
tray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310619777.5A
Other languages
English (en)
Inventor
刘海军
高阳
兰青
刘天晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rushan Xinda Food Co ltd
Original Assignee
Rushan Xinda Food Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rushan Xinda Food Co ltd filed Critical Rushan Xinda Food Co ltd
Priority to CN202310619777.5A priority Critical patent/CN116369362A/zh
Publication of CN116369362A publication Critical patent/CN116369362A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22C—PROCESSING MEAT, POULTRY, OR FISH
    • A22C25/00—Processing fish ; Curing of fish; Stunning of fish by electric current; Investigating fish by optical means
    • A22C25/04—Sorting fish; Separating ice from fish packed in ice
    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22C—PROCESSING MEAT, POULTRY, OR FISH
    • A22C29/00—Processing shellfish or bivalves, e.g. oysters, lobsters; Devices therefor, e.g. claw locks, claw crushers, grading devices; Processing lines
    • A22C29/005—Grading or classifying shellfish or bivalves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Wood Science & Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Food Science & Technology (AREA)
  • Databases & Information Systems (AREA)
  • Zoology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Sorting Of Articles (AREA)

Abstract

本发明提供的一种海鲜产品分类萃取装置控制方法及控制系统，涉及海鲜产品技术领域。该系统包括底座、托盘、支撑板、顶板、驱动机构、可移动抓手、摄像头、控制电路板以及多个海鲜类别框，托盘设置于底座上，顶板位于托盘的上方，顶板与托盘通过支持杆连接，可移动抓手与顶板朝向托盘的一面可移动连接，摄像头设置于顶板朝向托盘的一面，摄像头预配置有预设拍摄参数，多个海鲜类别框位于底座的一侧，且位于顶板的下方。控制电路板分别与摄像头、驱动机构电连接，可以自动识别最上层的海鲜产品的类别，并自动驱动可移动抓手抓取最上层的海鲜产品，放放到海鲜产品的类别对应的海鲜类别框内，直到多个海鲜产品被抓取完毕，提高了效率。

Description

一种海鲜产品分类萃取装置控制方法及控制系统
技术领域
本发明涉及海鲜产品技术领域，尤其涉及一种海鲜产品分类萃取装置控制方法及控制系统。
背景技术
鱿鱼、生蚝、带鱼等海鲜产品因为味道鲜美、营养价值高而非常受到消费者的欢迎。
目前，当鱿鱼、生蚝、带鱼等海鲜产品从海上捕捞上来后，被倾倒在框体内，由渔民手动对鱿鱼、生蚝、带鱼等海鲜产品进行分类萃取，重新装框。例如，鱿鱼放入一个框体、生蚝放入一个框体、带鱼放入一个框体，以便各类的海鲜产品分开进行上市销售。
然而，人工对海鲜产品对海鲜产品进行分类萃取，并重新装框，效率低。
发明内容
本发明提供一种海鲜产品分类萃取装置控制方法及控制系统，用于解决现有技术中人工对海鲜产品对海鲜产品进行分类萃取，并重新装框，效率低的问题。
第一方面，本发明提供了一种海鲜产品分类萃取装置控制方法，应用于海鲜产品分类萃取装置控制系统，海鲜产品分类萃取装置控制系统包括底座、托盘、支撑板、顶板、驱动机构、可移动抓手、摄像头、控制电路板以及多个海鲜类别框，托盘设置于底座上，顶板位于托盘的上方，顶板与托盘通过支持杆连接，可移动抓手与顶板朝向托盘的一面可移动连接，摄像头设置于顶板朝向托盘的一面，摄像头预配置有预设拍摄参数，多个海鲜类别框位于底座的一侧，且位于顶板的下方。控制电路板分别与摄像头、驱动机构电连接，本发明提供的方法包括：
摄像头在N时刻根据第N拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像，并将包含多个海鲜产品的图像传输到控制电路板，其中，第N拍摄参数是控制电路板利用强化学习模型基于第N-1拍摄参数和第N-1个评估值得到的，N为大于1的整数；
控制电路板根据图像评估模型，对第N时刻采集的包含多个海鲜产品的图像的质量进行评估，得到第N个评估值；
若第N个评估值与第N-1个评估值的差值小于或等于预设的第一评估阈值，则将预设拍摄参数更新为第N拍摄参数；
摄像头在N+1时刻根据第N拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像；
控制电路板识别在N+1时刻拍摄的多个海鲜产品的图像中位于最上层的海鲜产品的坐标，以及根据预训练的海鲜产品分类网络模型，识别位于最上层的海鲜产品的类别；
控制电路板控制驱动机构，驱动可移动抓手移动到最上层的海鲜产品的坐标，以抓取最上层的海鲜产品；
控制电路板控制驱动机构，驱动可移动抓手移动，以将最上层的海鲜产品抓取到与位于最上层的海鲜产品的类别匹配的海鲜类别框；
将N的取值加1，并返回执行在N+1时刻根据第N拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像，直到控制电路板识别到拍摄的图像中未包含海鲜产品。
在一种可选地的实施方式中，若第N个评估值与第N-1个评估值的差值小于或等于预设的第一评估阈值，则将第N-1拍摄参数更新为第N拍摄参数，包括：
若第N个评估值与第N-1个评估值的差值小于或等于预设的第一评估阈值，则判断第N个评估值与第1个评估值的差值是否大于预设的第二评估阈值；其中，第1个评估值为对基于第1拍摄参数获取的第1时刻拍摄的图像进行质量评估得到的；
若大于预设的第二评估阈值，则将预设拍摄参数更新为第N拍摄参数。
在一种可选地的实施方式中，其中，第N拍摄参数拍摄的多个海鲜产品的图像为强化学习模型的状态，更新第N-1拍摄参数为第N拍摄参数为强化学习模型的动作，第N个评估值为强化学习模型的奖励。
在一种可选地的实施方式中，在摄像头在N时刻根据第N拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像之前，方法还包括：
摄像头在N-1时刻根据第N-1拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像，并将根据第N-1拍摄参数采集的多个海鲜产品的图像传输到控制电路板；
控制电路板根据图像评估模型，对第N-1时刻采集的包含多个海鲜产品的图像的质量进行评估，得到第N-1个评估值。
在一种可选地的实施方式中，控制电路板识别在N+1时刻拍摄的多个海鲜产品的图像中位于最上层的海鲜产品的坐标，包括：
控制电路板识别在N+1时刻拍摄的多个海鲜产品的图像中位于最上层的海鲜产品的在图像坐标系中的像素坐标；
控制电路板从预设的关系表中查找出像素坐标关联的空间坐标，作为位于最上层的海鲜产品的坐标。
第二方面，本发明还提供了一种海鲜产品分类萃取装置控制系统，海鲜产品分类萃取装置控制系统包括底座、托盘、支撑板、顶板、驱动机构、可移动抓手、摄像头、控制电路板以及多个海鲜类别框，托盘设置于底座上，顶板位于托盘的上方，顶板与托盘通过支持杆连接，可移动抓手与顶板朝向托盘的一面可移动连接，摄像头设置于顶板朝向托盘的一面，摄像头预配置有预设拍摄参数，多个海鲜类别框位于底座的一侧，且位于顶板的下方，其中，
摄像头用于在N时刻根据第N拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像，并将包含多个海鲜产品的图像传输到控制电路板，其中，第N拍摄参数是控制电路板利用强化学习模型基于第N-1拍摄参数和第N-1个评估值得到的，N为大于1的整数；
控制电路板用于根据图像评估模型，对第N时刻采集的包含多个海鲜产品的图像的质量进行评估，得到第N个评估值；若第N个评估值与第N-1个评估值的差值小于或等于预设的第一评估阈值，则将预设拍摄参数更新为第N拍摄参数；
摄像头用于在N+1时刻根据第N拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像；
控制电路板用于识别在N+1时刻拍摄的多个海鲜产品的图像中位于最上层的海鲜产品的坐标，以及根据预训练的海鲜产品分类网络模型，识别位于最上层的海鲜产品的类别；
控制电路板用于控制驱动机构，驱动可移动抓手移动到最上层的海鲜产品的坐标，以抓取最上层的海鲜产品；
控制电路板用于控制驱动机构，驱动可移动抓手移动，以将最上层的海鲜产品抓取到与位于最上层的海鲜产品的类别匹配的海鲜类别框；将N的取值加1，并返回执行在N+1时刻根据第N拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像，直到控制电路板识别到拍摄的图像中未包含海鲜产品。
在一种可能的实施方式中，控制电路板具体用于若第N个评估值与第N-1个评估值的差值小于或等于预设的第一评估阈值，则判断第N个评估值与第1个评估值的差值是否大于预设的第二评估阈值；其中，第1个评估值为对基于第1拍摄参数获取的第1时刻拍摄的图像进行质量评估得到的；
若大于预设的第二评估阈值，则将预设拍摄参数更新为第N拍摄参数。
在一种可能的实施方式中，第N拍摄参数拍摄的多个海鲜产品的图像为强化学习模型的状态，更新第N-1拍摄参数为第N拍摄参数为强化学习模型的动作，第N-1个评估值为强化学习模型的奖励。
在一种可能的实施方式中，摄像头还用于在N-1时刻根据第N-1拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像，并将根据第N-1拍摄参数采集的多个海鲜产品的图像传输到控制电路板；
控制电路板还用于根据图像评估模型，对第N时刻采集的包含多个海鲜产品的图像的质量进行评估，得到第N个评估值。
在一种可能的实施方式中，控制电路板具体用于识别在N+1时刻拍摄的多个海鲜产品的图像中位于最上层的海鲜产品的在图像坐标系中的像素坐标；控制电路板从预设的关系表中查找出像素坐标关联的空间坐标，作为位于最上层的海鲜产品的坐标。
相对于现有技术，本发明包括以下有益效果：本发明提供的一种海鲜产品分类萃取装置控制方法及控制系统，由于控制电路板识别在N+1时刻拍摄的多个海鲜产品的图像中位于最上层的海鲜产品的坐标，以及根据预训练的海鲜产品分类网络模型，识别位于最上层的海鲜产品的类别；控制电路板控制驱动机构，驱动可移动抓手移动到最上层的海鲜产品的坐标，以抓取最上层的海鲜产品；控制电路板控制驱动机构，驱动可移动抓手移动，以将最上层的海鲜产品抓取到与位于最上层的海鲜产品的类别匹配的海鲜类别框；并返回执行在N+1时刻根据第N拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像，直到控制电路板识别到拍摄的图像中未包含海鲜产品。即是说，可以自动识别最上层的海鲜产品的类别，并自动驱动可移动抓手抓取最上层的海鲜产品，放到海鲜产品的类别对应的海鲜类别框内，直到多个海鲜产品被抓取完毕，无需人工操作，提高了效率。
另外，由于摄像头、拍摄环境的会因为天气情况（如雾天、阴天、晴天、雨天）和光线变化（如黄昏、烈日强光），导致拍摄的图像的质量不同。若直接根据预设拍摄参数拍照得到的多个海鲜产品的图像的质量较低。
另外，第N拍摄参数是第一终端利用强化学习模型基于第N-1拍摄参数、第N-1个评估值得到的。如此，说明根据第N拍摄参数拍摄得到第多个海鲜产品的图像的质量被提高。另外，在基于第N拍摄参数得到的多个海鲜产品的图像的第N个评估值与第N-1个评估值的差值小于或等于预设的阈值的情况下，说明基于第N拍摄参数得到多个海鲜产品的图像的第N个评估值已经被提高，且再提高的空间较小。这样一来，第一终端可以将预设的拍摄参数更新为第N拍摄参数。进而，在后续根据第N拍摄参数得到多个海鲜产品的图像的质量高。如此，可以使得控制电路板能够更精确地自动驱动可移动抓手抓取最上层的海鲜产品，放到海鲜产品的类别对应的海鲜类别框内。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的海鲜产品分类萃取控制系统的结构示意图；
图2为本发明实施例提供的海鲜产品分类萃取装置控制方法的流程图；
图3是本发明实施例提供的控制电路板的电路连接框图。
其中，附图标记与部件名称之间的对应关系如下：顶板101，支撑板102，摄像头103，抓手104，框体105，海鲜类别框106，底座107，处理器302，存储器304，电源组件306，通信组件316。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在根据本实施例的启示下作出的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面，以具体地实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
本发明实施例提供了一种海鲜产品分类萃取装置控制方法，应用于海鲜产品分类萃取装置控制系统。如图1所示，海鲜产品分类萃取装置控制系统包括底座107、托盘、支撑板、顶板101、驱动机构、可移动抓手104、摄像头103、控制电路板以及多个海鲜类别框106，托盘设置于底座107上，顶板101位于托盘的上方，顶板101与托盘通过支撑板102连接，可移动抓手104与顶板101朝向托盘的一面可移动连接，摄像头103设置于顶板101朝向托盘的一面，摄像头103预配置有预设拍摄参数，多个海鲜类别框106位于底座107的一侧，且位于顶板101的下方。控制电路板分别与摄像头103、驱动机构电连接。控制电路板可以嵌设于底座107内，驱动机构与抓手104连接，驱动机构用于驱动抓手104捏紧或松手，以抓取或置放海鲜产品，驱动机构可以是驱动电机。海鲜产品可以是但不限于鱿鱼、带鱼、生蚝等，在此不作限定。如图2所示，本发明实施例提供的方法包括：
S201：摄像头103在N-1时刻根据第N-1拍摄参数拍摄位于托盘上的框体105内盛装的重叠分布的多个海鲜产品的图像，并将根据第N-1拍摄参数采集的多个海鲜产品的图像传输到控制电路板。
其中，拍摄参数可以包括但不限于焦距、曝光、光圈等。示例性地，用户可以将多个海鲜产品装入框体105内，然后将装有多个海鲜产品的框体105搬到托盘上放置，以供摄像头103拍摄。
S202：控制电路板根据图像评估模型，对第N-1时刻采集的包含多个海鲜产品的图像的质量进行评估，得到第N-1个评估值。
例如，图像评估模型可以评估第N-1时刻采集的包含多个海鲜产品的图像的峰值信噪比、分辨率、结构相似度，并根据峰值信噪比N-1、分辨率N-1、结构相似度N-1生成第N-1个评估值。如此，可以根据峰值信噪比从预设关系从查找到评估值1，根据分辨率从预设关系从查找到评估值2，根据结构相似度从预设关系从查找到评估值3，进而，对评估值1、评估值2以及评估值3求加权平均值，得到第N-1评估值。
S203：摄像头103在N时刻根据第N拍摄参数拍摄位于托盘上的框体105内盛装的重叠分布的多个海鲜产品的图像，并将包含多个海鲜产品的图像传输到控制电路板。
示例性地，摄像头103在N时刻根据第N拍摄参数中的焦距、曝光、光圈拍摄位于托盘上的框体105内盛装的重叠分布的多个海鲜产品的图像。由于海鲜产品是堆放在托盘上的框体105内的，因此海鲜产品是从上到下重叠分布的。
其中，第N拍摄参数是控制电路板利用强化学习模型基于第N-1拍摄参数和第N-1个评估值得到的，N为大于1的整数。其中，强化学习模型是以图像、摄像头103拍摄图像的拍摄参数及对应的质量评估值作为训练样本输入到Qleaning网络或深度强化学习网络DQN(Deep Q-Learning)中训练得到的。
S204：控制电路板根据图像评估模型，对第N时刻采集的包含多个海鲜产品的图像的质量进行评估，得到第N个评估值。
例如，图像评估模型可以评估第N时刻采集的包含多个海鲜产品的图像的峰值信噪比、分辨率、结构相似度，并根据峰值信噪比N、分辨率N、结构相似度N生成第N个评估值。如此，可以根据峰值信噪比N从预设关系从查找到评估值4，根据分辨率从预设关系从查找到评估值5，根据结构相似度从预设关系从查找到评估值6，进而，对评估值4、评估值5以及评估值6求加权平均值，得到第N评估值。
S205：若第N个评估值与第N-1个评估值的差值小于或等于预设的第一评估阈值，则将预设拍摄参数更新为第N拍摄参数。
在第N个评估值与第N-1个评估值的差值小于或等于预设的第一评估阈值的情况下，说明第N-1个评估值相对于第N个评估值的取值的提高幅度较小，则若再对基于强化学习模型对第N拍摄参数更新，得到第N+1拍摄参数，使得基于第N+1拍摄参数拍摄的多个海鲜产品的第N+1评估值与第N个评估值的差值，也会小于预设的第一评估阈值。即是说，即使对第N拍摄参数更新得到第N+1拍摄参数，质量的提高幅度不高，进而更新第N拍摄参数得到第N+1拍摄参数的意义不大，则不再更新第N拍摄参数。
进一步地，S205包括：若第N个评估值与第N-1个评估值的差值小于或等于预设的第一评估阈值，则判断第N个评估值与第1个评估值的差值是否大于预设的第二评估阈值；其中，第1个评估值为对基于第1拍摄参数获取的第1时刻拍摄的图像进行质量评估得到的；若大于预设的第二评估阈值，则将预设拍摄参数更新为第N拍摄参数。
在第N个评估值与第1个评估值的差值大于预设的第二评估阈值的情况下，说明基于第N拍摄参数获取的多个海鲜产品图像相对于预设的拍摄参数获取的多个海鲜产品的图像质量提高幅度很大，则可以将预设的拍摄参数更新为第N拍摄参数，如此，可以使得根据第N拍摄参数拍摄得到的多个海鲜产品的图像的质量较高。否则，没有必要更新将预设的拍摄参数更新为第N拍摄参数，以节省计算资源。
S206：摄像头103在N+1时刻根据第N拍摄参数拍摄位于托盘上的框体105内盛装的重叠分布的多个海鲜产品的图像。
基于上述的S205可知，基于第N拍摄参数拍摄位于托盘上的框体105内盛装的重叠分布的多个海鲜产品的图像的质量较高。
S207：控制电路板识别在N+1时刻拍摄的多个海鲜产品的图像中位于最上层的海鲜产品的坐标，以及根据预训练的海鲜产品分类网络模型，识别位于最上层的海鲜产品的类别。
其中，海鲜产品分类网络模型是根据多个历史海鲜产品的图像及对应的海鲜产品的类别作为多个训练样本训练得到的。例如，海鲜产品的类别可以包括生蚝、带鱼、鱿鱼等，在此不作限定。
S208：控制电路板控制驱动机构，驱动可移动抓手104移动到最上层的海鲜产品的坐标，以抓取最上层的海鲜产品。
可移动抓手104可以通过滚轮与顶板101滑动连接，另外，可移动抓手104与顶板101之间还连接有弹簧，使得可移动抓手104可以伸缩，方便抓取或置放海鲜产品。因此，驱动机构驱动可移动抓手104在顶板101上移动，并移动到最上层的海鲜产品的坐标，以抓取最上层的海鲜产品。
S209：控制电路板控制驱动机构，驱动可移动抓手104移动，以将最上层的海鲜产品抓取到与位于最上层的海鲜产品的类别匹配的海鲜类别框106。
示例性地，控制电路板预配置有各个海鲜类别框106的坐标，因此，控制电路板可以根据最上层的海鲜产品的类别匹配的海鲜类别框106的坐标，控制驱动机构驱动可移动抓手104移动，以将最上层的海鲜产品抓取到与位于最上层的海鲜产品的类别匹配的海鲜类别框106。
示例性地，将多个鱿鱼抓取到海鲜类别框A、将多个生蚝抓取到海鲜类别框B、将多个带鱼抓取到海鲜类别框C。
S210：将N的取值加1，并返回执行在N+1时刻根据第N拍摄参数拍摄位于托盘上的框体105内盛装的重叠分布的多个海鲜产品的图像，直到控制电路板识别到拍摄的图像中未包含海鲜产品。
具体地，控制电路板可以识别在N+1时刻拍摄的多个海鲜产品的图像中位于最上层的海鲜产品的在图像坐标系中的像素坐标；控制电路板从预设的关系表中查找出像素坐标关联的空间坐标，作为位于最上层的海鲜产品的坐标。
可以理解地，根据上述的S209可知，控制电路板可以控制抓手104逐层抓取框体105内的海鲜产品，直到海鲜产品被抓取完毕。
相对于现有技术，本发明包括以下有益效果：本发明实施例提供的一种海鲜产品分类萃取装置控制方法，由于控制电路板识别在N+1时刻拍摄的多个海鲜产品的图像中位于最上层的海鲜产品的坐标，以及根据预训练的海鲜产品分类网络模型，识别位于最上层的海鲜产品的类别；控制电路板控制驱动机构，驱动可移动抓手104移动到最上层的海鲜产品的坐标，以抓取最上层的海鲜产品；控制电路板控制驱动机构，驱动可移动抓手104移动，以将最上层的海鲜产品抓取到与位于最上层的海鲜产品的类别匹配的海鲜类别框106；并返回执行在N+1时刻根据第N拍摄参数拍摄位于托盘上的框体105内盛装的重叠分布的多个海鲜产品的图像，直到控制电路板识别到拍摄的图像中未包含海鲜产品。即是说，可以自动识别最上层的海鲜产品的类别，并自动驱动可移动抓手104抓取最上层的海鲜产品，放到海鲜产品的类别对应的海鲜类别框106内，直到多个海鲜产品被抓取完毕，无需人工操作，提高了效率。
另外，由于摄像头103、拍摄环境的会因为天气情况（如雾天、阴天、晴天、雨天）和光线变化（如黄昏、烈日强光），导致拍摄的图像的质量不同。若直接根据预设拍摄参数拍照得到的多个海鲜产品的图像的质量较低。
另外，第N拍摄参数是第一终端利用强化学习模型基于第N-1拍摄参数、第N-1个评估值得到的。如此，说明根据第N拍摄参数拍摄得到第多个海鲜产品的图像的质量被提高。另外，在基于第N拍摄参数得到的多个海鲜产品的图像的第N个评估值与第N-1个评估值的差值小于或等于预设的阈值的情况下，说明基于第N拍摄参数得到多个海鲜产品的图像的第N个评估值已经被提高，且再提高的空间较小。这样一来，第一终端可以将预设的拍摄参数更新为第N拍摄参数。进而，在后续根据第N拍摄参数得到多个海鲜产品的图像的质量高。如此，可以使得控制电路板能够更精确地自动驱动可移动抓手104抓取最上层的海鲜产品，放到海鲜产品的类别对应的海鲜类别框106内。
仍请参阅图1，本发明实施例还提供了一种海鲜产品分类萃取装置控制系统，海鲜产品分类萃取装置控制系统包括底座107、托盘、支撑板102、顶板101、驱动机构、可移动抓手104、摄像头103、控制电路板以及多个海鲜类别框106，托盘设置于底座107上，顶板101位于托盘的上方，顶板101与托盘通过支撑板102连接，可移动抓手104与顶板101朝向托盘的一面可移动连接，摄像头103设置于顶板101朝向托盘的一面，摄像头103预配置有预设拍摄参数，多个海鲜类别框106位于底座107的一侧，且位于顶板101的下方，其中，
摄像头103用于在N时刻根据第N拍摄参数拍摄位于托盘上的框体105内盛装的重叠分布的多个海鲜产品的图像，并将包含多个海鲜产品的图像传输到控制电路板，其中，第N拍摄参数是控制电路板利用强化学习模型基于第N-1拍摄参数和第N-1个评估值得到的，N为大于1的整数；
控制电路板用于根据图像评估模型，对第N时刻采集的包含多个海鲜产品的图像的质量进行评估，得到第N个评估值；若第N个评估值与第N-1个评估值的差值小于或等于预设的第一评估阈值，则将预设拍摄参数更新为第N拍摄参数；
摄像头103用于在N+1时刻根据第N拍摄参数拍摄位于托盘上的框体105内盛装的重叠分布的多个海鲜产品的图像；
控制电路板用于识别在N+1时刻拍摄的多个海鲜产品的图像中位于最上层的海鲜产品的坐标，以及根据预训练的海鲜产品分类网络模型，识别位于最上层的海鲜产品的类别；
控制电路板用于控制驱动机构，驱动可移动抓手104移动到最上层的海鲜产品的坐标，以抓取最上层的海鲜产品；
控制电路板用于控制驱动机构，驱动可移动抓手104移动，以将最上层的海鲜产品抓取到与位于最上层的海鲜产品的类别匹配的海鲜类别框106；将N的取值加1，并返回执行在N+1时刻根据第N拍摄参数拍摄位于托盘上的框体105内盛装的重叠分布的多个海鲜产品的图像，直到控制电路板识别到拍摄的图像中未包含海鲜产品。
在一种可能的实施方式中，控制电路板具体用于若第N个评估值与第N-1个评估值的差值小于或等于预设的第一评估阈值，则判断第N个评估值与第1个评估值的差值是否大于预设的第二评估阈值；其中，第1个评估值为对基于第1拍摄参数获取的第1时刻拍摄的图像进行质量评估得到的；
若大于预设的第二评估阈值，则将预设拍摄参数更新为第N拍摄参数。
在一种可能的实施方式中，第N拍摄参数拍摄的多个海鲜产品的图像为强化学习模型的状态，更新第N-1拍摄参数为第N拍摄参数为强化学习模型的动作，第N-1个评估值为强化学习模型的奖励。
在一种可能的实施方式中，摄像头103还用于在N-1时刻根据第N-1拍摄参数拍摄位于托盘上的框体105内盛装的重叠分布的多个海鲜产品的图像，并将根据第N-1拍摄参数采集的多个海鲜产品的图像传输到控制电路板；
控制电路板还用于根据图像评估模型，对第N时刻采集的包含多个海鲜产品的图像的质量进行评估，得到第N个评估值。
在一种可能的实施方式中，控制电路板具体用于识别在N+1时刻拍摄的多个海鲜产品的图像中位于最上层的海鲜产品的在图像坐标系中的像素坐标；控制电路板从预设的关系表中查找出像素坐标关联的空间坐标，作为位于最上层的海鲜产品的坐标。
图3是根据一示例性实施例示出的一种控制电路板的框图，控制电路板可以包括以下一个或多个组件：处理器302，存储器304，电源组件306，以及通信组件316。
处理器302通常控制装置300的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理器302可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理器302可以包括一个或多个模块，便于处理器302和其他组件之间的交互。具体地，处理器302可以用于实现如本发明实施例图2提供的交易数据的处理方法。
存储器304被配置为存储各种类型的数据以支持在装置300的操作。这些数据的示例包括用于在装置300上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
电源组件306为装置300的各种组件提供电力。电源组件306可以包括电源管理系统，一个或多个电源，及其他与为装置300生成、管理和分配电力相关联的组件。
通信组件316被配置为便于装置300和其他设备之间有线或无线方式的通信。装置300可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。
在示例性实施例中，装置300可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器304，上述指令可由装置300的处理器302执行以完成上述的方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求书指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种海鲜产品分类萃取装置控制方法，其特征在于，应用于海鲜产品分类萃取装置控制系统，所述海鲜产品分类萃取装置控制系统包括底座、托盘、支撑板、顶板、驱动机构、可移动抓手、摄像头、控制电路板以及多个海鲜类别框，所述托盘设置于底座上，所述顶板位于所述托盘的上方，所述顶板与所述托盘通过支持杆连接，所述可移动抓手与所述顶板朝向所述托盘的一面可移动连接，所述摄像头预配置有预设拍摄参数，所述摄像头设置于所述顶板朝向所述托盘的一面，所述多个海鲜类别框位于底座的一侧，且位于所述顶板的下方，所述控制电路板分别与所述摄像头、所述驱动机构电连接，所述方法包括：
所述摄像头在N时刻根据第N拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像，并将包含所述多个海鲜产品的图像传输到所述控制电路板，其中，所述第N拍摄参数是所述控制电路板利用强化学习模型基于第N-1拍摄参数和第N-1个评估值得到的，N为大于1的整数；
所述控制电路板根据图像评估模型，对第N时刻采集的包含所述多个海鲜产品的图像的质量进行评估，得到第N个评估值；
若所述第N个评估值与所述第N-1个评估值的差值小于或等于预设的第一评估阈值，则将预设拍摄参数更新为所述第N拍摄参数；
所述摄像头在N+1时刻根据所述第N拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像；
所述控制电路板识别在N+1时刻拍摄的所述多个海鲜产品的图像中位于最上层的海鲜产品的坐标，以及根据预训练的海鲜产品分类网络模型，识别所述位于最上层的海鲜产品的类别；
所述控制电路板控制所述驱动机构，驱动所述可移动抓手移动到所述最上层的海鲜产品的坐标，以抓取所述最上层的海鲜产品；
所述控制电路板控制所述驱动机构，驱动所述可移动抓手移动，以将所述最上层的海鲜产品抓取到与所述位于最上层的海鲜产品的类别匹配的海鲜类别框；
将N的取值加1，并返回执行所述在N+1时刻根据所述第N拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像，直到所述控制电路板识别到拍摄的图像中未包含海鲜产品。
2.根据权利要求1所述的一种海鲜产品分类萃取装置控制方法，其特征在于，若所述第N个评估值与所述第N-1个评估值的差值小于或等于预设的第一评估阈值，则将所述第N-1拍摄参数更新为所述第N拍摄参数，包括：
若所述第N个评估值与所述第N-1个评估值的差值小于或等于所述预设的第一评估阈值，则判断所述第N个评估值与第1个评估值的差值是否大于预设的第二评估阈值；其中，所述第1个评估值为对基于第1拍摄参数获取的第1时刻拍摄的图像进行质量评估得到的；
若大于所述预设的第二评估阈值，则将预设拍摄参数更新为所述第N拍摄参数。
3.根据权利要求1所述的一种海鲜产品分类萃取装置控制方法，其特征在于，其中，所述第N拍摄参数拍摄的多个海鲜产品的图像为所述强化学习模型的状态，更新所述第N-1拍摄参数为所述第N拍摄参数为所述强化学习模型的动作，所述第N个评估值为所述强化学习模型的奖励。
4.根据权利要求1所述的一种海鲜产品分类萃取装置控制方法，其特征在于，在所述摄像头在N时刻根据第N拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像之前，所述方法还包括：
所述摄像头在N-1时刻根据第N-1拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像，并将根据第N-1拍摄参数采集的多个海鲜产品的图像传输到所述控制电路板；
所述控制电路板根据图像评估模型，对第N-1时刻采集的包含所述多个海鲜产品的图像的质量进行评估，得到第N-1个评估值。
5.根据权利要求1所述的一种海鲜产品分类萃取装置控制方法，其特征在于，所述控制电路板识别在N+1时刻拍摄的所述多个海鲜产品的图像中位于最上层的海鲜产品的坐标，包括：
所述控制电路板识别在N+1时刻拍摄的所述多个海鲜产品的图像中位于最上层的海鲜产品的在图像坐标系中的像素坐标；
所述控制电路板从预设的关系表中查找出所述像素坐标关联的空间坐标，作为所述位于最上层的海鲜产品的坐标。
6.一种海鲜产品分类萃取装置控制系统，其特征在于，所述海鲜产品分类萃取装置控制系统包括底座、托盘、支撑板、顶板、驱动机构、可移动抓手、摄像头、控制电路板以及多个海鲜类别框，所述托盘设置于底座上，所述顶板位于所述托盘的上方，所述顶板与所述托盘通过支持杆连接，所述可移动抓手与所述顶板朝向所述托盘的一面可移动连接，所述摄像头设置于所述顶板朝向所述托盘的一面，所述摄像头预配置有预设拍摄参数，所述多个海鲜类别框位于底座的一侧，且位于所述顶板的下方，其中，
所述摄像头用于在N时刻根据第N拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像，并将包含所述多个海鲜产品的图像传输到所述控制电路板，其中，所述第N拍摄参数是所述控制电路板利用强化学习模型基于第N-1拍摄参数和第N-1个评估值得到的，N为大于1的整数；
所述控制电路板用于根据图像评估模型，对第N时刻采集的包含所述多个海鲜产品的图像的质量进行评估，得到第N个评估值；若所述第N个评估值与所述第N-1个评估值的差值小于或等于预设的第一评估阈值，则将预设拍摄参数更新为所述第N拍摄参数；
所述摄像头用于在N+1时刻根据所述第N拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像；
所述控制电路板用于识别在N+1时刻拍摄的所述多个海鲜产品的图像中位于最上层的海鲜产品的坐标，以及根据预训练的海鲜产品分类网络模型，识别所述位于最上层的海鲜产品的类别；
所述控制电路板用于控制所述驱动机构，驱动所述可移动抓手移动到所述最上层的海鲜产品的坐标，以抓取所述最上层的海鲜产品；
所述控制电路板用于控制所述驱动机构，驱动所述可移动抓手移动，以将所述最上层的海鲜产品抓取到与所述位于最上层的海鲜产品的类别匹配的海鲜类别框；将N的取值加1，并返回执行所述在N+1时刻根据所述第N拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像，直到所述控制电路板识别到拍摄的图像中未包含海鲜产品。
7.根据权利要求6所述的一种海鲜产品分类萃取装置控制系统，其特征在于，所述控制电路板具体用于若所述第N个评估值与所述第N-1个评估值的差值小于或等于所述预设的第一评估阈值，则判断所述第N个评估值与第1个评估值的差值是否大于预设的第二评估阈值；其中，所述第1个评估值为对基于第1拍摄参数获取的第1时刻拍摄的图像进行质量评估得到的；
若大于所述预设的第二评估阈值，则将所述预设拍摄参数更新为所述第N拍摄参数。
8.根据权利要求6所述的一种海鲜产品分类萃取装置控制系统，其特征在于，所述第N拍摄参数拍摄的多个海鲜产品的图像为所述强化学习模型的状态，更新所述第N-1拍摄参数为所述第N拍摄参数为所述强化学习模型的动作，所述第N-1个评估值为所述强化学习模型的奖励。
9.根据权利要求6所述的一种海鲜产品分类萃取装置控制系统，其特征在于，
所述摄像头还用于在N-1时刻根据第N-1拍摄参数拍摄位于托盘上的框体内盛装的重叠分布的多个海鲜产品的图像，并将根据第N-1拍摄参数采集的多个海鲜产品的图像传输到所述控制电路板；
所述控制电路板还用于根据图像评估模型，对第N时刻采集的包含所述多个海鲜产品的图像的质量进行评估，得到第N个评估值。
10.根据权利要求6所述的一种海鲜产品分类萃取装置控制系统，其特征在于，所述控制电路板具体用于识别在N+1时刻拍摄的所述多个海鲜产品的图像中位于最上层的海鲜产品的在图像坐标系中的像素坐标；所述控制电路板从预设的关系表中查找出所述像素坐标关联的空间坐标，作为所述位于最上层的海鲜产品的坐标。
CN202310619777.5A 2023-05-30 2023-05-30 一种海鲜产品分类萃取装置控制方法及控制系统 Pending CN116369362A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310619777.5A CN116369362A (zh) 2023-05-30 2023-05-30 一种海鲜产品分类萃取装置控制方法及控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310619777.5A CN116369362A (zh) 2023-05-30 2023-05-30 一种海鲜产品分类萃取装置控制方法及控制系统

Publications (1)

Publication Number Publication Date
CN116369362A true CN116369362A (zh) 2023-07-04

Family

ID=86979030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310619777.5A Pending CN116369362A (zh) 2023-05-30 2023-05-30 一种海鲜产品分类萃取装置控制方法及控制系统

Country Status (1)

Country Link
CN (1) CN116369362A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070288973A1 (en) * 2006-06-02 2007-12-13 Logitech Europe S.A. Intelligent image quality engine
CN105915801A (zh) * 2016-06-12 2016-08-31 北京光年无限科技有限公司 改善抓拍效果的自学习方法及装置
CN108093174A (zh) * 2017-12-15 2018-05-29 北京臻迪科技股份有限公司 拍照设备的构图方法、装置和拍照设备
CN108304783A (zh) * 2017-01-13 2018-07-20 佳能株式会社 视频图像识别装置、视频图像识别方法和存储介质
CN111601047A (zh) * 2020-04-28 2020-08-28 汕头大学 一种油液泄漏图像采集方法
CN214718532U (zh) * 2021-03-05 2021-11-16 桂林电子科技大学 一种基于机器视觉海鲜产品分拣系统
CN114332215A (zh) * 2020-09-30 2022-04-12 北京万集科技股份有限公司 多传感标定方法、装置、计算机设备和存储介质
CN115761452A (zh) * 2022-11-15 2023-03-07 飞依诺科技股份有限公司 基于强化学习的超声图像优化方法、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070288973A1 (en) * 2006-06-02 2007-12-13 Logitech Europe S.A. Intelligent image quality engine
CN105915801A (zh) * 2016-06-12 2016-08-31 北京光年无限科技有限公司 改善抓拍效果的自学习方法及装置
CN108304783A (zh) * 2017-01-13 2018-07-20 佳能株式会社 视频图像识别装置、视频图像识别方法和存储介质
CN108093174A (zh) * 2017-12-15 2018-05-29 北京臻迪科技股份有限公司 拍照设备的构图方法、装置和拍照设备
CN111601047A (zh) * 2020-04-28 2020-08-28 汕头大学 一种油液泄漏图像采集方法
CN114332215A (zh) * 2020-09-30 2022-04-12 北京万集科技股份有限公司 多传感标定方法、装置、计算机设备和存储介质
CN214718532U (zh) * 2021-03-05 2021-11-16 桂林电子科技大学 一种基于机器视觉海鲜产品分拣系统
CN115761452A (zh) * 2022-11-15 2023-03-07 飞依诺科技股份有限公司 基于强化学习的超声图像优化方法、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
庞振基: "《精密机械设计》", 机械工业出版社, pages: 399 - 401 *

Similar Documents

Publication Publication Date Title
CN109068056B (zh) 一种电子设备及其拍摄图像的滤镜处理方法、存储介质
CN103617432B (zh) 一种场景识别方法及装置
CN106372638A (zh) 一种识别电子设备品牌型号的方法和系统
CN111738139A (zh) 基于图像识别的养殖鱼监控方法及系统
KR20140016401A (ko) 이미지 촬상 방법 및 장치
CN104063686B (zh) 作物叶部病害图像交互式诊断系统与方法
CN104427238A (zh) 一种信息处理方法及电子设备
CN105847708B (zh) 基于图像直方图分析的线阵相机自动曝光调整方法及系统
CN112085768B (zh) 光流信息预测方法、装置、电子设备和存储介质
CN108875820A (zh) 信息处理方法和装置、电子设备、计算机可读存储介质
CN108419012A (zh) 拍照方法、装置、存储介质及电子设备
CN108960314A (zh) 基于难样本的训练方法、装置及电子设备
CN110427869A (zh) 一种用于垃圾处理的远端视觉分选识别方法
CN112911139A (zh) 物品拍摄方法、装置、电子设备及存储介质
CN112257527A (zh) 基于多目标融合与时空视频序列的手机检测方法
CN204202563U (zh) 鱼类形态参数自动测量装置
CN112887610A (zh) 拍摄方法、装置、电子设备及存储介质
CN113038002B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN116369362A (zh) 一种海鲜产品分类萃取装置控制方法及控制系统
CN110428374A (zh) 一种小体积害虫自动检测方法及系统
CN115690566B (zh) 一种基于深度迁移聚类学习的深海动物新物种识别方法
CN112861839A (zh) 用于洗碗机的方法、装置以及洗碗机
CN113191295A (zh) 一种基于图像识别的火龙果成熟度识别的方法
CN109684991A (zh) 图像处理方法、装置、电子设备及存储介质
CN109087271A (zh) 实现录像虚化的方法、系统和手机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230704