CN115335855A - 豆腐制品的检查设备、豆腐制品的制造系统、豆腐制品的检查方法及程序 - Google Patents

豆腐制品的检查设备、豆腐制品的制造系统、豆腐制品的检查方法及程序 Download PDF

Info

Publication number
CN115335855A
CN115335855A CN202180022271.5A CN202180022271A CN115335855A CN 115335855 A CN115335855 A CN 115335855A CN 202180022271 A CN202180022271 A CN 202180022271A CN 115335855 A CN115335855 A CN 115335855A
Authority
CN
China
Prior art keywords
bean curd
product
learning
curd product
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180022271.5A
Other languages
English (en)
Inventor
高井东一郎
天野原成
濑户裕介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Takai Tofu and Soymilk Equipment Co
Original Assignee
Takai Tofu and Soymilk Equipment Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020191601A external-priority patent/JP7248316B2/ja
Application filed by Takai Tofu and Soymilk Equipment Co filed Critical Takai Tofu and Soymilk Equipment Co
Publication of CN115335855A publication Critical patent/CN115335855A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23L—FOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
    • A23L11/00—Pulses, i.e. fruits of leguminous plants, for production of food; Products from legumes; Preparation or treatment thereof
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23L—FOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
    • A23L11/00—Pulses, i.e. fruits of leguminous plants, for production of food; Products from legumes; Preparation or treatment thereof
    • A23L11/40—Pulse curds
    • A23L11/45—Soy bean curds, e.g. tofu
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02—Food
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8841—Illumination and detection on two sides of object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/104—Mechano-optical scan, i.e. object and beam moving
    • G01N2201/1042—X, Y scan, i.e. object moving in X, beam in Y
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Food Science & Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Polymers & Plastics (AREA)
  • Nutrition Science (AREA)
  • Agronomy & Crop Science (AREA)
  • Botany (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Medicinal Chemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Textile Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

该豆腐制品的检查设备具有：成像单元，其捕获待检查的豆腐制品的图像；以及检查装置，其通过使用评估值来确定捕获图像中指示的豆腐制品的质量，评估值是通过将成像单元捕获的豆腐制品的捕获图像作为输入数据输入到训练模型而获得的输出数据，该训练模型用于确定输入数据中指示的豆腐制品的质量，并通过使用包括豆腐制品的捕获图像的训练数据执行机器学习而生成。

Description

豆腐制品的检查设备、豆腐制品的制造系统、豆腐制品的检查 方法及程序
技术领域
本发明涉及豆腐制品的检查设备、豆腐制品的制造系统、豆腐制品的检查方法及程序。
背景技术
根据现有技术，作为对制品的质量控制，已经执行了检测生产线中的制品中的无缺陷制品或有缺陷制品并将确定为有缺陷制品的制品从运输对象中移除的检查操作。即使目前制品生产线的自动化正在进行中，这种检查操作也通常依赖于人的经验和视觉观察，导致沉重的人的负担。
关于这种制品的生产线的自动化，已经公开了用于提高制品质量的各种方法。专利文献1公开了一种通过对诸如豆腐或魔芋的长方体制品使用光切割方法来检查形状缺陷的装置。专利文献2公开了一种通过人工智能(AI)应用深度学习和多变量分析的方法以便自动分拣食品的无缺陷制品或有缺陷制品的技术。专利文献3公开了在用于诸如油炸的生产的机器中，生产期间的控制参数由神经模拟器学习为学习数据，并且作为学习结果获得的信息用于确定后续生产期间的控制参数。专利文献4公开了在食品中的异物的检测中，通过使用预先经过深度学习的识别单元来计算传送期间与实际图像的差异，使得仅有无缺陷制品的图像归一化数据可以被卷积，并且可以从神经网络中提取核图像，并且识别异物或无缺陷制品。
引用列表
专利文献
专利文献1：日本特开2001-133233号公报
专利文献2：日本特开2019-211288号公报
专利文献3：日本特开平06-110863号公报
专利文献4：日本特开2019-174481号公报
发明内容
技术问题
例如，假定根据生产情况、原材料的质量等，豆腐、油炸豆腐等发生细微变化。此外，有必要根据生产条件如生产所需的制品数量或处置率及时改变用于确定无缺陷制品或有缺陷制品的确定标准。根据现有技术，这种确定是由人做出的，并且还根据人的经验等来调整确定标准。因此，需要人的工作，并且工作量大。在上述现有技术中，从豆腐制品在生产过程中的特性的观点来看，不能检查豆腐制品，并且不能减少人工检查的负担。
鉴于上述问题，本发明的目的是在生产过程中考虑豆腐制品的特性的同时减少人工检查的负担。
问题的解决方案
为了解决上述问题，本发明具有以下构造。即，一种豆腐制品的检查设备包括：图像捕获单元，所述图像捕获单元构造成捕获待检查的豆腐制品的图像；以及检查装置，所述检查装置相对于用于确定由输入数据指示的豆腐制品的质量的学习模型，使用通过输入作为输入数据由所述图像捕获单元捕获的所述豆腐制品的捕获图像而获得的作为输出数据的评估值，来确定由所述捕获图像指示的所述豆腐制品的质量，通过使用包括豆腐制品的捕获图像的学习数据执行机器学习而生成所述学习模型。
此外，作为本发明的另一方面，提供了以下构造。即，一种豆腐制品的检查方法包括以下步骤：获取步骤，获取待检查的豆腐制品的捕获图像；以及检查步骤，相对于用于确定由输入数据指示的豆腐制品的质量的学习模型，使用通过输入作为输入数据在所述获取步骤中获取的所述豆腐制品的所述捕获图像而获得的作为输出数据的评估值，来确定由所述捕获图像指示的所述豆腐制品的质量，通过使用包括豆腐制品的捕获图像的学习数据执行机器学习而生成所述学习模型。
此外，作为本发明的另一方面，提供了以下构造。即，一种用于使计算机执行以下步骤的程序：获取步骤，获取待检查的豆腐制品的捕获图像；以及检查步骤，相对于用于确定由输入数据指示的豆腐制品的质量的学习模型，使用通过输入作为输入数据在所述获取步骤中获取的所述豆腐制品的所述捕获图像而获得的作为输出数据的评估值，来确定由所述捕获图像指示的所述豆腐制品的质量，通过使用包括豆腐制品的捕获图像的学习数据执行机器学习而生成所述学习模型。
发明的有利效果
根据本发明，可以在生产过程中考虑豆腐制品的特性的同时减少人工检查的负担。
附图说明
[图1]是示出根据本发明的豆腐制品的制造系统的总体构造的示例的示意性构造视图。
[图2]是示出根据本实施方式的豆腐制品的传送的示意图。
[图3]是示出根据第一实施方式的控制装置的功能构造的示例的框图。
[图4]是示出根据第一实施方式的学习处理的概况的概念图。
[图5]是根据第一实施方式的控制装置的处理流程图。
[图6]是示出根据第二实施方式的学习处理的概况的概念图。
具体实施方式
在下文中，将参考附图描述本发明的实施方式。以下描述的实施方式是用于解释本发明的实施方式，并且不旨在解释为限制本发明。此外，并非每个实施方式中描述的所有构造都是用于解决本发明的问题的必要构造。在附图中，相同的部件用相同的附图标记表示以表示对应关系。
<第一实施方式>
在下文中，将描述本发明的第一实施方式。
首先，将描述作为根据本发明的待检查制品的豆腐制品在生产期间的特性。豆腐制品具有制品的形状和外观容易由于原材料、生产环境等的影响而变化的特性。例如，作为一种豆腐制品的油炸豆腐的外观可以根据中间制品的膨胀程度、油炸用油的变质程度等而变化。由于豆腐制品也受到生产环境的影响，制品的形状和外观可以根据生产地点、日常环境变化、生产机器的状态等而变化。即，与诸如电子设备的工业制品相比，豆腐制品可以具有各种形状和外观。
当人工检查豆腐制品的生产时，考虑到当天的生产条件(生产所需的制品数量、处理率等)，基于经验等精细地调整质量确定标准。即，用于确定豆腐制品的质量的标准可能需要根据制造商、生产时间等而变化。此外，可以考虑区域特征、制造商或购买者的口味等来制造豆腐制品，并且从这种观点来看，质量确定标准可以是不同的。
在本发明的第一实施方式中，将描述考虑到上述生产过程中豆腐制品的特性的豆腐制品的检查方法。
[构造概况]
图1是示出根据本实施方式的豆腐制品的制造系统(以下简称为“制造系统”)的总体构造的示意性构造视图。该制造系统包括控制装置1、检查装置2、移除装置5、第一传送装置6、第二传送装置7和存储装置8。这里，制品被统称为“豆腐制品”，但是其中包括的更详细的分类没有特别限制。豆腐制品的示例可包括油炸豆腐、油炸豆腐包、薄油炸豆腐、厚油炸豆腐、豆腐炸肉排和油炸豆腐汉堡。豆腐的示例还可包括包装嫩豆腐、嫩豆腐、棉豆腐、烤豆腐和冷冻豆腐。此外，豆腐制品的示例可包括上述豆腐制品的中间制品、包装之前或之后的制品、或冷却、冷冻或加热之前或之后的制品。在下面的描述中，对于制品(豆腐制品)，确定具有特定质量或更高的制品(即，无缺陷制品)由P表示，而确定具有低于特定质量的质量的制品(即，有缺陷制品)由P'表示。当全面描述该制品时，将省略附图标记。
控制装置1基于由检查装置2获取的图像来控制移除装置5的操作。检查装置2包括图像捕获单元3和照射单元4。图像捕获单元3包括区域相机，例如电荷耦合器件(CCD)相机或互补金属氧化物半导体(CMOS)相机，或线扫描相机，并且捕获由第一传送装置6传送的制品的图像。照射单元4用光照射第一传送装置6(即，待检查制品)，以便在由图像捕获单元3捕获图像时获取更适当的图像。可以基于来自控制装置1的指令执行检查装置2的图像捕获操作。基于来自控制装置1的指令，移除装置5从由第一传送装置6传送的制品中取出指定为有缺陷制品的制品P'，并将制品P'传送到存储装置8。
图1示出了作为移除装置5的并联连杆机器人的示例，但是可以使用串联连杆机器人。线性运动缸可用作移除装置5。移除装置5可以包括具有多个指部的手形抓握装置、诸如真空抽吸垫类型或旋流抽吸类型等的保持装置。移除装置5可以包括双臂机器人、协作机器人等。由于根据本实施方式的移除装置5、检查装置2等处理诸如豆腐制品的食品，因此期望每个都具有根据例如作为用于电子装置的防水/防尘标准的进入保护标准(IP标准)的特定质量。具体地，具有54或更高的IP标准的防水/防尘等级是优选的，并且65或更高的IP是更优选的。
第一传送装置6沿预定传送方向传送多个制品。这里待传送制品可以在一排中传送，或者可以在布置成多排的同时传送。优选地，制品以矩阵或交错方式布置，但制品可以非重叠状态随机传送。检查装置2的检查区域(即，图像捕获单元3的图像捕获区域)设置在第一传送装置6的传送路径上。
图2是示出在根据本实施方式的第一传送装置6上传送制品的状态的概念图。图2中所示的箭头A表示制品的传送方向。区域R表示图像捕获单元3的图像捕获范围，并且也是照射单元4照射光的区域。这里示出了制品以三排传送的示例。对制品的检查结果显示制品P确定为无缺陷制品，制品P'确定为有缺陷制品。这里，有缺陷制品的示例包括形状被削片或破裂的制品、表面上检测到异物的制品等。
移除装置5构造成能在三个轴向方向(X轴、Y轴和Z轴)中的任一个上操作，使得制品P'可在第一传送装置6的传送路径上被取出。轴向方向和原点的设置不受限制，并且在附图中省略。根据本实施方式的第一传送装置6由环形带形成，并且通过连续地旋转环形带而沿预定传送方向(例如，图2中的箭头A的方向)传送制品。尽管在图1中未示出，但是假定制造制品的装置沿传送方向安装在第一传送装置6的上游，并且制造的制品被顺序地传送。由第一传送装置6传送的制品的状态没有特别限制，并且可以是例如仅制品在包装之前的状态或制品被包装的状态。即，可以对包装前的制品或包装后的制品进行根据本实施方式的检查。另选地，可以在包装之前和之后进行检查。
第二传送装置7接收从第一传送装置6传送的多个制品P并沿预定传送方向传送制品P。在图1的示例中，第一传送装置6的传送方向和第二传送装置7的传送方向彼此正交，并且矩阵阵列被改变为用于传送的单排阵列。第一传送装置6的传送速度和第二传送装置7的传送速度可以相同或不同。第一传送装置6和第二传送装置7中的每一个可以构造为传送机类型(例如，带式传送机、网式传送机、条式传送机、板条带链等)，并且不受特别限制。虽然未示出，但是第二传送装置7可以以堆叠的方式传送制品P(仅无缺陷制品)，可以以倒置的方式传送制品P，或者可以以对齐的方式传送制品P。此后，可以进一步提供传送装置，并且可以在适当的位置进一步提供检查装置或移除装置。在这种情况下进一步提供的传送装置、检查装置或移除装置可以具有与上述第一传送装置6、第二传送装置7、检查装置2或移除装置5相同的构造，或者可以具有不同的构造。
存储装置8存储被确定为有缺陷制品的制品P'。所存储的制品P'可以经由存储装置8被传送到不同的地方，或者可以被手动移除。被确定为有缺陷制品的制品P'可以被丢弃，或者可以用于另一目的(例如，中间制品或诸如切碎的油炸豆腐的处理制品的再生产)。
图1的示例示出了其中由移除装置5移除确定为有缺陷制品的制品P'的构造，但是本发明不限于此。例如，根据确定为无缺陷制品的制品P和确定为有缺陷制品的制品P'的比率，确定为无缺陷制品的制品P可通过对齐装置(未示出)从传送的制品中取出并传送到随后的传送装置以对齐。此时，对齐装置(未示出)可执行诸如将制品P包装在盒中并沿竖直方向或水平方向对齐预定数量的制品P(例如，在油炸豆腐的情况下为10个制品)的操作，使得制品P被堆叠。另选地，可以使用移除装置5移除被确定为有缺陷制品的制品P'，并且可以使用中继装置(未示出)将被确定为无缺陷制品的制品P从第一传送装置6传送到第二传送装置7。另选地，以规则的间隔传送制品的传送装置可以构造成使得在传送路径上提供分支，并且传送被切换成使得被确定为无缺陷制品的制品P和被确定为有缺陷制品的制品P'前进到不同的路径用于分拣。根据这种确定结果移除或分拣制品的分拣功能可以通过在传送路径上提供诸如翻转式、上出式、下出式、空气喷射式、往返式、载体式、推动器式、斜槽式、梭式、通道器式或触线选择器式的机构来实现。
图1的示例示出了其中制品由制造系统中的装置传送、分拣等的构造，但是本发明不限于此。例如，手工作业可以作为分拣的一部分来执行。例如，制造系统可以通知工人，使得工人可以可视地确认确定为有缺陷制品的制品P'，并且工人工作以移除制品P'。这里的通知可以例如通过在显示装置(未示出)上显示确定为有缺陷制品的制品P'的图像来执行，或者可以通过在传送装置上用光等照亮制品P'来执行。此时，工人可以确认由制造系统通知的制品，然后确定是否实际取出该制品。
[装置构造]
图3是示出根据本实施方式的控制装置1的功能构造的示例的框图。控制装置1例如可以是诸如个人计算机(PC)的信息处理装置。图3所示的每个功能可以通过控制单元(未示出)读取和执行存储在存储单元(未示出)中的根据本实施方式的功能的程序来实现。存储单元可以包括作为易失性存储区域的随机存取存储器(RAM)、作为非易失性存储区域的只读存储器(ROM)、硬盘驱动器(HDD)等。中央处理单元(CPU)、图形处理单元(GPU)、图形处理单元上的通用计算(GPGPU)等可用作控制单元。
控制装置1包括检查装置控制单元11、移除装置控制单元12、学习数据获取单元13、学习处理单元14、检查数据获取单元15、检查处理单元16、检查结果确定单元17以及显示控制单元18。
检查装置控制单元11控制检查装置2以控制图像捕获单元3的图像捕获定时和图像捕获设置以及照射单元4的照射定时和照射设置。移除装置控制单元12基于制品是无缺陷制品还是有缺陷制品的确定结果来控制移除装置5移除第一传送装置6的传送路径上的制品P'。
学习数据获取单元13获取在由学习处理单元14执行的学习处理中使用的学习数据。稍后将描述学习数据的细节，并且可以基于例如制造系统的管理员的操作来输入学习数据。学习处理单元14使用所获取的学习数据执行学习处理以生成学习模型。稍后将描述根据本实施方式的学习处理的细节。检查数据获取单元15获取由检查装置2捕获的图像作为检查数据。检查处理单元16将由学习处理单元14生成的学习模型应用于由检查数据获取单元15获取的检查数据，以检查其图像被捕获为检查数据的制品。
检查结果确定单元17基于检查处理单元16的检查结果来确定移除装置控制单元12的控制内容。然后，检查结果确定单元17将基于所确定的控制内容的信号输出到移除装置控制单元12。显示控制单元18基于检查结果确定单元17的确定结果来控制显示在显示单元(未示出)上的显示屏幕(未示出)。显示屏幕(未示出)可以显示例如基于检查结果确定单元17的确定结果而被确定为有缺陷制品的制品的统计值、被确定为有缺陷制品的制品P'的实际图像等。
[学习处理]
在本实施方式中，使用机器学习中的神经网络的深度学习方法作为学习方法，并且将作为示例描述监督学习。深度学习的更具体方法(算法)没有特别限制，例如，可以使用诸如卷积神经网络(CNN)的已知方法。图4是示出根据本实施方式的学习处理的概念的示意图。在本实施方式中使用的学习数据包括作为输入数据的制品的一对图像数据和作为教师数据的通过对制品上的人(豆腐制品的制造商)进行评估而获得的评估值。这里，从0到100的值被设置为评估值，并且数目越大，评估就越高。评估值的粒度不限于此，并且例如，评估可以在三个阶段A、B和C中执行，或者通过无缺陷制品/有缺陷制品的两个值来执行，或者可以通过多个有缺陷制品项目中的每一个的评估值来执行。用于归一化制品的评估值的方法不限于上述方法，并且可以使用其他分类。除了神经网络之外的机器学习没有特别限制，只要它是广义上的机器学习，例如决策树、支持向量机、随机森林和回归分析(多变量分析、多元回归分析)。
当准备为学习数据的输入数据(这里是豆腐制品的图像数据)被输入到学习模型时，评估值作为输入数据的输出数据被输出。接着，通过使用输出数据和作为学习数据准备的教师数据(这里，由图像数据指示的豆腐制品的评估值)的损失函数导出误差。然后，调整学习模型中的参数以减小误差。例如，可以使用误差反向传播方法等来调整参数。这样，通过使用多个学习数据重复执行学习来生成学习模型。
在本实施方式中使用的学习模型可以具有使用来自根本不执行学习的状态的学习数据来执行学习的构造。然而，为了获得最佳的学习模型，需要大量的学习数据，并且由于使用学习数据的学习处理的重复而导致的处理负荷也很重。因此，通过用新的学习数据更新学习模型，用户(例如，豆腐制品的制造商)可能会有负担。因此，为了识别图像，其中已经进行了一定程度的学习的学习模型的参数可以用于大量的图像数据。考虑到图像识别进行深度学习的学习处理的学习模型包括即使在图像识别的目标不同时也可以普遍使用的部分。在通过图像识别增强的学习模型中，已经进行了卷积层和合并层(包括几十到几百层)中的参数的调整。在本实施方式中，例如，可以使用所谓的转移学习的学习模型，其中来自输入侧的大多数卷积层的参数值是固定的而不改变，并且在输出侧为若干层(例如，仅最后一层到若干层)学习新的学习数据(例如，豆腐制品的图像)以调整参数。当使用这样的转移学习模型时，新的学习数据的数量相对较少，并且具有可以容易地更新学习模型同时减少重新学习的处理负荷的优点。
学习处理不一定必须由控制装置1执行。例如，制造系统可以构造成向在制造系统外部提供的学习服务器(未示出)提供学习数据，并且在服务器侧执行学习处理。然后，如果需要，服务器可以向控制装置1提供学习模型。这样的学习服务器可以位于诸如因特网的网络(未示出)上，并且服务器和控制装置1能通信地彼此连接。
[处理流程]
以下，参见图5描述根据本实施方式的控制装置1的处理流程。例如，通过控制装置1中包括的CPU(未示出)或GPU(未示出)读取并执行存储在诸如HDD的存储装置(未示出)中的程序，来实现下面将要描述的处理。以下处理可在制造系统操作时连续执行。
在S501中，控制装置1获取通过执行学习处理而生成的学习模型中的最新的学习模型。每当对学习模型及时重复学习处理时，更新学习模型。因此，控制装置1在本处理开始时获取最新的学习模型，在以后的处理中使用最新的学习模型。
在S502中，控制装置1使检查装置2开始捕获第一传送装置6的传送路径上的图像。此外，控制装置1操作第一传送装置6和第二传送装置7以开始传送制品。
在S503中，控制装置1根据第一传送装置6对制品的传送来获取从检查装置2及时发送的检查数据(制品的图像)。当被传送制品之间的传送间隔或每个制品被布置的传送位置在传送路径上被预先限定时，制品的图像可以基于该位置被单独地捕获。另选地，当从检查装置2及时发送的检查数据是运动图像时，可以以预定间隔从运动图像中提取帧，并且可以将该帧作为图像数据处理。捕获的原始图像数据可以直接用作制品的图像。原始图像数据可以通过适当地经受数据清洁处理(不包括其特征对于人类难以观看的数据)或填充处理(具有增加的噪声的多个图像或具有调整的亮度的多个图像也被添加到学习数据)而被用作学习数据。通过对原始图像数据应用特定图像处理而获得的经处理的图像数据可用作学习数据。特定图像处理可包括例如各种类型的滤波处理，诸如轮廓处理(边缘处理)、位置校正处理(旋转、中心位置移动等)、亮度校正、阴影校正、对比度转换、卷积处理、差分(主差分、次差分)、二值化、噪声移除(平滑)、轮廓平滑、实时阴影校正、模糊处理、实时差分、对比度扩展、滤波系数处理(平均、中值、收缩、扩展)等。预处理和数据处理具有诸如减少和调整学习数据的数量、提高学习效率、减少干扰影响等优点。
在S504中，控制装置1将在S503中获取的检查数据(制品的图像数据)输入到学习模型。由此，输出由检查数据指示的制品的评估值作为输出数据。根据评估值确定待检查制品是无缺陷制品还是有缺陷制品。
在S505中，控制装置1基于在S504中获得的评估值确定待检查制品是否是有缺陷制品。当检测到有缺陷制品时(S505中为是)，控制装置1的处理进行到S506。另一方面，当未检测到有缺陷制品时(S505中为否)，控制装置1的处理进行到S507。
例如，在评估值被评估为0到100的构造中，可以设置用于评估值的阈值，并且可以通过将阈值与从学习模型输出的评估值进行比较来确定待检查制品是无缺陷制品还是有缺陷制品。在这种情况下，作为用于确定制品是无缺陷制品还是有缺陷制品的标准的阈值可以由制造系统的管理员(例如，豆腐制品的制造商)在任何时间通过设置屏幕(未示出)来设置。如上所述，本实施方式中待检查豆腐制品的外观和形状可以根据各种因素而改变。考虑到这种变化，管理员能够控制由学习模型获得的输出数据的阈值。在评估值由A、B和C评估的构造中，评估值A和B可被视为无缺陷制品，而评估值C可被视为有缺陷制品。此时，可以将具有评估值A的制品视为无缺陷制品，并且可以将具有评估值B的制品视为准无缺陷制品。可设置多个阈值，且所述阈值可用于确定在无缺陷制品与有缺陷制品之间分级的准无缺陷制品。
在S506中，控制装置1通过指示移除装置5移除在S505中检测为有缺陷制品的制品来控制移除装置5。此时，为了移除被检测为有缺陷制品的制品P'，控制装置1基于从检查装置2获取的检查数据、第一传送装置6的传送速度等来指定要移除的制品P'的位置。作为指定制品位置的方法，可以使用已知的方法，并且这里将省略其详细描述。移除装置5基于来自控制装置1的指令将待移除的制品P'传送到存储装置8。
即使当豆腐制品的外观质量不满足某一标准时，该豆腐制品也可用作另一种处理制品的原料。因此，例如，在通过A、B和C评估评估值的构造中，评估值A可以被视为无缺陷制品，评估值B可以被视为处理目标，并且评估值C可以被视为有缺陷制品。另选地，在被转移用于处理的情况下，可以根据转移目的地使用更多的分类。在这种情况下，控制装置1可以控制移除装置5，使得被确定为具有评估值B的制品被存储在处理制品的存储装置(未示出)中。待转移的处理制品的示例包括由油炸豆腐制造切碎的油炸豆腐、由豆腐制造油炸豆腐汉堡以及将精细糊化的液体(再生液体)与豆汁或豆奶混合以重新使用。
在S507中，控制装置1确定生产操作是否停止。生产操作的停止可以响应于检测到停止从第一传送装置6的上游侧供应制品来确定，或者可以基于来自上游装置的通知来确定。当生产操作停止时(S507中为是)，控制装置1的处理进行到S508。另一方面，当不停止生产操作时(S507中为否)，控制装置1的处理返回到S503，并且重复相应的处理。
在S508中，控制装置1停止第一传送装置6的传送操作。控制装置1可以对在S501中获取的学习模型执行初始化处理的操作。然后，结束本处理流程。
在S503中获取的检查数据可以被存储以用于将来的学习处理。在这种情况下，可以执行图像处理，使得所获取的检查数据变成用于学习的图像数据。
[显示处理]
在本实施方式中，当作为对豆腐制品的制品检查的结果，在显示单元(未示出)上显示确定为有缺陷制品的制品P'的图像时，可以显示用于确定为有缺陷制品的基础(有缺陷部分)。在如上所述的神经网络的学习中，存在诸如GRAD-CAM或引导的Grad-CAM的可视化方法。通过使用这种方法，当待检查制品被确定为有缺陷制品时，聚焦区域可以被指定为确定的基础，并且该区域可以被可视化并显示。即使在制品被确定为无缺陷制品的情况下，当其评估值接近用于确定为有缺陷制品的评估值时，可使用上述方法指定并显示聚焦区域。
如上所述，根据本实施方式，可以在生产过程中考虑豆腐制品的特性的同时减少人工检查的负担。
对于外观容易受生产环境、原材料等影响的豆腐制品，制造商(例如，制造系统的管理员)可以根据情况反映用于确定制品是无缺陷制品还是有缺陷制品的标准，因此可以根据制造商确定质量。
<第二实施方式>
在下文中，将描述本发明的第二实施方式。在第一实施方式中描述了将监督学习用作学习处理的示例。相反，在本发明的第二实施方式中描述了将无监督学习用作学习处理的示例。省略对与第一实施方式相同的构造的描述，并且聚焦于不同点进行描述。
[学习处理]
在本实施方式中，使用机器学习中的神经网络的深度学习方法作为学习方法，并且将描述无监督学习作为示例。深度学习的更具体方法(算法)没有特别限制，并且可以使用诸如变分自动编码器(VAE)的已知方法。图6是示出根据本实施方式的学习处理的概念的示意图。
本实施方式中使用的学习数据是制品的图像数据。在此仅使用由制造系统的管理员(例如，豆腐制品的制造商)确定为无缺陷制品的制品(豆腐制品)的图像数据作为图像数据。在相关技术中，难以准备指示确定为有缺陷制品的制品的变化的所有教师数据(图像数据)。因此，在本实施方式中，仅使用无缺陷制品的图像数据执行学习，并且生成用于确定制品是否是无缺陷制品的学习模型。
根据本实施方式的学习模型包括编码器和解码器。编码器通过使用输入数据生成具有多个维度的向量数据。解码器使用由编码器产生的向量数据来恢复图像数据。
当准备作为学习数据的输入数据(这里为豆腐制品(无缺陷制品)的图像数据)被输入到学习模型时，通过编码器和解码器的操作，豆腐制品(无缺陷制品)的恢复图像数据作为输入数据的输出数据被输出。接下来，输出数据和原始输入数据(即，豆腐制品(无缺陷制品)的图像数据)被用于通过损失函数导出误差。然后，调整学习模型中的编码器和解码器的参数以减少误差。例如，可以使用误差反向传播方法等来调整参数。通过以此方式使用多个学习数据重复执行学习，生成能够恢复豆腐制品(无缺陷制品)的图像数据的学习模型。
在本实施方式中，实现了使用学习模型来检测有缺陷制品的检测功能。将豆腐制品的图像数据输入到学习模型，将作为图像数据的输出而获得的恢复图像数据与输入图像数据进行比较，并且当恢复图像数据与输入图像数据之间的差大于预定阈值时，将由输入图像数据指示的豆腐制品确定为有缺陷制品。另一方面，当差值等于或小于预定阈值时，由输入图像数据指示的豆腐制品被确定为无缺陷制品。换句话说，基于与被确定为无缺陷制品的豆腐制品的图像数据存在多少差异来确定由输入图像数据指示的制品是否是有缺陷制品。这里的阈值可以是作为差异的区域的大小(例如，像素的数量)的阈值，或者可以是作为差异的区域的数量的阈值。另选地，可以使用图像上的像素值(RGB值)的差异。
对学习模型的中间阶段中的向量数据(潜在变量)的维数没有特别限制，并且可以由制造系统的管理员(例如，豆腐制品的制造商)指定，或者可以使用已知方法来确定。维数可以根据处理负荷或检测精度来确定。
[处理流程]
根据本实施方式的处理流程基本上与第一实施方式中参照图5描述的处理流程相同。此时，假设已经执行了图6所示的无监督学习的学习处理，并且已经生成了学习模型。处理之间的差异是S504中的处理的内容。
在S504中，控制装置1将指示待检查制品的图像数据输入到由无监督学习生成的学习模型。结果，获得恢复图像数据。控制装置1获得恢复图像数据与输入图像数据之间的差异。当差值大于预定阈值时，控制装置1确定由输入图像数据指示的豆腐制品是有缺陷制品。另一方面，当差值等于或小于预定阈值时，控制装置1确定由输入图像数据指示的豆腐制品是无缺陷制品。可以使用图6所示的损失函数来计算该差值。即，可以将该差值作为输入图像数据的评估值来处理。用于确定的预定阈值可以由制造系统的管理员(例如，豆腐制品的制造商)在任何时间设置为任何值，或者可以由制造系统基于预定条件来设置。这里的设置条件可以基于例如需要制造的制品数量、丢弃率等来设置。
[显示处理]
在本实施方式中，当作为对豆腐制品的制品的检查结果，在显示单元(未示出)上显示确定为有缺陷制品、准无缺陷制品等而不是无缺陷制品的制品P'的图像时，可以显示确定为有缺陷制品或准无缺陷制品的基础或原因。在如上所述的自动编码器中，可以通过将输入数据与输出数据进行比较来指定与输入数据和输出数据之间的差相对应的位置。可以将图标(例如红圈)添加到指定位置，或者可以对指定位置进行颜色编码以可视化并显示。
在本实施方式中，仅使用豆腐制品(无缺陷制品)的图像数据执行学习，并且使用作为学习的结果获得的学习模型将豆腐制品的制品确定为无缺陷制品或有缺陷制品。
在本实施方式中，可以存储指示在步骤S504中确定为无缺陷制品的制品P的图像数据，以便用作随后的学习数据。在这种情况下，所存储的图像数据是否被用作学习数据可以以可选择的方式呈现给制造系统的管理员。
如上所述，根据本实施方式，除了第一实施方式的效果之外，通过使用无监督学习，可以减少与生成学习数据相关的时间和精力。
<其他实施方式>
在上述实施方式中，如图1所示，检查装置2构造成捕获用于检查的制品的仅一个表面(图1中的上表面)的图像。然而，本发明不限于此，例如，除了前表面之外，还可以获取和检查后表面或侧表面的图像。在这种情况下，可以提供多个检查装置2，并且可以通过包括在多个相应检查装置2中的图像捕获单元(相机)从多个方向捕获制品的图像。例如，可以安装第一图像捕获单元(未示出)以便从第一方向捕获制品的前表面的图像，并且可以安装第二图像捕获单元(未示出)以便从第二方向捕获制品的后表面的图像。另选地，可以在第一传送装置6中设置使传送路径上的制品反转的构造(反转机构)，并且可以在反转之前和之后捕获制品的图像，并且可以使用捕获图像来执行检查。此时，可以对制品的前表面、后表面和侧表面使用不同的学习模型进行检查。即，根据由第一传送装置6传送的制品的类型、包装状态等，使用前表面、后表面和侧表面的不同学习数据来执行学习，从而生成对应于各个表面的学习模型。然后，可以使用对应于图像捕获方向的学习模型来执行检查。
在上述实施方式中，照射单元4从与图1所示的图像捕获单元3(相机)相同的方向用光照射制品。然而，本发明不限于这种构造，例如，图像捕获单元3和照射单元4可以具有面向制品的不同位置和取向。在这种构造的情况下，例如，照射单元4可以包括用红外射线的波长照射制品的光源，并且图像捕获单元3可以基于制品的透射光、透射反射光或透射散射光来获取图像数据。然后，可以基于由图像数据指示的制品的内部信息来检查制品。
如上所述，在本说明书中公开了以下事项。
(1)一种豆腐制品的检查设备，所述豆腐制品的检查设备包括：
图像捕获单元，所述图像捕获单元构造成捕获待检查的豆腐制品的图像；以及
检查装置，所述检查装置相对于用于确定由输入数据指示的豆腐制品的质量的学习模型，使用通过输入作为输入数据由所述图像捕获单元捕获的所述豆腐制品的捕获图像而获得的作为输出数据的评估值，来确定由所述捕获图像指示的所述豆腐制品的质量，通过使用包括豆腐制品的捕获图像的学习数据执行机器学习而生成所述学习模型。
根据该构造，可以在生产过程中考虑豆腐制品的特性的同时减少人工检查的负担。
(2)根据(1)所述的豆腐制品的检查设备，
其中，所述检查装置将所述输入数据的所述评估值与预定阈值进行比较，以通过包括无缺陷制品的多个分类来确定由所述输入数据指示的所述豆腐制品的质量。
根据该构造，可基于预设阈值通过包括无缺陷制品的多个分类来确定豆腐制品的质量。
(3)根据(2)所述的豆腐制品的检查设备，所述豆腐制品的检查设备还包括：
设置装置，所述设置装置用于接收所述预定阈值的设置。
根据该构造，豆腐制品的制造商可以根据需要设置阈值作为用于确定该豆腐制品是无缺陷制品还是有缺陷制品的标准。
(4)根据(1)至(3)中的任一项所述的豆腐制品的检查设备，所述豆腐制品的检查设备还包括：
学习处理装置，所述学习处理装置用于通过使用豆腐制品的新的(未知的、未学习的)捕获图像重复地执行机器学习来新生成和更新所述学习模型。
根据该构造，豆腐制品的检查设备可以更新具有未知(未学习)评估值的新捕获图像数据的学习模型，并且可以根据待检查的豆腐制品执行学习处理。
(5)根据(1)至(4)中的任一项所述的豆腐制品的检查设备，
其中，所述机器学习是使用学习数据的监督学习，在所述学习数据中，将豆腐制品的捕获图像与对应于由所述捕获图像指示的所述豆腐制品的质量的评估值进行配对。
根据该构造，可以使用基于豆腐制品的制造商设置的设置值的学习数据来执行通过监督学习的检查。
(6)根据(5)所述的豆腐制品的检查设备，
其中，所述评估值是由预定范围内的分数表示的值。
根据该构造，豆腐制品的制造商可以在豆腐制品的任何范围内标准化和设置评估值，并使用标准化的设置评估值作为学习数据，并且可以基于学习数据获取检查结果。
(7)根据(1)至(3)中的任一项所述的豆腐制品的检查设备，
其中，所述机器学习是使用指示豆腐制品的无缺陷制品的捕获图像作为学习数据的无监督学习。
根据该构造，豆腐制品的制造商可以仅准备作为无缺陷制品的豆腐制品的图像数据，并且可以减少用于准备学习所需的数据的负担。
(8)根据(1)至(7)中的任一项所述的豆腐制品的检查设备，所述豆腐制品的检查设备还包括：
显示装置，所述显示装置基于所述检查装置的检查结果，来显示指示被确定为不同于无缺陷制品的分类的豆腐制品的捕获图像。
根据该构造，豆腐制品的制造商可以确认被确定为不同于无缺陷制品的分类的实际豆腐制品的图像。
(9)根据(8)所述的豆腐制品的检查设备，
其中，所述显示装置指定并显示所述捕获图像的指示被确定为有缺陷制品的豆腐制品的部分，所述部分使得被确定为不同于无缺陷制品的分类。
根据该构造，豆腐制品的制造商可以更清楚地确认被确定为不同于无缺陷制品的分类的实际豆腐制品的图像及其原因。
(10)根据(1)至(9)中的任一项所述的豆腐制品的检查设备，
其中，所述图像捕获单元包括：
第一图像捕获单元，所述第一图像捕获单元构造成从第一方向捕获所述豆腐制品的图像；以及
第二图像捕获单元，所述第二图像捕获单元构造成从不同于所述第一方向的第二方向捕获所述豆腐制品的图像，并且
其中，所述检查装置使用由所述第一图像捕获单元和所述第二图像捕获单元捕获的图像作为所述输入数据。
根据该构造，可以从多个视点检查豆腐制品，并且可以以更高的精度执行检查。
(11)根据(10)所述的豆腐制品的检查设备，
其中，所述第一方向是用于捕获所述豆腐制品的前表面的图像的方向，并且
其中，所述第二方向是用于捕获所述豆腐制品的后表面的图像的方向。
根据该构造，通过检查豆腐制品的前表面和后表面，可以以更高的精度执行检查。
(12)根据(10)或(11)所述的豆腐制品的检查设备，
其中，在所述检查装置中，在由所述第一图像捕获单元捕获的捕获图像被用作所述输入数据的情况下的学习模型不同于在由所述第二图像捕获单元捕获的捕获图像被用作输入数据的情况下的学习模型。
根据该构造，通过根据豆腐制品的待检查方向切换要使用的学习模型，可以根据方向执行检查，并且因此可以以更高的精度执行检查。
(13)根据(1)至(12)中的任一项所述的豆腐制品的检查设备，
其中，所述豆腐制品为包装嫩豆腐、嫩豆腐、棉豆腐、烤豆腐、冷冻豆腐、油炸豆腐、油炸豆腐包、薄油炸豆腐、厚油炸豆腐、豆腐炸肉排和油炸豆腐汉堡中的任一种。
根据该构造，可以对应于特定类型的制品检查豆腐制品。
(14)一种豆腐制品的制造系统，所述豆腐制品的制造系统包括：
根据(1)至(13)中的任一项所述的豆腐制品的检查设备；
传送装置，所述传送装置构造成传送豆腐制品；以及
分拣机构，所述分拣机构构造成基于所述豆腐制品的检查设备的检查结果对由所述传送装置传送的所述豆腐制品进行分拣。
根据该构造，可以提供豆腐制品的制造系统，该豆腐制品的制造系统在生产过程中考虑豆腐制品的特性的同时，减少了根据质量对制品进行人工检查和分拣的负担。
(15)根据(14)所述的豆腐制品的制造系统，所述豆腐制品的制造系统还包括：
对齐装置，所述对齐装置构造成基于所述豆腐制品的检查设备的检查结果，根据预定规则对齐由所述分拣机构分拣的所述豆腐制品。
根据该构造，可以提供豆腐制品的制造系统，该豆腐制品的制造系统在生产过程中考虑豆腐制品的特性的同时，减少了根据质量对制品进行人工检查和对齐的负担。
(16)一种豆腐制品的检查方法，所述豆腐制品的检查方法包括以下步骤：
获取步骤，获取待检查的豆腐制品的捕获图像；以及
检查步骤，相对于用于确定由输入数据指示的豆腐制品的质量的学习模型，使用通过输入作为输入数据在所述获取步骤中获取的所述豆腐制品的所述捕获图像而获得的作为输出数据的评估值，来确定由所述捕获图像指示的所述豆腐制品的质量，通过使用包括豆腐制品的捕获图像的学习数据执行机器学习而生成所述学习模型。
根据该构造，可以在生产过程中考虑豆腐制品的特性的同时减少人工检查的负担。
(17)一种用于使计算机执行以下步骤的程序：
获取步骤，获取待检查的豆腐制品的捕获图像；以及
检查步骤，相对于用于确定由输入数据指示的豆腐制品的质量的学习模型，使用通过输入作为输入数据在所述获取步骤中获取的所述豆腐制品的所述捕获图像而获得的作为输出数据的评估值，来确定由所述捕获图像指示的所述豆腐制品的质量，通过使用包括豆腐制品的捕获图像的学习数据执行机器学习而生成所述学习模型。
根据该构造，可以在生产过程中考虑豆腐制品的特性的同时减少人工检查的负担。
尽管以上参考附图描述了各种实施方式，但不必说，本发明不限于这些示例。显然，本领域技术人员可以在权利要求的范围内构思各种修改和变更，并且应当理解，这些修改和变更自然落入本发明的技术范围内。上述实施方式中的部件可以在不脱离本发明精神的范围内组合。
本申请基于2020年4月30日提交的日本专利申请(日本专利申请No.2020-080296)和2020年11月18日提交的日本专利申请(日本专利申请No.2020-191601)，其内容通过引用并入本文。
附图标记列表
1：控制装置
2：检查装置
3：图像捕获单元
4：照射单元
5：移除装置
6：第一传送装置
7：第二传送装置
8：存储装置
P：制品(无缺陷制品)
P'：制品(有缺陷制品)
11：检查装置控制单元
12：移除装置控制单元
13：学习数据获取单元
14：学习处理单元
15：检查数据获取单元
16：检查处理单元
17：检查结果确定单元
18：显示控制单元

Claims (17)

1.一种豆腐制品的检查设备，所述豆腐制品的检查设备包括：
图像捕获单元，所述图像捕获单元构造成捕获待检查的豆腐制品的图像；以及
检查装置，所述检查装置相对于用于确定由输入数据指示的豆腐制品的质量的学习模型，使用通过输入作为输入数据由所述图像捕获单元捕获的所述豆腐制品的捕获图像而获得的作为输出数据的评估值，来确定由所述捕获图像指示的所述豆腐制品的质量，通过使用包括豆腐制品的捕获图像的学习数据执行机器学习而生成所述学习模型。
2.根据权利要求1所述的豆腐制品的检查设备，
其中，所述检查装置将所述输入数据的所述评估值与预定阈值进行比较，以通过包括无缺陷制品的多个分类来确定由所述输入数据指示的所述豆腐制品的质量。
3.根据权利要求2所述的豆腐制品的检查设备，所述豆腐制品的检查设备还包括：
设置装置，所述设置装置用于接收所述预定阈值的设置。
4.根据权利要求1至3中的任一项所述的豆腐制品的检查设备，所述豆腐制品的检查设备还包括：
学习处理装置，所述学习处理装置用于通过使用豆腐制品的新的捕获图像重复地执行机器学习来新生成和更新所述学习模型。
5.根据权利要求1至4中的任一项所述的豆腐制品的检查设备，
其中，所述机器学习是使用学习数据的监督学习，在所述学习数据中，将豆腐制品的捕获图像与对应于由所述捕获图像指示的所述豆腐制品的质量的评估值进行配对。
6.根据权利要求5所述的豆腐制品的检查设备，
其中，所述评估值是由预定范围内的分数表示的值。
7.根据权利要求1至4中的任一项所述的豆腐制品的检查设备，
其中，所述机器学习是使用指示豆腐制品的无缺陷制品的捕获图像作为学习数据的无监督学习。
8.根据权利要求1至7中的任一项所述的豆腐制品的检查设备，所述豆腐制品的检查设备还包括：
显示装置，所述显示装置基于所述检查装置的检查结果，来显示指示被确定为不同于无缺陷制品的分类的豆腐制品的捕获图像。
9.根据权利要求8所述的豆腐制品的检查设备，
其中，所述显示装置指定并显示所述捕获图像的指示被确定为不同于所述无缺陷制品的分类的豆腐制品的部分，所述部分使得被确定为不同于所述无缺陷制品的分类。
10.根据权利要求1至9中的任一项所述的豆腐制品的检查设备，
其中，所述图像捕获单元包括：
第一图像捕获单元，所述第一图像捕获单元构造成从第一方向捕获所述豆腐制品的图像；以及
第二图像捕获单元，所述第二图像捕获单元构造成从不同于所述第一方向的第二方向捕获所述豆腐制品的图像，并且
其中，所述检查装置使用由所述第一图像捕获单元和所述第二图像捕获单元捕获的图像作为所述输入数据。
11.根据权利要求10所述的豆腐制品的检查设备，
其中，所述第一方向是用于捕获所述豆腐制品的前表面的图像的方向，并且
其中，所述第二方向是用于捕获所述豆腐制品的后表面的图像的方向。
12.根据权利要求10或11所述的豆腐制品的检查设备，
其中，在所述检查装置中，在由所述第一图像捕获单元捕获的捕获图像被用作所述输入数据的情况下的学习模型不同于在由所述第二图像捕获单元捕获的捕获图像被用作输入数据的情况下的学习模型。
13.根据权利要求1至12中的任一项所述的豆腐制品的检查设备，
其中，所述豆腐制品为包装嫩豆腐、嫩豆腐、棉豆腐、烤豆腐、冷冻豆腐、油炸豆腐、油炸豆腐包、薄油炸豆腐、厚油炸豆腐、豆腐炸肉排和油炸豆腐汉堡中的任一种。
14.一种豆腐制品的制造系统，所述豆腐制品的制造系统包括：
根据权利要求1至13中的任一项所述的豆腐制品的检查设备；
传送装置，所述传送装置构造成传送豆腐制品；以及
分拣机构，所述分拣机构构造成基于所述豆腐制品的检查设备的检查结果对由所述传送装置传送的所述豆腐制品进行分拣。
15.根据权利要求14所述的豆腐制品的制造系统，所述豆腐制品的制造系统还包括：
对齐装置，所述对齐装置构造成基于所述豆腐制品的检查设备的检查结果，根据预定规则对齐由所述分拣机构分拣的所述豆腐制品。
16.一种豆腐制品的检查方法，所述豆腐制品的检查方法包括以下步骤：
获取步骤，获取待检查的豆腐制品的捕获图像；以及
检查步骤，相对于用于确定由输入数据指示的豆腐制品的质量的学习模型，使用通过输入作为输入数据在所述获取步骤中获取的所述豆腐制品的所述捕获图像而获得的作为输出数据的评估值，来确定由所述捕获图像指示的所述豆腐制品的质量，通过使用包括豆腐制品的捕获图像的学习数据执行机器学习而生成所述学习模型。
17.一种用于使计算机执行以下步骤的程序：
获取步骤，获取待检查的豆腐制品的捕获图像；以及
检查步骤，相对于用于确定由输入数据指示的豆腐制品的质量的学习模型，使用通过输入作为输入数据在所述获取步骤中获取的所述豆腐制品的所述捕获图像而获得的作为输出数据的评估值，来确定由所述捕获图像指示的所述豆腐制品的质量，通过使用包括豆腐制品的捕获图像的学习数据执行机器学习而生成所述学习模型。
CN202180022271.5A 2020-04-30 2021-04-30 豆腐制品的检查设备、豆腐制品的制造系统、豆腐制品的检查方法及程序 Pending CN115335855A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2020-080296 2020-04-30
JP2020080296 2020-04-30
JP2020-191601 2020-11-18
JP2020191601A JP7248316B2 (ja) 2020-04-30 2020-11-18 豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラム
PCT/JP2021/017304 WO2021221176A1 (ja) 2020-04-30 2021-04-30 豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN115335855A true CN115335855A (zh) 2022-11-11

Family

ID=78332086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180022271.5A Pending CN115335855A (zh) 2020-04-30 2021-04-30 豆腐制品的检查设备、豆腐制品的制造系统、豆腐制品的检查方法及程序

Country Status (5)

Country Link
US (1) US20230145715A1 (zh)
JP (1) JP2022008924A (zh)
KR (1) KR20230004506A (zh)
CN (1) CN115335855A (zh)
WO (1) WO2021221176A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375609A (zh) * 2021-05-21 2022-11-22 泰连服务有限公司 自动零件检查系统
TWI796111B (zh) * 2022-01-21 2023-03-11 沈岱範 咖啡瑕疵豆篩選機及其篩選方法
JP7189642B1 (ja) 2022-07-20 2022-12-14 株式会社ティー・エム・ピー 油揚の検査装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2838343B2 (ja) * 1992-09-28 1998-12-16 株式会社 高井製作所 ニューラルネットワークを用いた判別方法
JP2001133233A (ja) 1999-11-05 2001-05-18 Nichimo Co Ltd 被検出物の形状における欠損検出方法および装置
WO2018038123A1 (ja) * 2016-08-22 2018-03-01 キユーピー株式会社 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法
JP6795788B2 (ja) * 2017-01-24 2020-12-02 株式会社安川電機 産業機器用の画像認識装置及び画像認識方法
JP2019211288A (ja) * 2018-06-01 2019-12-12 埼玉県 食品検査システムおよびプログラム

Also Published As

Publication number Publication date
US20230145715A1 (en) 2023-05-11
JP2022008924A (ja) 2022-01-14
WO2021221176A1 (ja) 2021-11-04
KR20230004506A (ko) 2023-01-06

Similar Documents

Publication Publication Date Title
CN115335855A (zh) 豆腐制品的检查设备、豆腐制品的制造系统、豆腐制品的检查方法及程序
RU2710146C1 (ru) Устройство для получения и анализа характерных данных для продуктов пищевой промышленности, установка, содержащая такое устройство, и способ обработки продуктов пищевой промышленности
US9014434B2 (en) Method for scoring and controlling quality of food products in a dynamic production line
JP2008541007A (ja) 食品の異物検出装置
JP2010145135A (ja) Ｘ線検査装置
JP4734620B2 (ja) 汚卵検査装置
Tao Spherical transform of fruit images for on-line defect extraction of mass objects
JP2019211288A (ja) 食品検査システムおよびプログラム
Nandini et al. A review on applications of machine vision systems in industries
KR102636470B1 (ko) 학습 완료 모델의 생성 방법, 학습 완료 모델, 표면 결함 검출 방법, 강재의 제조 방법, 합부 판정 방법, 등급 판정 방법, 표면 결함 판정 프로그램, 합부 판정 프로그램, 판정 시스템 및, 강재의 제조 설비
JP7248317B2 (ja) 豆腐類製造システム
JP7248316B2 (ja) 豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラム
US20230148640A1 (en) Tofu production system
CN110455806A (zh) 一种鸡蛋动态图像采集设备
Parmar et al. Image morphological operation based quality analysis of coriander seed (Coriandrum satavum L)
CN110178020A (zh) 改进的玻璃检查系统
TWI655412B (zh) 發光源檢測系統與方法
JPH11287763A (ja) 卵の自動検査方法およびこの方法に好適な卵の搬送制御装置および卵の自動検査装置
CN111458344A (zh) 一种口罩缺陷视觉检测方法、设备、存储介质
Shah et al. Bottling line inspection system using digital image processing
Bade et al. Quality assessment of biscuits using computer vision
WO2023223579A1 (ja) 目視検査補助装置
JP7445621B2 (ja) Ｘ線検査装置およびｘ線検査方法
JP7440044B2 (ja) コーヒー豆類の良品識別機能を備える良品検査システムおよび良品検査方法
JP7497760B2 (ja) 被選別物の識別方法、選別方法、選別装置、および識別装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20221111