CN110879955A - 使用具有深度学习的计算机视觉的数字质量控制 - Google Patents

使用具有深度学习的计算机视觉的数字质量控制 Download PDF

Info

Publication number
CN110879955A
CN110879955A CN201910125643.1A CN201910125643A CN110879955A CN 110879955 A CN110879955 A CN 110879955A CN 201910125643 A CN201910125643 A CN 201910125643A CN 110879955 A CN110879955 A CN 110879955A
Authority
CN
China
Prior art keywords
sample
features
processors
product
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910125643.1A
Other languages
English (en)
Other versions
CN110879955B (zh
Inventor
O·博诺
S·阿玛尼
A·P·P·德拉孔布勒
P·科特罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Accenture Global Solutions Ltd
Original Assignee
Accenture Global Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Accenture Global Solutions Ltd filed Critical Accenture Global Solutions Ltd
Publication of CN110879955A publication Critical patent/CN110879955A/zh
Application granted granted Critical
Publication of CN110879955B publication Critical patent/CN110879955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1912—Selecting the most significant subset of features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • General Factory Administration (AREA)

Abstract

本申请的各实施例涉及使用具有深度学习的计算机视觉的数字质量控制。实现包括：接收样本数据，样本数据被生成为表示产品的样本的数字数据；通过经由残差网络的多个层处理样本数据来提供一组特征，残差网络的第一层标识样本数据的一个或多个特征，并且残差网络的第二层接收第一层的一个或多个特征并且标识一个或多个附加特征；使用CNN处理该一组特征以标识一组区域和该一组区域中的区域中的至少一个对象；以及确定至少一个对象的类型，并且至少部分基于该至少一个对象的类型来选择性地发出警报，该警报指示产品的样本内的污染物。

Description

使用具有深度学习的计算机视觉的数字质量控制
技术领域
本申请的各实施例涉及使用具有深度学习的计算机视觉的数字质量控制。
背景技术
企业采用质量控制过程来确保产品和/或服务的质量。在各个行业中经营的企业实现质量控制过程。示例行业包括但不限于药物、生物技术、疫苗、体外诊断、食品、饮料、化学和公用事业。例如，在食品行业中，质量控制过程可以被用于确保分发的食品中不存在污染物(例如，微生物)(或至少低于阈值水平)。然而，质量控制过程可能是人工密集型的，并且存在不准确性。在某些情况中，可能不可接受的污染物水平在质量控制过程中没有被适当地检测到。
发明内容
本公开的实现总体上涉及一种使用计算机视觉和深度学习的质量控制系统。更特别地，本公开的实现涉及一种自动地地或半自动地执行端到端质量控制过程的基于人工智能(AI)的计算机视觉系统。
在一些实现中，动作包括：接收样本数据，样本数据被生成为表示产品的样本的数字数据；通过经由残差网络的多个层处理样本数据来提供一组特征，残差网络的第一层标识样本数据的一个或多个特征，并且残差网络的第二层接收第一层的一个或多个特征并且标识一个或多个附加特征；处理该一组特征以标识产品的样本的一组区域；基于标识的一组区域来改变产品的样本的数字数据表示的分辨率；处理该一组特征以标识该一组区域中的区域中的至少一个对象，并且确定该至少一个对象的类型；以及至少部分基于该至少一个对象的类型来选择性地发出警报，该警报指示产品的样本中的污染物。这一方面的其他实现包括被配置为执行被编码在计算机存储设备上的方法的动作的对应的系统、装置和计算机程序。
这些和其他实现每个可以可选地包括以下特征中的一个或多个特征：残差网络是Resnet-101；该一组特征使用卷积神经网络(CNN)而被处理；CNN是基于区域的CNN(R-CNN)；动作还包括在用户界面内提供样本的视觉描绘，该视觉描绘包括指示被标识在样本中的对象的一个或多个图形覆盖；动作还包括使用机械臂将包含样本的样本容器移动到相对于相机的位置，相机生成样本数据；该位置被定位在传送器上，传送器将样本容器传送到相机以用于对样本容器内的样本的成像；输出被提供并且包括表示样本内的至少一个对象的单热编码矢量、以及置信水平，置信得分表示至少一个对象属于所分类的类型的置信度；样本数据包括样本的一个或多个数字图像；该一组特征被处理以标识该区域的体积和/或该区域的面积和/或该区域的颜色；该产品包括生物材料和/或药用产品和/或食物产品；标识的区域包括水分集落(moisture colony)；并且标识的对象包括细菌。
本公开还提供了一种计算机可读存储介质，其被耦合到一个或多个处理器并且具有被存储在其上的指令，这些指令当由一个或多个处理器执行时，使得一个或多个处理器根据本文中提供的方法的实现来执行操作。
本公开还提供了一种用于实现本文中提供的方法的系统。该系统包括一个或多个处理器，以及被耦合到一个或多个处理器、具有被存储在其上的指令的计算机可读存储介质，这些指令当由一个或多个处理器执行时，使得一个或多个处理器根据本文中提供的方法的实现来执行操作。
应当领会到，根据本公开的方法可以包括本文中描述的方面和特征的任何组合。也就是说，根据本公开的方法并不限于本文中具体描述的方面和特征的组合，而是还包括所提供的方面和特征的任何组合。
在附图和以下描述中阐述了本公开的一个或多个实现的细节。本公开的其他特征和优点根据说明书和附图并且根据权利要求将是清楚的。
附图说明
图1描绘了可以执行本公开的实现的示例系统。
图2描绘了根据本公开的实现的示例模块架构。
图3描绘了包括示例样本的示例样本容器。
图4描绘了可以在本公开的实现中被执行的示例过程。
具体实施方式
本公开的实现总体上涉及一种使用计算机视觉和深度学习的质量控制系统。更特别地，本公开的实现涉及一种自动地或半自动地执行端到端质量控制过程的利用计算机视觉的基于人工智能(AI)的质量控制平台。在一些实现中，动作包括：接收样本数据，样本数据被生成为表示产品的样本的数字数据；通过经由残差网络的多个层处理样本数据来提供一组特征；残差网络的第一层标识样本数据的一个或多个特征，并且残差网络的第二层接收第一层的一个或多个特征并且标识一个或多个附加特征；使用卷积神经网络(CNN)处理该一组特征以标识一组区域和该一组区域中的区域中的至少一个对象，以及确定该至少一个对象的类型；并且至少部分基于该至少一个对象的类型来选择性地发出警报，该警报指示产品的样本内的污染物。
图1描绘了可以执行本公开的实现的示例系统100。示例系统100包括数据捕获系统102、后端系统108和网络110。在一些示例中，网络110包括局域网(LAN)、广域网(WAN)、因特网或它们的组合，并且连接网站、设备(例如，数据捕获系统102的组件)和后端系统(例如，后端系统108)。在一些示例中，网络110可以通过有线和/或无线通信链路而被访问。例如，诸如智能电话的移动计算设备可以利用蜂窝网络来访问网络110。
在所描绘的示例中，后端系统108包括至少一个服务器系统112和数据存储库114(例如，数据库)。在一些示例中，至少一个服务器系统112托管用户可以使用计算设备与之交互的一个或多个计算机实现的服务。例如，服务器系统112可以托管用于根据本公开的实现来自动地或半自动地执行端到端质量控制过程的计算机实现的质量控制平台。
在所描绘的示例中，数据捕获系统102包括一组样本容器120、传送带122、机械臂124和相机126。样本容器120可以包括用于容纳要针对质量控制而被分析的项目的样本的任何适当的容器(例如，储存盒、培养皿)。在一些示例中，相机126可以包括用于捕获数字图像和/或数字视频的任何适当的设备。在一些示例中，相机126能够捕获立体图像。在一些示例中，相机126相对于传送带122处于固定位置。在一些示例中，相机126具有相对于传送带122的移动自由度。例如，相机126可以从第一位置捕获数字数据，移动，并且从第二位置捕获数字数据。
尽管未在图1中示出，但示例数据捕获系统102还可以包括计算设备和/或一个或多个灯。在一些示例中，计算设备协调数据捕获系统102的两个或更多个组件之间的活动。在一些示例中，计算设备可以包括任何适当类型的计算设备，诸如台式计算机、膝上型计算机、手持计算机、平板计算机、个人数字助理(PDA)、蜂窝电话、网络电器、相机、智能电话、增强型通用分组无线电服务(EGPRS)移动电话、媒体播放器、导航设备、电子邮件设备、游戏控制台、或这些设备或其他数据处理设备中的任何两个或更多个的适当组合。在一些示例中，一个或多个灯可以照亮样本容器内的样本。在一些示例中，一个或多个灯可以包括可见光、紫外(UV)光、红外(IR)光。在一些示例中，数据捕获系统102可以包括具有多角度视图或条形码扫描仪的附加相机、到能够发送计算出的数据的任何适当信息系统的接口和/或用于在无菌环境中工作的竖直层流罩(vertical laminar flow hood)。
在一些实现中，后端系统108托管根据本公开的实现的基于AI的质量控制平台。在一些示例中，并且如本文中被进一步详细描述的，基于AI的质量控制平台使用计算机视觉和AI来处理样本数据以检测样本内的一个或多个对象，并且确定每个对象的类型。在一些示例中，对象可以包括污染物的类型(例如，生物)。在一些示例中，提供了一种或多种类型的污染物。在一些示例中，如果污染物被检测到，则基于AI的质量控制系统提供警报。在一些示例中，如果污染物被检测到并且超过阈值水平，则基于AI的质量控制系统提供警报。在一些示例中，如果警报被生成，则导致警报的样本可以被移动到存储装置以用于后续分析。
如本文中被进一步详细描述的，机械臂124将样本容器120选择性地设置在传送带122上和将样本容器120从传送带122取下。在一些示例中，样本容器120被提供为储存盒和/或培养皿。在一些实现中，在样本容器120被设置在传送带122上之后，传送带122将样本容器122传送到用于由相机126成像的位置。相机126捕获数字图像和/或数字视频。例如，相机126可以捕获被包含在样本容器120内的样本的一个或多个数字图像和/或数字视频。在一些示例中，数字图像和/或数字视频记录样本文件中的样本数据。在一些示例中，样本文件被传输到基于AI的质量控制平台以用于处理，如本文中被进一步详细描述的。
如本文中被进一步详细描述的，本公开的基于AI的质量控制平台能够在质量控制测试支持中实现加速和增加的标识可靠性以及污染物类型的数量。此外，在分析的结果被确定之后，基于AI的质量控制平台可以将结果发送到任何适当类型的信息系统或软件(例如，企业资源规划(ERP)系统))。
本公开的实现在本文中参考非限制性示例上下文被进一步详细描述。示例上下文包括食品的质量控制。例如，可以通过本公开的基于AI的质量控制平台分析食品项目的样本的污染物，并且可以选择性地发出警报，如本文所述的。然而，预期本公开的实现可以在任何适当的上下文(例如，食品、饮料、药物、疫苗、生物技术、化学、公用事业)中被实现。
图2描绘了根据本公开的实现的示例模块架构200。示例模块架构200包括基于AI的质量控制平台202。根据本公开的实现，并且如本文中被进一步详细描述的，基于AI的质量控制平台202接收样本数据204，并且处理样本数据204以提供输出206。在一些示例中，样本数据204包括表示项目(例如，食物)的样本的数字图像和/或数字视频(统称为数字数据)。在一些示例中，输出206包括表示针对样本数据204而被确定的污染物或污染物的缺乏的数据。在一些示例中，输出206包括警报。
在图2的示例中，基于AI的质量控制平台202包括接口模块208、深度学习(DL)对象检测器模块210、对象计数模块212和污染物类型计数模块214。在一些示例中，接口模块208向DL对象检测器模块210提供样本数据204。在一些示例中，接口模块208提供使得用户能够与基于AI的质量控制平台交互的一个或多个用户界面(UI)。例如，接口模块208可以提供用户可以用来查看结果(例如，输出206的图形表示)，查看样本数据204(例如，正被处理的样本的数字数据)和/或查看警报(如果已发出)的一个或多个UI。在一些示例中，一个或多个UI被提供作为提供实时结果、分析和/或警报的仪表板的一部分。
根据本公开的实现，样本数据204使用一个或多个DL算法而被处理。例如，DL对象检测器模块210通过一个或多个DL算法来处理样本数据204以标识、鉴定和排序在样本数据204中被检测到的一种或多种类型的污染物。在一些示例中，DL算法标识样本数据204中的一个或多个特征。示例特征包括但不限于形状、点、湿度、透明度、宽度、反射、折射、偏振、吸收和光致发光。在一些示例中，一个或多个特征在连续的抽象层中被标识。示例抽象层可以包括但不限于基本特征、局部特征、复杂特征和全局特征。基于标识的特征，基于AI的质量控制平台标识样本内的一种或多种类型的对象(例如，微生物污染物、水分)。
在一些实现中，本公开的DL使用卷积神经网络(CNN)而被实现。示例CNN包括利用残差网络(resnet)骨干而被实现的基于区域的CNN(R-CNN)。R-CNN可以被描述为标识图像中的区域的CNN，对象可以被定位在这些区域内。示例resnet包括Resnet-101(例如，具有101个层的残差网络)。然而，预期本公开的实现可以使用任何适当的神经网络和/或残差网络而被实现。
在一些实现中，resnet是将样本数据204处理为标准化图像的特征提取器。在一些示例中，数字图像可以被处理以调节多个像素强度值，从而使得所有像素强度位于预定义的值范围内，以提供标准化图像。在一些示例中，数字图像通过零居中像素而被标准化。在一些示例中，居中基于预训练数据集上的每个通道(例如，红色、绿色、蓝色)平均强度。每个通道的平均值然后从数字图像内的每个像素的通道被减去。
在一些实现中，通过resnet骨干对样本数据(图像)的处理基于预训练的模型。在一些示例中，预训练的模型被训练以用于与可能感兴趣的对象(例如，污染物、水分)相关联的特征的检测。在一些示例中，预训练的模型由第三方提供。示例预训练的模型包括但不限于由Microsoft提供的上下文中的公共对象(CoCo)模型。在一些示例中，并且在本公开的上下文中，预训练的模型基于包括对象(例如，污染物、水分)的样本的标记的图像。
在一些实现中，正被处理的图像(例如，RGB图像格式)(例如，标准化图像)逐渐通过resnet骨干。在每一层，图像内的特征被标识和细化。更详细地，图像通过resnet骨干的一组卷积层而被处理，并且在每一层处被过滤以标识特征。在一些示例中，特征基于对比度变化(例如，从左到右、从水平到竖直)而被标识。下一层接收在先前层中被标识的特征以用于进一步处理以及附加特征(如果有的话)的标识。
resent输出一组特征，这些特征被输入到CNN。在一些实现中，CNN在多步骤过程中处理该一组特征中的特征。示例步骤包括提供区域提议和分类。在一些示例中，区域提议包括通过CNN的一个或多个层而被确定的一组感兴趣区域(也被称为一组区域)。在一些示例中，感兴趣区域包括可以包含对象的样本的区域。示例对象包括但不限于污染物(例如，(微)生物污染物)和水分。在一些实现中，该一组区域中的区域被调节大小，并且CNN的一个或多个层(例如，最终层)预测存在的对象的类型。也就是说，每个区域内的一个或多个对象按类型(例如，污染物或水分)而被分类。
在一些实现中，如果在样本内被检测到的对象的数目大于阈值对象数目，则样本数据被调节并且重新处理。在一些示例中，样本数据的调节包括调节分辨率。也就是说，图像的分辨率可以被迭代地调节。在一些示例中，图像被分割，并且分辨率被调节。在一些示例中，图像被分割成多个交叠部分(例如，4个交叠部分)。在一些示例中，每个分割宽度(分别为高度)是全图像宽度(分别为高度)的1/2+1/8＝5/8。这里的交叠是为了确保预测不受缺乏上下文的阻碍(例如，生物集落被分割成两个部分)。非最大抑制被应用于预测的框。如果发现两次集落，则仅保留最自信的预测。
在一些实现中，对于每个对象，置信度得分和在样本内定位对象的边界被提供。在一些示例中，置信度得分表示对象确实属于所分类的类型的置信度。在一些示例中，边界被提供为样本的数字图像上的视觉覆盖，其包围对象的全部或至少一部分。预期边界可以是任何适当的形状(例如，正方形、矩形、椭圆形)。在一些示例中，可以针对不同对象提供不同边界。例如，可以提供针对污染物的第一边界，并且可以提供针对水分的第二边界，第一边界不同于第二边界。
在一些实现中，AI处理的输出包括一个或多个编码矢量。在一些示例中，每个矢量对应于在样本内被标识的对象的类型(例如，微生物菌落)。在一些示例中，编码矢量被提供为单热编码矢量。在一些示例中，单热编码矢量可以包括类型(类别)的矢量，其中1指示各个对象属于特定类型，并且0指示各个对象不属于特定类型。
在一些实现中，每个矢量与相应的置信度得分相关联，该置信度得分表示对象确实属于所分类的类型的置信度。在一些实现中，一个或多个置信度阈值被提供，可以将置信度得分与其进行比较。在一些示例中，如果置信度得分超过第一阈值，则预测是准确的置信度很高(例如，绿色水平)。在一些示例中，如果置信度得分超过第二阈值但不超过第一阈值，则预测是准确的置信度较低(例如，橙色水平)。在一些示例中，如果置信度得分没有超过第二阈值，则预测是准确的置信度很低(例如，红色水平)。在一些示例中，置信水平(例如，绿色、橙色、红色)可以在UI中被可视地描绘。
图3描绘了包括示例样本302的示例样本容器300。图3的实施例可以包括样本容器300和样本302的数字图像(例如，被显示在UI中)。在所描绘的示例中，样本302包括被标识在样本302内的多个对象。每个对象由边界界定，每个边界被提供为数字图像内的图形覆盖。在图3的示例中，两种不同类型的对象被描绘，并且其由相应的边界304、306界定。例如，第一类型的对象可以包括由边界304界定的污染物，并且第二类型的对象可以包括由边界306界定的水分。
在一些实现中，对象计数可以基于对每种类型的对象的多个示例计数而被提供。在图3的示例中，对于第一类型的对象，第一对象计数可以被提供为六，并且对于第二类型的对象，第二对象计数可以被提供为四。在一些实现中，提供了每种类型的对象的数量。在一些示例中，该数量基于针对对象的类型而确定的面积和/或体积而被确定。例如，可以针对每种类型的对象确定每个边界内的数量，并且可以将数量相加以确定针对每种类型的对象的总数量。
图4描绘了可以在本公开的实现中被执行的示例过程400。在一些示例中，示例过程400使用由一个或多个计算设备(例如，图1的后端系统108)执行的一个或多个计算机可执行程序而被提供。
样本容器被选择(402)。例如，机械臂124可以从一组样本容器选择样本容器120。在一些示例中，每个样本容器120包括唯一标识符(UID)，UID唯一地标识样本容器120和/或其中包含的样本。在一些示例中，样本容器基于UID而被选择。例如，机器可读代码(例如，条形码、QR代码)对UID编码，并且样本容器120的机器可读代码被读取(例如，通过代码读取器)以标识要被分析的主题样本容器120。机械臂124抓取样本容器120。
样本容器被移动到传送器(404)。例如，机械臂124将样本容器120从一个位置移动到传送器122。在一些示例中，机械臂124将样本容器120放置在传送器122上在其他样本容器120后面排队。在一些示例中，传送器122在相机126下方传送样本容器120。样本数据被生成(406)。例如，当样本容器120被定位在相机126下方时，相机126生成样本数据。在一些示例中，样本数据被提供为一个或多个数字图像和/或数字视频。样本数据被标准化(408)。在一些示例中，对样本数据执行一种或多种图像处理技术以将样本数据标准化。
一组特征被确定(410)。例如，并且如本文中被进一步详细描述的，样本数据通过resnet(例如，Resnet-101)的多个层而被处理，并且逐渐通过resnet骨干。在resnet骨干的每个层，样本数据(例如，数字图像)内的特征被标识和细化。一个或多个对象和一种或多种类型的对象被标识(412)。例如，并且如本文中被进一步详细描述的，该一组特征中的特征在多步骤过程中通过CNN(例如，R-CNN)而被处理，以提供区域提议和分类。在一些示例中，区域提议包括通过CNN的一个或多个层而被确定的一组感兴趣区域(也被称为一组区域)。在一些示例中，感兴趣区域包括可以包含对象的样本的区域。在一些实现中，该一组区域中的区域被调节大小，并且CNN的一个或多个层(例如，最终层)预测存在的对象的类型。在一些实现中，针对每个对象，置信度得分和在样本内定位对象的边界被提供。在一些示例中，置信度得分表示对象确实属于所分类的类型的置信度。在一些示例中，边界被提供为样本的数字图像上的视觉覆盖，其包围对象的全部或至少一部分。
结果被记录(414)。在一些示例中，结果可以被记录在一个或多个系统中。示例系统可以包括ERP系统。例如，样本可以是由企业分发的产品的样本。结果可以被记录在企业的ERP系统中，以跟踪特定产品和/或批次产品的质量控制分析。
确定是否存在污染物(416)。例如，结果可以被处理以确定是否存在污染物。在一些示例中，样本内的单个污染物实例可以指示存在污染物。在一些示例中，是否存在污染物可以基于污染物的数量而被确定。例如，如果污染物的数量超过阈值数量，则确定存在污染物。如果污染物的数量不超过阈值数量，则确定不存在污染物。
如果存在污染物，则警报被发出(418)，并且样本被存储(420)。例如，警报可以在UI中被提供从而指示样本(例如，UID)、污染物和/或污染物的数量。在一些示例中，样本(即，包含样本的样本容器120)被移动到存储位置(例如，通过机械臂124)以可用于后续检查。如果不存在污染物，则通知被发出(422)，并且样本被释放(424)。
本说明书中描述的实现和所有功能操作可以在数字电子电路中被实现，或者在计算机软件、固件或硬件中被实现，包括本说明书中公开的结构及其结构等同物，或者在它们中的一个或多个的组合中被实现。实现可以被实现为一个或多个计算机程序产品，即，在计算机可读介质上编码的用于由数据处理装置执行或控制数据处理装置的操作的一个或多个计算机程序指令模块。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、影响机器可读传播信号的物质组合、或它们中的一个或多个的组合。术语“计算系统”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括针对所讨论的计算机程序(例如，代码)创建执行环境的代码，该代码构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合。传播信号是人工生成的信号(例如，机器生成的电、光或电磁信号)，该信号被生成以对信息编码以便传输到合适的接收器装置。
计算机程序(也被称为程序、软件、软件应用、脚本或代码)可以用任何适当形式的编程语言而被编写，包括编译或解释语言，并且可以按照任何适当的形式被部署，包括作为独立程序或作为适用于计算环境的模块、组件、子程序或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以被存储在保存其他程序或数据的文件的一部分中(例如，被存储在标记语言文档中的一个或多个脚本)，被存储在专用于所讨论的程序的单个文件中，或者被存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为在一个计算机上被执行，或者在被定位在一个站点处或分布在多个站点上并且通过通信网络互连的多个计算机上被执行。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序以通过对输入数据进行操作并且生成输出来执行功能的一个或多个可编程处理器执行。过程和逻辑流程也可以由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行，并且装置也可以被实现为专用逻辑电路。
作为示例，适合于执行计算机程序的处理器包括通用和专用微处理器以及任何适当类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的元件可以包括用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁、磁光盘或光盘)或者被可操作地耦合以从一个或多个大容量存储设备接收数据或将数据传输到一个或多个大容量存储设备。但是，计算机不需要这样的设备。此外，计算机可以被嵌入在另一设备(例如，移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器)中。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备(例如，EPROM、EEPROM和闪存设备)；磁盘(例如，内部硬盘或可移动磁盘)；磁光盘；以及CDROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或被并入专用逻辑电路中。
为了提供与用户的交互，实现可以在具有向用户显示信息的显示设备(例如，CRT(阴极射线管)、LCD(液晶显示器)、LED(发光二极管)显示器)以及户可以通过其向计算机提供输入的键盘和指点设备(例如，鼠标或轨迹球)的计算机上被实现。其他类型的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何适当形式的感官反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且来自用户的输入可以按照任何适当的形式而被接收，包括声学、语音或触觉输入。
实现可以在包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器)或包括前端组件(例如，客户端计算机，其具有用户可以通过其与实现进行交互的图形用户界面或Web浏览器)或一个或多个这样的后端、中间件或前端组件的任何适当组合的计算系统中被实现。系统的组件可以通过任何适当的数字数据通信形式或介质(例如，通信网络)被互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)(例如，因特网)。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系借助于在各个计算机上运行并且彼此具有客户端服务器关系的计算机程序而被产生。
虽然本说明书包含很多细节，但这些细节不应当被解释为对本公开或可以要求保护的内容的范围的限制，而是作为特定实现特有的特征的描述。在本说明书中在单独实现的上下文中描述的某些特征也可以在单个实现中组合地被实现。相反，在单个实现的上下文中描述的各种特征也可以在多个实现中单独地或以任何合适的子组合而被实现。此外，尽管上面的特征可以被描述为以某些组合起作用并且甚至最初如此要求保护，但是在某些情况中可以从组合去除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以涉及子组合或子组合的变化。
类似地，虽然操作在附图中以特定顺序被描绘，但是这不应当被理解为要求这样的操作以所示的特定顺序或按顺序执行，或者执行所有示出的操作，以实现期望的结果。在某些情况中，多任务处理和并行处理可能是有利的。此外，在上述实现中的各种系统组件的分离不应当被理解为在所有实现中都需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成为单个软件产品，或者被打包成多个软件产品。
已经描述了很多实现。然而，应当理解，在不脱离本公开的精神和范围的情况中，可以进行各种修改。例如，可以使用上面示出的各种形式的流程，其中步骤被重新排序，添加或移除。因此，其他实现在以下权利要求的范围内。

Claims (39)

1.一种用于基于产品的一个或多个样本的质量控制的计算机实现的方法，所述方法由一个或多个处理器执行，并且包括：
由所述一个或多个处理器接收样本数据，所述样本数据被生成为表示所述产品的样本的数字数据；
由所述一个或多个处理器通过经由残差网络的多个层处理所述样本数据来提供一组特征，所述残差网络的第一层标识所述样本数据的一个或多个特征，并且所述残差网络的第二层接收所述第一层的所述一个或多个特征并且标识一个或多个附加特征；
由所述一个或多个处理器处理所述一组特征以标识所述产品的所述样本的一组区域；
由所述一个或多个处理器基于标识的所述一组区域来改变所述产品的所述样本的数字数据表示的分辨率；
由所述一个或多个处理器处理所述一组特征以标识所述一组区域中的区域中的至少一个对象，并且确定所述至少一个对象的类型；以及
由所述一个或多个处理器至少部分基于所述至少一个对象的所述类型来选择性地发出警报，所述警报指示所述产品的所述样本内的污染物。
2.根据权利要求1所述的方法，其中所述残差网络是Resnet-101。
3.根据权利要求1所述的方法，其中所述一组特征使用卷积神经网络(CNN)而被处理。
4.根据权利要求3所述的方法，其中所述CNN是基于区域的CNN(R-CNN)。
5.根据权利要求1所述的方法，还包括在用户界面内提供所述样本的视觉描绘，所述视觉描绘包括指示被标识在所述样本中的对象的一个或多个图形覆盖。
6.根据权利要求1所述的方法，还包括使用机械臂将包含所述样本的样本容器移动到相对于相机的位置，所述相机生成所述样本数据。
7.根据权利要求6所述的方法，其中所述位置被定位在传送器上，所述传送器将所述样本容器传送到所述相机以用于对所述样本容器内的所述样本的成像。
8.根据权利要求1所述的方法，其中输出被提供并且包括表示所述样本内的所述至少一个对象的单热编码矢量、以及置信水平，所述置信得分表示所述至少一个对象属于所分类的所述类型的置信度。
9.根据权利要求1所述的方法，其中所述样本数据包括所述样本的一个或多个数字图像。
10.根据权利要求1所述的方法，其中所述一组特征被处理以标识所述区域的体积和/或所述区域的面积和/或所述区域的颜色。
11.根据权利要求1所述的方法，其中所述产品包括生物材料和/或药用产品和/或食物产品。
12.根据权利要求1所述的方法，其中标识的所述区域包括水分集落。
13.根据权利要求1所述的方法，其中标识的所述对象包括细菌。
14.一种非暂态计算机可读存储介质，其被耦合到一个或多个处理器并且具有被存储在其上的指令，所述指令当由所述一个或多个处理器执行时，使得所述一个或多个处理器执行用于基于产品的一个或多个样本的质量控制的操作，所述操作包括：
由所述一个或多个处理器接收样本数据，所述样本数据被生成为表示所述产品的样本的数字数据；
由所述一个或多个处理器通过经由残差网络的多个层处理所述样本数据来提供一组特征，所述残差网络的第一层标识所述样本数据的一个或多个特征，并且所述残差网络的第二层接收所述第一层的所述一个或多个特征并且标识一个或多个附加特征；
由所述一个或多个处理器处理所述一组特征以标识所述产品的所述样本的一组区域；
由所述一个或多个处理器基于标识的所述一组区域来改变所述产品的所述样本的数字数据表示的分辨率；
由所述一个或多个处理器处理所述一组特征以标识所述一组区域中的区域中的至少一个对象，并且确定所述至少一个对象的类型；以及
由所述一个或多个处理器至少部分基于所述至少一个对象的所述类型来选择性地发出警报，所述警报指示所述产品的所述样本内的污染物。
15.根据权利要求14所述的计算机可读存储介质，其中所述残差网络是Resnet-101。
16.根据权利要求14所述的计算机可读存储介质，其中所述一组特征使用卷积神经网络(CNN)而被处理。
17.根据权利要求16所述的计算机可读存储介质，其中所述CNN是基于区域的CNN(R-CNN)。
18.根据权利要求14所述的计算机可读存储介质，其中所述操作还包括在用户界面内提供所述样本的视觉描绘，所述视觉描绘包括指示被标识在所述样本中的对象的一个或多个图形覆盖。
19.根据权利要求14所述的计算机可读存储介质，其中所述操作还包括使用机械臂将包含所述样本的样本容器移动到相对于相机的位置，所述相机生成所述样本数据。
20.根据权利要求14所述的计算机可读存储介质，其中所述位置被定位在传送器上，所述传送器将所述样本容器传送到所述相机以用于对所述样本容器内的所述样本的成像。
21.根据权利要求14所述的计算机可读存储介质，其中输出被提供并且包括表示所述样本内的所述至少一个对象的单热编码矢量、以及置信水平，所述置信得分表示所述至少一个对象属于所分类的所述类型的置信度。
22.根据权利要求14所述的计算机可读存储介质，其中所述样本数据包括所述样本的一个或多个数字图像。
23.根据权利要求14所述的计算机可读存储介质，其中所述一组特征被处理以标识所述区域的体积和/或所述区域的面积和/或所述区域的颜色。
24.根据权利要求14所述的计算机可读存储介质，其中所述产品包括生物材料和/或药用产品和/或食物产品。
25.根据权利要求14所述的计算机可读存储介质，其中标识的所述区域包括水分集落。
26.根据权利要求14所述的计算机可读存储介质，其中标识的所述对象包括细菌。
27.一种系统，包括：
一个或多个处理器；以及
计算机可读存储设备，其被耦合到所述一个或多个处理器并且具有被存储在其上的指令，所述指令当由所述一个或多个处理器执行时，使得所述一个或多个处理器执行用于基于产品的一个或多个样本的质量控制的操作，所述操作包括：
由所述一个或多个处理器接收样本数据，所述样本数据被生成为表示所述产品的样本的数字数据；
由所述一个或多个处理器通过经由残差网络的多个层处理所述样本数据来提供一组特征，所述残差网络的第一层标识所述样本数据的一个或多个特征，并且所述残差网络的第二层接收所述第一层的所述一个或多个特征并且标识一个或多个附加特征；
由所述一个或多个处理器处理所述一组特征以标识所述产品的所述样本的一组区域；
由所述一个或多个处理器基于标识的所述一组区域来改变所述产品的所述样本的数字数据表示的分辨率；
由所述一个或多个处理器处理所述一组特征以标识所述一组区域中的区域中的至少一个对象，并且确定所述至少一个对象的类型；以及
由所述一个或多个处理器至少部分基于所述至少一个对象的所述类型来选择性地发出警报，所述警报指示所述产品的所述样本内的污染物。
28.根据权利要求27所述的系统，其中所述残差网络是Resnet-101。
29.根据权利要求27所述的系统，其中所述一组特征使用卷积神经网络(CNN)而被处理。
30.根据权利要求29所述的系统，其中所述CNN是基于区域的CNN(R-CNN)。
31.根据权利要求27所述的系统，其中所述操作还包括在用户界面内提供所述样本的视觉描绘，所述视觉描绘包括指示被标识在所述样本中的对象的一个或多个图形覆盖。
32.根据权利要求27所述的系统，其中所述操作还包括使用机械臂将包含所述样本的样本容器移动到相对于相机的位置，所述相机生成所述样本数据。
33.根据权利要求32所述的系统，其中所述位置被定位在传送器上，所述传送器将所述样本容器传送到所述相机以用于对所述样本容器内的所述样本的成像。
34.根据权利要求27所述的系统，其中输出被提供并且包括表示所述样本内的所述至少一个对象的单热编码矢量、以及置信水平，所述置信得分表示所述至少一个对象属于所分类的所述类型的置信度。
35.根据权利要求27所述的系统，其中所述样本数据包括所述样本的一个或多个数字图像。
36.根据权利要求27所述的系统，其中所述一组特征被处理以标识所述区域的体积和/或所述区域的面积和/或所述区域的颜色。
37.根据权利要求27所述的系统，其中所述产品包括生物材料和/或药用产品和/或食物产品。
38.根据权利要求27所述的系统，其中标识的所述区域包括水分集落。
39.根据权利要求27所述的系统，其中标识的所述对象包括细菌。
CN201910125643.1A 2018-09-06 2019-02-19 使用具有深度学习的计算机视觉的数字质量控制 Active CN110879955B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18193035.5 2018-09-06
EP18193035.5A EP3620984B1 (en) 2018-09-06 2018-09-06 Digital quality control using computer visioning with deep learning

Publications (2)

Publication Number Publication Date
CN110879955A true CN110879955A (zh) 2020-03-13
CN110879955B CN110879955B (zh) 2024-05-14

Family

ID=63524210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910125643.1A Active CN110879955B (zh) 2018-09-06 2019-02-19 使用具有深度学习的计算机视觉的数字质量控制

Country Status (5)

Country Link
US (2) US11373287B2 (zh)
EP (1) EP3620984B1 (zh)
JP (1) JP6865776B2 (zh)
CN (1) CN110879955B (zh)
SG (1) SG10201900591SA (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3620984B1 (en) * 2018-09-06 2024-04-10 Accenture Global Solutions Limited Digital quality control using computer visioning with deep learning
CN111723204B (zh) * 2020-06-15 2021-04-02 龙马智芯（珠海横琴）科技有限公司 语音质检区域的校正方法、装置、校正设备及存储介质
US20220084306A1 (en) * 2020-07-14 2022-03-17 Kalpit Jain Method and system of guiding a user on a graphical interface with computer vision
EP4189593A4 (en) * 2020-07-31 2024-08-07 Collectors Universe Inc IDENTIFICATION AND CLASSIFICATION SYSTEM AND ASSOCIATED METHODS FOR COLLECTIBLE ITEMS
CH718327A1 (it) * 2021-02-05 2022-08-15 Printplast Machinery Sagl Metodo per l'identificazione dello stato operativo di un macchinario industriale e delle attività che vi si svolgono.
CN113418889B (zh) * 2021-05-17 2023-05-26 中国海洋大学 一种基于深度学习的干菜水分含量和菌落总数的实时检测方法
JP7491274B2 (ja) 2021-07-29 2024-05-28 トヨタ自動車株式会社 検査装置および検査方法
US11928756B2 (en) * 2021-09-22 2024-03-12 Google Llc Geographic augmented reality design for low accuracy scenarios
US20230191615A1 (en) * 2021-12-17 2023-06-22 Chef Robotics, Inc. System and/or method of cooperative dynamic insertion scheduling of independent agents
US20240164857A1 (en) * 2022-11-22 2024-05-23 Metal Industries Research & Development Centre Surgical robotic arm control system and control method thereof

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477630A (zh) * 2009-02-17 2009-07-08 吴俊� 智能化水处理微生物机器视觉辨识系统和方法
US20100316287A1 (en) * 2009-06-11 2010-12-16 Duong Tuan A Method and system for object recognition search
CN102564964A (zh) * 2011-12-29 2012-07-11 南京林业大学 基于光谱图像的肉品品质可视化非接触检测方法
CN103080331A (zh) * 2010-06-23 2013-05-01 株式会社N－Tech 微生物检测方法、微生物检测设备和程序
CN103177243A (zh) * 2013-03-15 2013-06-26 浙江大学 一种海洋微生物的实时监测方法
CN104125419A (zh) * 2014-06-24 2014-10-29 北京理工大学 一种基于cmos图像传感器的自适应分辨率实现方法
US20150257967A1 (en) * 2013-03-15 2015-09-17 John Castle Simmons Vision-Based Diagnosis and Treatment
CN105973858A (zh) * 2016-06-13 2016-09-28 宜春学院 一种中药品质自动检测系统
CN106127226A (zh) * 2016-06-14 2016-11-16 河南工业大学 粮粒和粮粒测试样本的柔性粮食品质检测方法
US20170330320A1 (en) * 2016-05-13 2017-11-16 National Jewish Health Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
CN107563446A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种微操作系统目标检测方法
JP2018022484A (ja) * 2016-08-02 2018-02-08 三菱電機株式会社 画像内の物体を検出する方法及び物体検出システム
US20180114317A1 (en) * 2016-10-21 2018-04-26 Nantomics, Llc Digital histopathology and microdissection
CN108346058A (zh) * 2018-01-16 2018-07-31 湖南省中医药研究院 一种中药饮片生产多维动态质量监控系统及方法
US20180246028A1 (en) * 2016-05-11 2018-08-30 Bonraybio Co., Ltd. Automated testing apparatus

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2793808B1 (fr) 1999-05-20 2003-09-19 Biomerieux Sa Procede d'analyse de la predisposition genetique d'un patient a au moins une maladie
FR2793809B1 (fr) 1999-05-20 2006-07-28 Biomerieux Sa Procede d'analyse de la predisposition genetique d'un patient a au moins une maladie et amplification adaptee a un tel procede
FR2801903B1 (fr) 1999-12-06 2004-01-30 Biomerieux Sa Nouveaux substrats enzymatiques pour la detection de pseudomonas aeruginosa, compositions les contenant et procede de detection de cette espece
US8512975B2 (en) 2008-07-24 2013-08-20 Biomerieux, Inc. Method for detection and characterization of a microorganism in a sample using time dependent spectroscopic measurements
FR2962445B1 (fr) 2010-07-08 2013-06-28 Biomerieux Sa Procede de detection et d'identification directe d'un microorganisme dans un echantillon biologique dilue dans un bouillon d'enrichissement
WO2012119191A1 (en) 2011-03-04 2012-09-13 Lbt Innovations Limited Method and software for analysing microbial growth
EP2520923A1 (en) 2011-05-06 2012-11-07 bioMérieux Bio-imaging method and system
FR2986237A1 (fr) 2012-01-27 2013-08-02 Advencis Dispositif de detection rapide de micro-organismes
US9470510B2 (en) 2012-03-29 2016-10-18 Biomerieux, Inc. Systems and methods for detecting fallen containers suitable for apparatus for automated evaluation of microorganism growth in test samples
FR3006692B1 (fr) 2013-06-11 2016-05-06 Biomerieux Sa Dispositif, systeme et procede de detection permettant de detecter la presence d'un micro-organisme dans un echantillon a l'interieur d'un contenant
FR3019556A1 (fr) 2014-04-07 2015-10-09 Advencis Dispositif d’incubation et de detection
FR3022916B1 (fr) 2014-06-30 2018-04-06 Biomerieux Procede de detection d'une presence ou d'une absence de particules biologiques.
CN108885715B (zh) * 2016-03-03 2020-06-26 谷歌有限责任公司 用于机器人抓取的深度机器学习方法和装置
EP3465612A4 (en) 2016-05-27 2020-02-26 Biomerieux, Inc METHOD AND DEVICE FOR DETECTING FOAM IN SAMPLE CONTAINERS
US9589374B1 (en) * 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
JP6830593B2 (ja) 2016-09-02 2021-02-17 国立大学法人東京農工大学 微生物の判別方法
IL267009B (en) 2016-12-01 2022-07-01 Berkeley Lights Inc Automatic detection and repositioning of micro-objects in micropoloidal devices
CN106780612B (zh) * 2016-12-29 2019-09-17 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
US10713540B2 (en) 2017-03-07 2020-07-14 Board Of Trustees Of Michigan State University Deep learning system for recognizing pills in images
CN107358596B (zh) * 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及系统
US10271008B2 (en) * 2017-04-11 2019-04-23 Advanced Micro Devices, Inc. Enhanced resolution video and security via machine learning
US10902577B2 (en) * 2017-06-19 2021-01-26 Apeel Technology, Inc. System and method for hyperspectral image processing to identify object
US10019654B1 (en) * 2017-06-28 2018-07-10 Accenture Global Solutions Limited Image object recognition
CN108090501B (zh) 2017-11-24 2020-08-18 华南农业大学 基于平皿实验和深度学习的抑菌程度识别方法
EP3591572B1 (en) * 2018-07-06 2021-09-01 Tata Consultancy Services Limited Method and system for automatic chromosome classification
CN108921117A (zh) * 2018-07-11 2018-11-30 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US10527699B1 (en) * 2018-08-01 2020-01-07 The Board Of Trustees Of The Leland Stanford Junior University Unsupervised deep learning for multi-channel MRI model estimation
US11430084B2 (en) * 2018-09-05 2022-08-30 Toyota Research Institute, Inc. Systems and methods for saliency-based sampling layer for neural networks
EP3620984B1 (en) * 2018-09-06 2024-04-10 Accenture Global Solutions Limited Digital quality control using computer visioning with deep learning
CN111340879B (zh) * 2018-12-17 2023-09-01 台达电子工业股份有限公司 基于上采样的影像定位系统及其方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477630A (zh) * 2009-02-17 2009-07-08 吴俊� 智能化水处理微生物机器视觉辨识系统和方法
US20100316287A1 (en) * 2009-06-11 2010-12-16 Duong Tuan A Method and system for object recognition search
CN103080331A (zh) * 2010-06-23 2013-05-01 株式会社N－Tech 微生物检测方法、微生物检测设备和程序
CN102564964A (zh) * 2011-12-29 2012-07-11 南京林业大学 基于光谱图像的肉品品质可视化非接触检测方法
US20150257967A1 (en) * 2013-03-15 2015-09-17 John Castle Simmons Vision-Based Diagnosis and Treatment
CN103177243A (zh) * 2013-03-15 2013-06-26 浙江大学 一种海洋微生物的实时监测方法
CN104125419A (zh) * 2014-06-24 2014-10-29 北京理工大学 一种基于cmos图像传感器的自适应分辨率实现方法
US20180246028A1 (en) * 2016-05-11 2018-08-30 Bonraybio Co., Ltd. Automated testing apparatus
US20170330320A1 (en) * 2016-05-13 2017-11-16 National Jewish Health Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
CN105973858A (zh) * 2016-06-13 2016-09-28 宜春学院 一种中药品质自动检测系统
CN106127226A (zh) * 2016-06-14 2016-11-16 河南工业大学 粮粒和粮粒测试样本的柔性粮食品质检测方法
JP2018022484A (ja) * 2016-08-02 2018-02-08 三菱電機株式会社 画像内の物体を検出する方法及び物体検出システム
US20180114317A1 (en) * 2016-10-21 2018-04-26 Nantomics, Llc Digital histopathology and microdissection
CN107563446A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种微操作系统目标检测方法
CN108346058A (zh) * 2018-01-16 2018-07-31 湖南省中医药研究院 一种中药饮片生产多维动态质量监控系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GAMAL M. ELMASRY等: "Image analysis operations applied to hyperspectral images for non-invasive sensing of food quality – A comprehensive review", 《BIOSYSTEMS ENGINEERING》, vol. 142, pages 53 - 82, XP029394575, DOI: 10.1016/j.biosystemseng.2015.11.009 *
刘强: "多源信息融合框架下辅助导航系统的景象匹配算法研究", 《中国优秀硕士学位论文全文数据库_信息科技辑》, pages 138 - 1836 *

Also Published As

Publication number Publication date
US20220292668A1 (en) 2022-09-15
JP6865776B2 (ja) 2021-04-28
JP2020042756A (ja) 2020-03-19
EP3620984A1 (en) 2020-03-11
CN110879955B (zh) 2024-05-14
SG10201900591SA (en) 2020-04-29
US11373287B2 (en) 2022-06-28
EP3620984B1 (en) 2024-04-10
US20200082522A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
CN110879955B (zh) 使用具有深度学习的计算机视觉的数字质量控制
US9659204B2 (en) Image processing methods and systems for barcode and/or product label recognition
US20170255830A1 (en) Method, apparatus, and system for identifying objects in video images and displaying information of same
US20190188530A1 (en) Method and apparatus for processing image
CN109685780B (zh) 一种基于卷积神经网络的零售商品识别方法
KR20200087297A (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN106839976B (zh) 一种检测镜头中心的方法及装置
CN113439227B (zh) 放大图像的捕获和存储
JP7496364B2 (ja) 人工知能を使用した大きな画像データセット中の目的の細胞の検出
CN113468914B (zh) 一种商品纯净度的确定方法、装置及设备
KR20210099028A (ko) 클론 선택을 가능하게 하기 위한 시스템 및 방법
CN115081469A (zh) 基于x射线安检设备的物品类别识别方法、装置及设备
US20220019842A1 (en) Systematic disposal, classification and dynamic procurement of recyclable resin
CN114972500A (zh) 查验方法、标注方法、系统、装置、终端、设备及介质
Gizaw et al. Water Bottle Defect Detection System Using Convolutional Neural Network
Ranolo et al. Underwater and coastal seaweeds detection for fluorescence seaweed photos and videos using YOLOV3 and YOLOV5
CN108805004B (zh) 功能区域检测方法和装置、电子设备、存储介质
US20230031937A1 (en) Recycling system with discrete conveyor bins for improved accuracy
CN111797896B (zh) 基于智慧烘焙的商品识别方法及装置
Bai et al. Rapid and non-destructive quality grade assessment of Hanyuan Zanthoxylum bungeanum fruit using a smartphone application integrating computer vision systems and convolutional neural networks
Alfinnur Charisma Modified YOLOv5-based License Plate Detection: an Efficient Approach for Automatic Vehicle Identification
Berkan et al. Zero-shot object detection by hybrid region embedding
RU2794708C2 (ru) Анализатор молока для классификации молока
US20240265534A1 (en) Systems and devices for automated cellular profiling and methods of use thereof
EP4459547A1 (en) Method for the analysis of surface defects

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant