CN117593363A - 具有集成电子视觉检查的组装线 - Google Patents
具有集成电子视觉检查的组装线 Download PDFInfo
- Publication number
- CN117593363A CN117593363A CN202311396273.8A CN202311396273A CN117593363A CN 117593363 A CN117593363 A CN 117593363A CN 202311396273 A CN202311396273 A CN 202311396273A CN 117593363 A CN117593363 A CN 117593363A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- text
- patterns
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 16
- 230000033001 locomotion Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 61
- 230000009471 action Effects 0.000 abstract description 19
- 238000003860 storage Methods 0.000 description 22
- 239000003814 drug Substances 0.000 description 20
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 229940079593 drug Drugs 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000005693 optoelectronics Effects 0.000 description 4
- 239000000825 pharmaceutical preparation Substances 0.000 description 4
- 239000004480 active ingredient Substances 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 229940127557 pharmaceutical product Drugs 0.000 description 3
- 108010073929 Vascular Endothelial Growth Factor A Proteins 0.000 description 2
- 102000005789 Vascular Endothelial Growth Factors Human genes 0.000 description 2
- 108010019530 Vascular Endothelial Growth Factors Proteins 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 108090000765 processed proteins & peptides Proteins 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 229960002833 aflibercept Drugs 0.000 description 1
- 108010081667 aflibercept Proteins 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940126534 drug product Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007918 intramuscular administration Methods 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000012669 liquid formulation Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007911 parenteral administration Methods 0.000 description 1
- 229920001184 polypeptide Polymers 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 150000003384 small molecules Chemical class 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G15/00—Conveyors having endless load-conveying surfaces, i.e. belts and like continuous members, to which tractive effort is transmitted by means other than endless driving elements of similar configuration
- B65G15/30—Belts or like endless load-carriers
- B65G15/58—Belts or like endless load-carriers with means for holding or retaining the loads in fixed position, e.g. magnetic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
- B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/231—Analysis of motion using block-matching using full search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
- G16H20/13—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
- B65G2201/02—Articles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
- B65G2201/02—Articles
- B65G2201/0235—Containers
- B65G2201/0258—Trays, totes or bins
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
- B65G2203/02—Control or detection
- B65G2203/0208—Control or detection relating to the transported articles
- B65G2203/0241—Quantity of articles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
- B65G2203/04—Detection means
- B65G2203/041—Camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Business, Economics & Management (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Chemical & Material Sciences (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medicinal Chemistry (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Manufacturing & Machinery (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Textile Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Mechanical Engineering (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Medical Preparation Storing Or Oral Administration Devices (AREA)
- Control Of Conveyors (AREA)
- Coupling Device And Connection With Printed Circuit (AREA)
- Ceramic Capacitors (AREA)
- Credit Cards Or The Like (AREA)
Abstract
本发明涉及具有集成电子视觉检查的组装线。本发明公开了方法和系统,其用于获得托盘的第一图像,确定在所述第一图像中的一个或多个第一图案的存在或不存在,确定在所述第一图像中的所述一个或多个第一图案中的每一个的旋转,以及基于在所述第一图像中的所述一个或多个第一图案的所述存在或不存在和所述旋转执行动作。
Description
本申请为发明专利申请号为201780046473.7的分案申请。
相关申请
本国际PCT申请要求于2016年7月29日提交的美国临时申请号62/368,438的优先权,其全部内容通过引用并入本文。
背景技术
对包含多个物品的产品进行组装,诸如药物包装的组装是一项复杂的任务。组装能够在一个或多个阶段中进行,其中在每个阶段将物品放置在产品中。由于没有将正确的物品放置在产品中、将太多的正确物品放置在产品中和/或将不正确的物品放置在产品中,都可能会引入错误。最终带有错误的产品导致收入损失,客户投诉增加以及在解决客户投诉的时间损失。在药物产品包装的情况下,不正确包装的一个意外结果是临床医生或患者可能不愿意使用包含在不正确组装的包装内的药物产品。这对于肠胃外,例如,皮下、肌肉、静脉内、眼内或通过吸入给药的药物产品来说可能尤其如此。即使临床医生或患者将不正确组装的包装退还给制造商,管理机构,诸如美国食品药品管理局将不允许重新包装药物产品,从而产生事件通知(NOE)。这种NOE会触发调查,增加费用,并可能导致竞争力下降。
因此,期望开发用于产品组装的新技术,其克服了现有技术的这些和其他限制,且通过减少错误并增加包装组装的效率来使其增强。
发明内容
要理解的是,下面的一般性描述和下面的详细描述仅仅是示例性和说明性的,而不是限制性的。本发明公开了方法和系统,其用于获得托盘的第一图像,确定在第一图像中的一个或多个第一图案的存在或不存在,确定在第一图像中的一个或多个第一图案中的每一个的旋转,以及基于在第一图像中的一个或多个第一图案的存在或不存在和旋转执行动作。
额外的优点将部分地在下面的描述中进行阐述或者可以通过实践来习得。借助于在所附权利要求中特别指出的元素和组合,将实现并达成这些优点。
附图说明
并入并构成本说明书的一部分的附图示出了实施例,且与描述一起用于解释该方法和系统的原理:
图1为示例系统;
图2为物体的示例图像;
图3A为物体的示例图像;
图3B为物体的示例图像;
图4A为物体的示例图像;
图4B为物体的示例图像;
图5A为物体的示例图像;
图5B为物体的示例图像;
图6A为物体的示例图像;
图6B为物体的示例图像;
图7A为物体的示例图像;
图7B为物体的示例图像;
图8A为物体的示例图像;
图8B为物体的示例图像;
图9为示例系统的示例实施例;
图10为示出示例方法的流程图;以及
图11为示例性操作环境。
具体实施方式
在公开和描述本方法和系统之前,要理解的是,该方法和系统不限于具体方法、具体组件或特定的实施方式。还要理解的是,在本文中使用的术语仅用于描述特定的实施例,且不旨在限制。
如在本说明书和所附的权利要求中使用的,单数形式“一”、“一个”和“该”包括复数个指示物,除非上下文另有明确指示。范围在本文中可以表示为从“约”一个特定值和/或到“约”另一个特定值。当表达这样的范围时,另一个实施例包括从一个特定值和/或到另一个特定值。类似地,当通过使用先行词“约”将值表示为近似值时,将理解该特定值形成另一个实施例。将进一步理解的是,范围中的每一个的端点相关于其他端点以及独立于其他端点而言都是重要的。
“可选的”或“可选地”表示随后描述的事件或情况可能或可能不发生,以及描述包括发生该事件或状况的情况以及未发生该事件或状况的情况。
在本说明书的整个说明书和权利要求书中,词语“包括”和该词语的变型,诸如“包含”和“含有”,表示“包括但不限于”,且不旨在排除,例如,其他组件、整数或步骤。“示例性”表示“......的示例”,并不旨在传达优选的或理想的实施例的指示。“诸如”不是按限制性意义使用的,而是用于解释目的。
本发明公开了能够用于执行所公开的方法和系统的组件。在本文中公开了这些和其他组件,且要理解的是,当公开了这些组件的组合、子集、交互、组等时,虽然可能未明确公开每一个的各种个体和集体的组合的具体参考和这些的排列,但对于所有方法和系统而言,每一个都在本文中进行了具体地考虑和描述。这适用于本申请的所有方面,包括但不限于所公开方法中的步骤。因此,如果存在能够执行的各种额外步骤,则要理解的是,这些额外步骤中的每一个能够以所公开方法的任何具体实施例或实施例的组合来执行。
通过参考以下对优选实施例的详细描述和包括在其中的示例,以及附图及其之前和之后的描述可以更容易地理解本方法和系统。
如本领域的技术人员将理解的,该方法和系统可以采用完全硬件的实施例,完全软件的实施例或组合软件和硬件方面的实施例的形式。此外,该方法和系统可以采用计算机可读存储介质上的计算机程序产品的形式,该计算机可读存储介质具有包含在存储介质中的计算机可读程序指令(例如,计算机软件)。更特别地,本方法和系统可以采用网络实现的计算机软件的形式。可以利用任何合适的计算机可读存储介质,包括硬盘、CD-ROM、光存储装置或磁存储装置。
下面参考方法、系统、设备和计算机程序产品的方框图和流程图描述了该方法和系统的实施例。将理解的是,方框图和流程图的每个方框以及在方框图和流程图中的方框的组合能够分别由计算机程序指令实施。这些计算机程序指令可以加载到通用计算机、专用计算机或用于产生机器的其他可编程数据处理设备上,以使得在计算机或其他可编程数据处理设备上执行的指令创建了用于实施在流程图方框或多个方框中指定的功能的方式。
这些计算机程序指令还可以被存储在计算机可读存储器中,该存储器能够指导计算机或其他可编程数据处理设备以特定方式运行,以使得被存储在计算机可读介质中的指令产生包括实施在流程方框或多个方框中指定的功能的计算机可读指令的制品。计算机程序指令还可以被加载到计算机或其他可编程数据处理设备上,以使得要在计算机或其他可编程设备上执行的一系列操作步骤产生计算机实施的过程,以使得在计算机或其他可编程设备上执行的指令提供用于实施在流程方框或多个方框中指定的功能的步骤。
因此,方框图和流程图的方框支持用于执行指定功能的方式的组合,用于执行指定功能的步骤的组合和用于执行指定功能的程序指令方式。还将理解的是,方框图和流程图的每个方框以及在方框图和流程图中的方框的组合能够由执行指定功能或步骤的专用基于硬件的计算机系统或专用硬件和计算机指令的组合实施。
本公开涉及与制造和产品组装相关的计算机功能的改进。
图1是示出可以在其中操作本方法和系统的示例性系统100的各个方面的方框图。本领域的技术人员将理解,本文提供的是功能描述,且各个功能能够由软件、硬件或软件和硬件的组合来执行。
在一个方面中,系统100能够包括传送带101。传送带101能够包括一个或多个防滑条102。一个或多个防滑条102能够由橡胶或类似材料制成,以用于附接到传送带101。一个或多个防滑条102能够在传送带101的表面上方凸起或以其他方式延伸。一个或多个防滑条102能够包括基于行进方向103的前部防滑条和后部防滑条。前部防滑条和后部防滑条能够是相对于被放置在皮带上的物体而言的,以使得前部防滑条相对于行进方向103在物体的前面,且后部防滑条相对于行进方向103在物体的后面。因此,用于第一物体的前部防滑条也能够是用于在第一物体前方的第二物体的后部防滑条,等等。一个或多个物体104能够放置在传送带101上。在一个方面中,一个或多个物体104能够包括在一个或多个组装状态中的产品。例如,一个或多个物体104能够包括托盘。托盘能够被配置成保持一个或多个物品。一个或多个物品能够与医疗相关。例如,一个或多个物品能够包括一个或多个注射器、自动注射器、一个或多个注射器针头、一个或多个药物容器、一个或多个小册子或书面指令组,其组合等。
在一个方面中,书面指令组阐述了关于如何使用和施用药物的信息。在另一个方面中,书面指令为由管理机构,诸如美国食品药品管理局批准的药物治疗标签。
在一个方面中,药物为固体制剂。在另一个方面中,药物为液体制剂。在另一个方面中,药物为凝胶制剂。
在一个方面中,药物被配制为用于口服给药。在另一个方面中,药物被配制为用于肠胃外给药。在另一个方面中,药物被配制为用于皮下给药。在另一个方面中,药物被配制为用于肌内给药。在另一个方面中,药物被配制为用于静脉内给药。在另一个方面中,药物被配制为用于吸入给药。在另一个方面中,药物被配制为用于眼内给药。
在一个方面中,药物包括小分子活性成分。在另一个方面中,药物包括生物制剂。在另一个方面中,药物包括肽或多肽活性成分。
在一个方面中,药物包括血管内皮生长因子(VEGF)衍生的活性成分。在另一个方面中,药物包括阿柏西普(aflibercept),其在美国专利号7,070,959;7,303,746;7,303,747;7,306,799;7,374,757;7,374,758;7,531,173;7,608,261;7,972,598;8,029,791;8,092,803;8,343,737;8,647,842中进行了描述,该专利中的每一个的全部内容均通过引用并入本文。
传送带101能够越过驱动辊,该驱动辊能够由步进马达105驱动。步进马达105的使用使得能够相对于摄像头106、摄像头107和摄像头108来精确定位一个或多个物体104。一个或多个物体104中的每一个的长度能够表示为精确数量的马达步幅。传送带101能够精确地推进或倒退,以使一个或多个物体104中的每一个移动到分别与摄像头106、摄像头107和摄像头108相关联的视野109、视野110和视野111中。可编程逻辑控制器(PLC)112(PLC 112能够包括计算装置、PLC或其他控制器/处理器)能够被配置成使步进马达105在任一方向上执行任何数量的步幅以使一个或多个物体104移动到视野109、视野110和视野111中。
在一个方面中,摄像头106、摄像头107和/或摄像头108能够被配置成扫描、解码、读取、感测、成像、捕获和/或解释视觉代码。在一些方面中,摄像头106、摄像头107和/或摄像头108能够被配置成处理激光、线性或区域成像。例如,在一个方面中,摄像头106、摄像头107和/或摄像头108可以包括用于扫描、读取和解码一维或二维条形码的成像器。摄像头106、摄像头107和/或摄像头108能够包括能够从与所公开实施例一致的视觉代码中提取信息的任何成像器、条形码扫描器或可视代码扫描器。在某些方面中,摄像头106、摄像头107和/或摄像头108能够被配置成处理扫描的条形码、图像和其他数据。摄像头106、摄像头107和/或摄像头108能够包括一个或多个深度摄像头,其用于捕获、处理、感测、观察、建模、检测和与三维环境交互。在某些方面中,摄像头106、摄像头107和/或摄像头108能够分别识别和检测在视野109、视野110和视野111中的物体的深度和颜色。摄像头106、摄像头107和/或摄像头108还能够提供其他摄像头和视频记录器功能,诸如拍照、记录视频、流化图像和其他数据、在图像缓冲器中存储数据等。这些功能可以或可以不包括深度信息。结合与所公开的实施例一致的硬件和/或软件过程,摄像头106、摄像头107和/或摄像头108能够确定一个或多个物体104的大小、取向和视觉特性。摄像头106、摄像头107和/或摄像头108能够包括或包含能够处理本文公开的过程的本领域的技术人员已知的任何摄像头。摄像头106、摄像头107和/或摄像头108能够包括适当的硬件和软件组件(例如,电路、软件指令等),其用于向和从通过/未通过控制器113传输信号和信息以进行与所公开的实施例一致的过程。通过/未通过控制器113能够包括计算装置、PLC或其他控制器/处理器。摄像头106、摄像头107和/或摄像头108能够分别向监视器114、监视器115和监视器116输出图像和/或一个或多个通知。
将一个或多个物体104定位至视野109、视野110和视野111中能够发生在系统100的启动时且能够在使用系统100期间进行调整。摄像头106、摄像头107和/或摄像头108中的一个或多个能够用于确保传送带101的适当定位。例如,摄像头107能够被配置成生成在视野110内区域的图像。摄像头107能够确定在图像中一个或多个防滑条102的位置。在一个方面中,摄像头107能够确定前部防滑条的位置。摄像头107能够将图像中的一个或多个防滑条102的确定位置与参考位置进行比较。如果确定位置等于参考位置,则不需要对传送带101进行调整。如果确定位置不等于参考位置,摄像头107则能够基于在确定位置和参考位置之间的差异确定偏移量。能够以距离的度量,例如毫米、厘米、英寸等来确定偏移量,和/或能够将偏移量确定为多个步幅。摄像头107能够将信号传输至PLC 112以通过接合步进马达105来按偏移量推进或倒退传送带101。
在操作中,系统100能够被配置成评估一个或多个物体104的当前组装状态,并基于当前组装状态采取一个或多个动作。当一个或多个物体104中的每一个被传送带101推进时,一个或多个物体104将各自被分别放置在摄像头106、摄像头107和/或摄像头108的视野109、视野110和视野111中。虽然图1仅示出了三个摄像头,但也能够具体地考虑使用少于三个或多于三个的摄像头。可进一步考虑的是,传送带101能够被配置成具有设置在其上面的多于所示三个的物体104,而不管摄像头的数量是多少。当一个或多个物体104沿传送带101前进时,一个或多个物品能够由人类操作员或机器人组装到一个或多个物体104中。
当一个或多个物体104中的每一个在摄像头中的一个的视野内时,摄像头能够生成在与该摄像头相关联的视野内的物体104的图像。例如,摄像头106能够生成在视野109内的区域的图像,摄像头107能够生成在视野110内的区域的图像,且摄像头108能够生成在视野111内的区域的图像。摄像头106、摄像头107和/或摄像头108中的每一个能够分析其各自的图像。图像的分析能够包括确定一个或多个图案的存在或不存在。一个或多个图案能够包括文本图案、数字图案、符号图案及其组合。例如,文本图案能够包括任何序列的字符,诸如“过滤针头”。数字图案能够包括任何序列的数字,诸如“6941518”。符号图案能够包括任何序列的符号,诸如在一个方面中,摄像头106、摄像头107和/或摄像头108能够利用光学字符识别(OCR)来“读取”一个或多个图案。在另一个方面中,摄像头106、摄像头107和/或摄像头108能够被配置成不利用OCR,而是能够被配置成仅将一个或多个图案识别为具体的图案。
在一个方面中,一个或多个图案能够包含在要组装至一个或多个物体104中的一个或多个物品上。在一个方面中,一个或多个物品中的至少一部分能够包括一个或多个相关联的图案。因此,在摄像头106、摄像头107和/或摄像头108确定了一个或多个图案的存在的情况下,一个或多个图案的存在指示与具体图案相关联的物品的存在。例如,如果摄像头106确定在所拍摄的视野109内的区域的图像中“过滤针头”的存在,则能够得出结论,与图案“过滤针头”相关联的物品存在于在视野109内的物体104中。摄像头106、摄像头107和/或摄像头108能够被配置成确定在单个图像内多个图案的存在或不存在。例如,摄像头106能够确定在所拍摄的视野109内的区域的图像中“过滤针头”和“过滤针头”的存在。两个图案的存在能够指示与图案“过滤针头”的两次出现相关联的物品存在于在视野109内的物体104中。
能够组装至一个或多个物体104中的物品中的每一个能够与指示具体数量的该物品的存在或不存在的一个或多个图案相关联。例如,物品可以被具体化为仅以具体图案出现一次。如果摄像头106、摄像头107和/或摄像头108确定了具体图案仅出现一次,则能够得出结论,仅存在一个该物品。然而,如果摄像头106、摄像头107和/或摄像头108确定了具体图案出现了两次或更多次,则能够得出结论,存在有多于一个的该物品。在另一个示例中,物品可以被具体化为具体图案出现两次。如果摄像头106、摄像头107和/或摄像头108确定了具体图案仅出现两次,则能够得出结论,仅存在一个该物品。然而,如果摄像头106、摄像头107和/或摄像头108确定了具体图案出现了一次或三次或更多次,则能够得出结论,存在有多于一个的该物品。在又一个示例中,物品可以被具体化为具体图案出现次数的区间范围。例如,物品可以被具体化为具体图案出现一次至两次。如果摄像头106、摄像头107和/或摄像头108确定了具体图案出现了一次或两次,则能够得出结论,仅存在一个该物品。然而,如果摄像头106、摄像头107和/或摄像头108确定了具体图案出现了三次或更多次,则能够得出结论,存在有多于一个的该物品。
摄像头106、摄像头107和/或摄像头108中的每一个能够被配置成分析整个图像或图像的一个或多个具体区域。图2示出了物体104的示例图像200。物体104能够包括托盘201,其被配置成用于存储一个或多个物品。一个或多个物品能够被组装至托盘201中,以使得一个或多个物品中的至少一部分存在于一个或多个具体区域中。托盘201能够包括一个或多个区域,例如,区域202、区域203和区域204。区域202、区域203和区域204中的每一个能够与如果物品存在于托盘201中则应该存在有一个或多个图案的区域相关联。例如,区域202能够与当组装至托盘201中时的小瓶的小瓶盖的位置相关联,区域203能够与当组装至托盘201中时的一个或多个注射器和/或一个或多个针头的位置相关联,且区域204能够与当组装至托盘201中时的一个或多个小册子的位置相关联。摄像头106、摄像头107和/或摄像头108中的每一个能够被配置成分析图像200的一个或多个分配区域。例如,摄像头106能够被分配为分析区域202和区域203,摄像头107能够被分配为分析区域203,且摄像头108能够被分配为分析区域203和区域204。可考虑分配区域的任何组合。而且,摄像头106、摄像头107和/或摄像头108中的每一个能够被配置成确定在分配区域中的一个或多个分配图案的存在或不存在。例如,摄像头106能够被分配为确定在区域202中的小瓶盖的存在或不存在以及在区域203中的第一图案的存在或不存在(包括第一图案的出现次数),摄像头107能够被分配为确定在区域203中的第二图案的存在或不存在(包括第二图案的出现次数),且摄像头108能够被分配为确定在区域203中的第三图案的存在或不存在(包括第三图案的出现次数)以及在区域204中的第四图案的存在或不存在(包括第四图案的出现次数)。可考虑分配图案和分配区域的任何组合。
参考图1,一个或多个物体104中的每一个能够被配置成包含具体数量的一个或多个物品中的每一个。具体数量的每个物品的存在指示正确组装了一个或多个物体104。除了具体数量的每个物品的任何事物的存在指示未正确组装一个或多个物体104。摄像头106、摄像头107和/或摄像头108中的每一个能够被配置成对在各个视野内的物体104进行独立的评估。如果摄像头确定有该摄像头被配置成去检测的具体数量的物品存在,摄像头则能够向通过/未通过控制器113发出通过信号。如果摄像头确定没有该摄像头被配置成去检测的具体数量的物品不存在,摄像头则能够向通过/未通过控制器113发出未通过信号。如果摄像头106、摄像头107和/或摄像头108中的每一个向通过/未通过控制器113发出通过信号,通过/未通过控制器113则能够向PLC 112提供信号以便步进马达105推进传送带101以推进一个或多个物体104以使其位于下一个摄像头的视野下。通过/未通过控制器113还能够将通知传输到监视器114至116中的每一个以显示通过通知。如果摄像头106、摄像头107和/或摄像头108中的一个或多个向通过/未通过控制器113发出未通过信号,通过/未通过控制器113则不会向PLC 112提供信号以使步进马达105推进。通过/未通过控制器113还能够向与摄像头相关联的监视器114至116传输通知,该摄像头发出未通过信号以显示未通过通知。位于显示未通过通知的监视器114至116的操作员(例如,人或机器人)能够采取纠正动作以补救未通过的状态。例如,如果由于缺少的物品而发出未通过信号,操作员则能够替换缺少的物品,因此做出先前的未通过确定的摄像头能够重新生成和重新分析图像以确定该物品现在是存在的,并向通过/未通过控制器113发出通过信号。在另一个示例中,如果由于一个或多个额外物品发现未通过信号,操作员则能够去除一个或多个额外物品,因此做出先前的未通过确定的摄像头能够重新生成和重新分析图像以确定所需数量的物品现在是存在的,并向通过/未通过控制器113发出通过信号。
在又一个方面中,由摄像头106、摄像头107和/或摄像头108进行的图像分析能够不仅包括确定一个或多个图案的存在或不存在,而且包括确定两个或更多个图案的旋转。在一个方面中,两个或更多个图案能够实施在要沿具体轴线组装至一个或多个物体104中的一个或多个物品上。在一个方面中,一个或多个物品中的至少一部分能够包括沿具体轴线的两个或更多个相关联的图案。因此,在摄像头106、摄像头107和/或摄像头108确定了沿具体轴线的两个或多个图案的存在的情况下,沿具体轴线的两个或更多个图案的存在指示沿具体轴线的与具体图案相关联的物品的存在。例如,如果摄像头106确定在所拍摄的视野109内的区域的图像中沿相同轴线(例如,30°、60°、90°、120°、180°等)的“过滤针头”和“过滤针头”的存在,则能够得出结论,沿相同轴线的与图案“过滤针头”和“过滤针头”相关联的物品存在于在视野109内的物体104中。摄像头106、摄像头107和/或摄像头108能够被配置成确定在单个图像内多个图案的旋转。例如,摄像头106能够确定在所拍摄的视野109内的区域的图像中沿第一轴线的“过滤针头”和“过滤针头”的存在以及沿第二轴线的“注射器针头”和“注射器针头”的存在。沿两个不同轴线的两个图案的存在能够指示与图案“过滤针头”沿第一轴线的两次出现相关联的物品存在于物体104中,且与图案“注射器针头”沿第二轴线的两次出现相关联的物品也存在于物体104中。作为又一个示例,摄像头106能够确定在所拍摄的视野109内的区域的图像中沿第一轴线的“过滤针头”和“过滤针头”的存在以及沿第二轴线的“过滤针头”的存在。沿两个不同轴线的两个图案的存在能够指示与图案“过滤针头”相关联的物品的两次出现存在于物体104中。
能够组装至一个或多个物体104中的物品中的每一个能够与指示具体数量的该物品的存在或不存在的沿具体轴线具体化的一个或多个图案相关联。例如,物品可以用具体图案沿具体轴线的两次出现而具体化。如果摄像头106、摄像头107和/或摄像头108确定了具体图案仅沿具体轴线出现两次,则能够得出结论,仅存在一个该物品。然而,如果摄像头106、摄像头107和/或摄像头108确定了具体图案沿多于一个轴线出现,则能够得出结论,存在有多于一个的该物品。
图3A和图3B示出了包括物品301和物品302的托盘201的示例图像300和303。例如,物品301能够是小瓶且物品302能够是过滤针头。生成图像的摄像头106、摄像头107和/或摄像头108中的任何一个能够确定小瓶盖存在于区域202中。单个小瓶盖的存在指示物品301是存在的。生成图像300的摄像头106、摄像头107和/或摄像头108能够确定在区域203中存在图案“文本A”的两次出现。在一个方面中,图案“文本A”的两次出现能够指示存在有该物品302的一个或多于一个实例,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在另一个方面中,取决于在物品302上的图案配置(例如,物品302的单个实例能够具有“文本A”的单次出现或“文本A”的两次出现),摄像头106、摄像头107和/或摄像头108能够确定“文本A”和“文本A”是否出现在相同的轴线上。如果“文本A”和“文本A”出现在相同的轴线上,摄像头106、摄像头107和/或摄像头108则能够确定物品302的单个实例是存在的,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。如果“文本A”和“文本A”出现在不同的轴线上,摄像头106、摄像头107和/或摄像头108则能够确定物品302的多于一个的实例是存在的,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在一个方面中,轴线的确定能够用于确认存在任何数量的该物品302,且基于该物品302的预期数量的实例与物品302的所确定数量的实例生成通过或未通过信号。
图4A示出了包括物品301和物品302的两个实例的托盘201的示例图像400。生成图像400的摄像头106、摄像头107和/或摄像头108能够确定在区域203中存在图案(“文本A”)的三次出现。在一个方面中,图案“文本A”的三次出现能够指示存在有该物品302的一个或多于一个实例,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在另一个方面中,取决于在物品302上的图案配置(例如,物品302的单个实例能够具有“文本A”的单次出现或“文本A”的两次出现或“文本A”的三次出现),摄像头106、摄像头107和/或摄像头108能够确定“文本A”的三次出现是否出现在相同的轴线上。如在图4A中所示,“文本A”的两次出现都出现在相同的轴线上,且“文本A”的一次出现则出现在不同的轴线上。因此,摄像头106、摄像头107和/或摄像头108能够确定物品302的多于一个的实例是存在的,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在一个方面中,轴线的确定能够用于确认存在任何数量的该物品302,且基于该物品302的预期数量的实例与物品302的所确定数量的实例生成通过或未通过信号。
图4B示出了包括物品301、物品302的一个实例和物品402的一个实例的托盘201的示例图像401。在一个方面中,生成图像400的摄像头106、摄像头107和/或摄像头108能够确定在区域203中存在第一图案(“文本A”)的两次出现且存在第二图案(“文本B”)的一次出现。在一个方面中,图案“文本A”的两次出现能够指示存在有该物品302的一个或多于一个实例,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在另一个方面中,取决于在物品302上的图案配置(例如,物品302的单个实例能够具有“文本A”的单次出现或“文本A”的两次出现或“文本A”的三次出现),摄像头106、摄像头107和/或摄像头108能够确定“文本A”的两次出现是否出现在相同的轴线上。如图4B中所示,“文本A”的两次出现出现在相同的轴线上。因此,摄像头106、摄像头107和/或摄像头108能够确定物品302的多于一个的实例是存在的,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。然而,图案“文本B”的一次出现能够指示在组装过程的这个阶段中已将不应在托盘201中的物品放置在了托盘201中。因此,摄像头106、摄像头107和/或摄像头108能够基于不旨在存在的图案的存在生成未通过信号。
在另一个方面中,生成图像400的摄像头106、摄像头107和/或摄像头108能够确定图案“文本B”是存在的且能够忽略图案“文本A”的存在(或根据需要的任何其他图案)。在一个方面中,图案“文本B”的一次出现能够指示存在有该物品302的一个实例,且摄像头106、摄像头107和/或摄像头108能够生成通过信号。
图5A示出了包括物品301、物品302和物品501的单个实例的托盘201的示例图像500。生成图像500的摄像头106、摄像头107和/或摄像头108能够被配置成忽略在区域202中的小瓶盖以及忽略在区域203中的图案“文本A”的存在。相反地,生成图像400的摄像头106、摄像头107和/或摄像头108能够确定在区域203中存在另一个图案(“文本B”)的两次出现。在一个方面中,图案“文本B”的两次出现能够指示存在有该物品501的一个或多于一个实例,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在另一个方面中,取决于在物品501上的图案配置(例如,物品501的单个实例能够具有“文本B”的单次出现或“文本B”的两次出现或“文本B”的三次出现),摄像头106、摄像头107和/或摄像头108能够确定“文本B”的两次出现是否出现在相同的轴线上。如图5A中所示,“文本B”的两次出现出现在相同的轴线上。因此,摄像头106、摄像头107和/或摄像头108能够确定物品501的一个实例是存在的,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在一个方面中,轴线的确定能够用于确认存在任何数量的该物品501,且基于该物品501的预期数量的实例与物品501的所确定数量的实例生成通过或未通过信号。图5B示出了包括物品301、物品302和物品501的单个实例的托盘201的示例图像503。图5B类似于图5A,除了图5B示出了图案“文本B”沿相同的轴线出现了两次,然而是在不同于图5A中的轴线的不同角度上。
图6A示出了包括物品301和物品501的两个实例的托盘201的示例图像600。生成图像600的摄像头106、摄像头107和/或摄像头108能够确定在区域203中存在图案“文本B”的四次出现。在一个方面中,图案“文本B”的四次出现能够指示存在有该物品501的一个或多于一个实例,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在另一个方面中,取决于在物品501上的图案配置(例如,物品501的单个实例能够具有“文本B”的单次出现或“文本B”的两次出现或“文本B”的三次出现或“文本B”的四次出现),摄像头106、摄像头107和/或摄像头108能够确定“文本B”的四次出现所出现在的轴线。如在图5A中所示,“文本B”的两次出现都出现在第一轴线上,且“文本B”的另外两次出现则出现在第二轴线上。因此,当两组“文本B”出现在不同的轴线上时,摄像头106、摄像头107和/或摄像头108能够确定物品501的多于一个的实例是存在的,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在一个方面中,轴线的确定能够用于确认存在任何数量的该物品501,且基于该物品501的预期数量的实例与物品501的所确定数量的实例生成通过或未通过信号。
图6B示出了包括物品301、物品302和物品501的两个实例的托盘201的示例图像601。生成图像601的摄像头106、摄像头107和/或摄像头108能够确定在区域203中存在图案“文本B”的三次出现。在一个方面中,图案“文本B”的三次出现能够指示存在有该物品501的一个或多于一个实例,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在另一个方面中,取决于在物品501上的图案配置(例如,物品501的单个实例能够具有“文本B”的单次出现或“文本B”的两次出现或“文本B”的三次出现或“文本B”的四次出现),摄像头106、摄像头107和/或摄像头108能够确定“文本B”的三次出现所出现在的轴线。如在图6B中所示,“文本B”的两次出现都出现在第一轴线上,且“文本B”的一次出现则出现在第二轴线上。因此,当两组“文本B”出现在不同的轴线上时,摄像头106、摄像头107和/或摄像头108能够确定物品501的多于一个的实例是存在的,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在一个方面中,轴线的确定能够用于确认存在任何数量的该物品501,且基于该物品501的预期数量的实例与物品501的所确定数量的实例生成通过或未通过信号。
图7A示出了包括物品301、物品302、物品501、物品701单个实例和物品702的单个实例的托盘201的示例图像700。生成图像700的摄像头106、摄像头107和/或摄像头108能够被配置成忽略在区域202中的小瓶盖以及忽略在区域203中的图案“文本A”和“文本B”的存在。相反地,生成图像700的摄像头106、摄像头107和/或摄像头108能够确定在区域203中存在另一个图案(“文本D”)的两次出现。在一个方面中,图案“文本D”的两次出现能够指示存在有该物品701的一个或多于一个实例,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在另一个方面中,取决于在物品701上的图案配置(例如,物品701的单个实例能够具有“文本D”的单次出现或“文本D”的两次出现或“文本D”的三次出现),摄像头106、摄像头107和/或摄像头108能够确定“文本D”的两次出现是否出现在相同的轴线上。如图7A中所示,“文本D”的两次出现出现在相同的轴线上。因此,摄像头106、摄像头107和/或摄像头108能够确定物品701的一个实例是存在的,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在一个方面中,轴线的确定能够用于确认存在任何数量的该物品701,且基于该物品701的预期数量的实例与物品701的所确定数量的实例生成通过或未通过信号。在相同的图像700中,摄像头106、摄像头107和/或摄像头108能够确定在区域204中存在另一个图案(“文本C”)的两次出现。在一个方面中,图案“文本C”的两次出现能够指示存在有该物品702的一个或多于一个实例,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在另一个方面中,取决于在物品702上的图案配置(例如,物品702的单个实例能够具有“文本C”的单次出现或“文本C”的两次出现或“文本C”的三次出现),摄像头106、摄像头107和/或摄像头108能够确定“文本C”的两次出现是否出现在相同的轴线上。如图7A中所示,“文本C”的两次出现出现在相同的轴线上。因此,摄像头106、摄像头107和/或摄像头108能够确定物品702的一个实例是存在的,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在一个方面中,轴线的确定能够用于确认存在任何数量的该物品702,且基于该物品702的预期数量的实例与物品702的所确定数量的实例生成通过或未通过信号。图7B示出了包括物品301、物品302、物品501、物品701单个实例和物品702的单个实例的托盘201的示例图像703。图7B类似于图7A,除了图7B示出了图案“文本D”沿相同的轴线出现了两次,然而是在不同于图7A中的轴线的不同角度上,且类似地,图案“文本C”沿相同的轴线出现了两次,然而是在不同于图7A中的轴线的不同角度上。
图8A示出了包括物品301、物品302、物品501、物品701两个实例和物品702的单个实例的托盘201的示例图像800。生成图像800的摄像头106、摄像头107和/或摄像头108能够确定在区域203中存在图案“文本D”的三次出现。在一个方面中,图案“文本D”的三次出现能够指示存在有该物品701的一个或多于一个实例,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在另一个方面中,取决于在物品701上的图案配置(例如,物品701的单个实例能够具有“文本D”的单次出现或“文本D”的两次出现或“文本D”的三次出现或“文本D”的四次出现),摄像头106、摄像头107和/或摄像头108能够确定“文本D”的三次出现所出现在的轴线。如在图8A中所示,“文本D”的两次出现都出现在第一轴线上,且“文本D”的一次出现则出现在第二轴线上。因此,当两组“文本D”出现在不同的轴线上时,摄像头106、摄像头107和/或摄像头108能够确定物品701的多于一个的实例是存在的,且摄像头106、摄像头107和/或摄像头108能够酌情生成通过或未通过信号。在一个方面中,轴线的确定能够用于确认存在任何数量的该物品701,且基于该物品701的预期数量的实例与物品701的所确定数量的实例生成通过或未通过信号。图8B类似于图8A,除了图8B示出了图案“文本D”沿相同的轴线出现了两次,然而第一和第二轴线是在不同于图8A中的轴线的不同角度上。
返回图1,摄像头106、摄像头107和/或摄像头108中的每一个能够独立地确定图像中的一个或多个图案的存在或不存在并确定在物体104的图像中的一个或多个图案中的每一个的旋转。摄像头106、摄像头107和/或摄像头108中的每一个能够基于图像中的一个或多个图案的存在或不存在和旋转执行动作。如果摄像头基于图案的存在和图案的旋转确定在物体104的图像中存在有正确数量的物品,该动作能够包括向通过/未通过控制器113传输通过信号。如果摄像头基于图案的存在和图案的旋转确定在物体104的图像中存在有不正确数量的物品,该动作能够包括向通过/未通过控制器113传输未通过信号。如果摄像头106、摄像头107和/或摄像头108中的每一个向通过/未通过控制器113发出通过信号,通过/未通过控制器113则能够向PLC 112提供信号以便步进马达105推进传送带101以推进一个或多个物体104以使其位于下一个摄像头的视野下。通过/未通过控制器113还能够将通知传输到监视器114至116中的每一个以显示通过通知。如果摄像头106、摄像头107和/或摄像头108中的一个或多个向通过/未通过控制器113发出未通过信号,通过/未通过控制器113则不会向PLC 112提供信号以使步进马达105推进。通过/未通过控制器113还能够向与摄像头相关联的监视器114至116传输通知,该摄像头发出未通过信号以显示未通过通知。位于显示未通过通知的监视器114至116的操作员(例如,人或机器人)能够采取纠正动作以补救未通过的状态。
在另一个方面中,摄像头106、摄像头107和/或摄像头108中的一个或多个能够对一个或多个物体104中的数量进行计数。例如,一个或多个物体104经过摄像头106、摄像头107和/或摄像头108中的一个,且摄像头能够使摄像头成像的一个或多个物体104的计数增加。在又一个方面中,在一个或多个物体104之间能够散布数个空位置。例如,在某些情景中,摄像头106、摄像头107和/或摄像头108中的一个或多个可以不具有在各个视野内的物体104。传送带101能够具有在其上面具体化的图案(例如,“无托盘”的图案),该图案所在的位置是将以其他方式放置物体104的位置。摄像头106、摄像头107和摄像头108能够识别图案并发出通过信号以有助于传送带101的推进。
图9示出了系统100的示例实施例,其示出了相对于传送带101来定位摄像头106、摄像头107和摄像头108。图9还示出了监视器114至116的定位。在传送带101的一端示出了步进马达105。能够用壳体901包含PLC 112和/或通过/未通过控制器113中的一个或多个。一个或多个分配器902能够被配置成存储要在组装至一个或多个物体104期间进行评估的一个或多个物品。系统100能够包括一个或多个紧急停止(“急停”)按钮903。急停按钮903能够接合在任何时间点上以出于任何原因暂时停止系统100的操作。能够重置急停按钮903,且能够重新启动系统100(例如,由已确定这样做是安全的操作员或技术人员进行)。系统100能够包括一个或多个光电开关904。光电开关904能够通过将手指或拇指放置在光电开关904的鞍状结构中来致动(“启动”)。这个动作破坏了光信号路径,从而导致开关状态。光电开关904能够用于在“手动触发”模式期间接受目视检查,并在“自主”(或“自动”)模式期间启动/重新启动皮带运动。
系统100能够包括键开关机构905。键开关机构905能够用于在“自主”模式和“手动触发”模式之间切换。在正常操作下,无论模式如何,第一个操作员站可包括将托盘加载到传送带101上的操作员。在一个方面中,这些托盘能够预装配有预填充的加盖小瓶。在手动触发模式中,在第二个操作员站,操作员能够将过滤针尖装载至托盘中。在这个操作之后,摄像头106检查用于适当物品的托盘。在第三个操作员站,注射针尖能够被添加至托盘。随后,摄像头107检查用于适当物品的托盘。在第四个操作员站,操作员将空的泡罩包装的注射器加载到托盘中。之后,第五个操作员将医师插入物(PI)加载到托盘中。在加载PI之后,摄像头108检查用于完成加载的托盘。一旦托盘通过这个最后一站,完全填充的托盘就离开传送带101以进行装箱。
在自动化模式中,托盘自动沿传送带101向下移动。系统100能够在传送带101转移到下一个位置之前保持停留时间(例如,1至5秒)。仅当所有三个检查摄像头(例如,摄像头106、摄像头107和摄像头108)清除了由各个摄像头检查的托盘(“通过”)时,才发生转移。在任何检查站的问题都可能导致传送带101和“红灯”状态(未通过),在该点处,操作员能够纠正问题或从传送带101拉动托盘(每个摄像头能够允许传送带101在其视野中不存在托盘时推进)。传送带101的推进可能取决于检测“通过”托盘配置的所有摄像头。在每个摄像头站的显示屏幕(例如,监视器114至116)能够显示相关联的摄像头的视频流,其根据检查结果具有覆盖的“通过”、“未通过”或“无作业”的状态。在操作期间,如果需要的话,能够从监视器114至116重置摄像头的在线状态。
在一个方面中,如在图10中所示,公开了一种方法1000,其包括在1010处获得托盘的第一图像。方法1000能够包括在1020处确定在第一图像中的一个或多个第一图案的存在或不存在。一个或多个第一图案能够包括文本图案、数字图案、符号图案及其组合。方法1000能够包括在1030处确定在第一图像中的一个或多个第一图案中的每一个的旋转。方法1000能够包括在1040处基于在第一图像中的一个或多个第一图案的存在或不存在和旋转执行动作。在一个方面中,方法1000的每个步骤能够通过计算装置、摄像头(具有处理功能)或其组合执行。在某个方面中,能够采用多个计算装置和/或摄像头以执行方法1000。例如,能够使用多个摄像头,其中第一摄像头能够执行步骤1010、1020和步骤1030,而第二摄像头执行步骤1040。在另一个方面中,方法1000能够在托盘沿组装线行进时在几个摄像头和/或计算装置中的每一个处重复进行。例如,能够对具体图案由第一摄像头执行步骤1010、1020、1030和1040,且随后能够对另一个具体图案由第二摄像头执行步骤1010、1020、1030和1040。更进一步地,能够由指定的摄像头和/或计算装置执行本文所述的一个或多个子步骤。
确定在第一图像中的一个或多个第一图案的存在或不存在能够包括确定一个或多个第一图案中的一个或两个的存在,且其中确定第一图像中的一个或多个第一图案中的每一个的旋转能够包括确定一个或多个第一图案中的一个或两个在第一轴线上。基于在第一图像中的一个或多个第一图案的存在或不存在和旋转执行动作能够包括生成通过检查的信号并推进皮带,皮带具有设置在其上面的托盘。确定在第一图像中的一个或多个第一图案的存在或不存在能够包括确定一个或多个第一图案中的三个或更多个的存在。基于在第一图像中的一个或多个第一图案的存在或不存在和旋转执行动作能够包括生成未通过检查的信号并通知操作员应该从托盘移除与一个或多个第一图案相关联的第一物品。确定在第一图像中的一个或多个第一图案的存在或不存在能够包括确定一个或多个第一图案中的两个的存在,且其中确定第一图像中的一个或多个第一图案中的每一个的旋转能够包括确定一个或多个第一图案中的两个不在相同的轴线上。基于在第一图像中的一个或多个第一图案的存在或不存在和旋转执行动作能够包括生成未通过检查的信号并通知操作员应该从托盘移除与一个或多个第一图案相关联的第一物品。
方法1000还能够包括获得托盘的第二图像,确定在第二图像中的一个或多个第二图案的存在或不存在,确定在第二图像中的一个或多个第二图案中的每一个的旋转,以及基于在第二图像中的一个或多个第二图案的存在或不存在和旋转执行动作。一个或多个第二图案能够包括文本图案、数字图案、符号图案及其组合。确定在第二图像中的一个或多个第二图案的存在或不存在能够包括确定一个或多个第二图案中的一个或两个的存在,且其中确定第二图像中的一个或多个第二图案中的每一个的旋转能够包括确定一个或多个第二图案中的一个或两个在第二轴线上。基于在第二图像中的一个或多个第二图案的存在或不存在和旋转执行动作能够包括生成通过检查的信号并推进皮带,皮带具有设置在其上面的托盘。确定在第二图像中的一个或多个第二图案的存在或不存在能够包括确定一个或多个第二图案中的三个或更多个的存在。基于在第二图像中的一个或多个第二图案的存在或不存在和旋转执行动作能够包括生成未通过检查的信号并通知操作员应该从托盘移除与一个或多个第二图案相关联的第二物品。确定在第二图像中的一个或多个第二图案的存在或不存在能够包括确定一个或多个第二图案中的两个的存在,且其中确定第二图像中的一个或多个第二图案中的每一个的旋转能够包括确定一个或多个第二图案中的两个不在相同的轴线上。基于在第二图像中的一个或多个第二图案的存在或不存在和旋转执行动作能够包括生成未通过检查的信号并通知操作员应该从托盘移除与一个或多个第二图案相关联的第二物品。
方法1000还能够包括确定第一图像中防滑条的位置,将第一图像中的防滑条的确定位置与参考位置进行比较,确定该确定位置不同于参考位置,基于在确定位置和参考位置之间的差异确定偏移量以及将信号传输至皮带控制器以调整距离以按偏移量推进皮带,皮带具有设置在其上面的托盘。偏移量能够是负值、正值或零值中的一个。在一个方面中,基于在确定位置和参考位置之间的差异确定偏移量以及将信号传输至皮带控制器以调整距离以按偏移量推进皮带能够由一个或多个摄像头执行,其中皮带具有设置在其上面的托盘。例如,单个摄像头能够被指定为确定偏移量。可以在皮带的每次移动之后进行偏移量的确定。
方法1000还能够包括重复地获得托盘的第一图像,确定在第一图像中的一个或多个第一图案的存在或不存在,确定在第一图像中的一个或多个第一图案中的每一个的旋转,以及基于在第一图像中的一个或多个第一图案的存在或不存在和旋转执行动作。
方法1000还能够包括对多个托盘的数量进行计数,其中在多个托盘之间散布有数个空托盘的位置。方法1000还能够包括对空托盘的位置的数量进行计数。确定在第一图像中的一个或多个第一图案的存在或不存在包括确定无托盘图案。基于在第一图像中的一个或多个第二图案的存在或不存在和旋转执行动作能够包括推进皮带,皮带不具有设置在其上面的托盘图案。
在一个示例性方面中,能够在图11中所示和如下所述的计算机1101上实施方法和系统。作为示例,图1的摄像头106、摄像头107、摄像头108、PLC 112和/或通过/未通过控制器113(或其组件)能够是计算机1101,如在图11中所示的。类似地,所公开的方法和系统能够利用一个或多个计算机来在一个或多个位置中执行一个或多个功能。图2是示出用于执行所公开的方法的示例性操作环境1100的方框图。这个示例性操作环境1100仅是操作环境的示例,且不旨在对操作环境架构的使用范围或功能提出任何限制。也不应将操作环境1100解释为具有与对示例性操作环境1100中所示的组件中的任一个或组合相关的任何依赖性或要求。
本方法和系统能够与许多其他通用或专用计算系统环境或配置一起操作。能够适合与系统和方法一起使用的公知计算系统、环境和/或配置的示例包括但不限于个人计算机、服务器计算机、膝上型装置和多处理器系统。额外的示例包括机顶盒、可编程消费电子产品、网络PC、可编程逻辑控制器(PLC)、小型计算机、大型计算机、包括上述系统或装置中的任一个的分布式计算环境等。
所公开的方法和系统的处理能够由软件组件执行。所公开的系统和方法能够在由一个或多个计算机或其他装置执行的计算机可执行指令,诸如程序模块的一般性背景下进行描述。通常,程序模块包括执行特定任务或实现特定抽象数据类型的计算机代码、例程、程序、物体、组件、数据结构和/或类似物。所公开的方法还能够在基于网格且分布式的计算环境中实践,其中任务是由通过通信网络链接的远程处理装置执行的。在分布式计算环境中,程序模块能够位于包括存储器存储装置的本地和/或远程计算机存储介质中。
此外,本领域的技术人员将理解,本文公开的系统和方法能够经由采用计算机1101形式的通用计算装置来实施。计算机1101能够包括一个或多个组件,诸如一个或多个处理器1103、系统存储器1112以及将包括一个或多个处理器1103的计算机1101的各种组件联接到系统存储器1112的总线1113。在多处理器1103的情况下,系统能够利用并行计算。
总线1113能够包括几种可能类型的总线结构中的一个或多个,诸如存储器总线、存储器控制器、外围总线、加速图形端口以及使用各种总线架构中的任一种的处理器或本地总线。总线1113和本说明书中指定的所有总线也能够通过有线或无线网络连接实现。
计算机1101通常包括各种计算机可读介质。示例性可读介质能够是计算机1101可访问的任何可用介质,且包括,例如但不意味着限制,易失性和非易失性介质、可移动和不可移动介质。系统存储器1112能够包括计算机可读介质,其采用下列形式:易失性存储器,诸如随机存取存储器(RAM)和/或非易失性存储器,诸如只读存储器(ROM)。系统存储器1112通常能够包括数据,诸如图像分析数据1107和/或程序模块,诸如操作系统1105和图像分析软件1106,其可由一个或多个处理器1103访问和/或操作。
在另一个方面中,计算机1101还能够包括其他可移动/不可移动、易失性/非易失性计算机存储介质。大容量存储装置1104能够为计算机1101提供计算机代码、计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。例如,大容量存储装置1104能够是硬盘、可移动磁盘、可移动光盘、磁带盒或其他磁存储装置、闪存卡、CD-ROM、数字通用盘(DVD)或其他光存储装置、随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)等。
可选地,任何数量的程序模块能够存储在大容量存储装置1104(包括例如操作系统1105和图像分析软件1106)上。操作系统1105和图像分析软件1106(或其某种组合)中的一个或多个能够包括编程元件和图像分析软件1106。图像分析数据1107也能够存储在大容量存储装置1104上。图像分析数据1107能够存储在本领域已知的一个或多个数据库中的任何一个中。这种数据库的示例包括Access、/>SQL Server、mySQL、PostgreSQL等。数据库能够集中或分布在网络1115内的多个位置。
在另一个方面中,用户能够经由输入装置(未示出)将命令和信息输入到计算机1101中。这种输入装置的示例包括但不限于键盘、指示装置(例如,计算机鼠标、遥控器)、麦克风、操纵杆、扫描仪、诸如触摸屏的触摸启用装置、诸如手套和其他身体覆盖物的触觉输入装置、运动传感器等。这些和其他输入装置能够经由联接到总线1113的人机接口1102连接到一个或多个处理器1103,但也能够通过其他接口和总线结构,诸如但不限于并行端口、游戏端口、IEEE 1394端口(也称为火线端口)、串行端口、网络适配器1108和/或通用串行总线(USB)进行连接。
在另一个方面中,显示装置1111还能够经由接口,诸如显示适配器1109连接到总线1113。可以考虑的是,计算机1101能够具有多于一个的显示适配器1109,且计算机1101能够具有多于一个的显示装置1111。例如,显示装置1111能够是监视器、LCD(液晶显示器)、发光二极管(LED)显示器、电视、智能镜头、智能玻璃和/或投影仪。除了显示装置1111之外,其他输出外围装置能够包括诸如扬声器(未示出)和打印机(未示出)的组件,其能够经由输入/输出接口1110连接到计算机1101。可以按任何形式将方法的任何步骤和/或结果输出到输出装置。这种输出能够是任何形式的视觉表示,包括但不限于文本、图形、动画、音频、触觉等。显示器1111和计算机1101能够是一个装置或单独装置的一部分。
在一个方面中,计算机1101能够经由输入/输出接口1110联接到系统100。计算机1101能够被配置成监视和存储数据。计算机1101能够被配置成存储由连接到系统100的摄像头获取的图像,存储与在系统生成的检查期间生成的通过/未通过统计资料相关的数据等。计算机1101还能够用作一个或多个智能装置(例如,智能摄像头)和/或需要定制固件来操作的嵌入式逻辑控制器的编程接口。计算机1101能够用于生成、检修、上载和存储该软件或固件的迭代。
计算机1101可以使用到一个或多个远程计算装置1114a、b、c的逻辑连接在联网环境中进行操作。作为示例,远程计算装置1114a、b、c能够是个人计算机、计算站(例如,工作站)、便携式计算机(例如,膝上型计算机、移动电话、平板装置)、智能装置(例如,智能电话、智能手表、活动跟踪器、智能服装、智能配件)、安全和/或监控装置、服务器、路由器、网络计算机、对等装置、边缘装置或其他公共网络节点等。在计算机1101和远程计算装置1114a、b、c之间的逻辑连接能够经由网络1115,诸如局域网(LAN)和/或通用广域网(WAN)进行。这种网络连接能够通过网络适配器1108。网络适配器1108能够在有线和无线环境中实施。这种联网环境为在住宅、办公室、企业范围的计算机网络、内联网和因特网中常规且常见的。在一个方面中,网络适配器1108能够被配置成向一个或多个连接装置(例如,摄像头)提供电力。例如,网络适配器1108能够遵循以太网供电(PoE)标准等。
出于说明的目的,应用程序和诸如操作系统1105的其他可执行程序组件在本文中被示为离散块,但是要认识到这样的程序和组件能够在不同时间驻留在计算装置1101的不同存储组件中,且由计算机1101的一个或多个处理器1103执行。图像分析软件1106的实施能够存储在某种形式的计算机可读介质上或用其传输。所公开方法中的任一种能够由在计算机可读介质上具体化的计算机可读指令执行。计算机可读介质能够是能够由计算机访问的任何可用介质。作为示例且不旨在限制地,计算机可读介质能够包括“计算机存储介质”和“通信介质”。“计算机存储介质”能够包括在用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任何方法或技术中实施的易失性和非易失性、可移动和不可移动介质。示例性计算机存储介质能够包括RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储装置,或能够用来存储所需信息且能够由计算机访问的任何其他介质。
该方法和系统能够采用人工智能(AI)技术,诸如机器学习和迭代学习。这些技术的示例包括但不限于专家系统、基于案例的推理、贝叶斯网络、基于行为的AI、神经网络、模糊系统、进化计算(例如,遗传算法)、集群智能(例如,蚂蚁算法)和混合智能系统(例如,通过神经网络生成的专家推理规则或源于统计学习的产生式规则)。
所公开的方法和系统是用标准仅手动的操作员驱动的组装线过程进行实施、测试和结果比较的。下表显示所公开的方法和系统优于标准的仅手动的操作员驱动的组装线过程:
虽然已经结合优选实施例和具体示例描述了方法和系统,但是并不旨在使范围受限于所阐述的特定实施例,这是因为本文的实施例在所有方面都旨在是说明性的,而不是限制性的。
除非另有明确说明外,否则决不旨在将本文阐述的任何方法解释为要求按具体的顺序执行其步骤。因此,在方法的权利要求实际上没有叙述其步骤要遵循的顺序或在权利要求或说明书中没有以其他方式具体说明步骤受限于具体顺序的情况下,在任何方面都不旨在推断出一个顺序。这适用于任何可能的非明确的解释基础,包括:关于步骤安排或操作流程的逻辑问题;从语法组织或标点符号中得出的简单含义;说明书中描述的实施例的数量或类型。
对于本领域的技术人员来说将显而易见的是,在不脱离范围或精神的情况下,能够进行各种修改和变型。根据对本文所公开的说明书和实践的考虑,其他实施例对于本领域的技术人员来说将是显而易见的。其旨在将说明书和示例考虑为仅仅是示例性的,且真实范围和精神由下列权利要求指出。
Claims (1)
1.一种系统,包括:
皮带;
多个成像器,每个成像器被配置为:
获得其各自视野的图像,
分析所述图像以确定其各自视野内的一个或多个物品的数量和/或取向,以及
基于在其各自视野内的所述一个或多个物品的所述数量和/或取向,生成检查通过信号或检查未通过信号;
以及
处理器,所述处理器联接到所述多个成像器中的每一个并且被配置为,
接收检查通过信号或检查未通过信号,并且
基于接收到来自所述多个成像器中的每一个的检查通过信号,来推进所述皮带,
其中所述多个成像器中的至少一个被配置为:
确定防滑条在其各自视野内的位置;
将所确定的防滑条在其各自视野内的位置与参考位置进行比较;
确定所确定的位置与所述参考位置不同;
基于所确定的位置和参考位置之间的差异来确定偏移量;和
向所述处理器发送信号以调整所述皮带移动偏移量的距离。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662368438P | 2016-07-29 | 2016-07-29 | |
US62/368,438 | 2016-07-29 | ||
CN201780046473.7A CN109496337B (zh) | 2016-07-29 | 2017-07-25 | 具有集成电子视觉检查的组装线 |
PCT/US2017/043595 WO2018022546A1 (en) | 2016-07-29 | 2017-07-25 | Assembly line with integrated electronic visual inspection |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780046473.7A Division CN109496337B (zh) | 2016-07-29 | 2017-07-25 | 具有集成电子视觉检查的组装线 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117593363A true CN117593363A (zh) | 2024-02-23 |
Family
ID=59700164
Family Applications (7)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311396037.6A Pending CN117593362A (zh) | 2016-07-29 | 2017-07-25 | 具有集成电子视觉检查的组装线 |
CN202311393583.4A Pending CN117593359A (zh) | 2016-07-29 | 2017-07-25 | 具有集成电子视觉检查的组装线 |
CN202311395475.0A Pending CN117593361A (zh) | 2016-07-29 | 2017-07-25 | 具有集成电子视觉检查的组装线 |
CN202311396273.8A Pending CN117593363A (zh) | 2016-07-29 | 2017-07-25 | 具有集成电子视觉检查的组装线 |
CN201780046473.7A Active CN109496337B (zh) | 2016-07-29 | 2017-07-25 | 具有集成电子视觉检查的组装线 |
CN202311393655.5A Pending CN117593360A (zh) | 2016-07-29 | 2017-07-25 | 具有集成电子视觉检查的组装线 |
CN202311399873.XA Pending CN117611662A (zh) | 2016-07-29 | 2017-07-25 | 具有集成电子视觉检查的组装线 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311396037.6A Pending CN117593362A (zh) | 2016-07-29 | 2017-07-25 | 具有集成电子视觉检查的组装线 |
CN202311393583.4A Pending CN117593359A (zh) | 2016-07-29 | 2017-07-25 | 具有集成电子视觉检查的组装线 |
CN202311395475.0A Pending CN117593361A (zh) | 2016-07-29 | 2017-07-25 | 具有集成电子视觉检查的组装线 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780046473.7A Active CN109496337B (zh) | 2016-07-29 | 2017-07-25 | 具有集成电子视觉检查的组装线 |
CN202311393655.5A Pending CN117593360A (zh) | 2016-07-29 | 2017-07-25 | 具有集成电子视觉检查的组装线 |
CN202311399873.XA Pending CN117611662A (zh) | 2016-07-29 | 2017-07-25 | 具有集成电子视觉检查的组装线 |
Country Status (14)
Country | Link |
---|---|
US (3) | US10991089B2 (zh) |
EP (1) | EP3491559A1 (zh) |
JP (3) | JP7025403B2 (zh) |
KR (3) | KR20240010084A (zh) |
CN (7) | CN117593362A (zh) |
AU (3) | AU2017301504B2 (zh) |
BR (2) | BR112019000778A8 (zh) |
CA (1) | CA3030472A1 (zh) |
EA (2) | EA202191535A3 (zh) |
IL (3) | IL290640B2 (zh) |
MX (1) | MX2019000775A (zh) |
MY (1) | MY195228A (zh) |
SG (1) | SG11201900192VA (zh) |
WO (1) | WO2018022546A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117593362A (zh) * | 2016-07-29 | 2024-02-23 | 里珍纳龙药品有限公司 | 具有集成电子视觉检查的组装线 |
US11481857B2 (en) | 2019-12-23 | 2022-10-25 | Shopify Inc. | Methods and systems for generating a product packaging model |
US11042953B1 (en) * | 2019-12-23 | 2021-06-22 | Shopify Inc. | Methods and systems for detecting errors in kit assembly |
CA3121972A1 (en) * | 2020-06-11 | 2021-12-11 | Interaptix Inc. | Systems, devices, and methods for quality control and inspection of parts and assemblies |
US11937019B2 (en) | 2021-06-07 | 2024-03-19 | Elementary Robotics, Inc. | Intelligent quality assurance and inspection device having multiple camera modules |
CN113988666B (zh) * | 2021-11-01 | 2022-08-09 | 常州天晟紫金自动化设备有限公司 | 一种有机硅混炼胶智能定量包装方法及系统 |
US11605159B1 (en) | 2021-11-03 | 2023-03-14 | Elementary Robotics, Inc. | Computationally efficient quality assurance inspection processes using machine learning |
US11675345B2 (en) | 2021-11-10 | 2023-06-13 | Elementary Robotics, Inc. | Cloud-based multi-camera quality assurance architecture |
US11605216B1 (en) | 2022-02-10 | 2023-03-14 | Elementary Robotics, Inc. | Intelligent automated image clustering for quality assurance |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08322912A (ja) * | 1995-05-30 | 1996-12-10 | Sanyo Electric Co Ltd | 錠剤検査システム |
US7306799B2 (en) | 1999-06-08 | 2007-12-11 | Regeneron Pharmaceuticals, Inc. | Use of VEGF inhibitors for treatment of eye disorders |
US7303746B2 (en) | 1999-06-08 | 2007-12-04 | Regeneron Pharmaceuticals, Inc. | Methods of treating eye disorders with modified chimeric polypeptides |
US7070959B1 (en) | 1999-06-08 | 2006-07-04 | Regeneron Pharmaceuticals, Inc. | Modified chimeric polypeptides with improved pharmacokinetic properties |
US7087411B2 (en) | 1999-06-08 | 2006-08-08 | Regeneron Pharmaceuticals, Inc. | Fusion protein capable of binding VEGF |
US7028723B1 (en) * | 2003-11-03 | 2006-04-18 | Alouani Ali Tahar | Apparatus and method for automatic prescription verification |
US9238518B2 (en) | 2004-10-01 | 2016-01-19 | Edge Medical Properties, Llc | Inspection system and method with a control process that inspects different medications |
US8121392B2 (en) | 2004-10-25 | 2012-02-21 | Parata Systems, Llc | Embedded imaging and control system |
EP1877438A2 (en) | 2005-02-02 | 2008-01-16 | Regeneron Pharmaceuticals, Inc. | Method of treating eye injury with local administration of a vegf inhibitor |
US20070194034A1 (en) * | 2006-02-17 | 2007-08-23 | Vasilios Vasiadis | Device for printing pills, tablets or caplets in a precise manner |
DK2944306T3 (da) | 2006-06-16 | 2021-03-08 | Regeneron Pharma | Egnede VEGF-antagonistformuleringer til intravitreal administration |
US9147326B2 (en) * | 2008-01-18 | 2015-09-29 | Sensors Incorporated | Encoder based speed compensated reject system and method |
WO2010008846A2 (en) * | 2008-06-23 | 2010-01-21 | John Richard Dein | Intra-operative system for identifying and tracking surgical sharp objects, instruments, and sponges |
US7881426B2 (en) * | 2009-02-26 | 2011-02-01 | Morpho Detection, Inc. | Method and system for performing a scan of an object |
US20130194414A1 (en) * | 2010-03-05 | 2013-08-01 | Frédéric Poirier | Verification system for prescription packaging and method |
JP2012000440A (ja) | 2010-05-18 | 2012-01-05 | Kansai Seiki Kogyo Kk | 分包薬剤監査装置 |
CN106645199A (zh) | 2011-02-03 | 2017-05-10 | 思维斯洛格意大利股份公司 | 用于包装药物检查的系统和方法 |
KR101899269B1 (ko) * | 2011-04-28 | 2018-10-29 | 가부시키가이샤 유야마 세이사쿠쇼 | 약제 감사 장치 및 약제 분포 장치 |
DE102011082266B4 (de) * | 2011-09-07 | 2015-08-27 | Siemens Aktiengesellschaft | Abbilden eines Teilbereichs am Rand des Gesichtsfeldes eines Untersuchungsobjekts in einer Magnetresonanzanlage |
JP6009888B2 (ja) | 2012-09-27 | 2016-10-19 | 富士フイルム株式会社 | 薬剤検査装置及び方法 |
JP5696822B1 (ja) | 2013-07-01 | 2015-04-08 | 株式会社湯山製作所 | 混注管理装置、混注装置、混注管理プログラム |
US9646369B2 (en) * | 2014-03-11 | 2017-05-09 | United Parcel Service Of America, Inc. | Concepts for sorting items using a display |
JP6497856B2 (ja) * | 2014-07-03 | 2019-04-10 | アレイ株式会社 | 錠剤識別装置およびその方法、並びに、分包錠剤監査装置 |
JP6705379B2 (ja) | 2014-09-25 | 2020-06-03 | 株式会社湯山製作所 | 鑑査支援システム |
KR102322987B1 (ko) * | 2015-06-26 | 2021-11-09 | (주)제이브이엠 | 약포 검사 장치 및 약포 검사 방법 |
CN117593362A (zh) * | 2016-07-29 | 2024-02-23 | 里珍纳龙药品有限公司 | 具有集成电子视觉检查的组装线 |
-
2017
- 2017-07-25 CN CN202311396037.6A patent/CN117593362A/zh active Pending
- 2017-07-25 MX MX2019000775A patent/MX2019000775A/es unknown
- 2017-07-25 CN CN202311393583.4A patent/CN117593359A/zh active Pending
- 2017-07-25 EA EA202191535A patent/EA202191535A3/ru unknown
- 2017-07-25 EP EP17757586.7A patent/EP3491559A1/en active Pending
- 2017-07-25 WO PCT/US2017/043595 patent/WO2018022546A1/en active Application Filing
- 2017-07-25 CN CN202311395475.0A patent/CN117593361A/zh active Pending
- 2017-07-25 US US16/317,039 patent/US10991089B2/en active Active
- 2017-07-25 JP JP2019503713A patent/JP7025403B2/ja active Active
- 2017-07-25 BR BR112019000778A patent/BR112019000778A8/pt unknown
- 2017-07-25 CN CN202311396273.8A patent/CN117593363A/zh active Pending
- 2017-07-25 CA CA3030472A patent/CA3030472A1/en active Pending
- 2017-07-25 AU AU2017301504A patent/AU2017301504B2/en active Active
- 2017-07-25 IL IL290640A patent/IL290640B2/en unknown
- 2017-07-25 BR BR122020014835A patent/BR122020014835A8/pt unknown
- 2017-07-25 IL IL307227A patent/IL307227A/en unknown
- 2017-07-25 KR KR1020247000507A patent/KR20240010084A/ko active Application Filing
- 2017-07-25 CN CN201780046473.7A patent/CN109496337B/zh active Active
- 2017-07-25 KR KR1020197002693A patent/KR102489691B1/ko active IP Right Grant
- 2017-07-25 CN CN202311393655.5A patent/CN117593360A/zh active Pending
- 2017-07-25 KR KR1020227024864A patent/KR102623162B1/ko active IP Right Grant
- 2017-07-25 MY MYPI2019000330A patent/MY195228A/en unknown
- 2017-07-25 SG SG11201900192VA patent/SG11201900192VA/en unknown
- 2017-07-25 EA EA201990398A patent/EA038729B1/ru unknown
- 2017-07-25 CN CN202311399873.XA patent/CN117611662A/zh active Pending
-
2019
- 2019-01-13 IL IL264229A patent/IL264229B/en unknown
-
2021
- 2021-03-26 US US17/214,402 patent/US11823371B2/en active Active
-
2022
- 2022-02-10 JP JP2022019582A patent/JP7288105B2/ja active Active
- 2022-08-10 AU AU2022215211A patent/AU2022215211B2/en active Active
-
2023
- 2023-05-25 JP JP2023086206A patent/JP7479545B2/ja active Active
- 2023-10-12 US US18/485,977 patent/US20240037729A1/en active Pending
-
2024
- 2024-01-25 AU AU2024200475A patent/AU2024200475A1/en active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109496337B (zh) | 具有集成电子视觉检查的组装线 | |
US20170132867A1 (en) | Object dispenser having a variable orifice and image identification | |
JP2023521616A (ja) | 光センシングベースのインベントリ管理システムおよび方法 | |
CN110769890B (zh) | 阿片类药物管理系统 | |
US11219569B2 (en) | Relocation module and methods for surgical equipment | |
EA046107B1 (ru) | Сборочная линия со встроенным электронным визуальным контролем | |
KR102389478B1 (ko) | 조제 관리 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |