CN111033574B - 为包装机生成虚拟覆盖物的方法 - Google Patents
为包装机生成虚拟覆盖物的方法 Download PDFInfo
- Publication number
- CN111033574B CN111033574B CN201880053529.6A CN201880053529A CN111033574B CN 111033574 B CN111033574 B CN 111033574B CN 201880053529 A CN201880053529 A CN 201880053529A CN 111033574 B CN111033574 B CN 111033574B
- Authority
- CN
- China
- Prior art keywords
- virtual
- target object
- packaging machine
- target
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004806 packaging method and process Methods 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003384 imaging method Methods 0.000 claims abstract description 44
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 13
- 230000000875 corresponding effect Effects 0.000 claims description 10
- 230000002596 correlated effect Effects 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 5
- 238000004886 process control Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006735 deficit Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004540 process dynamic Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Finance (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- General Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Architecture (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
公开了一种为包装机生成虚拟覆盖物的方法，所述包装机具有操纵包装容器的多个可移动物体，所述方法包括：将所述可移动物体与在所述包装机中传送的相应的物体标识符数据关联，基于所述物体标识符数据确定所述可移动物体中的目标物体在所述包装机的物理坐标系中的相对位置，记录包括所述可移动物体的至少一部分或定义的物理参考系的成像数据，将所述目标物体的所述相对位置映射在由用户观看的至少部分虚拟环境中的虚拟坐标系，其包括将所述目标物体的所述相对位置与所述成像数据关联，从而将所述目标物体分配给所述虚拟坐标系中的虚拟目标坐标，以及显示所述虚拟坐标系中与所述目标物体的所述虚拟目标坐标相关的所述虚拟覆盖物。
Description
技术领域
本发明总体上涉及增强现实领域。更具体地，本发明涉及一种为具有多个操纵包装容器的可移动物体的包装机生成虚拟覆盖物的方法，用于生成虚拟覆盖物的相关系统以及包括这种系统的包装机。
背景技术
增强现实是不断发展的领域并向用户展示虚拟现实元素，同时查看物理现实并与之交互。虚拟元素可以以各种方式引导用户并且向用户呈现信息以促进与现实世界中的各种物体的交互。增强现实应用程序通常应用各种图像识别过程来识别物理物体，并在数据库中搜索匹配项，以找到与获取的当前物体的图像数据相对应的物体数据。随后可以突出显示唯一物体，并且可以向用户显示有关其特性的信息和/或指导用户如何与该物体进行交互。在诸如包装工业之类的制造工业中出现问题，其中在机器中的许多物体,例如用于操作包装容器的物体，彼此之间不容易区分开，并且可能正在高速移动。这对图像处理技术提出了高要求，并且在这样的环境中增强现实的实现可能因此是复杂的并且不够可靠。
因此，对于产生用于包装机的虚拟覆盖物的改进方法将是有利的，特别是使得能避免更多的上述问题和损害，其包括增强对增强现实的使用，诸如提供其更快和更可靠的实现。
发明内容
因此，本发明的示例优选地通过提供根据所附专利权利要求的设备来试图单独地或以任何组合的方式减轻、减缓或消除本领域中的一个或多个缺陷、缺点或问题，例如上述的缺陷、缺点或问题。
根据第一方面，提供了一种为包装机生成虚拟覆盖物的方法，所述包装机具有操纵包装容器的多个可移动物体，所述方法包括：将所述可移动物体与在所述包装机中传送的相应的物体标识符数据关联，基于所述物体标识符数据确定所述可移动物体中的目标物体在所述包装机的物理坐标系中的相对位置，记录包括所述可移动物体的至少一部分或定义的物理参考系的成像数据，将所述目标物体的所述相对位置映射在由用户观看的至少部分虚拟环境中的虚拟坐标系，其包括将所述目标物体的所述相对位置与所述成像数据关联，从而将所述目标物体分配给所述虚拟坐标系中的虚拟目标坐标，以及显示所述虚拟坐标系中与所述目标物体的所述虚拟目标坐标相关的所述虚拟覆盖物。
根据第二方面，一种计算机程序产品包括指令，当程序由计算机执行时，所述指令使所述计算机执行根据第一方面的方法的步骤。
根据第三方面，提供了一种用于为包装机生成虚拟覆盖物的系统，该包装机具有操纵包装容器的多个可移动物体。所述系统包括处理单元，其被配置为将所述可移动物体与在所述包装机中传送的相应的物体标识符数据关联，基于所述物体标识符数据确定所述可移动物体中的目标物体在所述包装机的物理坐标系中的相对位置，成像设备，其被配置成记录包括所述可移动物体的至少一部分或定义的物理参考系的成像数据，其中，所述处理单元被配置为通过被配置成将所述目标物体的所述相对位置与所述成像数据关联而将所述目标物体的所述相对位置映射在由用户观看的至少部分虚拟环境中的虚拟坐标系，从而将所述目标物体分配给所述虚拟坐标系中的虚拟目标坐标，以及显示单元，其被配置为显示所述虚拟坐标系中与所述目标物体的所述虚拟目标坐标相关的所述虚拟覆盖物。
根据第四方面，提供了一种包装机，其包括根据第三方面的系统。
在从属权利要求中限定了本发明的其他示例，其中，本公开的第二方面和后续方面的特征在细节上与作必要修改后的第一方面相同。
本公开的一些示例提供了一种用于定位包装机中的故障的改进且更直观的方法。
本公开的一些示例使得包装机的故障排除耗时较少。
本公开的一些示例提供了对包装机中的移动部件的实时动态监测和分析的改进。
本公开的一些示例提供了包装机中的便利的状态监视和工艺控制。
本公开的一些示例提供了在维护或工艺控制期间与包装机部件的便利交互。
本公开的一些示例使得便于在包装机中检索诊断信息。
本公开的一些示例使得有助于对包装机中的维护任务进行优先级排序。
应该强调的是，当在本说明书中使用术语“包括/包括”时，是用来指定存在所述特征、整数、步骤或部件，但是不排除存在或增加一个或多个其他特征、整数、步骤、部件或其组。
附图说明
参考附图，从下面对本发明的示例的描述中，本发明的示例能够实现的这些和其他方面、特征和优点将变得显而易见并得到阐明，其中：
图1是根据本公开的示例的用于为具有多个可移动物体的包装机生成虚拟覆盖物的系统的示意图；
图2是根据本公开的示例的用于为具有多个可移动物体的包装机生成虚拟覆盖物的系统和虚拟坐标系的示意图；
图3a是根据本公开的示例的为包装机生成虚拟覆盖物的方法的流程图。
图3b是根据本公开的示例的为包装机生成虚拟覆盖物的方法的流程图。
具体实施方式
现在将参考附图描述本发明的具体示例。然而，本发明可以以许多不同的形式来实现，并且不应被解释为受限于在此阐述的示例；相反，提供这些示例是为了使本公开透彻和完整，并将本发明的范围充分传达给本领域技术人员。在附图中示出的示例的详细描述中使用的术语并不旨在限制本发明。在附图中，相同的附图标记表示相同的元件。
图1是用于为包装机200生成虚拟覆盖物301，301'的系统300的示意图，该包装机200具有多个可移动物体201，201'，该可移动物体被配置用于操纵包装容器。生成用于包装机200的虚拟覆盖物301，301'的对应方法在图3a-b的流程图中示出，并且将在下面进一步提及。可移动物体201，201'可以是沿着路径202移动的推车，并且可以以各种方式与包装容器(未示出)相互作用，例如以各种方式沿着所述路径202移动包装容器或其部件而与包装容器(未示出)相互作用。路径202可以是连续的环形轨道，例如图1所示的椭圆形轨道，在这种情况下，可移动物体201，201'可以在轨道上高速回旋以适用于不同的包装应用。系统300包括处理单元302，该处理单元302被配置为将可移动物体201，201'与在包装机200中传送的各个物体标识符数据相关联。物体标识符数据包括关于可移动物体201，201'沿着路径202移动时的位置的机器地址信息。可以从包装机200的本地自动化控制系统305传送物体标识符数据。处理单元302被配置为基于物体标识符数据来确定可移动物体中的目标物体201'在包装机200的物理坐标系(x，y)中的相对位置。因此，特定目标物体201'的相对位置可以由在包装机200中传送的物体标识符数据来确定，物体标识符数据例如由本地自动化控制系统305传送。图1和图2示出了位于包装机200中的目标物体201'在其他可移动物体201之间的示意图。应当理解的是，沿着路径201移动的可移动物体201的数量可以是任意多个，并且若干目标物体201'的相对位置可以基于相应物体标识符数据来确定。系统300包括成像设备303，其被配置用于记录包括可移动物体201，201'的至少一部分的图像数据。替代地或附加地，成像设备303被配置用于记录包括定义的物理参考系203的图像数据。定义的物理参考系可以包括具有在物理坐标系(x，y)中的物理坐标的任何物体，或具有在物理坐标系(x，y)中的物理坐标的多个物体。定义的物理参考系203可以是静态的。成像设备303可以包括被配置用于捕获可移动物体201，201'的图像的图像传感器。一些可移动物体201，201'或其至少一部分在沿路径201移动时可能会间歇性地被遮挡。在由用户观看的至少部分虚拟的环境中，处理单元302被配置为将上述目标物体201'的相对位置映射到虚拟坐标系(u，v)。在图2中示意地示出了虚拟坐标系(u，v)。处理单元302因此被配置用于将目标物体201'的相对位置与由成像设备303捕获的图像数据相关联。例如成像设备303可以捕获图像数据，该图像数据包括沿着包装机200中路径202以一定顺序布置的成组的可移动物体201，201'。目标物体201'相对于其他可移动物体201的相对位置由从包装机200传送的物体标识符数据确定。然后，处理单元302被配置为将所述相对位置与所获得的该成组的可移动物体的图像数据进行比较，并在该成组的物体中识别出目标物体201'。因此，目标物体被分配给虚拟坐标系(u，v)中的虚拟目标坐标(u'，v')，如图2所示。替代地或附加地，目标物体201'相对于定义的物理参考系203的相对位置也可以确定。然后，处理单元302被配置为将所述相对位置与所获得的定义的物理参考系203的图像数据进行比较，并识别目标物体201′的相应虚拟目标坐标(u'，v')。在这种情况下，即使可移动物体201，201'被遮挡，也可以确定虚拟目标坐标(u'，v')。类似地，在用户被定位成使得任何限定的(静态)物理参考系203被遮挡或不可用的情况下，包括可移动物体201，201'的至少一部分的图像数据可被用于确定虚拟目标坐标(u'，v')，如上文所例举的。系统300包括显示单元304，该显示单元304被配置为在虚拟坐标系(u，v)中，相对于目标物体201'的虚拟目标坐标(u'，v')显示所述虚拟覆盖物301，301'。
图1和图2示出了相对于目标物体201'定位的虚拟覆盖物301，301'。因此，通过使目标物体201'的通过物体标识符数据获得的相对位置与成像数据相关联，可以区分在包装机200中的目标物体201'或多个目标物体201'。因此尽管目标物体201'可以与包装机200中的其他可移动物体201相同，但是虚拟覆盖物301，301'可以相对于虚拟目标坐标(u'，v')容易地显示。这也由于区分相似外观的物体的图像所必须花费的计算资源较少而使得能对成像数据进行更快的处理。不需要进一步引入标记等来实现物体识别，从而也减轻了图像处理要求。因此，可以提供对目标物体201'的更快和更稳定的识别。因此，对于包装机200，可以实现可靠的增强现实应用，其中虚拟覆盖物相对于虚拟目标坐标(u'，v')定位。这使得能促进与包装机200的交互，例如促进工艺控制、监视和维护操作。在显示单元304中，可以向用户呈现锚定到特定目标物体201'的虚拟覆盖物301，301'，该虚拟覆盖物301，301'将用户的注意力吸引至与目标物体201'相关的当前过程参数或故障的状态。包装机200中的各种传感器可以被配置成检索相应的可移动物体201，201'的此类参数或状态，并且可以将相关的传感器数据传送到包装机200的本地自动化控制系统305。基于对传感器数据的分析，如果一个或多个特定可移动物体(即目标物体201')的特定参数需要注意，或者如果已检测到一个或多个特定可移动物体(即目标物体201')的故障，则可以如上所述使用关联的物体标识符数据，以将其相对位置与已经捕获的可移动物体201的成像数据进行关联以确定虚拟目标坐标(u'，v')。然后可以相对于该坐标显示虚拟覆盖物301，301'，以使用户的注意力转移到目标物体201′在包装机200中的位置，从而进行快速而直观的维护或过程监控。
图3a示出了为具有多个操纵包装容器(未示出)的可移动物体201，201'的包装机200生成虚拟覆盖物301，301'的相关方法100的流程图。描述和示出方法100的步骤的顺序不应被解释为限制性的，并且可以想到，可以以不同的顺序执行这些步骤。因此，方法100包括：将可移动物体201，201’与在包装机200中传送的相应物体标识符数据相关联101，基于物体标识符数据，在包装机200的物理坐标系(x，y)中，确定102可移动物体201，201'中的目标物体201'的相对位置，记录103包含可移动物体201，201'的至少一部分和/或定义的物理参考系203的图像数据。方法100包括将目标物体201'的相对位置映射104至在用户观看的至少部分虚拟的环境中的虚拟坐标系(u，v)。映射104包括将目标物体201'的相对位置与成像数据关联105，从而将目标物体201'分配106到虚拟坐标系(u，v)中的虚拟目标坐标(u'，v')。方法100包括在虚拟坐标系(u，v)中相对于目标物体201’的虚拟目标坐标(u’，v’)显示107虚拟覆盖物301，301’。因此，方法100提供了如上文相对于系统300和图1-2所述的有利益处。
当可移动物体201，201'沿着包装机200中的路径202移动时，处理单元302可以被配置为将目标物体201'的相对位置与成像数据相关联，从而沿着所述路径202追踪目标物体201'。虚拟目标坐标(u'，v')因此可以随着目标物体201'的移动而持续地更新，使得虚拟覆盖物301，301'可以跟随所提及的移动以相对于虚拟目标坐标(u'，v')显示。随着可移动物体201的移动，物体标识符数据可以在包装机200的运行期间持续传送到处理单元302，从而更新目标物体201'的相对位置。成像设备303可以相应地被配置为连续捕获移动物体201的图像数据，从而可以将图像数据流与实时更新的相对位置进行比较，以在目标物体201'在包装机200中移动时识别该目标物体201'及其相关的虚拟目标坐标(u′，v′)。显示单元304可以相应地被配置为将虚拟覆盖物301，301'的位置更新为所确定的虚拟目标坐标(u'，v')的瞬时位置。这提供了以可靠的方式在包装机200中跟踪目标物体201'，其中失去对目标物体201'的跟踪的风险最小化，而目标物体201'的跟踪对于依赖于跟踪过程的连续物体识别的传统图像处理技术而言是一项特殊的挑战，因为在这种包装机200中可移动物体的速度可能太高并且可移动物体201的形状基本相同。因此可以提供对在包装机200中可移动物体201的改进的实时监控、工艺控制和动态分析。
图3b示出了为包装机200生成虚拟覆盖物301，301'的方法100的另一流程图。描述和示出方法100的步骤的顺序不应被解释为限制性的，并且可以想到，这些步骤可以以不同的顺序执行。因此，方法100可以包括：当可移动物体201沿着包装机200中的路径202移动时，将目标物体201'的相对位置与成像数据关联105'，从而沿着所述路径202追踪目标物体201'。
方法100因此还可以包括：当目标物体201'沿所述路径202移动时，相对于目标物体201'的虚拟目标坐标(u'，v')，显示107'虚拟覆盖物301，301'。
显示单元304可以被配置为显示虚拟覆盖物，该虚拟覆盖物包括与目标物体201'和/或包装机200相关联的工艺参数的视觉指示器301'。工艺参数的视觉指示器301'可以：例如指示在需要检查之前在包装机200中完成的循环次数、运行时间或指示各种诊断信息或电气或机械参数的状态、或其他传感器数据等。例如如图2所示意性示出的，视觉指示器301'可以放置在距离目标物体201及其虚拟目标坐标(u'，v')限定距离处。在显示单元304中，工艺参数等的若干视觉指示器301'可以在虚拟坐标系(u，v)中对齐以供显示。与不同目标物体201'相关联的多个视觉指示器301'也可以与显示与整个工艺或包装机200有关的参数的视觉指示器301'同时和/或结合地显示。
如图1-2所示意性示出的，虚拟覆盖物301可以包括围绕目标物体201'的轮廓的至少一部分显示的视觉亮点301。因此，可以在包装机200中容易地识别目标物体201'。如上所述，视觉亮点301也可以在目标物体201'在包装机200中移动时追踪该目标物体。包装机200中的多个可移动物体201中的若干目标物体201'可以同时用视觉亮点301标记。可以想到的是，在这样的示例中，视觉亮点可以用颜色编码，例如目的在于改进在若干目标物体201'之间的用户优先级。例如，视觉亮点301的一种颜色可以与需要特别关注的目标物体201'相关联，而另一种颜色则指示正常的工作状态，而另外的颜色则指示中间状态。
方法100可以包括记录108来自与虚拟覆盖301，301'交互的用户的用户输入。因此，用户可以将输入提供给虚拟覆盖物301，301'的虚拟元素，以例如滚动浏览不同的显示参数或向包装机200发送命令。在后一种情况下，成像设备303可被配置为检测虚拟覆盖物301，301'的特定虚拟元素附近的用户手势，以记录用户输入，然后经由处理单元302将输入传送给包装机200。这提供了直观且方便的工艺控制。
方法100可以包括：通过比较目标物体201'和相邻可移动物体201在物理坐标系(x，y)中的相对位置，来确定109目标物体201'在虚拟坐标系(u，v)中的位置。因此可以确定目标物体201'相对于另一可移动物体201的位置。方法100还可以包括：基于为相邻可移动物体201记录的成像数据，相对于分配给相邻可移动物体201的虚拟坐标，确定110目标物体201'在虚拟坐标系(u，v)中的相应的相对位置。因此，即使在目标物体201'在包装机200中被遮挡从而成像设备303无法捕获其图像数据的情况下，也可以确定目标物体的虚拟坐标(u'，v')。这是可能的，因为可以捕获未被遮挡的相邻物体201的成像数据，并且可以通过将成像数据与相邻物体201的相关物体标识符关联来确定相邻物体201在物理坐标系(x，y)中的位置。并且，由于基于目标物体201'的物体标识符数据，可以确定物理坐标系(x，y)中的目标物体201'与相邻物体201之间的相对位置，因此给定目标物体201'的虚拟目标坐标(u'，v')，即使目标物体201'被遮挡，也可以确定其在虚拟坐标系(u，v)中的相应的相对位置。然后可以如上所述地呈现相关联的虚拟覆盖物301，301'，并且用户可能看到目标物体201'在包装机200内的位置。所提及的相邻物体201可以对应于包装机中的任何可移动物体201。
方法100可以包括通过将以图像数据形式分配给各个虚拟坐标的可移动物体201，201'的位置与目标物体201'的相对位置进行比较，来确定106'虚拟目标坐标(u'，v')。成像设备303可以检测多个可移动物体201，并且随后可以将各个虚拟坐标与目标物体201'的由物体标识符数据确定的在物理坐标系(x，y)中的相对位置进行比较。可以将与目标物体201’的相对位置具有最接近对应关系的虚拟坐标指定为虚拟目标坐标(u'，v')。这可以进一步改进在包装机200中虚拟覆盖物301，301'的显示。
可移动物体201，201′可具有基本相同的形状。尽管可以存在不同的形状，但是在用户所处的位置，与包装机有一定距离处，不同处难以区分开。因此，如上所述，方法100和系统300使得能生成虚拟覆盖物301，301′，而不管从用户的位置是否可以感知到可移动物体201，201′具有相同的形状。
成像设备303可以包括诸如可穿戴眼镜之类的可穿戴显示设备。显示单元304可以被集成在这种可穿戴成像设备303中。即可穿戴设备可以捕获图像数据，并且还向用户呈现虚拟覆盖物301，301′。减轻对图像处理能力的需求的上述优点使得能在具有较少资源的情况下在包装机中实施增强的现实，因为可以利用不太复杂的成像设备，同时仍然提供如上所阐明的稳健的增强现实体验。
提供了一种计算机程序产品，该计算机程序产品包括指令，当该程序由计算机执行时，该指令使该计算机执行上文参照图1-3所述的方法100的步骤。
还提供了包装机200，该包装机200包括如上文参照图1-2所述的系统300。因此，包装机200提供如上文参照系统300和图1-2所述的有利益处。
如上所述，包装机200具有操纵包装容器的多个可移动物体201，201'。因此，所述包装机200包括系统300，所述系统300用于在其中产生虚拟覆盖物301，301'。所述系统300包括处理单元302，其被配置为将所述可移动物体201，201'与在所述包装机200中传送的相应的物体标识符数据关联101。所述处理单元302被配置成基于所述物体标识符数据确定102所述可移动物体中的目标物体201'在所述包装机200的物理坐标系(x，y)中的相对位置。所述系统300包括成像设备303，其被配置成记录包括所述可移动物体201，201'的至少一部分和/或定义的物理参考系203的成像数据。所述处理单元302被配置为通过被配置为将所述目标物体201'的所述相对位置与所述成像数据关联105而将所述目标物体201'的所述相对位置映射104在由用户观看的至少部分虚拟环境中的虚拟坐标系(u，v)。将所述目标物体201'分配106给所述虚拟坐标系中的虚拟目标坐标(u'，v')，并且显示单元304被配置为显示所述虚拟坐标系(u，v)中与所述目标物体201'的所述虚拟目标坐标(u'，v')相关的所述虚拟覆盖物301，301'。因此，包装机200提供如上文参照系统300和图1-2所述的有利益处。
上面已经参考具体示例描述了本发明。然而，在本发明的范围内，除了上述示例以外的其他示例同样是可能的。本发明的不同特征和步骤可以以不同于那些描述的组合方式的其他组合方式来组合。本发明的范围仅由所附专利权利要求书限制。
更一般地，本领域技术人员将容易地理解，本文描述的所有参数、尺寸、材料和构造均是示例性的，并且实际参数、尺寸、材料和/或构造将取决于使用了本发明的教导的一个或多个特定应用。
Claims (16)
1.一种为包装机生成虚拟覆盖物(301，301′)的方法(100)，所述包装机具有操纵包装容器的多个可移动物体(201，201′)，所述方法包括
将所述可移动物体与在所述包装机中传送的相应的物体标识符数据关联(101)，所述可移动物体沿所述包装机中的连续路径移动，
基于所述物体标识符数据确定(102)所述可移动物体中的目标物体(201')在所述包装机的物理坐标系(x，y)中的相对位置，
记录(103)包括所述可移动物体的至少一部分或定义的物理参考系(203)的成像数据，
将所述目标物体的所述相对位置映射(104)在由用户观看的至少部分虚拟环境中的虚拟坐标系(u，v)，其包括
将所述目标物体的所述相对位置与所述成像数据关联(105)，从而将所述目标物体分配(106)给所述虚拟坐标系中的虚拟目标坐标(u′，v′)，以及
显示(107)所述虚拟坐标系中与所述目标物体的所述虚拟目标坐标相关的所述虚拟覆盖物以将该用户的注意力吸引到所述目标物体在所述包装机中的位置。
2.根据权利要求1所述的方法，其包括
当所述可移动物体沿着所述包装机中的路径(202)移动时，使所述目标物体的所述相对位置与所述成像数据关联(105′)，从而沿着所述路径追踪所述目标物体。
3.根据权利要求2所述的方法，其包括
当所述目标物体沿着所述路径移动时，相对于所述目标物体的所述虚拟目标坐标显示(107′)所述虚拟覆盖物。
4.根据权利要求1-3中的任一项所述的方法，其中，所述虚拟覆盖物包括围绕所述目标物体的轮廓的至少一部分显示的视觉亮点(301)。
5.根据权利要求1-3中任一项所述的方法，其中，所述虚拟覆盖物包括与所述目标物体或所述包装机中至少一个相关联的过程参数的视觉指示器。
6.根据权利要求1-3中任一项所述的方法，其包括记录(108)来自与所述虚拟覆盖物交互的用户的用户输入。
7.根据权利要求1-3中任一项所述的方法，其包括
通过比较所述目标物体和相邻可移动物体(201)在所述物理坐标系中的相对位置来确定(109)所述目标物体在虚拟坐标系中的位置，以及
基于为所述相邻可移动物体记录的成像数据，确定(110)所述目标物体在所述虚拟坐标系中相对于分配给所述相邻可移动物体的虚拟坐标的相应相对位置。
8.根据权利要求1-3中的任一项所述的方法，其包括
通过将所述可移动物体在被分配给各个虚拟坐标的所述成像数据中的位置与所述目标物体的所述相对位置进行比较，确定(106’)所述虚拟目标坐标。
9.一种存储指令的非暂时性计算机可读存储介质，所述指令当由处理器执行时，使处理器执行根据权利要求1至8中任一项所述的方法。
10.一种用于为包装机生成虚拟覆盖物(301，301′)的系统(300)，该包装机具有操纵包装容器的多个可移动物体(201，201′)，所述系统包括处理单元(302)，其被配置为将所述可移动物体与在所述包装机中传送的相应的物体标识符数据关联(101)，所述可移动物体沿所述包装机中的连续路径移动，以及
基于所述物体标识符数据确定(102)所述可移动物体中的目标物体(201')在所述包装机的物理坐标系(x，y)中的相对位置，
成像设备(303)，其被配置成记录包括所述可移动物体的至少一部分或定义的物理参考系(203)的成像数据，
其中，所述处理单元被配置为
通过被配置成将所述目标物体的所述相对位置与所述成像数据关联(105)而将所述目标物体的所述相对位置映射(104)在由用户观看的至少部分虚拟环境中的虚拟坐标系(u，v)，
从而将所述目标物体分配(106)给所述虚拟坐标系中的虚拟目标坐标(u′，v′)，以及
显示单元(304)，其被配置为显示所述虚拟坐标系中与所述目标物体的所述虚拟目标坐标相关的所述虚拟覆盖物以将该用户的注意力吸引到所述目标物体在所述包装机中的位置。
11.根据权利要求10所述的系统，其中，所述处理单元被配置为：当所述可移动物体沿着所述包装机中的路径(202)移动时，使所述目标物体的所述相对位置与所述成像数据关联，从而沿着所述路径追踪所述目标物体。
12.根据权利要求10或11所述的系统，其中，所述显示单元被配置为显示所述虚拟覆盖物，所述虚拟覆盖物包括与所述目标物体和/或所述包装机相关联的过程参数的视觉指示器(301')。
13.根据权利要求10-11中的任一项所述的系统，其中，所述可移动物体具有基本相同的形状。
14.根据权利要求10-11中的任一项所述的系统，其中，所述成像设备包括可穿戴显示设备，例如可穿戴眼镜。
15.一种包装机(200)，其包括根据权利要求10-14中任一项所述的系统(300)。
16.一种包装机，其包括：
配置为沿连续路径移动并操纵包装容器的多个可移动物体，
处理单元，其配置为将所述可移动物体与在所述包装机中传送的相应的物体标识符数据关联，
基于所述物体标识符数据确定所述可移动物体中的目标物体在所述包装机的物理坐标系中的相对位置，和
通过被配置成将所述目标物体的所述相对位置与所述成像数据关联而将所述目标物体的所述相对位置映射由用户观看的至少部分虚拟环境中的虚拟坐标系，从而将所述目标物体分配给所述虚拟坐标系中的虚拟目标坐标，成像设备，其被配置成记录包括所述可移动物体的至少一部分或定义的物理参考系的成像数据，以及
显示单元(304)，其被配置为显示所述虚拟坐标系中与所述目标物体的所述虚拟目标坐标相关的虚拟覆盖物以将该用户的注意力吸引到所述目标物体在所述包装机中的位置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17192883 | 2017-09-25 | ||
| EP17192883.1 | 2017-09-25 | ||
| PCT/EP2018/075465 WO2019057817A1 (en) | 2017-09-25 | 2018-09-20 | METHOD FOR GENERATING A VIRTUAL OVERLAY FOR A PACKAGING MACHINE |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111033574A CN111033574A (zh) | 2020-04-17 |
| CN111033574B true CN111033574B (zh) | 2024-05-10 |
Family
ID=59982282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880053529.6A Active CN111033574B (zh) | 2017-09-25 | 2018-09-20 | 为包装机生成虚拟覆盖物的方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11169597B2 (zh) |
| EP (1) | EP3460764A1 (zh) |
| JP (1) | JP7116162B2 (zh) |
| CN (1) | CN111033574B (zh) |
| WO (1) | WO2019057817A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019226688A1 (en) * | 2018-05-22 | 2019-11-28 | Agilent Technologies, Inc. | Method and system for implementing augmented reality (ar)-based assistance within work environment |
| DE102022102342A1 (de) * | 2022-02-01 | 2023-08-03 | Multivac Sepp Haggenmüller Se & Co. Kg | Verpackungsmaschine oder verpackungslinie mit dynamischem rezeptwechsel |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102884539A (zh) * | 2010-03-12 | 2013-01-16 | 日升研发控股有限责任公司 | 用于产品识别的系统和方法 |
| CN103177470A (zh) * | 2011-12-21 | 2013-06-26 | 哈曼贝克自动系统股份有限公司 | 利用机动车的显示器产生增强现实的方法和系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140058873A1 (en) * | 2012-08-22 | 2014-02-27 | Scanavo North America Ltd. | Virtual packaging and electronic gifting system and methodology |
| WO2016059218A1 (en) * | 2014-10-16 | 2016-04-21 | Neopost Technologies | System and method for automatically packaging items varying in size and number for shipment |
| US10495723B2 (en) * | 2015-06-16 | 2019-12-03 | United Parcel Service Of America, Inc. | Identifying an asset sort location |
| US10287047B2 (en) * | 2016-01-29 | 2019-05-14 | Neopost Technologies | Method and apparatus for optimizing automated packaging |
-
2018
- 2018-09-20 JP JP2020517129A patent/JP7116162B2/ja active Active
- 2018-09-20 EP EP18195666.5A patent/EP3460764A1/en active Pending
- 2018-09-20 CN CN201880053529.6A patent/CN111033574B/zh active Active
- 2018-09-20 WO PCT/EP2018/075465 patent/WO2019057817A1/en active Application Filing
- 2018-09-20 US US16/650,329 patent/US11169597B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102884539A (zh) * | 2010-03-12 | 2013-01-16 | 日升研发控股有限责任公司 | 用于产品识别的系统和方法 |
| CN103177470A (zh) * | 2011-12-21 | 2013-06-26 | 哈曼贝克自动系统股份有限公司 | 利用机动车的显示器产生增强现实的方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200272224A1 (en) | 2020-08-27 |
| JP7116162B2 (ja) | 2022-08-09 |
| CN111033574A (zh) | 2020-04-17 |
| JP2020535520A (ja) | 2020-12-03 |
| US11169597B2 (en) | 2021-11-09 |
| WO2019057817A1 (en) | 2019-03-28 |
| EP3460764A1 (en) | 2019-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11275480B2 (en) | Dynamic interactive objects | |
| EP3385797B1 (en) | Monitoring device, monitoring system, monitoring program and recording medium | |
| JP6823502B2 (ja) | ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
| CN102955568B (zh) | 输入装置 | |
| EP3475034A1 (en) | Augmented reality robotic system visualization | |
| US8525814B2 (en) | System and method of distinguishing multiple touch points applied to an optical touch system | |
| WO2017053744A1 (en) | Inspection program editing environment including integrated alignment program planning and editing features | |
| CN111033574B (zh) | 为包装机生成虚拟覆盖物的方法 | |
| EP2296069A1 (en) | Process monitoring system | |
| CN111149129A (zh) | 异常检测装置及异常检测方法 | |
| CN103677240A (zh) | 虚拟触摸交互方法和虚拟触摸交互设备 | |
| Niedersteiner et al. | Smart workbench: A multimodal and bidirectional assistance system for industrial application | |
| US7809594B2 (en) | System and method for the dynamic representation of the actual state of a task in relation to a target state | |
| US20190004506A1 (en) | Method for controlling an automation system | |
| US10372096B2 (en) | Use of a live video stream in a process control system | |
| JP3765061B2 (ja) | 多次元形状の座標計測機用オフライン・ティーチング・システム | |
| WO2023181805A1 (ja) | 作業分析装置および作業分析方法 | |
| JP6812647B2 (ja) | 工作機械用管理システム | |
| EP3367197B1 (en) | A method and system for monitoring an industrial equipment | |
| US20240070839A1 (en) | Method for the automated support of an inspection and/or condition monitoring of objects of a production system | |
| CN104238915A (zh) | 一种触控方法、装置及终端 | |
| CN113297952B (zh) | 一种复杂环境下绳驱柔性机器人的测量方法和系统 | |
| KR20220121993A (ko) | 인공지능을 이용한 가상기술 기반의 가상 물리적 무게감 인식 시스템 및 시각화 방법 | |
| Rivu et al. | Context-Aware 3D Visualization of the Dynamic Environment | |
| JPWO2023242987A5 (zh) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TG01 | Patent term adjustment | ||
| TG01 | Patent term adjustment |