CN113196165A - 信息投影系统、控制装置以及信息投影方法 - Google Patents

信息投影系统、控制装置以及信息投影方法 Download PDF

Info

Publication number
CN113196165A
CN113196165A CN201980083101.0A CN201980083101A CN113196165A CN 113196165 A CN113196165 A CN 113196165A CN 201980083101 A CN201980083101 A CN 201980083101A CN 113196165 A CN113196165 A CN 113196165A
Authority
CN
China
Prior art keywords
information
appearance
operator
auxiliary image
workplace
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980083101.0A
Other languages
English (en)
Inventor
莲沼仁志
志子田繁一
山本武司
中村直弘
仓岛一辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Heavy Industries Ltd
Original Assignee
Kawasaki Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Heavy Industries Ltd filed Critical Kawasaki Heavy Industries Ltd
Publication of CN113196165A publication Critical patent/CN113196165A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41805—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by assembly
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4063—Monitoring general control system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • G05B19/4187—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow by tool management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31046—Aid for assembly, show display on screen next workpiece, task, position to be assembled, executed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31048—Project on workpiece, image of finished workpiece, info or a spot
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37074—Projection device, monitor, track tool, workpiece form, process on display
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • General Factory Administration (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Manipulator (AREA)

Abstract

一种信息投影系统、控制装置以及信息投影方法。信息投影系统1包括立体摄影机(11)、控制装置(20)和投影仪(12)。控制装置(20)包括通信装置(21)、分析部(22)、记录部(25)和投影控制部(27)。通信装置(21)获取通过立体摄影机(11)检测工作场所的外观而得的外观信息。分析部(22)分析外观信息并制作地图信息，该地图信息显示工作场所中的物体的形状和位置。记录部(25)基于从由多个立体摄影机(11)分别检测而得的外观信息中单独制作的地图信息，制作并记录操作状况信息。投影控制部(27)基于操作状况信息制作用于辅助工作的辅助影像并输出至投影仪(12)。

Description

信息投影系统、控制装置以及信息投影方法
技术领域
本发明主要涉及一种信息投影系统，其用於在工作场所投影信息。
背景技术
过往，在进行零件的加工、涂装、组装等工作的工作场所中，已知一种使用虚拟图象来支援工作的系统。专利文献1公开了这种使用头戴式显示器(以下称为HMD)的系统。
在专利文献1中，作为示例显示了一种系统，其用于支援在主体零件上组装筒状零件的工作。另外，在操作员安装的HMD上设有摄影部，通过利用摄影部检测工作场所的标记，估计摄影部的位置和姿势。另外，预先获取筒状零件的三维数据。在操作员能视觉识别的实物的主体零件附近，将基于三维数据制作的筒状零件的虚拟图象显示在HMD的显示部上。另外，进一步在HMD的显示部上显示用于组装筒状零件的移动轨迹。由此，操作员能够直观地了解组装顺序。
[现有技术文献]
[专利文献]
专利文献1：日本专利特开2014-229057号公报
发明内容
发明所要解决的技术问题
然而，在专利文献1的系统中，由于是一种在HMD上显示图象的结构，因此不能供多个操作员共享相同的图象。当然，操作员能分别安装HMD并显示相同的图象。但是，这需要在确认显示相同的图象方面花费时间，或者需要花时间通知其他操作员现正观察哪个图象。另外，为了使工作更有效率，需要对操作员传递更多的信息。
本发明鉴于所述情状而完成，其主要目的在于提供一种构成，在使用与工作有关的图象来支援工作的系统中，能够容易地在多个操作员之间共享与工作有关的图象，且能够使操作员掌握基于检测出的信息的图象。
解决问题所使用的技术方案
本发明所欲解决的问题诚如所述，下面对用以解决该问题的手段及其功效进行说明。
根据本发明的第一观点，提供一种信息投影系统，其包括用于检测工作场所的外观的多个外观传感器、控制装置以及用于投影影像的投影仪。另外，所述控制装置包括获取部、分析部、记录部以及投影控制部。所述获取部获取外观信息，该外观信息是通过使用所述外观传感器检测工作场所的外观而获得。所述分析部，分析所述获取部获取的所述外观信息并制作地图信息，该地图信息显示处在所述工作场所中的物体的形状和位置。所述记录部，基于从由多个所述外观传感器分别检测而得的多个所述外观信息中单独制作的所述地图信息、或通过整合该多个所述外观信息而制作的所述地图信息，制作并记录与所述工作场所的操作状况有关的操作状况信息。所述投影控制部，基于所述操作状况信息制作用于辅助所述工作场所中的操作员的工作的辅助影像，并输出至所述投影仪而投影在所述工作场所。
根据本发明的第二观点，提供一种控制装置，该控制装置用于获取由检测工作场所的外观的多个外观传感器检测而得的外观信息，并将用于供投影仪投影的影像输出至该投影仪。另外，所述控制装置包括分析部、记录部和投影控制部。所述分析部分析所述外观信息并制作地图信息，该地图信息显示处在所述工作场所中的物体的形状和位置。所述记录部，基于从由多个所述外观传感器分别检测而得的多个所述外观信息中单独制作的所述地图信息、或通过整合该多个所述外观信息而制作的所述地图信息，制作并记录与所述工作场所的操作状况有关的操作状况信息。所述投影控制部，基于所述操作状况信息制作用于辅助所述工作场所中的操作员的工作的辅助影像，并输出至所述投影仪，将该辅助影像投影在所述工作场所。
根据本发明的第三观点，提供下述的信息投影方法。即，该信息投影方法包括获取工序、分析工序、记录工序和投影控制工序。在所述获取工序中，获取通过使用外观传感器检测工作场所的外观而获得的外观信息。在所述分析工序中，分析在所述获取工序中获取的所述外观信息，制作显示处在所述工作场所中的物体的形状和位置的地图信息。在所述记录工序中，基于从由多个所述外观传感器分别检测而得的多个所述外观信息中单独制作的所述地图信息、或通过整合该多个所述外观信息而制作的所述地图信息，制作并记录与所述工作场所的操作状况有关的操作状况信息。在所述投影控制工序中，基于所述操作状况信息制作用于辅助所述工作场所中的操作员的工作的辅助影像，并输出至投影仪而投影在所述工作场所。
由此，与在HMD上显示辅助影像的构成不同，能够容易在多个操作员之间共享所投影的影像。另外，由于将辅助影像投影在工作场所，因此能够使操作员掌握与工作场所的物体有关的各种信息，其中，该辅助影像是基于检测而得的信息即操作状况信息而非基于预定的信息。
发明功效
根据本发明，其主要目的在于能够实现一种构成，在使用与工作相关的图象来支援工作的系统中，能够容易地在多个操作员之间共享与工作相关的图象，且能使操作员掌握基于检测而得的信息的图象。
附图说明
图1是显示本发明的一实施方式的信息投影系统的构成的示意图；
图2是显示将显示物体的名称和工作内容的辅助影像投影在工作场所的状况的图；
图3是显示基于操作状况信息获得的每个操作员的操作状况和每个操作工序的操作状况的表；
图4是显示将基于其他操作员获取的信息的辅助影像投影在工作场所的状况的图；和
图5是显示不是在操作员终端而是在工作场所配置立体摄影机和投影仪的变形例的图。
附图标记说明
1信息投影系统 10操作员终端
11、111立体摄影机(外观传感器) 12、112投影仪
13通讯装置 20控制装置
21通讯装置(获取部) 22分析部
23匹配部 24物体信息数据库
25记录部 26操作状况信息数据库
27投影控制部
具体实施方式
下面，参照附图说明本发明的实施方式。图1是显示本发明的一实施方式的信息投影系统的构成的示意图。图2是显示将显示物体的名称和工作内容的辅助影像投影在工作场所的状况的图。
本实施方式的信息投影系统1，在进行零件的加工、涂装、组装等工作的工作场所中，实时地获取操作状况。信息投影系统1用于在工作场所投影辅助操作员的工作的辅助影像。信息投影系统1，包括多个操作员终端10、和用于管理以及控制这些操作员终端10的控制装置20。
操作员终端10是供操作员安装的设备。如图2所示，本实施方式的操作员终端10被安装在操作员的头上。操作员终端10能够与安全帽一体地构成，也能够可拆卸式地安装在安全帽上。另外，操作员终端10，也能够安装在头部以外的其他部位。在本实施方式中，多个操作员在工作场所中工作。每个操作员分别安装有操作员终端10。由此，信息投影系统1包括多个操作员终端10。“多个操作员终端10”，是指存在多个(两个以上)安装在不同操作员上的终端(换句话说，配置在分离的位置并且能够独立地改变位置的终端)。另外，每个操作员终端10的构成能完全相同或者也能不同。多个操作员终端10分别包括立体摄影机(外观传感器)11、投影仪12和通讯装置13。由此，信息投影系统1包括多个立体摄影机11(外观传感器)。外观传感器是指获取工作场所的外观的传感器。另外，“多个外观传感器”是指存在多个(两个以上)传感器，这些传感器配置在分离的位置并且检测能够独立使用的数据。
立体摄影机11包括彼此分开适当的距离配置的一对摄影元件(影像传感器)。每个影像传感器是例如CCD(电荷耦合器件)。两个摄影元件彼此同步动作，且通过同时拍摄工作场所来制作一对图象数据。在本实施方式中，由于假定投影实时检测的信息作为辅助影像，因此优选立体摄影机11例如每秒拍摄多次。
另外，立体摄影机11包括处理该一对图象数据的图象处理部。图象处理部通过对由立体摄影机11获得的一对图象数据进行已知的立体匹配处理，求取与每个图象相对应的位置的偏差(视差)。视差与距离成反比，随着距拍摄物体的距离越近则视差越大。图象处理部基于该视差制作将距离信息与图象数据的每个像素建立关联的距离图象。立体摄影机11包括两个摄影元件，但由于将由各个摄影元件检测的图象组合在一起进行处理以制作一个距离图象，因此相当于一个外观传感器。另外，由于摄影元件制作的图象数据以及图象处理部制作的距离图象是显示工作场所的外观的信息，因此相当于外观信息。
距离图象的制作，是在每次由摄影元件制作图象数据时实时进行。因此，能够以与摄影频率相同的频率来制作距离图象。再者，立体摄影机11也能包括摄影元件，且在与立体摄影机11在物理概念上分离的另一壳体上配置图象处理部。
立体摄影机11，是以制作操作员正面的图象数据的方式、也就是说以镜头面向与操作员的视线相同的方向的方式配置。换句话说，操作员终端10(立体摄影机11)，具有能以相对于操作员而方向不变的方式固定在该操作员上的构成，在将操作员终端10固定在操作员的状况下，立体摄影机11的摄影方向与操作员的前方一致。由此，能够获取操作员目视所见的信息作为图象数据。
投影仪12能够投影从外部输入的影像。投影仪12具有与立体摄影机11相同的构成，从而能够将影像投影在操作员的正面。由此，不管操作员本身的方位如何，操作员皆能够视觉识别由投影仪12投影的影像。另外，预先求得立体摄影机11与投影仪12间的位置关系(包括方向)，且存储在操作员终端10或控制装置20。由此，例如，通过确定工作场所中的立体摄影机11的位置，能够在工作场所中确定投影仪12的位置。
通讯装置13，包括用于与立体摄影机11以及投影仪12进行有线通讯的连接器、或用于进行无线通讯的第一天线。由此，通讯装置13能够与立体摄影机11以及投影仪12交换数据。另外，通讯装置13包括用于与外部的设备(特别是控制装置20)进行无线通讯的第二天线。第二天线能够与第一天线分开设置或同体设置。通讯装置13经由第二天线将从立体摄影机11输入的距离图象传送至控制装置20，或者经由第二天线接收控制装置20制作的辅助影像并输出至投影仪12。
控制装置20由计算机组成，计算机包括CPU、ROM和RAM等。控制装置20基于从操作员终端10接收的距离图象以及其他信息来制作辅助影像，且传送至操作员终端10。如图1所示，控制装置20包括通讯装置(获取部)21、分析部22、匹配部23、物体信息数据库24、记录部25、操作状况信息数据库26、和投影控制部27。控制装置20的各部分，是按照控制装置20进行的每一处理(控制装置20具有的每个功能)在概念上对控制装置20进行划分而成。本实施方式的控制装置20由一台计算机实现，但控制装置20也能够由多台计算机组成。在这种情况下，这些多台计算机经由网络连接。
通讯装置21包括第三天线，该第三天线用于与外部设备(特别是操作员终端10)进行无线通讯。通讯装置21通过无线或有线与控制装置20的各部分连接。由此，通讯装置21能够与操作员终端10以及控制装置20的每个部分交换数据。通讯装置21从操作员终端10获取距离图象(获取工序)。通讯装置21经由第三天线接收从操作员终端10获取的距离图象，并输出至分析部22，或者经由第三天线将投影控制部27制作的辅助影像(具体为用于供投影仪12投影辅助影像的数据)输出至操作员终端10。
分析部22对从通讯装置21输入的距离图象进行SLAM(同步定位与地图构建)处理。分析部22通过分析距离图象，制作显示处于工作场所中的物体的形状和位置的地图信息(环境地图)，并且估计立体摄影机11的位置和方向(传感器位置和传感器方向)(分析工序)。再者，处于工作场所中的物体是指例如配置在工作场所中的设备、机器、工具和工件(工作对象物体)。
下面，具体说明地图信息的制作方法。即，分析部22通过分析距离图象，设定适宜的特征点并获取其运动。然后，分析部22通过公知方法从距离图象中提取并跟踪多个特征点，由此求得以矢量表现特征点在与图象相对应的平面中的运动的数据。分析部22基于该数据生成地图信息。地图信息是如上所述显示工作场所中的物体的形状和位置的数据。更具体而言，地图信息是显示所提取的多个特征点(点组)的三维位置的数据。另外，分析部22基于输入的特征点的位置和距离的变化、以及地图信息中的该特征点的位置，估计立体摄影机11的位置和方向的变化。分析部22制作的地图信息、立体摄影机11的位置和方向、以及这些的变化被输出至匹配部23。
匹配部23进行确定地图信息中包含的物体的处理。具体而言，将工作场所中的物体的三维模型数据与用于确定该物体的识别信息(名称或ID)彼此建立关联且存储在物体信息数据库24中。如上所述，地图信息是显示多个特征点的三维位置的数据。另外，配置在工作场所中的物体的轮廓的一部分，通过分析部22被作为地图信息中的特征点进行处理。匹配部23以公知的方法从包含在由分析部22获取的地图信息中的多个特征点中搜索与存储在物体信息数据库24中的预定物体(例如，工具A)的三维模型数据相对应的特征点。然后，匹配部23提取与该物体相对应的特征点，并基于该特征点的位置，确定该物体的位置(例如，预定代表点的位置)和方向。匹配部23制作在地图信息的坐标上添加了该确定的物体的识别信息以及其位置和方向的数据。通过对各种物体进行该处理，能够获得显示配置在工作场所中的各种物体的地图信息的坐标上的位置和方向等的数据(物体坐标数据)。
另外，作为与物体有关的信息，在物体信息数据库24中进一步记录有物体的重量、物体的柔软度、物体的变形程度、以及使用物体的工作内容等。包括这些信息和物体的识别信息在内，通称为物体信息。
记录部25基于分析部22和匹配部23制作的信息制作操作状况信息，且将此操作状况信息记录在操作状况信息数据库26(记录工序)。操作状况信息是指与工作场所中的操作状况有关的信息，包括例如操作员的工作内容以及工作场所中的工作的进度状况。具体而言，立体摄影机11的位置和方向的变化对应于操作员的位置和方向的变化(下面称为操作员状况的变化)。另外，随着操作员进行工作，会产生设备、机器、工具或工件的数量、位置、方向或形状的变化(操作环境的变化)。另外，在记录部25中记录有显示操作员的工作内容与操作员状况的变化以及操作环境的变化的对应关系的信息。记录部25，通过比较该对应关系与检测的操作员状况的变化和操作环境的变化，确定操作员进行了何种工作以及进行了多少次，并记录在操作状况信息数据库26。如图3(a)所示，记录部25计算并记录每个操作员的担负工作、完成工作次数和工作效率(完成工作的数量除以单位时间的值)。另外，记录部25也能够通过关注操作工序而非操作员来整理数据，如图3(b)所示，来计算并记录每个操作工序的完成工作次数、工作目标数量、进度(完成的工作数量除以工作目标数的值)。再者，记录部25也能够计算整个工作的进度，而不是针对每个操作工序。另外，还将立体摄影机11制作的图象数据作为操作状况信息记录在操作状况信息数据库26中。这样，由于操作状况信息不是预先制作的信息而包括检测的信息，因而属于实时变化的信息。另外，记录部25还将分析部22和匹配部23制作的信息(立体摄影机11的位置和姿势、物体坐标数据)输出至投影控制部27。
再者，在本实施方式中，对接收的每个外观信息(换句话说，对每个操作员终端10)分别通过分析部22进行分析、以及通过匹配部23进行匹配。也可替代此，在整合多个外观信息之后通过分析部22进行分析、以及通过匹配部23进行匹配。
投影控制部27，基于记录在物体信息数据库24和操作状况信息数据库26中的信息以及从记录部25输入的信息等，制作辅助影像并输出至投影仪12，由此，将此辅助影像投影在工作场所(投影控制工序)。为了制作根据工作情况的辅助影像，在投影控制部27中记录有显示操作员的工作内容与辅助影像的内容的对应关系的信息。投影控制部27，通过比较该对应关系与从操作状况信息数据库26获得的操作员的当前工作内容，确定应该根据当前操作员的工作内容进行投影的辅助影像的内容。辅助影像的内容，包括例如基于物体信息的辅助影像和基于操作状况信息的辅助影像。再者，投影控制部27按照每个操作员(每个操作员终端10)制作不同的辅助影像，并投影在投影仪12上。下面，参照图2以及图4具体说明由投影控制部27制作的辅助影像。
图2中显示将基于物体信息和操作状况信息制作的辅助影像投影在工作场所的状况。在图2所示的状况下，在工作台40上放置工具41、第一零件42和第二零件43。另外，在图2所示的状况下，操作员进行使第一零件42移动至第二零件43上的工作。
在图2上侧的图中显示投影辅助影像前的状态，在图2下侧的图中显示投影辅助影像后的状态。在图2下侧的图中投影有辅助影像，该辅助影像包括物体的名称(识别信息)和使用物体的工作内容。再者，在图2下侧的图中以虚线显示辅助影像。
投影控制部27能够基于从匹配部23接收的数据，实时地掌握物体的位置和方向以及立体摄影机11的位置和方向，并且还预先存储有立体摄影机11和投影仪12的位置关系。因此，投影控制部27能够将辅助影像投影在考虑了物体的位置和方向的位置上。具体而言，当投影物体的名称等文字时，使文字投影在物体附近且以能够视觉识别的方式使文字投影在平面状的部分上。再者，在使文字投影在曲面的情况下，投影控制部27通过投影根据投影目的地的曲面形状而变形的文字，也能够以能供操作员视觉识别的形式将文字投影在曲面上。另外，在投影工作内容的情况下，投影控制部27除了投影显示工作内容的文字外，还将显示第一零件42的移动目的地和移动方向的影像作为辅助影像进行投影。
通过以这种方式投影辅助影像，能容易供多个操作员共享辅助影像。例如，熟练人员能够一边指着辅助影像一边教导初学人员操作顺序。在将虚拟影像显示在HMD的系统中，这种教导方法是困难的。由此，通过使用信息投影系统1，能够有效地教导操作顺序。另外，由于投影控制部27能够实时获取立体摄影机11的位置和姿势，因此即使假定工作终端10移位时，也无需重新调整安装位置，仍能将辅助影像投影在正确的位置。另外，与使用HMD的系统不同，操作员无需透过透明型显示器即可直接观察工作场所。如上所述，能够在提高工作效率的同时减轻操作员的工作时间及负担。
图4显示将记录在操作状况信息数据库26的操作状况信息作为辅助影像进行投影的状况。在图4所示的状况中，进行将第四零件45安装在形成于第三零件44的凹部44a的工作。另外，由于第三零件44以及第四零件45与操作员相比是非常大的零件，因此两个操作员分别负责上侧和下侧的安装。在这种状况下，需要两个操作员一边确认彼此的操作状况一边进行第四零件45的安装。然而，由于第四零件45非常大，因此工作变得困难。
这一点在本实施方式中，将由立体摄影机11制作的图象数据也作为操作状况信息进行记录，且将该图象数据作为辅助影像进行投影。具体而言，从上侧的第一操作员的投影仪12投影由下侧的第二操作员的立体摄影机11制作的图象数据作为辅助影像。另外，与图2相同，同时还投影物体的名称作为辅助影像。另一方面，从下侧的第二操作员的投影仪12投影由上侧的第一操作员的立体摄影机11制作的图象数据和物体的名称作为辅助影像。由此，能够一边确认彼此的操作状况一边进行工作。如上所述，在图4所示的示例中，投影由另一操作员的操作员终端10获取的信息且与该操作员进行的工作相对应的辅助影像。
在图4所示的示例中，显示了图象数据和物体的名称，但是也能代替这些或除了这些之外，并且投影根据地图信息计算的物体的位置作为辅助影像。例如，由于能够基于地图信息来量化第三零件44和第四零件45的偏差量，因此能够投影经量化后的偏差量作为辅助影像。另外，图4中说明的状况是一示例，例如，即使隔着比操作员大的大型零件或墙壁彼此面对的操作员彼此，也能够共享彼此的图象数据。
接着，参考图5说明所述实施方式的变形例。图5是显示不是在操作员终端10而是在工作场所配置立体摄影机111和投影仪112的变形例的图。
在本变形例中，在例如工作场所的墙壁或天花板上等配置立体摄影机111和投影仪112。在这种结构中，也能够基于由立体摄影机111制作的图象数据和距离图象生成地图信息。另外，在本变形例的构成中，匹配部23能够通过匹配来确定操作员，从而能够获取每个操作员的信息。
另外，由于立体摄影机111和投影仪112是固定的，因此能够预先存储位置关系。因此，还能够考虑地图信息的物体的位置和方向来投影辅助影像。再者，即使当立体摄影机111和投影仪112中的至少一个被配置为能够改变位置和方向时，也能够根据位置控制或姿势控制的内容计算位置关系。因此，与所述相同能够考虑物体的位置和方向来投影辅助影像。
也能为在操作员终端10配置立体摄影机111和投影仪112中的一个，且在工作场所配置另一个的构成，以代替本变形例。在这种情况下，如果能够基于所制作的地图信息来确定投影仪112的位置和方向，则能够考虑物体的位置和方向来投影辅助影像。
如以上说明，信息投影系统1包括：多个立体摄影机11、111，其用于检测工作场所的外观；控制装置20；以及投影仪12、112，其用于投影影像。控制装置20包括通讯装置21、分析部22、记录部25和投影控制部27。通讯装置21获取通过利用立体摄影机11、111检测工作场所的外观而获得的外观信息(一对图象数据或距离图象)。分析部22分析由通讯装置21获取的外观信息，并制作显示工作场所中的物体的形状和位置的地图信息。记录部25基于从分别由多个立体摄影机11、111检测而得的多个外观信息单独制作的地图信息，制作并记录与工作场所中的操作状况有关的操作状况信息。投影控制部27基于操作状况信息制作用于辅助在工作场所中的操作员的工作的辅助影像，输出至投影仪12、112并投影在工作场所。
由此，与在HMD上显示辅助影像的构成不同，能够容易在多个操作员之间共享投影的图象。另外，由于在工作场所投影基于检测的信息即操作状况信息的辅助影像而不是预定的信息，因此能够使操作员掌握与工作场所中的物体有关的各种信息。
另外，在所述实施方式的信息投影系统1中，通讯装置21获取由安装在工作场所的操作员上的立体摄影机11检测的外观信息。
由此，能够制作包括操作员的位置和方向的操作状况信息。另外，能够将操作员目视观察的信息包括在操作状况信息中。另外，由于立体摄影机11移动，因此能够基于从各个视点获得的外观信息来制作地图信息。
另外，在所述实施方式的信息投影系统1中，投影控制部27从操作员安装的投影仪12投影辅助影像，该辅助影像用于辅助安装有该投影仪12的操作员的工作。
由此，能够从投影仪12投影每个操作员所需的信息。
另外，在所述实施方式的信息投影系统1中，投影控制部27从第二操作员安装的投影仪12上将辅助影像投影在工作场所，该辅助影像是基于由第一操作员安装的立体摄影机11检测的外观信息而制作。
由此，例如，第二操作员能够通过第一操作员安装的立体摄影机11确认本身不能直接确认的信息(特别是关于当前操作状况的信息)。
另外，在所述实施方式的信息投影系统1中，记录部25基于操作状况信息中包括的物体的数量、位置、方向和形状中的至少一个，制作并记录操作员的操作状况、和在工作场所的工作的进度状况中的至少一个。
由此，由于基于与当前的操作状况有关的信息判定操作状况，因而能够实时获得正确的操作状况。
另外，在所述实施方式的信息投影系统1中，包括匹配部23，该匹配部23通过将地图信息与物体的三维数据进行匹配来确定包括在地图信息中的物体。投影控制部27从投影仪12上将包括由匹配部23确定的物体信息的辅助影像投影在工作场所。
由此，由于能够投影与确定的物体有关的辅助影像，因而能够提高操作员的工作效率并且能够减少工作失误。
另外，在所述实施方式的信息投影系统1中，投影控制部27获取与由匹配部23确定的物体建立关联的物体信息，并从投影仪12上将包括该物体信息的辅助影像投影在基于地图信息中包括的物体的形状和位置而确定的投影部位上。
由此，由于将辅助影像投影在基于物体的形状和位置而确定的投影部位上，因此能够以操作员能视觉识别的位置和形式投影辅助影像。另外，由于显示与物体建立关联的物体信息，因此能够辅助操作员的工作。
上面说明了本发明的优选实施方式和变型例，但是例如能够以如下方式改变所述构成。
作为外观传感器，也能够使用单眼相机来代替立体摄影机11。在这种情况下，分析部22和匹配部23能够使用以下方法确定物体的位置和方向并识别该物体。首先，制作从各种方向和距离拍摄配置在工作场所中的物体的图象。这些图象能够是照片也能够是基于3D模型的CG图象。然后，使计算机机械学习这些图象、拍摄这些图象的方向和距离、和这些图象显示的物体的识别信息等。通过使用由该机械学习制作的模型，能够基于物体的图象识别物体并确定摄影位置相对于该物体的相对位置。再者，该方法不限于单眼相机，也能够应用于立体摄影机11。另外，当立体摄影机11是单眼相机时，分析部22也能够进行已知的单眼Visual-SLAM处理，以检测与本实施方式相同的信息。另外，也能代替立体摄影机11，使用组合了单眼相机和陀螺仪传感器的公知构成，获取视差信息并使用在SLAM技术中。
作为外观传感器，也能够代替立体摄影机11，使用能够进行三维测量的三维LIDAR(激光成像探测与测距系统)。在这种情况下，与使用立体摄影机11时相比，能够更正确地测量对象物体的三维位置。另外，通过使用激光，能够进行抑制了亮度等的外部影响的扫描。
在所述实施方式中，以各种信息作为操作状况信息的例子进行了说明，但也能够是仅制作并记录这些信息的一部分的构成，或者也能够是制作并记录与以上说明的信息不同的信息的构成。另外，例如，当仅记录图象数据作为操作状况信息时，不需要匹配部23的匹配处理。

Claims (9)

1.一种信息投影系统，包括用于检测工作场所的外观的多个外观传感器、控制装置、以及用于投影影像的投影仪，其特征在于，
所述控制装置包括：
获取部，其获取外观信息，该外观信息是通过使用所述外观传感器检测工作场所的外观而获得；
分析部，其分析所述获取部获取的所述外观信息并制作地图信息，该地图信息显示处在所述工作场所中的物体的形状和位置；
记录部，其基于从由多个所述外观传感器分别检测而得的多个所述外观信息中单独制作的所述地图信息、或通过整合该多个所述外观信息而制作的所述地图信息，制作并记录与所述工作场所的操作状况有关的操作状况信息；以及
投影控制部，其基于所述操作状况信息制作用于辅助所述工作场所中的操作员的工作的辅助影像，并输出至所述投影仪而将该辅助影像投影在所述工作场所。
2.根据权利要求1所述的信息投影系统，其中，所述获取部获取由所述外观传感器检测而得的所述外观信息,所述外观传感器安装在所述工作场所的操作员上。
3.根据权利要求2所述的信息投影系统，其中，所述投影控制部从操作员安装的所述投影仪投影所述辅助影像，该辅助影像用于辅助安装该投影仪的操作员的工作。
4.根据权利要求3所述的信息投影系统，其中，所述投影控制部将所述辅助影像从第二操作员安装的所述投影仪投影在所述工作场所，该辅助影像是基于第一操作员安装的所述外观传感器检测而得的所述外观信息所制作。
5.根据权利要求1至4中任一项所述的信息投影系统，其中，所述记录部基于所述操作状况信息中包括的所述物体的数量、位置、方向和形状中的至少任一个，制作并记录所述操作员的操作状况、和所述工作场所中的工作的进度状况中的至少一个。
6.根据权利要求1至5中任一项所述的信息投影系统，其中，具备匹配部，其通过将所述地图信息与所述物体的三维数据进行匹配，确定包括在所述地图信息中的所述物体，且
所述投影控制部将所述辅助影像从所述投影仪投影在所述工作场所，该辅助影像包括与所述匹配部确定的所述物体建立对应的物体信息。
7.根据权利要求6所述的信息投影系统，其中，所述投影控制部获取与所述匹配部确定的所述物体建立对应的所述物体信息，且将包括该物体信息的所述辅助影像从所述投影仪投影在基于所述地图信息中包括的所述物体的形状和位置而确定的投影部位上。
8.一种控制装置，用于获取由检测工作场所的外观的多个外观传感器检测而得的外观信息，并将用于供投影仪投影的影像输出至该投影仪，其特征在于，
所述控制装置包括：
分析部，其分析所述外观信息并制作地图信息，该地图信息显示处在所述工作场所中的物体的形状和位置；
记录部，其基于从由多个所述外观传感器分别检测而得的多个所述外观信息中单独制作的所述地图信息、或通过整合该多个所述外观信息而制作的所述地图信息，制作并记录与所述工作场所的操作状况有关的操作状况信息；以及
投影控制部，其基于所述操作状况信息制作用于辅助所述工作场所中的操作员的工作的辅助影像，并输出至所述投影仪而将该辅助影像投影在所述工作场所。
9.一种信息投影方法，其特征在于包括以下的工序：
获取工序，在所述获取工序中，获取通过使用外观传感器检测工作场所的外观而获得的外观信息；
分析工序，在所述分析工序中，分析在所述获取工序中获取的所述外观信息，制作显示处在所述工作场所中的物体的形状和位置的地图信息；
记录工序，在所述记录工序中，基于从由多个所述外观传感器分别检测而得的多个所述外观信息中单独制作的所述地图信息、或通过整合该多个所述外观信息而制作的所述地图信息，制作并记录与所述工作场所的操作状况有关的操作状况信息；以及
投影控制工序，在所述投影控制工序中，基于所述操作状况信息制作用于辅助所述工作场所中的操作员的工作的辅助影像，并输出至投影仪而投影在所述工作场所。
CN201980083101.0A 2018-12-18 2019-12-18 信息投影系统、控制装置以及信息投影方法 Pending CN113196165A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018236080A JP7414395B2 (ja) 2018-12-18 2018-12-18 情報投影システム、制御装置、及び情報投影制御方法
JP2018-236080 2018-12-18
PCT/JP2019/049505 WO2020130006A1 (ja) 2018-12-18 2019-12-18 情報投影システム、制御装置、及び情報投影方法

Publications (1)

Publication Number Publication Date
CN113196165A true CN113196165A (zh) 2021-07-30

Family

ID=71101969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980083101.0A Pending CN113196165A (zh) 2018-12-18 2019-12-18 信息投影系统、控制装置以及信息投影方法

Country Status (4)

Country Link
US (1) US20220011750A1 (zh)
JP (1) JP7414395B2 (zh)
CN (1) CN113196165A (zh)
WO (1) WO2020130006A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116880732A (zh) * 2023-07-14 2023-10-13 中国人民解放军海军潜艇学院 海图作业投影辅助的交互方法及交互装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190285A1 (ja) * 2021-03-10 2022-09-15 川崎重工業株式会社 自己位置推定システム及び自己位置推定方法
GB2616832A (en) * 2022-03-10 2023-09-27 Mclaren Automotive Ltd Quality control system configuration

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101479659A (zh) * 2006-07-03 2009-07-08 松下电器产业株式会社 投影系统及影像投射方法
CN102498442A (zh) * 2009-05-19 2012-06-13 苹果公司 用具，厨房和住宅的控制
CN103365414A (zh) * 2012-04-06 2013-10-23 索尼公司 信息处理设备、信息处理方法和信息处理系统
CN104238737A (zh) * 2013-06-05 2014-12-24 佳能株式会社 能够辨识用户操作的信息处理装置及其控制方法
CN105229705A (zh) * 2013-05-22 2016-01-06 川崎重工业株式会社 零件组装作业支持系统及零件组装方法
CN105607253A (zh) * 2014-11-17 2016-05-25 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
CN108025439A (zh) * 2015-10-14 2018-05-11 川崎重工业株式会社 机器人示教方法及机器臂控制装置
WO2018164172A1 (ja) * 2017-03-07 2018-09-13 住友重機械工業株式会社 ショベル及び建設機械の作業支援システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7268893B2 (en) * 2004-11-12 2007-09-11 The Boeing Company Optical projection system
WO2007044558A2 (en) * 2005-10-07 2007-04-19 Ops Solutions Llc Light guided assembly system
JP4747232B2 (ja) * 2006-09-06 2011-08-17 独立行政法人産業技術総合研究所 小型携帯端末
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US9946076B2 (en) 2010-10-04 2018-04-17 Gerard Dirk Smits System and method for 3-D projection and enhancements for interactivity
CA2825726C (en) * 2011-02-11 2019-05-21 Paul Ryznar Light guided assembly system and method
WO2012135545A1 (en) 2011-03-29 2012-10-04 Qualcomm Incorporated Modular mobile connected pico projectors for a local multi-user collaboration
JP2013235374A (ja) * 2012-05-08 2013-11-21 Sony Corp 画像処理装置、投影制御方法及びプログラム
HUP1200540A2 (en) 2012-09-19 2014-03-28 Laszlo Dulin Method for welding simulation
JP6075180B2 (ja) * 2013-04-18 2017-02-08 オムロン株式会社 作業管理システムおよび作業管理方法
WO2015006334A1 (en) * 2013-07-08 2015-01-15 Ops Solutions Llc Eyewear operational guide system and method
JP6287293B2 (ja) * 2014-02-07 2018-03-07 セイコーエプソン株式会社 表示システム、表示装置、および表示方法
JP6828235B2 (ja) * 2015-12-07 2021-02-10 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP6476031B2 (ja) * 2015-03-25 2019-02-27 ビーコア株式会社 画像投影装置、画像投影方法及びプログラム
JP2018032364A (ja) * 2016-08-25 2018-03-01 東芝Ｉｔコントロールシステム株式会社 指示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101479659A (zh) * 2006-07-03 2009-07-08 松下电器产业株式会社 投影系统及影像投射方法
CN102498442A (zh) * 2009-05-19 2012-06-13 苹果公司 用具，厨房和住宅的控制
CN103365414A (zh) * 2012-04-06 2013-10-23 索尼公司 信息处理设备、信息处理方法和信息处理系统
CN105229705A (zh) * 2013-05-22 2016-01-06 川崎重工业株式会社 零件组装作业支持系统及零件组装方法
CN104238737A (zh) * 2013-06-05 2014-12-24 佳能株式会社 能够辨识用户操作的信息处理装置及其控制方法
CN105607253A (zh) * 2014-11-17 2016-05-25 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
CN108025439A (zh) * 2015-10-14 2018-05-11 川崎重工业株式会社 机器人示教方法及机器臂控制装置
WO2018164172A1 (ja) * 2017-03-07 2018-09-13 住友重機械工業株式会社 ショベル及び建設機械の作業支援システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116880732A (zh) * 2023-07-14 2023-10-13 中国人民解放军海军潜艇学院 海图作业投影辅助的交互方法及交互装置
CN116880732B (zh) * 2023-07-14 2024-02-02 中国人民解放军海军潜艇学院 海图作业投影辅助的交互方法及交互装置

Also Published As

Publication number Publication date
JP7414395B2 (ja) 2024-01-16
WO2020130006A1 (ja) 2020-06-25
JP2020098451A (ja) 2020-06-25
US20220011750A1 (en) 2022-01-13

Similar Documents

Publication Publication Date Title
US9448758B2 (en) Projecting airplane location specific maintenance history using optical reference points
JP4757142B2 (ja) 撮影環境校正方法及び情報処理装置
KR102627352B1 (ko) 증강 현실 디바이스를 교정하기 위한 방법
CN110458961B (zh) 基于增强现实的系统
US8559704B2 (en) Three-dimensional vision sensor
US9672630B2 (en) Contour line measurement apparatus and robot system
JP4537557B2 (ja) 情報呈示システム
JP5378374B2 (ja) リアルオブジェクトに対するカメラの位置および方向を把握する方法およびシステム
US10044996B2 (en) Method for projecting virtual data and device enabling this projection
JP4886560B2 (ja) 情報処理装置、情報処理方法
CN108227929B (zh) 基于bim技术的增强现实放样系统及实现方法
JP6491574B2 (ja) Ａｒ情報表示装置
CN113196165A (zh) 信息投影系统、控制装置以及信息投影方法
KR101973917B1 (ko) 3차원 계측 장치 및 그 계측 지원 처리 방법
JP2009053147A (ja) ３次元計測方法および３次元計測装置
KR20010078102A (ko) 캘리브레이션 시스템, 타겟장치 및 캘리브레이션방법
US20210023718A1 (en) Three-dimensional data generation device and robot control system
JP2017077614A (ja) 教示点補正方法、プログラム、記録媒体、ロボット装置、撮影点作成方法、及び撮影点作成装置
US11108964B2 (en) Information processing apparatus presenting information, information processing method, and storage medium
CN110869978A (zh) 信息处理装置和信息处理方法
JP2014165810A (ja) パラメータ取得装置、パラメータ取得方法及びプログラム
KR101972432B1 (ko) 레이저비전 센서 및 그 보정방법
WO2015159835A1 (ja) 画像処理装置、画像処理方法、プログラム
Mazzei et al. A lasers and cameras calibration procedure for VIAC multi-sensorized vehicles
CN111372698A (zh) 作业辅助系统及作业辅助方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210730