CN111448502B - 可靠的眼镜式设备和方法 - Google Patents

可靠的眼镜式设备和方法 Download PDF

Info

Publication number
CN111448502B
CN111448502B CN201880078815.8A CN201880078815A CN111448502B CN 111448502 B CN111448502 B CN 111448502B CN 201880078815 A CN201880078815 A CN 201880078815A CN 111448502 B CN111448502 B CN 111448502B
Authority
CN
China
Prior art keywords
image
unit
sub
image information
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880078815.8A
Other languages
English (en)
Other versions
CN111448502A (zh
Inventor
马克西米利安·格拉泽
托马斯·克斯滕
马克·辛格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN111448502A publication Critical patent/CN111448502A/zh
Application granted granted Critical
Publication of CN111448502B publication Critical patent/CN111448502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/60Security, fault tolerance
    • G08C2201/63Redundant transmissions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种眼镜式设备(1),其中借助于第一子图像(α3)和第二子图像(α4)的叠加能够可靠地描绘总图像,其中操作者(2)能够识别正确的总图像,其中当至少两个图像信息一致时能够可靠地实施动作。本发明还涉及一种利用眼镜式设备描绘总图像和/或实施动作的方法。

Description

可靠的眼镜式设备和方法
技术领域
本发明涉及眼镜式设备以及利用眼镜式设备描绘总图像和/或实施动作的方法。
背景技术
尤其由于安全性原因,目前仅将冗余设计的按钮、开关或其他专用的附加组件用作可靠的输入设备。这些输入设备通常与机器(例如机床)固定连接并且不能被灵活应用。
目前主要将简单的系统(例如灯或打印机)用作可靠的显示设备。屏幕也能可靠地再现显示。然而这需要高成本。此外,屏幕与机器固定连接。
迄今,尤其在机床领域,不存在将可靠输入和可靠显示组合的设备。另外,不存在这样的便携设备。
专利文献DE19625028C1描述了一种眼镜式设备,其在使用发出视觉信息的信号源以及将该信息投射到视野中的光学系统的情况下将附加信息置入人的视野中。
由US 2015/206347 A1描述一种减少增强现实中的炫目的系统。为此提出,用于生成对象的改进的图像的方法接收第一图像数据。第一图像数据对应于由该对象借助纯净过滤器反射的第一光线。第二图像数据对应于由该对象借助极化过滤器反射的第二光线。通过将第一图像数据与第二图像数据结合,生成对象的改进的图像的改进的图像数据,其中,第一图像的改进的图像与第二图像的改进的图像能够彼此不同。
由US 2013/050069 A1提出用于在显示用户接口时使用的设备,该设备包括:框架;与该框架安装在一起的透镜;第一相机;反射器;和处理器,其设置用于准备由第一相机收录的图像并且检测由该相机收录的数据;探测器,其用于参照第一相机的视野中的以及探测器的检测区域的三维(3D)空间至少由图像的处理来识别手运动,由图像的处理和实现姿态的手的至少一部分的3D空间中的检测数据来识别虚拟X、Y和Z坐标,识别与检测的姿态和手的一部分的三维位置相对应的指令。
发明内容
本发明的目的是借助于便携设备实现可靠输入和/或可靠显示。
该目的通过本发明的眼镜式设备来实现,即通过如下的眼镜式设备实现,其包括:第一计算单元,独立于第一计算单元的第二计算单元,第一显示单元,独立于第一显示单元的第二显示单元,第一检测单元,独立于第一检测单元的第二检测单元,其中,第一检测单元检测操作者的第一周围区域,其中,第一检测单元将第一周围区域转换为能由第一计算单元处理的第一图像信息,其中,第二检测单元检测操作者的第二周围区域,其中,第二检测单元将第二周围区域转换为能由第二计算单元处理的第二图像信息,其中,第一周围区域和第二周围区域相交,其中,第一检测单元将第一图像信息传输至第一计算单元,其中,第二检测单元将第二图像信息传输至第二计算单元,其中,当第一图像信息和第二图像信息一致时能够实施动作,和/或其中,第一计算单元生成第一子图像,其中,第一计算单元将第一子图像传输至第一显示单元,其中,第一显示单元显示第一子图像,其中,第二计算单元生成第二子图像,其中,第二计算单元将第二子图像传输至第二显示单元,其中,第二显示单元显示第二子图像,其中,借助于第一子图像和第二子图像的叠加能够可靠地描绘总图像,其中,操作者能够识别正确的总图像。
该目的还通过本发明的方法来实现,即通过利用眼镜式设备描绘总图像和/或实施动作的方法实现,该方法包括以下步骤:由第一检测单元检测操作者的第一周围区域,将第一周围区域转换为能由第一计算单元处理的第一图像信息,由第二检测单元检测操作者的第二周围区域,将第二周围区域转换为能由第二计算单元处理的第二图像信息,将第一图像信息从第一检测单元传输至第一计算单元,将第二图像信息从第二检测单元传输至第二计算单元,其中,当第一图像信息和第二图像信息一致时可靠地实施动作,和/或由第一计算单元生成第一子图像,将第一子图像从第一计算单元传输至第一显示单元,由第一显示单元显示第一子图像,由第二计算单元生成第二子图像,将第二子图像从第二计算单元传输至第二显示单元,由第二显示单元显示第二子图像,其中,借助于第一子图像和第二子图像的叠加可靠地描绘总图像,其中,由操作者识别正确的总图像。
本发明的方法步骤的顺序不是强制性的。也能够以不同的顺序实施这些步骤。
“可靠”在此表示眼镜式设备和/或利用眼镜式设备描绘总图像和/或实施动作的方法是故障安全的或失效安全的。
可靠优选地通过冗余来实现。
眼镜式设备包括冗余地实施的组件,例如包括第一计算单元和第二计算单元。
此外,利用眼镜式设备描绘总图像和/或实施动作的方法也基于该冗余。
根据本发明,眼镜式设备被设计用于操作机床和/或生产机器和/或机器人。
机床是用于利用工具生产工件的机器,通过机器预设工具和工件相对彼此的运动。机床有时包括车床、铣床、切割机、烧蚀机、压力机和机器锤。机床通常被实施为CNC(计算机数控)机床并且具有计算机辅助的数控单元,借助于数控单元能够自动地生产工件并且高精度地生产复杂的造型。
生产机器是用于生产不同物品的机器。在此,这些机器例如包括用于印刷报纸的生产机器、借助于增材制造生产产品的生产机器、注塑机、食品和饮料行业的生产机器、用于生产纸张、卡纸和/或纸板的造纸机、以及用于生产金属和/或金属板的生产机器。
机器人(特别是工业机器人)是用于处理、组装和/或加工工件的可编程的机器。机器人通常用于航空、汽车工业、塑料、金属板或金属加工、食品和饮料、医疗技术、制药和化妆品行业、以及其他电工技术领域。工业机器人的主要任务包括组装、抓握、常规处理、装载和卸载、机器装料、喷涂、码垛、定位、铣削、磨削、抛光和/或焊接。其在工业环境中变得越来越流行,因为其能够自动地精确加工工件并且在此能够例如比机床更灵活使用。
机床和/或生产机器和/或机器人的操作者优选地在工业车间中活动,和/或需要空闲的手来操作上述机器中的至少一个,和/或为了能够可靠高效地工作。操作者经常在两台或更多台机器之间切换,并且因此始终需要当前数据,这些数据有利地被实时显示给操作者。
在本发明的另一个有利的实施方式中,第一显示单元和/或第二显示单元被实施为显示器和/或投影仪。
在本发明的另一个有利的设计方案中,眼镜式设备能够作为头戴式显示器由操作者佩戴。
眼镜式设备优选地固定在操作者的头上。
然而,眼镜式设备也能够被设计为平视显示器。此外,其他显示系统也能被考虑。
显示器优选是用于显示子图像的设备,其基于LED技术(LED=发光二极管),例如是OLED显示器(OLED=有机发光二极管),和/或基于LCD技术(LCD=液晶显示器),例如是TFT显示器(FTF=薄膜晶体管)。
投影仪将要显示的子图像直接投影到眼睛的视网膜上。
眼镜式设备优选地实施为双目镜。在此,第一显示单元显示第一子图像,并且第二显示单元显示第二子图像。
在本发明的另一个有利的实施方案中,第一显示单元为操作者的第一只眼睛显示第一子图像,第二显示单元为操作者的第二只眼睛显示第二子图像。
在此,第一计算单元生成第一子图像。第一计算单元优选借助于“第一计算单元与第一显示单元”的数据连接将第一子图像传输至显示单元。该显示单元显示第一子图像。
第二计算单元生成第二子图像。第二计算单元优选地借助于“第二计算单元与第二显示单元”的数据连接将第二子图传输至显示单元。该显示单元显示第一子图像。
每个数据连接能够实施为无线或固定布线的连接。
优选地,第一显示单元和第二显示单元从两个不同的视角或两个不同的位置同时显示相同的图像内容,从而借助于第一子图像和第二子图像的叠加在操作者的大脑中产生空间印象或有深度的印象(也称为3D效果)。
在此,第一子图像和第二子图像彼此独立地生成并且以双通道传输。这确保了总图像的可靠显示,操作者能将该总图像识别为正确的总图像。
如果一个或两个子图像是有错误的,则操作者能将其识别出。如果例如第一计算单元发生故障,则不能生成第一子图像。因此,操作者的第一只眼睛是“瞎的”。由此,使用者识别出有错误的总图像,并因此识别出眼镜式设备的故障。
例如,如果第一计算单元延迟地运行,则由于两个子图像延迟并且不能同时显示,操作者缺乏总图像中的空间印象。
两个显示单元优选地显示光学警告信号和/或提醒。操作者能够专注于对时间要求严格的重要任务并且因此解放其双手。警告信号会显示给操作者并且不会不经意地漏看或例如在环境噪声中被漏听。
在本发明的另一个有利的设计方案中,眼镜式设备被实施为操作者与机床之间的接口。
显示单元优选地显示虚拟的HMI(HMI =人机界面),通过其能够操作机床和/或生产机器和/或机器人。例如,能够触发或实施动作“开始”、“停止”和/或“紧急停止”。
在本发明的另一个有利的设计方案中,第一检测单元和/或第二检测单元被实施为相机。
两个检测单元优选地布置在不同的位置处。优选地,第一检测单元检测第一视角,并且第二检测单元检测与第一视角不同的第二视角。
以这种方式,能够在空间中检测具有三个坐标(X坐标、Y坐标、Z坐标)的对象。
在本发明的另一个有利的设计方案中,被实施为相机的检测单元检测至少两个维度。
例如,第一检测单元检测第一周围区域中的物体的X坐标和Y坐标(即第一图像信息),第二检测单元检测第二周围区域中的物体的X坐标和Z坐标(即第二图像信息)。因此确保在空间中的对深度的识别。
根据本发明,在第一计算单元和第二计算单元之上设有上级计算单元,该上级计算单元用于比较第一图像信息和第二图像信息。
对比较结果的评估能够识别眼镜式设备的正确的功能或故障。
已经描述的虚拟HMI优选地具有至少一个虚拟开关或按钮。虚拟开关或按钮优选地被设计为实施动作“开始”和/或“停止”和/或“紧急停止”。然而,也能够考虑其他动作。
优选地,每个动作分配有一个按钮或开关。但是,一个按钮或开关具有至少两个动作的多重应用方式也是可行的。
操作者优选地利用手指操作虚拟开关或按钮,以便引起动作。在此,第一检测单元检测第一周围区域并将其转换为第一图像信息,第二检测单元检测第二周围区域并将其转换为第二图像信息。
如上所述,能够在空间中检测对象、即手指。优选地,两个检测单元从两个不同的角度检测手指。
优选地,第一检测单元借助于“第一检测单元与第一处理单元”的数据连接将第一图像信息传输至第一处理单元;优选地,第二检测单元借助于“第二检测单元与第二处理单元”的数据连接将第二图像信息传输至第二计算单元。
优选地,第一计算单元借助于“第一计算单元与上级计算单元”的数据连接将第一图像信息传输至上级计算单元。例如,第一图像信息包括关于手指的X坐标和Y坐标的说明。
优选地,第二计算单元优选地借助于“第二计算单元与上级计算单元”的数据连接将第二图像信息传输至上级计算单元。例如,第二图像信息包含关于手指的X坐标和Z坐标的说明。
上级计算单元优选地比较两个图像信息,并且在图像信息一致时开始实施动作。以这种方式,可靠地并且以双通道实施动作。
联系刚刚提到的实例,上级计算单元比较两个图像信息的X坐标。
在本发明的另一个有利的实施方式中,眼镜式设备被设计为虚拟现实眼镜或增强现实眼镜。
虚拟现实(VR)是三维环境的模拟,操作者能够在模拟的三维环境中自由地环顾,并且操作者能够与模拟的三维环境交互。模拟的三维环境给了操作者及其感官感觉,使操作者整个身体融入其中。在此,模拟的三维环境是人造的虚拟世界。虚拟现实眼镜展示了完全虚拟的环境。
增强现实(AR)表示现实世界与计算机生成的内容之间的结合,所谓的“透视”数据眼镜使用户能够例如在置入计算机生成的虚拟内容和/或信息时感知用户的真实环境。
然而,AR眼镜还能利用至少一个相机检测真实环境,并且使操作者能够经由显示单元看到真实环境与虚拟内容和/或信息的结合。
此外,眼镜式设备还能被设计为混合现实眼镜。
常规的AR或VR眼镜还能配备附加的硬件,以实现根据本发明的眼镜式设备。
在本发明的另一个有利的实施方式中,根据本发明的方法用于操作机床和/或生产机器和/或机器人。
在本发明的另一个有利的实施方式中,以双通道描绘总图像和/或实施动作。
关于总图像的描绘,双通道在此优选地表示:第一子图像和第二子图像彼此独立地生成。在第一计算单元中生成第一子图像,在第二计算单元中生成第二子图像。优选地,第一子图像借助于“第一计算单元与第一显示单元”的数据连接从第一计算单元传输至第一显示单元;优选地,第二子图像借助于“第二计算单元与第二显示单元”的数据连接从第二计算单元传输至第二显示单元。
通过双通道的显示,能够可靠地描绘总图像。操作者通过有错误的总图像识别出眼镜式设备有故障。
关于动作的执行,双通道在此优选表示:虚拟开关或按钮优选地利用操作者的手指来操作,以便引起动作。第一周围区域被第一检测单元检测并且被转换成第一图像信息。第二周围区域被第二检测单元检测并且被转换为第二图像信息。优选地,借助于“第一检测单元与第一计算单元”的数据连接将第一图像信息传输至第一计算单元。优选地,借助于“第二检测单元与第二计算单元”的数据连接将第二图像信息传输至第二计算单元。
优选地,第一图像信息借助于“第一计算单元与上级计算单元”的数据连接从第一计算单元传输至上级计算单元。优选地,第二图像信息优选地借助于“第二计算单元与上级计算单元”的数据连接从第二计算单元传输至上级计算单元。
上级计算单元优选地将第一图像信息与第二图像信息比较。在图像信息一致时开始实施该动作。
以双通道检测能够可靠地实施动作。
在本发明的另一个有利的实施方式中,(如已经说明那样)由操作者识别有错误的总图像。
在本发明的另一个有利的实施方式中,动作被实施为对由操作者发起的操作行为的响应。
优选地,利用操作者的手指(触摸)对虚拟开关或按钮的操作表示操作行为。但是,也能够以其他方式操作开关或按钮。
此外,其他操作行为也是可行的,例如语音命令。
在本发明的另一个有利的实施方式中,操作行为被实施为姿态。
姿态优选地是身体部位的运动,特别是一只或多只手臂和/或一只或多只手的运动。
然而,其他运动也是可行的,例如头部动作、脚和/或腿的动作。
本发明提供的优点是,不再需要目前与机床和/或生产机器和/或机器人固定连接的开关、按钮或专用附加组件。客户以这种方式不仅节省购置成本而且也节省维护成本。
此外,操作者始终能够实时访问与相应机器相关的当前数据,由此提高了生产效率并节省了时间。
附图说明
下面根据附图中示出的实施例详细说明和阐述本发明。附图示出:
图1示出了根据本发明的眼镜式设备的设计方案,
图2示出了根据本发明的用于实施动作的方法,
图3示出了根据本发明的用于描绘总图像的方法,并且
图4示出了在机床前使用眼镜式设备的操作者以及置入的投影图像。
具体实施方式
图1示出了根据本发明的眼镜式设备1的设计方案。眼镜式设备1被戴在该图中的操作者2的头上。眼镜式设备1被实施为头戴式显示器。
眼镜式设备1具有两个显示单元。显示单元能够被实施为第一显示器21或第二显示器22或投影仪。
眼镜式设备1在图中具有第一显示器21和第二显示器22。第一显示器21为第一只眼睛3显示第一子图像。第二显示器22为第二只眼睛4显示第二子图像。
眼镜式设备1还具有第一检测单元,第一检测单元被实施为第一相机11。此外,眼镜式设备1具有第二检测单元,第二检测单元被实施为第二相机12。
优选地,每个第一相机11或第二相机12都能够检测两个维度。
眼镜式设备1还具有第一计算单元31和第二计算单元32。
第一相机11检测操作者2的第一周围区域α1,第二相机12检测第二周围区域α2。第一周围区域α1和第二周围区域α2至少彼此临接。然而,如图所示,第一周围区域α1和第二周围区域α2优选地相交。
第一相机11将第一周围区域α1转换成第一图像信息。第一计算单元31能够处理第一图像信息。
第二相机12将第二周围区域α2转换成能由第二计算单元处理的第二图像信息。
第一相机经由数据连接13将第一图像信息传输至第一计算单元。第二相机12经由数据连接14将第二图像信息传输至第二计算单元32。
数据连接不仅能以物理连接实施,还能以无线连接实施。
第一计算单元31生成第一子图像并且将第一子图像经由数据连接32传输至第一显示器21。
第二计算单元32生成第二子图像并且将第二子图像经由数据连接24传输至第二显示器22。
第一显示器21成像出图中所示的视角α3。第二显示器22成像出图中所示的视角α4。两个视角α3和α4相交并且成像出操作者可见的投影图像15。
如图所示,第一只眼睛3看到视角α3,第二只眼睛4看到视角α4。因此,视角α3中的第一子图像和视角α4中的第二子图像叠加,由此产生总图像。操作者2能够识别出正确的总图像。在此,操作者2还能识别出有错误的总图像,从而识别出眼镜式设备的故障。
在图中,虚拟投影图像15显示虚拟人机界面(HMI)16。投影图像15对应于总图像。该人机界面16例如用于操作者2与机床之间的交互。
第一相机11和第二相机12能够检测操作者的环境。在此,第一相机检测第一周围区域1,第二相机检测第二周围区域2。第一图像信息和第二图像信息经由数据连接13和14被传输至第一计算单元31和第二计算单元32。
例如,一个计算单元或者第一计算单元31和第二计算单元32能够识别操作者2站在哪台机器(例如机床)前,并置入相关的HMI。在此,第一计算单元31计算得到第一子图像并且借助于数据连接23将第一子图像传输至第一显示器21。第二计算单元32生成第二子图像并且借助于数据连接24将第二子图像传输至第二显示器22。
第一显示器21和第二显示器22显示相应的子图像。优选地,第一子图像对应于第二子图像。如果两个子图像之一有错误,则由于这两个子图像不能产生正确的总图像,操作者2能够马上识别出这一情况。通过这种方式,操作者2识别出眼镜式设备1的故障。这实现了可靠地操作机器(例如机床)。
例如,如果第一显示器21和第二显示器22之一出现故障,则操作者2能够识别出,因为操作者的一只眼睛“瞎了”。通过两个子图像的叠加产生三维投影图像15。
如图所示,虚拟HMI 16包括虚拟HMI显示器164和三个虚拟按钮161、162和163。虚拟按钮例如被实施为开关或按钮。
例如,操作者2能够利用手指5来操作虚拟HMI 16。在此,如果操作者2按下虚拟HMI16的虚拟按钮162,则不仅第一相机11而且第二相机12检测该此操作行为。由此产生的图像信息分别通过数据连接13或14转发给第一计算单元31或第二计算单元32。
例如,在图中还示出了上级计算单元33。第一计算单元31通过数据连接19将示出虚拟HMI 16的操作的图像信息传输至上级控制单元33。第二计算单元32通过数据连接20将图像信息传输至上级计算单元33。
上级计算单元33能够检查:第一相机11的图像信息与第二相机12的图像信息是否一致。如果图像信息一致,能够引起动作,例如机床的“启动”、“停止”或“紧急停止”。
由于不仅图像信息的检测而且总图像的描绘都以双通道并且冗余地实施,因此这种眼镜式设备1是可靠的。如果第一相机11的图像信息和第二相机12的图像信息不一致,则识别出眼镜式设备1的错误或故障,并且不实施或停止动作。借助于投影图像15中的显示区域能够向操作者2通知该故障。此外,例如借助上级计算单元33能使机器进入可靠状态。
眼镜式设备1与机床的通信例如能够借助于电缆或无线电实现。出于通信目的,还能考虑数据的光学传输。所描述的眼镜式设备1实现了所谓的3D眼镜在工业环境中的集成。
图2示出了根据本发明的用于实施动作的方法。
在方法步骤S1中,由第一检测单元检测操作者的第一周围区域。
在方法步骤S2中,将第一周围区域转换为能由第一计算单元处理的第一图像信息。
在方法步骤S5中,将第一图像信息从第一检测单元传输至第一计算单元。
在方法步骤S3中,由第二检测单元检测操作者的第二周围区域。
在方法步骤S4中,将第二周围区域被转换为能由第二计算单元处理的第二图像信息。
在方法步骤S6中,将第二图像信息从第二检测单元传输至第二计算单元。
如果第一图像信息和第二图像信息一致(在图中以“=?”标记),则在步骤S7中可靠地实施动作。该路径在图中用“j”标记。
动作例如是机床的“启动”、“停止”或“紧急停止”。
图3示出了根据本发明的用于描绘总图像的方法。
在方法步骤S10中,由第一计算单元生成第一子图像。
在方法步骤S11中,将第一子图像从第一计算单元传输至第一显示单元。
在方法步骤S12中,由第一显示单元显示第一子图像。
在方法步骤S13中,由第二计算单元生成第二子图像。
在方法步骤S14中,将第二子图像从第二计算单元传输至第二显示单元。
在方法步骤S15中,由第二显示单元显示第二子图像。
在方法步骤S16中,借助于第一子图像和第二子图像的叠加能可靠地描绘总图像,因为操作者在方法步骤S17中识别出是否存在正确的总图像。
操作者还识别有错误的总图像并且因此能得出眼镜式设备有故障的结论。
图4示出了在机床6前面使用眼镜式设备1的操作者2以及置入的投影图像15。
该图示出了操作者2想要利用手指5按虚拟投影图像15中的虚拟按钮。投影图像15具有HMI 16。这实现了操作者2与机床6之间的交互。在该图中,将HMI 16作为增强现实的一部分置入。这表示操作者2在真实环境中看到了HMI 16的虚拟投影图像15。
例如,两个检测单元检测操作者的周围环境。经由两个显示单元为操作者显示检测的周围环境以及虚拟投影图像15。

Claims (15)

1.一种眼镜式设备(1),所述眼镜式设备用于可靠地操作机床(6)、生产机器和/或机器人,所述眼镜式设备包括:
-第一计算单元(31)和独立于所述第一计算单元的第二计算单元(32),
-第一显示单元(21)和独立于所述第一显示单元的第二显示单元(22),
-第一检测单元(11)和独立于所述第一检测单元的第二检测单元(12),
其中,所述第一检测单元(11)设置用于,检测操作者(2)的第一周围区域(α1),将所述第一周围区域(α1)转换为能由所述第一计算单元(31)处理的第一图像信息,并且将所述第一图像信息传输至所述第一计算单元(31),
其中,所述第二检测单元(12)设置用于,检测所述操作者(2)的第二周围区域(α2),将所述第二周围区域(α2)转换为能由所述第二计算单元(32)处理的第二图像信息,并且将所述第二图像信息传输至所述第二计算单元(32),
其中,所述第一周围区域(α1)和所述第二周围区域(α2)相交,
其中,所述第一计算单元(31)设置用于生成第一子图像(α3),
其中,所述第一计算单元(31)设置用于将所述第一子图像(α3)传输至所述第一显示单元(21),
其中,所述第一显示单元(21)设置用于显示所述第一子图像(α3),
其中,所述第二计算单元(32)设置用于生成第二子图像(α4),
其中,所述第二计算单元(32)设置用于将所述第二子图像(α4)传输至所述第二显示单元(22),
其中,所述第二显示单元(22)设置用于显示所述第二子图像(α4),
其中,所述眼镜式设备(1)设置用于,借助于所述第一子图像(α3)和所述第二子图像(α4)的叠加以双通道生成和描绘总图像,其中,所述总图像显示虚拟人机界面(16),所述虚拟人机界面(16)包括虚拟人机界面显示器(164)和开关或按钮,并且所述双通道表示:在所述第一计算单元中生成所述第一子图像以及在所述第二计算单元中生成所述第二子图像;所述第一子图像借助于“所述第一计算单元与所述第一显示单元”的数据连接从所述第一计算单元传输至所述第一显示单元;所述第二子图像借助于“所述第二计算单元与所述第二显示单元”的数据连接从所述第二计算单元传输至所述第二显示单元,
其中,所述眼镜式设备(1)具有在所述第一计算单元(31)和所述第二计算单元(32)之上设置的上级计算单元(33),所述上级计算单元用于比较所述第一图像信息和所述第二图像信息,
其中,所述眼镜式设备(1)被实施为操作者与所述机床(6)、所述生产机器和/或所述机器人之间的接口,以实现由所述操作者实施的可靠的动作,从而当所述第一图像信息和所述第二图像信息一致时能够由所述操作者将可靠的动作实施为对所述机床(6)、所述生产机器和/或所述机器人的可靠操作,并且
设有用于识别所述眼镜式设备(1)的错误和/或故障的、所述第一图像信息和所述第二图像信息不一致的情况,从而能够不实施或者停止所述动作。
2.根据权利要求1所述的眼镜式设备(1),其中,当所述第一图像信息和所述第二图像信息不一致时,所述上级计算单元(33)设置用于将所述机床(6)、所述生产机器和/或所述机器人置于可靠状态下。
3.根据权利要求1或2所述的眼镜式设备(1),其中,所述第一显示单元(21)和/或所述第二显示单元(22)被实施为显示器和/或投影仪。
4.根据权利要求1或2所述的眼镜式设备(1),其中,所述第一显示单元(21)设置用于为所述操作者(2)的第一只眼睛(3)显示所述第一子图像(α3),并且其中,所述第二显示单元(22)设置用于为所述操作者(2)的第二只眼睛(4)显示所述第二子图像(α4)。
5.根据权利要求1或2所述的眼镜式设备(1),其中,所述第一检测单元(11)和/或所述第二检测单元(12)被实施为相机。
6.根据权利要求5所述的眼镜式设备(1),其中,被实施为相机的所述第一检测单元(11)或所述第二检测单元(12)检测至少两个维度。
7.根据权利要求1或2所述的眼镜式设备(1),其中,所述眼镜式设备(1)被设计为虚拟现实眼镜或增强现实眼镜。
8.根据权利要求1或2所述的眼镜式设备(1),其中,所述眼镜式设备(1)能够作为头戴式显示器由所述操作者(2)佩戴。
9.一种利用根据权利要求1至8中任一项所述的眼镜式设备(1)描绘总图像和/或实施动作的方法。
10.根据权利要求9所述的方法,具有以下步骤:
-由第一检测单元(11)检测操作者(2)的第一周围区域(α1),
-将所述第一周围区域(α1)转换为能由第一计算单元(31)处理的第一图像信息,
-由第二检测单元(12 )检测所述操作者(2)的第二周围区域(α2),
-将所述第二周围区域(α2)转换为能由第二计算单元(32)处理的第二图像信息,
-将所述第一图像信息从所述第一检测单元(11)传输至所述第一计算单元(31),
-将所述第二图像信息从所述第二检测单元(12)传输至所述第二计算单元(32),
其中,当所述第一图像信息和所述第二图像信息一致时可靠地实施动作。
11.根据权利要求9或10所述的方法,具有以下步骤:
-由所述第一计算单元(31)生成第一子图像(α3)
-将所述第一子图像(α3)从所述第一计算单元(31)传输至第一显示单元(21),
-由所述第一显示单元(21)显示所述第一子图像(α3),
-由所述第二计算单元(32)生成第二子图像(α4),
-将所述第二子图像(α4)从所述第二计算单元(32)传输至第二显示单元(22),
-由所述第二显示单元(22)显示所述第二子图像(α4),
其中,借助于所述第一子图像(α3)和所述第二子图像(α4)的叠加将总图像可靠地描绘为能由所述操作者识别的正确或有错误的总图像。
12.根据权利要求9或10所述的方法,其中,以双通道描绘所述总图像,其中,双通道在所述总图像的所述描绘方面表示:在所述第一计算单元(31)中生成所述第一子图像(α3),并且在所述第二计算单元(32)中生成所述第二子图像(α4),并且将所述第一子图像(α3)从所述第一计算单元(31)传输至所述第一显示单元(21),并且将所述第二子图像(α4)从所述第二计算单元(32)传输至所述第二显示单元(22)。
13.根据权利要求9或10所述的方法,其中,以双通道实施所述动作,其中,双通道在所述动作的所述实施方面表示:利用所述操作者(2)的手指来操作虚拟开关或按钮,以便引起所述动作,其中,所述第一周围区域(α1)被所述第一检测单元(11)检测并且被转换为所述第一图像信息,并且其中,所述第二周围区域(α2)被所述第二检测单元(12)检测并且被转换为所述第二图像信息,并且其中,借助于所述第一检测单元与所述第一计算单元(31)之间的数据连接将所述第一图像信息传输至所述第一计算单元(31),并且借助于所述第二检测单元与所述第二计算单元(32)之间的数据连接将所述第二图像信息传输至所述第二计算单元(32),其中,由所述上级计算单元(33)将所述第一图像信息与所述第二图像信息比较,并且当所述第一图像信息与所述第二图像信息一致时开始所述动作的所述实施。
14.根据权利要求9或10所述的方法,其中,所述动作被实施为对由所述操作者(2)发起的操作行为的响应。
15.根据权利要求14所述的方法,其中,所述操作行为被实施为姿态。
CN201880078815.8A 2017-12-07 2018-11-15 可靠的眼镜式设备和方法 Active CN111448502B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17205836.4A EP3495936A1 (de) 2017-12-07 2017-12-07 Sichere brillenartige vorrichtung und verfahren
EP17205836.4 2017-12-07
PCT/EP2018/081315 WO2019110263A1 (de) 2017-12-07 2018-11-15 Sichere brillenartige vorrichtung und verfahren

Publications (2)

Publication Number Publication Date
CN111448502A CN111448502A (zh) 2020-07-24
CN111448502B true CN111448502B (zh) 2022-02-08

Family

ID=60673460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880078815.8A Active CN111448502B (zh) 2017-12-07 2018-11-15 可靠的眼镜式设备和方法

Country Status (4)

Country Link
US (1) US11237395B2 (zh)
EP (2) EP3495936A1 (zh)
CN (1) CN111448502B (zh)
WO (1) WO2019110263A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020103885A1 (de) 2020-02-14 2021-08-19 " SWMS Systemtechnik Ingenieurgesellschaft mbH " Verfahren zur Steuerung mindestens einer Bearbeitungsvorrichtung durch einen Nutzer
JP7381729B2 (ja) * 2020-04-27 2023-11-15 ファナック株式会社 産業機械の表示装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19625028C1 (de) 1996-06-22 1997-11-20 Frank Andrich Brillenartige Vorrichtung zur Einblendung von Zusatzinformationen in den Sichtbereich
DE102009049073A1 (de) 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
KR101824501B1 (ko) * 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
EP2843507A1 (en) 2013-08-26 2015-03-04 Thomson Licensing Display method through a head mounted device
WO2015072997A1 (en) * 2013-11-14 2015-05-21 Empire Technology Development, Llc Reduction of glare in augmented reality
CN104808774B (zh) 2014-01-24 2017-12-05 北京奇虎科技有限公司 判断头戴式智能设备操作有效性的装置和方法
US10152119B2 (en) * 2014-12-11 2018-12-11 Htc Corporation Head-mounted display apparatus and calibration method thereof
IL237235B (en) * 2015-02-11 2019-08-29 Friedlander Yehudah A system for analyzing power consumption
JP6404985B1 (ja) * 2017-04-07 2018-10-17 ファナック株式会社 距離画像の異常を検出する撮像装置

Also Published As

Publication number Publication date
EP3679417B1 (de) 2024-05-01
US11237395B2 (en) 2022-02-01
CN111448502A (zh) 2020-07-24
WO2019110263A1 (de) 2019-06-13
EP3679417C0 (de) 2024-05-01
US20210181507A1 (en) 2021-06-17
EP3495936A1 (de) 2019-06-12
EP3679417A1 (de) 2020-07-15

Similar Documents

Publication Publication Date Title
Marner et al. Improving procedural task performance with augmented reality annotations
EP3469458B1 (en) Six dof mixed reality input by fusing inertial handheld controller with hand tracking
US20210170603A1 (en) Method for using a multi-link actuated mechanism, preferably a robot, particularly preferably an articulated robot, by a user by means of a mobile display apparatus
EP3605279A1 (en) Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance
US20100177035A1 (en) Mobile Computing Device With A Virtual Keyboard
CN111448502B (zh) 可靠的眼镜式设备和方法
EP2741171A1 (en) Method, human-machine interface and vehicle
EP3224681B1 (en) System for virtual commissioning
US20220155881A1 (en) Sensing movement of a hand-held controller
JP2017094466A (ja) ロボットモニタシステム
Shu et al. Human-robot collaboration: Task sharing through virtual reality
JP2016110177A (ja) 3次元入力装置及び入力システム
JP2014065060A (ja) 支援システム及びその方法
JP6657858B2 (ja) ロボット操作システム
US20180165853A1 (en) Head-mounted display apparatus and virtual object display system
JP6470323B2 (ja) 情報表示システム
US20150286975A1 (en) Process support system and method
JP2010205031A (ja) 入力位置特定方法、入力位置特定システムおよび入力位置特定用プログラム
KR102415427B1 (ko) 햅틱 기술을 이용한 로봇의 후가공 시스템 및 이의 제어방법
JP7476128B2 (ja) 表示システムおよび表示装置
Zaeh et al. Safety aspects in a human-robot interaction scenario: a human worker is co-operating with an industrial robot
WO2020012997A1 (ja) 情報処理装置、プログラム及び情報処理方法
JP2020069538A (ja) 表示システム、及び、表示システムの制御方法
KR102377988B1 (ko) 로봇과의 협업 보조 방법 및 장치
US20230359026A1 (en) Housing for a Manufacturing Machine and/or a Part of a Production Line and System for Open-Loop and/or Closed-Loop Control of a Production Facility

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant