CN111722401A - 显示装置、显示控制方法以及显示系统 - Google Patents

显示装置、显示控制方法以及显示系统 Download PDF

Info

Publication number
CN111722401A
CN111722401A CN202010102688.XA CN202010102688A CN111722401A CN 111722401 A CN111722401 A CN 111722401A CN 202010102688 A CN202010102688 A CN 202010102688A CN 111722401 A CN111722401 A CN 111722401A
Authority
CN
China
Prior art keywords
work
display
user
unit
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010102688.XA
Other languages
English (en)
Inventor
山崎航史
大野千代
山本将史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN111722401A publication Critical patent/CN111722401A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供显示装置、显示控制方法以及显示系统。抑制作业对象物的可视性的降低。显示装置的特征在于，具备：显示部，其使周围的景色透射，并且显示作业辅助信息；传感器组，其至少包括拍摄用户的视线方向的拍摄部；作业状态判定部，其根据来自上述传感器组的输出，判定上述用户的作业状态；以及显示控制部，其根据判定出的上述用户的上述作业状态，变更上述显示部的上述作业辅助信息的显示。

Description

显示装置、显示控制方法以及显示系统
技术领域
本发明涉及显示装置、显示控制方法以及显示系统。
背景技术
用户佩戴于头部的所谓智能眼镜等透射式HMD(Head Mounted Display：头戴式显示器)被用于工厂、机器维护等中的作业辅助的目的。一般来说，佩戴了透射式HMD的用户在经由画面观察真实存在的作业对象物的同时参照显示于透射式的画面的作业辅助信息(作业部位、作业顺序等)。由此，用户能够不从真实存在的作业对象物大幅地移开视线地进行各种作业。
然而，在透射式HMD搭载有使用加速度传感器、陀螺仪传感器等传感器检测用户的视线方向、位置的功能。利用该功能，能够在透射式的画面显示作业辅助信息时，调整其显示位置。
例如，专利文献1中记载了“一种信息显示系统，具有透射式头戴式显示器，该透射式头戴式显示器具备：显示/投影部，其在虚拟屏幕上与外景重叠地显示绘图对象；以及检测部，其检测用于确定出上述虚拟屏幕相对于外景的的位置以及/或者角度的信息，在上述信息显示系统中，控制上述透射式头戴式显示器的控制部具备：绘图对象生成部，其基于由应用作成的数据生成绘图对象，参照上述检测部检测到的信息，设定上述绘图对象在上述虚拟屏幕上的描绘位置；以及描绘处理部，其控制上述显示/投影部，将上述绘图对象描绘在上述虚拟屏幕上的上述描绘位置，上述绘图对象生成部对于各个绘图对象，根据预先决定的规则设定描绘优先度，上述描绘处理部在上述描绘优先度不同的多个绘图对象的上述描绘位置重叠的情况下，优先描绘上述描绘优先度更高的绘图对象”。
根据专利文献1所记载的透射式HMD，用户能够在观察没有干扰地显示于画面上的多个信息的同时进行作业。然而，实际上，显示在画面上的信息只不是预先通过统一的条件定义显示位置、显示内容。因此，例如，在使作业部位、作业内容与真实存在的对象物重叠显示的情况下，在作业前确认作业部位时，该显示起作用，但在作业中该显示成为障碍而导致对象物的可视性降低。
另外，在该透射式HMD中，能够根据来自用户的UI(User Interface：用户界面)操作变更信息的显示位置。然而，不一定用户总是能够进行UI操作。例如，在采用声音操作作为UI操作的情况，若作业现场的噪声较大，则声音操作的识别率降低。另外，在采用手势操作、开关操作等作为UI操作的情况下，在用户正握着工具等时不能进行UI操作。
另外，若每次作业状态改变都需要用户进行UI操作，则用户的便利性降低。
现有技术文献
专利文献
专利文献1：日本特开2015-115034号公报
发明内容
本发明是鉴于这样的状况而完成的，其目的在于，能够抑制作业对象物的可视性的降低。
本申请包括多个解决上述课题的至少一部分的手段，但若举例说明，则如下。
为了解决上述课题，本发明的一方式的显示装置的特征在于，具备：显示部，其使周围的景色透射，并且显示作业辅助信息；传感器组，其至少包括拍摄用户的视线方向的拍摄部；作业状态判定部，其根据来自上述传感器组的输出，判定上述用户的作业状态；以及显示控制部，其根据判定出的上述用户的上述作业状态，变更上述显示部中的上述作业辅助信息的显示。
发明效果
根据本发明的一方式，能够抑制作业对象物的可视性的降低。
通过以下的实施方式的说明使除了上述以外的课题、构成以及效果更清楚。
附图说明
图1是表示本发明的第一实施方式的显示装置100的一个例子的外观图。
图2是表示显示装置100的构成例的功能框图。
图3是表示本发明的第二实施方式的显示系统120的构成例的图。
图4是表示构成显示系统120的信息处理装置122的构成例的功能框图。
图5是表示本发明的第3实施方式的显示系统130的构成例的图。
图6是表示构成显示系统130的信息处理装置131的构成例的功能框图。
图7是表示本发明的第4实施方式的显示系统140的构成例的图。
图8是表示构成显示系统140的服务器装置142的构成例的功能框图。
图9是对显示处理的一个例子进行说明的流程图。
图10是详细描述作业状态判定处理的例子的流程图。
图11的(A)～图11的(D)是表示拍摄用户的视野得到的图像数据的例子的图，图11的(A)是表示作业前的状态的一个例子的图，图11的(B)是表示作业前的状态的一个例子的图，图11的(C)是表示作业中的状态的一个例子的图，图11的(D)是表示未作业的状态的一个例子的图。
图12的(A)～图12的(D)是表示作业辅助信息的显示例的图，图12的(A)是表示作业前的显示例的图，图12的(B)是表示作业中的以往的显示例的图，图12的(C)是表示作业中的第一显示例的图，图12的(D)是表示作业中的第二显示例的图。
附图标记说明
100…显示装置，101…眼镜型框架，102…传感器组，103L、103R…显示部，104…光源部，105…操作部，106…声音输入输出部，107…通信部，109…电源部，110…信息处理部，111…控制部，112…通信部，113…存储部，114…AI引擎组，120…显示系统，121…显示装置，122…信息处理装置，130…显示系统，131…信息处理装置，132…外部传感器组，140…显示系统，141…网络，142…服务器装置，501…图像数据，502…移动范围，503…作业对象物，504…手，511…作业部位，512…作业内容，513…作业对象物图像，1021…第一拍摄部，1022…第二拍摄部，1023…惯性计测部，1024…环境计测部，1025…生命体征计测部，1026…位置计测部，1111…认证部，1112…内容管理部，1113…作业状态判定部，1114…显示控制部，1115…外部传感器组管理部，1116…加密处理部，1321…可穿戴式传感器，1322…位置传感器，1323…照相机。
具体实施方式
以下，基于附图对本发明的多个实施方式进行说明。此外，在用于说明各实施方式的所有附图中，原则上，对相同的部件标注相同的附图标记，省略其反复的说明。另外，在以下的实施方式中，在除了特别明示的情况以及原理上清楚认为必须的情况等以外，其构成要素(也包括要素步骤等)当然不一定是必须。另外，说到“由A构成”、“由A形成”、“具有A”、“包括A”时，除了特别明示仅是该要素的情况以外，当然不排除除此以外的要素。相同地，在以下的实施方式中，在提及构成要素等的形状、位置关系等时，除了特别明示的情况以及认为原理上明显不是这样的情况等，实际上包括与其形状等近似或者类似的形状、位置关系等。
<本发明的第一实施方式的显示装置100的构成例>
图1是表示本发明的第一实施方式的显示装置100的一个例子的外观图。图2示出显示装置100的功能模块的构成例。
该显示装置100是用户佩戴于头部的眼镜型透射式HMD。但是，显示装置100的形状并不局限于眼镜型，也可以是护目镜型、头盔型。显示装置100例如在用户进行工厂作业、机器维护作业等作业时佩戴，显示用于作业辅助的信息。
显示装置100在眼镜型框架101的表面或者内部具备传感器组102、显示部103L、103R、光源部104、操作部105、声音输入输出部106、电源部109、以及信息处理部110。
传感器组102配置于例如眼镜型框架101的正面的中央。如图2所示，传感器组102包括第一拍摄部1021、第二拍摄部1022、惯性计测部1023、环境计测部1024、生命体征计测部1025、位置计测部1026等各种传感器，并将检测结果输出到信息处理部110。此外，传感器组102的配置并不局限于眼镜型框架101的中央，也可以配置于其他的位置。
第一拍摄部1021由照相机等构成，将用户的视野作为拍摄对象拍摄出静止图像、动态图像。第二拍摄部1022由全方位照相机等构成，将包括用户自身的周围环境作为拍摄对象拍摄出静止图像、动态图像。由第二拍摄部1022拍摄到的静止图像、动态图像被用于用户的视线检测。第一拍摄部1021以及第二拍摄部1022相当于本发明的拍摄部。
惯性计测部1023由加速度传感器、陀螺仪传感器等传感器构成，检测用户的头部的运动。该信息被用于用户的视线方向、视线位置的推断。
环境计测部1024由照度计、温度计、湿度计、麦克风等传感器构成，获取与用户的周围环境有关的信息。
生命体征计测部1025由心率仪、体温计、血压计、脉搏计、脑电波计等传感器构成，获取用户的身体信息。该信息被用于用户的身体情况、感情的推断。
位置计测部1026由地磁传感器、GPS(Global Positioning System：全球定位系统)传感器等传感器构成，获取用户的当前位置。
显示部103L、103R分别配置于用户的左眼或者右眼的正面，使用户的周围的景色透射，并且显示作业辅助信息。因此，用户能够在视觉确认从显示部103L、103R透射的周围的景色的同时确认显示于显示部103L、103R的作业辅助信息。但是，显示部103L、103R也可以仅设置其一方，而省略另一方。
光源部104例如配置于眼镜型框架101的正面的左右端，对于用户的视野照射照明光。通过将光源部104配置在眼镜型框架101的正面的左右端，能够将照明光照射到较广的范围。但是，光源部104的数量、配置并不局限于图示的例子，也可以任意变更。
操作部105例如配置于眼镜型框架101的镜脚。操作部105由开关、拨号盘等构成，例如，受理来自进行电源的通/断、显示亮度调整、输出音量调整等的用户的操作。
声音输入输出部106例如配置于眼镜型框架101的镜脚。声音输入输出部106由麦克风、扬声器等构成。声音输入输出部106获取例如用户的说话声音，或输出预定的声音。也可以对由声音输入输出部106获取到的用户的说话声音进行声音识别，并用于基于声音的操作。
电源部109由蓄电池或者与外部的AC适配器连接的电源接口构成。电源部109向显示装置100的各部供给电力。
如图2所示，信息处理部110具有控制部111、通信部112、存储部113、以及AI引擎组114。
控制部111例如通过CPU(Central Processing Unit：中央处理装置)执行预定的程序而实现。控制部111控制显示装置100整体。控制部111具有认证部1111、内容管理部1112、作业状态判定部1113以及显示控制部1114的各功能模块。
认证部1111执行显示装置100与其他的装置连接时的个人认证处理、机器认证处理、服务认证处理等。内容管理部1112管理用于通过在作业辅助时执行而显示用于作业辅助的信息的内容。
作业状态判定部1113根据通过传感器组102检测到的传感检测结果，使用AI引擎组114判定用户的作业状态。显示控制部1114根据用于进行作业辅助的显示的内容，生成作业辅助信息。另外，显示控制部1114使生成的作业辅助信息显示于显示部103L、103R。此外，作业辅助信息包括作业部位511、以及作业内容512(均参照图12)的至少一方。
通信部112例如由与Ethernet、Wi-Fi、蓝牙(Bluetooth)、LPWA(Low-Power WideArea：低功耗广域)、USB(Universal Serial Bus：通用串行总线)(均是商标)等中的至少一个通信方式对应的通信模块构成，通过有线或者无线与其他的装置连接并对预定的信息进行通信。
存储部113由半导体存储器等存储装置构成。存储部113例如存储有各种程序、认证信息、内容等。AI引擎组114使用通过机器学习、深度学习而学习到的结果的参数、阈值，推测并判断各种现象。此外，AI引擎组114既可以通过硬件实现，也可以通过CPU执行预定的程序来实现。并且，AI引擎组114也可以作为控制部111的功能模块实现。
<本发明的第二实施方式的显示系统120的构成例>
接下来，图3示出本发明的第二实施方式的显示系统120的构成例。
该显示系统120具备显示装置121以及信息处理装置122。显示装置121从显示装置100(图1)省略信息处理部110，追加了通信部107。显示装置121使用通信部107与信息处理装置122通过有线或者无线连接，对预定的信息进行通信。通信部107的通信方式任意，但例如能够采用Ethernet、Wi-Fi、蓝牙(Bluetooth)、LPWA、USB等。
接下来，图4示出显示系统120中的信息处理装置122的功能模块的构成例。
信息处理装置122例如由智能手机、平板电脑等通常的计算机构成。信息处理装置122具有与显示装置100(图1)的信息处理部110相同的功能，如图4所示，具备与信息处理部110(图2)相同的功能模块。此外，对信息处理装置122的各功能模块标注与信息处理部110的对应的功能模块共用的附图标记，并省略其说明。
根据显示系统120，将显示装置121和信息处理装置122分离，所以与显示装置100相比，能够实现显示装置121的小型轻型，能够使用户的佩戴感提高。另外，例如，在显示装置121和显示装置100搭载有同容量的蓄电池的情况下，通信部107与显示装置100的信息处理部110相比消耗的电力较小，所以与显示装置100相比能够实现驱动时间的延长。
<本发明的第三实施方式的显示系统130的构成例>
接下来，图5示出本发明的第三实施方式的显示系统130的构成例。
该显示系统130具备显示装置121、信息处理装置131以及外部传感器组132。显示装置121与显示系统120(图3)的显示装置121相同。显示系统130中的显示装置121使用通信部107与信息处理装置131、外部传感器组132通过有线或者无线连接，对预定的信息进行通信。
信息处理装置131除了与显示装置100的信息处理部110(图2)相同的功能以外，还具有管理外部传感器组132的功能。
如图5所示，外部传感器组132包括可穿戴式传感器1321、位置传感器1322以及照相机1323等，将各个检测结果输出到信息处理装置131。可穿戴式传感器1321佩戴于用户，检测用户的动作、生命体征信息(心跳、体温、血压、脉搏、脑电波等)。位置传感器1322检测该显示系统130的位置信息。照相机1323拍摄显示系统130的周围。通过外部传感器组132得到的检测结果被用于用户的身体状况、感情、视线、姿势、位置等的推断。此外，通过外部传感器组132得到的检测结果也可以经由显示装置121输出到信息处理装置131。
接下来，图6示出显示系统130中的信息处理装置131的功能模块的构成例。
信息处理装置131例如由个人计算机等通常的计算机构成。如上所述，信息处理装置131具有与显示装置100的信息处理部110相同的功能，如图6所示，追加到与信息处理部110(图2)相同的功能块，具备外部传感器组管理部1115。此外，对信息处理装置131的各功能块标注与信息处理部110的对应的功能模块共用的附图标记，省略其说明。外部传感器组管理部1115与外部传感器组132连接，控制外部传感器组132，获取检测结果。
根据显示系统130，能够得到与显示系统120相同的效果。另外，根据显示系统130，也使用通过外部传感器组132得到的检测结果，所以能够更准确地判定用户的视线、作业状态，能够更适当地显示用于作业辅助的显示。
此外，也可以在信息处理装置131的处理能力比信息处理装置122(图4)高的情况下，对于信息处理装置131同时连接多个显示装置121，使各显示装置121显示与各用户的作业状态对应的不同的信息。
<本发明的第四实施方式的显示系统140的构成例>
接下来，图7示出本发明的第四实施方式的显示系统140的构成例。
该显示系统140具备显示装置121、信息处理装置131、以及服务器装置142。显示装置121与显示系统120(图3)的显示装置121相同。显示系统140中的显示装置121使用通信部107通过有线或者无线与网络141连接，与网络141上的服务器装置142通信预定的信息。
网络141是LAN(Local Area Network：局域网)、WAN(Wide Area Network)、移动电话通信网、因特网等双向通信网。
服务器装置142具有与显示装置100的信息处理部110(图2)相同的功能。
接下来，图8示出显示系统140中的服务器装置142的功能模块的构成例。
服务器装置142由例如服务器计算机等通常的计算机构成。如上所述，服务器装置142具有与显示装置100的信息处理部110相同的功能，如图8所示，追加到与信息处理部110(图2)相同的功能模块，具备加密处理部1116。此外，对信息处理装置131的各功能模块标注与信息处理部110的对应的功能模块共用的附图标记，并省略其说明。加密处理部1116进行针对经由网络141与显示装置121通信的信息的加密以及解密。
根据显示系统140，能够得到与显示系统120相同的效果。另外，显示系统140能够对显示装置121与服务器装置142的通信进行加密，所以能够抑制显示装置121与服务器装置142的通信内容的泄漏。因此，能够使显示装置121显示对其他人来说应该是秘密的信息。
此外，也可以对服务器装置142同时连接多个显示装置121，对于各显示装置121显示与各用户的作业状态对应的不同的作业辅助信息。
此外，上述的显示装置100、显示系统120、130、140中的各装置的功能分担并不局限于图示的例子，能够适当地变更。
<显示处理>
接下来，参照图9～图12对显示装置100(图1)、显示系统120(图3)、130(图5)、140(图7)的显示处理进行说明。
图9是对显示处理的一个例子进行说明的流程图。图10是详细说明显示处理中的步骤S2的作业状态判定处理的一个例子的流程图。图11示出拍摄用户的视野得到的图像数据的例子，该图(A)示出“未作业”的状态，该图(B)示出“未作业”的状态，该图(C)示出“作业前”的状态，该图(D)示出“作业中”状态的图像数据的例子。图12示出作业辅助信息的显示例，该图(A)示出“作业前”的显示例，该图(B)示出以往的“作业中”的显示例，该图(C)示出本实施方式的“作业中”的第一显示例，该图(D)示出本实施方式的“作业中”的第二显示例。
该显示处理是用于辅助例如在作为作业对象物的电子基板上焊接电子部件这样的作业的处理。具体而言，通过在用户经由显示部103L、103R看到的与电子基板重叠的位置上显示表示焊接的位置和顺序的作业部位511(图12)、作业内容512(图12)作为作业辅助信息，来辅助用户的作业。
该显示处理根据例如来自用户的针对操作部105的预定的开始操作而执行。
首先，内容管理部1112从存储部113获取与自此以后进行的作业对应的内容。而且，显示控制部1114根据获取到的内容生成用于辅助用户的作业的作业辅助信息(步骤S1)。接下来，作业状态判定部1113执行判定用户所进行的当前的作业状态的作业状态判定处理(步骤S2)。
参照图10对步骤S2的作业状态判定处理进行说明。首先，作业状态判定部1113获取通过第一拍摄部1021拍摄用户的视野方向而得到的图像数据501(步骤S11)。
接下来，作业状态判定部1113对于在步骤S11获取到的图像数据501使用AI引擎组114进行图像识别处理，判定图像数据501中是否拍摄到作业对象物503(当前的情况为电子基板)(步骤S12)。这里，例如图11的(A)所示，在判定为图像数据501中未拍摄到作业对象物503的情况下(步骤S12为否)，作业状态判定部1113将作业状态判定为“未作业”(步骤S15)。
相反，在判定为图像数据501中拍摄到作业对象物503的情况下(步骤S12为是)，作业状态判定部1113在预定的时间量(例如，数秒期间)获取由第二拍摄部1022拍摄到的图像数据，使用AI引擎组114进行图像识别处理，检测用户的视线的移动范围502(步骤S13)。接下来，作业状态判定部1113判定用户的视线的移动范围502的尺寸是否小于预定的阈值(步骤S14)。这里，例如如图11的(B)所示，在判定为用户的视线的移动范围502的尺寸不小于预定的阈值的情况，即，用户的视线大幅移动而未关注作业对象物503的情况(步骤S14为否)，作业状态判定部1113将作业状态判定为“未作业”(步骤S15)。
相反，在判定为用户的视线的移动范围502的尺寸小于预定的阈值的情况，即，用户关注作业对象物503的情况下(步骤S14为是)，作业状态判定部1113再次获取由第一拍摄部1021拍摄用户的视野方向得到的图像数据501(步骤S16)。
接下来，作业状态判定部1113对于在步骤S16中获取到的图像数据501使用AI引擎组114进行图像识别处理，判定图像数据501中是否拍摄到用户的手504(步骤S11)。这里，例如如图11的(C)所示，在判定为图像数据501中未拍摄到用户的手504的情况下(步骤S17为否)，作业状态判定部1113将作业状态判定为“作业前”(步骤S18)。
另一方面，例如如图11的(D)所示，在判定为图像数据501中拍摄到用户的手504的情况下(步骤S17为是)，作业状态判定部1113将作业状态判定为“作业中”(步骤S19)。
如以上那样判定出用户的作业状态后，处理进行到图9的步骤S3。
此外，也可以在上述的作业状态判定处理中，根据由第一拍摄部1021、以及第二拍摄部1022拍摄到的图像数据，检测作业对象物或用户的手的有无、用户的视线，基于检测判定作业状态，但也可以使用其他的传感器输出。
例如，也可以通过使用惯性计测部1023的输出检测用户的头部的动作或步行的有无，代替视线数据，在头部的动作量为阈值以上的情况、用户步行中判定为“未作业”状态。另外，例如，也可以通过位置计测部1026获取用户的位置信息，在位于预定的正确的作业场所的情况下判定为“作业中”。另外，例如，也可以由传感器获取用户的显示装置100等的佩戴状态，在显示装置100等未佩戴于正确的位置的情况下(显示装置100等在视野外)，判定为“未作业”状态。另外，并且，也可以使用多个传感器的输出获取用户的状态以及周围的环境信息。
另外，在上述的作业状态判定处理中，判定用户的作业状态是“作业前”、“作业中”、“未作业”这3种的哪一个，但也可以追加“作业后”而判定是4种的哪一个。该情况下，例如，通过AI引擎组114所进行的图像数据501的图像识别处理，在“作业中”的状态后，用户的手从图像数据501消失的情况下判定为“作业后”即可。
返回图9。接下来，显示控制部1114确认步骤S2中的判定结果是否是“未作业”(步骤S3)。这里，在确认判定结果为“未作业”的情况下(步骤S3为是)，显示控制部1114使作业辅助信息(作业部位511以及作业内容512)非显示(步骤S4)。该情况下，成为用户经由显示装置100等显示部103L、103R看到周围的景色的状态。然后，处理返回步骤S2，反复进行其以后的处理。
相反，在确认判定结果不是“未作业”的情况，即，确认判定结果为“作业前”或者“作业中”的情况下(步骤S3为否)，显示控制部1114确认步骤S2中的判定结果是否是“作业前”(步骤S5)。这里，在确认判定结果为“作业前”的情况下(步骤S5为是)，显示控制部1114获取图像数据501中的作业对象物503的位置(步骤S6)。而且，例如图12的(A)所示，显示控制部1114在显示部103L、103R显示作业辅助信息(重叠显示作业辅助信息)(步骤S7)，使得在作业对象物503上重叠作业部位511来作为作业辅助信息。然后，处理返回步骤S2，反复进行其以后的处理。
另外，在确认判定结果不是“作业前”的情况，即，确认判定结果是“作业中”的情况下(步骤S5为否)，显示控制部1114获取图像数据501中的包含作业对象物503以及用户的手504的预定尺寸的作业区域的位置(步骤S8)。此外，作业区域的尺寸既可以各用户共用，也可以每个用户预先设定。而且，例如如图12的(C)所示，显示控制部1114以作业区域不重叠有作业辅助信息的方式在显示部103L、103R显示作业辅助信息(使作业辅助信息非重叠显示)(步骤S9)。但是，关于用于指示作业部位的箭头、线，用于提高作业性，所以也可以针对作业对象物503重叠显示。然后，处理返回步骤S2，反复进行其以后的处理。
此外，也可以代替图12的(C)所示的“作业中”的显示例，如图12的(D)所示，在不与作业区域重叠的位置显示作业对象物图像513、作业部位511以及作业内容512。
根据上述的显示处理，与例如如图12的(B)所示，对于作业对象物503重叠显示有作业部位511，对于用户的手504重叠显示作业内容512的以往的“作业中”的显示相比，能够不损害用户的作业性、可视性地辅助用户的作业。
<变形例>
在上述的显示处理中，在“作业前”重叠显示作业辅助信息，“作业中”使作业辅助信息非重叠显示。然而，根据用户的熟练度，有不需要“作业中”的作业辅助信息的情况。因此，作为显示处理的变形例，例如，也可以在“作业前”重叠显示作业辅助信息，在“作业中”使作业辅助信息非显示。或者，也可以在“作业前”使作业辅助信息非重叠显示，在“作业中”使作业辅助信息重叠显示。
并且，在作为作业状态追加了“作业后”的情况下，也可以在“作业中”使作业辅助信息非重叠显示以确保可视性，在“作业后”使作业辅助信息重叠显示，以使用户能够容易地视觉确认作业状态。
此外，关于用户的熟练度，既可以作为用户信息预先登录，也可以由AI引擎组114对拍摄作业的情形而得到的图像数据进行解析并判定。该情况下，AI引擎组114相当于本发明的熟练度判定部。用户信息中除了用户的熟练度以外，还可以记录有作业区域的尺寸、用户专用的作业辅助信息(例如，使作业部位511与实际的作业部位相比偏移预定的距离等的信息)。
另外，也可以在“作业前”放大作业辅助信息的文字、图，或者细化说明内容，并且为了确保对于作业对象物503的可视性，而在“作业中”缩小作业辅助信息的文字、图，或者简化说明内容。
另外，也可以根据由第一拍摄部1021获取到的图像数据的分辨率，决定是重叠显示还是非重叠显示。
此外，在本实施方式中，以能够佩戴于用户的显示装置100等为例进行了说明，但本发明例如能够应用于安装于施工车辆等的HUD(Head Up Display：抬头显示器)。该情况下，从安装于施工车辆、操作施工车辆的作业者的传感器判定作业状态，使对于HUD的显示位置、显示内容最佳化即可。
本发明不局限于上述的实施方式、变形例，还包含有各种变形例。例如，上述的各实施方式是为了以容易理解的方式说明本发明而详细描述的内容，本发明不必局限于具备所有已描述的构成要素。另外，能够将某实施方式的构成的一部分置换成其他的实施方式的构成，也能够对某实施方式的构成添加其他的实施方式的构成。另外，能够对各实施方式的构成的一部分进行其他的构成的追加、删除、置换。
本发明不仅是显示装置、显示控制方法、以及显示系统，也能够以计算机可读取的程序等各种形式提供。

Claims (12)

1.一种显示装置，其特征在于，具备：
显示部，其使周围的景色透射，并且显示作业辅助信息；
传感器组，其至少包括拍摄用户的视线方向的拍摄部；
作业状态判定部，其根据来自上述传感器组的输出，判定上述用户的作业状态；以及
显示控制部，其根据判定出的上述用户的上述作业状态，变更上述显示部的上述作业辅助信息的显示。
2.根据权利要求1所述的显示装置，其特征在于，
上述显示控制部根据判定出的上述用户的上述作业状态，使上述作业辅助信息与从上述显示部透射的作业对象物重叠显示或者非重叠显示。
3.根据权利要求2所述的显示装置，其特征在于，
上述显示控制部根据判定出的上述用户的上述作业状态，使上述作业辅助信息与包括从上述显示部透射的作业对象物以及上述用户的手的作业区域重叠显示或者非重叠显示。
4.根据权利要求3所述的显示装置，其特征在于，
上述作业状态判定部根据来自上述传感器组的输出，判定上述用户的作业状态是“未作业”、“作业前”、还是“作业中”，
上述显示控制部：
在判定为上述用户的上述作业状态是上述“作业前”的情况下，使上述作业辅助信息与从上述显示部透射的作业对象物重叠显示，
在判定为上述用户的上述作业状态是上述“作业中”的情况下，使上述作业辅助信息与上述作业区域非重叠显示。
5.根据权利要求3所述的显示装置，其特征在于，
上述作业状态判定部根据来自上述传感器组的输出，判定上述用户的作业状态是“未作业”、“作业前”还是“作业中”，
上述显示控制部：
在判定为上述用户的上述作业状态是上述“作业前”的情况下，使上述作业辅助信息与从上述显示部透射的作业对象物非重叠显示，
在判定为上述用户的上述作业状态是上述“作业中”的情况下，使上述作业辅助信息与上述作业区域重叠显示。
6.根据权利要求1所述的显示装置，其特征在于，
上述显示控制部根据判定出的上述用户的上述作业状态，使作为上述作业辅助信息的作业部位以及作业内容的至少一方重叠显示或者非重叠显示。
7.根据权利要求1所述的显示装置，其特征在于，
上述显示控制部根据判定出的上述用户的上述作业状态，使上述显示部的上述作业辅助信息显示或者非显示。
8.根据权利要求1所述的显示装置，其特征在于，
上述显示控制部基于判定出的上述用户的上述作业状态以及用户信息，变更上述显示部的上述作业辅助信息的显示。
9.根据权利要求8所述的显示装置，其特征在于，
上述显示控制部基于判定出的上述用户的上述作业状态以及作为上述用户信息的熟练度，变更上述显示部的上述作业辅助信息的显示。
10.根据权利要求9所述的显示装置，其特征在于，
该显示装置具备：熟练度判定部，其判定上述用户的上述熟练度。
11.一种显示控制方法，是显示装置进行的显示控制方法，其特征在于，包括：
作业状态判定步骤，根据来自传感器组的输出判定用户的作业状态，上述传感器组至少包括拍摄上述用户的视线方向的拍摄部；以及
变更步骤，根据判定出的上述用户的上述作业状态，变更使周围的景色透射并且显示作业辅助信息的显示部的上述作业辅助信息的显示。
12.一种显示系统，其特征在于，具备：
显示装置，其使周围的景色透射，并且显示作业辅助信息；
传感器组，其至少包括拍摄用户的视线方向的拍摄部；以及
信息处理装置，其根据来自上述传感器组的输出，控制上述显示装置的显示，
上述信息处理装置具有：
作业状态判定部，其根据来自上述传感器组的输出，判定上述用户的作业状态；以及
显示控制部，其根据判定出的上述用户的上述作业状态，变更上述显示装置的上述作业辅助信息的显示。
CN202010102688.XA 2019-03-19 2020-02-19 显示装置、显示控制方法以及显示系统 Pending CN111722401A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019051286A JP7078568B2 (ja) 2019-03-19 2019-03-19 表示装置、表示制御方法、及び表示システム
JP2019-051286 2019-03-19

Publications (1)

Publication Number Publication Date
CN111722401A true CN111722401A (zh) 2020-09-29

Family

ID=72515977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010102688.XA Pending CN111722401A (zh) 2019-03-19 2020-02-19 显示装置、显示控制方法以及显示系统

Country Status (3)

Country Link
US (1) US11137600B2 (zh)
JP (1) JP7078568B2 (zh)
CN (1) CN111722401A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7364530B2 (ja) * 2020-05-18 2023-10-18 トヨタ自動車株式会社 車両、情報処理装置、及び、方法
JP7347409B2 (ja) * 2020-12-28 2023-09-20 横河電機株式会社 装置、方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103869469A (zh) * 2012-12-13 2014-06-18 精工爱普生株式会社 头戴式显示装置、该装置的控制方法以及作业支援系统
US20170010662A1 (en) * 2015-07-07 2017-01-12 Seiko Epson Corporation Display device, control method for display device, and computer program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5201015B2 (ja) 2009-03-09 2013-06-05 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5983053B2 (ja) 2012-06-01 2016-08-31 コニカミノルタ株式会社 ガイダンス表示システム、ガイダンス表示装置、ガイダンス表示方法、およびガイダンス表示プログラム
JP5884816B2 (ja) 2013-12-16 2016-03-15 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
JP6312712B2 (ja) * 2014-01-15 2018-04-18 マクセル株式会社 情報表示端末、情報表示システム及び情報表示方法
JP6540108B2 (ja) * 2015-03-09 2019-07-10 富士通株式会社 画像生成方法、システム、装置、及び端末
CN107924585B (zh) 2015-08-25 2021-03-09 日铁系统集成株式会社 作业辅助装置、作业辅助方法以及存储介质
US20190161942A1 (en) * 2017-11-24 2019-05-30 Novatron Oy Controlling earthmoving machines

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103869469A (zh) * 2012-12-13 2014-06-18 精工爱普生株式会社 头戴式显示装置、该装置的控制方法以及作业支援系统
US20170010662A1 (en) * 2015-07-07 2017-01-12 Seiko Epson Corporation Display device, control method for display device, and computer program

Also Published As

Publication number Publication date
US11137600B2 (en) 2021-10-05
US20200301144A1 (en) 2020-09-24
JP2020154569A (ja) 2020-09-24
JP7078568B2 (ja) 2022-05-31

Similar Documents

Publication Publication Date Title
JP6179927B2 (ja) 遠隔行動誘導システム及びその処理方法
JP6307170B2 (ja) 虚像距離変更装置、虚像距離変更方法、プログラム
EP2978218B1 (en) Computer display device mounted on eyeglasses
US20170344112A1 (en) Gaze detection device
KR20160001178A (ko) 글래스 타입 단말기 및 이의 제어방법
CN111630477A (zh) 提供增强现实服务的设备及其操作方法
US11487354B2 (en) Information processing apparatus, information processing method, and program
CN108369476B (zh) 信息处理设备、信息处理方法和计算机可读介质
JP2018006914A (ja) 外部撮像システム、外部撮像方法、外部撮像プログラム
KR101580559B1 (ko) 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치
KR20180004112A (ko) 안경형 단말기 및 이의 제어방법
US20210264677A1 (en) Information processing apparatus, information processing method, and program
CN111722401A (zh) 显示装置、显示控制方法以及显示系统
US20160091717A1 (en) Head-mounted display system and operation method thereof
JP6507252B2 (ja) 機器操作装置、機器操作方法、及び電子機器システム
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP2010205031A (ja) 入力位置特定方法、入力位置特定システムおよび入力位置特定用プログラム
JP2017046233A (ja) 表示装置及び情報処理装置及びその制御方法
JP6319220B2 (ja) 透過型ウェアラブル端末、データ処理装置、及びデータ処理システム
WO2020071144A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11988901B2 (en) Two-eye tracking based on measurements from a pair of electronic contact lenses
CN114791673A (zh) 显示方法、显示装置以及记录介质
JP6738308B2 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
JP2019079469A (ja) 作業支援装置、作業支援方法、作業支援プログラム及び頭部搭載型表示装置
WO2024057783A1 (ja) ３６０度画像視点位置同定部を備える情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination