CN111614919B - 影像记录装置以及头戴式显示器 - Google Patents

Abstract

本发明提供一种影像记录装置以及头戴式显示器，不阻碍作业地用有限的存储区域等硬件资源高效地记录作业状况等。影像记录装置具备：照相机，其拍摄佩戴者的视野方向的影像；连接部，其与检测预定的环境信息的外部传感器能够通信地连接；阈值信息存储部，其存储表示环境信息的异常状态的阈值；判定部，其通过对外部传感器的检测信息与阈值进行比较，来输出异常判定信号；控制部，其根据异常判定信号向照相机输出预定的控制信号；以及显示部，其显示来自照相机以及外部传感器的输出信息，若输出了异常判定信号，则控制部输出将来自照相机的输出信息转发给预定的存储单元的控制信号。

Description

影像记录装置以及头戴式显示器

技术领域

本发明涉及影像记录装置以及头戴式显示器。

背景技术

作为本技术领域的背景技术，有专利文献1。该文献中记载有一种现场辅助系统，其将气体传感器搭载到HMD(Head Mounted Display：头戴式显示器)，通过与多个位置信息连动来确定气体的产生方向并通知给用户，将事故防患于未然。

专利文献1：日本特开2012－168683号公报

发明内容

在上述专利文献1所记载的技术中，并未考虑不阻碍作业地用有限的存储区域等硬件资源高效地记录作业状况等。

本发明的目的在于不阻碍作业地用有限的存储区域等硬件资源高效地记录作业状况等。

本申请包括多个解决上述课题的至少一部分的手段，但若举出其例子，则如以下所述。为了解决上述课题，本发明的一方式的影像记录装置具备：照相机，其拍摄佩戴者的视野方向的影像；连接部，其与检测预定的环境信息的外部传感器能够通信地连接；阈值信息存储部，其存储表示上述环境信息的异常状态的阈值；判定部，其通过对上述外部传感器的检测信息与上述阈值进行比较，来输出异常判定信号；控制部，其根据上述异常判定信号向上述照相机输出预定的控制信号；以及显示部，其显示来自上述照相机以及上述外部传感器的输出信息，若输出了上述异常判定信号，则上述控制部输出将来自上述照相机的输出信息转发给预定的存储单元的控制信号。

根据本发明，能够不阻碍作业地用有限的存储区域等硬件资源高效地记录作业状况等。根据以下的实施方式的说明，使上述的以外的课题、构成以及效果更清楚。

附图说明

图1是表示本发明的第一实施方式的影像记录装置的构成例的图。

图2是表示影像记录装置的其它构成例的图。

图3是表示佩戴影像记录装置时的外观的例子的图。

图4是表示头戴部的构造例的图。

图5是表示控制部的内部构造的例子的框图。

图6是表示图像处理部的内部构造的例子的框图。

图7是表示文本数据保持部的数据结构例的图。

图8是表示判定部的内部构造的例子的框图。

图9是表示阈值信息存储部的数据结构例的图。

图10是表示影像记录装置的使用状态的例子的图。

图11是表示HMD的显示画面的迁移例的图。

图12是表示监视处理的流程图的例子的图。

图13是表示外部传感器使用了可见光照相机的情况下的利用例的图。

图14是表示使用了外部传感器的文字识别时的HMD上的辅助显示例的图。

图15是表示工序监视处理的流程图的例子的图。

图16是表示外部传感器的收纳构造的例子的图。

图17是表示接触检测传感器的连接例的框图。

图18是表示检测佩戴者的视线方向的照相机的构成例的图。

图19是表示检测佩戴者的视线方向的照相机的构成例的图。

图20是表示面板作业的警报的显示例的图。

图21是表示使用加速度传感器的判定部的内部构造的例子的框图。

图22是表示加速度传感器的情况下的阈值信息存储部的数据结构的例子的图。

图23是表示使用TOF照相机的判定部的内部构造的例子的框图。

图24是表示降低分辨率的控制部的内部构造的例子的框图。

具体实施方式

以下，基于附图对本发明的实施方式进行说明。此外，在用于说明实施方式的所有附图中，原则上对相同的部件标注相同的符号，省略其反复的说明。另外，在以下的实施方式中，除了特别明示的情况以及原理上清楚认为是必须的情况等外，其构成要素(也包括要素步骤等)不一定是必须的。另外，在说到“由A构成”、“由A形成”、“具有A”、“包括A”时，除了特别明示仅是该要素的情况等外，不排除除此以外的要素。同样地，在以下的实施方式中，在提及构成要素等形状、位置关系等时，除了特别明示的情况以及原理上清楚认为不是那样的情况等外，实际上包括与其形状等近似或者类似等。

近年来，透射式HMD(Head Mounted Display，头戴式显示器)被产品化，利用于工厂等现场的作业辅助。透射式HMD是配置为使例如由玻璃、塑料等对于可见光接近透明的物质形成的透射式显示器与佩戴者的视线交叉，并能够不妨碍视野地提示信息的穿戴式计算机的一种。一般而言，佩戴了透射式HMD的用户能够通过一边观看自身的作业对象一边将与作业辅助相关的信息投影显示到透射式的虚拟画面，来进行作业顺序的确认、操作。

例如，如现有技术文献所示那样，从作业辅助进一步扩展，为了确认作业对象的设备的状态是否是正常动作，通过搭载于HMD的传感器检测周围状态，并将其数据反馈给用户的技术也成为可能。

另一方面，最近为了消除作业者的人为失误，另外，为了作业对象物的状态、适当的作业的监视，记录作业对象物、对象文字、作业人员的作业等的需求提高。作为获取现场的状况的手段，有搭载于HMD的照相机进行的影像记录，但为了记录全部的作业而存储容量是巨大的，存在HMD呈大型化的趋势。另外，因为运算负荷变重，所以存在HMD的电池的消耗增加而呈HMD的使用时间变短的趋势，两者都导致HMD的大型化，均不是优选的。另外，在作业现场是地下室等的情况下，也可能有与远程装置的通信困难的状况，也难以采用使用恒定地经由网络利用的云存储器等远程存储器的技术。

鉴于这样的状况，在HMD中取舍选择需要记录的信息，不使HMD的存储容量增加的手段是有效的。若由人进行该取舍选择的判断，则由于主观、人为失误等容易产生记录的遗漏。因此，不论人的判断，在客观上必要的状况下能进行通过搭载于HMD的照相机进行的影像记录很重要。

图1是表示本发明的第一实施方式的影像记录装置的构成例的图。影像记录装置1000被作为头戴式显示器而安装，但是并不局限于此，也可以作为所谓的智能手机、平板装置而安装。影像记录装置1000包括头戴部1和控制器2。头戴部1包括照相机11和显示部16。照相机11以预定的视场角获取可见光影像，由此能够获取动态图像以及静止图像。显示部16是例如由玻璃、塑料等对于可见光接近透明的物质形成的透射式显示器。即使显示部16配置为映入佩戴者的眼睛40的视场内，显示部16也不妨碍佩戴者的视野地穿透式地提示信息。

控制器2包括判定部12、阈值信息存储部13、存储单元14、控制部15、无线通信部17、以及I/F18。无线通信部17能够经由外部无线通信部100与网络连接的云服务器200进行远程通信。I/F18是能够与外部传感器3、麦克风30、遥控器31、以及扬声器32连接的连接部即输入接口。

外部传感器3获取到的周围的各种环境信息经由I/F18被输入到判定部12。判定部12进行与外部传感器3获取到的环境信息、阈值信息存储部13的数据对应的判定，并将与判定结果对应的控制信号即异常判定信号或者正常判定信号输出到控制部15。阈值信息存储部13针对外部传感器3获取的周围的各种环境信息存储有表示正常值的范围与异常值的范围的边界的阈值。

控制部15根据判定部12的输出信号向照相机11进行预定的命令。例如，该命令包括照相机11的启动、影像转发请求等。另外，控制部15根据判定部12的输出信号，将从照相机11获取到的静止图像或动态图像存储于存储单元14。存储单元14存储静止图像或者动态图像的数据。

控制部15根据照相机11的影像、作业信息、或外部传感器3的获取数据等生成图像，并输出到显示部16。

另外，控制部15根据从无线通信部17获取到的数据改写阈值信息存储部13的数据。另外，控制部15获取照相机11的影像、存储单元14的数据并输出到无线通信部17。

另外，控制部15在显示部16上不仅显示照相机11获取到的静止图像或者动态图像，还可以显示例如作业信息数据、对佩戴者的公知信息。作业信息数据例如包括作业工序、附图、过去的作业记录等。对佩戴者的公知信息也可以以变更HMD的参数时向用户进行通知为目的显示阈值信息存储部13的阈值的变更信息等信息。此时，显示部16对佩戴者显示用于确认是否可以变更的画面，进行用户确认变更或拒绝变更这样的对话型显示。

无线通信部17在与外部无线通信部100之间利用无线进行通信。作为通信标准，例如使用WiFi(注册商标)、Bluetooth(蓝牙，注册商标)。外部无线通信部100将从无线通信部17接收到的数据发送给云服务器200。云服务器200是远程管理者侧的信息处理装置，从远程管理者侧与佩戴的作业者的HMD连接，进行影像或声音的共享、设定值的变更、数据等的获取。外部无线通信部100从无线通信部17接收的数据既可以是照相机11的静止图像或者动态图像，也可以是外部传感器3获取到的环境信息。

另外，外部无线通信部100将从云服务器200接收到的数据发送给无线通信部17。在无线通信部17接收到的数据是阈值信息的变更的情况下，控制部15对阈值信息存储部13输出阈值信息并更新。

遥控器31是接受对HMD进行操作的指示的远程操作装置。例如，接受在显示部16中显示的选择项的光标移动、选择的指示。此外，遥控器31例如也可以是与外部传感器3一体化的结构。例如，在外部传感器3是近摄型照相机的情况下，也可以在其手柄设置几个硬件按钮用于输入操作。

图2是表示影像记录装置的其它的构成例的图。在该构成例中，外部传感器3具备外部无线通信部101。外部无线通信部101与图1所示的外部无线通信部100同样地，作为通信标准，例如使用WiFi、蓝牙。该情况下，控制部15将从外部传感器3经由外部无线通信部101、无线通信部17发送的数据输出到判定部12。通过采取这样的形式，即使外部传感器3经由有线、无线连接，也能够实现同样的功能。

图3是表示佩戴影像记录装置时的外观的例子的图。在作业辅助中，作业者400佩戴头盔的情况较多，所以示出了将影像记录装置1000连接于头盔的例子。

假设作业者400将头盔300佩戴于头部。在头盔300上设置有固定夹具310以及从固定夹具310延伸的可挠曲的柔性臂(flexible arm)320。柔性臂320与头戴部1连接，在预定的位置支承头戴部1。

头戴部1的照相机11被设置为与作业者400的眼睛40的视线方向大致平行，即朝向同一方向。控制器2组装于头盔300。头戴部1的显示部16被调整成相对于作业者400的眼睛40视线交叉，被柔性臂320支承。

如图3所示，头戴部1的支承由头戴部1的预定的二处或其以上的更多点进行。在一处的支承中，容易以该支承部为支点向多方向旋转，所以作业者400的眼睛40与显示部16的位置关系容易偏移。若位置发生偏移，则从作业者400来看产生影像的丢失或模糊，所以导致可视性的降低。若由二处以上的多点支承，则头戴部1难以旋转所以能够抑制可视性降低。

对于支承位置而言，与头戴部1的显示部16相对的端部、以及头戴部1折弯成L字的位置这二处有效。通过以这样的位置支承，能够不遮挡照相机11的视场，并且也能够避免对作业者400的眼睛40的视场造成影响。

外部传感器3假定作业者400拿在手里接近测定对象。因此，外部传感器3与头戴部1以及控制器2独立，经由有线或者无线的通信路径与控制器2的连接部即I/F18连接。此外，若是有线连接，则I/F18能够使用USB(Universal Serial Bus：通用串行总线)、AUX(Auxiliary)等各种有线通信标准。

外部传感器3例如能够使用温度传感器、湿度传感器、红外照相机、可见光照相机、TOF(Time of Flight：飞行时间)照相机、加速度传感器、放射剂量传感器、气体传感器等。在图3中示出了从控制器2通过有线与外部传感器3连接的例子，但也可以如图2那样使外部传感器3具备外部无线通信部101，通过无线通信与控制器2连接。

图4是表示头戴部1的构造例的图。头戴部1包括以大致L字型(严格来说可以不是直角)的方式连接在由树脂等形成的棒状的支承部件的前端的照相机11和显示部16。显示部16设置于作业者400的眼睛40的视线方向40′透过的位置。另外，照相机11设置为拍摄中心线与视线方向40′大致平行。但是并不局限于此，照相机11拍摄与视线方向40′大致平行的视野方向即可，例如也可以具备比人的眼睛更广的视场角。

图5是表示控制部的内部结构的例子的框图。控制部15包括作业信息存储部151、图像获取部152、图像处理部153、以及图像数据转发部154。

作业信息存储部151中存储有作业信息。作业信息是将作业分成预定的工序，并将成为与各个作业相关的要点的操作、重要的影像记录与确定应记录的定时的信息关联起来的信息，能够采取各种数据形式。作业信息存储部151根据来自图像处理部153的请求交接作业信息。另外，若从无线通信部17接受更新指示和作业信息，则作业信息存储部151更新作业信息。

图像获取部152根据判定部12的判定结果的信号，对照相机11进行图像转发请求来获取图像(包括静止图像、动态图像)。而且，图像获取部152将获取到的图像交接给图像处理部153。

图像处理部153在有图像获取部152获取到的图像数据的情况下使用该数据、在有从判定部12输出的外部传感器3(外部传感器3是照相机的情况)的图像数据的情况下使用该数据、以及作业信息存储部151的作业信息，来生成输出到显示部16的图像。在由外部传感器3检测到的值是异常状态的情况下，图像处理部153也可以在显示部16合成(例如，重叠)显示产生了异常状态的意思的文本数据。该文本数据的重叠显示处理的详细内容将在后面描述。

若进行从图像获取部152向与判定部12的判定数据对应的照相机11的图像转发请求，则图像数据转发部154将由图像处理部153生成的图像数据转发给存储单元14。例如，从判定部12输出的判定数据为0(GND电平)的情况下，图像数据转发部154不进行数据转发，但在判定数据为1(电源电平)的情况下，图像数据转发部154向存储单元14进行数据转发。该情况下，转发给存储单元14的数据既可以是动态图像也可以是静止图像，也可以使照相机11的影像重叠作业显示、异常状态显示。这样示出了判定数据是0、1中的任意一个的情况下的例子，但在判定部12与图像获取部152、图像数据转发部154之间也可以相互进行基于预定的指令的控制。作业信息存储部151也可以通过从无线通信部17接收到的数据来更新作业信息。

图6是表示图像处理部的内部结构的例子的框图。图像处理部153包括图像生成部1531和文本数据保持部1532。在文本数据保持部中，根据作业信息的工序存储“正常”、“异常”、“照相机记录开始”、“请将外部传感器的位置对准显示中央”、“记录中”等各种消息信息。

图7是表示文本数据保持部的数据结构例的图。在文本数据保持部1532中，按工序No1532A相关联地存储有数据1532B(显示条件)、文本1532C、以及数值信息1532D。

数据1532B在为了显示文本1532C而外部传感器3的输出有条件的情况下示出其条件。例如是“最佳范围20度－35度”、“异常范围T＜20度、35度＜T”等温度传感器的检测值的条件等。文本1532C存储有以对作业者的消息为主的文本信息。数值信息1532D是在用数值指定显示的位置的坐标的情况下确定其坐标的信息。

返回到图6的说明。图像生成部1531使用作业信息存储部151的作业信息、经由判定部12接受的外部传感器3的数据、从文本数据保持部1532读出的工序的文本数据、以及从图像获取部152获取到的照相机11的获取图像来生成重叠的图像，并交接给图像数据转发部154。

例如，图像生成部1531在外部传感器3的检测值为正常时，将外部传感器3的数据和与该数据的最佳范围对应的文本(“正常”等)生成为图像，并过渡给图像数据转发部154。在外部传感器3的检测值为异常时，图像生成部1531使外部传感器3的数据、与该数据的异常范围对应的文本(“异常”等)与从图像获取部152获取到的照相机11的获取图像重叠而生成为图像，过渡给图像数据转发部154。

然后，图像生成部1531使接着的消息文本“照相机记录开始”重叠显示，之后与“请将外部传感器的位置对准显示中央”重叠，并使与显示中央相当的引导显示在数值信息1532D的坐标。并且，若外部传感器3的位置对准显示中央，则图像生成部1531使“记录中”这样的消息文本重叠显示。此外，外部传感器的位置是否对准显示中央的范围能够通过图像生成部1531判定外部传感器3具有的特定的信息(光量、符号、文字等刻印、颜色模式、热模式、声音模式等)是否满足规定的条件来实现。

图8是表示判定部的内部结构的例子的框图。判定部12包括比较器121和缓冲器122。比较器121对经由I/F18接收到的外部传感器3的数据和阈值信息存储部13的阈值进行比较，并输出判定数据。例如，比较器121在外部传感器3的数据小于阈值信息的情况下，将“0(GND电平)”作为判定数据而输出。在外部传感器3的数据大于阈值信息的情况下，比较器121将“1(电源电平)”作为判定数据而输出。

如上所述，判定数据不仅是“0”、“1”电平，在比较器121被构成为MCU(MicroControl Unit：微控制单元)等内部功能模块的情况下，也可以与控制部15通过指令进行数据的交换。缓冲器122对外部传感器3获取到的数据进行缓冲并输出到控制部15。

图9是表示阈值信息存储部的数据结构例的图。在阈值信息存储部13中每个工序No13A对应有阈值13B。即，存储有划分每个工序的外部传感器3的正常/异常的阈值。

图10是表示影像记录装置的使用状态的例子的图。图10中绘制出佩戴了具备影像记录装置1000的头盔300的作业者400进行面板作业，使外部传感器3与对象的面板接触的状态。这里，以使外部传感器3与对象的面板接触的形式进行了例示，但也可以通过非接触测定，还可以设为与面板所具备的外部传感器3进行通信来获取数据的形式。举出使用温度传感器作为外部传感器3的例子，以下对影像记录装置1000的监视处理进行说明。

图11是表示HMD的显示画面的迁移例的图。根据由外部传感器3检测到的数据的异常判定结果，示出了正常时的显示画面的迁移和异常时的显示画面的迁移。

在正常时的显示画面110中，重叠显示了由外部传感器3获取到的数据、判定结果的“正常”的消息文本、以及判定基准的阈值。从作业者400的眼睛40，除了这些被重叠显示的文本以外，还透过得到通常的视场。显示判定基准的阈值的目的是为了在正常的范围内也使作业者400注意到接近异常的可能性。为了将故障、事故防患于未然，也可以同时显示过去的温度数据的迁移等。

在异常时的显示画面111中，重叠显示了由外部传感器3获取到的数据、判定结果的“异常”的消息文本、判定基准的阈值、“照相机记录开始”的消息文本。从作业者400的眼睛40，除了这些被重叠显示的文本以外，还透过得到通常的视场。

而且，在迁移后的记录准备画面112中，重叠显示由外部传感器3获取到的数据、判定结果的“异常”的消息文本、判定基准的阈值、“请将外部传感器的位置对准显示中央”的消息文本以及显示中央的引导112A。从作业者400的眼睛40，除了这些被重叠显示的文本以外，还透过得到通常的视场。

并且，在记录开始后的记录中画面113中，重叠显示由外部传感器3获取到的数据、判定结果的“异常”的消息文本、判定基准的阈值、以及“记录中”的消息文本。从作业者400的眼睛40，除了这些被重叠显示的文本以外，还透过得到通常的视场。

照相机11既可以在超过预定时间时停止记录，也可以在产生异常状态时，从远程侧决定记录时间并指示。持续记录的时间也可以例如在作业信息存储部151的各工序中对应起来，来自远程侧的改写将作业信息存储部151的工序的信息改写。另外，也可以为在产生异常状态时自动地联络远程的管理者的结构。联络也可以设为例如将固定文本自动发送给管理者的自动地打电话(也可以是语音聊天等)，能立刻传递状况的环境。

图12是表示监视处理的流程图的例子的图。若影像记录装置1000被接通电源，则监视处理开始。

首先，判定是否是异常温度(步骤S001)。具体而言，判定部12从阈值信息存储部13获取信息并通过与阈值进行比较来判定外部传感器3检测到的温度是否是异常。在正常温度的情况(在步骤S001中为“否”的情况)下，判定部12继续实施步骤S001。

在异常温度的情况(在步骤S001中为“是”的情况)下，图像处理部153使“照相机记录开始”这样的消息文本显示(步骤S002)。具体而言，图像生成部1531制作异常时的显示画面111并使显示部16显示。

然后，图像处理部153进行提示观看外部传感器的位置的显示(步骤S003)。具体而言，图像生成部1531制作记录准备画面112并使显示部16显示。

然后，图像处理部153判定在照相机中央是否有外部传感器(步骤S004)。具体而言，图像生成部1531通过图像生成部1531判定外部传感器3所检测的对象具有的特定的信息(设置于温度传感器的刻印图案)是否满足规定的条件来判定在显示中央的范围中外部传感器的检测对象的位置是否对准显示中央。在照相机中央没有外部传感器的情况(在步骤S004中为“否”的情况)下，图像处理部153将控制返回到步骤S003。

在照相机中央有外部传感器的情况(在步骤S004中为“是”的情况)下，图像处理部153使“记录中”这样的消息文本显示(步骤S005)。具体而言，图像生成部1531制作记录中画面113并使显示部16显示。

然后，照相机11判定记录时间是否超过了预定时间(步骤S006)。在记录时间未超过预定时间的情况(在步骤S006中为“否”的情况)下，照相机11进行步骤S006的判定。

在记录时间超过了预定时间的情况(在步骤S006中为“是”的情况)下，照相机11结束记录(步骤S007)。

以上是影像记录装置1000的监视处理的流程。通过监视处理，能够判定温度传感器的检测值是否异常，在异常时适当地记录通过照相机11得到的影像。

在图11以及12所示的例子中，外部传感器3使用了温度传感器。但是，如上所述并不局限于此，除了温度传感器以外也能够使用各种传感器。在图13～图15中，示出了外部传感器3使用可见光照相机的例子。

图13是表示外部传感器使用可见光照相机时的应用例的图。作业者400将外部传感器3朝向对象的面板并拍摄。假定在对象的面板记载有作业工序的编号(例如，图13内的“211ABC－DE”)、AR(Augmented Reality：增强现实)标记、面板的名称的文本等。例如若读取作业工序的编号，则在是应该进行记录的作业工序的情况下(例如不良情况较多、过去发生了事故等)，开始照相机11进行的影像的记录。

因为在各作业工序中容易成为问题的位置可以预先判明，所以影像记录装置1000进行引导作业者400的视线的显示，以便重点观看这样的指定位置。例如，使显示部16输出提示观看面板内的第一个断路器的显示，若检测到第一个断路器位于影像内的指定位置(例如，显示中心)，则识别为照相机11的中央被调整到指定位置。通常，由于各断路器记载有固有的编号，所以通过识别文字能够确定出对象的断路器。

在记录开始后，影像记录装置1000与图11的记录中画面113同样地将“记录中”输出到显示部16。在记录时间超过了预定时间的情况下，既可以停止拍摄，也可以在从远程侧的云服务器200进行了拍摄时间的更新的情况下成为基于该更新的记录时间。

图14是表示使用外部传感器的文字识别时的HMD上的辅助显示例的图。在显示部16的画面500显示明示通过外部传感器3拍摄文字的位置的框500A对于作业者400来说指示清楚并对不迷惑作业感是有效的。另外，作为精度较高的文字识别的方法，比较数据的列表和从外部传感器3拍摄到的影像识别出的文字的方法是有效的。在作业现场、面板上的编号、作业编号等全部作为数据而存储于作业信息内，通过对照识别出的文字和作业信息内的数据列表，选择类似的字符串，由此能够进行精度较高的文字识别。

图15是表示工序监视处理的流程图的例子的图。在外部传感器使用可见光照相机的情况下，若影像记录装置1000被接通电源，则工序监视处理开始。

首先，判定是否是对象作业(步骤S101)。具体而言，判定部12从作业信息存储部151获取信息并进行与作业信息的比较来判定外部传感器3检测到的断路器是否是作业对象物。在不是对象作业的情况(步骤S101中为“否”的情况)下，判定部12继续实施步骤S101。

在是对象作业的情况(在步骤S101中为“是”的情况)下，图像处理部153使“照相机记录开始”这样的消息文本显示(步骤S102)。具体而言，图像生成部1531制作使“照相机记录开始”这样的消息文本重叠的显示画面，并使显示部16显示。

然后，图像处理部153进行提示观看指定位置的显示(步骤S103)。具体而言，图像生成部1531制作包含框500A的画面500并使显示部16显示。

然后，图像处理部153判定照相机中央是否在指定位置(步骤S104)。具体而言，图像生成部1531判定是否在显示中央的范围有照相机11的视场的中央。在照相机中央没在指定位置的情况(在步骤S104中为“否”的情况)下，图像处理部153将控制返回到步骤S103。

在照相机中央有外部传感器的情况(在步骤S104中为“是”的情况)下，图像处理部153使“记录中”这样的消息文本显示(步骤S105)。具体而言，图像生成部1531使“记录中”这样的消息文本显示在显示部16。

然后，照相机11判定记录时间是否超过了预定时间(步骤S106)。在记录时间未超过预定时间的情况(在步骤S106中为“否”的情况)下，照相机11进行步骤S106的判定。

在记录时间超过了预定时间的情况(在步骤S106中为“是”的情况)下，照相机11结束记录(步骤S107)。

以上是影像记录装置1000的工序监视处理的流程。根据工序监视处理，使用外部传感器3判定是否是工序作业，若是工序作业则能够适当地记录通过照相机11进行的影像。

这里，在识别非常小的文字的处理中，影像记录装置1000并不局限于由外部传感器3拍摄到的影像，也可以使用照相机11获取到的影像进行文字识别。

另外，在面板内的断路器的文字非常小的情况、或者在较窄的场所记载有文字的情况下，有在HMD的照相机11中不能彻底解析无法得到足以文字识别的影像的情况。

因此，在使用由外部传感器3拍摄到的影像进行文字识别，识别了是否是对象作业之后，也可以使用照相机11、外部传感器3双方同时进行记录。该情况下，照相机11能够获取作业者的视线方向的视野来容易把握整体像，并且经由远程的云服务器200从管理者侧确认是否进行适当的作业。外部传感器3的影像作为近摄影像进行对象文字的识别和详细的影像记录的获取。

用于判断是否这样同时进行记录的信息在预先知道面板内的对象的文字较小的情况下，存储于作业信息存储部151即可。此时使用的外部传感器3可以为特别是相对于照相机11来说视场角较窄且焦距较短的可见光照相机。照相机11为了拍摄人的视线影像，而需要一定程度的视场角，但外部传感器3能够采取狭窄的视场角、较短的焦距的照相机的构成，能够进行高分辨率的拍摄。通过成为这样的构成，即使使用了与照相机11相同的分辨率的图像传感器，也能够通过照相机11拍摄高分辨率的图像，容易识别文字、图。

另外，假定在较暗的场所的拍摄，也可以在外部传感器3并列设置LED(LightEmitting Diode：发光二极管)等灯以便照射传感器检测部分。另外，也可以设置遥控器31以用于HMD的作业工序的切换操作。或者，也可以为使外部传感器3、遥控器31以及灯一体化的结构。为了狭窄的场所的观测，优选使外部传感器3为细长的笔形的结构，在其前端设置检测部分，通过LED照射其前端部分，在手柄设置硬按钮成为遥控器31的结构。

在与远程的管理者所使用的云服务器200之间共享照相机11以及外部传感器3的影像的情况下，远程的管理者观看的监视器也可以映出照相机11以及外部传感器3双方的影像。另外，2个影像中的不是主要想看的影像的一方的影像也可以在影像记录装置1000中降低分辨率发送到云服务器200。通过降低影像的分辨率，从而使无线通信部17与外部无线通信部100之间的通信量减少，所以得到抑制图像延迟、消耗电力的效果。

以上，示出了外部传感器3使用可见光照相机的例子。但是，并不局限于可见光照相机，也可以是IR(Infrared：红外线)照相机、其他的照相机。另外，也可以通过使用TOF(Time－Of－Flight)照相机获取距离图像，来获取三维数据，检测对象物的变形、具有动态机构的装置(例如机器人)的异常动作等，进行照相机11的记录。或者，也可以使用照度传感器，在亮度不够的情况下进行记录。例如能够与检测出装置的灯照度的减少，记录对象的灯，进行适当的交换的作业相关。

图16是表示外部传感器的收纳结构的例子的图。这里，示出了将有线连接的外部传感器3存储到控制器2的情况下的收纳结构的例子，但并不局限于有线连接的外部传感器3，即使是无线连接的外部传感器3，也能够同样地收纳。

外部传感器3由控制器2上的外部传感器固定部件340固定，并能够通过控制器2上的接触检测传感器330检测出外部传感器3是否接触。

图17是表示接触检测传感器的连接例的框图。该例基本上与图5所示的影像记录装置的构成例相同，但一部分不同。以下，以不同点为中心进行说明。

在图17的连接例中，控制部15包括起动信号生成部155的点、作业信息存储部151和起动信号生成部155连接的点、以及接触检测传感器330包含于控制器2的点不同。

表示由接触检测传感器330检测到的结果的信号被输入到控制部15内的起动信号生成部155。若该信号是表示接触状态的信号，则起动信号生成部155将信号电平保持为0(GND电平)。即，此时，示出外部传感器3固定于外部传感器固定部件340，影像记录装置1000是睡眠状态(待机状态)。

若是表示非接触状态的信号，则起动信号生成部155输出信号电平1(电源电平)，经由I/F18使起动信号输出到外部传感器3并起动。信号电平也可以根据外部传感器3的规格通过信号电平变更，也可以通过指令的交换变更。另外，虽然信号电平以1(电源电平)为起动，但也可以为相反极性以0(GND)电平起动。即，起动信号生成部155是检测状态的切换，向外部传感器3输出适当的信号的构成即可。

另外，接触检测传感器330能够使用照度传感器、接近传感器等。但是，并不局限于此，能够检测与外部传感器固定部件340连接即可。当然，也可以是在外部传感器3侧设置接触检测传感器330的构成。

另外，也可以根据作业顺序使外部传感器3有效化。也能够在起动信号生成部155中，接收作业信息存储部151的信息，外部传感器3在不必要的作业工序中无效化，作业者错误地将外部传感器3从外部传感器固定部件340拆下时不使其起动。能够通过采取这样的构成，来实现误检测的防止、消耗电力的抑制。

另外，也可以使用拍摄、记录到的影像信息，来检测、记录作业人员是否进行适当的作业。

图18是表示检测佩戴者的视线方向的照相机的构成例的图。图18示出了从正面观察佩戴了头戴部1的作业者400的眼睛40的附近(左眼附近)600的状态。

图19是表示检测佩戴者的视线方向的照相机的构成例的图。图19示出了从侧面(左面)观察佩戴了头戴部1的作业者400的眼睛40的附近(左眼附近)600的状态。

照相机11具有以广角(视角θ：例如，240度)具有拍摄视野的镜头，以从头戴部1的显示部16向下方突出的形式被设置。而且，照相机11的拍摄视野除了佩戴者的视线的方向以外，还包括佩戴者的眼睛40本身。通过成为这样的构成，能够准确地检测视线方向，准确地检测作业者400是否适当地进行作业。

此外，并不局限于此，也可以与其他的传感器并用来进行作业动作的检测。例如，因为能够通过加速度传感器检测头的移动，所以能够假定作业者400的视线方向提示适当的警报。

图20是表示面板作业的警报的显示例的图。在显示部16的显示例700中，依次示出了作业工序1(601A)、作业工序2(601B)、作业工序3(601C)，并示出了以该顺序进行作业。

在该状态下，作业者400注视的作业工序与该作业顺序不同的情况下，显示部16重叠显示警告显示710。例如，虽然作业工序1结束但作业工序2未结束，作业者400注视作业工序3(601C)的显示的时间较长的情况下，实施作业工序3的可能性较高。若在该情况下进行“请实施作业工序2”这样的警告显示710，则对降低作业错误有效。

为了检测作业者400在显示部16上的预定位置的注视，例如在由照相机11拍摄时，若位于拍摄视野的视线方向的作业对象物与应该进行作业的顺序的对象物不同，其观测时间(停留时间)超过(停留)预定值，则检测为注视错误的作业对象。为了进一步准确地确定视线方向，由检测上述的视线方向的照相机11拍摄作业者400的眼睛40，通过坐标变换确定出瞳孔的方向并视为视线方向的情况有效。

图21是表示使用加速度传感器的判定部的内部结构的例子的框图。在外部传感器3使用3轴加速度传感器的情况下，I/F18获取X轴、Y轴、Z轴的3轴的加速度的值。该情况下，阈值信息存储部13′必须保持这3轴的加速度的值，另外，在异常的判定中也能够自由地使用这3轴的加速度的值。

在图21的例子中，示出了对于3轴任意一个轴向的加速度的变化量将存在超过预定的范围的变动检测为异常的构成例。判定部12包括X轴用的比较器121X、X轴用的缓冲器122X、Y轴用的比较器121Y、Y轴用的缓冲器122Y、Z轴用的比较器121Z、Z轴用的缓冲器122Z、以及将来自这些比较器的判定数据相加的加法器123。

X轴用的比较器121X、Y轴用的比较器121Y、以及Z轴用的比较器121Z从I/F18获取各个轴的加速度，参照阈值信息存储部13′读出各个轴的阈值并进行比较，将判定数据(0：正常，1：异常)输出到加法器123。

X轴用的缓冲器122X、Y轴用的缓冲器122Y、以及Z轴用的缓冲器122Z从I/F18获取各个轴的加速度，并缓冲。另外，X轴用的缓冲器122X、Y轴用的缓冲器122Y、以及Z轴用的缓冲器122Z将其传感器数据输出到控制部15。

加法器123从X轴用的比较器121X、Y轴用的比较器121Y、以及Z轴用的比较器121Z获取各个轴的异常/正常的判定数据(0：正常，1：异常)并相加。若其结果为1以上，则向控制部15输出“1(异常检测信号)”，在不是的情况下输出“0(GND)”。

图22是表示加速度传感器的情况下的阈值信息存储部的数据结构的例子的图。阈值信息存储部13′中对每个工序13A′相关联地存储有作为X轴的阈值的X阈值、作为Y轴的阈值的Y阈值、以及作为Z轴的阈值的Z阈值的组合阈值13B′。X阈值、Y阈值、Z阈值中分别存储有表示加速度的时间序列变化的图表的振幅和周期的正常值的范围。

这样一来，能够实现使用加速度传感器的判定部，例如判定作业者的动作是否没有异常行动、或者是否没有不必要的动作，能够在异常时自动地记录照相机11的影像。

图23是表示使用TOF照相机的判定部的内部结构的例子的框图。在外部传感器3使用TOF照相机的情况下，I/F18获取伴有TOF照相机获取到的距离数据的图像。

判定部12包括P部位坐标用的比较器121P、P部位坐标用的缓冲器122P、Q部位坐标用的比较器121Q、Q部位坐标用的缓冲器122Q、R部位坐标用的比较器121R、R部位坐标用的缓冲器122R、将来自这些比较器的判定数据相加的加法器123、部位提取部124、P部位坐标用的微分器125P、Q部位坐标用的微分器125Q、以及R部位坐标用的微分器125R。

部位提取部124从I/F18获取伴有TOF照相机获取到的距离数据的图像，使用公知的算法提取预先决定的人体的部位的坐标。例如，部位提取部124通过骨格检测确定出头、肩、臂、手、脚等部位，与距离数据配合地确定出每个部位的三维坐标(x，y，z)。例如，部位提取部124将P部位确定为臂，将Q部位确定为手，将R部位确定为脚，获取各个的代表性的1点或者多个点的三维坐标。

P部位坐标用的微分器125P、Q部位坐标用的微分器125Q、以及R部位坐标用的微分器125R对各个部位使用三维坐标进行微分处理，计算每个部位的速度。

该情况下，阈值信息存储部13中必须保持这些每个部位的速度的值，另外，在异常的判定中也能够自由地使用这些每个部位的速度的值。

图24是表示降低分辨率的控制部的内部结构的例子的框图。在外部传感器3是可见光照相机的情况、或是TOF照相机、热像仪等获取影像信息的照相机的情况下，得到由照相机11拍摄到的影像和由外部传感器3拍摄到的图像双方，能够如上述那样，经由云服务器200从远程参照这些图像。另外，也能够经由远程的云服务器进行降低任意一方或者双方的图像的分辨率的指示，减少通信量。进一步，也能够从远程发送作业信息、阈值信息并更新。

这样的结构能够通过图24所示的内部结构实现。控制部15的图像处理部153包括分辨率变换部15311、图像重叠部15312、以及文本数据保持部1532。

分辨率变换部15311经由无线通信部17接收对象的图像(外部传感器3的图像和照相机11的影像的任意一个)和其分辨率数据。另外，分辨率变换部15311从判定部12接收外部传感器3的图像、从图像获取部152接收照相机11的影像，将每帧变换为预定的分辨率并交接给图像重叠部15312。若分辨率变换部15311经由无线通信部17接收到对象的图像及其分辨率数据，则以后将对象的图像变换为接收到的分辨率并交接给图像重叠部15312。

在经由无线通信部17未接收到对象的图像及其分辨率数据的情况下，分辨率变换部15311维持与之前的帧相同的分辨率。

图像重叠部15312使从作业信息存储部151的信息和文本数据保持部1532的信息提取出的必要的信息与从分辨率变换部15311接受的图像以及影像重叠后交接给图像数据转发部154。

例如，若从云服务器200接受了使照相机11的影像成为640点×480点的指示(包括照相机、640、480的参数)，则分辨率变换部15311从下一帧开始将照相机11的影像变换为640点×480点并交接给图像重叠部15312。这样一来，能够降低分辨率并减少通信量。

上述的影像记录装置1000能够通过CPU(Central Processing Unit：中央处理单元)实现控制器2内的判定部12以及控制部15。另外，阈值信息存储部13能够通过RAM(Random Access Memory：随机存取存储器)等主存储装置实现。存储单元14能够通过闪存、SSD(Solid State Drive：固态硬盘)实现。

此外，并不局限于此，影像记录装置1000例如也可以由ASIC(ApplicationSpecific Integrated Circuit：专用集成电路)、微机实现。

这样一来，影像记录装置1000能够不阻碍作业地用有限的存储区域等硬件资源高效地记录作业状况等。

另外，控制线、信息线示出了认为说明上必要的，并不一定示出产品上全部的控制线、信息线。也可以认为实际上几乎全部的构成相互连接。

另外，上述的各构成、功能、处理部等也可以通过例如由其它的装置执行并经由网络统一处理等由分散系统实现它们的一部分或者全部。

另外，上述的实施方式的技术要素既可以单独应用，也可以分为程序部件和硬件部件这样的多个部分应用。

以上，以实施方式为中心对本发明进行了说明。

符号说明

1...头戴部，2...控制器，3...外部传感器，11...照相机，12...判定部，13...阈值信息存储部，14...存储单元，15...控制部，16...显示部，17...无线通信部，18...I/F，30...麦克风，31...遥控器，32...扬声器，40...眼睛，100...外部无线通信部，200...云服务器，1000...影像记录装置。

Claims (14)

1.一种影像记录装置，其特征在于，具备：

照相机，其拍摄佩戴者的视野方向的影像；

连接部，其与检测预定的环境信息的外部传感器能够通信地连接；

阈值信息存储部，其存储表示上述环境信息的异常状态的阈值；

判定部，其通过对上述外部传感器的检测信息与上述阈值进行比较，来输出异常判定信号；

控制部，其根据上述异常判定信号向上述照相机输出预定的控制信号；以及

显示部，其显示来自上述照相机以及上述外部传感器的输出信息，

若输出了上述异常判定信号，则上述控制部输出将来自上述照相机的输出信息转发给预定的存储单元的控制信号，

上述照相机具有将佩戴该影像记录装置的上述佩戴者的前方的视线方向的影像和该佩戴者的眼睛一起检测的视场角，

上述控制部确定佩戴该影像记录装置的上述佩戴者的视线的方向和视线的停留时间，

在上述视线的方向和上述视线的停留时间与实施中的作业不同的情况下，使上述显示部重叠显示促进实施中的作业工序的实施的显示。

2.根据权利要求1所述的影像记录装置，其特征在于，

上述控制部具备：

作业信息存储部，其存储佩戴该影像记录装置的佩戴者所进行的作业信息；

图像获取部，其获取上述照相机的输出作为图像；

图像处理部，其生成将上述作业信息和上述图像合成而得的图像；以及

图像转发部，其将合成的上述图像转发给上述存储单元，

若从上述判定部输出上述异常判定信号，则上述图像转发部将上述输出信息转发给上述存储单元。

3.根据权利要求1所述的影像记录装置，其特征在于，

上述外部传感器是可见光照相机、红外照相机、测距照相机、温度传感器、湿度传感器、照度传感器、加速度传感器中的至少一个以上。

4.根据权利要求1所述的影像记录装置，其特征在于，

上述影像记录装置具备存储佩戴该影像记录装置的佩戴者所进行的作业信息的作业信息存储部，

上述外部传感器识别与作业的对象对应的字符或者标记。

5.根据权利要求1所述的影像记录装置，其特征在于，

上述外部传感器是与上述照相机相比视场角较窄且焦距较短的第二照相机。

6.根据权利要求1所述的影像记录装置，其特征在于，

上述外部传感器经由有线或者无线的通信路径与该影像记录装置连接。

7.根据权利要求1所述的影像记录装置，其特征在于，

上述外部传感器与能够切换上述显示部所显示的作业工序的远程操作装置是一体结构。

8.根据权利要求1所述的影像记录装置，其特征在于，

上述影像记录装置具备检测与上述外部传感器的接触的接触检测传感器，

若通过上述接触检测传感器检测出非接触的状态，则上述控制部输出使上述外部传感器动作的信号。

9.根据权利要求1所述的影像记录装置，其特征在于，

上述照相机具有将佩戴该影像记录装置的上述佩戴者的前方的视线方向的影像和该佩戴者的眼睛一起检测的视场角。

10.根据权利要求1所述的影像记录装置，其特征在于，

若输出了上述异常判定信号，则上述控制部使上述显示部显示上述照相机为记录中，并显示佩戴该影像记录装置的上述佩戴者应观看的位置的引导。

11.根据权利要求1所述的影像记录装置，其特征在于，

上述影像记录装置具备经由网络与其他装置进行通信的通信部，

上述阈值信息存储部能够根据来自上述其他装置的指示改写上述阈值。

12.根据权利要求1所述的影像记录装置，其特征在于，

上述影像记录装置具备通过多点被作业用的头盔支承的支承部。

13.根据权利要求1所述的影像记录装置，其特征在于，

上述影像记录装置具备经由网络与其他装置进行通信的通信部，

上述控制部具备：

作业信息存储部，其存储佩戴该影像记录装置的上述佩戴者所进行的作业信息；

图像获取部，其获取上述照相机的输出作为图像；

图像处理部，其生成将上述作业信息和上述图像合成而得的图像；以及

图像转发部，其将合成的上述图像转发给上述存储单元，

若从上述判定部输出上述异常判定信号，则上述图像转发部将上述输出信息转发给上述存储单元，

上述作业信息存储部能够根据来自上述其他装置的指示改写上述作业信息。

14.一种头戴式显示器，其特征在于，具备：

照相机，其拍摄佩戴者的视野方向的影像；

连接部，其与检测预定的环境信息的外部传感器能够通信地连接；

阈值信息存储部，其存储表示上述环境信息的异常状态的阈值；

判定部，其通过对上述外部传感器的检测信息与上述阈值进行比较，来输出异常判定信号；

控制部，其根据上述异常判定信号向上述照相机输出预定的控制信号；以及

显示部，其显示来自上述照相机以及上述外部传感器的输出信息，

若输出了上述异常判定信号，则上述控制部输出将来自上述照相机的输出信息转发给预定的存储单元的控制信号，

上述照相机具有将佩戴影像记录装置的上述佩戴者的前方的视线方向的影像和该佩戴者的眼睛一起检测的视场角，

上述控制部确定佩戴该影像记录装置的上述佩戴者的视线的方向和视线的停留时间，

在上述视线的方向和上述视线的停留时间与实施中的作业不同的情况下，使上述显示部重叠显示促进实施中的作业工序的实施的显示。

Images