CN108027903B - 信息处理设备、控制方法和程序 - Google Patents

信息处理设备、控制方法和程序 Download PDF

Info

Publication number
CN108027903B
CN108027903B CN201680053056.0A CN201680053056A CN108027903B CN 108027903 B CN108027903 B CN 108027903B CN 201680053056 A CN201680053056 A CN 201680053056A CN 108027903 B CN108027903 B CN 108027903B
Authority
CN
China
Prior art keywords
inspection
image
display device
instrument
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680053056.0A
Other languages
English (en)
Other versions
CN108027903A (zh
Inventor
才田好则
则枝真
吉本诚
岩元浩太
佐藤贵美
包蕊寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN108027903A publication Critical patent/CN108027903A/zh
Application granted granted Critical
Publication of CN108027903B publication Critical patent/CN108027903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/06—Remotely controlled electronic signs other than labels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

图像获取单元(2020)获取包含检查目标仪器的捕获图像。检查信息获取单元(2040)获取关于包含在捕获图像中的仪器的检查信息。检查信息是指示仪器的检查项目的信息。第一显示控制单元(2060)在显示设备(10)上显示表示与检查信息所指示的检查项目对应的检查点的指示。例如，第一显示控制单元(2060)显示表示检查点的指示，使得指示被叠加在显示设备(10)上的检查点上。例如，第一显示控制单元(2060)将所述指示显示在所述显示设备(10)上的所述检查点中或所述仪器附近。

Description

信息处理设备、控制方法和程序
技术领域
本发明涉及一种信息处理设备、控制方法和程序。
背景技术
在检查工厂设备等时，使用信息处理设备。例如，专利文献1公开了一种使用终端设备的设备检查支持系统。检查人员携带终端设备执行检查工作。终端设备从内容存储单元获取检查项目。检查人员对终端设备获取的检查项目进行检查。
相关文献
专利文献
[专利文献1]第4620030号日本专利
发明内容
技术问题
在一些情况下，检查目标仪器上有多个检查点。例如，在一些情况下，一个设备中包括多个仪表。例如，在这些情况下，检查人员记录多个仪表的测量值。
以这种方式，当仪器上有多个检查点时，检查人员需要在执行工作的同时确定每个检查项目与仪器上的哪个检查点相关。因此，与在仪器上只有一个检查点的情况相比，检查工作变得复杂。因此，检查人员的工作负担增加。专利文献1没有公开检查工作的工作负担，也没有公开减轻工作负担的方法。
鉴于上述问题设计了本发明。本发明的目的是提供一种用于减轻检查人员的工作负担的技术。
问题的解决方案
根据本发明的一个方面，提供了一种信息处理设备，包括：图像获取单元，获取包含要检查的仪器的捕获图像；检查信息获取单元，获取指示包含在所述捕获图像中的所述仪器的每个检查项目的检查信息；以及第一显示控制单元，显示表示与所述检查信息所指示的检查项目对应的检查点的指示，使得所述指示叠加在显示设备上的所述检查点上或者将所述指示显示在所述显示设备上的所述检查点中或所述仪器附近。
根据本发明的另一方面，控制方法是由计算机执行的控制方法。所述控制方法包括：图像获取步骤，获取包含要检查的仪器的捕获图像；检查信息获取步骤，获取指示包含在所述捕获图像中的所述仪器的每个检查项目的检查信息；以及第一显示控制步骤，显示表示与所述检查信息所指示的检查项目对应的检查点的指示，使得所述指示叠加在显示设备上的所述检查点上或者将所述指示信显示在所述显示设备上的所述检查点中或所述仪器附近。
发明的有益效果
本发明提供了一种减轻检查人员的工作负担的技术。
附图说明
上述目的、其他目的、特征和优点在下面将要描述的优选实施例和以下附图中更明显。
图1是示出根据第一示例实施例的信息处理设备的框图。
图2是概念性地示出根据第一示例实施例的信息处理设备的操作的图。
图3是示出实现信息处理设备的计算机的配置的图。
图4是示出包括显示设备和相机的平板终端的图。
图5是示出包括显示设备和相机的头戴式显示器的图。
图6是示出根据第一示例实施例的信息处理设备执行的处理流程的流程图。
图7是以表格形式示出检查信息的图。
图8是示出在显示设备上显示其中指示被叠加在捕获图像上的图像的场景的图。
图9是示出在显示设备上显示指示的场景的图。
图10是示出结合指示显示显示图像中示出的图像的场景的图。
图11是示出由信息处理设备处理包括多个检查项目的检查信息的处理流程的流程图。
图12是示出根据第二示例实施例的信息处理设备的框图。
图13是示出在平板终端的触摸面板上显示界面图像的场景的图。
图14是示出在头戴式显示器的显示设备上显示键盘图像的场景的图。
图15是以表格格式示出界面信息的图。
图16是示出非键盘图像的界面图像的图。
图17是示出指示界面图像的ID和类型的检查信息的图。
图18是示出当界面图像与检查项目相关联时第二显示控制单元的处理流程的流程图。
图19是示出在捕获图像中包括标记的场景的图。
图20是示出使用标记显示输入界面的图像的过程的流程图。
图21是示出根据第三示例实施例的信息处理设备的框图。
图22是示出在平板终端的触摸面板上显示仪器的图像的场景的图。
图23是示出在触摸面板上显示仪器的图像的状态下输入检查结果的场景的图。
图24是示出根据第四示例实施例的信息处理设备的框图。
图25是概念性地示出根据第四示例实施例的信息处理设备的操作的图。
图26是概念性地示出计算由指示所指示的方向的方法的图。
图27是示出根据检查点的位置决定显示指示的位置的情况的图。
图28是示出由第四显示控制单元执行的处理流程的流程图。
图29是示出根据第五示例实施例的信息处理设备的框图。
图30是示出根据第五示例实施例的信息处理设备执行的处理流程的流程图。
具体实施方式
在下文中，将参照附图描述本发明的实施例。在所有附图中，对相同的构成要素赋予相同的附图标记，并适当省略其说明。在每个框图中，每个块不指示硬件单元，而是指示功能单元的配置。
[第一示例实施例]
图1是示出根据第一示例实施例的信息处理设备2000的框图。信息处理设备2000包括图像获取单元2020、检查信息获取单元2040和第一显示控制单元2060。图像获取单元2020获取包含检查目标仪器的捕获图像。检查信息获取单元2040获取关于包含在捕获图像中的仪器的检查信息。检查信息是指示仪器的检查项目的信息。例如，检查项目描述内容为“确认仪器上的仪表值是否在正常值范围内”等的检查项目。第一显示控制单元2060在显示设备10上显示表示与由检查信息指示的检查项目对应的检查点的指示。例如，当检查项目是关于上述仪表的值的检查项目时，检查点是该仪表。这里，例如，第一显示控制单元2060将表示检查点的指示显示为叠加在显示设备10上的检查点上。例如，第一显示控制单元2060将表示检查点的指示显示在显示设备10上的检查点中或在仪器附近。在以下描述中，将主要描述表示检查点的指示被显示为叠加在检查点上的形式。表示检查点的指示被显示在检查点附近的信息处理设备2000的操作与表示检查点的指示被叠加在检查点上的信息处理设备2000相同。
图2是概念性地示出根据第一示例实施例的信息处理设备2000的操作的图。在图2中，信息处理设备2000获取捕获的图像20。这里，捕获图像20包含仪器30。因此，信息处理设备2000获取与仪器30对应的检查信息200。然后，信息处理设备2000在显示设备10上显示表示检查信息200中所示的检查点50的指示60。如图2所示，信息处理设备2000将指示60显示为叠加在显示设备上的仪器30中的检查点50上。
参照图2说明的上述示例是用于便于详细理解将在下面描述的信息处理设备2000的示例，并且信息处理设备2000的操作不限于上述示例。下面将描述信息处理设备2000的操作的细节或变化。
＜有益效果＞
在根据本示例性实施例的信息处理设备2000中，表示检查点的指示60显示在显示设备10上的仪器30的检查点50中。因此，用户(检查人员等)可以容易地确定在仪器30上检查的检查目标的位置。因此，减少了检查工作的工作负担。
在下文中，将更详细地描述根据本示例性实施例的信息处理设备2000。
＜信息处理设备2000的硬件配置的示例＞
信息处理设备2000的每个功能配置单元可以通过实现每个功能配置单元(例如，硬连线电子电路)的硬件来实现，或者可以通过硬件和软件的组合来实现(例如，电子电路和控制电子电路的程序)。在下文中，将进一步描述信息处理设备2000的每个功能配置单元通过硬件和软件的组合来实现的情况。
图3是示出实现信息处理设备2000的计算机1000的配置的图。计算机1000是诸如平板终端、智能电话、个人计算机(PC)、服务器设备、头戴式显示器等各种计算机中的任一种。计算机1000包括总线1020、处理器1040、存储器1060、存储设备1080、输入和输出接口1100以及网络接口1120。总线1020是数据传输路径，处理器1040、存储器1060、存储设备1080和网络接口1120通过总线1020彼此发送和接收数据。这里，将处理器1040等彼此连接的方法不限于总线连接。处理器1040是诸如中央处理单元(CPU)或图形处理单元(GPU)的运算处理设备。存储器1060是诸如随机存取存储器(RAM)或只读存储器(ROM)之类的存储器。存储设备1080是诸如硬盘、固态驱动器(SSD)或存储卡之类的存储设备。存储设备1080可以是诸如RAM或ROM的存储器。网络接口1120是计算机1000与外部设备通信的接口。
输入和输出接口1100是将计算机1000连接到输入和输出设备的接口。在图3中，显示设备10和相机70也连接到输入和输出接口1100。显示设备10是能够显示图像的任何显示设备。例如，显示设备10是智能电话或平板终端的显示设备或头戴式显示器的显示设备。
相机70是能够通过对仪器30进行成像来生成包含仪器30的捕获图像20的任何相机。相机70重复执行成像以生成指示每个成像结果的捕获图像20。相机70可以是2D相机或3D相机。
相机70安装在任何位置。例如，相机70是包含在智能手机或平板终端中的相机。例如，相机70是安装在用户佩戴的物体上的相机。例如，用户佩戴的物体是头戴式显示器或悬挂在工作人员的脖子上的工作人员身份卡片。例如，相机70可以安装在仪器30所安装在的地方的墙壁等上。当相机70安装在墙壁等上时，相机70的成像范围(成像方向、变焦倍率等)可以优选地根据远程控制器等的远程操作而改变。
图4是示出包括显示设备和相机的平板终端80的图。平板终端80包括相当于显示设备10的触摸面板82和相当于相机70的相机84。由相机84生成的捕获图像20显示在例如触摸面板82上。
图5是示出包括显示设备和相机的头戴式显示器90的图。头戴式显示器90包括相当于上述显示设备10的显示设备92和相当于相机70的相机94。这里，显示设备92是透射型显示设备。当用户查看显示在显示设备92上的图像同时通过显示设备92查看真实世界的场景时，用户可以查看叠加在真实世界的场景上的图像。
在图5中，相机94安装在显示设备92附近。因此，相机94对用户的视野方向或接近视线方向的方向成像。因此，由相机70生成的捕获图像20中包含的场景是与用户查看的场景接近的场景。
这里，相机94的成像方向是任何方向，并且不限于用户的视野方向或接近视野方向的方向。安装相机94的位置不限于显示设备92的附近。其中安装相机94的头戴式显示器90不限于包括透射型显示设备的头戴式显示器，并且可以是包括非透射型显示设备的头戴式显示器。下面将根据需要描述与头戴式显示器的类型的关系以及实现信息处理设备2000的方法。
当平板终端80的触摸板82和相机84被用作显示设备10和相机70时，计算机1000可以是平板终端80或者可以是非平板终端80的计算机。在后一种情况下，计算机1000从平板终端80获取捕获图像20并处理捕获图像20。计算机1000命令平板终端80显示指示60。这同样适用于头戴式显示器90的显示设备92和相机94被用作显示设备10和相机70的情况。
存储设备1080存储实现信息处理设备2000的每个功能的程序模块。处理器1040通过执行程序模块来实现与程序模块对应的每个功能。这里，当处理器1040执行每个模块时，处理器1040可以读取存储器1060上的模块并执行该模块，或者可以在不读取存储器1060上的模块的情况下执行该模块。
存储设备1080可以存储检查信息。这里，检查信息也可以存储在信息处理设备2000的外部设备(数据库等)中。当检查信息被存储在信息处理设备2000的外部设备中时，信息处理设备2000通过网络等访问外部设备来获取检查信息。
计算机1000的硬件配置不限于图3所示的配置。例如，每个程序模块可以存储在存储器1060中。在这种情况下，计算机1000可以不包括存储设备1080。
＜处理流程＞
图6是示出根据第一示例实施例的信息处理设备2000执行的处理流程的流程图。图像获取单元2020获取捕获图像20(S102)。检查信息获取单元2040获取捕获图像20中包含的仪器30的检查信息200(S104)。第一显示控制单元2060显示表示检查点50的指示60，使得指示60叠加在显示设备10上的检查点50上(S106)。
＜图像获取单元2020的细节＞
图像获取单元2020获取由相机70生成的捕获图像20(S102)。存在图像获取单元2020获取捕获图像20的各种方法。例如，图像获取单元2020从相机70获取捕获图像20。在这种情况下，信息处理设备2000和相机70被连接为可通信的。
当相机70将捕获图像20存储在外部存储设备中时，图像获取单元2020从该存储设备获取捕获图像20。在这种情况下，图像获取单元2020连接到该存储设备。
＜检查信息获取单元2040的细节＞
检查信息获取单元2040获取仪器30的检查信息200(S104)。仪器30的检查信息200指示关于仪器30的检查的一个或多个检查项目。检查信息获取单元2040获取与包含在捕获图像20中的仪器30对应的检查信息200。因此，例如，检查信息获取单元2040通过对捕获图像20执行图像分析来确定捕获图像20中包含仪器30的区域。然后，检查信息获取单元2040基于该区域获取仪器30的检查信息200。例如，检查信息获取单元2040计算包含仪器30的区域的特征值，并使用特征值检索存储检查信息200的存储设备中的信息。结果，检查信息获取单元2040获取与包含在捕获图像20中的仪器30对应的检查信息。这里，已知技术可以用于推导在捕获图像20中包含仪器30的区域的过程以及计算该区域的特征值的过程。
图7是以表格形式示出检查信息200的图。图6中的检查信息200包括检查项目ID202、检查项目名称204、检查内容206、输入格式207、检查点208和显示图像210。
检查项目ID 202指示检查项目的标识符(ID)。检查项目名称204指示检查项目的名称。检查内容206指示检查的内容。例如，检查项目0001的检查内容206“确认在正常值(10至15V)内”指示“确认作为检查点的仪器的值是否在等于或大于10V且等于或小于15V的正常值范围内”的检查工作。另外，检查项目0006的检查内容206“输入设定值”指示“输入并记录作为检查点的控制杆的位置(设定值)”的检查工作。另外，检查项目0007的检查内容206“输入开/闭”指示“输入并记录作为检查点的开关的开/关”的检查工作。
输入格式207指示从用户接收的输入的格式。例如，检查项目0001的输入格式207指示接收到OK和NG两个选项的输入。
检查点208指示用于确定检查点50在捕获图像20中所包含的场景中的位置的信息。例如，检查点208指示检查点50的外观特征。这里，由检查点208指示的检查点50的外观的特征值不仅可以是检查点50，也可以是包括检查点50的周边的外观的特征值。例如，当仪表的ID被写在仪表附近时，检查点208不仅指示该仪表，而且还指示包括仪表周边的ID的范围的特征值。例如，仪器30包括外观彼此相似的多个检查点50，如在安装在图2中的仪器30上的三个仪表中。因此，通过使检查点208不仅显示检查点50而且还显示包括诸如写在检查点50周边的检查点50的ID等信息的范围的特征值，可以区分外观彼此相似的多个检查点50。
例如，检查点208指示检查点50在整个仪器30中的相对位置。例如，检查点50的相对位置由XY坐标表示，其中当仪器30的正面设置为平面时，仪器30的左上端是原点，水平方向的右侧为X轴，垂直方向的下侧方向为Y轴。
由检查点208指示的信息不限于外观的特征值或相对位置，只要信息是能够在捕获图像20中包含的场景中确定检查点50的位置的信息即可。
显示图像210指示结合指示60显示在检查点50附近的图像。例如，在检查项目0001的情况下，第一显示控制单元2060在检查点50附近显示气球指示“确认在正常值范围内”以及指示检查项目的记录的图像。
在图7的检查信息200中，检查项目0000的记录指示关于仪器30的信息。例如，关于仪器30的信息是仪器30的特征值。在检查信息获取单元2040获取与捕获图像20中包含的仪器30对应的检查信息200时使用检查项目0000的记录。当如图7所示在检查项目0000的显示图像210中显示图像时，第一显示控制单元2060可以在显示设备10上仪器30附近显示图像。
＜第一显示控制单元2060的细节＞
第一显示控制单元2060显示表示检查点50的指示60，使得指示60叠加在显示设备10上的检查点50上(S106)。首先，第一显示控制单元2060使用由获取的检查信息200指示的检查点208来确定检查点50在捕获图像20中的位置。例如，当检查点208指示检查点50的外观的特征值时，第一显示控制单元2060通过对捕获图像20执行图像分析来确定指示特征值的区域。该区域是检查点50的位置。例如，当检查点208指示检查点50在整个仪器30中的相对位置时，第一显示控制单元2060根据包含在捕获图像20中的仪器30的区域和由检查点208指示的相对位置来确定检查点50在捕获图像20中的位置。当仪器30上存在具有相似外观的多个检查点，如图2所示的三个仪表时，第一显示控制单元2060使用检查点50在仪器30上的相对位置。
基于检查点50在捕获图像20上的位置，第一显示控制单元2060显示指示60，使得指示60叠加在显示设备10上的检查点50上，或者指示60叠加在检查点50的附近。这里，由第一显示控制单元2060在显示设备10上显示的图像取决于以下情况而不同：1)用户是查看在显示设备10上显示的仪器30的图像；或是2)用户在现实世界中查看仪器30。下面描述每种情况。
在1)的情况下，显示设备10例如是平板终端80的触摸面板82或非透射型头戴式显示器90的显示设备92。在这种情况下，第一显示控制单元2060生成指示60叠加在捕获图像20上的检查点50上的图像，并将该图像显示在显示设备10上。
图8是示出在显示设备上显示其中指示60叠加在捕获图像20上的图像的场景的图。在图8(a)中，在平板终端80的触摸面板82上显示指示60叠加在捕获图像20上的图像。另一方面，在图8(b)中，在非透射型头戴式显示设备90的显示设备92上显示指示60叠加在捕获图像20上的图像。
另一方面，在2)的情况下(当用户在现实世界中查看仪器30时)，显示设备10例如是透射型头戴式显示器90的显示设备92。在这种情况下，用户可以在显示设备10的前方查看真实世界的仪器30。因此，第一显示控制单元2060可以不必在显示设备10上显示捕获图像20，而在显示设备10上显示指示60。第一显示控制单元2060在显示设备10的适当位置处显示指示60。因此，在从用户的眼睛看的显示设备10上，查看到指示60叠加在现实世界的仪器30上的检查点50上。
图9是示出在显示设备上显示指示60的场景的图。在图8中，在透射型头戴式显示器90的显示设备92上显示指示60。用户可以通过同时查看显示设备92上显示的指示60和在显示设备92的前方查看的仪器30上的检查点50来查看指示60叠加在检查点50上的状态。
在透射型头戴式显示器90的情况下，第一显示控制单元2060基于检查点50在捕获图像20上的位置计算在显示设备92上显示指示60的位置(上述“适当位置”)。具体地，第一显示控制单元2060通过将捕获图像20上的检查点50的位置转换成显示设备92上的位置来计算在显示设备92上显示指示60的位置。
这里，基于相机94的各种参数(视角和焦距)或者显示设备92和相机94之间的位置关系等来确定捕获图像20上的位置和显示设备92上的位置之间的对应关系。该对应关系可以使用这样的参数等使用第一显示控制单元2060来计算，或者可以被预先确定为设置值。
＜＜用作指示60的图像＞＞
任何图像被第一显示控制单元2060用作指示60。例如，第一显示控制单元2060使用围绕检查点50的一部分或全部的图形(圆形、正方形等)的图像作为指示60。在这种情况下，如上所述，第一显示控制单元2060可以在检查点50附近结合为诸如圆形的图形的指示60显示在图7的显示图像210中指示的图像。图10是示出结合指示60显示显示图像210中示出的图像的场景的图。在图10中，第一显示控制单元2060显示指示60、辅助指示62和辅助指示64。
例如，第一显示控制单元2060可以使用图7的显示图像210中指示的图像而不是围绕检查点50的图形作为指示60。
＜＜随着检查工作进展指示60的变化＞＞
当检查信息200指示多个检查项目时，信息处理设备2000的用户顺序检查多个检查项目。因此，信息处理设备2000顺序地处理包括在检查信息200中的检查项目。因此，随着检查工作的进展，第一显示控制单元2060逐渐改变指示60的指示位置等。
图11是示出由信息处理设备2000处理包括多个检查项目的检查信息200的处理流程的流程图。S202至S208是对每个检查项目顺序执行的循环过程A。在S202中，第一显示控制单元2060确定是否对检查信息200所指示的所有检查项目执行了循环过程A。在对所有检查项目执行了循环过程A的情况下，图11的过程结束。相反，在存在尚未作为循环过程A的目标的检查项目的情况下，第一显示控制单元2060获取后续的检查项目。这里，后续的检查项目被写为检查项目i。
第一显示控制单元2060在显示设备10上显示表示与检查项目i对应的检查点50的指示60(S204)。信息处理设备2000从用户接收对检查项目i的检查结果的输入(S206)。S208是循环过程A的终点。因此，图11的过程从S208进入到S202。
可以使用在S202中第一显示控制单元2060从多个检查项目中选择检查项目i的任何方法。例如，第一显示控制单元2060从尚未作为循环过程A的目标的检查项目中随机地选择检查项目i。例如，第一显示控制单元2060按照在检查信息200中预先确定的顺序选择检查项目。检查信息200中预先确定的检查项目的次序例如是检查项目ID 202的升序。
此外，第一显示控制单元2060可以选择用户注视的检查项目作为检查项目i。具体而言，第一显示控制单元2060计算与尚未成为循环过程A的目标的检查项目对应的检查点在捕获图像20上的位置。这里使用的捕获图像20例如是成像时间点是最近的(最新的)捕获图像20。然后，第一显示控制单元2060确定多个检查点当中在捕获图像20上与参考位置(例如，捕获图像20的中心位置)具有最短距离的检查点。然后，第一显示控制单元2060选择与确定的检查点对应的检查项目作为检查项目i。
在存在与确定的检查点对应的多个检查项目的情况下，例如，作为检查项目i，第一显示控制单元2060从多个检查项目中随机选择检查项目，或选择预先确定的次序中最近的检查项目。
以这种方式，用户可以查看检查点50而尽可能地不改变他或她的视线方向。因此，可以进一步减少用户执行检查工作所需的劳动力。
＜接收输入的方法＞
信息处理设备2000接收来自用户的输入的方法有多种。例如，信息处理设备2000可以使用键盘或触摸面板接收按键输入，或者可以使用麦克风接收语音输入。信息处理设备2000可以通过使用相机70对用户的手势进行成像来接收手势输入。其他输入方法将在以下示例实施例中描述。
[第二示例实施例]
图12是示出根据第二示例实施例的信息处理设备2000的框图。根据第二示例实施例的信息处理设备2000还包括第二显示控制单元2080。第二显示控制单元2080向显示设备10显示输入界面的图像(以下称为界面图像)。信息处理设备2000通过识别界面图像上的操作来接收用户的输入。
图13是示出在平板终端80的触摸面板82上显示界面图像的场景的图。在图13中，界面图像是表示键盘的键盘图像100。用户通过触摸显示在触摸面板82上的键盘图像100来输入文本等。用户的输入显示在输入栏140中。这里，可以使用已知的技术以用于显示界面图像(诸如平板终端80的触摸面板82上的键盘图像100等)的方法，以及由平板终端80接收界面图像上的输入的方法。
图14是示出在头戴式显示器90的显示设备92上显示键盘图像100的场景的图。用户通过操作键盘图像100来执行输入。例如，头戴式显示器90通过检测添加到键盘图像100所显示的位置(图14中的用户的左臂)上的振动来检测操作了界面图像。
在图14中，手表式设备110佩戴在使用者身上。振动传感器包含在设备110中。当用户敲击左臂时，设备110中包含的振动传感器检测由敲击产生的振动。设备110向头戴式显示器90通知检测到振动。通过接收该通知，头戴式显示器90识别出振动被施加到用户的左臂。
此外，头戴式显示器90通过对在对用户的左臂施加振动的时刻生成的捕获图像20执行图像分析，来确定用户的手指与捕获图像20中界面图像的哪个部分重叠。然后，头戴式显示器90确定重叠部分是由用户操作的部分。例如，头戴式显示器90计算在检测到振动的时刻生成的捕获图像20上的用户的手指的位置。然后，头戴式显示器90基于显示设备92上显示的界面图像的位置和用户的手指在捕获图像20上的位置来确定用户的手指与界面图像中的哪个按键重叠。例如，当用户的手指的位置是与按键A重叠的位置时，头戴式显示器90确定按键A被按下。如上所述，基于相机94的各种参数或者显示设备92和相机94之间的位置关系，确定捕获图像20上的位置和显示设备92上的位置之间的对应关系。
这里，为了确定用户按下哪个按钮(按键等)，头戴式显示器90需要识别安装在界面图像上每个按钮的位置。因此，例如，对于由第二显示控制单元2080显示的界面图像，头戴式显示器90获取关于界面图像的信息(以下称为界面信息)。
图15是以表格格式示出界面信息的图。图15的界面信息300包括按钮ID 302、按钮名称304和坐标信息306。按钮ID 302指示按钮的ID。按钮名称304指示按钮的名称。坐标信息306指示界面图像上的按钮的位置(由按钮占据的区域)。例如，坐标信息306使用其原点是界面图像的左上端的坐标来表示。在图15中，坐标信息306表示按钮区域的左上端和右下端的坐标，以界面图像的左上端为原点。
例如，信息处理设备2000基于显示设备10上的界面图像的位置和用户的手指在捕获图像20上的位置来计算用户的手指在界面图像上的位置。然后，信息处理设备2000基于计算出的每个按钮的位置和坐标信息306来确定与用户的手指的位置对应的按钮(按下的按钮)。
上述使用振动传感器检测输入的方法仅仅是示例，并且振动传感器不是必需的组成元件。例如，当用户的手指与相同的按键重叠预定时间时，头戴式显示器90可以检测到按键被操作。
＜显示的界面图像＞
显示设备10上显示的界面图像可以是预先确定的一个图像，或者可以是可以通过用户的选择而改变的图像。在前一种情况下，例如，界面图像被预先设置在第二显示控制单元2080中。例如，指示在显示设备10上显示的界面图像的信息被存储在可由第二显示控制单元2080访问的存储设备中。
另一方面，当通过用户的选择可以改变界面图像时，例如，第二显示控制单元2080首先在显示设备10上显示默认界面图像。此时，在界面图像中包含用于选择另一个界面图像的按键的图像。用户通过操作此按键来改变界面图像。图16是示出非键盘图像100的界面图像的图。图16(a)例示了表示数字键的界面图像。图16(b)例示了表示开/关选项的界面图像。
界面图像可以根据检查点50而不同。例如，当检查点50上的检查工作包括任意数的输入时，界面图像是数字键的图像(参见图16(a)等)。例如，当检查点50上的检查工作包括选择多个选项中的一个的输入时，界面图像是指示选项的界面图像(参见图16(b))。在伴随有选项选择的检查点50中，例如，存在具有开或关状态的开关。
当界面图像根据检查点50而不同时，检查信息200的每个项目指示与该项目的检查点50对应的界面图像的ID或类型。界面图像的ID例如是界面图像的文件名。界面图像的类型是键盘、数字键等。
图17是示出指示界面图像的ID和类型的检查信息200的图。除了包括在图7所示的检查信息200中的列之外，图17所示的检查信息200还包括界面图像212。这里，为了容易地示出附图，在图17所示的检查信息200中未示出显示图像210的内容。
界面图像212指示界面图像的ID或类型。例如，项目0001的界面图像212指示界面图像的ID(文件名)“if001.png”。另一方面，项目0006的界面图像212指示界面图像的类型，即“数字键”。
当在检查信息200中指示界面图像的ID时，第二显示控制单元2080获取具有ID的界面图像，并将所获取的界面图像显示在显示设备10上。另一方面，当在检查信息200中指示界面图像的类型时，第二显示控制单元2080获取界面图像的该类型并且将所获取的界面图像显示在显示设备10上。
这里，界面图像可以被存储在信息处理设备2000内部或外部存储设备中，或者可以被包括在检查信息200中。
图18是示出当界面图像与检查项目相关联时第二显示控制单元2080的处理流程的流程图。S302至S308是对每个检查项目顺序执行的循环过程B。在S302中，第二显示控制单元2080确定是否对由检查信息200指示的所有检查项目执行了循环过程B。当已经对所有检查项目执行了循环过程B时，图18的过程结束。相反，当存在尚未作为循环过程B的目标的检查项目时，第二显示控制单元2080获取后续的检查项目。这里，后续的检查项目被写为检查项目i。
第二显示控制单元2080在显示设备10上显示与检查项目i对应的界面图像(S304)。信息处理设备2000从用户接收对检查项目i的检查结果的输入(S306)。S308是循环过程B的终点。因此，图18的过程从S308进行到S302。
第二显示控制单元2080在S302中从多个检查项目选择检查项目i的方法与如第一示例实施例中所述的第一显示控制单元2060在S202中从多个检查项目选择检查项目i的方法相同。
＜界面图像显示的时间＞
存在第二显示控制单元2080显示界面图像的各种时间。例如，在第一显示控制单元2060在显示设备10上显示指示60的相同时间或相近时间上，第二显示控制单元2080在显示设备10上显示界面图像。
例如，在捕获图像20中包含用作用于显示界面图像的标志的标记的时间上(在由相机对该标记进行成像的时间上)，第二显示控制单元2080可以在显示设备10上显示界面图像。图19是示出捕获图像20中包含标记的场景的图。在图19中，标记是显示在佩戴在用户手臂上的手表式设备110的触摸面板112上的标记图像114。第二显示控制单元2080对由相机生成的捕获图像20重复执行图像分析。当检测到在捕获图像20中包含标记图像114时，第二显示控制单元2080显示界面图像(图19中的键盘图像100)。
这里，用作标记的图像不限于上述标记图像114。标记可以是可以通过图像分析检测到的任何标志(文字、图形或符号)。例如，标记是可以直接绘制在用户的手臂等上的预定标记。例如，标记是在佩戴在用户的手臂等上的任何物体上绘制的预定标志。佩戴在用户的手臂上的物体是例如佩戴在用户手指上的环、佩戴在用户的手腕上的腕带、或由用户佩戴的布袖套。例如，标记被印刷在执行检查工作的工作人员通常佩戴的工作布的袖套上。标记可以绘制或打印在手上。
用于确定被识别为标记的标志的信息可以预先设置在第二显示控制单元2080中，或者可以被存储在可以由第二显示控制单元2080访问的存储设备中。
图20是示出使用标记显示输入界面的图像的过程的流程图。图像获取单元2020获取捕获图像20(S402)。第二显示控制单元2080确定标记是否被包含在捕获图像20中(S404)。当标记被包含在捕获图像20中时(S404中的“是”)，第二显示控制单元2080在显示设备10上显示输入界面的图像(S406)。相反，当标记未被包含在捕获图像20中时(S404中的“否”)，图20的过程结束。
＜界面图像的显示位置＞
存在第二显示控制单元2080显示界面图像的各种位置。例如，第二显示控制单元2080在显示设备10的预定位置处显示界面图像。例如，预定位置是显示设备10的四个角落中的一个。指示预定位置的信息可以预先设置在第二显示控制单元2080中或者可以存储在可由第二显示控制单元2080访问的存储设备中。
例如，第二显示控制单元2080可以基于上述标记的位置来确定界面图像的显示位置。具体而言，界面图像的显示位置被预先定义为与标记的位置的相对位置。第二显示控制单元2080根据包含在捕获图像20中的标记的位置来计算界面图像在捕获图像20上的位置。然后，第二显示控制单元2080在显示设备10上显示在计算出的位置处叠加有界面图像的捕获图像20。
如上所述，当在显示设备10上不显示捕获图像20时(例如，使用透射型头戴式显示器90)，第二显示控制单元2080将界面图像在捕获图像20上的位置转换成在显示设备10上的位置。然后，第二显示控制单元2080在通过转换计算出的显示设备10上的位置处显示界面图像。
＜有益效果＞
根据本示例实施例的信息处理设备2000，用户可以使用信息处理设备2000输入检查结果。因此，相比较例如检查结果必须写在纸张如笔记上，用户更容易地执行检查结果的输入工作。具体而言，当根据检查项目确定界面图像的ID或类型时，用户可以根据检查项目更容易地确认输入结果。这是因为根据检查项目的界面图像被自动显示在显示设备10上。
[第三示例实施例]
图21是示出根据第三示例实施例的信息处理设备2000的框图。除了以下描述之外，根据第三示例实施例的信息处理设备2000具有与根据第一或第二示例实施例的信息处理设备2000及其组合相同的功能。
根据第三示例实施例，信息处理设备2000还包括第三显示控制单元2100。当获取未包含仪器30的捕获图像20时，第三显示控制单元2100在显示设备10上显示仪器30的图像和指示60。因此，当仪器30不在用户的视野内时，用户可以查看仪器30并识别检查点。
图22是示出在平板终端80的触摸面板82上显示仪器30的图像的场景的图。在图22中，成像范围120是相机84的成像范围。如图所示，现实世界中的仪器30在相机84的成像范围之外。因此，仪器30未被包含在捕获图像20中。因此，第三显示控制单元2100在触摸面板82上显示仪器30的图像。指示60被显示为叠加在触摸面板82上显示的仪器30的图像上的检查点50上。用户可以通过查看显示在触摸面板82上的指示60和仪器30来识别当前检查点。这同样适用于显示设备10是头戴式显示器90的显示设备92的情况。
这里，如上所述，当使用透射型头戴式显示器90时，用户查看现实世界中的仪器30而不是查看包含在捕获图像20中的仪器30。然而，即使在这种情况下，当相机94的视角、位置等被设置为使得相机94的成像方向和用户的视线方向彼此相同或近似时，则当仪器30未被包含在捕获图像20中时仪器30不在用户的视野内。因此，第三显示控制单元2100可以通过确定仪器30是否包含在捕获图像20中来间接识别仪器30是否在用户视野内。当仪器30未被包含在捕获图像20中时，通过在显示设备92上显示仪器30的图像，用户可以在仪器30在视野之外的情况下观察仪器30的图像而不是真实世界的仪器30。
＜显示仪器30的图像的方法＞
第三显示控制单元2100获取在显示设备10上显示的仪器30的图像。这里，存在第三显示控制单元2100获取仪器30的图像的各种方法。例如，第三显示控制单元2100获取包含仪器30的整个捕获图像20或包含仪器30的捕获图像20的部分作为仪器30的图像。例如，当检查信息200包含仪器的图像，如图7的检查信息200时，第三显示控制单元2100可以获取包含在检查信息200中的仪器30的图像。
可以使用显示设备10的任何位置显示仪器30的图像。例如，第三显示控制单元2100在显示设备10上的预定位置(四个角落中的一个)上显示仪器30的图像。指示预定位置的信息可以预先设置在第三显示控制单元2100中，或者可被存储在可由第三显示控制单元2100访问的存储设备中。
例如，第三显示控制单元2100可以将通过使用在第二示例实施例中描述的标记确定的位置作为参考显示仪器30的图像。在这种情况下，当标记被包含在捕获图像20中时，第三显示控制单元2100显示仪器30的图像。第三显示控制单元2100在基于标记的位置的位置处显示仪器30的图像的方法与第二显示控制单元2080在基于标记的位置的位置处显示界面图像的方法相同。
＜指示60的变化＞
当在将仪器30的图像显示在显示设备10上的状态下用户输入检查结果时，第三显示控制单元2100将指示60在仪器30的图像上的指示位置等改变为对应于后续检查项目的位置。通过这样做，即使当在仪器30未被包含在捕获图像20中的状态下用户输入检查结果时，用户也可以识别后续检查点50。因此，用户可以容易地看到随后要查看的检查点50。
图23是示出在触摸面板82上显示仪器30的图像的状态下输入检查结果的场景的图。图23(a)示出输入检查点50-1的检查结果之前的场景，图23(b)示出输入检查点50-1的检查结果之后的场景。在图23(a)中，将指示60-1叠加在检查点50-1上。另一方面，在图23(b)中，将指示60-2叠加在作为检查点50-1的后续检查点的检查点50-2上。
＜显示仪器30的图像的条件＞
在以上描述中，当“仪器30未被包含在捕获图像20中”时，第三显示控制单元2100显示仪器30的图像。然而，第三显示控制单元2100显示仪器30的图像的情况不限定于仪器30未被完全包含在捕获的图像20中的情况。例如，当包含在捕获图像20中的仪器30的尺寸与整个仪器30的尺寸的比率等于或小于预定比率时第三显示控制单元2100显示仪器30的图像。例如，当仪器30包含在捕获图像20中并且当前检查点50未被包含在指示60中时，第三显示控制单元2100显示仪器30的图像。例如，当标记被包含在捕获图像20中时，第三显示控制单元2100显示仪器30的图像，而不管仪器30是否未被包含在捕获图像20中。
[第四示例实施例]
图24是示出根据第四示例实施例的信息处理设备2000的框图。除了以下描述之外，根据第四示例实施例的信息处理设备2000具有与根据第一到第三示例实施例中之一的信息处理设备2000及其组合相同的功能。
第四示例实施例的信息处理设备2000还包括第四显示控制单元2120。当捕获图像20中未包含与检查项目对应的检查点50的情况下，第四显示控制单元2120在显示设备10上显示表示检查点50所在的方向的指示。
图25是概念性地示出根据第四示例实施例的信息处理设备2000的操作的图。图25(a)示出了在平板终端80的触摸面板82上显示捕获图像20的场景。在捕获图像20中仅包含仪器30的一部分。因此，只有仪器30的一部分未被显示在触摸面板82上。
图25(b)示出了实际仪器30。当前检查项目是图25(b)中所示的检查点50。由于检查点50位于相机84的成像范围之外，所以检查点50未被包含在捕获图像20中。因此，检查点50未被包含在图25(a)的触摸面板82中。
相应地，如图25(a)所示，第四显示控制单元2120在触摸面板82(显示设备10)上显示表示检查点50所在的方向的指示130。因此，用户可以识别检查点50的大致位置。
例如，通过执行诸如参考指示130向下倾斜平板终端80的操作，用户使相机94朝向检查点50转动。当通过这样做检查点50进入相机94的成像范围时，信息处理设备2000显示指示60，使得指示60叠加在触摸面板82上显示的检查点50上，如在第一示例实施例等中所述。结果，用户可以具体地识别检查点50的位置等。
＜计算检查点50所在的方向的方法＞
在示例性实施例中，检查信息200的检查点208指示检查点50在仪器30上的相对位置。仪器30的一部分包含在捕获图像20中。使用包含在捕获图像20中的仪器30的一部分以及检查点50在仪器30上的相对位置，第四显示控制单元2120计算检查点50在由捕获图像20确定的平面上的位置。然后，第四显示控制单元2120将显示指示130的位置作为起点，将从该点到上述计算出的检查点50的位置的方向或与其接近的方向作为指示130所表示的方向。“与其接近的方向”例如是上、下、左和右方向中与从显示指示130的位置看检查点50的方向最接近的方向。
图26是概念性地示出计算由指示130指示的方向的方法的图。图26(a)是示出作为当前检查点50的开关的位置作为仪器30上的相对位置的图。图26(a)中的XY平面上的原点是仪器30的左上端。然后，检查点50的中心的坐标是(a，b)。
图26(b)是示出根据捕获图像20确定的平面的图。图26(b)中示出的XY平面的原点是捕获图像20的左上端。然后，XY平面上的仪器30的左上端的坐标是(x0，y0)，并且显示指示130的位置是(x1，y1)。第四显示控制单元2120计算根据捕获图像20确定的平面上的检查点50的中心的坐标。坐标是(x0+a，y0+b)。因此，第四显示控制单元2120计算起点为(x1，y1)且终点为(x0+a，y0+b)的方向作为由指示130表示的方向。
显示指示130的位置可以是预先确定的预定位置(例如，显示设备10的中心或四个角)，或者可以是根据检查点50的位置确定的位置。图27是示出根据检查点50的位置确定显示指示130的位置的情况的图。例如，在检查点50的位置位于包含在捕获图像20中的区域的右侧的情况下，第四显示控制单元2120在触摸面板82的右端附近显示指示130-1(向右箭头)。例如，当检查点50的位置位于包含在捕获图像20中的区域的下侧的情况下，第四显示控制单元2120在触摸面板82的下端附近显示指示130-2(向下箭头)。这同样适用于检查点50的位置位于捕获图像20中包含的区域的左侧或上侧的情况。
＜处理流程＞
图28是示出由第一显示控制单元2060和第四显示控制单元2120执行的处理流程的流程图。S502至S512是对每个检查项目顺序执行的循环过程C。在S502中，第四显示控制单元2120确定是否对由检查信息200指示的所有检查项目执行了循环过程C。当已经对所有检查项目执行了循环过程C时，图28的过程结束。相反，在存在尚未成为循环过程C的目标的检查项目的情况下，第四显示控制单元2120获取后续的检查项目。这里，后续的检查项目被写为检查项目i。
第四显示控制单元2120确定与检查项目i对应的检查点50是否包含在捕获图像20中(S504)。当在捕获图像20中包含与检查项目i对应的检查点50的情况下，图28的过程进入S506。相反，在捕获图像20未包含与检查项目i对应的检查点50的情况下，图28的过程进入S510。
在S506中，第一显示控制单元2060在显示设备10上显示表示与检查项目i对应的检查点50的指示60。信息处理设备2000从用户接收检查项目i的检查结果的输入(S508)。
另一方面，在S510中，第四显示控制单元2120在显示设备10上显示表示与检查项目i对应的检查点50所在的方向的指示130。
S512是循环过程C的终点。因此，图28的过程进入S502。
在S502中第四显示控制单元2120从多个检查项目中选择检查项目i的方法与如在第一示例实施例中描述的第一显示控制单元2060从多个检查项目中选择检查项目i的方法相同。
＜有益效果＞
根据本示例实施例的信息处理设备2000在检查点50未被包括在捕获图像20中时在显示设备10上显示表示检查点50所在方向的指示130。指示130是用于使用户将相机70转向检查地点50的线索。因此，即使当检查点50未被包含在相机70的成像范围内时，通过引导用户使检查点50进入相机70的成像范围，用户也可以容易地识别检查点50。
[第五示例实施例]
图29是示出根据第五示例实施例的信息处理设备2000的框图。除了以下描述之外，根据第五示例实施例的信息处理设备2000具有与根据第一到第四示例实施例之一的信息处理设备2000及其组合相同的功能。
根据第五示例实施例的信息处理设备2000包括异常确定单元2140和附加信息获取单元2160。异常确定单元2140确定关于检查项目接收到的检查结果的输入是否处于异常状态。检查结果的输入指示异常状态是指例如仪表指示未包括在正常值的范围内的值或者必须打开的开关关闭的情况。附加信息获取单元2160在检查结果的输入指示异常状态时获取附加信息。
异常确定单元2140使用检查信息确定检查结果的输入是否指示异常状态。因此，根据本示例实施例的检查信息包括用于识别每个检查项目的检查点的正常状态或异常状态的信息(以下称为参考信息)。例如，参考信息指示正常值的范围或仪表的异常值的范围等。例如，参考信息指示在正常状态下打开/关闭的开关是打开还是关闭，或者在异常状态中开关是打开还是关闭。
由附加信息获取单元2160获取的附加信息是在检查点发生异常时提供给用户的各种类型的信息。例如，附加信息是指示要另外检查的检查项目的检查信息。例如，在检查作业中的某个检查点发生异常的情况下，存在与该检查点相关的要进一步检查的另一检查点。因此，附加信息将以这种方式指示关于要进一步检查的检查点的检查信息。
例如，当在检查点发生异常时，附加信息可以是指示用户要执行的动作的手册等。例如，当要打开的开关被关闭时，存在检查工作人员可能会改变开关使得开关在该位置打开的情况，并且还存在呼叫仪器的管理者并且请求管理者执行处理的情况。因此，附加信息获取单元2160获取指示要由用户执行的动作的手册作为附加信息。
信息处理设备2000在显示设备10上显示附加信息。例如，当附加信息是指示要另外检查的检查项目的检查信息时，第一显示控制单元2060对由附加信息指示的检查项目执行与检查信息获取单元2040获取的检查信息相同的过程。在这种情况下，第一显示控制单元2060可以在对由检查信息获取单元2040获取的检查信息的处理结束之后，对附加信息执行处理，或者可以在对由检查信息获取单元2040获取的检查信息处理之前对附加信息执行处理。
附加信息获取单元2160从存储附加信息的存储单元获取附加信息。存储单元可以安装在信息处理设备2000内部或可以安装在外部。安装在外部的存储单元可以是诸如网络附加存储(NAS)的存储设备或诸如数据库服务器的服务器。
＜处理流程＞
图30是示出根据第五示例实施例的信息处理设备2000执行的处理流程的流程图。图30示出在图11的S206和S208之间执行S602和S604。这里，S602和S604可以在图18的S306和S308之间执行，或者在图28的S508至S512之间执行。
异常确定单元2140确定接收到的输入是否指示异常状态(S602)。当输入指示异常状态时(S602中的“是”)，附加信息获取单元2160获取附加信息(S604)。相反，当输入指示正常状态时(S602中的“否”)，图30的过程结束。
＜有益效果＞
根据本示例实施例，当在检查点发生异常时提供附加信息。因此，用户检查由附加信息指示的附加检查项目或者可以执行各种对策，诸如根据附加信息指示的手册的动作。因此，当检查点发生异常时，用户可以容易地确定要执行的动作等。
以上参照附图描述了本发明的实施例。这些实施例仅仅是本发明的示例，并且上述实施例的组合或者除了上述配置之外的各种配置也可以被采用。
以下，附上参考示例。
1.一种信息处理设备，包括：
图像获取单元，获取包含要检查的仪器的捕获图像；
检查信息获取单元，获取指示包含在所述捕获图像中的所述仪器的每个检查项目的检查信息；以及
第一显示控制单元，显示表示与所述检查信息所指示的检查项目对应的检查点的指示，使得所述指示叠加在显示设备上的所述检查点上或者将所述指示显示在所述显示设备上的所述检查点中或所述仪器附近。
2.根据1.所述的信息处理设备，
其中所述检查信息指示多个检查项目的顺序，并且
其中所述第一显示控制单元在所述显示设备上显示表示与第一顺序的检查项目对应的检查点的指示，并且在输入所述第一顺序的检查项目的检查结果之后，在所述显示设备上显示表示与第二顺序的检查项目对应的检查点的指示，所述第二顺序是所述第一顺序的下一顺序。
3.根据1.或2.所述的信息处理设备，
其中用于输入检查项目的检查结果的输入界面的标识符或类型与每个检查项目相关联，并且
其中所述信息处理设备还包括第二显示控制单元，所述第二显示控制单元在所述显示设备上显示利用与所述检查项目对应的输入界面的标识符或类型确定的所述输入界面的图像。
4.根据1.或2.所述的信息处理设备，还包括第二显示控制单元，在获取所述检查信息之后，当获取到包含标记的捕获图像时，所述第二显示控制单元在所述显示设备上显示接收关于所述检查项目的检查结果的输入的输入界面的图像。
5.根据1.至4.中任一项所述的信息处理设备，还包括第三显示控制单元，所述第三显示控制单元在所述显示设备上显示包含所述仪器并且其中叠加了表示所述检查点的指示的图像。
6.根据5.所述的信息处理设备，其中在获取所述检查信息之后，当获取到未包含所述仪器的捕获图像或者获取到包含标记的捕获图像时，所述第三显示控制单元在所述显示设备上显示包含所述仪器并且其中叠加了表示所述检查点的指示的图像。
7.根据1.至6.中任一项所述的信息处理设备，还包括第四显示控制单元，当所获取的检查信息所指示的检查点未被包含在所述捕获图像中时，所述第四显示控制单元在所述显示设备上显示表示所述捕获图像中未包含的检查点所在的方向的指示。
8.根据1.至7.中任一项所述的信息处理设备，还包括：
异常确定单元，确定针对检查项目接收到的检查结果的输入是否指示异常状态；以及
附加信息获取单元，当检查结果的输入指示异常状态时获取附加信息。
9.根据1.至8.中任一项所述的信息处理设备，
其中所述显示设备是透射型头戴式显示器的显示设备，并且
其中所述第一显示控制单元在所述显示设备上与用户的眼睛通过所述显示设备看到的所述检查点重叠的位置处或附近显示表示所述检查点的指示。
10.根据9.所述的信息处理设备，其中所述第一显示控制单元执行：基于生成所述捕获图像的相机的视角、所述相机和所述显示设备之间的位置关系以及所述捕获图像中包含的所述检查点的位置来计算所述用户的眼睛通过所述显示设备看到的所述显示设备上的所述检查点的位置；并且在计算出的位置处或附近显示表示所述检查点的指示。
11.根据1.至10.中任一项所述的信息处理设备，其中由所述检查项目指示的所述检查点是仪表、控制杆或开关。
12.一种由计算机执行的控制方法，所述方法包括：
图像获取步骤，获取包含要检查的仪器的捕获图像；
检查信息获取步骤，获取指示包含在所述捕获图像中的所述仪器的每个检查项目的检查信息；以及
第一显示控制步骤，显示表示与所述检查信息所指示的检查项目对应的检查点的指示，使得所述指示叠加在显示设备上的所述检查点上或者将所述指示显示在所述显示设备上的所述检查点中或所述仪器附近。
13.根据12.所述的控制方法，
其中所述检查信息指示多个检查项目的顺序，并且
其中在所述第一显示控制步骤中，在所述显示设备上显示表示与第一顺序的检查项目对应的检查点的指示，并且在输入所述第一顺序的检查项目的检查结果之后，在所述显示设备上显示表示与第二顺序的检查项目对应的检查点的指示，所述第二顺序是所述第一顺序的下一顺序。
14.根据12.或13.所述的控制方法，
其中用于输入检查项目的检查结果的输入界面的标识符或类型与每个检查项目相关联，并且
其中所述控制方法还包括第二显示控制步骤，用于在所述显示设备上显示利用与所述检查项目对应的输入界面的标识符或类型确定的所述输入界面的图像。
15.根据12.或13.所述的控制方法，还包括第二显示控制步骤，用于在获取所述检查信息之后，当获取到包含标记的捕获图像时，在所述显示设备上显示接收关于所述检查项目的检查结果的输入的输入界面的图像。
16.根据12.至15.中任一项所述的控制方法，还包括第三显示控制步骤，用于在所述显示设备上显示包含所述仪器并且其中进一步叠加了表示所述检查点的指示的图像。
17.根据16.所述的信息处理设备，
其中在所述第三显示控制步骤中，在获取所述检查信息之后，当获取到未包含所述仪器的捕获图像或者获取到包含标记的捕获图像时，在所述显示设备上显示包含所述仪器并且其中叠加了表示所述检查点的指示的图像。
18.根据12.至17.中任一项所述的控制方法，还包括第四显示控制步骤，用于当所获取的检查信息所指示的检查点未被包含在所述捕获图像中时，在所述显示设备上显示表示所述捕获图像中未包含的检查点所在的方向的指示。
19.根据12.至18.中任一项所述的信息处理设备，还包括：
异常确定单元，确定针对检查项目接收到的检查结果的输入是否指示异常状态；以及
附加信息获取单元，当检查结果的输入指示异常状态时获取附加信息。
20.根据12.至19.中任一项所述的控制方法，
其中显示设备是透射型头戴式显示器的显示设备，并且
其中在所述第一显示控制步骤中，在所述显示设备上与用户的眼睛通过所述显示设备看到的所述检查点重叠的位置处或附近显示表示所述检查点的指示。
21.根据20.所述的控制方法，其中在所述第一显示控制步骤中，基于生成所述捕获图像的相机的视角、所述相机和所述显示设备之间的位置关系以及所述捕获图像中包含的所述检查点的位置来计算所述用户的眼睛通过所述显示设备看到的所述显示设备上的所述检查点的位置；并且在计算出的位置处或附近显示表示所述检查点的指示。
22.根据12.至21.中任一项所述的控制方法，
其中由所述检查项目指示的所述检查点是仪表、控制杆或开关。
23.一种使计算机执行12.至22.之一所述的控制方法的每个步骤的程序。
本申请要求2015年11月10日递交的第2015-220320号日本专利申请的优先权，其内容通过引用合并到本文。

Claims (13)

1.一种信息处理设备，包括：
图像获取单元，获取包含要检查的仪器的捕获图像；
检查信息获取单元，获取指示包含在所述捕获图像中的所述仪器的每个检查项目的检查信息；以及
第一显示控制单元，显示表示与所述检查信息所指示的检查项目对应的检查点的指示，使得所述指示叠加在显示设备上的所述检查点上或者将所述指示显示在所述显示设备上的所述检查点中或所述仪器附近，
其中所述信息处理设备还包括第二显示控制单元，在获取所述检查信息之后，当获取到包含标记的捕获图像时，所述第二显示控制单元在所述显示设备上显示接收关于所述检查项目的检查结果的输入的输入界面的图像，
其中所述第二显示控制单元在基于捕获图像中包括的标记的位置确定的位置处显示所述输入界面的图像。
2.根据权利要求1所述的信息处理设备，其中所述标记附着到所述信息处理设备的用户的身体上。
3.根据权利要求2所述的信息处理设备，其中所述标记是显示在附着到用户的设备的显示设备上的预定图像。
4.根据权利要求1、2、3中任一项所述的信息处理设备，
其中所述检查信息指示多个检查项目的顺序，以及
其中所述第一显示控制单元在所述显示设备上显示表示与第一顺序的检查项目对应的检查点的指示，以及在输入所述第一顺序的检查项目的检查结果之后，在所述显示设备上显示表示与第二顺序的检查项目对应的检查点的指示，所述第二顺序是所述第一顺序的下一顺序。
5.根据权利要求1、2、3中任一项所述的信息处理设备，还包括第三显示控制单元，
在获取所述检查信息之后，当获取到未包含所述仪器的捕获图像或者获取到包含标记的捕获图像时，所述第三显示控制单元在所述显示设备上显示在所述仪器上叠加了表示所述检查点的指示的图像。
6.根据权利要求5所述的信息处理设备，
其中所述检查信息指示多个检查项目的顺序，以及
其中在获取所述检查信息之后，当获取到未包含所述仪器的捕获图像或获取到包含标记的捕获图像时，所述第三显示控制单元在所述显示设备上显示表示与第一顺序的检查项目对应的检查点的指示叠加在所述仪器上的图像，
其中在输入关于所述第一顺序的检查项目的检查结果之后，当获取到未包含所述仪器的捕获图像或获取到包含标记的捕获图像时，在所述显示设备上显示表示与第二顺序的检查项目对应的检查点的指示叠加在所述仪器上的图像，所述第二顺序是所述第一顺序的下一顺序。
7.根据权利要求1、2、3中任一项所述的信息处理设备，还包括第四显示控制单元，当所获取的检查信息所指示的检查点未被包含在所述捕获图像中时，所述第四显示控制单元在所述显示设备上显示表示所述捕获图像中未包含的检查点所在的方向的指示。
8.根据权利要求1、2、3中任一项所述的信息处理设备，还包括：
异常确定单元，确定针对检查项目接收到的检查结果的输入是否指示异常状态；以及
附加信息获取单元，当检查结果的输入指示异常状态时获取附加信息。
9.根据权利要求1、2、3中任一项所述的信息处理设备，
其中所述显示设备是透射型头戴式显示器的显示设备，以及
其中所述第一显示控制单元在所述显示设备上与用户的眼睛通过所述显示设备看到的所述检查点重叠的位置处或附近显示表示所述检查点的指示。
10.根据权利要求9所述的信息处理设备，其中所述第一显示控制单元执行：基于生成所述捕获图像的相机的视角、所述相机和所述显示设备之间的位置关系以及所述捕获图像中包含的所述检查点的位置来计算所述用户的眼睛通过所述显示设备看到的所述显示设备上的所述检查点的位置；以及在计算出的位置处或附近显示表示所述检查点的指示。
11.根据权利要求1、2、3中任一项所述的信息处理设备，其中由所述检查项目指示的所述检查点是仪表、控制杆或开关。
12.一种由计算机执行的控制方法，所述方法包括：
图像获取步骤，获取包含要检查的仪器的捕获图像；
检查信息获取步骤，获取指示包含在所述捕获图像中的所述仪器的每个检查项目的检查信息；以及
第一显示控制步骤，显示表示与所述检查信息所指示的检查项目对应的检查点的指示，使得所述指示叠加在显示设备上的所述检查点上或者将所述指示显示在所述显示设备上的所述检查点中或所述仪器附近，
其中所述方法还包括第二显示控制步骤，在获取所述检查信息之后，当获取到包含标记的捕获图像时，在所述显示设备上显示接收关于所述检查项目的检查结果的输入的输入界面的图像，
其中在基于捕获图像中包括的标记的位置确定的位置处显示所述输入界面的图像。
13.一种计算机可读存储介质，存储使计算机执行根据权利要求12所述的控制方法的每个步骤的程序。
CN201680053056.0A 2015-11-10 2016-09-07 信息处理设备、控制方法和程序 Active CN108027903B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015220320 2015-11-10
JP2015-220320 2015-11-10
PCT/JP2016/076249 WO2017081920A1 (ja) 2015-11-10 2016-09-07 情報処理装置、制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN108027903A CN108027903A (zh) 2018-05-11
CN108027903B true CN108027903B (zh) 2021-11-23

Family

ID=58695958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680053056.0A Active CN108027903B (zh) 2015-11-10 2016-09-07 信息处理设备、控制方法和程序

Country Status (4)

Country Link
US (1) US10713488B2 (zh)
JP (1) JP6332568B2 (zh)
CN (1) CN108027903B (zh)
WO (1) WO2017081920A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10444908B2 (en) * 2016-12-31 2019-10-15 Innoventions, Inc. Virtual touchpads for wearable and portable devices
WO2019003359A1 (ja) * 2017-06-28 2019-01-03 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
CN117522378A (zh) * 2017-09-29 2024-02-06 日立建机株式会社 工程机械的点检支援系统、管理服务器及点检报告创建系统
JP2021140524A (ja) * 2020-03-06 2021-09-16 株式会社東芝 検査端末装置、検査装置、検査システム、及び、検査プログラム
JP6884911B1 (ja) * 2020-07-14 2021-06-09 九電ビジネスソリューションズ株式会社 運用保守システム、運用保守方法および運用保守プログラム
CN112464936B (zh) * 2020-12-11 2022-12-20 合肥维信诺科技有限公司 显示模组异常显示区域的定位方法和定位装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4731650A (en) * 1985-08-13 1988-03-15 English Electric Valve Company Limited Spatial characteristic determination
CN1725975A (zh) * 2002-12-12 2006-01-25 奥林巴斯株式会社 信息处理装置
CN102196176A (zh) * 2010-03-15 2011-09-21 索尼公司 信息处理设备、信息处理方法和程序
CN102982310A (zh) * 2011-09-05 2013-03-20 索尼公司 信息处理器、信息处理方法和程序

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002007600A (ja) * 2000-06-26 2002-01-11 Hitachi Chem Co Ltd 構造物の巡回管理方法、巡回管理支援装置、巡回管理支援システム、巡回管理用データ構造を記録した記録媒体、及び巡回管理支援プログラムを記録した記録媒体
JP4328650B2 (ja) 2004-03-18 2009-09-09 中国電力株式会社 設備点検支援プログラム及び装置
JP4620030B2 (ja) 2005-10-28 2011-01-26 富士通株式会社 設備点検支援システム、設備点検支援方法およびそのプログラム
US20090295712A1 (en) * 2008-05-29 2009-12-03 Sony Ericsson Mobile Communications Ab Portable projector and method of operating a portable projector
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
JP5480777B2 (ja) * 2010-11-08 2014-04-23 株式会社Ｎｔｔドコモ オブジェクト表示装置及びオブジェクト表示方法
CN104220973A (zh) 2012-04-18 2014-12-17 索尼公司 信息处理装置和程序
JP5334145B1 (ja) * 2012-06-29 2013-11-06 トーヨーカネツソリューションズ株式会社 物品のピッキング作業の支援システム
JP2014071756A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd 作業補助システムおよびプログラム
JP6402443B2 (ja) * 2013-12-18 2018-10-10 富士通株式会社 制御プログラム、制御装置及び制御システム
JP6393996B2 (ja) 2014-02-04 2018-09-26 富士通株式会社 情報読取システム、読取制御方法及び読取制御プログラム
US20170004827A1 (en) * 2015-06-30 2017-01-05 Siemens Energy, Inc. Data Collection and Reporting System and Method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4731650A (en) * 1985-08-13 1988-03-15 English Electric Valve Company Limited Spatial characteristic determination
CN1725975A (zh) * 2002-12-12 2006-01-25 奥林巴斯株式会社 信息处理装置
CN102196176A (zh) * 2010-03-15 2011-09-21 索尼公司 信息处理设备、信息处理方法和程序
CN102982310A (zh) * 2011-09-05 2013-03-20 索尼公司 信息处理器、信息处理方法和程序

Also Published As

Publication number Publication date
CN108027903A (zh) 2018-05-11
WO2017081920A1 (ja) 2017-05-18
US20190156118A1 (en) 2019-05-23
JPWO2017081920A1 (ja) 2018-04-05
US10713488B2 (en) 2020-07-14
JP6332568B2 (ja) 2018-05-30

Similar Documents

Publication Publication Date Title
CN108027903B (zh) 信息处理设备、控制方法和程序
CN107615214B (zh) 界面控制系统、界面控制装置、界面控制方法及程序
CN102906671B (zh) 手势输入装置及手势输入方法
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
US8811667B2 (en) Terminal device, object control method, and program
CN108027656B (zh) 输入设备、输入方法和程序
CN103176690B (zh) 显示控制设备、显示控制方法和程序
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
JP2016194799A (ja) 画像解析装置及び画像解析方法
JPWO2014016992A1 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
US10013156B2 (en) Information processing apparatus, information processing method, and computer-readable recording medium
US20180150931A1 (en) Screen zoom feature for augmented reality applications
JP2017068465A (ja) 情報処理装置、制御方法、及びプログラム
US20200293118A1 (en) Character input device, character input method, and character input program
EP2296081A1 (en) Image processing apparatus and method of controlling the same
KR101573287B1 (ko) 전자기기에서 터치 위치 디스플레이 방법 및 장치
US20240087255A1 (en) Information processing apparatus, system, control method, and non-transitory computer storage medium
US20160283048A1 (en) Data input system, data input method, data input program, and data input device
JP2023531303A (ja) 誇張されたコンテンツを用いた動的なスケッチのためのシステム及び方法
TR201910408A1 (zh)
JP2017016399A (ja) 情報処理システム、及び、その制御方法、プログラム、記録媒体、文字入力制御システム
KR20160116659A (ko) 지정 커서를 이용한 한영 변환키의 한글모드 및 영문모드 인지 장치 및 방법
WO2015153530A1 (en) Automatic capture and entry of access codes using a camera
JP2015103108A (ja) 文字入力システム、携帯端末装置、及びコンピューター

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant