CN109413376A - 作业支援系统、可穿戴装置、摄像装置、作业支援方法 - Google Patents

作业支援系统、可穿戴装置、摄像装置、作业支援方法 Download PDF

Info

Publication number
CN109413376A
CN109413376A CN201810863089.2A CN201810863089A CN109413376A CN 109413376 A CN109413376 A CN 109413376A CN 201810863089 A CN201810863089 A CN 201810863089A CN 109413376 A CN109413376 A CN 109413376A
Authority
CN
China
Prior art keywords
mentioned
image data
photographic
operator
work support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810863089.2A
Other languages
English (en)
Inventor
志村和彦
神田和男
福谷佳之
室井隆
宫内裕司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN109413376A publication Critical patent/CN109413376A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • General Factory Administration (AREA)

Abstract

作业支援系统、可穿戴装置、摄像装置、作业支援方法，它们能够进行所执行的各作业的证据记录。因此，作业支援系统具有：第1摄像装置(20)，其主要取得动态图像数据；第2摄像装置(30)，其主要取得静态图像数据；控制装置(10)，其使第1摄像装置和第2摄像装置协作而进行控制，并且取得规定作业的作业信息；以及数据库(13)，其预先蓄积与规定作业有关的规定作业信息，根据使第1摄像装置和第2摄像装置协作而取得的图像数据，对规定作业进行支援。

Description

作业支援系统、可穿戴装置、摄像装置、作业支援方法
技术领域
本发明涉及用于对规定了作业顺序的规定作业进行支援的作业支援系统、可穿戴装置、摄像装置、作业支援方法
背景技术
以往，各种工业生产物(产品)广泛普及。关于将这些各种工业生产物(产品)作为对象的作业，例如存在制造工序内的制造组装作业、使用这些产品时的作业(处理作业)或相同产品的维护作业(保养、检查、调整、修理等)等各种作业。在这些作业中，多数情况下，按照各个作业明确规定了各规定作业顺序和方法等。另一方面，在这些作业中存在基于作业者的手动作业(手动操作)的作业。
在这种作业中，按照作为对象的各产品而存在各种各样的作业。而且，关于各个作业，有时需要复杂的顺序，或者需要根据需要适当进行确认作业。因此，为了可靠地进行规定的作业，作业者准确地记忆全部规定作业顺序，或者一边参照操作说明书等手册一边进行作业。
多数情况下，在这种作业中规定了严格的作业顺序，并且，必须忠实地履行该作业顺序。
例如，在清洗作业等的情况下，反复进行如下的一连串作业：对该对象器具等的规定部位进行清洗作业，然后，进行用于确认该部位的清洗状态的观察作业。而且，要求减少污染机会、有技巧地尽快且顺畅地进行这种作业。
但是，可靠地记忆全部规定的一连串作业并始终进行准确的作业，则要求熟练。并且，在一边参照操作说明书等手册一边进行作业的情况下，妨碍顺畅的作业，并且需要作业时间。
因此，关于用于在进行明确规定了作业顺序的规定作业时对作业者进行支援的作业支援系统，例如通过日本特开2017-75001号公报等，以往提出了各种方案。
上述日本特开2017-75001号公报等所公开的作业支援系统是用于对移动式吊车的作业顺序进行引导的作业支援系统。该作业支援系统例如使用可穿戴型的观察装置构成，以针对作业者(操作员)正确地引导规定作业顺序。
而且，该作业支援系统构成为具有远程操作装置，该远程操作装置具有检测作业机的状态的检测装置、发送由该检测装置检测到的作业机的状态的发送部、对作业机进行远程操作的操作部、显示作业顺序的显示部、接收由发送部发送的作业机的状态的接收部，在设置于远程操作装置中的显示部中，根据接收到的作业机的状态显示规定的作业顺序。
根据这种结构，在上述作业支援系统中，能够按照每个作业工序在观察装置的显示画面中适当显示对应的作业内容的详细说明，因此，即使不预先记忆作业顺序，也能够始终进行准确的作业顺序。
但是，在上述日本特开2017-75001号公报等所公开的现有的作业支援系统中，在观察装置的显示画面中仅显示预先准备的说明信息等。
发明内容
本发明是鉴于上述情况而完成的，其目的在于，提供能够在用于对规定了作业顺序的规定作业进行支援的作业支援系统中进行所执行的各作业的证据记录的作业支援系统、可穿戴装置、摄像装置、作业支援方法。
本发明的一个方式的作业支援系统具有：第1摄像装置，其主要取得动态图像数据；第2摄像装置，其主要取得静态图像数据；控制装置，其使上述第1摄像装置和上述第2摄像装置协作而进行控制，并且取得规定作业的作业信息；以及数据库，其预先蓄积有与规定作业有关的规定作业信息，根据使上述第1摄像装置和上述第2摄像装置协作而取得的图像数据，对规定作业进行支援。
本发明的一个方式的可穿戴装置具有：第1摄像部，其取得第1图像数据，以取得与作业者的视线对应的作业信息；通信部，其取得来自第2摄像装置的第2图像数据，该第2摄像装置设置于与上述作业者不同的位置；以及作业判定部，其根据数据库的作业信息对上述第1图像数据和上述第2图像数据进行判定。
本发明的一个方式的摄像装置具有：接收部，其接收第1摄像部的信息，该第1摄像部在可穿戴装置中取得第1图像数据以取得与作业者的视线对应的作业信息；数据库，其预先蓄积有与规定作业有关的规定作业信息；以及作业判定部，其根据上述数据库的作业信息对该摄像装置输出的图像数据和上述第1图像数据进行判定。
在本发明的一个方式的作业支援方法中，取得第1图像数据，以取得与作业者的视线对应的作业信息，取得第2图像数据，以取得和上述与作业者的视线对应的作业信息不同的作业信息，针对上述第1图像数据和上述第2图像数据，根据数据库来判定作业，该数据库预先蓄积有与规定作业有关的由来自多个视野的图像信息构成的作业信息。
本发明的一个方式的另一个作业支援系统具有：由作业者佩戴的可穿戴终端装置，其取得与作业者的视场大致相同的摄像范围的动态图像数据；辅助照相机，其用于从与上述可穿戴终端装置不同的方向取得包含规定对象物在内的规定摄像范围的静态图像数据；以及控制装置，其使上述可穿戴终端装置和上述辅助照相机协作而进行控制，根据由上述可穿戴终端装置取得的动态图像数据对上述辅助照相机进行控制，而取得作为作业的证据的静态图像数据。
在本发明的一个方式的另一个作业支援方法中，取得与作业者的视场大致相同的摄像范围的动态图像数据，根据所取得的上述动态图像数据，从与上述动态图像数据不同的方向取得包含规定对象物在内的规定摄像范围的静态图像数据作为作业的证据。
本发明的目的和利益根据以下的详细说明而更加清楚。
根据本发明，能够提供能够在用于对规定了作业顺序的规定作业进行支援的作业支援系统中进行所执行的各作业的证据记录的作业支援系统、可穿戴装置、摄像装置、作业支援方法。
附图说明
图1是示出本发明的一个实施方式的作业支援系统的结构的概略结构框图。
图2是示出构成本发明的一个实施方式的作业支援系统的一部分的第1摄像装置(可穿戴终端装置)的概略结构的概念图。
图3是示出作业者佩戴了第1摄像装置(可穿戴终端装置)时的从作业者的面部的正面进行观察的状况、同时示出作业者的双眼的视场的概念图。
图4是更加详细地示出图3所示的作业者的双眼的视场的概念图。
图5是示出医疗器具的维护作业(器具清洗灭菌作业)中由作业者进行的作业的流程的流程图。
图6是示出维护作业中生成的证据信息的一例的图。
图7是示出使用本发明的一个实施方式的作业支援系统进行规定维护作业(器具清洗灭菌作业)时的状况的概念图。
图8是基于在使用本发明的一个实施方式的作业支援系统的维护作业(器具清洗灭菌作业)的作业中由可穿戴终端装置取得的图像数据的图像的显示例。
图9是示出本发明的一个实施方式的作业支援系统中的控制装置的作用的流程图。
图10是示出本发明的一个实施方式的作业支援系统中的可穿戴终端装置(第1摄像装置)的作用的流程图。
图11是示出本发明的一个实施方式的作业支援系统中的辅助照相机(第2摄像装置)的作用的流程图。
图12是假设了剪刀清洗灭菌作业的数据库的例示。
图13是示出作业者为了进行“工具确认”作业而在辅助照相机的前面(摄像范围内)举起右手拿着的规定工具(刷子)时由可穿戴终端装置取得的动态图像中的一个场景的图。
图14是在图13的时机由辅助照相机取得的静态图像的例示。
图15是示出对第1部位(刃部)进行刷洗时由可穿戴终端装置取得的动态图像数据的一个场景的图。
图16是示出使用本发明的一个实施方式的变形例的作业支援系统进行规定维护作业(器具清洗灭菌作业)时的状况的概念图。
图17是示出图16的变形例中由可穿戴终端装置取得的动态图像数据的一个场景的图。
图18是示出图16的变形例中由辅助照相机取得的静态图像数据的图。
具体实施方式
下面，根据图示的实施方式对本发明进行说明。以下说明中所使用的各附图是示意地示出的，为了以附图上能够识别的程度的大小示出各结构要素，有时使各部件的尺寸关系和比例尺等按照各结构要素而不同来进行示出。因此，在本发明中，各附图所记载的各结构要素的数量、各结构要素的形状、各结构要素的大小的比率和各结构要素的相对位置关系等不限于图示形式。
[一个实施方式]
首先，下面使用图1对本发明的一个实施方式的作业支援系统的概略结构进行说明。图1是示出本发明的一个实施方式的作业支援系统的结构的概略结构框图。
本实施方式的作业支援系统1是如下的作业支援系统：能够进行用于按照规定的顺序和方法可靠地执行由多个作业构成的规定的一连串作业的作业支援，并且，能够进行与所执行的各作业有关的证据(evidence)记录。
因此，该作业支援系统1由多个摄像装置和使这些多个摄像装置协作而进行控制的控制装置构成。另外，在本实施方式中，如图1所示，示出通过两个摄像装置(20、30)和一个控制装置(10)构成的例子。
根据该结构，本实施方式的作业支援系统1进行如下的作业支援等：根据与预先确定的多个作业有关的信息集(数据库)和与实际进行的作业有关的多个图像数据(取得图像数据)，显示作为对象的一连串作业中包含的各个作业内容和作业顺序并进行作业引导，进行是否正确进行了各个作业或是否执行了正确的作业顺序等与作业有关的确认和判定，在进行了正确的作业的情况下，进行证据记录，另一方面，在进行了错误的作业的情况下，向作业者发出警告等，提示正确的作业。
具体而言，本实施方式的作业支援系统1由作为第1摄像装置的可穿戴装置即可穿戴终端装置20和作为第2摄像装置的辅助照相机30这两个摄像装置、以及使这两个摄像装置协作而进行控制的控制装置10构成。另外，关于可穿戴终端装置20，在图2中示出具体的结构例。
控制装置10分别对上述两个摄像装置(20、30)进行控制，根据由各摄像装置(20、30)取得的图像数据(静态图像数据(第2图像数据)、动态图像数据(第1图像数据)等)进行所执行的各个作业的确认和判定，进行作业记录(证据记录)等的动作控制。并且，上述控制装置10进行使上述两个摄像装置(20、30)协作来进行动作的控制等。
因此，控制装置10构成为具有控制部11、通信部12、数据库13、证据记录部14等。
另外，在本实施方式的控制装置10中，虽然省略了图示，但是，除了上述各结构要素以外，例如还具有操作部或显示部等、一般的控制装置所具有的各种结构要素。这些省略了图示的各种结构要素是与本发明没有直接关联的部分，因此省略其详细说明。
控制部11是包含多个控制电路等的结构部，对本实施方式的作业支援系统1的整体进行总括控制。作为该控制部11中包含的多个控制电路等，特别是存在作业判定部11a、显示控制部11b、引导部11c、对象物判定部11d、大小判定部11e等。
作业判定部11a是包含控制电路等的结构部，根据由两个摄像装置(20、30)取得的图像数据、数据库13中预先蓄积的信息、由对象物判定部11d和大小判定部11e取得的判定结果信息等，进行与所执行的作业有关的各项目的确认和判定等。
另外，这里进行的判定例如是作业中使用的工具的种类的判定、各作业的种类的判定等。
显示控制部11b是包含控制电路等的结构部，用于对该控制装置10中包含的显示部(未图示)或与该控制装置10协作的多个(两个)摄像装置(20、30)中包含的显示部(25、未图示)等进行控制，使其进行规定显示(除了图像显示以外，还有警告显示等)。
引导部11c是包含控制电路等的结构部，根据由两个摄像装置(20、30)取得的图像数据和数据库13中预先蓄积的信息，生成引导信息，该引导信息用于进行与所执行的作业有关的引导显示、接下来应该进行的作业的引导显示等。
对象物判定部11d和大小判定部11e是包含控制电路等的结构部，根据由两个摄像装置(20、30)取得的图像数据和数据库13中预先蓄积的信息，检测图像数据中包含的规定对象物的种类、部位、形状、大小、个数、状态等规定条件并进行判定。另外，作为大小的判定手段，除了上述以外，认为还可以使用如下手段：例如利用自动对焦机构，根据摄像装置与对象物之间的距离和摄像元件尺寸的关系，计算摄像元件的受光面上成像的对象物的尺寸。
通信部12是包含控制电路等的发送部和接收部，在与两个摄像装置(20、30)各自的通信部(22、32)之间进行数据通信(信息的发送接收)。这里，通信部12可以是使用无线通信的结构，也可以是使用有线通信的结构。
数据库13是蓄积预先确定的各种信息的寄存装置(辅助存储装置)。在本实施方式中，示出在控制装置10中包含数据库13而构成的例子(具体而言，例如内部固定式的存储介质(内置存储器等)或拆装式的存储介质(拆装卡式存储器等))。但是，数据库13的结构不限于这些形式。例如，也可以通过独立形式的外部寄存装置构成数据库。另外，该情况下，独立结构的数据库与控制装置10之间能够通过无线或有线的规定连接手段进行各种数据的发送接收即可。
在数据库13中例如蓄积有作业信息数据库13a和图像数据库13b等。这里，作业信息数据库13a包含与多个作业有关的各种信息(对象物信息、使用工具信息、作业种类信息等)等。并且，图像数据库13b是与作业信息数据库13a中记录的各种信息相关联的图像数据集(例如与多个作业有关的来自多个视野的图像信息等)(详细后述；参照图12)。
证据记录部14是包含控制电路等和记录介质等的结构部，将由两个摄像装置(20、30)取得的图像数据等和与其关联的作业信息关联起来进行记录。当然，也可以参照来自更多视野、视场、视点的图像。
两个摄像装置(20、30)中的一个第1摄像装置是可穿戴终端装置20。例如，如图2所示，该可穿戴终端装置20是如下形式的摄像装置：作业者佩戴在身体的一部分(例如面部附近等)，由此，能够解放双手，同时，能够始终对作业者自身的近前附近的状况进行摄像。
换言之，可穿戴终端装置20是能够取得与作业者的视线对应的作业信息的形式的摄像装置。
该可穿戴终端装置20主要取得作为第1图像数据的动态图像数据。这是为了掌握作业者的频繁的作业流程，可以是时间变化可知的静态图像，也可以是从中提取出的运动矢量这样的表示图像的时间变化的数据信息。但是，在用于证据用途的情况下，优选是人们之后能够验证的静态图像。
这里，图2是示出构成本实施方式的作业支援系统的一部分的第1摄像装置(可穿戴终端装置)的概略结构的概念图。另外，图2假设作业者佩戴了该第1摄像装置(可穿戴终端装置)的状态进行示出。并且，图3是示出作业者佩戴了第1摄像装置(可穿戴终端装置)时的从作业者的面部的正面进行观察的状况、同时示出作业者的双眼的视场的概念图。而且，图4是更加详细地示出图3所示的作业者的双眼的视场的概念图。
在本实施方式中，可穿戴终端装置20是如下的摄像装置：在上述控制部21的控制下单独发挥作用，同时，通过在与上述控制装置10之间进行通信，还在该控制装置10的控制部11的控制下发挥作用。
另外，本实施方式中的可穿戴终端装置20设为主要取得动态图像数据的摄像装置，但是不限于此。例如，该可穿戴终端装置20也可以构成为，能够将作业者进行的规定操作或规定行为作为触发，任意地或自动地同时取得静态图像数据和动态图像数据，或者单独取得静态图像数据。
可穿戴终端装置20构成为具有控制部21、通信部22、操作部23、摄像部24(第1摄像部)、显示部25、声音输入部27、声音输出部28、支承部29等。
控制部21是包含控制电路等的结构部，对可穿戴终端装置20的整体进行总括控制。该控制部21例如由使用了CPU(Central Processing Unit：中央处理单元)等的处理器(processor；处理装置)构成。而且，控制部21根据存储器(未图示)中存储的程序进行动作，由此进行各结构部的控制。
即，控制部21执行如下的各种控制等：对通信部22进行控制而在与控制装置10之间进行各种信息的发送接收(通信)，接受来自操作部23的操作输入并进行各结构部的控制，对摄像部24进行控制而取得图像数据等，对显示部25进行控制而在显示面板25b(后述；参照图2)画面中进行各种信息显示，对声音输入部27进行控制而接受声音信息的输入，对声音输出部28进行控制而进行声音信息的输出。
除了这些控制以外，控制部21还接受来自上述控制装置10的控制部11的控制信号，与上述控制装置10协作来控制该可穿戴终端装置20。
控制部21例如构成为具有图像判定部21b、显示控制部21c等多个电路部等。
图像判定部21b是根据由摄像部24取得的图像数据进行规定判定的判定处理电路。该图像判定部21b是与上述控制装置10的控制部11中包含的各种判定部(11a、11d、11e)相同或简易的电路部。
即，该图像判定部21b作为根据数据库13的作业信息判定第1图像数据和第2图像数据的作业判定部发挥功能。因此，如果在控制装置10的控制部11中设置各种判定部(11a、11d、11e)，则能够省略该图像判定部21b。
这里，在构成为在可穿戴终端装置20侧设置图像判定部21b的情况下，仅经由通信部(22、12)向控制装置10的控制部11发送该图像判定部21b的判定结果即可。控制装置10的控制部11接受该判定结果，进行基于接收到的判定结果信息的控制。因此，在该结构的情况下，具有能够减轻通信负荷这样的优点。
显示控制部21c是用于对显示部25进行控制而在显示面板25b(参照图2)中进行规定显示的控制电路部。
通信部22是包含控制电路等的发送部和接收部，负责与控制装置10之间的通信(信息的发送接收)。通信部22应用无线或有线的规定通信手段。通信部22还作为通信部发挥功能，经由控制装置10取得来自第2摄像装置(辅助照相机30)的第2图像数据，该第2摄像装置设置在与作业者100(或作为第1摄像装置的可穿戴终端装置20)不同的位置。
进而，通信部22还能够经由控制装置10在与数据库13之间进行通信，来参照该数据库13的作业信息。另外，也可以构成为通信部22和数据库13直接进行通信。
操作部23是由用于对该可穿戴终端装置20进行操作的多个操作部件、与这些多个操作部件对应地产生各规定操作输入信号的多个电气部件等构成的结构部(其详细结构未图示)。
摄像部24是构成为具有摄像光学系统24a(参照图2)、未图示的摄像元件及其驱动控制电路等的结构部。该摄像部24具有如下功能：通过摄像元件依次对由摄像光学系统24a形成的摄像对象物的光学像进行光电转换，在显示部25的显示面板25b中依次显示基于由此得到的图像数据的图像。并且，具有如下功能等：根据所得到的图像信号形成规定形式的图像数据(例如动态图像数据或静态图像数据)，记录该图像数据，或者经由通信部22、12向控制装置10传送该图像数据。具有这种功能的摄像部24本身的结构与现有一般的摄像装置中的摄像部大致相同。因此，省略其详细结构和图示。
另外，作为摄像元件，例如应用CCD(Charge Coupled Device；电荷耦合器件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor；互补性金属氧化膜半导体)型图像传感器等光电转换元件等。这种摄像部得到接近作业中的作业者视线(视场、视野)的图像，容易确认双手之间进行的使用双手的详细作业(还包含目视检查)。
显示部25是包含显示控制电路等的结构部，除了根据由摄像部24取得的图像数据显示图像以外，还能够与图像重叠地显示各种警告显示或各种规定消息显示或引导显示(详细后述)等，通过适当切换规定动作模式，进行该可穿戴终端装置20中的各种设定等用的菜单显示等。
显示部25构成为具有导光部25a和显示面板25b等。显示面板25b是构成为包含用于进行各种显示的显示画面和用于实现该显示的显示控制电路等的结构部。作为该显示面板25b，例如应用液晶显示(Liquid Crystal Display；LCD)部或有机电致发光(有机EL；Organic Electro-Luminescence：OEL)显示部等。
导光部25a是将显示面板25b中显示的图像引导至规定显示面的结构部。
这里，如图2所示，本实施方式的可穿戴终端装置20中的显示面板25b例如朝向与正对着作业者的视线方向(图2的箭头X1方向)的正对面不同的方向进行设置。
具体而言，例如，在图2中，利用箭头X1示出作业者的视线方向，利用箭头X2示出显示面板25b的显示面朝向的方向。该情况下，导光部25a的长轴方向设置成与图2的箭头X2方向一致。因此，通过导光部25a朝向箭头X2方向引导形成显示面板25b的显示面的图像的光。
而且，在导光部25a的内部，在一个端部(参照标号25x)配设有光屈曲部件(棱镜等)，该光屈曲部件朝向箭头X1方向折曲引导被该导光部25a朝向上述箭头X2方向引导的光。因此，构成为从显示面板25b的显示面发出的光被导光部25a朝向箭头X2方向引导，经由上述棱镜等显示在能够通过作业者的一只眼睛视觉辨认的位置(参照图3的标号25c)。
声音输入部27是构成为包含输入声音信息的电气部件和对其进行驱动的驱动电路等的结构部。声音输入部27由控制部21来控制，在规定时机收集周围环境下的声音信息。作为声音输入部27，例如应用麦克风等。
作为声音输入部27的配置，例如优选在作业者佩戴了可穿戴终端装置20时配置在作业者的嘴附近(参照图2)。通过采用这种配置，作业者能够可靠地进行针对声音输入部27的声音输入。
声音输出部28是构成为包含输出声音信息的电气部件和对其进行驱动的驱动电路等的结构部。声音输出部28由控制部21来控制，在规定时机输出声音信息(例如警告、消息等声音信息或声音引导等)。作为声音输出部28，例如应用扬声器等发声装置。
作为声音输出部28的配置，例如优选在作业者佩戴了可穿戴终端装置20时配置在作业者的耳朵附近(参照图2)。通过采用这种配置，作业者能够可靠地听取来自声音输出部28的声音输出。
支承部29(参照图2)是构成为能够组装本可穿戴终端装置20的各结构部、并且佩戴在作业者的身体的一部分(例如面部附近等)的框部件。图2所示的支承部29的结构例是构成为所谓的眼镜框形状的例示。
另外，虽然省略了图示，但是，本实施方式中的可穿戴终端装置20具有作为电源供给源的电池。该电池产生驱动该可穿戴终端装置20所需要的电力，由控制部21来控制，由此进行针对各结构部的电力供给。
作业者佩戴了这样构成的可穿戴终端装置20时的状况例如如图2、图3所示。
另外，在图3中，利用标号101R示出作业者100的右眼，利用标号101L示出左眼。并且，在该图3、图4中，利用标号110R所示的虚线框示出右眼101R的右眼视野，利用标号110L所示的虚线框示出左眼101L的左眼视野。
该情况下，作业者100例如在(对于作业者100自身来说的)右耳附近佩戴可穿戴终端装置20的支承部29。
这样，在设可穿戴终端装置20为佩戴状态时，摄像部24的摄像光学系统24a朝向与作业者的视线方向(箭头X1方向)大致一致的方向。而且，在佩戴了可穿戴终端装置20的状态下，当作业者100通过转头等对视线方向进行变更时，摄像部24的摄像光学系统24a朝向的方向也追随于视线方向进行变更。因此，在作业者100佩戴了该可穿戴终端装置20的状态下由摄像部24取得的图像数据成为包含作业者正在观察的方向(视线方向)的规定区域。这里，设由摄像部24取得的图像数据的摄像区域为图4中所示的标号24c的框线。该摄像区域24c能够根据摄像光学系统24a的视场角而任意设定。在本实施方式中，摄像区域24c设定为包含作业者100的右眼视野110R和左眼视野110L的区域。
进而，在作业者100佩戴了可穿戴终端装置20的状态下，关于显示部25的显示面板25b的显示，经由导光部25a，在作业者100的右眼视野110R内，在图3、图4的标号25c所示的规定区域内进行显示。该显示区域25c是作业者100的左右双眼的全部视野(110R、110L)中的一部分中能够视觉辨认的形式，并且是不妨碍作业者100的视野的程度的区域。作业者100在通常状态下能够视觉辨认左右双眼的全部视野(110R、110L)，并且，通过进行视线移动，能够注视显示区域25c，而视觉辨认显示部25的显示内容。
另一方面，作为两个摄像装置(20、30)中的另一个的第2摄像装置是辅助照相机30。辅助照相机30是一般形式的摄像装置或者载置或固定设置在作业台(未图示)等的附近的规定位置的摄像装置。
换言之，辅助照相机30是如下形式的摄像装置：能够取得与作业者的视线所对应的作业信息不同的作业信息。
该辅助照相机30取得来自与作业者视线的图像不同的视野的、可以说优选具有客观立场的信息(作为系统而富含信息)的、主要作为第2图像数据的静态图像数据。这是因为，在用于证据用途的情况下，优选是人们之后能够验证的静态图像，但是，当然，如果连续取得该静态图像，则成为动画，因此，只要能耗和记录容量没有问题，则也可以存在这样的应用。
辅助照相机30的结构与一般形式的摄像装置大致相同。例如，如图1所示，辅助照相机30构成为至少包含控制部31、通信部32、摄像部34(第2摄像部)等。
控制部31是包含控制电路等的结构部，对辅助照相机30的整体进行总括控制。该控制部31例如由使用了CPU(Central Processing Unit：中央处理单元)等的处理器(processor；处理装置)构成。而且，控制部31根据存储器(未图示)中存储的程序进行动作，由此进行各结构部的控制。
控制部31执行如下的各种控制等：对通信部32进行控制而在与控制装置10之间进行各种信息的发送接收(通信)，对摄像部34进行控制而取得图像数据等。除了这些控制以外，控制部31还接受来自上述控制装置10的控制部11的控制信号，与上述控制装置10协作来控制该辅助照相机30。
通信部32是包含控制电路等的发送部和接收部，负责与控制装置10之间的通信(信息的发送接收)。通信部32应用无线或有线的规定通信手段。
另外，通信部32经由控制装置10在与数据库13之间进行通信，还能够参照该数据库13的作业信息。这里，也可以构成为通信部32和数据库13直接进行通信。
摄像部34是构成为具有未图示的摄像光学系统、摄像元件及其驱动控制电路等的结构部。该摄像部34具有如下功能等：通过摄像元件依次对由摄像光学系统形成的摄像对象物的光学像进行光电转换，经由通信部32向控制装置10传送由此得到的图像数据。并且，同时具有使用显示部(未图示)依次显示基于该图像数据的图像的功能。
具有这种功能的摄像部34本身的结构与上述可穿戴终端装置20和现有一般的摄像装置中的摄像部大致相同。例如，虽然在图1中省略图示，但是，还具有现有一般形式的摄像装置所具有的结构部件(操作部、显示部、电池等)。这些结构部件具有与现有一般形式的摄像装置相同的结构和作用，因此省略其详细说明。
另外，在辅助照相机30中，也可以构成为在控制部31中设置图像判定部(作业判定部)。在构成为在辅助照相机30的控制部31中设置图像判定部的情况下，与在上述可穿戴终端装置20的控制部21中设置图像判定部31b的情况同样，该辅助照相机30经由通信部(32、12)向控制装置10的控制部11仅发送图像判定部的判定结果即可。控制装置10的控制部11接受该判定结果，进行基于接收到的判定结果信息的控制。因此，在该结构的情况下，具有能够减轻通信负荷这样的优点。
这样构成的辅助照相机30固定配置在作业者进行规定作业时的作业场所的附近。该情况下，辅助照相机30配置在如下位置：在摄像区域中至少包含作为作业对象的对象物和对其进行处理的作业者的近前附近。进而，辅助照相机30配置成在摄像区域中包含作业者的整体像使得还能够确认作业者的作业中的状况即可。这样，得到与作业视线不同的图像。
下面，对使用这样构成的本实施方式的作业支援系统1进行的作业进行说明。
作为使用本实施方式的作业支援系统1进行的作业，能够假设各种领域中的各种作业，但是，在以下说明中，作为作业的具体的一例，举例说明对医疗器具等进行处理的作业中的与规定医疗器具等的清洗等有关的维护作业。具体而言，例示对作为已使用的医疗器具的手术用器具或处置器械等(例如剪刀形状的器具。以下简记为剪刀)进行清洗、灭菌的作业(以下称为器具清洗灭菌作业)。
首先，通过图5的流程图简略说明一般进行的器具清洗灭菌作业的概略流程。图5是示出医疗器具的维护作业(器具清洗灭菌作业)中由作业者进行的作业的流程的流程图。
如图5所示，在通常的器具清洗灭菌作业中，首先，在步骤S1101中，作业者进行作为维护作业对象的对象物(器具)的确认。
接着，在步骤S1102中，作业者进行维护环境的状态的确认。这里，维护环境是指用于进行该作业的场所(房间、台子等)的环境。并且，环境的状态的确认是指是否处于清洁状态、即是否是适合于器具的清洗灭菌作业的环境的状态的确认。通常情况下，准备专用的维护环境(房间、台子等)。
接着，在步骤S1103中，作业者进行该维护作业中的第1工序中的第1作业。
这里，认为维护作业是通过进行多个汇集了多个作业的工序而成立的一连串作业。即，通过按照规定顺序执行多个作业工序，一个规定的维护作业成立。在这些多个作业工序中分别还包含多个具体的作业行为，通过按照规定顺序执行这些多个作业，各个作业工序成立。
在该步骤S1103中，作为上述第1工序中的第1作业，例如存在维护工具(道具)的确认作业等。这里，维护工具例如是指用于清洗器具的清洗用的刷子等。该情况下，准备多个种类的作为维护工具的清洗用刷子。并且，需要根据规定器具中的对象部位准备适合的工具，按照维护作业的各工序、各作业选择最佳的工具，以使得针对作为维护对象的每个器具成为最佳。因此，在各个作业前，需要进行使用工具的确认。
接着，在步骤S1104中，作业者进行该第1工序中的第2作业。另外，该第2作业例如是对维护对象器具的规定的第1部位(例如剪刀的刃部等具体部位)进行清洗的作业等，但是，省略其具体的例示。
接着，在步骤S1105中，作业者进行该第1工序中的第3作业。另外，同样，该第3作业例如是对维护对象器具的与上述第1部位不同的规定的第2部位(例如剪刀的连结(接合)部等、具体的部位)进行清洗的作业等，但是，省略其具体的例示。
在接下来的步骤S1106中，进行该第1工序中规定的多个作业是否结束的确认。另外，在该图5的流程图所示的作业例中，设在第1作业～第3作业中完成第1工序。
因此，当在该时点判断为第1工序的作业未结束时，返回上述步骤S1104的处理，反复进行相同处理。并且，当确认了该第1工序的全部作业结束时，进入接下来的步骤S1107的处理。
接着，在步骤S1107中，进行与第1工序的各作业有关的证据化处理。这里，证据化处理是作业者确认完成了第1工序的各作业、明示确认的情况作为证据的作业。具体而言，例如是确认作业者是否执行了按照各作业预先列表的应该确认的作业项目并进行记录的检查列表的生成等。
接着，在步骤S1108中，进行该维护作业(器具清洗灭菌作业)中的全部作业工序是否结束的确认。这里，当确认了作业工序未全部结束时，进入步骤S1110的处理。并且，当确认了作业工序全部结束时，进入接下来的步骤S1109的处理。
在步骤S1110中，作业者进行将当前手中的维护工具变更为下一个作业工序中使用的维护工具的作业。然后，进入上述步骤S1103的处理。
另一方面，当确认了全部作业工序结束时，在步骤S1109中，作业者进行与该维护作业(器具清洗灭菌作业)有关的最终的证据化处理。这里，最终的证据化处理例如是汇集按照各工序生成的检查列表、并且生成综合的最终的作业的检查列表、作为证据信息进行汇集的作业等。
例如，如图6所示，上述证据信息是以规定形式汇集多个信息而得到的一览表形式的文件。另外，证据信息例如可以是印刷在纸面上的形式的文件形式，也可以是电子形式的所谓电子文件形式。图6是示出维护作业中生成的证据信息的一例的图。
证据信息例如是对作为维护对象的器具的信息(索引信息)、按照每个该维护对象器具确定的多个作业工序、各作业工序内应该进行的多个作业内容的信息等、与各作业内容对应的多个确认项目等进行列表而得到的一览表形式的数据集。
例如，如图6所示，证据信息中包含的多个确认项目是进行作业的周围环境(例如作业房间、作业台等)、作业中使用的工具名、作业者名、作业时间(日期时间、开始结束时间)等。按照各作业工序的多个作业预先确定这些多个确认项目。除了这些确认项目列表以外，还记录各作业中取得的多个图像(静态图像、动态图像)数据作为证据信息，按照各确认项目将对应的图像数据等关联起来进行记录。
特别地，静态图像容易保留在文件中，容易实现资料化，因此，作为证据是很重要的，对于动态图像信息来说，能够得到其最佳时机的静态图像的证据。并且，通过取得与作业者的视场大致相同的摄像范围的动态图像数据，作业者自己能够检测所确认的周密的动作。即，能够进行基于作业者意图、还包含作业自信在内的状况掌握的动作确认。
因此，设置作业者佩戴的可穿戴终端装置(第1摄像装置)，为了取得仅与该可穿戴终端装置相同的方向的拍摄则不足的信息，设置用于从与其不同的方向取得包含规定对象物的规定摄像范围的静态图像数据的辅助照相机(第2摄像装置)，增加信息量，使其证据性具有多样性。即，能够提供如下的作业支援系统：具有使上述第1摄像装置和上述第2摄像装置协作而进行控制、并且取得规定作业的作业信息的控制装置，根据如作业者大致看到的那样的动态图像数据，对上述辅助照相机进行控制，取得作为作业证据的静态图像数据。
以往，关于作为证据信息进行记录的图像数据等，每当在一连串作业中完成各作业时，通过作业者的手动操作进行信息取得。在本实施方式的作业支援系统1中，构成为自动记录包含这些图像数据等的证据信息。
接着，下面对使用本实施方式的作业支援系统1时的作用进行说明。图7是示出使用本实施方式的作业支援系统进行规定维护作业(器具清洗灭菌作业)时的状况的概念图。
如图7所示，在进行本实施方式中例示的维护作业(器具清洗灭菌作业)时，作业者100在朝向设置在规定作业房间内的作业台150而坐在椅子151上的状态下进行作业。此时，作业者100处于在面部附近佩戴了可穿戴终端装置20的状态。由此，可穿戴终端装置20取得包含作业者100的视线方向在内的规定区域的图像数据(主要是动态图像数据)。
并且，在作业台150的台子上，朝向作业者侧载置有辅助照相机30。该辅助照相机30取得包含作业者100的至少近前附近在内的规定区域的图像数据。另外，考虑水中的使用，优选辅助照相机30具有防水功能。
与这两个摄像装置(20、30)协作的控制装置10在图7中省略了图示。这是因为，本实施方式中例示的作业的作业场所处于水中附近，因此，在分开的场所设置控制装置10。
这里例示的维护作业(器具清洗灭菌作业)是对剪刀200进行清洗、灭菌的作业，该剪刀200是作为已使用的医疗器具的手术用器具或处置器械等。因此，在作业台150上具有清洗槽150a。进而，在该清洗槽150a的上方设置有水管水龙头153。当向开栓方向对该水管水龙头153的手柄153a进行旋转操作时，从流水口153b流出流水154。
作业者100利用清洗槽150a中贮留的清洗液(例如水)，使用规定工具(清洗用刷子300)对维护对象的具器(剪刀200)进行刷洗清洗。
该情况下，由可穿戴终端装置20取得的图像数据例如成为图8所示的图像。图8是基于在使用本实施方式的作业支援系统的维护作业(器具清洗灭菌作业)的作业中由可穿戴终端装置取得的图像数据的图像的显示例。
在图8所示的图像显示例中，示出如下状况：作业者100一只手(左手100L)拿着维护对象具器(剪刀200)，使用另一只手(右手100R)拿着的规定工具(清洗用刷子300)进行刷洗清洗作业。此时，可穿戴终端装置20对作业者100的近前附近的区域进行摄像。
接着，下面对使用本实施方式的作业支援系统1进行规定维护作业(器具清洗灭菌作业)时的作用进行说明。
如上所述，本实施方式的作业支援系统1是在作业者100进行规定作业时使两个摄像装置(可穿戴终端装置20和辅助照相机30)和控制装置10协作来发挥作用的系统。
这里，对本实施方式的作业支援系统1的作用的概略进行简单说明时，如下所述。
在本实施方式的作业支援系统1中，两个摄像装置(20、30)对作业者依次进行的多个作业的状况进行适当摄像。向控制装置10发送这样取得的各图像数据。
控制装置10接收上述两个摄像装置(20、30)取得的图像数据，根据这些图像数据等和数据库中预先蓄积的各种信息进行规定的判定处理。这里，由控制装置10进行的判定处理例如是根据作为对象的作业内容而规定的多个确认项目、例如维护对象的器具的判定、使用工具的种类等的判定、作业行为(刷洗、水洗、擦拭、药剂喷雾等)等的判定等。
然后，控制装置10根据上述判定处理结果进行各种控制处理。例如，在所执行的作业行为与规定作业一致(是正确作业)这样的判定结果的情况下，进行确认检查表的生成等，而且进行证据记录。该证据记录例如是图6所示的证据信息中包含的信息的记录处理等。
并且，例如，在所执行的作业行为偏离了规定作业(是作业错误)这样的判定结果的情况下，进行该意思的警告显示等，并且进行重新进行正确作业等的引导显示等。
另外，通过图12例示作业信息数据库13a中包含的具体的信息内容。图12所示的例子是假设了在手术或处置等中使用后通过作业者的手动操作对作为手术或处置等中使用的一种器具的“剪刀”进行清洗时的维护作业(以下简记为剪刀清洗灭菌作业)的数据库的例示。
如图12所示，在该作业信息数据库中，维护对象栏[A]是作为维护对象的器具名称。在本例中，记录为“对象1：剪刀”，示出剪刀清洗灭菌作业。另外，在“对象2：○○○”中填入其他器具名称，但是，这里(图12)，省略“对象1”的信息以外的详细例示。
在该图12的作业信息数据库中，作业工序栏[B]按照作业顺序罗列了该维护作业中包含的多个作业工序的例子。这里，剪刀清洗灭菌作业中包含的作业工序例如存在：
“第1工序：刷洗”工序、
“第2工序：流水清洗”工序、
“第3工序：擦拭”工序、
“第4工序：药剂灭菌”工序等。
“第1工序：刷洗”工序是使用规定工具(刷子等)在规定水槽中等进行刷洗的工序。
“第2工序：流水清洗”工序是在流水中进行水洗的工序。
“第3工序：擦拭”工序是使用规定工具(纸或布等)进行擦拭而擦去水或污垢的工序。
“第4工序：药剂灭菌”工序是使用规定药剂(酒精等)进行(喷雾)灭菌的工序。
另外，这里所示的例示是“剪刀清洗灭菌作业”的例示。因此，根据对象器具，应该进行的工序的种类和数量不同。
在该图12的作业信息数据库中，作业内容栏[C]按照作业顺序罗列了各作业工序中包含的多个作业的例子。
这里，剪刀清洗灭菌作业的“第1工序：刷洗”工序中包含的作业存在：
作为“第1作业”的“工具确认”作业、
作为“第2作业”的“第1部位刷洗”作业、
作为“第3作业”的“第2部位刷洗”作业等。
各作业的具体信息记录在接下来的作业信息栏“D”中。
即，在该图12的作业信息数据库中，在作业信息栏[D]中记录有明示各作业的具体信息(例如文字数据、图像数据等)。另外，在图1中，构成为除了作业信息数据库13a以外，还额外设置图像数据库13b，但是，作为数据库13的结构，也可以是一体构成两者的形式。
作业信息栏[D]的信息还存在使用第1摄像装置(可穿戴终端装置20)得到的可穿戴终端装置信息[D1]、使用第2摄像装置(辅助照相机30)得到的辅助照相机信息[D2]。这里，可穿戴终端装置信息[D1]是主要由动态图像表示的作业信息。并且，辅助照相机信息[D2]是主要由静态图像表示的作业信息。
“第1工序：刷洗”工序中包含的作为“第1作业”的“工具确认”作业是该作业工序中使用的工具的确认作业。因此，作业信息[D]记录有记录了在辅助照相机30的前面(摄像范围内)举起工具(刷子)的行为的动态图像数据(例如被称为运动数据等的数据等)等，作为可穿戴终端装置信息[D1]。
作为辅助照相机信息[D2]，存在工具(刷子)的放大图像、作业者100的周围环境的图像(图12中记载为“周围图像”)等。上述周围图像例如利用文本或图像等数据记录有作业房间、作业台等、作业者100自身的工作服等信息。
这里，在作业者进行“工具确认”作业时，进行如下的作业。即，首先，作业者100进行在手中拿着这里要进行的作业中使用的规定工具(清洗用刷子300)并将其举起到辅助照相机30的前面(摄像范围内)的行为。该行为通过可穿戴终端装置20记录为动态图像。图13是示出此时的状况的图。即，图13示出作业者100为了进行“工具确认”作业而在辅助照相机30的前面(摄像范围内)举起右手100R拿着的规定工具(清洗用刷子300)时由可穿戴终端装置20取得的动态图像中的一个场景。另外，在图13中，虚线斜线所示的部分示出在清洗槽150a中贮存水等清洗用液体的状况。主要在该清洗槽150a中贮存的水等清洗用液体中进行器具的刷洗等。
通过可穿戴终端装置20对由作业者100进行的该行为(在辅助照相机30的前面举起清洗用刷子300的行为)进行摄像。同时，辅助照相机30也对规定形式的器具(工具)侵入其摄像范围内时的实时取景图像进行摄像。然后，两个摄像装置(20、30)始终持续地向控制装置10转送所取得的动态图像数据(实时取景图像数据)。
控制装置10根据接收到的动态图像数据，执行规定的图像判定处理。例如，当检测到上述规定行为(举起刷子的行为)时，控制装置10对辅助照相机30进行控制，执行静态图像的摄像动作。由此，记录使用工具(清洗用刷子300)的放大图像(静态图像)。此时取得的静态图像例如如图14所示。
进而，接着该处理或与此同时，辅助照相机30记录包含作业者100自身的周围环境(例如作业房间、作业台等)的状况作为静态图像(未图示)。
这样取得的图像数据等有助于通过参照数据库13中蓄积的图像数据等，判定使用工具(刷子)是否是该作业中使用的正确的工具、所执行的作业行为是否正确。然后，在该判定结果判定为所执行的行为正确的情况下，记录所取得的图像数据等作为证据信息。
“第1工序：刷洗”工序中包含的作为“第2作业”的“第1部位刷洗”作业是对对象器具“剪刀”的第1部位进行刷洗的作业。这里，第1部位设为“刃部”。关于该情况下的作业信息，对根据作业图像检测到的刷洗次数和刷洗时间等进行数据库化，作为可穿戴终端装置信息[D1]。并且，作为辅助照相机信息[D2]，是工具(刷子)的第1部位的局部放大图像等。另外，图15示出对第1部位(刃部)进行刷洗时由可穿戴终端装置20取得的动态图像数据的一个场景。在清洗槽150a中注满的水中进行该作业。另外，图15的虚线斜线所示的部分示出清洗槽150a中贮存的水等清洗用液体。即，在图15中，示出在水等清洗用液体中利用清洗用刷子300对器具(剪刀200)进行刷洗的状况。
同样，“第1工序：刷洗”工序中包含的作为“第3作业”的“第2部位刷洗”作业是对对象器具“剪刀”的第2部位进行刷洗的作业。这里，第2部位设为“接合部”。该情况下的作业信息与上述“第2作业”大致相同。即，关于可穿戴终端装置信息[D1]，对刷洗次数、时间等进行数据库化，作为辅助照相机信息[D2]，是工具(刷子)的第2部位的局部放大图像等。另外，图8示出对第2部位(接合部)进行刷洗时的由可穿戴终端装置20取得的动态图像数据的一个场景。
另外，在“第2工序：流水清洗”工序中，确认水管水的水龙头等作为工具，并且，进行拧水龙头的行为的确认、从该水龙头流出的水管水(流水)的流量等的确认。关于作业信息，记录有针对对象部位的规定的作业时间。
在“第3工序：擦拭”工序中，进行擦拭作业中使用的纸或布等规定的专用擦拭器具的确认，例如，通过擦拭器具的封装等的图像进行其品牌等的确认。关于作业信息，记录有针对对象部位的规定的作业次数和作业时间等。
在“第4工序：药剂灭菌”工序中，通过灭菌作业中使用的药剂、例如酒精等规定的专用药剂的瓶子等的图像进行其品牌等的确认。关于作业信息，记录有针对对象部位的规定的作业次数和作业时间等。
下面，使用图9～图11的流程图，对使用本实施方式的作业支援系统1进行规定维护作业(器具清洗灭菌作业)时的作用进行说明。
图9是示出本实施方式的作业支援系统中的控制装置的作用的流程图。图10是示出本实施方式的作业支援系统中的可穿戴终端装置(第1摄像装置)的作用的流程图。图11是示出本实施方式的作业支援系统中的辅助照相机(第2摄像装置)的作用的流程图。
首先，在本实施方式的作业支援系统1中，设为各装置(控制装置10、可穿戴终端装置20、辅助照相机30)的电源接通状态。该状态下，作业者100在图7所示的规定环境下，开始进行规定作业。关于这里说明的规定作业，例示医疗器具的维护作业中的“剪刀清洗灭菌作业”。
即，控制装置10在电源接通状态下处于接收规定指示信号的待机状态。并且，可穿戴终端装置20在电源接通状态下处于实时取景图像的摄像动作中，即处于指示信号待机状态(图10的步骤S201)。同样，辅助照相机30也在电源接通状态下处于实时取景图像的摄像动作中，即处于指示信号待机状态(图11的步骤S301)。
该状态下，作业者100在规定作业场所，开始进行规定的“剪刀清洗灭菌作业”。首先，作业者100进行在手中拿着“剪刀清洗灭菌作业”中作为维护对象的器具(剪刀200)并将其举起到辅助照相机30的前面(摄像范围内)的行为。
于是，可穿戴终端装置20进行是否进行了该行为(在辅助照相机30的前面举起剪刀200的行为。以下简记为“举起行为”)的检测(图10的步骤S202)。例如，通过可穿戴终端装置20中的控制部21的图像判定部21b进行该检测处理。这里，在检测到“举起器具的行为”的情况下，进入图10的步骤S203的处理。并且，在未检测到的情况下，继续反复进行该检测处理。
在图10的步骤S203中，可穿戴终端装置20的控制部21向控制装置10发送表示进行了“举起上述器具的行为”的意思的信息(以下简记为“举起信息”)。然后，进行步骤S204的实时取景图像摄像动作并成为待机状态。
在图9的步骤S101中，处于待机状态的控制装置10进行是否接收到“举起器具的信息”的确认。这里，在确认了“举起器具的信息”的接收的情况下，进入该图9的接下来的步骤S102的处理。另外，在未确认该信息的接收的情况下，继续等待指示信号的接收。
在图9的步骤S102中，控制装置10的控制部11对辅助照相机30发送执行规定摄像动作的请求指示(摄像请求指示)。然后，等待从辅助照相机30发送摄像结果(剪刀200的图像数据等)。
在图11的步骤S302中，辅助照相机30进行是否接收到来自控制装置10的摄像请求指示的确认。这里，在确认了摄像请求指示的接收的情况下，在执行了规定摄像动作后，进入图11的接下来的步骤S303的处理。
另外，关于通过这里进行的摄像动作而取得的图像数据，例如除了剪刀200的放大图像数据以外，例如还是包含作业者100自身的周围环境(例如作业房间、作业台等)的图像数据。通过取得周围环境数据，能够确认是否在正确(规定)的作业环境下进行该作业、作业者100是否是正确(规定)的装扮、具体而言例如为穿戴有口罩、手套、面部保护具等。
接着，在该图11的步骤S303中，向控制装置10发送摄像动作的结果所取得的图像数据(主要是静态图像数据)等信息。然后，返回步骤S301的处理，继续进行实时取景图像的摄像动作，并且等待规定指示信号的接收。
在控制装置10中，接收辅助照相机30的摄像结果(剪刀200的图像数据)(图9的步骤S102)。
另外，在步骤S302中未确认摄像请求指示的接收的情况下，返回图11的步骤S301的处理，继续执行实时取景图像的摄像动作，并且等待规定指示信号的接收。
返回图9，通过上述步骤S102的处理，控制装置10接收到来自辅助照相机30的摄像结果后，进入接下来的步骤S103的处理。
在图9的步骤S103中，控制装置10对控制部11的对象物判定部11d、大小判定部11e等进行控制，执行维护对象器具的判定处理。该判定处理是参照上述步骤S102中接收到的摄像结果(剪刀200的图像数据)和数据库13中蓄积的维护对象器具的图像数据等进行的处理。
接着，在该图9的步骤S104中，同样，控制装置10对控制部11的对象物判定部11d、大小判定部11e等进行控制，执行维护环境的确认处理。与步骤S103同样，该确认处理是参照上述步骤S102中接收到的摄像结果(周围环境和作业者的图像数据)和数据库13中蓄积的对应数据等进行的处理。然后，控制装置10成为规定指示信号的接收待机状态，进入步骤S105的处理。
接着，在该图9的步骤S105中，控制装置10进行是否接收到“举起工具的信息”的确认。这里，在确认了“举起工具的信息”的接收的情况下，进入该图9的接下来的步骤S111的处理。另外，在未确认该信息的接收的情况下，继续等待指示信号的接收(步骤S105的循环处理)。
这里，作业者100开始进行“第1工序”的“第1作业”即维护工具的确认作业。如上所述，在该“第1作业：工具确认”作业中作业者100进行的作业是在手中拿着该作业中使用的适当工具(清洗用刷子300)并在辅助照相机30的前面(摄像范围内)举起该工具(清洗用刷子300)的行为。
于是，在图10的步骤S205中，通过上述步骤S204的处理而成为待机状态的可穿戴终端装置20检测是否进行了该行为(在辅助照相机30的前面举起清洗用刷子300的行为。简记为“举起行为”)。例如通过可穿戴终端装置20中的控制部21的图像判定部21b进行该检测处理。这里，在检测到“举起工具的行为”的情况下，进入图10的步骤S206的处理。并且，在未检测到的情况下，继续反复进行该检测处理。
在图10的步骤S206中，可穿戴终端装置20的控制部21向控制装置10发送关于“举起上述工具的行为”的信息(简记为“举起信息”)。
在图9的步骤S105中，处于待机状态的控制装置10进行是否接收到“举起工具的信息”的确认。这里，在确认了“举起工具的信息”的接收的情况下，进入该图9的接下来的步骤S111的处理。另外，在未确认该信息的接收的情况下，继续等待指示信号的接收。
在图9的步骤S111中，控制装置10的控制部11对作业判定部11a等进行控制，执行维护工具的确认作业(“第1作业”)的处理。
接着，在该图9的步骤S112中，控制装置10向可穿戴终端装置20发送作业确认请求指示。该作业确认请求指示是请求“举起工具的信息”发送后由可穿戴终端装置20取得的动态图像数据的指示信号。
在图10的步骤S211中，可穿戴终端装置20进行是否接收到作业确认请求指示的确认。这里，在接收到作业确认请求指示的情况下，进入接下来的步骤S212的处理。
接着，通过该10的步骤S212的处理，可穿戴终端装置20向控制装置10发送所取得的动态图像数据。然后，进入步骤S221的处理。
在图9的步骤S113中，控制装置10接收通过上述步骤S211的处理而从可穿戴终端装置20发送的动态图像数据。然后，控制装置10对接收到的动态图像数据和数据库13中蓄积的对应数据进行比较。然后，根据所取得的动态图像数据，确认作业者100进行的作业是否是正确(规定)的作业。
在接下来的步骤S114中，如果上述比较结果没有问题，即确认了作业者100进行的作业(取得动态图像)是正确(规定)的作业的情况下(“OK”的情况下)，进入接下来的步骤S116的处理。并且，在不是“OK”的情况下，进入步骤S115的处理。
在图9的步骤S115中，控制装置10的控制部11的引导部11c向可穿戴终端装置20发送与规定警告显示或引导显示等有关的规定信息。然后，进入步骤S116的处理。
在图10的步骤S221中，可穿戴终端装置20进行是否接收到警告显示或引导显示等信息的确认。这里，在确认了该信息的接收的情况下，进入接下来的步骤S222的处理。并且，在未确认的情况下，返回上述步骤S201的处理，进行实时取景图像摄像动作，并且成为待机状态。
在步骤S222中，可穿戴终端装置20的控制部21对显示部25、声音输出部28等进行控制，执行规定形式的警告显示、引导显示等。
另外，这里，关于警告显示或引导显示等，除了使用显示部25的视觉信息显示以外，还存在使用声音输出部28的声音信息显示等。然后，返回上述步骤S201的处理，进行实时取景图像摄像动作，并且成为待机状态。
另一方面，在步骤S116中，控制装置10进行工序是否结束的确认。例如通过参照数据库13等进行该确认。这里，当确认了工序结束时，进入接下来的步骤S117的处理。并且，在未确认工序结束的情况下、即工序未结束而存在接下来的作业的情况下，返回上述步骤S113的处理。
在步骤S117中，控制装置10执行与结束的工序有关的证据化处理。该证据化处理是以规定形式记录所取得的图像数据等的处理等。然后，进入步骤S121的处理。
接着，在步骤S121中，控制装置10进行该作业的全部工序是否结束的确认。这里，在确认了全部工序的结束的情况下，进入接下来的步骤S122的处理。并且，在未确认全部工序结束的情况下，进入步骤S123的处理。
这里，在该作业的全部工序未结束的情况下，作业者100将手拿着的维护工具(前一个作业中使用的工具)更换(变更)为接下来的作业(例如第2作业)中使用的维护工具。
该情况下，在图9的步骤S123中，控制装置10确认维护工具的变更。然后，返回步骤S105的处理，此后反复进行相同处理。
另一方面，在通过上述步骤S121的处理确认全部工序结束并进入步骤S122的处理后，在该步骤S122中，控制装置10执行最终证据化处理。该最终证据化处理是将所取得的多个图像数据等形成文件来作为规定位置文件、并且根据通过上述步骤S114的处理输出的OK信号生成的检查列表等的生成处理等。然后，结束全部处理，返回待机状态。
如以上说明的那样，根据上述一个实施方式，作业支援系统1使两个摄像装置(20、30)和控制装置10协作来发挥作用，由此，能够进行用于按照规定的作业顺序和作业方法可靠地执行由多个作业构成的规定的一连串作业的作业支援，由此，能够抑制作业错误。
并且，能够记录作业中的规定行为、使用工具、周围环境等状况作为图像而进行证据化。因此，能够在作业后检查是否按照规定可靠地进行了规定作业、保证按照规定可靠地进行了规定作业。
能够进行支援，以有效活用作业中取得的图像数据，根据所取得的多个图像数据和预先蓄积的数据库的作业信息排除作业错误，并且，在存在作业错误时，对作业者进行警告，并且，通过引导正确的顺序来进行可靠的作业。
能够可靠地排除作业错误(例如顺序的丟落、顺序的顺序错误、规定作业的怠慢等)，由此，谁都能顺畅且可靠地进行规定作业，并且，还能够容易地进行作业经过的证据(evidence)记录。
另外，在上述一个实施方式中说明的作业例(器具清洗灭菌作业)中，设为在相同场所进行第1工序～第4工序的全部作业工序的说明，但是，作为作业形式，不仅是这种形式，例如，根据作业，有时不在相同场所进行全部多个作业工序，在进行一部分作业工序时改变场所。
例如，在上述一个实施方式中说明的作业例(器具清洗灭菌作业)中，也可以在具有清洗槽150a的作业台150进行第1工序、第2工序，改变场所而使用其他作业台(未图示)进行第3工序、第4工序。
这是基于如下理由：第1工序、第2工序是在水中进行的清洗作业，而第3工序、第4工序是优选在干燥场所进行的作业。这种情况下，构成为在进行第3工序、第4工序的作业的其他作业台(未图示)上配设与上述辅助照相机30相同的其他个体的辅助照相机、该其他的辅助照相机也与上述控制装置10协作并在该控制装置10的控制下发挥作用即可。
并且，在上述的一个实施方式中，示出辅助照相机30载置在作业台150的台子上的例子，但是，辅助照相机30的配置不限于该例子。
例如，还考虑将辅助照相机配设在清洗槽150a的液体中。图16示出这样构成的情况下的状况。图16是示出使用上述一个实施方式的变形例的作业支援系统进行规定维护作业(器具清洗灭菌作业)时的状况的概念图。图17是示出图16的变形例中由可穿戴终端装置取得的动态图像数据的一个场景的图。图18是示出图16的变形例中由辅助照相机取得的静态图像数据的图。
该变形例的情况下，配设在液体中的辅助照相机30A是具有防水功能的摄像装置。这样，在清洗槽150a的液体中配设了辅助照相机30A的情况下，能够更加清楚地记录液体中的作业。
另外，该结构的情况下，辅助照相机30A与控制装置10之间的通信需要使用有线缆线、或者构成为使无线通信用天线露出到水面上。
并且，作为可穿戴终端装置20的形式，除了上述一个实施方式和变形例所示的形式以外，例如，还可以构成为在进行作业时作业者必须要佩戴的面部保护具等中一体地组入摄像功能。如果是这种结构的可穿戴终端装置，则作业者在作业前必须佩戴面部保护具，因此，能够消除佩戴分体的可穿戴终端装置的繁琐，同时，能够抑制作业者忘记佩戴可穿戴终端装置这样的错误。
并且，如果将控制部放入该装置内，则成为如下的可穿戴装置：不仅具有取得视线图像数据以取得与作业者的视线对应的作业信息的摄像部，还具有预先蓄积有由与规定作业有关的来自多个视野的图像信息构成的作业信息的数据库，该可穿戴装置的特征在于：具有取得辅助图像的通信部、以及根据第1图像数据和第2图像数据检索上述数据库的作业信息并进行判定的作业判定部，所述辅助图像来自设置在与上述作业者不同的位置的辅助照相机装置，也可以是数据库设置在该装置的外部，对该数据库进行检索的系统。同样的情况也可以涉及辅助照相机。
另外，在实施例中，记载为“部”(部件或单元)的部分可以组合专用电路或多个通用电路来构成，根据需要，也可以组合根据预先编程的软件进行动作的微机、CPU等处理器或FPGA等程序器来构成。并且，也可以是外部装置承担该控制的一部分或全部这样的设计，该情况下，插入有有线或无线的通信电路。通过蓝牙、WiFi、电话线路等进行通信即可，也可以通过USB等进行通信。也可以将专用电路、通用电路和控制部作为一体而构成为ASIC。根据需要，移动部等通过各种致动器和移动用的连结机械装置构成，通过驱动电路，致动器进行动作。并且，该驱动电路也根据特定程序而由微机或ASIC等进行控制。可以根据各种传感器及其周边电路输出的信息，对这种控制进行详细校正、调整等。
并且，关于上述各实施方式中说明的各处理顺序，只要不违反其性质，则能够容许顺序的变更。因此，针对上述处理顺序，例如可以对各处理步骤的执行顺序进行变更，同时执行多个处理步骤，每当执行一连串处理顺序时，各处理步骤的顺序不同。即，关于权利要求书、说明书和附图中的动作流程，即使为了简便而使用“首先”、“接着”等进行说明，也不意味着必须按照该顺序进行实施。并且，在构成这些动作流程的各步骤中，当然能够适当省略不影响发明本质的部分。
并且，关于这里说明的技术中主要利用流程图说明的控制和功能，多数情况下能够利用软件程序进行设定，计算机读取执行该软件程序，由此能够实现上述控制和功能。
并且，这里，为了简化说明，进行了专门设置使整体协作而进行控制的控制部的说明，但是，也可以使各个设备具有该协作控制功能。可穿戴装置可以具有这种控制功能，控制装置的一部分也能够实现可穿戴装置这样的思路。并且，写成辅助照相机的部分也可以具有控制装置的功能而对可穿戴装置进行控制，控制装置也可以是具有辅助照相机的系统。进而，这些结构也可以通过通信来传达各步骤的进展，若干个装置作为整体而发挥控制装置的作用。
该软件程序是作为计算机程序产品而预先在产品制造过程中在上述存储介质或存储部等、具体而言例如为软盘CD-ROM等非易失性存储器等移动介质或硬盘、易失性存储器等存储介质中存储或记录有其整体或一部分的电子数据。这些记录介质可以分散配置，以使设备分担控制。并且，与此不同，可以在产品出厂时或经由移动介质或通信线路进行流通或提供。利用者在产品出厂后，也可以经由自己的通信网络或因特网等下载这些软件程序并安装在计算机上，或者从存储介质安装在计算机上，从而使其进行动作，由此，能够容易地实现本实施方式的摄像装置。
本发明不限于上述实施方式，当然能够在不脱离发明主旨的范围内实施各种变形和应用。进而，在上述实施方式中包含各种阶段的发明，通过所公开的多个结构要件的适当组合，能够提取各种发明。例如，在即使从上述一个实施方式所示的全部结构要件中删除若干个结构要件也能够解决发明要解决的课题并得到发明效果的情况下，删除了该结构要件的结构也能够作为发明来提取。进而，可以适当组合不同实施方式中的结构要素。除了通过附加的权利要求进行限定以外，本发明不受这些特定的实施方式制约。

Claims (12)

1.一种作业支援系统，其中，上述作业支援系统具有：
第1摄像装置，其主要取得动态图像数据；
第2摄像装置，其主要取得静态图像数据；以及
控制装置，其使上述第1摄像装置和上述第2摄像装置协作而进行控制，并且取得规定作业的作业信息；
根据使上述第1摄像装置和上述第2摄像装置协作而取得的图像数据，对规定作业进行支援。
2.根据权利要求1所述的作业支援系统，其特征在于，
上述第1摄像装置是取得与作业者的视场大致相同的摄像范围的动态图像数据且由作业者佩戴的可穿戴终端装置，
上述第2摄像装置是辅助照相机，该辅助照相机从与上述可穿戴终端装置不同的方向取得包含规定对象物在内的规定摄像范围的静态图像数据，
上述控制装置根据由上述可穿戴终端装置取得的动态图像数据对上述辅助照相机进行控制，取得静态图像数据。
3.根据权利要求1所述的作业支援系统，其特征在于，
上述作业支援系统还具备数据库，该数据库预先蓄积有与规定作业有关的规定作业信息，
上述控制装置对由上述第1摄像装置和上述第2摄像装置在规定作业的作业过程中取得的图像数据与上述数据库中蓄积的上述作业信息中的与上述规定作业对应的上述作业信息进行比较，由此判定作业错误。
4.根据权利要求3所述的作业支援系统，其特征在于，
上述第1摄像装置还具有显示部，
在由上述控制装置判定了作业错误的情况下，上述控制装置使用上述显示部进行警告显示。
5.根据权利要求4所述的作业支援系统，其特征在于，
上述显示部是显示视觉信息的显示面板。
6.根据权利要求4所述的作业支援系统，其特征在于，
上述显示部是显示声音信息的发声装置。
7.根据权利要求1所述的作业支援系统，其特征在于，
上述控制装置还具有证据记录部，
上述证据记录部记录由上述第1摄像装置在作业过程中取得的动态图像数据和由上述第2摄像装置在作业过程中取得的静态图像数据。
8.一种可穿戴装置，其特征在于，上述可穿戴装置具有：
第1摄像部，其取得第1图像数据，以取得与作业者的视线对应的作业信息；以及
显示部，上述第1图像数据和来自第2摄像装置的第2图像数据被根据数据库中的作业信息而进行判定，上述显示部显示该判断的情况，上述第2摄像装置设置于与上述作业者不同的位置。
9.一种摄像装置，其特征在于，该摄像装置输出的图像数据被送至作业判定装置，该作业判断装置具有：
接收部，其接收第1摄像部的信息，该第1摄像部设置在与该摄像装置分开的可穿戴装置中，取得第1图像数据以取得与作业者的视线对应的作业信息；以及
数据库，其预先蓄积有与规定作业有关的规定作业信息；
上述摄像装置输出的图像数据和上述第1图像数据被上述作业判定装置根据上述数据库中的作业信息进行判定。
10.一种作业支援方法，其特征在于，
取得第1图像数据，以取得与作业者的视线对应的作业信息，
取得第2图像数据，以取得和上述与作业者的视线对应的作业信息不同的作业信息，
针对上述第1图像数据和上述第2图像数据，根据预先蓄积在数据库中的、与规定作业有关的由来自多个视野的图像信息构成的作业信息，来判定作业。
11.一种作业支援系统，其特征在于，上述作业支援系统具有：
由作业者佩戴的可穿戴终端装置，其取得与作业者的视场大致相同的摄像范围的动态图像数据；
辅助照相机，其用于从与上述可穿戴终端装置不同的方向取得包含规定对象物在内的规定摄像范围的静态图像数据；以及
控制装置，其使上述可穿戴终端装置和上述辅助照相机协作而进行控制，
根据由上述可穿戴终端装置取得的动态图像数据对上述辅助照相机进行控制，取得作为作业的证据的静态图像数据。
12.一种作业支援系统，其特征在于，该作业支援系统具有控制装置，
该控制装置在根据与作业者的视场大致相同的摄像范围的动态图像数据的分析结果而得到的时机，从与上述动态图像数据不同的方向取得包含规定对象物在内的规定摄像范围的静态图像数据，作为作业的证据。
CN201810863089.2A 2017-08-16 2018-08-01 作业支援系统、可穿戴装置、摄像装置、作业支援方法 Pending CN109413376A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-157042 2017-08-16
JP2017157042A JP2019036132A (ja) 2017-08-16 2017-08-16 作業支援システム，ウェアラブル装置，撮像装置，作業支援方法

Publications (1)

Publication Number Publication Date
CN109413376A true CN109413376A (zh) 2019-03-01

Family

ID=65360849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810863089.2A Pending CN109413376A (zh) 2017-08-16 2018-08-01 作业支援系统、可穿戴装置、摄像装置、作业支援方法

Country Status (3)

Country Link
US (1) US10542198B2 (zh)
JP (1) JP2019036132A (zh)
CN (1) CN109413376A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188152A (zh) * 2019-07-01 2021-01-05 株式会社日立制作所 远程作业支援系统
CN112470180A (zh) * 2019-05-20 2021-03-09 株式会社日立系统 作业辅助系统以及作业辅助方法
CN113489954A (zh) * 2021-07-06 2021-10-08 北京市商汤科技开发有限公司 生产作业报告的生成方法、装置、电子设备及存储介质
CN113497917A (zh) * 2020-03-18 2021-10-12 东芝泰格有限公司 影像处理装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7108566B2 (ja) * 2019-03-15 2022-07-28 株式会社日立製作所 デジタルエビデンス管理方法およびデジタルエビデンス管理システム
JPWO2023176030A1 (zh) * 2022-03-18 2023-09-21

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006030985A (ja) * 2004-06-16 2006-02-02 Ricoh Co Ltd 静電潜像担持体及びプロセスカートリッジ、並びに画像形成装置及び画像形成方法
US20110216208A1 (en) * 2010-03-08 2011-09-08 Yoshinori Matsuzawa Photographing apparatus, photographing system and photographing method
CN102737282A (zh) * 2006-03-03 2012-10-17 株式会社汤山制作所 混注监查系统
CN103917189A (zh) * 2012-10-11 2014-07-09 株式会社东芝 医用作业支援系统、手术服及医用装置
CN105144010A (zh) * 2013-03-14 2015-12-09 株式会社东芝 技能可视化装置及技能可视化方法
US20160132532A1 (en) * 2014-11-11 2016-05-12 Commscope, Inc. Of North Carolina Multi-tier intelligent infrastructure management systems for communications systems and related equipment and methods
US20170094226A1 (en) * 2009-04-28 2017-03-30 Whp Workflow Solutions, Llc Multiple communications channel file transfer
CN107037784A (zh) * 2015-09-30 2017-08-11 尼德克株式会社 终端装置及终端控制方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483049B2 (en) * 1998-11-20 2009-01-27 Aman James A Optimizations for live event, real-time, 3D object tracking
US20060095539A1 (en) * 2004-10-29 2006-05-04 Martin Renkis Wireless video surveillance system and method for mesh networking
US10354407B2 (en) * 2013-03-15 2019-07-16 Spatial Cam Llc Camera for locating hidden objects
US9736368B2 (en) * 2013-03-15 2017-08-15 Spatial Cam Llc Camera in a headframe for object tracking
US9483959B2 (en) * 2008-08-21 2016-11-01 Lincoln Global, Inc. Welding simulator
US8578299B2 (en) * 2010-10-08 2013-11-05 Industrial Technology Research Institute Method and computing device in a system for motion detection
US20140184854A1 (en) * 2012-12-28 2014-07-03 Motorola Mobility Llc Front camera face detection for rear camera zoom function
JP2015186020A (ja) * 2014-03-24 2015-10-22 オリンパス株式会社 表示機器、撮影機器及び表示方法
JP6306552B2 (ja) 2015-10-13 2018-04-04 株式会社タダノ 遠隔操作装置、及び案内システム
US10834377B2 (en) * 2016-08-29 2020-11-10 Faro Technologies, Inc. Forensic three-dimensional measurement device
US9699410B1 (en) * 2016-10-28 2017-07-04 Wipro Limited Method and system for dynamic layout generation in video conferencing system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006030985A (ja) * 2004-06-16 2006-02-02 Ricoh Co Ltd 静電潜像担持体及びプロセスカートリッジ、並びに画像形成装置及び画像形成方法
CN102737282A (zh) * 2006-03-03 2012-10-17 株式会社汤山制作所 混注监查系统
US20170094226A1 (en) * 2009-04-28 2017-03-30 Whp Workflow Solutions, Llc Multiple communications channel file transfer
US20110216208A1 (en) * 2010-03-08 2011-09-08 Yoshinori Matsuzawa Photographing apparatus, photographing system and photographing method
CN103917189A (zh) * 2012-10-11 2014-07-09 株式会社东芝 医用作业支援系统、手术服及医用装置
CN105144010A (zh) * 2013-03-14 2015-12-09 株式会社东芝 技能可视化装置及技能可视化方法
US20160132532A1 (en) * 2014-11-11 2016-05-12 Commscope, Inc. Of North Carolina Multi-tier intelligent infrastructure management systems for communications systems and related equipment and methods
CN107037784A (zh) * 2015-09-30 2017-08-11 尼德克株式会社 终端装置及终端控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘蓉 等: "人工作业系统各作业模式生产效率与成本分析", 《系统工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112470180A (zh) * 2019-05-20 2021-03-09 株式会社日立系统 作业辅助系统以及作业辅助方法
CN112188152A (zh) * 2019-07-01 2021-01-05 株式会社日立制作所 远程作业支援系统
US11544030B2 (en) 2019-07-01 2023-01-03 Hitachi, Ltd. Remote work-support system
CN113497917A (zh) * 2020-03-18 2021-10-12 东芝泰格有限公司 影像处理装置
CN113489954A (zh) * 2021-07-06 2021-10-08 北京市商汤科技开发有限公司 生产作业报告的生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2019036132A (ja) 2019-03-07
US20190058818A1 (en) 2019-02-21
US10542198B2 (en) 2020-01-21

Similar Documents

Publication Publication Date Title
CN109413376A (zh) 作业支援系统、可穿戴装置、摄像装置、作业支援方法
CN109696957A (zh) 作业支援系统、摄像装置、可穿戴装置、作业支援方法
US10813587B2 (en) Method for determining movement patterns during a dental treatment
CN113288487B (zh) 刷牙指导方法与刷牙方法、设备、系统及存储介质
CN109124489A (zh) 具有至少两个清洁设备的系统
CN106999337A (zh) 眼睛训练系统和计算机程序产品
CN106264384A (zh) 表面清洁的支持
EP2823451B1 (en) Method for ordering a spectacle lens and associated system
RU2757348C2 (ru) Сеть для взаимодействия устройств для личной гигиены
JP6542498B1 (ja) 内視鏡洗浄作業支援装置、内視鏡洗浄作業支援装置の作動方法、及び内視鏡洗浄作業支援プログラム
KR101654853B1 (ko) 치아 관리 디스플레이 시스템 및 치아 관리 디스플레이 방법
CN112099629B (zh) 一种提供工作操作指引的方法和系统
JP2020014057A (ja) 頭部搭載型表示装置、検査支援表示システム、表示方法及び表示プログラム
JP6283230B2 (ja) 院内感染防止支援装置、院内感染防止支援方法、及びプログラム
JP7113702B2 (ja) 点検作業支援装置、点検作業支援システム、および点検作業支援方法
JP2017117295A (ja) 内視鏡検査業務支援システム
JP2019086916A (ja) 作業支援装置、作業支援方法、作業支援プログラム
JP2017117294A (ja) 内視鏡検査業務支援システム
CN218217527U (zh) 面部捕捉设备
CN112041911A (zh) 用于卫生设备的训练系统
JP6479223B2 (ja) 院内感染防止支援装置、院内感染防止支援方法、及びプログラム
JP7131807B2 (ja) 装着型歯科診療装置および装着型歯科診療システム
CN117193681B (zh) 基于口腔清洁交互系统的设备连接方法、系统及存储介质
EP3891712A2 (en) A hand wash monitoring system
JPWO2019235068A1 (ja) 被監視者監視支援装置、被監視者監視支援方法、被監視者監視支援システムおよび被監視者監視支援サーバ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20210827