JP2019079144A - 作業支援システム，撮像装置，ウェアラブル装置，作業支援方法 - Google Patents

Abstract

【課題】作業支援を行い実行した各作業のエビデンス記録を取得することができる作業支援システムを提供する。【解決手段】画像データを取得する撮像装置２０と、データベース１３で時系列に管理された工程情報を取得する制御装置１０と、撮像装置によって取得された画像データに対して制御装置によって取得された作業情報のうち画像データに対応する工程情報と撮影時刻情報を含むメタデータを関連付けて記録する記録部とを具備する。【選択図】図１

Description

この発明は、作業手順が規定されている所定の作業を支援するための作業支援システム，撮像装置，ウェアラブル装置，作業支援方法に関するものである。

従来、各種の工業生産物（製品）が広く普及している。これら各種の工業生産物（製品）を対象とする作業は、例えば、製造工程内の製造組み立て作業や、これらの製品を使用する際の作業（取り扱い作業）、若しくは同製品のメンテナンス作業（保守，点検，調整，修理等）等、様々な作業が存在する。これらの作業は、それぞれの作業毎に各所定の作業手順や手法等が明確に規定されている場合が多い。一方、これらの作業には、作業者による手動作業（マニュアルオペレーション）によるものがある。

このような作業は、対象となる各製品毎に多種多様な作業が存在する。そして、それぞれの作業は、複雑な手順を要したり、必要に応じて適宜確認作業が必要になる場合もある。したがって、作業者は、規定の作業を確実に行うために、所定の作業手順を全て正確に記憶するか、若しくは操作説明書等のマニュアルを参照しながら作業を進めることになる。

しかしながら、所定の一連の作業を全て確実に記憶し、常に正確な作業を遂行するためには熟練を要する。また、操作説明書等のマニュアルを参照しながら作業を進める場合には、例えば、参照文献を参照する毎に作業の手を止めてしまうことになり、よって、スムースな作業を妨げてしまうと共に、必要以上の作業時間を要してしまうことになる。

そこで、作業手順が明確に規定されているような所定の作業を行う際に作業者を支援するための作業支援システムについては、例えば特開２０１７−７５００１号公報等によって、従来種々の提案がなされている。

上記特開２０１７−７５００１号公報等によって開示されている作業支援システムは、移動式クレーンの作業手順を案内するための作業支援システムである。この作業支援システムは、作業者（オペレータ）に対して所定の作業手順を正しく案内するために、例えばウェアラブル型の観察装置を用いて構成している。

そして、当該作業支援システムは、作業機の状態を検出する検出装置と、当該検出装置によって検出された作業機の状態を送信する送信部と、作業機を遠隔操作する操作部と、作業手順を表示する表示部と、送信部によって送信された作業機の状態を受信する受信部と、を有する遠隔操作装置、を備え、遠隔操作装置に設けられた表示部には、受信した作業機の状態に基づいて規定の作業手順を表示するように構成されている。

このような構成により、上記作業支援システムにおいては、作業工程毎に対応する作業内容の詳細な説明を観察装置の表示画面に適宜表示させることができるので、作業手順を予め記憶していなくても、常に正確な作業手順を行ない得るというものである。

特開２０１７−７５００１号公報

ところが、上記特開２０１７−７５００１号公報等によって開示されている従来の作業支援システムでは、観察装置の表示画面には、予め用意された説明情報等が単に表示されるのみであり、作業経過等のエビデンス情報を記録するといった構成及び作用については考慮されてない。

従来のこの種の作業支援システムにおいて、作業経過等のエビデンス情報を記録することを考慮した場合、所定の作業工程を実行する都度、その作業者がエビデンス情報の記録操作を、所定の作業と同時に若しくは並行して行うことが要求される。このことは、全体的な作業量が増えてしまう共に、一連の作業が煩雑化してしまうという問題点がある。したがって、所定の一連の作業を行うのに際して、さらに、エビデンス記録操作等が加わったとすると、作業者の負担が増加してしまうので、主要となる作業自体を妨げてしまうこともあり得るという問題点がある。

本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、作業手順が規定されている所定の作業を支援するための作業支援システムにおいて、作業ミスを抑止すべく作業支援を行うと共に、実行した各作業のエビデンス情報の記録を確実に行うことができると共に、多様なエビデンス情報を取得し得る作業支援システム，撮像装置，ウェアラブル装置，作業支援方法を提供することである。

上記目的を達成するために、本発明の一態様の作業支援システムは、
画像データを取得する撮像装置と、データベースで時系列に管理された工程情報を取得する制御装置と、上記撮像装置によって取得された上記画像データに対して、上記制御装置によって取得された上記作業情報のうち上記画像データに対応する工程情報と撮影時刻情報を含むメタデータを関連付けて記録する記録部とを具備する。

本発明の一態様の撮像装置は、画像データを取得する撮像部と、所定の作業に関する画像情報を含む作業情報が予め蓄積されたデータベースとの間で通信を行う通信部と、実行された作業の作業情報を取得する制御部と、上記撮像部によって取得された上記画像データに対して、上記制御部によって取得された上記作業情報のうち上記画像データに対応する作業情報を含むメタデータを関連付けて記録する記録部とを具備する。

本発明の一態様のウェアラブル装置は、作業者の目線相当の画像データを取得する撮像部と、所定の作業に関する画像情報を含む作業情報が予め蓄積されたデータベースとの間で通信を行う通信部と、実行された作業の作業情報を取得する制御部と、上記撮像部によって取得された上記画像データに対して、上記制御部によって取得された上記作業情報のうち上記画像データに対応する作業情報を含むメタデータを関連付けて記録する記録部とを具備する。

本発明の一態様の作業支援方法は、データベースで時系列に管理された複数の工程情報から特定の工程情報を取得する工程情報取得ステップと、上記工程撮像装置から画像データを取得する画像取得ステップと、上記撮像装置によって取得された上記画像データに対して、上記制御装置によって取得された上記作業情報のうち上記画像データに対応する工程情報と撮影時刻情報を含むメタデータを関連付けて記録する記録ステップとからなる。

本発明によれば、作業手順が規定されている所定の作業を支援するための作業支援システムにおいて、作業ミスを抑止すべく作業支援を行うと共に、実行した各作業のエビデンス情報の記録を確実に行うことができると共に、多様なエビデンス情報を取得し得る作業支援システム，撮像装置，ウェアラブル装置，作業支援方法を提供することができる。

本発明の一実施形態の作業支援システムの構成を示す概略ブロック構成図 本発明の一実施形態の作業支援システムの一部を構成する撮像装置（ウェアラブル端末装置）の概略構成を示す概念図 作業者が撮像装置（ウェアラブル端末装置）を装着したときの作業者の顔の正面から見たようすを示し、同時に作業者の両眼による視界を示す概念図 図３で示す作業者の両眼の視界をより詳細に示す概念図 医療器具のメンテナンス作業（器具洗浄滅菌作業）において作業者が行う作業の流れを示すフローチャート メンテナンス作業で作成されるエビデンス情報の一例を示す図 本発明の一実施形態の作業支援システムを使用して所定のメンテナンス作業（器具洗浄滅菌作業）を行っている際の様子を示す概念図 本発明の一実施形態の作業支援システムを用いたメンテナンス作業（器具洗浄滅菌作業）の作業中にウェアラブル端末装置によって取得される画像データに基く画像の表示例 本発明の一実施形態の作業支援システムにおける制御装置の作用を示すフローチャート 本発明の一実施形態の作業支援システムにおけるウェアラブル端末装置（第１撮像装置）の作用を示すフローチャート ハサミ洗浄滅菌作業を想定したデータベースの例示 作業者が「ツール確認」作業のために右手に持っている所定のツール（ブラシ）をウェアラブル端末装置の前面（撮像範囲内）にかざしたときに取得される静止画像の例示 本発明の一実施形態の変形例の作業支援システムを使用して所定のメンテナンス作業（器具洗浄滅菌作業）を行っている際の様子を示す概念図 図１３の変形例においてウェアラブル端末装置によって取得される動画像データの一シーンを示す図 図１３の変形例において補助カメラによって取得される静止画像データを示す図

以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識できる程度の大きさで示すために、各部材の寸法関係や縮尺等を各構成要素毎に異ならせて示している場合がある。したがって、本発明は、各図面に記載された各構成要素の数量や各構成要素の形状や各構成要素の大きさの比率や各構成要素の相対的な位置関係等に関して、図示の形態のみに限定されるものではない。

［一実施形態］
まず、本発明の一実施形態の作業支援システムの概略構成を、図１を用いて以下に説明する。図１は、本発明の一実施形態の作業支援システムの構成を示す概略ブロック構成図である。

本実施形態の作業支援システム１は、複数の作業からなる所定の一連の作業を規定の手順及び手法に従って確実に実行するための作業支援を行うと共に、実行した各作業に関するエビデンス（evidence；証拠）記録を行うことができるようにした作業支援システムである。

ここで、この種の作業は、厳格な作業手順が規定されており、かつその作業手順を忠実に履行しなければならないものも多いのが普通である。例えば、医療分野等においては、各種の処置や手術等に用いる器具の洗浄作業などを行うような場合、対象となる器具等の所定の部位の洗浄作業を行い、その後、当該所定の部位の洗浄状態を確認するための観察作業を行う、といった一連の作業が繰り返される。そして、この種の作業は、汚染の機会を減らして手際よく素早くスムースに行われることが求められている。

さらにまた、近年においては、各種のトラブルに対応するための対策として、例えば、一連の作業が規定通りに確実に実行されたことを示すためのエビデンス情報として、作業前後の対象物の状態や作業経過のようす等を画像として記録する等といったエビデンス情報を記録することができるシステムの要望がある。

そのために、当該作業支援システム１は、撮像装置と、この撮像装置を制御する制御装置とからなる。なお、本実施形態においては、図１に示すように、撮像装置（ウェアラブル端末装置２０）と制御装置１０とによって構成した作業支援システム１の例を示している。

このような構成により、本実施形態の作業支援システム１は、予め決められた複数の作業に関する情報集（データベース）と、実際に行われた作業に関する複数の画像データ（取得画像データ）とに基づいて、対象とする一連の作業に含まれる個々の作業内容や作業手順を表示して作業案内を行ったり、個々の作業が正しく行われたか否か、正しい作業手順が実行されたか否か等、作業に関する確認や判定を行って、正しい作業が行われた場合にはエビデンス記録を行う一方、誤った作業が行われた場合には作業者に警告等を発して正しい作業を促す等の作業支援を行う。

具体的には、本実施形態の作業支援システム１は、撮像装置でありウェアラブル装置であるウェアラブル端末装置２０と、このウェアラブル端末装置２０を制御する制御装置１０とによって構成される。

制御装置１０は、ウェアラブル端末装置２０を制御し、ウェアラブル端末装置２０により取得された画像データ（静止画像データ，動画像データ）に基づいて、実行された個々の作業の確認や判定を行い、作業記録（エビデンス記録）等の動作制御を行う。

そのために、制御装置１０は、制御部１１と、通信部１２と、データベース１３と、エビデンス記録部１４と、表示部１５と、時計部１６等を有して構成されている。

なお、本実施形態の制御装置１０においては、図示を省略しているが、上述した各構成要素のほかにも、例えば操作部等、一般的な制御装置が具備している各種の構成要素を有している。これら図示を省略した各種の構成要素については、本発明に直接関連しない部分であるので、その詳細説明は省略する。

制御部１１は、本実施形態の作業支援システム１の全体を統括的に制御する複数の制御回路等を含む構成部である。この制御部１１に含まれる複数の制御回路等としては、特に、作業判定部１１ａと、表示制御部１１ｂと、ガイド部１１ｃと、対象物判定部１１ｄと、大きさ判定部１１ｅと、改竄防止部１１ｆ等がある。

作業判定部１１ａは、ウェアラブル端末装置２０によって取得された画像データと、データベース１３に予め蓄積されている情報と、対象物判定部１１ｄ及び大きさ判定部１１ｅによって取得された判定結果情報等に基づいて、実行された作業に関する各項目の確認や判定等を行う制御回路等を含む構成部である。なお、ここで行われる判定は、例えば、作業に用いるツールの種類の判定や、各作業の種類の判定等である。

表示制御部１１ｂは、当該制御装置１０に含まれる表示部１５や当該制御装置１０と協働するウェアラブル端末装置２０に含まれる表示部２５等を制御して、所定の表示（画像表示のほか警告表示やガイド表示等）を行わせるための制御回路等を含む構成部である。

ガイド部１１ｃは、ウェアラブル端末装置２０によって取得された画像データと、データベース１３に予め蓄積されている情報とに基づいて、実行された作業に関するガイド表示や、次に行うべき作業のガイド表示等を行うためのガイド情報を生成する制御回路等を含む構成部である。

対象物判定部１１ｄ及び大きさ判定部１１ｅは、ウェアラブル端末装置２０によって取得された画像データと、データベース１３に予め蓄積されている情報とに基づいて、画像データに含まれる所定の対象物の種類や部位，形状，大きさ，個数，状態等、所定の条件を検出し判定する制御回路等を含む構成部である。なお、大きさの判定手段としては、上述した以外にも、例えばオートフォーカス機構を利用して、撮像装置と対象物との間の距離と撮像素子サイズとの関係から、撮像素子の受光面上に結像された対象物のサイズを算出するといった手段を用いることも考えられる。

改竄防止部１１ｆは、ウェアラブル端末装置２０（撮像装置）にて生成され記録されて当該制御装置１０に通信部（２２，１２）を介して転送されてきた画像データに対して特定のデータ処理を施すことにより、当該画像データの保護，改竄防止等を行うための処理回路部である。

例えば、改竄防止部１１ｆは、ウェアラブル端末装置２０によって記録され当該制御装置１０に転送された画像データについて、特定の画像表示装置若しくは専用のアプリケーションソフトを用いる場合にのみ再生を許可するための特定のデータ処理等を加える回路部である。

また、改竄防止部１１ｆは、上述したようなデータ処理以外にも、例えばデータ暗号化処理や改竄検出用ハッシュ関数の作成処理等のほか、ファイル形式の変換処理，データロック処理等、その他のデータ処理を行う。なお、記憶媒体に記録されるデータの改竄防止技術については、従来周知の技術を利用するものとして、これ以上の詳細な説明は省略する。

通信部１２は、ウェアラブル端末装置２０の通信部２２との間でデータ通信（情報の送受信）を行う制御回路等を含む送信部であり受信部である。ここで、通信部１２は、無線通信を用いる構成であってよいし、有線通信を用いる構成であってもよい。

データベース１３は、予め決められた各種の情報を蓄積するストレージ装置（補助記憶装置）である。本実施形態においては、データベース１３を制御装置１０に含めて構成する例（具体的には、例えば、内部固定式の記憶媒体（内蔵メモリ等）若しくは着脱式の記憶媒体（着脱カード式メモリ等））を示している。しかしながら、データベース１３の構成は、これらの形態に限られることはない。例えば、データベースを独立した形態の外部ストレージ装置によって構成してもよい。なお、この場合には、独立構成のデータベースと制御装置１０との間は、無線若しくは有線による所定の接続手段によって各種データの送受信を行い得るように構成すればよい。

データベース１３には、例えば作業情報データベース１３ａや画像データベース１３ｂ等が蓄積される。ここで、作業情報データベース１３ａは、複数の作業に関する各種の情報からなる作業情報が含まれる。ここで、作業情報とは、例えば、作業名（総括的な名称/工程名称/詳細な作業名称など）、作業対象物、作業部位、作業時間情報 （開始/終了時間 トータル時間など）、周囲環境情報（作業所在地/建屋名/部屋名/作業台位置など）、作業者名等の個々の作業に関する詳細な個別の情報である。

これらの作業情報は、各作業中に含まれる複数の工程に分解することができる。さらに、各工程は、画像で確認可能な作業内容（作業要素）として検出することにより、作業の確実性をチェックしたり担保することができる。

なお、詳細は後述することになるが、各作業要素が対応する作業の実際の撮像画像内容と合致しているか否かを確認することにより、各工程や各作業の確実性が判定される。また、各作業要素は、各工程と別のものではなく、各工程情報に含まれる情報である。

作業情報によって表される各作業内容は、撮像装置によって取得される撮像結果（画像データ）によって簡単に判定が可能な対象物や動きに分解した形態の「作業要素」の集合である。これら複数の「作業要素」をデータベースに記載しておくことで、画像判定を単純な工程に分解することができる。

つまり、これら作業要素を一つ一つクリアしていけば（つまり判定結果がＯＫであれば）、各工程が正しく行われているか否かの判定や、各工程に関連したアドバイス等のガイド表示を的確に適切なタイミングで掲出することができる。そして、取得された画像が、各対応する工程であるかを判定することもできる。さらにまた、このようにして、各工程について正しく行われている旨の判定（ＯＫ結果）が特定の順番で判定することができれば、記録すべき作業をトータルとして保証することができる。作業前後の判定なども、必要に応じて、この作業要素情報を利用すればよい。

また、画像データベース１３ｂは、作業情報データベース１３ａに記録される各種情報に関連する画像データ集（例えば複数の作業に関する複数の視野からの画像情報等）である（詳細後述；図１１参照）。

エビデンス記録部１４は、ウェアラブル端末装置２０等によって取得された画像データ等と、これに関連する作業情報を関連付けて記録する制御回路等及び記録媒体等を含む構成部である。もちろん、もっと多くの視野、視界、視点からの画像を参照可能にしてもよい。

表示部１５は、各種の設定用画面を表示させたり、エビデンス記録部１４に記録された画像データや、ウェアラブル端末装置２０から転送された画像データ等を表示すると共に、表示中の画像データに付随する各種の情報（メタデータ）等を表示することのできる表示用パネル及びその駆動回路等からなる構成ユニットである。

時計部１６は、いわゆるリアルタイムクロック（Real-Time Clock；ＲＴＣ）などと呼ばれる内部時計である。時計部１６は、例えばデータファイル等に対して日時情報，時刻情報を付与したり、制御処理中における所定の指示タイミング間の計時を行ったり、時間的制御等の際に利用される回路部である。

ウェアラブル端末装置２０は、例えば、図２に示すように、作業者が身体の一部（例えば顔面近傍等）に装着することによって、両手を自在とすることができると同時に、作業者自身の手元近傍の様子を常に撮像することができるような形態の撮像装置である。

換言すると、ウェアラブル端末装置２０は、作業者の目線相当の作業情報を取得することができる形態の撮像装置である。つまり、ウェアラブル端末装置２０によって取得される画像データに基いて表示される画像は、作業者がその情景を目視したということの証拠として利用することができる。

このウェアラブル端末装置２０は、主に動画像データを取得するほか、任意のタイミングで静止画像データをも取得する。当該ウェアラブル端末装置２０によって取得される動画像データは、作業者の頻繁な作業の流れや作業にかかる時間経過等を把握して、それらの時間データ等をもエビデンス情報として記録するためのものである。静止画像データの場合は、時間変化が判別できる形態の情報、例えば動きベクトルのような画像の時間変化を表すデータ情報を付加した形態のものでもよい。エビデンス情報として用いる場合は、後で人間が検証できるような静止画データであることが好ましい。

こうした画像は、情報量の多さから、画像として表示した時や印刷した時に検索性にすぐれ、改竄されていないかを見つけ易くできるという利点がある。また、画像データに対して様々な情報を紐付けておくことで画像の意味や価値を高め、さらに、証拠、証跡としての扱いを可能とすることができる。画像は情報量が多いので、画像判定の機能と画像記録を連携させて、特定の状況の判定に合わせた証跡情報記録に有効である。

ここで、図２は、本実施形態の作業支援システムの一部を構成する撮像装置（ウェアラブル端末装置）の概略構成を示す概念図である。なお、図２は、作業者が当該撮像装置（ウェアラブル端末装置）を装着した状態を想定して示している。また、図３は、作業者が撮像装置（ウェアラブル端末装置）を装着したときの作業者の顔の正面から見たようすを示し、同時に作業者の両眼による視界を示す概念図である。そして、図４は、図３で示す作業者の両眼の視界をより詳細に示す概念図である。

本実施形態において、ウェアラブル端末装置２０は、制御部２１の制御下において単独で作用すると同時に、上記制御装置１０との間で通信を行うことによって、当該制御装置１０の制御部１１の制御下においても作用する撮像装置である。

なお、本実施形態におけるウェアラブル端末装置２０は、動画像データを取得するほかにも、例えば、作業者による所定の操作、或いは所定の行為をトリガーとして、任意に若しくは自動的に静止画像データを動画像データと同時に又は静止画像データを単独で取得し得るような機能を有する。

ウェアラブル端末装置２０は、制御部２１と、通信部２２と、操作部２３と、撮像部２４と、表示部２５と、記録部２６（図３には不図示；図２参照）と、音声入力部２７と、音声出力部２８と、支持部２９（図２には不図示；図３参照）等を有して構成されている。

制御部２１は、ウェアラブル端末装置２０の全体を統括的に制御する制御回路等を含む構成部である。この制御部２１は、例えば、ＣＰＵ（Central Processing Unit）等を用いたプロセッサ（processor；処理装置）によって構成されている。そして、制御部２１は、メモリ（不図示）に記憶されたプログラムにしたがって動作することにより、各構成部の制御を行う。

即ち制御部２１は、通信部２２を制御して制御装置１０との間で各種の情報の送受信（通信）を行う制御を実行する。制御部２１は、操作部２３からの操作入力を受けて各構成部の制御を実行する。制御部２１は、撮像部２４を制御して画像データ等を取得する制御を実行する。制御部２１は、表示部２５を制御して表示パネル２５ｂ（後述する；図２参照）画面に各種の情報表示を行う制御を実行する。制御部２１は、撮像部２４からの出力（撮像画像データ）を受けて、記録部２６を制御し上記受信した画像データに対して所定の信号処理を施して、当該処理済み画像データを記録部２６に含まれる記憶媒体へと記録する制御を実行する。制御部２１は、音声入力部２７を制御して音声情報の入力を受けて所定の指示信号を発生させる制御を実行する。制御部２１は、音声出力部２８を制御して音声によるガイド情報，警告指示等の出力を行う制御を実行する。

これらの制御に加えて、制御部２１は、上記制御装置１０の制御部１１からの制御信号を受けて上記制御装置１０と協働して当該ウェアラブル端末装置２０を制御する。

制御部２１は、例えば、画像判定部２１ｂと、表示制御部２１ｃ等の複数の回路部等を有して構成されている。

画像判定部２１ｂは、撮像部２４によって取得した画像データに基づいて所定の判定を行う判定処理回路である。この画像判定部２１ｂは、上述の制御装置１０の制御部１１に含まれる各種判定部（１１ａ，１１ｄ，１１ｅ）と同等若しくは簡易的な回路部である。

つまり、当該画像判定部２１ｂは、撮像部２４により取得された画像データ（静止画像データ，動画像データ）をデータベース１３の作業情報に基づいて作業内容を判定する作業判定部として機能する。したがって、制御装置１０の制御部１１に各種判定部（１１ａ，１１ｄ，１１ｅ）が設けられていれば、当該画像判定部２１ｂは省略することも可能である。

ここで、ウェアラブル端末装置２０側に画像判定部２１ｂを設けて構成されている場合には、当該画像判定部２１ｂによる判定結果のみを通信部（２２，１２）を介して制御装置１０の制御部１１へと送信すればよい。これを受けて、制御装置１０の制御部１１は、受信した判定結果情報に基づく制御を行う。したがって、この構成の場合、通信負荷を軽減させることができるという利点がある。

表示制御部２１ｃは、表示部２５を制御して表示パネル２５ｂ（図２参照）に所定の表示を行うための制御回路部である。

通信部２２は、制御装置１０との通信（情報の送受信）を司る制御回路等を含む送信部であり受信部である。通信部２２は、無線若しくは有線による所定の通信手段が適用される。

さらに、通信部２２は、制御装置１０を介してデータベース１３との間で通信を行って、当該データベース１３の作業情報を参照することもできる。なお、通信部２２とデータベース１３とが直接通信を行うような構成としてもよい。

操作部２３は、当該ウェアラブル端末装置２０を操作するための複数の操作部材と、これら複数の操作部材に対応し各所定の操作入力信号を発生させる複数の電気部品等によって構成される構成部である（その詳細構成は不図示）。

撮像部２４は、撮像光学系２４ａ（図２参照）や図示しない撮像素子及びその駆動制御回路等を有して構成される構成部である。この撮像部２４は、撮像光学系２４ａによって形成された撮像対象物の光学像を撮像素子によって順次光電変換し、これによって得られた画像データに基く画像を表示部２５の表示パネル２５ｂに順次表示する機能を有する。また、得られた画像信号に基づいて所定の形態の画像データ（例えば動画像データ若しくは静止画像データ）を形成し、これを記録したり、通信部２２，１２を介して制御装置１０へと伝送する等の機能を有する。このような機能を有する撮像部２４自体の構成は、従来一般的な撮像装置における撮像部と略同様である。したがって、その詳細な構成及び図示は省略する。

なお、撮像素子としては、例えばＣＣＤ（Charge Coupled Device；電荷結合素子）イメージセンサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor；相補性金属酸化膜半導体）型イメージセンサー等の光電変換素子等が適用される。このような撮像部は、作業中の作業者目線（視界、視野）に近い画像が得られ、両手の間で行われる両手を使った詳細作業（目視チェックも含め）が確認しやすい。

表示部２５は、撮像部２４によって取得された画像データに基づいて画像を表示するほか、画像に重畳させて各種の警告表示若しくは各種所定のメッセージ表示又はガイド表示（詳細後述）等を表示し得ると共に、適宜所定の動作モードの切り換えにより、当該ウェアラブル端末装置２０における各種の設定等のためのメニュー表示等を行う表示制御回路等を含む構成部である。

表示部２５は、導光部２５ａと、表示パネル２５ｂ等を有して構成されている。表示パネル２５ｂは、各種の表示を行うための表示画面と、その表示を実現するための表示制御回路等を含んで構成される構成部である。この表示パネル２５ｂとしては、例えば、液晶表示（Liquid Crystal Display；ＬＣＤ）部や有機エレクトロルミネッセンス（有機ＥＬ；Organic Electro-Luminescence：ＯＥＬ）表示部等が適用される。

導光部２５ａは、表示パネル２５ｂに表示される画像を所定の表示面へと導く構成部である。

ここで、本実施形態のウェアラブル端末装置２０における表示パネル２５ｂは、図２に示すように、例えば作業者の視線方向（図２の矢印Ｘ１方向）に正対する正対面とは異なる方向に向けて設置されている。

具体的には、例えば、図２において、作業者の視線方向を矢印Ｘ１で示し、表示パネル２５ｂの表示面の向く方向を矢印Ｘ２で示している。この場合において、導光部２５ａの長軸方向は、図２の矢印Ｘ２方向と一致するように設けている。したがって、表示パネル２５ｂの表示面の画像を形成する光は、導光部２５ａによって矢印Ｘ２方向へと導かれる。

そして、導光部２５ａの内部において、一方の端部（符号２５ｘ参照）には、当該導光部２５ａによって上記矢印Ｘ２方向に導かれた光を、矢印Ｘ１方向へと折り曲げて導く光屈曲部材（プリズム等）が配設されている。したがって、表示パネル２５ｂの表示面から発した光は、導光部２５ａを矢印Ｘ２方向へと導かれ、上記プリズム等を介して作業者の一方の眼によって視認可能な位置（図３の符号２５ｃ参照）に表示されるように構成されている。

音声入力部２７は、音声情報を入力する電気部品と、これを駆動する駆動回路等を含んで構成される構成部である。音声入力部２７は、制御部２１によって制御されて、所定のタイミングで周囲環境下における音声情報を収集する。音声入力部２７としては、例えばマイクロフォン等が適用される。具体的には、例えば音声入力部２７は、作業者の声による指示を受けることにより、所定の指示信号を発生させるように構成される。つまり、当該ウェアラブル端末装置２０は、音声入力部２７から入力される音声を操作コマンドとして扱うことができるように構成されている。したがって、この場合、音声入力部２７は、所定の操作を行う際の操作手段として機能する。

音声入力部２７の配置としては、例えばウェアラブル端末装置２０を作業者が装着したとき、作業者の口近傍に配置されているのが望ましい（図２参照）。このような配置とすることにより、作業者は、音声入力部２７への音声入力を確実に行うことができる。

音声出力部２８は、音声情報を出力する電気部品と、これを駆動する駆動回路等を含んで構成される構成部である。音声出力部２８は、制御部２１によって制御されて、所定のタイミングで音声情報（例えば警告，メッセージ等の音声情報や音声ガイド等）を出力する。音声出力部２８としては、例えばスピーカ等の発音装置が適用される。

音声出力部２８の配置としては、例えばウェアラブル端末装置２０を作業者が装着したとき、作業者の耳近傍に配置されているのが望ましい（図２参照）。このような配置とすることにより、作業者は、音声出力部２８からの音声出力を確実に聞き取ることができる。

支持部２９（図２参照）は、本ウェアラブル端末装置２０の各構成部を組み付けると共に、作業者の身体の一部（例えば顔面近傍等）に装着し得るように構成されたフレーム部材である。図２に示す支持部２９の構成例は、いわゆる眼鏡フレーム形状に構成した例示である。

上記音声出力部２８は、音声情報を出力する機能に加えて、さらに振動を発生させる機能を備えた電気部品を適用してもよい。この場合には、音声情報の出力時に、所定の周期の振動を発生させることで、作業者に対する警告を、より明確に伝達することができるようになる。また、警告の種類に応じて振動の周期を変更することにより、複数種類の警告に対応させることができる。さらにまた、単独部品としての振動発生部を設けるようにしてもよい。

なお、図示を省略しているが、本実施形態におけるウェアラブル端末装置２０は、電源供給源となるバッテリを有している。このバッテリは、当該ウェアラブル端末装置２０を駆動するために必要な電力を発生し、制御部２１によって制御されることによって、各構成部への電力供給が行われる。

また、本ウェアラブル端末装置２０は、内部に時計部２０ａ（図２参照）を具備している。この時計部２０ａは、上述の制御装置１０における時計部１６と同様に、いわゆるリアルタイムクロック（ＲＴＣ）などと呼ばれる内部時計である。この時計部２０ａもまた、例えばデータファイル等に対して日時情報，時刻情報を付与したり、時間的制御等、所定の計時処理の際に利用される回路部である。

なお、図示及び説明を省略したその他の構成は、従来の一般的な構成からなり画像データを取得し得る構成の撮像装置に準ずるものとする。

このように構成されたウェアラブル端末装置２０を、作業者が装着したときの様子は、例えば図２，図３に示すようになる。

なお、図２，図３において、作業者１００の右眼を符号１０１Ｒで示し、左眼を符号１０１Ｌで示している。また、同図３において、右眼１０１Ｒによる右眼視野を符号１１０Ｒで示す点線で示し、左眼１０１Ｌによる左眼視野を符号１１０Ｌで示している。

この場合において、作業者１００は、ウェアラブル端末装置２０の支持部２９を、例えば（作業者１００自身にとっての）右耳近傍に装着するものとする。

このように、ウェアラブル端末装置２０を装着状態としたとき、撮像部２４の撮像光学系２４ａは、作業者の視線方向（矢印Ｘ１方向）と略一致する方向に向けられる。そして、ウェアラブル端末装置２０を装着した状態で、作業者１００が頭を巡らせる等により視線方向を変更すると、撮像部２４の撮像光学系２４ａが向く方向も、視線方向に追随して変更される。したがって、作業者１００が当該ウェアラブル端末装置２０を装着した状態で撮像部２４によって取得される画像データは、作業者が見ている方向（視線方向）を含む所定の領域となる。ここで、撮像部２４によって取得される画像データの撮像領域を、図４において示す符号２４ｃの枠線とする。この撮像領域２４ｃは、撮像光学系２４ａの画角によって任意に設定することができる。本実施形態においては、撮像領域２４ｃは、作業者１００の右眼視野１１０Ｒと左眼視野１１０Ｌとを含む領域となるように設定されている。

さらに、作業者１００がウェアラブル端末装置２０を装着した状態では、表示部２５の表示パネル２５ｂによる表示は、導光部２５ａを介して作業者１００の右眼視野１１０Ｒ内において、図３，図４の符号２５ｃで示す所定の領域に表示される。この表示領域２５ｃは、作業者１００の左右両眼の全視野（１１０Ｒ，１１０Ｌ）のうちの一部に視認可能な形態で、かつ作業者１００の視野を阻害しない程度の領域である。作業者１００は、通常状態では、左右両眼の全視野（１１０Ｒ，１１０Ｌ）を視認できると共に、視線移動を行うことで表示領域２５ｃを注視して表示部２５の表示内容を視認することができるように構成されている。

なお，図３，図４では、左眼視野１１０Ｌ内にも表示領域２５ｃが含まれるような形態で図示されているが、表示領域２５ｃは、作業者の右眼１０１Ｒに極めて近接した位置に配置されていることから、実際には、右眼１０１Ｒによってのみ視認可能であり、左眼視野１１０Ｌ内に表示領域２５ｃは入らないようになっている（左眼によっては、ほぼ見ることができない）。

このように構成された本実施形態の作業支援システム１を用いて行われる作用を以下に説明する。

本実施形態の作業支援システム１を用いて行う作業としては、各種の分野における各種の作業を想定することができるが、以下の説明においては、作業の具体的な一例として、医療器具等を扱う作業のうちの所定の医療器具等の洗浄等に関するメンテナンス作業を例に上げて説明する。具体的には、使用済みの医療器具である手術用器具や処置具等（例えばハサミ形状の器具。以下、ハサミと略記する）を洗浄して滅菌する作業（以下、器具洗浄滅菌作業という）を例示する。

まず、一般に行われる器具洗浄滅菌作業の概略的な流れを、図５のフローチャートによって簡略に説明する。図５は、医療器具のメンテナンス作業（器具洗浄滅菌作業）において作業者が行う作業の流れを示すフローチャートである。

図５に示すように、通常の器具洗浄滅菌作業は、まず、ステップＳ１１０１において、作業者がメンテナンス作業の対象とする対象物（器具）の確認を行う（例えば目視確認など）。

続いて、作業者は、ステップＳ１１０２において、メンテナンス環境の状態の確認を行う。ここで、メンテナンス環境とは、当該作業を行うための場所（部屋，台等）の環境である。また、環境の状態の確認とは、清潔な状態にあるか否か、即ち器具の洗浄滅菌作業に適した環境の状態であるか否かの確認である。通常の場合、専用のメンテナンス環境（部屋，台等）が用意されている。

続いて、作業者は、ステップＳ１１０３において、当該メンテナンス作業のうちの第１工程における第１作業を行う。

ここで、メンテナンス作業は、複数の作業をまとめた工程を複数行うことで成立する一連の作業として考えるものとする。即ち、一つの所定のメンテナンス作業は、複数の作業工程を所定の手順で実行していくことによって成立する。これら複数の作業工程のそれぞれには、さらに複数の具体的な作業行為が含まれており、これら複数の作業を所定の手順で実行することによって、個々の作業工程は成立する。

当該ステップＳ１１０３において、上記第１工程における第１作業としては、例えばメンテナンスツール（道具）の確認作業等がある。ここで、メンテナンスツールとは、例えば、器具を洗浄するための洗浄用のブラシ等である。この場合において、メンテナンスツールとしての洗浄用ブラシは、複数種類のものが用意されている。メンテナンスの対象とする器具毎に最適となるように、また、所定の器具における対象部位に応じて適するツールが用意され、メンテナンス作業の各工程，各作業毎に最適なツールが選択される必要がある。このことから、個々の作業前には、使用ツールの確認が必要になる。

ここで、作業者が使用ツールの確認を行うタイミングで、当該使用ツールの画像がエビデンス情報として自動的に取得される。また、作業開始タイミングの時間情報等の付随情報も同時に記録される。ここで、付随情報は、画像データに添付される付随情報、例えばExif（Exchangeable image file format）等の画像ファイルフォーマットにおけるメタデータ等として記録する。さらに、作業者は、周囲を見回すことによって、作業環境の画像データを取得する等の作業を含めてもよい。

次に、作業者は、ステップＳ１１０４において、当該第１工程における第２作業を行う。なお、この第２作業は、例えば、メンテナンス対象器具の所定の第１部位（例えばハサミの刃部等、具体的な部位）を洗浄する作業等であるが、その具体的な例示は省略する。なお、このタイミングで、作業中の動画像がエビデンス情報として自動的に取得される。この場合にも、所定のタイミングで静止画像を取得するようにしてもよい。同時に、時間情報（作業開始時間や完了時間若しくは総作業時間等）等の付随情報も記録される。なお、これらの付随情報等は、取得した動画像データ又は静止画像データと同一ファイル内に付加して記録するようにしてもよい。

続いて、作業者は、ステップＳ１１０５において、当該第１工程における第３作業を行う。なお同様に、この第３作業は、例えば、メンテナンス対象器具の上記第１部位とは異なる所定の第２部位（例えばハサミの連結（ジョイント）部等、具体的な部位）を洗浄する作業等であるが、その具体的な例示は省略する。ここでも、同様のエビデンス情報（画像データと各種付随情報等）の記録が行われる。

次のステップＳ１１０６において、当該第１工程で規定されている複数の作業が終了したか否かの確認を行う。なお、この図５のフローチャートで示す作業例では、第１工程を第１作業〜第３作業で完了するものとしている。

したがって、この時点で、第１工程の作業が終了していないと判断されると、上記ステップＳ１１０４の処理に戻って、同様の処理を繰り返す。また、当該第１工程の全作業が終了したことが確認されると、次のステップＳ１１０７の処理に進む。

次に、ステップＳ１１０７において、第１工程の各作業に関する工程エビデンス化処理を行う。ここで、工程エビデンス化処理とは、作業者が、第１工程の各作業を完了したことを確認し、確認したことを証拠として明示する作業である。具体的には、例えば、各作業毎に予めリストアップされた確認すべき作業項目について、作業者が実行したか否かを確認し、記録するチェックリストの作成等である。

また、当該工程内の各作業毎に取得されたエビデンス情報としての画像データや各種の付随データ等について、個々の情報を各作業毎に関連付ける等の整理を行って記録する処理を行う（図６参照）。

次に、ステップＳ１１０８において、当該メンテナンス作業（器具洗浄滅菌作業）における全ての作業工程が終了したか否かの確認を行う。ここで、作業工程が全て終了していないことが確認されると、ステップＳ１１１０の処理に進む。また、作業工程が全て終了したことが確認されると、次のステップＳ１１０９の処理に進む。

ステップＳ１１１０において、作業者は、現在手にしているメンテナンスツールを、次の作業工程で用いるメンテナンスツールに変更する作業を行う。そして、上記ステップＳ１１０３の処理に進む。

一方、全作業工程が終了したことが確認されると、ステップＳ１１０９において、作業者は、当該メンテナンス作業（器具洗浄滅菌作業）についての最終的なエビデンス化処理を行う。ここで、最終的なエビデンス化処理とは、例えば、当該作業における各工程毎に作成されたチェックリストをまとめると共に、総合的かつ最終的な作業のチェックリストを作成し、エビデンス情報ファイルとしてまとめる作業等である。つまり、この最終エビデンス化処理とは、上述のステップＳ１１０７の処理（工程エビデンス化処理）で作成された各工程毎のエビデンス情報をまとめて当該作業に関するエビデンス情報をファイル化する処理である。

上記エビデンス情報ファイルとは、例えば、図６に示すように、複数の情報を所定の形態で纏めた一覧表形式の書類である。なお、エビデンス情報ファイルは、例えば紙面に印刷する形態の書類形式のものであってもよいし、電子的な形態のいわゆる電子ファイル形式のものであってもよい。図６は、メンテナンス作業で作成されるエビデンス情報ファイルの一例を示す図である。

エビデンス情報ファイル５０には、例えばメンテナンスの対象とする器具の情報（インデックス情報）と、このメンテナンス対象器具毎に決められている複数の作業工程５２と、各作業工程５２内で行われるべき複数の作業内容についての情報等と、各作業内容に応じた複数の確認項目等をリストアップした一覧表形式のデータ集である。

エビデンス情報ファイル５０に含まれる複数の確認項目５１は、例えば、図６に示すように、作業を行う周囲環境（例えば作業部屋，作業台等）や作業に使用するツール名，作業者名，作業時間（日時，開始終了時間）等である。これら複数の確認項目は、各作業工程５２の複数の作業毎に予め決められている。これらの確認項目リストに加えて、各作業中に取得される複数の画像（静止画像，動画像）データをエビデンス情報として記録し、各確認項目毎に対応する画像データ等を関連付けて記録する。

従来においては、エビデンス情報として記録される画像データ等は、一連の作業中において各作業が完了する都度、若しくは、例えば作業を着手する直前のタイミングや作業中の所定のタイミング，作業が完了したタイミング等、所定の複数のタイミングにて各対応する複数の画像データを取得するようにしている。そして、これらの画像データの取得操作は、従来は作業者のマニュアルオペレーションにより情報取得がなされていたものである。本実施形態の作業支援システム１では、これら画像データ等を含む各種のエビデンス情報は、自動的に記録されるように構成している。

さらに、この場合において、本実施形態の作業支援システム１では、自動的に記録される画像データ内の所定の領域に対し、画像データに関連する各種のエビデンス情報が付随情報として自動的に記録されるように構成している。例えば、所定の作業の所定の工程中における作業中に取得した画像データファイルには、その画像データに関連する付随情報、例えばExif（Exchangeable image file format）等の画像ファイルフォーマットに準拠したメタデータ（図６の符号５５）等が一体に若しくは別ファイルとして記録される（図６参照）。なお、図６においては、便宜的に、メタデータの内容の一部を画像中に表示する形態で図示しているが、この形態に限られることはない。メタデータは、画像データファイルの付随する情報であればよく、その形態は様々な形態が考えられ、いずれの形態でも適用可能である。

次に、本実施形態の作業支援システム１を使用する際の作用を、以下に説明する。図７は、本実施形態の作業支援システムを使用して所定のメンテナンス作業（器具洗浄滅菌作業）を行っている際の様子を示す概念図である。

図７に示すように、本実施形態にて例示するメンテナンス作業（器具洗浄滅菌作業）を行う際には、作業者１００は、所定の作業部屋内に設置された作業台１５０に向かって椅子１５１に座った状態で作業を行う。このとき、作業者１００は、顔面近傍にウェアラブル端末装置２０を装着した状態である。これにより、ウェアラブル端末装置２０は、作業者１００の視線方向を含む所定の領域の画像データを取得する。

なお、撮像装置（ウェアラブル端末装置２０）と協働する制御装置１０は、図７においては図示を省略している。これは、本実施形態にて例示する作業の作業場所が水回り近傍にあることから、制御装置１０を離れた場所に設置しているためである。

ここで例示するメンテナンス作業（器具洗浄滅菌作業）は、使用済みの医療器具である手術用器具や処置具等であるハサミ２００を洗浄して滅菌する作業である。したがって、作業台１５０には洗浄槽１５０ａが備わっている。さらに、当該洗浄槽１５０ａの上方には水道蛇口１５３が設置されている。この水道蛇口１５３のハンドル１５３ａを開栓方向に回転操作すると、流水口１５３ｂより流水１５４が流れ出る。

なお、図７において、点線斜線で示す部分は、洗浄槽１５０ａに水等の洗浄用液体が貯められているようすを示している。器具のブラッシング等は、主にこの洗浄槽１５０ａに貯められた水等の洗浄用液体中にて行われる。

作業者１００は、洗浄槽１５０ａに溜めた洗浄液（例えば水）にてメンテナンス対象の具器（ハサミ２００）を所定のツール（洗浄用ブラシ３００）を用いてブラッシング洗浄する。

この場合において、ウェアラブル端末装置２０によって取得される画像データは、例えば図８に示すような画像となる。図８は、本実施形態の作業支援システムを用いたメンテナンス作業（器具洗浄滅菌作業）の作業中にウェアラブル端末装置によって取得される画像データに基く画像の表示例である。

図８に示す画像表示例では、作業者１００が一方の手（左手１００Ｌ）にメンテナンス対象具器（ハサミ２００）を持ち、他方の手（右手１００Ｒ）に持った所定のツール（洗浄用ブラシ３００）を用いてブラッシング洗浄作業を行っているようすが示されている。このとき、ウェアラブル端末装置２０は作業者１００の手元近傍の領域を撮像している。

次に、本実施形態の作業支援システム１を使用して所定のメンテナンス作業（器具洗浄滅菌作業）を行う際の作用を、以下に説明する。

上述したように、本実施形態の作業支援システム１は、作業者１００が所定の作業を行う際に、撮像装置（ウェアラブル端末装置２０）と制御装置１０とを協働させて作用するシステムである。

ここで、本実施形態の作業支援システム１の作用の概略を簡単に説明すると、次のようになる。

本実施形態の作業支援システム１において、撮像装置（ウェアラブル端末装置２０）は、作業者が順次行う複数の作業の状況を適宜撮像する。こうして取得された各画像データは制御装置１０へと送信される。

制御装置１０は、ウェアラブル端末装置２０が取得した画像データを受信して、これら画像データ等と、データベースに予め蓄積された各種情報とに基づいて所定の判定処理を行う。ここで、制御装置１０によって行われる判定処理は、例えば、対象とする作業内容に応じて規定されている複数の確認項目、例えばメンテナンス対象の器具の判定，使用ツールの種類等の判定，作業行為（ブラッシング，水洗，擦拭，薬剤噴霧等）等の判定等である。

そして、制御装置１０は、上記判定処理結果に基づいて、各種の制御処理を行う。例えば、実行された作業行為が規定の作業に合致する（正しい作業である）との判定結果の場合には、確認チェック表の作成等を行い、加えてエビデンス記録を行う。このエビデンス記録は、例えば、図６で示すエビデンス情報ファイルに含めるエビデンス情報の記録処理等である。

また、例えば、実行された作業行為が規定の作業から外れている（作業ミスである）との判定結果の場合には、その旨の警告表示等を行うと共に、正しい作業のやり直しをさせる等のガイド表示等を行う。

さらに、制御装置１０は、ウェアラブル端末装置２０からの画像データを受信して、これに対し、対応する各種のエビデンス情報を付加する処理のほか、必要に応じて所定の改竄防止処理等の各種のデータ処理を実行する。

なお、作業情報データベース１３ａに含まれる具体的な情報内容を、図１１によって例示する。図１１に示す例は、手術や処置等に用いる器具の一種である「ハサミ」を手術や処置等にて使用後に作業者のマニュアルオペレーションにて洗浄する際のメンテナンス作業（以下、ハサミ洗浄滅菌作業と略記する）を想定したデータベースの例示である。

図１１に示すように、当該作業情報データベースにおいて、メンテナンス対象欄［Ａ］は、メンテナンスの対象とする器具名称である。本例では、「対象１：ハサミ」と記録され、ハサミ洗浄滅菌作業を示している。なお、「対象２：○○○」には、他の器具名称が入ることになるが、ここ（図１１）では「対象１」についての情報以外の詳細な例示は省略する。また、図１１の作業情報データベースにおいて、「対象２」に続く欄には、図示を省略しているが「対象３」，「対象４」……といった項目が続くことになる。

同図１１の作業情報データベースにおいて、作業工程欄［Ｂ］は、当該メンテナンス作業に含まれる複数の作業工程の例を作業順に列記している。ここで、ハサミ洗浄滅菌作業に含まれる作業工程は、例えば
「第１工程：ブラッシング」工程，
「第２工程：流水洗浄」工程，
「第３工程：擦拭」工程，
「第４工程：薬剤滅菌」工程
等がある。

「第１工程：ブラッシング」工程は、所定のツール（ブラシ等）を用いて所定の水槽中等でブラッシングする工程である。

「第２工程：流水洗浄」工程は、流水中にて水洗浄する工程である。

「第３工程：擦拭」工程は、所定のツール（ペーパー又は布等）を用いて擦拭し水や汚れを拭き取る工程である。

「第４工程：薬剤滅菌」工程は、所定の薬剤（アルコール等）を用いて（噴霧して）滅菌する工程である。

なお、ここで示す例示は、「ハサミ洗浄滅菌作業」についての例示である。したがって、対象器具によって行われるべき工程の種類や数は異なる。

同図１１の作業情報データベースにおいて、作業内容欄［Ｃ］は、各作業工程に含まれる複数の作業の例を作業順に列記している。

ここで、ハサミ洗浄滅菌作業の「第１工程：ブラッシング」工程に含まれる作業は、
「第１作業」としての「ツール確認」作業，
「第２作業」としての「第１部位ブラッシング」作業，
「第３作業」としての「第２部位ブラッシング」作業
等がある。各作業の具体的な情報は、次の作業情報欄「Ｄ」に記録されている。

このような工程は、それぞれ単純作業から成っていることも示している。これによって、作業者に与える指示は単純化され、作業者の作業がいかなる動作、いかなる器具を使ったものであるかも明確化され、作業も単純化され、それに対する監視も確認も簡単な処理で行うことができる。

即ち、同図１１の作業情報データベースにおいて、作業情報欄［Ｄ］には、各作業を明示する具体的な情報（例えば文字データ，画像データ等）が記録されている。なお、図１では、作業情報データベース１３ａのほかに画像データベース１３ｂを別体で設けた構成としているが、データベース１３の構成としては、両者を一体に構成した形態でもよい。

このように、データベース１３は、時系列で管理された複数の工程情報を持っており、この順番で、作業者は作業を行えば良い。このように、特定の作業から特定の工程情報を取得する工程情報取得を順次行っていけば、作業者は正しい手順で作業を行うことが出来る。また、工程の中を分解すると、個々の単純作業が作業内容として構成されており、作業者は高い技能がなくとも、あるいは、その作業や工程に慣れていなくとも、その作業を確実に行うことが可能である。この作業内容は、客観的に画像（静止画や動画）で判定がしやすいレベルまで分解された、「確認作業要素」と呼ぶことが出来るものである。

作業情報欄［Ｄ］の情報は、さらに、ウェアラブル端末装置２０を用いて得られる動画像データ情報［Ｄ１］と、静止画像データ情報［Ｄ２］とがある。

「第１工程：ブラッシング」工程に含まれる「第１作業」としての「ツール確認」作業は、当該作業工程において使用するツールの確認作業である。そのために、作業情報［Ｄ］は、動画像データ情報［Ｄ１］として、ツール（ブラシ）をウェアラブル端末装置２０の前面（撮像範囲内）にかざす行為を記録した動画像データ（例えば動きデータ等と呼ばれるデータ等）等が記録されている。なお、図１１においては、ウェアラブル端末装置２０を「撮像装置」と略記している。

静止画像データ情報［Ｄ２］として、ツール（ブラシ）の拡大画像や、作業者１００の周囲環境の画像（図１１には「周囲画像」と記載）などがある。上記周囲画像は、例えば作業部屋，作業台等や、作業者１００自身の作業着等の情報が、テキスト若しくは画像等のデータで記録されている。

ここで、作業者が「ツール確認」作業を行う際には、次のような作業が行われる。即ち、まず、作業者１００は、これから行おうとする作業に使用する所定のツール（洗浄用ブラシ３００）を手に持って、これをウェアラブル端末装置２０の前面（撮像範囲内）にかざす行為を行う。この行為は、ウェアラブル端末装置２０によって動画像データとして記録されると同時に静止画像データとしても記録される。作業者１００は、「ツール確認」作業のために、右手１００Ｒに持っている所定のツール（洗浄用ブラシ３００）をウェアラブル端末装置２０の前面（撮像範囲内）にかざす。このとき、ウェアラブル端末装置２０は、作業開始時点から動画像データを取得し続けていると同時に、所定のタイミングで（例えば、ウェアラブル端末装置２０の前面（撮像範囲内にて）使用ツールをかざしたタイミングで）静止画像データを取得する。

ここで、静止画像データは、かざす動作のジェスチャーで撮影されている例を示したが、特定の操作部の操作や、音声認識の技術を利用して、作業者の声で同様の命令を行って撮影をしても良い。遠隔で指示したり、作業が終わったであろう時刻に自動撮影したりしてもよい。このようにして撮像装置で得た画像データは、作業データベースで時系列に管理された工程情報に基づいた作業と、その作業結果に関連した情報であるから、撮像装置の制御装置、あるいは当該システムは、上記撮像装置によって取得された上記画像データに対して、上記制御装置によって取得された上記作業情報のうち上記画像データに対応する工程情報と撮影時刻情報を含むメタデータを関連付けて記録部に記録して、作業の証跡とする。

この場合において、データベースが時系列の工程ごとに分類されていることが重要で、各工程に想定する作業時間の情報をデータ化して入れ込んでおくことによって、作業の遅延やトラブルや、作業ミス、工程飛ばしなどを検出することも出来る。その結果が、画像データからも読み取れる。

ここで、特定の工程の作業をした時間は作業開始前の（撮影が行われた）時刻、作業開始後の（撮影が行われた）時刻から差分から得ても良い。工程が時系列に管理されているがゆえに、それぞれの工程に関連する画像を見比べながら、どの工程にどのような状況が発生しているかがトレースできる。

このように、単に、従来から行われている撮影時刻情報の画像ファイルへの入れ込みとは異なる効能を得ることが出来る。つまり、作業の各工程が想定された手順で行われたかを画像で判定することが出来る。また、画像の持つ証拠立証性を向上させることが可能となる。

もちろん、工程という言葉は、さらなる作業内容に分解が出来、この作業内容にて合致した道具、器具、動き、動作などを判定して、画像データのメタデータとして関連付けしてもよい。

また、期待される作業工程と、実際の作業が合っているか（作業確認）を、こうした工程ごと、工程内を画像判定ベースで分解した作業内容を画像で判定する事も可能で、その場合、こうした作業の確認結果が良いか悪いかなどを撮影画像に関連づけることも可能である。さらに撮影画像と作業工程特有の撮像対象や動き（作業要素）を比較して、作業をモニタリング、監視、良否判断、画像によるドキュメント化をしてもよい。

作業者１００によって行われた当該行為（洗浄用ブラシ３００をウェアラブル端末装置２０の前面にかざす行為）がウェアラブル端末装置２０によって撮像される。このとき、ウェアラブル端末装置２０にて取得された動画像データ及び静止画像データは、継続的に制御装置１０へと転送される。

制御装置１０は、受信した動画像データに基づいて所定の画像判定処理を実行する。例えば、上記規定の行為（ブラシをかざす行為）が検出されると、制御装置１０は、ウェアラブル端末装置２０を制御して静止画像データの撮像動作を実行する。これによって、使用ツール（洗浄用ブラシ３００）の拡大画像（静止画像）が記録される。このときに取得される静止画像は、例えば図１２に示すようなものになる。つまり、対象物（使用ツール）を撮像装置（ウェアラブル端末装置２０）の前面の比較的近接位置でかざすことにより、対象物（使用ツール）の拡大画像が得られる。

さらに、これに続けて又は同時に、作業者１００は、周囲環境（例えば作業部屋，作業台等）の様子を見回すような行為を行うことで、ウェアラブル端末装置２０を用いた静止画像データを取得する（不図示）。

このようにして取得される画像データ等は、データベース１３に蓄積された画像データ等を参照することで、使用ツール（ブラシ）が当該作業に用いるのに正しいものであるか否か、実行された作業行為が正しいか否かを判定するのに寄与する。そして、その判定の結果、実行された行為が正しいと判定された場合には、取得された画像データ等はエビデンス情報として記録される。

なお、この場合において、使用ツール（ブラシ）が当該作業に用いるのに正しいものであるか否かの判定を行うのに際しては、例えば、周知の個体識別技術が適用される。ここで、周知の個体識別技術としては、例えばバーコードやRFID(radio frequency identifier）など、所定のタグを対象物に取り付けて識別する方法のほか、対象物を撮像装置で撮影して得られた画像データに基づいて、対象物の表面の微細な紋様（物体指紋）を画像認識し、均一に作られる工業製品であってもその一つひとつを識別できる物体指紋認証技術等がある。これら個体識別技術を適用する場合は、例えば、上述のようにして取得された使用ツール（ブラシ）の拡大画像の静止画像データと、データベースに予め登録された固有のツール情報とに基づいて判別する。

「第１工程：ブラッシング」工程に含まれる「第２作業」としての「第１部位ブラッシング」作業は、対象器具「ハサミ」の第１部位をブラッシングする作業である。ここで、第１部位は「刃部」としている。この場合の作業情報は、動画像データ情報［Ｄ１］としては、作業画像に基づいて検出されるブラッシングの回数やブラッシング時間等がデータベース化されている。また、静止画像データ情報［Ｄ２］としては、ツール（ブラシ）の第１部位の部分拡大画像等である。

同様に、「第１工程：ブラッシング」工程に含まれる「第３作業」としての「第２部位ブラッシング」作業は、対象器具「ハサミ」の第２部位をブラッシングする作業である。ここで、第２部位は「ジョイント部」としている。この場合の作業情報は、上記「第２作業」と略同様である。即ち、動画像データ情報［Ｄ１］は、ブラッシングの回数，時間等がデータベース化され、静止画像データ情報［Ｄ２］としては、ツール（ブラシ）の第２部位の部分拡大画像等である。なお、図８は、第２部位（ジョイント部）をブラッシングしている際のウェアラブル端末装置２０によって取得される動画像データの一シーンを示している。この図８に示す作業も、洗浄槽１５０ａに満たした洗浄用液体中での作業であるが、図８では、その旨を示す点線斜線の表示を省略している。

なお、「第２工程：流水洗浄」工程では、水道水の蛇口等をツールとして確認すると共に、蛇口をひねる行為の確認、その蛇口から流れる水道水（流水）の流量等の確認を行う。作業情報は、対象部位に対する規定の作業時間が記録されている。

「第３工程：擦拭」工程では、擦拭作業に用いるペーパー又は布等、規定の専用擦拭具についての確認は、例えば、擦拭具のパッケージ等の画像により、その銘柄等の確認を行う。作業情報は対象部位に対する規定の作業回数や作業時間等が記録されている。

「第４工程：薬剤滅菌」工程では、滅菌作業に用いる薬剤、例えばアルコール等の規定の専用薬剤のボトル等の画像により、その銘柄等の確認を行う。作業情報は対象部位に対する規定の作業回数や作業時間等が記録されている。

本実施形態の作業支援システム１を使用して所定のメンテナンス作業（器具洗浄滅菌作業）を行う際の作用を、図９，図１０のフローチャートを用いて以下に説明する。

図９は、本実施形態の作業支援システムにおける制御装置の作用を示すフローチャートである。図１０は、本実施形態の作業支援システムにおけるウェアラブル端末装置（撮像装置）の作用を示すフローチャートである。

まず、本実施形態の作業支援システム１において、各装置（制御装置１０，ウェアラブル端末装置２０）の電源状態がオン状態とされているものとする。この状態において、作業者１００は、図７で示す所定の環境下にあって、所定の作業を開始する。ここで説明する所定の作業は、医療器具のメンテナンス作業のうちの「ハサミ洗浄滅菌作業」を例示する。

即ち、制御装置１０は、電源オン状態で、所定の指示信号を受信する待機状態にある。このとき、制御装置１０においては、予め、これから行おうとする所望の作業の設定を行っておく。また、ウェアラブル端末装置２０は、電源オン状態で、ライブビュー画像の撮像動作中であり、指示信号待機状態にある（図１０のステップＳ２０１）。

なお、制御装置１０の作業設定は、必ずしも当該制御装置１０側で行っておく必要はない。例えば、後述する要に、撮像装置（ウェアラブル端末装置２０）側で作業者が設定すると、その作業設定情報が制御装置１０へと送信され、これを受けて制御装置１０側の設定がなされるようにしてもよい。

この状態で、作業者１００は、所定の作業場所にて、所定の「ハサミ洗浄滅菌作業」を開始する。まず、作業者１００は、「ハサミ洗浄滅菌作業」においてメンテナンス対象とする器具（ハサミ２００）を手に持って、これをウェアラブル端末装置２０の前面（撮像範囲内）にかざす行為を行う。

すると、ウェアラブル端末装置２０の制御部２１は、所定の作業設定操作が行われたか否かの判定を行う。ここで、作業設定操作とは、予めデータベース１３に蓄積された作業種類の中から、これから行おうとする所望の作業を選択設定する操作である。この操作は、例えば、ウェアラブル端末装置２０の操作部２３又は音声入力部２７を用いて所定の操作を行うことによってなされる。具体的には例えば、作業者が操作部２３又は音声入力部２７を用いて作業設定操作を行うと、まず、表示部２５に作業一覧のメニュー表示が現れる。作業者は、この一覧表示の中から所望の作業を操作部２３又は音声入力部２７を用いて選択する。こうして、所定の作業設定が選択されると（図１０のステップＳ２０２）、次のステップＳ２０３の処理に進む。

なお、ここで行う作業設定操作は、上述した例示以外にも、例えば、作業者による所定の行為を自動検出することによって、作業設定を判別するようにしてもよい。具体的には例えば、作業者がこれから行おうとする作業に使用する所定の器具、例えばハサミ２００をウェアラブル端末装置２０の前面にかざす行為（以下、「かざす行為」と略記する）を行う。ウェアラブル端末装置２０は、当該行為が行われたか否かの検出を行う（図１０のステップＳ２０２）。この検出処理は、例えば、ウェアラブル端末装置２０における制御部２１の画像判定部２１ｂにて行われる。ここで、器具を「かざす行為」が検出された場合には図１０のステップＳ２０３の処理に進む。また、検出されない場合には引き続き当該検出処理を繰り返す。

図１０のステップＳ２０３において、ウェアラブル端末装置２０の制御部２１は、上記作業設定選択情報又は上記器具を「かざす行為」が行われた旨の情報（以下、「かざした情報」と略記する）を制御装置１０へと送信する。その後、ステップＳ２０４のライブビュー画像撮像動作を行いつつ待機状態となる。

待機状態にある制御装置１０は、図９のステップＳ１０１にて、作業設定情報又は器具を「かざした情報」が受信されたか否かの確認を行う。ここで、器具を「かざした情報」の受信が確認された場合には、同図９の次のステップＳ１０２の処理に進む。なお、当該情報の受信が確認されない場合には、引き続き指示信号の受信を待機する。

図９のステップＳ１０２において、制御装置１０の制御部１１は、ウェアラブル端末装置２０に対して所定の撮像動作を実行する要求指示（撮像要求指示）を送信する。その後、ウェアラブル端末装置２０から撮像結果（ハサミ２００の画像データ等）が送信されてくるのを待機する。

ウェアラブル端末装置２０は、図１０のステップＳ２０４Ａにおいて、制御装置１０からの撮像要求指示が受信されたか否かの確認を行う。ここで、撮像要求指示の受信が確認された場合には、所定の撮像動作を実行した後、図１０の次のステップＳ２０４Ｂの処理に進む。

なお、ここで行われる撮像動作によって取得される画像データは、例えばハサミ２００の拡大画像データのほか、例えば周囲環境（例えば作業部屋，作業台等）の画像データを撮像するようにしてもよい。周囲環境データを取得することによって、当該作業が正しい（規定された）作業環境下においてなされているか等を確認できる。

続いて、同図１０のステップＳ２０４Ｂにおいて、撮像動作の結果取得された画像データ（主に静止画像データ）等の情報を制御装置１０へ向けて送信する。その後、ライブビュー画像の撮像動作を継続実行しながら、所定の指示信号の受信を待機する。そして、ステップＳ２０５の処理に進む。

制御装置１０においては、ウェアラブル端末装置２０による撮像結果（ハサミ２００の画像データ）を受信する（図９のステップＳ１０２）。

なお、図１０のステップＳ２０４Ａにおいて、撮像要求指示の受信が確認されない場合には、ライブビュー画像の撮像動作を継続実行しながら、所定の指示信号の受信を待機する。そして、ステップＳ２０５の処理に進む。

図９に戻って、上述のステップＳ１０２の処理にて、制御装置１０は、ウェアラブル端末装置２０からの撮像結果を受信したら、次のステップＳ１０３の処理に進む。

図９のステップＳ１０３において、制御装置１０は、制御部１１の対象物判定部１１ｄ，大きさ判定部１１ｅ等を制御してメンテナンス対象器具の判定処理を実行する。この判定処理は、上記ステップＳ１０２で受信した撮像結果（ハサミ２００の画像データ）と、データベース１３に蓄積されているメンテナンス対象器具の画像データ等を参照して行う処理である。

続いて、同図９のステップＳ１０４において、制御装置１０は、同様に、制御部１１の対象物判定部１１ｄ，大きさ判定部１１ｅ等を制御してメンテナンス環境の確認処理を行う。この確認処理は、ステップＳ１０３と同様に、上記ステップＳ１０２で受信した撮像結果（周囲環境や作業者の画像データ）と、データベース１３に蓄積されている対応データ等を参照して行う処理である。その後、制御装置１０は、所定の指示信号の受信待機状態となり、ステップＳ１０５の処理に進む。

続いて、同図９のステップＳ１０５において、制御装置１０は、ツールを「かざした情報」が受信されたか否かの確認を行う。ここで、ツールを「かざした情報」の受信が確認された場合には、同図９の次のステップＳ１１１の処理に進む。なお、当該情報の受信が確認されない場合には、引き続き指示信号の受信を待機する（ステップＳ１０５のループ処理）。

ここで、作業者１００は、「第１工程」の「第１作業」であるメンテナンスツールの確認作業を開始する。上述したように、この「第１作業：ツール確認」作業にて作業者１００が行う作業は、当該作業で使用する適切なツール（洗浄用ブラシ３００）を手に持って、このツール（洗浄用ブラシ３００）をウェアラブル端末装置２０の前面（撮像範囲内）にかざす行為である。

すると、上述のステップＳ２０４Ｂの処理にて待機状態となっているウェアラブル端末装置２０は、図１０のステップＳ２０５において、当該行為（洗浄用ブラシ３００をウェアラブル端末装置２０の前面にかざす行為。「かざす行為」と略記）が行われたか否かの検出を行う。この検出処理は、例えばウェアラブル端末装置２０における制御部２１の画像判定部２１ｂにて行われる。ここで、ツールを「かざす行為」が検出された場合には、制御部２１は時計部２０ａを参照して所定の計時処理を開始させた後、図１０のステップＳ２０６の処理に進む。また、検出されない場合には引き続き当該検出処理を繰り返す。

つまり、このステップＳ２０５の処理にて行われる当該行為（洗浄用ブラシ３００をウェアラブル端末装置２０の前面にかざす行為）の検出処理は、当該第１工程（ブラッシング）における当該第１作業（ツール確認）の開始時点を検出する処理である。即ち、このことは、当該第１工程の開始タイミングを検出する処理である。そして、当該行為の開始時点が検出されたら、そのタイミングで計時を開始する。この計時処理は、当該作業の開始時点の時刻情報や、作業にかかるトータル時間情報等のエビデンス情報を取得するための処理である。なお、この計時処理は、制御装置１０の時計部１６，ウェアラブル端末装置２０の時計部２０ａのいずれか一方、若しくは両方にて実行される。

なお、ウェアラブル端末装置２０においては、上記「かざす行為」後の所定時間の経過後に「作業中の画像データ」を自動的に取得する。このとき、制御装置１０は、ウェアラブル端末装置２０の表示部２５に対して、例えば「作業中の画像を撮像します」といった旨のガイド表示を表示させるようにしてもよい。

また、ウェアラブル端末装置２０の表示部２５には、作業者が実行中の作業についての目安となる時間を表示すると共に、上記開始時点からの経過時間を表示させたり、規定の作業時間をカウントダウン形式で表示させるようにしてもよい。作業者は、この時間表示を見て、当該作業（ここでは第１工程（ブラッシング）の第２作業（第１部位ブラッシング）の作業）にかけるべき目安となる時間を知ることができる。

さらに、規定の時間が終了する前の所定のタイミングには、ウェアラブル端末装置２０の表示部２５に、当該作業が終了する前に行うべき手順情報、例えば「作業終了後には対象器具（本例ではハサミ）を撮像装置の前にかざしてください」等のガイド表示を行う。

作業者が、これを見て、その手順に従うと、ウェアラブル端末装置２０は、作業終了後の対象物の拡大画像データを取得する。

図１０に戻って、ステップＳ２０６において、ウェアラブル端末装置２０の制御部２１は、上記ツールを「かざす行為」についての情報（「かざした情報」と略記）を制御装置１０へと送信する。

待機状態にある制御装置１０は、図９のステップＳ１０５にて、ツールを「かざした情報」が受信されたか否かの確認を行う。ここで、ツールを「かざした情報」の受信が確認された場合には、同図９の次のステップＳ１１１の処理に進む。なお、当該情報の受信が確認されない場合には、引き続き指示信号の受信を待機する。

図９のステップＳ１１１において、制御装置１０の制御部１１は、作業判定部１１ａ等を制御してメンテナンスツールの確認作業（「第１作業」）の処理を実行する。

続いて、同図９のステップＳ１１２において、制御装置１０は、処理開始時点から所定の時間の経過後に作業確認要求指示をウェアラブル端末装置２０へ送信する。この作業確認要求指示は、ツールを「かざした情報」送信後のウェアラブル端末装置２０により取得される画像データを要求する指示信号である。

図１０のステップＳ２１１において、ウェアラブル端末装置２０は、作業確認要求指示を受信したか否かの確認を行う。ここで、作業確認要求指示を受信した場合には、次のステップＳ２１２の処理に進む。

続いて、同図１０のステップＳ２１２の処理にて、ウェアラブル端末装置２０は、取得した画像データを制御装置１０へ送信する。その後ステップＳ２２１の処理に進む。なお、このステップＳ２１２の処理にて、ウェアラブル端末装置２０は、取得した画像データを自身の記録部２６に記録するようにしてもよい。

図９のステップＳ１１３において、制御装置１０は、上述のステップＳ２１１の処理にてウェアラブル端末装置２０から送信された画像データを受信する。そして、制御装置１０は、受信した画像データと、データベース１３に蓄積されている対応データとを比較する。そして、取得された画像データに基づいて、作業者１００が行った作業が正しい（規定された）作業であるか否かを確認する。

次のステップＳ１１４において、上記比較結果に問題が無ければ、即ち作業者１００が行った作業（取得画像）が正しい（規定された）作業であることが確認された場合（ＯＫである場合）には、次のステップＳ１１６の処理に進む。また、ＯＫではない場合には、ステップＳ１１５の処理に進む。

図９のステップＳ１１５において、制御装置１０の制御部１１のガイド部１１ｃは、所定の警告表示やガイド表示等に関する所定の情報を、ウェアラブル端末装置２０へ送信する。その後、ステップＳ１１６の処理に進む。

図１０のステップＳ２２１において、ウェアラブル端末装置２０は、警告表示やガイド表示等の情報を受信したか否かの確認を行う。ここで、当該情報の受信が確認された場合には、次のステップＳ２２２の処理に進む。また、確認されない場合には、上述のステップＳ２０１の処理に戻り、ライブビュー画像撮像動作を行いつつ待機状態となる。

ステップＳ２２２において、ウェアラブル端末装置２０の制御部２１は、表示部２５，音声出力部２８等を制御して、所定の形態の警告表示，ガイド表示等を実行する。

なお、ここで、警告表示やガイド表示等は、表示部２５を用いた視覚的な情報表示のほか、音声出力部２８を用いた音声情報表示等がある。その後、上述のステップＳ２０１の処理に戻り、ライブビュー画像撮像動作を行いつつ待機状態となる。

一方、制御装置１０は、ステップＳ１１６において、工程が終了したか否かの確認を行う。この確認は、例えばデータベース１３を参照する、若しくはウェアラブル端末装置２０からの所定の指示信号、例えば所定の行為の検出信号か、操作部２３若しくは音声入力部２７を用いた所定の操作により生じる指示信号等による。ここで、工程が終了したことを確認すると、上述の計時処理を終了させてから、次のステップＳ１１７の処理に進む。また、工程終了が確認されない場合、即ち工程が終了しておらず、次の作業が存在する場合には、上述のステップＳ１１３の処理に戻る。

ステップＳ１１７において、制御装置１０は、終了した工程についてのエビデンス化処理を実行する。このエビデンス化処理は、取得した画像データ等を所定の形態で記録する等の処理である。例えば、画像データに各種のエビデンス情報を含めた付随情報としてデータファイル化する処理などである。その後、ステップＳ１２１の処理に進む。

続いて、ステップＳ１２１において、制御装置１０は、当該作業の全ての工程が終了したか否かの確認を行う。ここで、全行程の終了を確認した場合には、次のステップＳ１２２の処理に進む。また、全行程終了が確認されない場合には、ステップＳ１２３の処理に進む。

ここで、当該作業の全行程が終了していない場合、作業者１００は、手持ちのメンテナンスツール（前の作業で使用したツール）を、次の作業（例えば第２作業）で使用するメンテナンスツールに持ち替える（変更する）。

この場合において、制御装置１０は、図９のステップＳ１２３において、メンテナンスツールの変更を確認する。その後、ステップＳ１０５の処理に戻り、以降同様の処理を繰り返す。

一方、上述のステップＳ１２１の処理にて、全行程の終了を確認して、ステップＳ１２２の処理に進むと、このステップＳ１２２において、制御装置１０は、最終エビデンス化処理を実行する。この最終エビデンス化処理は、取得した複数の画像データ等を所定の位置ファイルとしてファイル化すると共に、上記ステップＳ１１４の処理にて出力されるＯＫ信号に基いて作成されるチェックリスト等の作成処理等である。その後、全ての処理を終了して、待機状態に戻る。

以上説明したように上記一実施形態によれば、作業支援システム１は、撮像装置（ウェアラブル端末装置２０）と制御装置１０とを協働させて作用させることにより、複数の作業からなる所定の一連の作業を規定の作業手順及び作業手法に従って確実に実行するための作業支援を行うことができ、よって作業ミスを抑止することができる。

また、作業中における所定の行為や使用ツール，周囲環境等の状況を画像として記録してエビデンス化することができる。したがって、所定の作業が規定通りに確実に行われたか否かを作業後に保証することができる。

この場合において、各種のエビデンス情報を、撮像装置（ウェアラブル端末装置２０）によって取得した画像データに関連させて、例えばその付随情報として記録するようにしている。これにより、例えば、作業終了後、相当の時間が経過した後に置いても、当該作業中に取得した複数の画像データを調べるのみで、容易に、作業当時のエビデンス情報を確認することができる。

作業中に取得した画像データを有効に活用し、取得した複数の画像データと予め蓄積されているデータベースの作業情報とに基づいて作業ミスを排除すると共に、作業ミスがあったときには、作業者に対して警告すると共に、正しい手順を案内することでよって確実な作業を行うように支援することができる。

作業ミス（例えば手順の脱落や手順の順序ミス、規定作業の怠慢等）を確実に排除することができ、よって、誰もが規定の作業を円滑にかつ確実に行なうことができるようにすると共に、さらに作業経過のエビデンス（evidence；証拠）記録をも容易に行うことができる。

作業支援システムを使用するのに際し、一連の作業に関するエビデンス情報の記録作業を自動化すると共に、エビデンス情報の取得タイミング等を作業ガイド情報として作業中の作業者に提示する支援を行ったり、エビデンス情報としての画像データを記録する際に、当該画像データファイルに付随するメタデータに各種のエビデンス情報を含めて記録することで、より効率的な作業とすることができる。これと同時に、取得したエビデンス情報を、より効率的に管理することができる。

さらにまた、本実施例形態によれば、作業を確実にモニタして、その出来映えを記録し、所定の作業の一連の動作を証拠として画像化するエビデンス情報システムを構成することができる。

したがって、例えば、作業の後に、当該作業対象などに対して問題が生じたような場合にも、取得しておいた画像を見ながら人間が簡単に一連の対象作業の流れをトレースすることができ、また、画像の持つ豊富な情報によって、機械によるトレーサビリティ確保ができるので、作業対象の製品などに対するより確実で強固な信頼性を確保することができる。

なお、上述の一実施形態で説明した作業例（器具洗浄滅菌作業）では、第１工程〜第４工程の全ての作業工程を同じ場所で行うような説明としていたが、作業形態としては、このような形態のみではなく、例えば、作業によっては複数の作業工程の全てを同じ場所で行わずに、一部の作業工程を行う際に場所を変えるといった場合もあり得る。

例えば、上述の一実施形態で説明した作業例（器具洗浄滅菌作業）においては、第１工程，第２工程は洗浄槽１５０ａを有する作業台１５０で行い、第３工程，第４工程は場所を変えて別の作業台（不図示）を用いて行うようにしてもよい。

このことは、第１工程，第２工程は水周りで行う洗浄作業である一方、第３工程，第４工程は乾燥した場所で行うのが望ましい作業であるという理由がある。このような場合には、第３工程，第４工程の作業を行う別の作業台（不図示）には、上記補助カメラ３０と同等の別の個体の補助カメラを配設し、この別の補助カメラも、上記制御装置１０と協働し、当該制御装置１０の制御下で作用するように構成すればよい。

また、上述の一実施形態においては、撮像装置としてウェアラブル端末装置２０のみを用いた例を示しているが、この形態に限られることはなく、例えば複数の撮像装置を用いて、これら複数の撮像装置を、一つの制御装置１０によって体系的に制御するようなこうせいとすることも可能である。

この場合において、例えば、ウェアラブル端末装置２０とは別の形態の撮像装置（一般的な形態の通常のカメラでよい）を用意し、これを、例えば補助カメラとして、作業台１５０の台上に載置して作業者に向けて設置するといった形態が考えられる。

このような形態とした場合、当該補助カメラは、ウェアラブル端末装置２０（作業者の目線相当の作業情報）とは異なる作業情報を取得することができる。

つまり、補助カメラは、作業者目線の画像とは異なる視野からの、いわば客観的な見地の情報も合わせて取得することができ、システムとしてより多くの情報を得ることができる。

具体的には例えば、補助カメラは、作業対象とする対象物とこれを扱う作業者の手元近傍が少なくとも撮像領域に含まれるような位置に配置したり、作業者の作業中の様子をも確認することができるように、作業者の全体像が撮像領域に含まれるように配置する。

これにより、例えば、作業者が正しい（規定された）装具、具体的には例えば、マスク，手袋，顔面保護具等を着用しているか否かの確認と、エビデンス情報を取得できる。

さらにまた、補助カメラを用いる形態としては、上述したように、作業台１５０の台上に載置する例のほかに、当該補助カメラの配置は各種の形態が考えられる。

例えば、補助カメラを洗浄槽１５０ａの液体中に配設することも考えられる。このように構成した場合のようすを図１３に示している。図１３は、上記一実施形態の変形例の作業支援システムを使用して所定のメンテナンス作業（器具洗浄滅菌作業）を行っている際の様子を示す概念図である。図１４は、図１３の変形例においてウェアラブル端末装置によって取得される動画像データの一シーンを示す図である。図１５は、図１３の変形例において補助カメラによって取得される静止画像データを示す図である。

この変形例の場合、液体中に配設する補助カメラ３０Ａは、防水機能を備えた撮像装置である。このように、洗浄槽１５０ａの液体中に補助カメラ３０Ａを配設した場合、液体中での作業をより明瞭に記録することができる。

なお、この構成とした場合には、補助カメラ３０Ａと制御装置１０との間の通信は、有線ケーブルを用いるか、または、無線通信用アンテナを水面上に露呈させるような構成とすることが必要である。

また、ウェアラブル端末装置２０の形態としては、上述の一実施形態及び変形例で示す形態のほかにも、例えば、作業を行う際に作業者が必ず装着するべき顔面保護具等に撮像機能を一体に組み込んだ構成とすることもできる。このような構成のウェアラブル端末装置とすれば、作業者は作業前に顔面保護具を必ず装着しなければならないので、別体のウェアラブル端末装置を装着する煩わしさを解消することができるのと同時に、作業者がウェアラブル端末装置を装着することを忘れてしまうといったミスを抑止することができる。

また、制御部をこの装置内に入れ込めば、作業者の目線相当の作業情報を取得するために目線画像データを取得する撮像部のみならず、所定の作業に関する複数の視野からの画像情報からなる作業情報が予め蓄積されたデータベースを有し、上記作業者とは異なる位置に設けられた補助カメラ装置からの補助画像を取得する通信部と、第１画像データと第２画像データに従って上記データベースの作業情報を検索したり判定したりする作業判定部と、を具備することを特徴とするウェアラブル装置となるし、データベースはこの装置の外部に持って、これを検索するようなシステムにしてもよい。同様の事は補助カメラに関しても言える。

このように、本実施例によって、作業を確実にモニタして、その出来映えを記録して証拠を画像化するエビデンス情報システムを構成でき、作業対象などに問題があった時に、簡単に画像を見ながら人間がトレースできたり、画像の持つ豊富な情報によって機械によるトレーサビリティ確保ができたりする信頼性を得ることが出来る。

なお、上述の各実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。即ち、特許請求の範囲，明細書及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップにおいては、発明の本質に影響しない部分について適宜省略することもできることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがソフトウエアプログラムにより設定できることが多くあり、そのソフトウエアプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。

また、ここでは、説明の単純化のため、もっぱら全体を制御する制御部を設けての説明を行ったが、個々の機器にその制御機能を持たせてもよい。ウェアラブル装置がそうした制御機能を持ってもよいし、制御装置の一部がウェアラブル装置という考え方も出来る。また、補助カメラと書いたものが制御装置の機能を持ってウェアラブル装置を制御してもよく、制御装置が補助カメラを有しているというシステムでもよい。さらに、これらは、通信によって各ステップの進捗を伝え合って、いくつかの装置が、全体として制御装置の役割を果たしてもよい。

そのソフトウエアプログラムは、コンピュータプログラム製品として、予め製品製造過程において上記記憶媒体や記憶部等、具体的には例えばフレキシブルディスク ＣＤ−ＲＯＭ等 不揮発性メモリ等の可搬媒体やハードディスク 揮発性メモリ等の記憶媒体に、その全体あるいは一部を記憶又は記録されている電子データである。これらの記録媒体は、機器が制御を分担するために、分散させて配置したものであってもよい。また、これとは別に、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供ができるものである。利用者は、製品出荷後であっても、自ら通信ネットワークやインターネット等を介して、それらのソフトウエアプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記憶媒体からコンピュータにインストールすることで、動作させるようにすることができ、これによって容易に本実施形態の撮像装置を実現することができる。

本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施することができることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。この発明は、添付のクレームによって限定される以外にはそれの特定の実施態様によって制約されない。

１……作業支援システム
１０……制御装置
１１……（制御装置の）制御部
１１ａ……作業判定部
１１ｂ……表示制御部
１１ｃ……ガイド部
１１ｄ……対象物判定部
１１ｅ……大きさ判定部
１１ｆ……改竄防止部
１２……（制御装置の）通信部
１３……データベース
１３ａ……作業情報データベース
１３ｂ……画像データベース
１４……エビデンス記録部
１５……表示部
１６……時計部
２０……ウェアラブル端末装置
２０ａ……時計部
２１……（ウェアラブル端末装置の）制御部
２１ｂ……（ウェアラブル端末装置の）画像判定部
２１ｃ……表示制御部
２２……（ウェアラブル端末装置の）通信部
２３……操作部
２４……（ウェアラブル端末装置の）撮像部
２４ａ……撮像光学系
２４ｃ……撮像領域
２５……表示部
２５ａ……導光部
２５ｂ……表示パネル
２５ｃ……表示領域
２５ｘ……端部
２６……記録部
２７……音声入力部
２８……音声出力部
２９……支持部

Claims (8)

1. 画像データを取得する撮像装置と、
   データベースで時系列に管理された工程情報を取得する制御装置と、
   上記撮像装置によって取得された上記画像データに対して、上記制御装置によって取得された上記作業情報のうち上記画像データに対応する工程情報と撮影時刻情報を含むメタデータを関連付けて記録する記録部と、
   を具備することを特徴とする作業支援システム。
2. 上記工程情報を複数の画像判定可能な上記撮像装置で得られた画像データで確認可能な作業要素を上記データベースに記録した請求項１に記載の作業支援システム。
3. 上記撮像装置は、作業者の視界と略同等の撮像範囲の画像データを取得するウェアラブル端末装置であることを特徴とする請求項１に記載の作業支援システム。
4. 上記メタデータは、上記画像データに対応する作業情報のほか、当該工程情報に関連する作業時間情報を、さらに含むことを特徴とする請求項１に記載の作業支援システム。
5. 上記撮像装置は、所定の作業毎に画像データを取得することを特徴とする請求項１に記載の作業支援システム。
6. 画像データを取得する撮像部と、
   所定の作業に関する画像情報を含む作業情報が予め蓄積されたデータベースとの間で通信を行う通信部と、
   実行された作業の作業情報を取得する制御部と、
   上記撮像部によって取得された上記画像データに対して、上記制御部によって取得された上記作業情報のうち上記画像データに対応する作業情報を含むメタデータを関連付けて記録する記録部と、
   を具備することを特徴とする撮像装置。
7. 作業者の目線相当の画像データを取得する撮像部と、
   所定の作業に関する画像情報を含む作業情報が予め蓄積されたデータベースとの間で通信を行う通信部と、
   実行された作業の作業情報を取得する制御部と、
   上記撮像部によって取得された上記画像データに対して、上記制御部によって取得された上記作業情報のうち上記画像データに対応する作業情報を含むメタデータを関連付けて記録する記録部と、
   を具備することを特徴とするウェアラブル装置。
8. データベースで時系列に管理された複数の工程情報から特定の工程情報を取得する工程情報取得ステップと、
   上記工程撮像装置から画像データを取得する画像取得ステップと、
   上記撮像装置によって取得された上記画像データに対して、上記制御装置によって取得された上記作業情報のうち上記画像データに対応する工程情報と撮影時刻情報を含むメタデータを関連付けて記録する記録ステップと、
   からなることを特徴とする作業支援方法。

Images