JP2018049421A - Work support device and work support method - Google Patents
Work support device and work support method Download PDFInfo
- Publication number
- JP2018049421A JP2018049421A JP2016183892A JP2016183892A JP2018049421A JP 2018049421 A JP2018049421 A JP 2018049421A JP 2016183892 A JP2016183892 A JP 2016183892A JP 2016183892 A JP2016183892 A JP 2016183892A JP 2018049421 A JP2018049421 A JP 2018049421A
- Authority
- JP
- Japan
- Prior art keywords
- image
- work
- gaze
- work support
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、作業支援装置及び作業支援方法に関する。 The present invention relates to a work support apparatus and a work support method.
作業員が機器の保守、点検等を行う際、通常、作業手順書を参照する。作業手順書には、多くの図及び写真が作業の進捗段階ごとに記載されている。作業員はそれらを見た上で、実際の機器に対して、点検、分解、清掃、部品交換等の作業を行う。このような作業は、単純なように思われがちであるが、実際は熟練を要する。目の前の機器に対してどの進捗段階においてどの図又は写真を参照すればよいかを判断したうえで、正確な作業を行うのは容易ではない。さらに、作業員は、複数の作業場所を巡回し複数の機器に対して作業を行う場合もある。このような場合、作業員に対する負担は特に大きくなる。 When workers perform maintenance and inspection of equipment, they usually refer to work procedure manuals. In the work procedure manual, many figures and photographs are described for each progress stage of the work. The worker sees them and carries out operations such as inspection, disassembly, cleaning, and parts replacement for the actual equipment. Such work tends to seem simple, but in practice it requires skill. It is not easy to perform an accurate operation after determining which diagram or photograph should be referred to in which progress stage for the device in front of you. Furthermore, the worker may visit a plurality of work places and work on a plurality of devices. In such a case, the burden on the worker is particularly large.
近時、このような作業員を支援するための様々な装置が普及している。特許文献１の作業支援システムは、作業内容のサンプルとして“作業画像”を予め記憶しておく。当該作業支援システムは、作業員が注視している対象物の画像を“注視画像”として撮像し、注視画像を作業画像と比較する。さらに、当該作業支援システムは、比較の結果、注視画像が作業画像に類似していない場合が所定の回数以上繰り返されると、当該作業支援システムは、作業員に対して注意を喚起する。
Recently, various devices for supporting such workers have become widespread. The work support system of
非特許文献１は、“ＡＲ（Augmented Reality：拡張現実）マーカ”を開示している。ここでは、“ＡＲマーカを印刷するなどして現実世界に設置すると、ＡＲシステムがその画像の写った部分に重ねて指定された情報を表示する”旨が記載されている。
非特許文献２は、ＡＲ画像を表示する位置を認識する方法として、“マーカ型の画像認識ＡＲ”及び“マーカレス型の画像認識ＡＲ”を開示している。前者は、マーカとして市松模様の図形を現実世界の対象物に張り付けておく方法である。後者は、特別なマーカを使用することなく、対象物そのものの２次元形状又は３次元形状をマーカとしてそのまま利用する方法である。
Non-Patent
Non-Patent
いま、特許文献１の作業支援システム、非特許文献１の技術、及び、非特許文献２の技術を組合せ、作業員が装着しているカメラ（例えば、ヘッドマウンティング型）が、ＡＲマーカ、又は、ＡＲマーカの役割を果たす対象物自身を注視画像として撮像する。このとき、理想的な撮像条件が満たされていれば問題はない。しかしながら、例えば、夜間又は降雨等の悪条件下では、カメラが撮像する注視画像は、サンプルとしての作業画像と比較可能である程度に鮮明にはならない。すると、当該作業支援システムは、予め記憶されている作業画像の候補のうちから、注視画像に類似するものを取得できなくなる。すると、当該作業支援システムを使用する作業は、中止を余儀なくされる。
Now, the work support system of
作業員は、他の緊急要件が発生した場合、他の作業場所に移動する場合、作業が長時間続いた場合等には、作業を一時的に中断する必要がある。しかしながら、特許文献１の作業支援システムは、作業の一時的な中断については記載されていない。
そこで、本発明は、作業を容易に続行でき、任意の時点で作業を中断できる作業支援装置を提供することを目的とする。
Workers need to temporarily suspend work when other urgent requirements occur, when moving to other work locations, or when work continues for a long time. However, the work support system of
Therefore, an object of the present invention is to provide a work support device that can easily continue work and can interrupt the work at an arbitrary time.
本発明の作業支援装置は、作業の対象とするべき対象物を予め撮像した見本画像と、作業の内容を拡張現実の手法で示す拡張現実画像と、が作業の進捗段階に対応付けて格納される記憶部と、作業員が注視している対象物をカメラが撮像した注視画像を取得する画像入力処理部と、注視画像と、見本画像に対応する拡張現実画像とを重ねて表示する画像出力処理部と、ある進捗段階において、カメラが使用されない場合、又は、注視画像が見本画像に類似しない場合、当該進捗段階の見本画像自身を、見本画像と重ねて表示されるべき注視画像と看做す注視画像代替部と、を備えることを特徴とする。
その他の手段については、発明を実施するための形態のなかで説明する。
In the work support device of the present invention, a sample image obtained by capturing an object to be worked in advance and an augmented reality image indicating the work contents using an augmented reality technique are stored in association with the progress stage of the work. A storage unit, an image input processing unit that obtains a gaze image obtained by capturing an image of an object being watched by a worker, and an image output that displays the gaze image and an augmented reality image corresponding to the sample image in an overlapping manner When the camera is not used in the processing unit and a certain progress stage, or the gaze image is not similar to the sample image, the sample image itself in the progress stage is regarded as a gaze image to be displayed overlaid on the sample image. And a gaze image replacement unit.
Other means will be described in the embodiment for carrying out the invention.
本発明によれば、作業を容易に続行でき、任意の時点で作業を中断できる作業支援装置を提供することができる。 According to the present invention, it is possible to provide a work support device capable of easily continuing work and interrupting work at an arbitrary time.
以降、本発明を実施するための形態（“本実施形態”という）を、図等を参照しながら詳細に説明する。 Hereinafter, a mode for carrying out the present invention (referred to as “the present embodiment”) will be described in detail with reference to the drawings.
（作業支援装置の構成及び環境）
図１に沿って、作業支援装置１の構成及び環境を説明する。作業員３は、作業支援装置１を携帯して設備２を点検している。本実施形態の設備２は、空調システムの屋外機である。作業支援装置１は、一般的な携帯型の端末装置（いわゆるタブレット）である。作業員３は、作業支援装置１のカメラ１７を設備２に向けて、設備２の画像を撮像する。作業支援装置１の出力装置１３は、カメラ１７が撮像した注視画像及び予め記憶されている拡張現実画像（詳細後記）を重ねて表示する。
(Configuration and environment of work support device)
The configuration and environment of the
作業員３は、表示された画像を見ることによって具体的な作業の内容を理解することができる。作業支援装置１は、ヘッドマウンティング型であってもよい。ヘッドマウンティング型の作業支援装置１ｂは、眼鏡の形状を有しており、カメラ１７を備えている。作業員３が設備２に向き合うと、作業支援装置１ｂのカメラ１７は、設備２の画像を撮像する。携帯端末装置１ｂの出力装置１３は、カメラ１７が撮像した注視画像及び予め記憶されている拡張現実画像を重ねて表示する。携帯端末装置１ｂの出力装置１３は、眼鏡のレンズと一体化されており、作業員３は、レンズを通して注視画像及び拡張現実画像を虚像として視認する。
The worker 3 can understand the details of the specific work by looking at the displayed image. The
以降では、作業支援装置１がタブレット型である例を説明する。なお、タブレット型の作業支援装置１のカメラ１７もまた、一種の入力装置であると言える。しかしながら、ここでの入力装置１２は、タッチパネルを想定しており、画像を撮像するカメラ１７とは区別される。
Hereinafter, an example in which the
作業支援装置１は、一般的な携帯型のコンピュータである。作業支援装置１は、中央制御装置１１、入力装置１２、出力装置１３、主記憶装置１４、補助記憶装置１５、通信装置１６及びカメラ１７を有する。これらはバスで接続されている。補助記憶装置１５は、作業手順書３１、見本画像３２、拡張現実画像３３及び注視画像３４（詳細後記）を格納している。主記憶装置１４における、画像入力処理部２１、画像出力処理部２２、及び、注視画像代替部２３は、プログラムである。以降の説明において、“○○部は”と動作主体を記した場合、それは、中央制御装置１１が補助記憶装置１５から○○部を読み出し、主記憶装置１４にロードしたうえで○○部の機能（詳細後記）を実現することを意味する。
The
作業支援装置１の補助記憶装置１５が、作業支援装置１とは別の構成であるサーバ４（外部記憶装置）として分割されていてもよい。この場合、作業支援装置１の通信装置１６は、有線又は無線のネットワーク５を介してサーバ４と接続され得る。なお、作業支援装置１は、複数のＧＰＳ（Global Positioning System）衛星からの電波を受信し、受信した電波を演算することによって、自身の位置情報（緯度及び経度）を取得することができる。
The
（用語等）
作業は、ある作業場所において作業員３が行う業務である。本実施形態では、作業員３が行う１つの作業が、１つの作業場所に対応している。個々の作業は、時系列の複数の進捗段階を有する。例えば、“屋外機を点検する”という作業の最初の進捗段階は、“屋外機のカバーの四隅にあるネジをネジまわしで回転し、その後カバーを手前に取り外すこと”である。次の進捗段階は、“露出したファンの固定部材をスパナで取り外すこと”である（以下省略）。
(Terms etc.)
The work is a work performed by the worker 3 at a certain work place. In the present embodiment, one work performed by the worker 3 corresponds to one work place. Each task has a plurality of progress stages in time series. For example, the first progress stage of the work “inspecting the outdoor unit” is “rotating the screws at the four corners of the cover of the outdoor unit with a screwdriver and then removing the cover to the front”. The next stage of progress is “removing the exposed fan fixing member with a spanner” (hereinafter omitted).
注視画像は、カメラ１７が時系列で連続的に撮像した画像のうち、作業員３がその対象物に向かって所定の基準を満たす程度に視線を維持し続けていた（注視していた）と評価される画像である。例えば、作業員３が設備２（屋外機）の前に立ち、ある時間の長さだけ、作業支援装置１の背面に取り付けられているカメラ１７を設備２に向けると、屋外機を含む画像が注視画像として撮像される。作業の前後で偶然カメラ１７に撮像される通路等の画像は、通常、注視画像とはならない。なお、作業員３がヘッドマウンティング型の作業支援装置１ｂを使用する場合は、作業員３がある時間の長さだけよそ見せずに屋外機を注視すると、屋外機を含む画像が注視画像として撮像されることになる。
The gaze image was that the worker 3 kept keeping his gaze to the extent that the worker 3 met a predetermined standard toward the target object among the images continuously captured in time series by the camera 17 (gazing). It is an image to be evaluated. For example, when the worker 3 stands in front of the facility 2 (outdoor unit) and points the
拡張現実画像は、作業の内容を説明するコンピュータグラッフィック画像（人工画像）である。拡張現実画像は、例えば、作業員３が使用するべき工具の画像、設備２の部品の画像、工具及び部品の操作方法を示す矢印等の図形の画像、その他説明用の文字の画像等であり得る。なお、拡張現実（ＡＲ：Augmented Reality）は、現実の空間には存在しない物を、あたかも存在するかのように表現する技術である。
The augmented reality image is a computer graphic image (artificial image) explaining the content of the work. The augmented reality image is, for example, an image of a tool to be used by the worker 3, an image of a part of the
見本画像は、作業員３が作業の対象とするべき対象物（設備２）の画像である。作業場所（現場）で撮像される注視画像とは異なり、見本画像は、作業場所の設備２と同型式の見本をメーカの工場等で予め撮像しておいた画像である。
The sample image is an image of an object (equipment 2) that the worker 3 should work on. Unlike the gaze image captured at the work place (site), the sample image is an image obtained by capturing a sample of the same type as the
見本画像と拡張現実画像は、進捗段階ごとに予め関連付けて記憶されている。より具体的には、補助記憶装置１５に格納される作業手順書（詳細後記）において、見本画像の識別子と拡張現実画像の識別子とが、進捗段階ごとに相互に関連付けて記憶されている。つまり、多くの見本画像のうちから１つの見本画像が特定されると、拡張現実画像もまた特定される。要するに、見本画像は、拡張現実画像を特定するためのインデックスとしての機能を果たす。
The sample image and the augmented reality image are stored in advance in association with each progress stage. More specifically, in the work procedure manual (detailed later) stored in the
詳細は後記するが、いま、ある注視画像が撮像され、その注視画像に類似する見本画像が特定されたとする。すると、その見本画像に関連付けられている拡張現実画像もまた特定される。このとき、注視画像と拡張現実画像とは、重ねて表示され得る。 Although details will be described later, it is assumed that a gaze image is captured and a sample image similar to the gaze image is specified. Then, the augmented reality image associated with the sample image is also specified. At this time, the gaze image and the augmented reality image can be displayed in an overlapping manner.
このように、撮像された注視画像は見本画像と比較される。そこで、この比較をより容易にするために、設備２に対してＡＲマーカ６が張り付けられてもよい。ＡＲマーカ６は、例えば市松模様の２次元バーコードである。見本画像にもまた、このＡＲマーカに埋め込まれた情報を埋め込んでおく。すると、注視画像は、見本画像とより高い精度で比較され得る。なお、以降では、ＡＲマーカを使用しない例を説明する。
作業手順書は、相互に関連付けられた見本画像及び拡張現実画像の組合せを、作業の進捗段階ごとに記憶したデータである（詳細後記）。
Thus, the captured gaze image is compared with the sample image. Therefore, in order to make this comparison easier, the
The work procedure manual is data in which a combination of a sample image and an augmented reality image associated with each other is stored for each progress stage of the work (details will be described later).
（基本的な考え方）
図２〜図５に沿って、本実施形態の基本的な考え方を説明する。これらの図のうち、図２及び図３は、作業支援装置１が既存技術のみを実施する場合を説明する図である。図４及び図５は、作業支援装置１が、既存技術とは異なる本実施形態を実施する場合を説明する図である。
(basic way of thinking)
The basic concept of this embodiment will be described with reference to FIGS. Of these figures, FIGS. 2 and 3 are diagrams for explaining a case where the
まず、図２に注目する。作業の進捗段階Ｔ０１ｓｔａｒｔにおいて作業員３が作業の対象とするべき屋外機の画像が、見本画像５１として補助記憶装置１５に記憶されている。同じ進捗段階Ｔ０１ｓｔａｒｔにおいて行われるべき作業の内容が拡張現実画像５２として、見本画像５１に関連付けて補助記憶装置１５に記憶されている。拡張現実画像５２は、屋外機のカバーの四隅にあるネジをネジまわしで回転し、その後カバーを手前に取り外すことを図示している。
Attention is first directed to FIG. An image of the outdoor unit that the worker 3 should work on in the work progress stage T01 start is stored in the
進捗段階Ｔ０１ｓｔａｒｔにおいて、カメラ１７が注視画像５４を撮像する。日当たり等の撮像条件が良好である場合、鮮明な注視画像５４が撮像される。注視画像５４は、屋外機に付着した汚れ等も忠実に表現している。作業支援装置１は、注視画像５４を見本画像５１と比較する。両者は全く同じ画像ではなく、少なくとも汚れの分だけ差分は生じる。作業支援装置１は、汚れの差分を考慮してもなお、注視画像５４が見本画像５１に類似していると判断する（Ｒ≒Ｐ）。
In the progress stage T01 start , the
その後、作業支援装置１は、見本画像５１に関連付けられている拡張現実画像５２を取得し、取得した拡張現実画像５２と注視画像５４を出力装置１３に重ねて表示する。このとき表示される画像が、表示画像５３である。表示画像５３を見た作業員３は、自身が行うべき作業の内容は、“屋外機のカバーの四隅にあるネジをネジまわしで回転し、その後カバーを手前に取り外す”ことであると理解する。
Thereafter, the
後続する進捗段階においても考え方は全く同じである。但し、進捗段階Ｔ０２においては、カバーが取り外されファンが露出している屋外機の注視画像５６が撮像されるはずである。そのことを前提として、補助記憶装置１５には、カバーが取り外されファンが露出している屋外機の見本画像５５が記憶されている。進捗段階Ｔ０３においては、ファンの固定部材が取り外された屋外機の注視画像５８が撮像されるはずである。そのことを前提として、補助記憶装置１５には、ファンの固定部材が取り外された屋外機の見本画像５７が記憶されている。
The idea is exactly the same in the subsequent progress stages. However, in the progress stage T02, the gaze image 56 of the outdoor unit with the cover removed and the fan exposed should be taken. On the premise of this, the
図３に注目する。作業の進捗段階Ｔ０１ｓｔａｒｔの説明は、図２と同様である。進捗段階Ｔ０２において、例えば雨が降り始め、又は、日が沈み、撮像条件が不良になっている。注視画像６２は、人間の目で見れば、屋外機を夜間等に撮像したものであると辛うじて判断され得るものである。しかしながら、作業支援装置１が、注視画像６２を、見本画像５９と比較したとしても、両者が類似するものであるとは判断できない（Ｒ≠Ｐ）。すると、作業支援装置１は、拡張現実画像６０を特定することができず、結果的に、注視画像６２と拡張現実画像６０とを重ねて表示することができない。つまり、作業員３は、表示画像６１を実際には見ることができないまま、作業が中断する。したがって、図３の進捗段階Ｔ０３にまで作業が進むことはあり得ない。
Attention is directed to FIG. The description of the work progress stage T01 start is the same as in FIG. In the progress stage T02, for example, it starts to rain or the sun goes down, and the imaging conditions are poor. The
図４に注目する。作業の進捗段階Ｔ０１ｓｔａｒｔの説明は、図２と同様である。進捗段階Ｔ０２においては、実際の作業場所の撮像条件は不良になっている。仮にカメラ１７が注視画像を撮像したとしても、その注視画像が見本画像６３に類似しないことは明らかである。そこで、作業支援装置１は、予め記憶していた見本画像６３をコピーし、コピーした見本画像を、カメラ１７が仮に撮像したとすれば撮像されたであろう注視画像と看做す。つまり、作業支援装置１は、見本画像自身を、見本画像と重ねて表示されるべき注視画像と看做す。そのうえで、作業支援装置１は、当該看做された注視画像６６を見本画像６３と比較する。当然のことながら、両者は完全に一致する（Ｒ＝Ｐ）。その結果、作業支援装置１は、拡張現実画像６４を特定し、看做された注視画像６６と拡張現実画像６４とを重ねて、表示画像６５として表示することができる。
Attention is directed to FIG. The description of the work progress stage T01 start is the same as in FIG. In the progress stage T02, the imaging condition of the actual work place is poor. Even if the
ここで、作業員３を管理すべき管理者の立場からは、作業員３が本当に設備２の作業場所において作業を行っていたのか否かを確認することが必要となる。その確認のために、作業支援装置１は、エビデンス（証拠）６６ｂを取得し、進捗段階Ｔ０２に関連付けて記憶する。エビデンス６６ｂは、時刻情報、位置情報、不良な撮像条件で撮像された注視画像等である。
Here, from the standpoint of the manager who should manage the worker 3, it is necessary to confirm whether or not the worker 3 is actually working at the work place of the
図５に注目する。図５においては、作業員３が一連の進捗段階Ｔ０１ｓｔａｒｔ〜Ｔ０８ｅｎｄを終了した後、次の作業場所に移動し、次の一連の進捗段階Ｔ１１ｓｔａｒｔ〜を開始するまでの期間が想定されている。まず、進捗段階Ｔ０８ｅｎｄにおいて、拡張現実画像６７は、“ここでの作業は終了です”という文字列の画像である。したがって、作業員３は、当該文字列を表示画像６８として見ることができる。
Attention is directed to FIG. In FIG. 5, after the worker 3 completes a series of progress stages T01 start to T08 end , it is assumed that the worker 3 moves to the next work place and starts the next series of progress stages T11 start. Yes. First, in the progress stage T08 end , the
いま、ある作業場所から次の作業場所まで移動する動作を広義の作業と解釈し、例えば進捗段階“Ｔ０８：Ｔ１１”と表現する。補助記憶装置１５には、進捗段階Ｔ０８：Ｔ１１についての見本画像に代わって、位置情報６９が記憶されている。この位置情報６９は、一連の進捗段階Ｔ０１ｓｔａｒｔ〜Ｔ０８ｅｎｄの作業が行われた位置（緯度及び経度）を示している。さらに、補助記憶装置１５は、当該位置情報６９に関連付けて、案内情報を拡張現実画像７０として記憶しておく。案内情報は、ある作業場所から次の作業場所への道順を示した地図（ビルの同一フロア内の平面図を含む）、次の作業場所で使用する工具の名称等を含んでいる。
Now, an operation of moving from one work place to the next work place is interpreted as work in a broad sense, and expressed as, for example, a progress stage “T08: T11”. The
作業支援装置１は、自身の現在の位置情報７２を取得することができる。作業支援装置１は、作業員３が入力装置１２を介して“案内情報要求ボタン”を押下するのを受け付けたことを契機として、自身の現在の位置情報７２を、記憶されている位置情報６９と比較する。両者が所定の基準を満たす程度に類似している場合、作業支援装置１は、拡張現実画面７０を特定し、特定した拡張現実画像７０をそのまま（他の画像と重ねることなく）表示画像７１として表示することができる。
The
進捗段階Ｔ１１ｓｔａｒｔ以降は、図２の進捗段階Ｔ０１ｓｔａｒｔ以降と同様であるので詳しい説明を省略する。作業員３は、次の作業場所における作業の内容として、別の屋外機（縦型形状）を点検することになる。 Since the progress stage T11 start and after are the same as the progress stage T01 start and after in FIG. The worker 3 checks another outdoor unit (vertical shape) as the contents of work at the next work place.
（作業手順書）
図６に沿って、作業手順書３１を説明する。作業手順書３１においては、作業場所ＩＤ欄１０１に記憶された作業場所ＩＤに関連付けて、進捗段階ＩＤ欄１０２には進捗段階ＩＤが、見本画像ＩＤ欄１０３には見本画像ＩＤが、拡張現実画像ＩＤ欄１０４には拡張現実画像ＩＤが、表示画像欄１０５には表示画像が、注視画像撮像要否欄１０６には注視画像撮像要否が、注視画像ＩＤ欄１０７には注視画像ＩＤが記憶されている。
(Operating procedures)
The
作業場所ＩＤ欄１０１の作業場所ＩＤは、作業員３が作業を行う作業場所を一意に特定する識別子である。作業員３がある作業場所から次の作業場所に移動するまでの作業場所ＩＤは、“ＳＳ０１：ＳＳ０２”のように、前後の作業場所ＩＤの組合せになっている。
進捗段階ＩＤ欄１０２の進捗段階ＩＤは、前記した作業段階を一意に特定する識別子である。ある作業場所における最初の進捗段階の進捗段階ＩＤには“ｓｔａｒｔ”が付され、最後の進捗段階の進捗段階ＩＤには“ｅｎｄ”が付される。移動中の進捗段階の進捗段階ＩＤは、“Ｔ０８：Ｔ１１” のように、前後の進捗段階ＩＤの組合せになっている。
The work place ID in the work
The progress stage ID in the progress
見本画像ＩＤ欄１０３の見本画像ＩＤは、見本画像を一意に特定する識別子である。
拡張現実画像ＩＤ欄１０４の拡張現実画像ＩＤは、拡張現実画像を一意に特定する識別子である。但し、例外的に、作業員３が移動中の進捗段階“Ｔ０８：Ｔ１１”等には、位置情報が記憶されている。
The sample image ID in the sample
The augmented reality image ID in the augmented reality
表示画像欄１０５の表示画像は、出力装置１３に表示されるべき画像である。例えば１行目の“ＡＲ０１＋注視画像”は、進捗段階Ｔ０１ｓｔａｒｔにおいて、拡張現実画像“ＡＲ０１”と作業場所にて撮像されることになる注視画像とが重ねて表示されることを示している。さらに、９行目の“ＡＲ９９”は、進捗段階Ｔ０８：Ｔ１１において、拡張現実画像“ＡＲ９１”が他の画像と重ねられることなく単独で表示されることを示している。なお、“ＡＲ９１”は、案内情報である。
The display image in the
注視画像撮像要否欄１０６の注視画像撮像要否は、“要”又は“否”のいずれかである。“要”は、当該進捗段階において、注視画像が撮像されることが前提になっていることを示す。“否”は、当該進捗段階において、注視画像が撮像されることが前提になっていないこと、又は、良好な撮像条件での撮像に失敗したことを示す。当然のことながら、移動中を除く各進捗段階における注視画像撮像要否は、原則“要”である。
Whether or not a gaze image is necessary in the gaze image
注視画像ＩＤ欄１０７の注視画像ＩＤは、注視画像を一意に特定する識別子である。但し、図６の作業手順書３１は、作業員３が作業場所に出かける前の時点のものであり、その時点では、注視画像は未だ撮像されていない。そこで、各レコードの注視画像ＩＤ欄１０７には、注視画像は未だ撮像されていないことを示す“Ｐ？”が記憶される。但し、注視画像撮像要否が“否”であるレコードの注視画像ＩＤ欄１０７には、“−”が記憶されている。“−”は、そもそも注視画像が撮像される予定ではないことを示している。
The gaze image ID in the gaze
図７に沿って、作業手順書３１を説明する。図６の作業手順書３１が、作業員３が作業場所において作業を行う前の時点でのものであるのに対し、図７の作業手順書３１は、作業員３が実際に作業場所において作業を進めた結果データが更新された後の時点のものである。図７の作業手順書３１の構成は、エビデンス欄１０８が追加されていることを除き、図６と同じである。エビデンス欄１０８のエビデンス“＃＃”は、作業員３がその作業場所で確かに作業を行っていたことを示す任意のデータを省略的に示している。前記したように、エビデンスは、時刻情報、位置情報、不良な撮像条件で撮像された注視画像等である。
The
次に、図６及び図７を、そのデータの内容の相違点に注目して比較する。
（相違点１）
前記の図６の１行目のレコードでは、注視画像ＩＤは“Ｐ？”である。それに対して、図７の１行目のレコードでは、注視画像ＩＤは“Ｐ０１”である。このことは、以下のことを示している。
・進捗段階Ｔ０１ｓｔａｒｔにおいて、作業場所では予定通り注視画像が撮像されたこと。
・その注視画像を特定する注視画像ＩＤが“Ｐ０１”であること。
なお、図６及び図７の３〜８及び１５行目のレコードについても同様である。
Next, FIG. 6 and FIG. 7 are compared by paying attention to the difference in the contents of the data.
(Difference 1)
In the record in the first row in FIG. 6, the gaze image ID is “P?”. On the other hand, the gaze image ID is “P01” in the record in the first row of FIG. This indicates the following.
In the progress stage T01 start , the gaze image was taken as planned at the work place.
The gaze image ID that identifies the gaze image is “P01”.
The same applies to the records in the 3rd to 8th and 15th rows in FIGS.
（相違点２）
前記の図６の２行目のレコードでは、注視画像撮像要否は“要”であり、注視画像ＩＤは“Ｐ？”である。それに対して、図７の２行目のレコードでは、注視画像撮像要否は“否”であり、注視画像ＩＤは“Ｒ０２”であり、さらにエビデンス“＃＃”が追加されている。このことは、以下のことを示している。
(Difference 2)
In the record in the second row in FIG. 6, the gaze image capturing necessity is “necessary”, and the gaze image ID is “P?”. On the other hand, in the record in the second row in FIG. 7, the gaze image capturing necessity is “no”, the gaze image ID is “R02”, and evidence “##” is added. This indicates the following.
・進捗段階Ｔ０２において、作業場所では、撮像条件が不良であることに起因してカメラ１７は、見本画像に類似する注視画像を撮像することができなかったこと。
・そのため、見本画像“Ｒ０２”が、本来撮像されるべき注視画像と看做されたこと。
・作業員が作業場所“ＳＳ０１”において確かに作業を行っていたことを示すエビデンスが取得されたこと。
In progress stage T02, the
Therefore, the sample image “R02” is regarded as a gaze image that should be captured.
・ Evidence indicating that the worker was surely working at the work place “SS01” was obtained.
（相違点３）
前記の図６の１０〜１３行目のレコードでは、注視画像撮像要否は“要”であり、注視画像ＩＤは“Ｐ？”である。それに対して、図７の１０〜１３行目のレコードでは、注視画像撮像要否は“否”であり、注視画像ＩＤは“Ｒ１１”、“Ｒ１２”、“Ｒ１３”及び“Ｒ１４”であり、さらにエビデンス“＃＃”が追加されている。このことは、以下のことを示している。
(Difference 3)
In the records on the 10th to 13th rows in FIG. 6, the necessity for capturing the gaze image is “necessary” and the gaze image ID is “P? On the other hand, in the records in the 10th to 13th lines in FIG. 7, the gaze image imaging necessity is “No”, and the gaze image IDs are “R11”, “R12”, “R13”, and “R14”. In addition, evidence “##” is added. This indicates the following.
・作業員３は、作業場所“ＳＳ０２”においては、屋外機が殆ど照明のない場所に配置されている、不良な撮像条件がしばらく続きそうである等の事情により、注視画像が撮像されることを前提にしないことを決定したこと。
・そのため、見本画像“Ｒ１１”、“Ｒ１２”、“Ｒ１３”及び“Ｒ１４”が、本来撮像されるべき注視画像と看做されたこと。
・作業員が作業場所“ＳＳ０２”において確かに作業を行っていたことを示すエビデンスが取得されたこと。
-Worker 3 takes a gaze image at work place “SS02” because the outdoor unit is placed in a place with almost no illumination, or bad imaging conditions are likely to continue for a while. It was decided not to assume.
Therefore, the sample images “R11”, “R12”, “R13”, and “R14” are regarded as gaze images that should be captured.
・ Evidence indicating that the worker was actually working at the work place “SS02” has been obtained.
（画像間の類似度）
２つの画像間の類似度を比較する技術が一般に普及している。本実施形態において、作業支援装置１は、任意の既存技術を使用して２つの画像間の類似度を算出する。ここでの既存技術とは、例えば、エッジ（輪郭）検出、エッジの方向検出、形状検出、画素値検出、色彩検出、見本画像をテンプレートとしたテンプレートマッチング、検出結果の数値化等の技術を含む。作業支援装置１は、このような既存技術を使用し、２つの画像間の差異を数値化し、その差異が小さいほど大きな類似度を出力するものとする。作業支援装置１がこのように２つの画像間の類似度を算出する場合は２種類存在する。その１つは、撮像された画像が注視画像であるか否かを判断する場合であり、他の１つは、注視画像を見本画像と比較する場合である。
(Similarity between images)
A technique for comparing the similarity between two images is generally popular. In the present embodiment, the
（撮像された画像が注視画像であるか否かの判断）
図８に沿って、撮像された画像が注視画像であるか否かを判断する方法を説明する。まず、図８（ａ）に注目する。いま、カメラ１７は、１１個の連続画像Ａ、Ｂ、・・・、Ｋを所定の時間周期（例えば１秒）で撮像したとする。作業支援装置１は、時間的に隣接する２個の画像について、“画像間の類似度”で前記した既存の方法で類似度を算出する。すると、画像Ａと画像Ｂとの類似度、画像Ｂと画像Ｃとの類似度、・・・、画像Ｊと画像Ｋとの類似度のように、合計１０個の類似度が算出されることになる。
(Determining whether the captured image is a gaze image)
A method for determining whether or not a captured image is a gaze image will be described with reference to FIG. First, attention is focused on FIG. Now, it is assumed that the
作業支援装置１は、横軸が時間であり縦軸が類似度である座標平面に、このように算出した１０個の類似度をプロットする（図８（ａ）の“●”）。作業員３が、例えば５秒間ある設備２を注視している場合、カメラ１７は、その５秒間において、殆ど同じ画像を例えば５個撮像することになる。この５個の画像について、４個の類似度が算出されることになる。これらの類似度は、充分大きい。すると、これらの類似度を示す“●”は、座標平面の上の方に集まる。
The
一方、作業員３が、例えば５秒間特定の対象物を注視することなく、何か考えごとをしている場合、カメラ１７は、その５秒間において、充分異なる画像を例えば５個撮像することになる。図８（ａ）からは離れるが、この５個の画像についても４個の類似度が算出されることになる。これらの類似度は、充分小さい。すると、これらの類似度を示す“●”は、座標平面の下の方に集まる。
On the other hand, when the worker 3 is thinking about something without gazing at a specific object for 5 seconds, for example, the
図８（ａ）において、類似度に対する閾値がＴＨ１である場合、作業支援装置１は、画像Ｄと画像Ｅ、画像Ｅと画像Ｆ、画像Ｆと画像Ｇ、及び、画像Ｇと画像Ｈは類似していると判断する。そして、５つの画像Ｄ〜Ｈのうち、例えば中央の画像Ｆを注視画像とする。仮に、閾値がＴＨ０である場合、類似度に関するハードルが高いので、作業支援装置１は、注視画像を検出しない。
In FIG. 8A, when the threshold value for the similarity is TH 1 , the
類似度に対する閾値が必要以上に厳しい（より大きな類似度を要求する）と、作業支援装置１は、撮像された画像のうちから、見本画像と比較するべき注視画像を取得することができなくなる。図８（ｂ）において、閾値がＴＨ１を起点として、ＴＨ２、ＴＨ３の順に小さくなると、注目画像がより高い確率で取得され得ることになる。
If the threshold for similarity is severer than necessary (requesting a larger similarity), the
（注視画像と見本画像との間の類似度）
作業支援装置１は、“画像間の類似度”で前記した既存の方法で、注視画像と見本画像との間の類似度を算出する。その際に類似度に対して適用される閾値は、図８の閾値とは、同じものであってもよいし、別のものであってもよい。以降では、注視画像と見本画像との間の類似度を算出するための閾値（“マッチング閾値”と呼ぶ）が、撮像された画像が注視画像であるか否かを判断するための閾値（図８）とは別のものであることを前提として説明を続ける。マッチング閾値が必要以上に厳しいと、注視画像が取得されても、作業支援装置１は、注視画像は見本画像に類似していないと判断し続けることになる。したがって、後記するフローチャートにおいて、作業支援装置１は、マッチング閾値を変更する。
(Similarity between gaze image and sample image)
The
（処理手順）
図９に沿って、処理手順を説明する。処理手順を開始する前提として、ユーザ（作業員３又はその管理者）は、作業手順書３１、見本画像３２及び拡張現実画像３３を既に作成し終えているものとする。さらに、説明の単純化のため、作成済の作業手順書３１は、図６の１行目〜８行目のレコードのみを有しているものとする。他のレコードについては、別途説明する。
(Processing procedure)
A processing procedure will be described with reference to FIG. As a premise for starting the processing procedure, it is assumed that the user (worker 3 or its manager) has already created the
ステップＳ２０１において、作業支援装置１の画像入力処理部２１は、作業手順書３１を受け付ける。具体的には、第１に、画像入力処理部２１は、ユーザが入力装置１２を介して作業手順書３１（図６）を入力するのを受け付ける。
In step S <b> 201, the image
第２に、画像入力処理部２１は、受け付けた作業手順書３１にそのＩＤが記憶されているすべての見本画像３２及びすべての拡張現実画像３３をユーザが入力装置１２を介して入力するのを受け付ける。
第３に、画像入力処理部２１は、ステップＳ２０１の“第１”及び“第２”において受け付けた情報を補助記憶装置１５に記憶する。
Secondly, the image
Third, the image
ステップＳ２０２において、画像入力処理部２１は、見本画像を取得する。具体的には、画像入力処理部２１は、作業手順書３１の未処理のレコードのうち先頭のレコードを取得する。以降、ここで取得されたレコードを“対象レコード”と呼ぶ。画像入力処理部２１は、対象レコードの見本画像ＩＤが特定する見本画像を補助記憶装置１５から取得し、主記憶装置１４に一時的に記憶する。以降、ここで取得された見本画像を“対象見本画像”と呼ぶことがある。なお、繰り返し処理における最初の対象レコードは、進捗段階が“ｓｔａｒｔ”を含むレコードである。
In step S202, the image
ステップＳ２０３において、画像入力処理部２１は、タイマ及びカウンタを初期化する。具体的には、画像入力処理部２１は、タイマ値を“０”に設定し、カウンタ値を“０”に設置する。その後、タイマは、時間の経過に応じて、タイマ値を増加させていく。
In step S203, the image
ステップＳ２０４において、画像入力処理部２１は、カメラ１７を使用するか否かを判断する。具体的には、画像入力処理部２１は、ユーザが入力装置１２を介してカメラ１７を使用する旨の指示を入力するのを受け付けた場合（ステップＳ２０４“Ｙｅｓ”）、カメラ１７を運転状態にしたうえで、ステップＳ２０５に進む。画像入力処理部２１は、カメラ１７を使用しない旨の指示を受け付けた場合（ステップＳ２０４“Ｎｏ”）、カメラ１７を停止状態にしたうえで、ステップＳ２０７に進む。
In step S <b> 204, the image
ステップＳ２０５において、画像入力処理部２１は、対象物を注視しているか否かを判断する。具体的には、画像入力処理部２１は、カメラ１７が所定の時間的周期で撮像した画像から、図８で前記した方法によって注目画像を取得できるか否かを判断する。画像入力処理部２１は、注目画像が取得できる場合（ステップＳ２０５“Ｙｅｓ”）、ステップＳ２０６に進み、注目画像が取得できない場合（ステップＳ２０５“Ｎｏ”）、ステップＳ２１６に進む。
In step S205, the image
ステップＳ２０６において、画像入力処理部２１は、注視画像を取得する。具体的には、図８（ａ）で前記したように、撮像された画像のうち類似している一連の画像の中央の画像を注視画像として取得し、補助記憶装置１５に記憶する。
In step S206, the image
ステップＳ２０７において、作業支援装置１の注視画像代替部２３は、見本画像を注視画像と看做す。具体的には、注視画像代替部２３は、対象見本画像を注視画像と看做し、注視画像３４として補助記憶装置１５に記憶する。
つまり、注視画像代替部２３は、対象見本画像のコピーを作成し、作成したコピーを注視画像３４として補助記憶装置１５に記憶する。そして、ここで看做された注視画像（対象見本画像のコピーである注視画像）を、以降“看做し注視画像”と呼ぶことがある。なお、これらのことは、後記するステップＳ２３２及びＳ２３７においても同様である。
In step S207, the gaze
That is, the gaze
ステップＳ２０８において、注視画像代替部２３は、エビデンスを受け付ける。具体的には、注視画像代替部２３は、現在の位置情報又は時刻情報をエビデンス（証拠）として取得する。
In step S208, the gaze
ステップＳ２０９において、作業支援装置１の画像出力処理部２２は、注視画像と見本画像との類似度を算出する。具体的には、画像出力処理部２２は、前記した既存技術を使用して、ステップＳ２０６において取得された注視画像又は看做し注視画像を、対象見本画像と比較し、両者間の類似度を算出する。なお、ステップＳ２０７を経由した場合、当然のことながら、注視画像は、対象見本画像に完全に一致する。
In step S209, the image
ステップＳ２１０において、画像出力処理部２２は、類似度が閾値以上であるか否かを判断する。具体的には、画像出力処理部２２は、ステップＳ２０９において算出された類似度が所定の閾値（マッチング閾値）以上である場合（ステップＳ２１０“Ｙｅｓ”）、ステップＳ２１１に進み、それ以外の場合（ステップＳ２１０“Ｎｏ”）、ステップＳ２１７に進む。
In step S210, the image
ステップＳ２１１において、画像出力処理部２２は、拡張現実画像３３を取得する。具体的には、第１に、画像出力処理部２２は、作業手順書３１（図６）を参照し、対象レコードの拡張現実画像ＩＤを取得する。
第２に、画像出力処理部２２は、ステップＳ２１１の“第１”において取得した拡張現実画像ＩＤが特定する拡張現実画像３３を補助記憶装置１５から取得する。
In step S <b> 211, the image
Second, the image
ステップＳ２１２において、画像出力処理部２２は、拡張現実画像３３及び注視画像３４を重ねて表示する。具体的には、ステップＳ２１１の“第２”において取得された拡張現実画像３３と、ステップＳ２０６で取得された注視画像又は看做し注視画像とを出力装置１３に重ねて表示する。
In step S212, the image
ステップＳ２１３において、画像出力処理部２２は、すべての進捗段階が終了したか否かを判断する。具体的には、画像出力処理部２２は、対象レコードの進捗段階が“ｅｎｄ”を含む場合（ステップＳ２１３“Ｙｅｓ”）、ステップＳ２１５に進む。画像出力処理部２２は、それ以外の場合（ステップＳ２１３“Ｎｏ”）、ステップＳ２１４に進む。
In step S213, the image
ステップＳ２１４において、画像出力処理部２２は、一時中断するか否かを判断する。具体的には、画像出力処理部２２は、ユーザが入力装置１２を介して作業を一時中断する旨の指示、又は、作業を続行する旨の指示を入力するのを受け付ける。そして、画像出力処理部２２は、一時中断する旨の指示を受け付けた場合（ステップＳ２１４“Ｙｅｓ”）、ステップＳ２１５に進み、続行する旨の指示を受け付けた場合（ステップＳ２１４“Ｎｏ”）、ステップＳ２０２に戻る。ステップＳ２０２に戻った後、作業手順書３１の未処理の次のレコードが対象レコードとして取得され、その対象レコードの見本画像ＩＤが特定する見本画像が対象見本画像とされたうえで、同様の処理が繰り返されることになる。
In step S214, the image
ステップＳ２１５において、画像出力処理部２２は、作業手順書３１を保存する。ステップＳ２０６を経由した場合と、ステップＳ２０７を経由した場合とで当該ステップの処理の内容は異なる。具体的には、ステップＳ２０６を経由した場合には、画像出力処理部２２は、対象レコードの注視画像ＩＤを、“Ｐ？”から、実際に撮像された注視画像を特定する注視画像ＩＤ（“Ｐ０１”等）に変更したうえで、作業手順書３１を更新する。
In step S215, the image
ステップＳ２０７を経由した場合には、画像出力処理部２２は、対象レコードの注視画像撮像要否を、“要”から“否”に変更する。つぎに、画像出力処理部２２は、対象レコードの注視画像ＩＤを、“Ｐ？”から、看做し注視画像の見本画像ＩＤ（“Ｒ０２”等）に変更する。さらに、画像出力処理部２２は、対象レコードのエビデンス欄１０８を設け、当該欄にステップＳ２０８において取得されたエビデンスを記憶する。結局、画像出力処理部２２は、撮像された注視画面又は看做し注視画面を時系列で記憶することになる。
In the case of passing through step S207, the image
ステップＳ２１６において、作業支援装置１の画像入力処理部２１は、タイマ値が閾値以上であるか否かを判断する。具体的には、画像入力処理部２１は、現時点のタイマ値が所定の閾値以上である場合（ステップＳ２１６“Ｙｅｓ”）、ステップＳ２１９に進み、それ以外の場合（ステップＳ２１６“Ｎｏ”）、ステップＳ２０５に戻る。
In step S216, the image
ステップＳ２１０“Ｎｏ”に続くステップＳ２１７において、画像入力処理部２１は、カウンタ値に“１”を加算する。因みに、このカウンタ値は、例えば対象見本画像にはない対象物を注視していた（よそ見していた）回数である。
In step S217 following step S210 “No”, the image
ステップＳ２１８において、画像入力処理部２１は、カウンタ値が閾値以上であるか否かを判断する。具体的には、画像入力処理部２１は、現時点のカウンタ値が所定の閾値以上である場合（ステップＳ２１８“Ｙｅｓ”）、ステップＳ２１９に進み、それ以外の場合（ステップＳ２１８“Ｎｏ”）、ステップＳ２０５に戻る。
In step S218, the image
ステップＳ２１９において、作業支援装置１の画像出力処理部２２は、注意メッセージを表示する。具体的には、画像出力処理部２２は、“よそ見を控えて下さい”、“作業に集中して下さい”等の注意メッセージを出力装置１３に表示する。
In step S219, the image
ステップＳ２２０において、作業支援装置１の画像入力処理部２１は、応答を受け付ける。具体的には、画像入力処理部２１は、入力装置１２に“中止”、“やり直し”及び“続行”の３つのボタンを表示し、ユーザがそれらのうちのいずれかを押下するのを受け付ける。“やり直し”は、作業員３が直近の過去の進捗段階を繰り返したい場合等に押下される。“中止”と“一時中断”とは区別される。“一時中断”は、作業員３が未だ行っていない進捗段階をいずれは再開することを意味している。一方、“中止”は、作業員３が未だ行っていない進捗段階を放棄してしまうことを意味する。
In step S220, the image
“続行”は、作業員３が単にそのまま作業を続けるのではなく、作業の一時中断、マッチング閾値の変更、カメラ１７の使用の取りやめ等の措置を講じることによって、作業が終了しない悪循環から積極的に脱出しようとしていることを意味する。
“Continue” is not a case where the worker 3 simply continues the work, but actively takes a vicious cycle where the work is not completed by taking measures such as temporarily suspending the work, changing the matching threshold, and canceling the use of the
ステップＳ２２１において、画像入力処理部２１は、応答は何であったかを判断する。具体的には、画像入力処理部２１は、“中止”が押下された場合（ステップＳ２２１“中止”）、ステップＳ２１５に進む。画像入力処理部２１は、“やり直し”が押下された場合（ステップＳ２２１“やり直し”）、ステップＳ２２２に進み、“続行”が押下された場合（ステップＳ２２１“続行”）、ステップＳ２２３に進む。
In step S221, the image
ステップＳ２２２において、画像入力処理部２１は、やり直しの起点を決定する。具体的には、第１に、画像入力処理部２１は、過去及び現在の進捗段階の見本画像を時系列で出力装置１３に表示する。
第２に、画像入力処理部２１は、ユーザが表示されている見本画像のうち任意のものを選択するのを受け付ける。ここで選択された見本画像を“やり直し起点見本画像”とも呼ぶ。
ステップＳ２２２の次に戻るステップＳ２０２においては、やり直し起点見本画像が、対象見本画像となり、やり直し起点見本画像の見本画像ＩＤを有する作業手順書３１のレコードが、対象レコードとなる。
In step S222, the image
Secondly, the image
In step S202, which returns after step S222, the redo start sample image becomes the target sample image, and the record of the
ステップＳ２２３は、作業改善処理である。ステップＳ２２３の詳細は、別途後記する。ステップＳ２２３の後、処理は、ステップＳ２０４に戻る。 Step S223 is work improvement processing. Details of step S223 will be described later. After step S223, the process returns to step S204.
（ステップＳ２２３の詳細：作業改善処理）
図１０に沿って、ステップＳ２２３の詳細を説明する。
ステップＳ２３１において、作業支援装置１の画像出力処理部２２は、一時中断するか否かを判断する。具体的には、画像出力処理部２２は、ユーザが入力装置１２を介して作業を一時中断する旨の指示、又は、作業を続行する旨の指示を入力するのを受け付ける。そして、画像出力処理部２２は、一時中断する旨の指示を受け付けた場合（ステップＳ２３１“Ｙｅｓ”）、ステップＳ２３２に進み、続行する旨の指示を受け付けた場合（ステップＳ２３１“Ｎｏ”）、ステップＳ２３４に進む。
(Details of Step S223: Work Improvement Process)
Details of step S223 will be described with reference to FIG.
In step S231, the image
ステップＳ２３２において、作業支援装置１の注視画像代替部２３は、見本画像を注視画像と看做す。具体的には、注視画像代替部２３は、対象見本画像を注視画像と看做し、注視画像３４として補助記憶装置１５に記憶する。
In step S232, the gaze
ステップＳ２３３において、注視画像代替部２３は、エビデンスを受け付ける。具体的には、注視画像代替部２３は、現在の位置情報、時刻情報、又は、ステップＳ２０６において取得された（見本画像との類似度が小さい）注視画像をエビデンス（証拠）として取得する。
In step S233, the gaze
ステップＳ２３４において、作業支援装置１の画像出力処理部２２は、類似度に対する閾値を更新する。具体的には、画像出力処理部２２は、マッチング閾値を、所定の刻み幅だけ小さくする。その値が小さくなった分だけ、注視画像と見本画像との間の類似度を算出するための基準は、緩くなる。
In step S234, the image
ステップＳ２３５において、画像出力処理部２２は、類似度に対する閾値が下限に達しているか否かを判断する。マッチング閾値を所定の刻み幅だけ小さくすることを繰り返した結果、マッチング閾値が極端に小さくなったとする。すると、注目画像が見本画像と多少異なっていても、殆どすべての場合が、ステップＳ２１０の“Ｙｅｓ”を経由することになる。このような場合、注目画像に対して、本来対応するべき正しい拡大現実画像が重ねて表示されなくなる。したがって、作業支援装置１は、類似度に対する閾値の下限を予めユーザから受け付けておく。
In step S235, the image
具体的には、画像出力処理部２２は、マッチング閾値が下限に達している場合（ステップＳ２３５“Ｙｅｓ”）、ステップＳ２３６に進み、それ以外の場合（ステップＳ２３５“Ｎｏ”）、ステップＳ２２３の処理を終了し、ステップＳ２０４に戻る。
Specifically, when the matching threshold value has reached the lower limit (step S235 “Yes”), the image
ステップＳ２３６において、作業支援装置１の画像入力処理部２１は、カメラ１７の使用を停止するか否かを判断する。具体的には、画像入力処理部２１は、ユーザが入力装置１２を介してカメラ１７の使用を停止する旨の指示を入力するのを受け付けた場合（ステップＳ２３６“Ｙｅｓ”）、ステップＳ２３７に進む。このとき、画像入力処理部２１は、カメラ１７が運転状態になっている場合はカメラ１７を停止状態にする。画像入力処理部２１は、カメラ１７の使用を停止しない旨の指示を受け付けた場合（ステップＳ２３６“Ｎｏ”）、ステップＳ２３９に進む。このとき、画像入力処理部２１は、カメラ１７が停止状態になっている場合はカメラ１７を運転状態にする。
In step S236, the image
ステップＳ２３７において、作業支援装置１の注視画像代替部２３は、見本画像を注視画像と看做す。具体的には、注視画像代替部２３は、対象見本画像を注視画像と看做し、注視画像３４として補助記憶装置１５に記憶する。
In step S237, the gaze
ステップＳ２３８において、注視画像代替部２３は、エビデンスを受け付ける。具体的には、注視画像代替部２３は、現在の位置情報、時刻情報、又は、ステップＳ２０６において取得された注視画像をエビデンス（証拠）として取得する。
In step S238, the gaze
ステップＳ２３９において、作業支援装置１の画像出力処理部２２は、作業手順書３１を保存する。ステップＳ２３９の処理は、ステップＳ２１５の処理と同じである。
In step S239, the image
（移動中の処理手順）
前記では、作成済の作業手順書３１は、図６の１行目〜８行目のレコードのみを有しているものとした。次に、作業手順書３１が図６の９行目のレコード（以降、“移動案内レコード”と呼ぶこともある。）を有している場合の処理の流れを説明する。
(Processing procedure while moving)
In the above description, it is assumed that the created
移動中の処理手順は、処理がステップＳ２１３“Ｙｅｓ”の後もステップＳ２１４を経由し（この点は、図９とは異なる）、さらにステップＳ２１４“Ｎｏ”を経由し、ステップＳ２０２に戻ることを契機に開始される。すると、ステップＳ２０２において、移動案内レコードが対象レコードとなる。その後、処理は、ステップＳ２０２→Ｓ２０６→Ｓ２１０→Ｓ２１１→Ｓ２１２→Ｓ２１３を経由する。以下にそれらのステップの処理の内容を記載する。 The moving procedure is that the process goes through step S214 after step S213 “Yes” (this is different from FIG. 9), and further goes back to step S202 through step S214 “No”. It starts when triggered. Then, in step S202, the movement guide record becomes the target record. Thereafter, the process goes through steps S202 → S206 → S210 → S211 → S212 → S213. The contents of the processing of those steps are described below.
ステップＳ２０２において、画像入力処理部２１は、対象レコードの位置情報を取得する。以降、ここで取得された位置情報を“対象位置情報”と呼ぶことがある。
ステップＳ２０６において、画像入力処理部２１は、現在の位置情報を取得し、ユーザが入力装置１２を介して案内情報要求ボタンを押下するのを受け付ける。
ステップＳ２１０において、第１に、画像出力処理部２２は、現在の位置情報と対象位置情報との間の距離を算出する。
第２に、画像出力処理部２２は、算出した距離が所定の閾値以下である場合、ステップＳ２１１に進み、それ以外の場合、メッセージ“正しい作業場所に戻ってください”を出力装置１３に表示した後、処理を終了する。
In step S202, the image
In step S <b> 206, the image
In step S210, first, the image
Second, if the calculated distance is equal to or smaller than the predetermined threshold, the image
ステップＳ２１１において、画像出力処理部２２は、拡張現実画像３３を取得する。ここでの拡張現実画像３３は、作業員３が他の作業場所（次の現場）に移動するための案内情報（地図等）である。
ステップＳ２１２において、画像出力処理部２２は、拡張現実画像３３（案内情報）を出力装置１３に表示する。
ステップＳ２１３において、画像出力処理部２２は、すべての進捗段階が終了したか否かを判断する。具体的には、画像出力処理部２２は、対象レコードの次のレコードがない場合、処理手順を終了し、それ以外の場合、ステップＳ２０２に戻る。
In step S <b> 211, the image
In step S212, the image
In step S213, the image
（カメラの使用の連続的停止）
ある作業場所において撮影条件が不良であり、当該作業場所における一連の進捗段階を完了するまでに撮像条件が回復する見込みがない場合もある。この場合、ステップＳ２０４において、画像入力処理部２１は、カメラ１７を使用しない旨の指示とともに、カメラの使用を連続的に停止する旨の指示を受け付ける。すると、画像入力処理部２１は、以降の繰り返し処理において、必ずステップＳ２０４“Ｎｏ”を経由する。その結果として、更新後の作業手順書３１は、図７の１０行目〜１３行目のようなレコードを有することになる。
(Continuous stop of camera use)
There may be a case where imaging conditions are poor at a certain work place, and the imaging conditions are unlikely to be recovered until a series of progress stages at the work place is completed. In this case, in step S <b> 204, the image
これとは逆に、画像入力処理部２１は、原則、自動的にステップＳ２０４“Ｙｅｓ”を経由することとし、例外的にユーザの指示を受けた場合に限り、ステップＳ２０４の判断を実行してもよい。さらに、撮像条件が所定の基準を満たす程度に良好でない場合（例えば、作業場所の照度が閾値以下である場合）、画像入力処理部２１は、自動的にステップＳ２０４“Ｎｏ”を経由することとしてもよい。
On the contrary, the image
（本実施形態の効果）
本実施形態の作業支援装置の効果は以下の通りである。
（１）作業支援装置は、注視画像を見本画像と比較することによって拡大現実画像を特定する。そして、カメラ不使用時、又は、撮像条件不良時には、見本画像を注視画像と看做す。したがってユーザは、カメラ不使用時、又は、撮像条件不良時であっても、確実に拡大現実画像を見ることができる。そして、ユーザは、そのためにわざわざ既存のアルゴリズムを大きく変更する必要がない。
（２）ユーザは、任意の進捗段階で作業を一時中断することができる。このとき、過去の注視画像が保存される。したがって、ユーザは、次の進捗段階から作業を再開することができる。
（３）ユーザは、注視画像を見本画像と比較する際の類似度の閾値を緩くすることができる。したがって、撮像条件が完全に良好でなくても作業を続行できる。
(Effect of this embodiment)
The effects of the work support apparatus of this embodiment are as follows.
(1) The work support device identifies the augmented reality image by comparing the gaze image with the sample image. When the camera is not used or when imaging conditions are poor, the sample image is regarded as a gaze image. Therefore, the user can surely view the augmented reality image even when the camera is not used or the imaging condition is poor. For this purpose, the user does not have to change the existing algorithm greatly.
(2) The user can suspend work at an arbitrary progress stage. At this time, past gaze images are stored. Therefore, the user can resume work from the next progress stage.
(3) The user can loosen the similarity threshold when comparing the gaze image with the sample image. Therefore, the operation can be continued even if the imaging conditions are not completely good.
（４）ユーザは、作業の途中で撮像条件が不良となった場合でも、カメラを使用せずに作業を続行できる。
（５）ユーザは、撮像条件が不良となった場合でも、切りのよい進捗段階まで作業を行ったうえで、作業を一時中断することができる。
（６）ユーザは、所定の作業場所で作業を行っていた証拠を残すことができる。
（７）ユーザは、取得しやすい情報（位置情報、時刻情報又は写りの悪い注視画像）を証拠とすることができる。
（８）ユーザは、作業場所を移動する際、案内情報を見ることができる。
（９）ユーザは、撮像条件に応じて、カメラを使用するか否かを自由に選択できる。
(4) The user can continue the work without using the camera even when the imaging condition becomes poor during the work.
(5) Even when the imaging condition becomes poor, the user can temporarily suspend the work after performing the work up to a good progress stage.
(6) The user can leave evidence that he / she was working at a predetermined work place.
(7) The user can use information that can be easily acquired (position information, time information, or a gaze image with poor reflection) as evidence.
(8) The user can view the guidance information when moving the work place.
(9) The user can freely select whether to use the camera according to the imaging conditions.
なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 In addition, this invention is not limited to an above-described Example, Various modifications are included. For example, the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described. Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. Further, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
また、前記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウエアで実現してもよい。また、前記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。
Each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit. Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor. Information such as programs, tables, and files that realize each function can be stored in a recording device such as a memory, a hard disk, or an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
In addition, the control lines and information lines are those that are considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. In practice, it may be considered that almost all the components are connected to each other.
１、１ｂ 作業支援装置
２ 設備
３ 作業員
４ サーバ（外部記憶装置）
５ ネットワーク
６ ＡＲマーカ
１１ 中央制御装置
１２ 入力装置
１３ 出力装置
１４ 主記憶装置（記憶部）
１５ 補助記憶装置（記憶部）
１６ 通信装置
１７ カメラ
２１ 画像入力処理部
２２ 画像出力処理部
２３ 注視画像代替部
３１ 作業手順書
３２ 見本画像
３３ 拡張現実画像
３４ 注視画像
1, 1b
5
15 Auxiliary storage device (storage unit)
DESCRIPTION OF
Claims (11)
作業員が注視している対象物をカメラが撮像した注視画像を取得する画像入力処理部と、
前記注視画像と、前記見本画像に対応する前記拡張現実画像とを重ねて表示する画像出力処理部と、
ある進捗段階において、前記カメラが使用されない場合、又は、前記注視画像が前記見本画像に類似しない場合、当該進捗段階の前記見本画像自身を、前記見本画像と重ねて表示されるべき前記注視画像と看做す注視画像代替部と、
を備えることを特徴とする作業支援装置。 A storage unit in which a sample image obtained by previously capturing an object to be a work target and an augmented reality image indicating the content of the work by an augmented reality technique are stored in association with the progress stage of the work;
An image input processing unit that acquires a gaze image obtained by the camera capturing an object that the worker is gazing at;
An image output processing unit that superimposes and displays the gaze image and the augmented reality image corresponding to the sample image;
When the camera is not used in a certain progress stage, or when the gaze image is not similar to the sample image, the gaze image to be displayed on the sample image is superimposed on the sample image itself in the progress stage. The gaze image replacement part
A work support apparatus comprising:
前記作業員が前記作業を一時中断する場合、前記撮像された注視画像又は前記看做された注視画像を時系列で記憶すること、
を特徴とする請求項１に記載の作業支援装置。 The image output processing unit
When the worker temporarily suspends the work, storing the captured gaze image or the watched gaze image in time series,
The work support apparatus according to claim 1.
前記画像出力処理部は、
前記注視画像が前記見本画像に類似していない場合が所定の回数以上繰り返され、かつ、前記作業員が前記作業を続行する場合、前記所定の基準をより緩いものに更新すること、
を特徴とする請求項２に記載の作業支援装置。 In the case where the gaze image is compared with the sample image and the gaze image and the augmented reality image are displayed in an overlapping manner if both are similar to the extent that a predetermined criterion is satisfied,
The image output processing unit
The case where the gaze image is not similar to the sample image is repeated a predetermined number of times, and when the worker continues the work, the predetermined reference is updated to a looser one,
The work support apparatus according to claim 2.
ある進捗段階において前記所定の基準が下限に達し、かつ、前記カメラの使用が停止される場合、当該進捗段階の前記見本画像自身を、前記見本画像と比較されるべき前記注視画像と看做すこと、
を特徴とする請求項３に記載の作業支援装置。 The gaze image alternative unit is
When the predetermined criterion reaches a lower limit in a certain progress stage and the use of the camera is stopped, the sample image itself in the progress stage is regarded as the gaze image to be compared with the sample image. about,
The work support apparatus according to claim 3.
前記注視画像が前記見本画像に類似していない場合が所定の回数以上繰り返され、かつ、ある進捗段階において前記作業員が前記作業を一時中断する場合、当該進捗段階の前記見本画像自身を、前記見本画像と比較されるべき前記注視画像と看做すこと、
を特徴とする請求項４に記載の作業支援装置。 The gaze image alternative unit is
When the gaze image is not similar to the sample image is repeated a predetermined number of times, and when the worker temporarily stops the work in a certain progress stage, the sample image itself in the progress stage is Considering the gaze image to be compared with the sample image;
The work support apparatus according to claim 4.
前記見本画像自身を、前記見本画像と比較されるべき前記注視画像と看做す場合、前記作業員が所定の作業場所で作業を行っていたことを示す証拠を取得すること、
を特徴とする請求項５に記載の作業支援装置。 The gaze image alternative unit is
If the sample image itself is regarded as the gaze image to be compared with the sample image, obtaining evidence indicating that the worker was working at a predetermined work place;
The work support apparatus according to claim 5.
前記作業が行われた作業場所の位置情報、作業が行われた時点の時刻情報、及び、前記注視画像のうちの少なくともいずれか１つを含むこと、
を特徴とする請求項６に記載の作業支援装置。 The evidence is
Including at least one of position information of a work place where the work is performed, time information when the work is performed, and the gaze image;
The work support apparatus according to claim 6.
前記作業員がある作業場所から他の作業場所に移動して作業を行う場合、前記ある作業場所から前記他の作業場所への案内情報を表示すること、
を特徴とする請求項７に記載の作業支援装置。 The image output processing unit
When the worker moves from one work place to another work place and performs work, displaying guidance information from the one work place to the other work place,
The work support apparatus according to claim 7.
前記作業員が、前記カメラを使用するか否かを入力するのを受け付けること、
を特徴とする請求項８に記載の作業支援装置。 The image input processing unit
Receiving the operator to input whether or not to use the camera;
The work support apparatus according to claim 8.
作業員が注視している対象物をカメラが撮像した注視画像を取得する画像入力処理部と、
前記注視画像と、前記見本画像に対応する前記拡張現実画像とを重ねて表示する画像出力処理部と、
ある進捗段階において、前記カメラが使用されない場合、又は、前記注視画像が前記見本画像に類似しない場合、当該進捗段階の前記見本画像自身を、前記見本画像と重ねて表示されるべき前記注視画像と看做す注視画像代替部と、
を備えることを特徴とする作業支援装置。 Communicate with an external storage device that stores a sample image of the object to be worked in advance and an augmented reality image that shows the content of the work using augmented reality techniques in association with the progress stage of the work Work support device,
An image input processing unit that acquires a gaze image obtained by the camera capturing an object that the worker is gazing at;
An image output processing unit that superimposes and displays the gaze image and the augmented reality image corresponding to the sample image;
When the camera is not used in a certain progress stage, or when the gaze image is not similar to the sample image, the gaze image to be displayed on the sample image is superimposed on the sample image itself in the progress stage. The gaze image replacement part
A work support apparatus comprising:
作業の対象とするべき対象物を予め撮像した見本画像と、前記作業の内容を拡張現実の手法で示す拡張現実画像と、を作業の進捗段階に対応付けて格納しており、
前記作業支援装置の画像入力処理部は、
作業員が注視している対象物をカメラが撮像した注視画像を取得し、
前記作業支援装置の画像出力処理部は、
前記注視画像と、前記見本画像に対応する前記拡張現実画像とを重ねて表示し、
前記作業支援装置の注視画像代替部は、
ある進捗段階において、前記カメラが使用されない場合、又は、前記注視画像が前記見本画像に類似しない場合、当該進捗段階の前記見本画像自身を、前記見本画像と重ねて表示されるべき前記注視画像と看做すこと、
を特徴とする作業支援装置の作業支援方法。 The storage unit of the work support device
A sample image obtained by previously capturing an object to be a work target and an augmented reality image showing the content of the work by an augmented reality technique are stored in association with the progress stage of the work,
The image input processing unit of the work support device includes:
Acquire a gaze image of the object that the worker is gazing at with the camera,
The image output processing unit of the work support device includes:
Displaying the gaze image and the augmented reality image corresponding to the sample image,
The gaze image replacement unit of the work support device is:
When the camera is not used in a certain progress stage, or when the gaze image is not similar to the sample image, the gaze image to be displayed on the sample image is superimposed on the sample image itself in the progress stage. Watching,
A work support method for a work support device characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016183892A JP6521923B2 (en) | 2016-09-21 | 2016-09-21 | Work support apparatus and work support method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016183892A JP6521923B2 (en) | 2016-09-21 | 2016-09-21 | Work support apparatus and work support method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018049421A true JP2018049421A (en) | 2018-03-29 |
| JP6521923B2 JP6521923B2 (en) | 2019-05-29 |
Family
ID=61766372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016183892A Active JP6521923B2 (en) | 2016-09-21 | 2016-09-21 | Work support apparatus and work support method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6521923B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020202825A1 (en) * | 2019-03-29 | 2020-10-08 | 株式会社 情報システムエンジニアリング | Information provision system, and information provision method |
| JP2020166782A (en) * | 2019-03-29 | 2020-10-08 | 株式会社 情報システムエンジニアリング | Information provision system and information provision method |
| JP2021051620A (en) * | 2019-09-26 | 2021-04-01 | 株式会社日立製作所 | Device, system, and method for supporting work |
| JP2021099603A (en) * | 2019-12-20 | 2021-07-01 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Information processing apparatus, information processing method, and program |
| US11341714B2 (en) | 2018-07-31 | 2022-05-24 | Information System Engineering Inc. | Information service system and information service method |
| JP2022104410A (en) * | 2020-12-28 | 2022-07-08 | 横河電機株式会社 | Apparatus, method and program |
| US11651023B2 (en) | 2019-03-29 | 2023-05-16 | Information System Engineering Inc. | Information providing system |
| JP7470017B2 (en) | 2020-11-13 | 2024-04-17 | シャープ株式会社 | DISPLAY CONTROL SYSTEM, DISPLAY CONTROL METHOD, AND DISPLAY CONTROL PROGRAM |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003281297A (en) * | 2002-03-22 | 2003-10-03 | National Institute Of Advanced Industrial & Technology | Information presenting device and information presenting method |
| JP2005216137A (en) * | 2004-01-30 | 2005-08-11 | Chugoku Electric Power Co Inc:The | Maintenance support system and method |
| JP2006048468A (en) * | 2004-08-06 | 2006-02-16 | Nomura Research Institute Ltd | Image processing system, image processing program, and image processing method |
| JP2011248860A (en) * | 2010-04-28 | 2011-12-08 | Ns Solutions Corp | Information processing system, and information processing method and program |
| JP2013097466A (en) * | 2011-10-28 | 2013-05-20 | Hitachi Ltd | Work support system, work support method, and terminal for work |
-
2016
- 2016-09-21 JP JP2016183892A patent/JP6521923B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003281297A (en) * | 2002-03-22 | 2003-10-03 | National Institute Of Advanced Industrial & Technology | Information presenting device and information presenting method |
| JP2005216137A (en) * | 2004-01-30 | 2005-08-11 | Chugoku Electric Power Co Inc:The | Maintenance support system and method |
| JP2006048468A (en) * | 2004-08-06 | 2006-02-16 | Nomura Research Institute Ltd | Image processing system, image processing program, and image processing method |
| JP2011248860A (en) * | 2010-04-28 | 2011-12-08 | Ns Solutions Corp | Information processing system, and information processing method and program |
| US20130120449A1 (en) * | 2010-04-28 | 2013-05-16 | Noboru IHARA | Information processing system, information processing method and program |
| JP2013097466A (en) * | 2011-10-28 | 2013-05-20 | Hitachi Ltd | Work support system, work support method, and terminal for work |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11341714B2 (en) | 2018-07-31 | 2022-05-24 | Information System Engineering Inc. | Information service system and information service method |
| US11651023B2 (en) | 2019-03-29 | 2023-05-16 | Information System Engineering Inc. | Information providing system |
| JP2020166783A (en) * | 2019-03-29 | 2020-10-08 | 株式会社 情報システムエンジニアリング | Information provision system and information provision method |
| WO2020202824A1 (en) * | 2019-03-29 | 2020-10-08 | 株式会社 情報システムエンジニアリング | Information provision system, and information provision method |
| CN112020710A (en) * | 2019-03-29 | 2020-12-01 | 艾思益信息应用技术股份公司 | Information providing system and information providing method |
| US11520823B2 (en) | 2019-03-29 | 2022-12-06 | Information System Engineering Inc. | Information providing system and information providing method |
| US11934446B2 (en) | 2019-03-29 | 2024-03-19 | Information System Engineering Inc. | Information providing system |
| JP2020166782A (en) * | 2019-03-29 | 2020-10-08 | 株式会社 情報システムエンジニアリング | Information provision system and information provision method |
| WO2020202825A1 (en) * | 2019-03-29 | 2020-10-08 | 株式会社 情報システムエンジニアリング | Information provision system, and information provision method |
| US11520822B2 (en) | 2019-03-29 | 2022-12-06 | Information System Engineering Inc. | Information providing system and information providing method |
| JP2021051620A (en) * | 2019-09-26 | 2021-04-01 | 株式会社日立製作所 | Device, system, and method for supporting work |
| JP7245139B2 (en) | 2019-09-26 | 2023-03-23 | 株式会社日立製作所 | WORK SUPPORT DEVICE, WORK SUPPORT SYSTEM AND WORK SUPPORT METHOD |
| JP7383470B2 (en) | 2019-12-20 | 2023-11-20 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Information processing device, information processing method and program |
| JP2021099603A (en) * | 2019-12-20 | 2021-07-01 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Information processing apparatus, information processing method, and program |
| JP7470017B2 (en) | 2020-11-13 | 2024-04-17 | シャープ株式会社 | DISPLAY CONTROL SYSTEM, DISPLAY CONTROL METHOD, AND DISPLAY CONTROL PROGRAM |
| JP2022104410A (en) * | 2020-12-28 | 2022-07-08 | 横河電機株式会社 | Apparatus, method and program |
| JP7347409B2 (en) | 2020-12-28 | 2023-09-20 | 横河電機株式会社 | Apparatus, method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6521923B2 (en) | 2019-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6521923B2 (en) | Work support apparatus and work support method | |
| US9355316B2 (en) | Identifying an obstacle in a route | |
| JP7017689B2 (en) | Information processing equipment, information processing system and information processing method | |
| US9361716B1 (en) | System and method for increasing the system awareness of IT operations personnel with augmented reality | |
| EP2458336A1 (en) | Method and system for reporting errors in a geographic database | |
| KR20180005168A (en) | Privacy-sensitive query on the localization zone description file | |
| JP2014153813A5 (en) | Image processing apparatus, image processing method, and program | |
| JP2013054661A (en) | Information display system, information display method and program for information display | |
| US9009613B2 (en) | System to overlay application help on a mobile device | |
| US10249058B2 (en) | Three-dimensional information restoration device, three-dimensional information restoration system, and three-dimensional information restoration method | |
| JP5478242B2 (en) | Map display device, map display method, and program | |
| JP2017162103A (en) | Inspection work support system, inspection work support method, and inspection work support program | |
| Xie et al. | Iterative Design and Prototyping of Computer Vision Mediated Remote Sighted Assistance | |
| WO2022237048A1 (en) | Pose acquisition method and apparatus, and electronic device, storage medium and program | |
| US9082317B2 (en) | Method and apparatus for displaying digital map in client | |
| JP2015194809A (en) | Information processing apparatus, method, and program | |
| JP7109395B2 (en) | WORK SUPPORT SYSTEM, WORK SUPPORT DEVICE, AND WORK SUPPORT METHOD | |
| JP2017158169A (en) | Image display system, display device, and program | |
| JP7318303B2 (en) | Cleaning management program, cleaning management method and cleaning management device | |
| JP6956376B2 (en) | Display control system, display system, display control method, program, and mobile | |
| CN112809669B (en) | Robot control method and device, robot and storage medium | |
| JP2017016553A (en) | Photograph management apparatus, photograph management system, and photograph management method | |
| JP4478047B2 (en) | Information presentation apparatus, information presentation method, and program thereof | |
| JP2015069445A (en) | Video output device, video output method, and program | |
| JP6957679B1 (en) | Information processing equipment and computer programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180706 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190423 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6521923 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |