JP2012007985A - Confirmation work support system, server device, head-mounted display device, wearable terminal, confirmation work support method, and program - Google Patents
Confirmation work support system, server device, head-mounted display device, wearable terminal, confirmation work support method, and program Download PDFInfo
- Publication number
- JP2012007985A JP2012007985A JP2010143642A JP2010143642A JP2012007985A JP 2012007985 A JP2012007985 A JP 2012007985A JP 2010143642 A JP2010143642 A JP 2010143642A JP 2010143642 A JP2010143642 A JP 2010143642A JP 2012007985 A JP2012007985 A JP 2012007985A
- Authority
- JP
- Japan
- Prior art keywords
- confirmation
- inspection
- image
- predetermined
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、確認業務を支援する確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法および確認業務支援プログラムに関する。 The present invention relates to a confirmation work support system, a server device, a head-mounted display device, a wearable terminal, a confirmation work support method, and a confirmation work support program that support a confirmation work.
製造ラインで行われる検査作業や保守業務における点検作業等の各種確認作業を支援するために、さまざまな技術が用いられている。例えば、特許文献１には、ヘッドマウントディスプレイ装置を活用して、半導体ウェハの基板等の被検体の外観を検査者の目視によって検査する外観検査装置が記載されている。
Various technologies are used to support various confirmation operations such as inspection operations performed on the production line and inspection operations in maintenance operations. For example,
また、特許文献２には、半導体プロセスにおいて、色の違いによって検査対象物を判別する検査方法や検査装置が記載されている。
一般的に工場での目視検査は、検査員が自分の目で製品の品質を確認することによって行われている。しかし、人間が目視検査を行っているため、精度に課題があった。 Generally, visual inspection at a factory is performed by an inspector confirming the quality of a product with his / her own eyes. However, since humans conduct visual inspection, there is a problem in accuracy.
また、特許文献１に記載された装置では、外観検査時の欠陥画像の共有化を図るにすぎず、個々の検査員の検査業務や保守作業員の点検業務における確認作業の精度を高めること等はできない。
In addition, the apparatus described in
また、特許文献２に記載された方法は、半導体向けであるため、検査員が目視で行うような検査や保守作業員の点検業務における確認作業を支援する用途には適用することはできない。
Moreover, since the method described in
そこで、本発明は、各種確認作業の精度を高めることができる確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法および確認業務支援プログラムを提供することを目的とする。 Accordingly, an object of the present invention is to provide a confirmation work support system, a server device, a head-mounted display device, a wearable terminal, a confirmation work support method, and a confirmation work support program that can improve the accuracy of various confirmation tasks.
本発明による確認業務支援システムは、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置と、ヘッドマウントディスプレイ装置に設けられた撮影手段と、撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段とを備えたことを特徴とする。 The confirmation work support system according to the present invention includes a head-mounted display device capable of displaying confirmation information including at least a confirmation range image that can identify a confirmation range, a photographing unit provided in the head-mounted display device, and a photographing unit. The image processing apparatus includes an abnormality determination unit that performs image processing using an image and determines an abnormal portion in the confirmation range.
本発明によるサーバ装置は、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段を備えたことを特徴とする。 The server device according to the present invention performs image processing using an image photographed by a photographing unit provided in a head-mounted display device capable of displaying confirmation information including at least a confirmation range image in which a confirmation range can be specified, thereby confirming the confirmation range. An abnormality determining means for determining an abnormal portion inside is provided.
本発明によるヘッドマウントディスプレイ装置は、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能な表示制御手段と、撮影手段と、撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段とを備えたことを特徴とする。 A head-mounted display device according to the present invention performs display processing that can display confirmation information including a confirmation range image that can specify at least a confirmation range, an imaging unit, and image processing using an image captured by the imaging unit. And an abnormality determining means for determining an abnormal part in the confirmation range.
本発明によるウェアラブル端末は、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段を備えたことを特徴とする。 The wearable terminal according to the present invention performs image processing using an image taken by a photographing unit provided in a head-mounted display device capable of displaying confirmation information including at least a confirmation range image capable of specifying a confirmation range, and performs a confirmation range. An abnormality determining means for determining an abnormal portion inside is provided.
本発明による確認業務支援方法は、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報をヘッドマウントディスプレイ装置に表示し、ヘッドマウントディスプレイ装置に設けられた撮影手段が画像を撮影し、撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定することを特徴とする。 The confirmation work support method according to the present invention displays at least confirmation information including a confirmation range image capable of specifying a confirmation range on a head mounted display device, and photographing means provided in the head mounted display device photographs an image, and photographing means An image processing using an image taken by is performed to determine an abnormal portion in the confirmation range.
本発明による確認業務支援プログラムは、コンピュータに、少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定処理を実行させるためのものである。 The confirmation work support program according to the present invention performs image processing using an image photographed by photographing means provided in a head mounted display device capable of displaying confirmation information including at least a confirmation range image capable of specifying a confirmation range on a computer. This is to execute an abnormality determination process for determining an abnormal part in the confirmation range.
本発明によれば、各種確認作業の精度を高めることができる。 According to the present invention, the accuracy of various confirmation operations can be increased.
以下、本発明の実施形態について図面を参照して説明する。図１は、本発明による確認業務支援システムの機能構成例を示す機能ブロック図である。図１に示すように、確認業務支援システムは、ヘッドマウントディスプレイ装置１０と、ウェアラブル端末２０と、サーバ装置３０とを含む。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a functional block diagram showing an example of a functional configuration of a confirmation work support system according to the present invention. As shown in FIG. 1, the confirmation work support system includes a head mounted
なお、本実施形態では、確認業務支援システムが工場等の製造ラインにおける検査業務を支援する場合を示しているが、本実施形態で示したものに限られない。例えば、保守業務における点検作業を支援する用途に適用してもよい。すなわち、確認業務支援システムによって支援可能な確認作業には、製造ラインにおける検査作業に加えて、保守業務における点検作業等、様々な作業が含まれる。 In the present embodiment, a case is shown in which the confirmation work support system supports an inspection work in a production line such as a factory, but is not limited to that shown in the present embodiment. For example, you may apply to the use which assists the check work in a maintenance work. That is, the confirmation work that can be supported by the confirmation work support system includes various work such as an inspection work in a maintenance work in addition to an inspection work in a production line.
ヘッドマウントディスプレイ装置１０とウェアラブル端末とは、有線または無線で相互に接続されている。また、ウェアラブル端末２０とサーバ装置３０とは、無線ＬＡＮ（８０２.１１ａ／ｂ／ｇ／ｎ）や３Ｇ、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等のネットワーク１００（図示せず）を介して相互に接続されている。
The head mounted
ヘッドマウントディスプレイ装置１０は、具体的には、メガネ型網膜走査ディスプレイ装置によって実現される。図１に示すように、ヘッドマウントディスプレイ装置１０は、映像表示手段１１、映像入力手段１２および音声入出力手段１３を含む。
Specifically, the head mounted
なお、本実施形態では、メガネ型のヘッドマウントディスプレイ装置１０を用いるが、これに限らず、頭部に装着可能であれば、例えばヘルメット型であってもよい。また、本実施形態では、網膜上に映像を投影する方式のヘッドマウントディスプレイ装置１０を用いるが、これに限らず、例えば、ハーフミラーを用いた光学方式のものであってもよい。また、例えば、液晶ディスプレイ型等の網膜照射型以外のディスプレイを用いたものであってもよい。また、例えば、外部を直接見るのではなく、カメラで撮影した外部画像を投影するタイプのものでもよい。本実施形態では、一般的な表現に従い、メガネ型やヘルメット型、網膜照射型や光学方式型等を全て包括してヘッドマウントディスプレイ装置という。
In the present embodiment, the glasses-type head-mounted
映像表示手段１１は、安全な明るさの光を網膜に当て、高速で動かし、その残像効果を利用して直接網膜上に映像を投影する機能を備えている。映像表示手段１１が網膜上に映像を投影することによって、ユーザは、通常肉眼で認識する作業視界とともに、投影された検査データを認識可能となる。
The image display means 11 has a function of projecting an image directly on the retina by using a light of safe brightness on the retina, moving at high speed, and using the afterimage effect. The
映像入力手段１２は、作業現場の映像を撮影し、撮影データをウェアラブル端末２０に出力する機能を備えている。映像入力手段１２は、具体的には、ヘッドマウントディスプレイ装置１０が搭載するカメラによって実現される。そして、このカメラは、撮影する映像とヘッドマウントディスプレイ装置１０を装着する検査員の視界とがほぼ一致するように配置されている。例えば、メガネのブリッジ部分に配置されている。そのため、映像入力手段１２は、検査員の視界に近い映像を撮影することができる。ただし、検査員の視界と実際の撮影画像とは多少の位置の差があるので、本実施形態では、後述するように、映像入力手段１２によって撮影した映像に画像補正手段３３を用いて補正処理を施している。
The video input means 12 has a function of shooting a video of the work site and outputting the shooting data to the
音声入出力手段１３は、具体的には、マイクロフォン等の音声入力装置と入出力部とによって実現される。音声入出力手段１３は、作業現場の音声を収集し、音声データをウェアラブル端末２０に出力する機能を備えている。また、音声入出力手段１３は、ウェアラブル端末２０が出力する音声データを再生する機能を備えている。なお、音声入出力手段１３は、ヘッドマウントディスプレイ装置１０ではなく、ウェアラブル端末２０に含まれていてもよい。
Specifically, the voice input /
ウェアラブル端末２０は、具体的には、検査員が体に身に付けられる小型の情報処理装置によって実現され、プログラムに従って動作する。ウェアラブル端末２０は、ＣＰＵ（Central Processing Unit ）やメモリ等の記憶装置を備え、データ送受信手段２１と、通信手段２２とを含む。
Specifically, the
データ送受信手段２１は、具体的には、プログラムに従って動作するＣＰＵによって実現される。データ送受信手段２１は、通信手段２２を用いて、サーバ装置３０との間で検査データや撮影データ等を送受信する機能を備えている。データ送受信手段２１は、通信手段２２を用いて、サーバ装置３０からネットワーク１００を介して受信した検査データをヘッドマウントディスプレイ装置１０に出力する機能を備えている。また、データ送受信手段２１は、通信手段２２を用いて、映像入力手段１２が出力した撮影データを、ネットワーク１００を介して、サーバ装置３０に送信する機能を備えている。
Specifically, the data transmission / reception means 21 is realized by a CPU that operates according to a program. The data transmitting / receiving
通信手段２２は、有線通信や無線通信（無線ＬＡＮ（８０２.１１ａ／ｂ／ｇ／ｎ）、３Ｇ、ＷｉＭＡＸ、ＬＴＥ等）に対応可能なモジュールによって実現され、ネットワーク１００を介してサーバ装置３０と通信を行う機能を備えている。
The
サーバ装置３０は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。サーバ装置３０は、検査員が行う検査業務を支援し、管理する機能を備えている。
Specifically, the
図１に示すように、サーバ装置３０は、検査データ記憶手段３１、データ送受信手段３２、画像補正手段３３、検査箇所判定手段３４、目視検査判定手段３５、ハンドジェスチャー判定手段３６、検査結果記憶手段３７および通信手段３８を含む。
As shown in FIG. 1, the
検査データ記憶手段３１は、具体的には、光ディスク装置や磁気ディスク装置等の記憶装置によって実現される。検査データ記憶手段３１は、検査を行う対象製品の画像データや、検査に必要なデータ（例えば、検査項目や検査箇所、検査範囲等）、検査マニュアルのデータ、判定処理に用いるパターンデータ等を記憶する。なお、これらデータは、例えば、予め検査業務の管理者によって検査データ記憶手段３１に登録される。以下、これらのデータを検査データともいう。
Specifically, the inspection data storage means 31 is realized by a storage device such as an optical disk device or a magnetic disk device. The inspection data storage means 31 stores image data of a target product to be inspected, data necessary for inspection (for example, inspection items, inspection locations, inspection ranges, etc.), inspection manual data, pattern data used for determination processing, and the like. To do. Note that these data are registered in the inspection
データ送受信手段３２は、具体的には、プログラムに従って動作するＣＰＵによって実現される。データ送受信手段３２は、通信手段３８を用いて、検査データ記憶手段３１が記憶する検査データを、ネットワーク１００を介してウェアラブル端末２０に送信する機能を備えている。また、データ送受信手段３２は、通信手段３８を用いて、ウェアラブル端末２０がネットワーク１００を介して送信する撮影データを受信する機能を備えている。
Specifically, the data transmission / reception means 32 is realized by a CPU that operates according to a program. The data transmission /
画像補正手段３３は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。画像補正手段３３は、カメラで撮影した映像を検査員の視界により近づけるために、ウェアラブル端末２０から受信した撮影データを補正する機能を備えている。例えば、予めヘッドマウントディスプレイ装置１０に配置されたカメラの位置と、ヘッドマウントディスプレイ装置１０装着時の検査員の目の位置との誤差を補正するためのオフセット値を登録しておく。そして、画像補正手段３３は、撮影データにオフセット値を演算することにより、検査員の視界に近くなるように画像を補正する。以下、画像補正手段３３が補正した画像を視界画像データともいう。
Specifically, the
検査箇所判定手段３４は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。検査箇所判定手段３４は、画像補正手段３３が補正した視界画像データと、パターンデータとに基づいて、検査員の作業視界と検査範囲とが一致しているか否かを判定する機能を備えている。すなわち、検査員が、対象製品のうちの検査対象の範囲を見ている状態となっているか否かを判断する。検査範囲とは、対象製品のうちの検査箇所を全て含む範囲（全ての検査箇所を一望する範囲）である。
Specifically, the inspection location determination means 34 is realized by a CPU of an information processing apparatus that operates according to a program. The inspection
例えば、検査箇所判定手段３４は、視界画像データと検査範囲判定用のパターンデータ（例えば、検査範囲の画像データ）とをマッチングし、類似度を算出する。そして、検査箇所判定手段３４は、算出した類似度が予め定められた検査範囲判定用の閾値以上である場合に、検査員の作業視界と検査範囲とが一致していると判定する。
For example, the inspection
また、検査箇所判定手段３４は、視界画像データと、検査項目判定用のパターンデータとに基づいて、検査箇所に問題（例えば、部品の有無や取り付け場所の間違い等）があるか否かを判定する機能を備えている。 Further, the inspection location determination means 34 determines whether or not there is a problem in the inspection location (for example, the presence or absence of parts or an attachment location error) based on the view image data and the pattern data for determining the inspection item. It has a function to do.
例えば、検査箇所判定手段３４は、視界画像データから検査箇所付近の部分画像データを抽出する。そして、検査箇所判定手段３４は、抽出した部分画像データと検査項目判定用のパターンデータ（例えば、検査箇所に正しくビスが取り付けられている状態やシールが貼ってある状態を示す画像データ）とをマッチングし、類似度を算出する。そして、検査箇所判定手段３４は、算出した類似度が予め定められた検査項目判定用の閾値以上である場合に、検査箇所に問題がないと判定する。また、検査箇所判定手段３４は、算出した類似度が閾値未満である場合に、検査箇所に問題があると判定する。
For example, the inspection
また、逆に、例えば、検査箇所判定手段３４は、部分画像データと、問題がある状態を示す異常検査項目判定用のパターンデータ（例えば、検査箇所のビスが外れている状態やシールが貼っていない状態を示す画像データ）との類似度を算出するようにしてもよい。この場合、検査箇所判定手段３４は、算出した類似度が予め定められた異常検査項目判定用の閾値未満である場合に、検査箇所に問題がないと判定する。また、検査箇所判定手段３４は、算出した類似度が予め定められた異常検査項目判定用の閾値以上である場合に、検査箇所に問題があると判定する。
On the other hand, for example, the inspection location determination means 34 is attached with partial image data and pattern data for determining abnormal inspection items indicating a problem state (for example, a state where a screw at the inspection location is removed or a sticker is attached. The degree of similarity with the image data indicating a non-existing state may be calculated. In this case, the inspection
例えば、検査箇所判定手段３４は、いずれか一方または両方のパターンデータとの比較によって検査箇所に問題がないと判定した場合に、それを最終的な判定結果とするようにしてもよい。また、例えば、上記の２つのパターンデータを組み合わせて用いてもよい。この場合、例えば、いずれか一方または両方のパターンデータとの比較によって検査箇所に問題があると判定した場合に、それを最終的な判定結果とするようにしてもよい。
For example, when the inspection
また、例えば、予め検査対象の製品等にバーコードを付しておくようにしてもよい。この場合、検査箇所判定手段３４は、視界画像データからバーコードを抽出し、抽出したバーコードと検査範囲判定用のバーコードとが一致するか否かを判断し、一致する場合に検査員の作業視界と検査範囲とが一致していると判定する。なお、予め検査対象の製品等に複数のバーコードを付しておき、検査箇所判定手段３４は、それぞれ検査範囲判定用のバーコードと一致するか否かを判断することで、検査員の作業視界と検査範囲とが一致しているか否かを判定してもよい。 Further, for example, a barcode may be attached to a product to be inspected in advance. In this case, the inspection location determination means 34 extracts a barcode from the field-of-view image data, determines whether or not the extracted barcode matches the barcode for inspection range determination, and if they match, It is determined that the work field of view matches the inspection range. A plurality of barcodes are attached to the product to be inspected in advance, and the inspection point determination means 34 determines whether or not it matches the barcode for determining the inspection range. It may be determined whether or not the field of view matches the inspection range.
また、例えば、予めビスやシール等にバーコードを付しておくようにしてもよい。この場合、検査箇所判定手段３４は、視界画像データからビスに付されたバーコードを抽出し、抽出したバーコードと、検査データ記憶手段３１が記憶する検査箇所に対応づけられたバーコードとが一致するか否かを判定する。そして、一致する場合には、検査箇所判定手段３４は、所定の検査箇所にビスが存在するため、検査箇所に問題がないと判定する。
Further, for example, a bar code may be attached to a screw or a seal in advance. In this case, the inspection
なお、検査箇所判定手段３４は、検査箇所付近の部分画像データを抽出することなく、視界画像データ全体と検査項目判定用のパターンデータとの類似度を算出し、類似度が閾値以上である場合に、検査箇所に問題がないと判定するようにしてもよい。この場合、検査対象製品の各検査箇所の異常の有無を個別に検出することはできないが、検査対象製品全体として何らかの異常があるか否かを大まかに検出することができる。 The inspection location determination means 34 calculates the similarity between the entire view image data and the pattern data for inspection item determination without extracting partial image data in the vicinity of the inspection location, and the similarity is greater than or equal to the threshold value. In addition, it may be determined that there is no problem in the inspection location. In this case, it is not possible to individually detect the presence / absence of abnormality in each inspection portion of the inspection target product, but it is possible to roughly detect whether there is any abnormality in the entire inspection target product.
また、検査箇所判定手段３４は、上記の判定結果をウェアラブル端末２０に送信する機能を備えている。また、検査箇所判定手段３４は、判定結果を検査結果記憶手段３７に記憶させる機能を備えている。
The inspection
目視検査判定手段３５は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。目視検査判定手段３５は、視界画像データと検査箇所ごとに用意されている目視検査判定用のパターンデータとに基づいて、目視検査が正しく行われたか否かを判定する機能を備えている。なお、目視検査とは、検査員が所定の検査箇所を目視して問題があるか否かを確認するものである。
Specifically, the visual
例えば、検査員が検査対象製品中の特定の検査箇所に視点を移すと、目視検査判定手段３５は、視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと、目視検査判定用のパターンデータ（検査箇所ごとの画像データ）との類似度を算出する。そして、算出した類似度が所定の閾値以上である場合に、目視検査判定手段３５は、検査員の視点と検査箇所とが一致していると判定する。
For example, when the inspector moves the viewpoint to a specific inspection location in the product to be inspected, the visual
次いで、目視検査判定手段３５は、検査員の視点と検査箇所とが一致していると判定した後に、一致した状態のまま所定期間（例えば、３秒間）経過した場合に、目視検査が正しく行われたと判定する。例えば、目視検査判定手段３５は、所定期間経過後に再度視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと検査箇所の画像データとの類似度が閾値以上である場合に、一致した状態のままであると判定する。なお、一致した状態の所定期間については、３秒間に限らず、それ以上でも以下でもよい。また、例えば、本実施形態では、所定時間（例えば、３秒間）の計測開始時と計測終了時とにパターンデータを用いたマッチング処理を行う場合を示しているが、このような方法にかぎらず、例えば、計測開始から計測終了までの間に複数回マッチング処理を行ってもよい。
Next, the visual
目視検査判定手段３５は、上記の処理を、検査員がきちんと製品の検査箇所を目視して確認しているかを判断し、記録するために行う。つまり、ヘッドマウントディスプレイ装置に搭載されたカメラが撮影した映像に検査データ記憶手段３１に登録されている検査箇所が数秒間映っているか否かを判断し、数秒間動かずに映っていれば、検査員が確実に目視検査を行っていると判断することができる。 The visual inspection determination means 35 performs the above-described processing to determine and record whether or not the inspector has visually confirmed the inspection portion of the product. That is, it is determined whether or not the inspection location registered in the inspection data storage means 31 is reflected for a few seconds in the video taken by the camera mounted on the head-mounted display device. It can be determined that the inspector is surely conducting visual inspection.
目視検査判定手段３５は、判定結果をウェアラブル端末２０に送信する機能を備えている。また、目視検査判定手段３５は、判定結果を検査結果記憶手段３７に記憶させる機能を備えている。
The visual
ハンドジェスチャー判定手段３６は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。ハンドジェスチャー判定手段３６は、撮影データとハンドジェスチャー用のパターンデータとに基づいて、所定のハンドジェスチャーが行われたか否かを判定する機能を備えている。なお、所定のハンドジェスチャーとは、具体的には、検査対象製品の検査箇所を実際に指などで触って確認する接触検査のことである。
Specifically, the hand
例えば、ハンドジェスチャー判定手段３６は、視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと、予め定められたハンドジェスチャー判定用のパターンデータ（検査箇所ごとの画像データ）との類似度を算出する。そして、算出した類似度が所定の閾値以上である場合に、ハンドジェスチャー判定手段３６は、検査員の視点と検査箇所とが一致していると判定する。
For example, the hand gesture determination means 36 extracts partial image data of a portion that becomes the inspector's viewpoint from the view image data, and extracts the extracted partial image data and predetermined hand gesture determination pattern data (for each inspection location). The degree of similarity with the image data) is calculated. When the calculated similarity is equal to or greater than a predetermined threshold value, the hand
次いで、ハンドジェスチャー判定手段３６は、検査員の視点と検査箇所とが一致していると判定した後に、視界画像データから検査箇所周辺の部分画像データ（例えば、検査箇所に指で接触を開始した画像）を抽出する。 Next, after determining that the inspector's viewpoint matches the inspection location, the hand gesture determination means 36 starts partial contact with the image around the inspection location from the view image data (for example, contact with the inspection location with a finger) Image).
次いで、ハンドジェスチャー判定手段３６は、抽出した部分画像データと、動作前のハンドジェスチャーのパターンデータ（例えば、後述する図１０に示す検査員の手が検査箇所付近に伸びている状態の画像データ）とが一致するか否かを判定する。例えば、ハンドジェスチャー判定手段３６は、類似度を算出し、算出した類似度が閾値以上である場合に、一致すると判定する。
Next, the hand gesture determination means 36 extracts the extracted partial image data and the pattern data of the hand gesture before the operation (for example, image data in a state where the hand of the inspector shown in FIG. Is matched. For example, the hand
次いで、一致すると判定すると、ハンドジェスチャー判定手段３６は、所定期間経過後の視界画像データから検査箇所周辺の部分画像データ（例えば、検査箇所に指で接触しながら所定の検査動作をし終えた画像）を抽出する。
Next, when it is determined that they coincide with each other, the hand
次いで、ハンドジェスチャー判定手段３６は、抽出した部分画像データと、動作後のハンドジェスチャーのパターンデータ（例えば、後述する図１１に示す検査員の指が検査箇所に触れている状態の画像データ）とが一致するか否かを判定する。例えば、ハンドジェスチャー判定手段３６は、類似度を算出し、算出した類似度が閾値以上である場合に、一致すると判定する。
Next, the hand gesture determination means 36 extracts the extracted partial image data, and the pattern data of the hand gesture after the operation (for example, image data in a state where the finger of the inspector shown in FIG. It is determined whether or not. For example, the hand
なお、例えば、目視検査判定手段３５による目視検査判定と同様に、ハンドジェスチャー判定手段３６は、検査箇所に触れている状態が所定時間継続しているか否かも判定するようにしてもよい。そして、検査箇所に触れている状態が所定時間継続している場合に、正しくハンドジェスチャーによる検査が行われたと判定するようにしてもよい。 For example, similarly to the visual inspection determination by the visual inspection determination means 35, the hand gesture determination means 36 may determine whether or not the state of touching the inspection location continues for a predetermined time. Then, when the state of touching the inspection location has continued for a predetermined time, it may be determined that the inspection by the hand gesture has been performed correctly.
以上の処理により、ある時点とそこから所定期間経過後の時点とで、特定した部分の画像データとパターンデータとが一致すると判定した場合に、ハンドジェスチャー判定手段３６は、所定のハンドジェスチャーが行われたと判定する。 By the above processing, when it is determined that the image data of the specified portion and the pattern data match at a certain time point and a time point after the lapse of a predetermined period, the hand gesture determination means 36 performs the predetermined hand gesture. Judge that it was broken.
なお、判定処理の精度を高めるために、例えば、ハンドジェスチャーの動作前後に限らず、上記の処理を複数回繰り返し、動作の途中の形状についても判定するようにしてもよい。また、指等を用いた接触検査を行う場合に限らず、例えば、指等が入らないようなスペースの検査を行う場合には、指し棒等の検査用の治具を用いて接触検査を行う場合の判定に適用してもよい。なお、この場合には、判定を容易にするために、予め定められた治具を用いるようにすることが好ましい。 In addition, in order to improve the accuracy of the determination process, for example, the above process may be repeated a plurality of times without being limited to before and after the hand gesture operation, and the shape during the operation may be determined. Moreover, not only when performing a contact inspection using a finger or the like, but when performing an inspection of a space where a finger or the like does not enter, for example, a contact inspection is performed using an inspection jig such as a pointer. You may apply to the determination of a case. In this case, it is preferable to use a predetermined jig for easy determination.
また、ハンドジェスチャー判定手段３６は、例えば、音声入出力手段１３が収集したジェスチャー時に検査員が発した声の音声データと、予め定められた音声データとに基づいて、所定のハンドジェスチャーが行われたか否かを判定するようにしてもよい。
In addition, the hand
ハンドジェスチャー判定手段３６は、判定結果をウェアラブル端末２０に送信する機能を備えている。また、ハンドジェスチャー判定手段３６は、判定結果を検査結果記憶手段３７に記憶させる機能を備えている。
The hand
検査結果記憶手段３７は、具体的には、光ディスク装置や磁気ディスク装置等の記憶装置によって実現される。検査結果記憶手段３７は、検査箇所判定手段３４、目視検査判定手段３５及びハンドジェスチャー判定手段３６の判定結果や、検査業務プロセスの履歴データを記憶する。検査結果記憶手段３７は、例えば、誰が、いつ、どこで、どの製品の検査をどれだけの時間をかけて、検査を行ったか否か等を示すデータや、画像データを記憶する。
Specifically, the inspection
通信手段３８は、有線通信や無線通信（無線ＬＡＮ（８０２.１１ａ／ｂ／ｇ／ｎ）、３Ｇ、ＷｉＭＡＸ、ＬＴＥ等）に対応可能なモジュールによって実現され、ネットワーク１００を介してウェアラブル端末２０と通信を行う機能を備えている。
The
検査結果管理手段３９は、具体的には、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。検査結果管理手段３９は、管理者の操作に従って、検査結果記憶手段３７から各種検査結果の情報を抽出し出力（例えば、ディスプレイ装置等の表示装置に表示）する機能を備える。例えば、検査結果管理手段３９は、検査結果記憶手段３７から、検査員が検査範囲全体を見ているときの画像データや、特定の検査箇所を目視検査しているときの画像データ、ハンドジェスチャーによる検査を行っているときの画像データを抽出し、表示装置に表示する。また、例えば、検査結果管理手段３９は、検査結果記憶手段３７から、検査箇所判定手段３４による判定結果（例えば、検査箇所毎の異常の有無の判定結果）や、目視検査判定手段３５による判定結果（例えば、検査員が検査箇所毎に正しく目視検査を行ったか否かの判定結果）、ハンドジェスチャー判定手段３７による判定結果（例えば、検査員が正しくハンドジェスチャーによる検査を行ったか否かの判定結果）を抽出し、表示装置に表示する。
Specifically, the inspection result management means 39 is realized by a CPU of an information processing apparatus that operates according to a program. The inspection
また、検査結果管理手段３９は、検査結果記憶手段３７が記憶する情報に基づいて統計処理を行い、検査作業における各種統計データを求める機能を備える。例えば、検査結果管理手段３９は、検査結果記憶手段３７が記憶する検査箇所判定手段３４による判定結果を統計し、検査対象製品中の検査箇所毎の異常の発生頻度の統計値を求める。また、例えば、検査結果管理手段３９は、検査結果記憶手段３７が記憶する目視検査判定手段３５による判定結果やハンドジェスチャー判定手段３７による判定結果を統計し、作業員毎の目視検査やハンドジェスチャーによる検査の作業漏れの頻度の統計値を求める。
The inspection result management means 39 has a function of performing statistical processing based on information stored in the inspection result storage means 37 and obtaining various statistical data in the inspection work. For example, the inspection
次に、確認業務支援システムの動作について説明する。図２は、確認業務支援システムが実行する処理例を示すシーケンス図である。なお、予め検査対象の製品情報をサーバ装置３０に登録しているものとする。
Next, the operation of the confirmation job support system will be described. FIG. 2 is a sequence diagram illustrating an example of processing executed by the confirmation job support system. It is assumed that product information to be inspected is registered in the
検査作業を開始するにあたって、検査員は、ヘッドマウントディスプレイ装置１０を装着し、ウェアラブル端末２０を用いて検査データを取得するための操作を行う。すると、ウェアラブル端末２０（データ送受信手段２１）は、検査員の操作に従って、ネットワーク１００を介してサーバ装置３０に検査用データの取得要求を送信する（ステップＳ１）。
In starting the inspection work, the inspector wears the head-mounted
次いで、サーバ装置３０（データ送受信手段３２）は、受信した取得要求に基づいて、検査データ記憶手段３１から検査データを抽出し、ネットワーク１００を介してウェアラブル端末２０に送信する（ステップＳ２）。本実施形態では、データ送受信手段３２が検査データ記憶手段３１から抽出する検査データには、図８に示すような検査対象の製品情報等を表示するための画像データが含まれているものとする。
Next, the server device 30 (data transmission / reception means 32) extracts the inspection data from the inspection data storage means 31 based on the received acquisition request, and transmits it to the
図８は、検査データの一例を示す説明図である。図８の左側の領域には、検査範囲のサンプル画像が表示され、右側には、作業手順等のマニュアルデータが表示される。検査作業中を通じて、検査員は、表示される作業手順に従って検査を行う。 FIG. 8 is an explanatory diagram showing an example of inspection data. In the left area of FIG. 8, the sample image of the inspection range is displayed, and on the right side, manual data such as work procedures are displayed. Throughout the inspection work, the inspector performs the inspection according to the displayed work procedure.
次いで、ウェアラブル端末２０（データ送受信手段２１）は、受信した検査データをヘッドマウントディスプレイ装置１０に出力する。すると、ヘッドマウントディスプレイ装置１０（映像表示手段１１）は、ウェアラブル端末２０が出力した検査データを検査員の網膜に照射して表示する（ステップＳ３）。
Next, the wearable terminal 20 (data transmission / reception means 21) outputs the received inspection data to the head mounted
図９は、映像表示手段１１が検査データを表示している状態での検査員の視界の一例を示す説明図である。図９に示すように、検査員が実際に見ている視界内に、検査データを重ね合わせて表示する。そのため、検査員は、視界の一部に図８の画像データを認識することができる。 FIG. 9 is an explanatory diagram showing an example of the field of view of the inspector in a state where the video display means 11 displays the inspection data. As shown in FIG. 9, the inspection data is superimposed and displayed in the field of view actually viewed by the inspector. Therefore, the inspector can recognize the image data of FIG. 8 in a part of the field of view.
なお、非透過型のヘッドマウントディスプレイ装置の場合、外部画像と検査データとを重畳表示してもよい。また、このとき、音声入出力手段１３は、検査データに含まれる検査内容を示す音声データを再生するようにしてもよい。 In the case of a non-transmissive head-mounted display device, an external image and inspection data may be displayed in a superimposed manner. At this time, the voice input / output means 13 may reproduce the voice data indicating the examination content included in the examination data.
次いで、検査員は、ヘッドマウントディスプレイ装置を用いて撮影開始の操作を行うとともに、表示された検査範囲に合うように、頭を動かして視野を調整する。すると、ヘッドマウントディスプレイ装置１０（映像入力手段１２）は、撮影を開始し、撮影データをウェアラブル端末２０に出力する（ステップＳ４）。そして、ウェアラブル端末２０（データ送受信手段２１）は、ネットワーク１００を介して、撮影データをサーバ装置３０に送信する。なお、これ以降、映像入力手段１２は、継続して撮影を行うものとする。また、ウェアラブル端末２０（データ送受信手段２１）は、継続して撮影データをサーバ装置３０に送信するものとする。
Next, the inspector performs an operation to start photographing using the head mounted display device, and adjusts the visual field by moving the head so as to fit the displayed examination range. Then, the head mounted display device 10 (video input means 12) starts photographing and outputs photographing data to the wearable terminal 20 (step S4). The wearable terminal 20 (data transmission / reception means 21) transmits the captured data to the
なお、ヘッドマウントディスプレイ装置は、検査データの表示を開始したことに基づいて、自動的に撮影を開始してもよいし、検査員が手動で操作することによって、任意のタイミングで撮影を開始するようにしてもよい。 Note that the head-mounted display device may automatically start imaging based on the start of display of inspection data, or start imaging at an arbitrary timing by manual operation by an inspector. You may do it.
次いで、画像補正手段３３は、受信した撮影データを補正する（ステップＳ５）。例えば、予めヘッドマウントディスプレイ装置１０に配置されたカメラの位置と、ヘッドマウントディスプレイ装置１０装着時の検査員の目の位置との誤差を補正するためのオフセット値を登録しておく。そして、画像補正手段３３は、撮影データにオフセット値を演算することにより、検査員の視界に近くなるように画像を補正する。
Next, the
なお、ステップＳ５の処理については、本システムにおいて必須の処理ではないが、補正処理を実行することによって検査員の視界と検査範囲とを一致させることができ、後述する各判定処理の精度を高めることができる。 In addition, although the process of step S5 is not an essential process in the present system, the field of view of the inspector and the inspection range can be matched by executing the correction process, and the accuracy of each determination process described later is increased. be able to.
次いで、検査箇所判定手段３４は、補正した撮影データと、検査データ記憶手段３１が記憶する各種パターンデータとに基づいて、検査箇所に問題があるか否かを判定し、判定結果をウェアラブル端末２０に送信する（ステップＳ６）。なお、検査箇所の判定処理の詳細については後述する。
Next, the inspection location determination means 34 determines whether or not there is a problem in the inspection location based on the corrected imaging data and the various pattern data stored in the inspection data storage means 31, and the determination result is the
次いで、ウェアラブル端末２０のデータ送受信手段２１は、受信した判定結果をヘッドマウントディスプレイ装置１０に出力する。すると、ヘッドマウントディスプレイ装置１０の映像表示手段１１は、判定結果を検査員の網膜に照射して表示する（ステップＳ７）。
Next, the data transmitting / receiving
このように、サーバ装置３０は、受信した撮影データの画像認識・判定を行い、予め登録された画像と異なる点（例えば、図８に示す危険防止シールが貼ってない、左のネジが無い）があれば、検査箇所に問題があると判定する。そして、サーバ装置３０は、ネットワーク１００を介して、ウェアラブル端末２０に判定結果を送信する。
In this way, the
その後、ヘッドマウントディスプレイ装置１０は、ウェアラブル端末２０が受信した判定結果を検査員の網膜に照射して表示する。ヘッドマウントディスプレイ装置１０は、検査箇所に問題ないという判定結果の場合には、例えば、検査箇所に問題ないことを示すメッセージを表示する。
Thereafter, the head mounted
また、例えば、問題があるという判定結果の場合には、ヘッドマウントディスプレイ装置１０は、検査箇所に問題があることを示すメッセージとともに、問題がある検査箇所を検査範囲のサンプル画像中において点滅表示等で強調して表示する。そのようにすることで、異常表示された箇所について、検査員の注目を向けさせることができ、異常個所の見落としを防止できる。
In addition, for example, in the case of a determination result that there is a problem, the head mounted
検査員は、検査箇所に問題がないことをメッセージで確認すると、映像表示手段１１が表示する検査データの指示に従って、目視検査を行う。例えば、検査員は、ヘッドマウントディスプレイ装置１０に表示されているマニュアルの指示に従って、顔の向きを変えることで検査範囲のうちの製品の検査箇所（例えば、図８のＣｈｅｃｋ１、Ｃｈｅｃｋ２、Ｃｈｅｃｋ３）に順番に視点を移し、それぞれ３秒ずつ目視する。
When the inspector confirms that there is no problem in the inspection location with a message, the inspector performs a visual inspection according to the instruction of the inspection data displayed by the video display means 11. For example, the inspector changes the face direction according to the instructions of the manual displayed on the head mounted
このとき、映像入力手段１２は、検査員の視界に近い映像を撮影し、撮影データをウェアラブル端末２０に出力している。また、ウェアラブル端末２０は、ネットワーク１００を介して、サーバ装置３０に撮影データを送信している。これらの処理は、ステップＳ４の時点から継続して行われているものである。
At this time, the
サーバ装置３０の目視検査判定手段３５は、画像補正手段３３が補正した視界画像データと、検査データ記憶手段３１が記憶する目視検査判定用のパターンデータとに基づいて、目視検査が正しく行われているか否かを判定する。そして、目視検査判定手段３５は、判定結果をウェアラブル端末２０に送信する（ステップＳ８）。なお、目視検査の判定処理の詳細については後述する。
The visual
次いで、ウェアラブル端末２０（データ送受信手段２１）は、受信した判定結果をヘッドマウントディスプレイ装置１０に出力する。すると、ヘッドマウントディスプレイ装置１０（映像表示手段１１）は、判定結果を検査員の網膜に照射して表示する（ステップＳ９）。このとき、例えば、目視が正しく行われなかった場合には、映像表示手段１１は、目視検査をやり直す旨の表示を行う。
Next, the wearable terminal 20 (data transmission / reception means 21) outputs the received determination result to the head mounted
最後に、検査員は、映像表示手段１１が表示する検査データの指示（例えば、ヘッドマウントディスプレイ装置１０に表示されているマニュアルの指示）に従って、ハンドジェスチャーにより、検査箇所（Ｃｈｅｃｋ１、Ｃｈｅｃｋ２、Ｃｈｅｃｋ３）を指で指す。上述のように、このとき、映像入力手段１２は、検査員の視界に近い映像を撮影し、撮影データをウェアラブル端末２０に出力している。また、ウェアラブル端末２０は、ネットワーク１００を介して、サーバ装置３０に撮影データを送信している。
Finally, the inspector performs inspection points (Check1, Check2, Check3) by hand gesture according to an instruction of inspection data displayed by the video display means 11 (for example, a manual instruction displayed on the head mounted display device 10). Point with your finger. As described above, at this time, the
サーバ装置３０のハンドジェスチャー判定手段３６は、画像補正手段３３が補正した視界画像データと、検査データ記憶手段３１が記憶するハンドジェスチャー判定用のパターンデータとに基づいて、所定のハンドジェスチャーが正しく行われているか否かを判定する。そして、ハンドジェスチャー判定手段３６は、判定結果をウェアラブル端末２０に送信する（ステップＳ８）。なお、ハンドジェスチャーの判定処理の詳細については後述する。
The hand
次いで、ウェアラブル端末２０（データ送受信手段２１）は、受信した判定結果をヘッドマウントディスプレイ装置１０に出力する。その後、ヘッドマウントディスプレイ装置１０（映像表示手段１１）は、判定結果を検査員の網膜に照射して表示する（ステップＳ１１）。このとき、例えば、ハンドジェスチャーが正しく行われなかった場合には、映像表示手段１１は、ハンドジェスチャーをやり直す旨の表示を行う。
Next, the wearable terminal 20 (data transmission / reception means 21) outputs the received determination result to the head mounted
検査作業が完了すると、サーバ装置３０は、検査作業の結果（誰が、いつ、どこで、どの製品の目視検査をどれだけの時間をかけて、検査を行ったか等の情報や、撮影データ等）を検査結果記憶手段３７に記憶させる（ステップＳ１２）。なお、例えば、記憶する容量が大きくなることを回避するために、撮影データの代わりに所定の代表的な画像データのみを記憶するようにしてもよい。
When the inspection work is completed, the
例えば、検査員が予めウェアラブル端末２０に自身の名前や検査場所等を示す情報を登録しておき、ウェアラブル端末２０は、検査作業完了時にこれらの情報をサーバ装置３０に送信するようにしてもよい。また、例えば、検査開始時にこれらの情報をサーバ装置３０に登録しておき、サーバ装置３０が、各判定処理が完了する度に、検査員の名前や検査場所、判定処理を行った時間を示す情報とともに、判定結果を検査結果記憶手段３７に記憶させるようにしてもよい。
For example, an inspector may register information indicating his / her name, inspection location, and the like in the
このように、検査作業の結果（誰が、いつ、どこで、どの製品の目視検査をどれだけの時間をかけて、検査を行ったか等の情報や、撮影データ等）を検査結果記憶手段３７に記憶させることで、検査結果を後で活用することができる。例えば、検査結果の統計データを用いて、見落としやすい検査箇所等を特定し、予め注意喚起することもできる。この場合、例えば、検査結果管理手段３９は、統計データとして、目視検査判定手段３５による判定結果やハンドジェスチャー判定手段３７による判定結果を統計して、検査員の検査の見落とし回数を求め、検査結果記憶手段３７に記憶させておく。そして、検査結果管理手段３９は、検査結果記憶手段３７が統計データとして記憶する見落とし回数が所定の閾値を超えたか否かを判定し、所定の閾値を超えた場合には、検査員が見落としやすい検査箇所であると判定する。そして、検査結果管理手段３９は、見落としやすい検査箇所である旨をヘッドマウントディスプレイ装置１０に映像表示させたり、音声出力させたりする制御を行うことによって、予め検査員に注意喚起させることもできる。
As described above, the result of the inspection work (who, when, where, and how much time the product was subjected to the visual inspection, information such as the inspection time, photographing data, etc.) is stored in the inspection result storage means 37. By doing so, the inspection result can be utilized later. For example, it is possible to identify an inspection location that is easily overlooked by using statistical data of the inspection result and call attention beforehand. In this case, for example, the inspection
次いで、検査箇所の判定処理（図２のステップＳ６）について図３を用いて説明する。図３は、検査箇所判定手段３４が実行する検査範囲判定処理の一例を示すフロー図である。
Next, the inspection location determination process (step S6 in FIG. 2) will be described with reference to FIG. FIG. 3 is a flowchart showing an example of the inspection range determination process executed by the inspection
図２のステップＳ５において画像補正手段３３が撮影データを補正すると、検査箇所判定手段３４は、画像補正手段３３が補正した視界画像データと、検査範囲判定用のパターンデータ（例えば、図８に示すような検査範囲の画像データ）とをマッチングし、類似度を算出する（図３のステップＳ１０１）。なお、検査範囲判定用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
When the
次いで、検査箇所判定手段３４は、算出した類似度が予め定められた検査範囲判定用の閾値以上であるか否かを判定する（図３のステップＳ１０２）。
Next, the inspection
ステップＳ１０２において、検査範囲判定用の閾値以上であると判定すると、検査箇所判定手段３４は、検査員の作業視界と検査範囲とが一致していると判定する（図３のステップＳ１０３）。 If it is determined in step S102 that the inspection range determination threshold value is exceeded, the inspection location determination means 34 determines that the work field of view of the inspector matches the inspection range (step S103 in FIG. 3).
一方、ステップＳ１０２において、検査範囲判定用の閾値未満であると判定すると、検査箇所判定手段３４は、検査員の作業視界と検査範囲とが一致していないと判定する（図３のステップＳ１０４）。そして、一致していなければ、検査箇所判定手段３４は、正確に検査範囲を見るように指示情報をウェアラブル端末２０に送信する。
On the other hand, if it is determined in step S102 that the inspection range is less than the threshold for determining the inspection range, the inspection location determination means 34 determines that the work field of view of the inspector does not match the inspection range (step S104 in FIG. 3). . If they do not match, the inspection point determination means 34 transmits the instruction information to the
次に、検査箇所に問題があるか否かを判定する処理について説明する。図４は、検査箇所判定手段３４が実行する検査箇所判定処理の一例を示すフロー図である。 Next, a process for determining whether or not there is a problem in the inspection location will be described. FIG. 4 is a flowchart showing an example of the inspection location determination process executed by the inspection location determination means 34.
検査箇所判定手段３４は、作業視界と検査範囲とが一致していると判定した後に、視界画像データから検査箇所付近の部分画像データを抽出する（図４のステップＳ１１１）。例えば、サーバ装置３０が検査範囲内における各検査箇所の位置を示す座標データを予め記憶しておき、検査箇所判定手段３４は、その座標データに従って、視界画像データから検査箇所付近の部分画像データを抽出する。
After determining that the work view matches the inspection range, the inspection
次いで、検査箇所判定手段３４は、抽出した部分画像データと、異常検査項目判定用のパターンデータ（例えば、検査箇所に正しく部品が取り付けられていない画像データ）とをマッチングし、類似度を算出する（図４のステップＳ１１２）。なお、異常検査項目判定用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
Next, the inspection location determination means 34 matches the extracted partial image data with pattern data for determining abnormal inspection items (for example, image data in which parts are not correctly attached to the inspection location), and calculates the similarity. (Step S112 in FIG. 4). Note that the pattern data for determining abnormal inspection items is registered in the inspection
次いで、検査箇所判定手段３４は、算出した類似度が予め定められた異常検査項目判定用の閾値以上であるか否かを判定する（図４のステップＳ１１３）。 Next, the inspection location determination means 34 determines whether or not the calculated similarity is equal to or greater than a predetermined abnormality inspection item determination threshold (step S113 in FIG. 4).
ステップＳ１１３において異常検査項目判定用の閾値未満であると判定した場合、検査箇所判定手段３４は、抽出した部分画像データと、検査項目判定用のパターンデータ（例えば、検査箇所に正しく部品が取り付けられている画像データ）とをマッチングし、類似度を算出する（図４のステップＳ１１４）。なお、検査項目判定用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
If it is determined in step S113 that it is less than the threshold value for abnormal inspection item determination, the inspection point determination means 34 and the extracted partial image data and pattern data for inspection item determination (for example, the part is correctly attached to the inspection point). And the similarity is calculated (step S114 in FIG. 4). It is assumed that the pattern data for inspection item determination is registered in the inspection
次いで、検査箇所判定手段３４は、算出した類似度が予め定められた検査項目判定用の閾値以上であるか否か（例えば、９０％以上であるか否か）を判定する（図４のステップＳ１１５）。 Next, the inspection location determination means 34 determines whether or not the calculated similarity is equal to or greater than a predetermined threshold for determining an inspection item (for example, whether or not it is 90% or more) (step in FIG. 4). S115).
ステップＳ１１５において検査項目判定用の閾値以上であると判定した場合、検査箇所判定手段３４は、検査箇所に問題がないと判定する（図４のステップＳ１１６）。 If it is determined in step S115 that the inspection item determination threshold value is exceeded, the inspection location determination means 34 determines that there is no problem in the inspection location (step S116 in FIG. 4).
一方、ステップＳ１１３において異常検査項目判定用の閾値以上であると判定した場合、またはステップＳ１１５において検査項目判定用の閾値未満であると判定した場合には、検査箇所判定手段３４は、検査箇所に問題があると判定する（図４のステップＳ１１７）。 On the other hand, if it is determined in step S113 that it is equal to or greater than the threshold for abnormal inspection item determination, or if it is determined in step S115 that it is less than the threshold for inspection item determination, the inspection location determination means 34 sets the inspection location. It is determined that there is a problem (step S117 in FIG. 4).
上記の処理によって、検査箇所判定手段３４は、検査箇所に問題があるか否かを判定することができる。なお、ステップＳ１１２およびＳ１１３と、ステップＳ１１４およびステップＳ１１５の処理の順序を逆にしてもよい。また、本実施形態では、ステップＳ１１２，Ｓ１１３の判定処理とステップＳ１１４，Ｓ１１５の判定処理との両方を行う場合を説明したが、いずれか一方のみの判定処理を行ってもよい。また、本実施形態では、検査箇所判定手段３４は、異常検査項目判定用の閾値以上である場合、又は検査項目判定用の閾値未満である場合のうちのいずれか一方の条件でも満たせば、検査箇所に問題があると判定する場合を示したが、本実施形態で示した判定方法にかぎられない。例えば、検査箇所判定手段３４は、異常検査項目判定用の閾値以上である場合、及び検査項目判定用の閾値未満である場合の両方の条件を満たしたときに、検査箇所に問題があると判定するようにしてもよい。
By the above processing, the inspection location determination means 34 can determine whether there is a problem in the inspection location. Note that the processing order of steps S112 and S113 and steps S114 and S115 may be reversed. Moreover, although this embodiment demonstrated the case where both the determination process of step S112, S113 and the determination process of step S114, S115 were performed, you may perform the determination process of any one. Moreover, in this embodiment, the inspection location determination means 34 is inspected if any one of the conditions for the abnormality inspection item determination threshold or more or the inspection item determination threshold is less than the inspection item determination threshold is satisfied. Although the case where it is determined that there is a problem in the location has been shown, the determination method shown in the present embodiment is not limited. For example, the inspection
また、例えば、検査員が検査範囲を見ているか否かや、各検査箇所の異常の有無をバーコードやＱＲ（Quick Response）コード等のコード情報を用いて判定できるように構成してもよい。以下、図５を用いて予め検査対象の製品等にバーコードやＱＲコードを付しておく場合の処理について説明する。なお、バーコードやＱＲコードは、対象製品に取り付けられるべきビスやシール等の部品（検査箇所に相当）に予め付されているものとする。ただし、検査員が検査範囲を見ているか否かを判定するためだけに用いるために、検査箇所以外の場所にバーコードやＱＲコードが付されていてもよい。なお、ＱＲコードは、株式会社デンソーの登録商標である。 Further, for example, it may be configured such that whether or not the inspector is looking at the inspection range and whether or not there is an abnormality in each inspection portion can be determined using code information such as a barcode or a QR (Quick Response) code. . Hereinafter, a process in the case where a bar code or a QR code is attached to a product to be inspected in advance will be described with reference to FIG. It is assumed that the bar code and the QR code are attached in advance to parts (corresponding to inspection points) such as screws and seals to be attached to the target product. However, since it is used only for determining whether or not the inspector is looking at the inspection range, a bar code or a QR code may be attached to a place other than the inspection portion. QR code is a registered trademark of Denso Corporation.
この場合、検査箇所判定手段３４は、画像補正手段３３が補正した視界画像データから検査箇所の部分画像データ（正しく部品等が装着されていれば、バーコードやＱＲコードが含まれる画像）を抽出する（図５のステップＳ１２１）。 In this case, the inspection location determination means 34 extracts partial image data of the inspection location (an image including a barcode or QR code if the parts are correctly mounted) from the view image data corrected by the image correction means 33. (Step S121 in FIG. 5).
次いで、検査箇所判定手段３４は、抽出した部分画像データと検査範囲判定用のバーコードやＱＲコードを含む画像データとを比較する（図５のステップＳ１２２）。なお、検査範囲判定用のバーコードやＱＲコードを含む画像データは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
Next, the inspection location determination means 34 compares the extracted partial image data with image data including an inspection range determination barcode or QR code (step S122 in FIG. 5). It is assumed that image data including an inspection range determination barcode and QR code is registered in the inspection
次いで、検査箇所判定手段３４は、抽出したバーコードやＱＲコードの数や種類が、検査範囲判定用のバーコードやＱＲコードと一致するか否かを判定する（図５のステップＳ１２３）。具体的には、検査箇所判定手段３４は、検査箇所毎に抽出した部分画像データと検査範囲判定用のバーコードやＱＲコードを含む画像データとの類似度を求め、類似度が所定の閾値以上であれば、その検査箇所に対応するバーコードやＱＲコードが検出されたと判定する。そして、検査箇所判定手段３４は、検査範囲に含まれる全ての検査箇所に対応するバーコードやＱＲコードを検出したか否かを判定する。
Next, the inspection location determination means 34 determines whether or not the number and type of the extracted barcodes and QR codes match the barcodes and QR codes for inspection range determination (step S123 in FIG. 5). Specifically, the inspection
ステップＳ１２３において一致すると判定した場合には、検査箇所判定手段３４は、検査員の作業視界と検査範囲とが一致していると判定する（図５のステップＳ１２４）。また、ステップＳ１２３において一致すると判定した場合には、例えば、検査箇所判定手段３４は、検出したバーコードやＱＲコードに対応するビスやシール等の検査箇所に異常がないと判定する。 If it is determined in step S123 that they match, the inspection location determination means 34 determines that the work field of view of the inspector matches the inspection range (step S124 in FIG. 5). If it is determined in step S123 that they match, for example, the inspection location determination means 34 determines that there is no abnormality in the inspection location such as a screw or seal corresponding to the detected barcode or QR code.
ステップＳ１２４において一致しないと判定した場合には、検査箇所判定手段３４は、検査員の作業視界と検査範囲とが一致していないと判定する（図５のステップＳ１２５）。また、ステップＳ１２４において一致しないと判定した場合には、例えば、検査箇所判定手段３４は、検出されなかったバーコードやＱＲコードに対応するビスやシール等の検査箇所に異常があると判定する。 If it is determined in step S124 that they do not match, the inspection location determination means 34 determines that the work field of view of the inspector does not match the inspection range (step S125 in FIG. 5). If it is determined in step S124 that they do not match, for example, the inspection location determination means 34 determines that there is an abnormality in the inspection location such as a screw or a seal corresponding to the barcode or QR code that has not been detected.
以上の処理によって、検査箇所判定手段３４は、検査員の作業視界と検査範囲とが一致しているか否かを判定し、さらに、検査箇所に問題があるか否かを判定することができる。 Through the above processing, the inspection location determination means 34 can determine whether the work field of view of the inspector matches the inspection range, and can further determine whether there is a problem in the inspection location.
次に、目視検査の判定処理（図２のステップＳ８）について図６を用いて説明する。図６は、目視検査判定手段３５が実行する処理例を示すフロー図である。
Next, the visual inspection determination process (step S8 in FIG. 2) will be described with reference to FIG. FIG. 6 is a flowchart showing an example of processing executed by the visual
目視検査判定手段３５は、検査員が特定の検査箇所に視点を移した後の視界画像データ（例えば、特定の検査箇所が画面のほぼ中心に位置している画像）と目視検査判定用のパターンデータとに基づいて、検査員の視点と検査箇所とが一致しているか否かを判定する（図６のステップＳ２０１）。目視検査判定用のパターンデータには、例えば、検査箇所ごとの画像データや、特定の検査箇所を中心とする画像データ等を用いることができる。なお、目視検査判定用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
The visual inspection determination means 35 is a visual inspection image data (for example, an image in which the specific inspection portion is located at the approximate center of the screen) after the inspector moves the viewpoint to the specific inspection portion, and a pattern for visual inspection determination. Based on the data, it is determined whether or not the inspector's viewpoint matches the inspection location (step S201 in FIG. 6). As pattern data for visual inspection determination, for example, image data for each inspection location, image data centered on a specific inspection location, or the like can be used. It is assumed that the pattern data for visual inspection determination is registered in the inspection
例えば、目視検査判定手段３５は、視界画像データから検査員の視点となる部分の部分画像データ（例えば、視界画像データ中の中心付近の特定の検査箇所が含まれる部分の画像）を抽出し、抽出した部分画像データと、目視検査判定用のパターンデータ（検査箇所ごとの画像データ）との類似度を算出する。そして、算出した類似度が所定の閾値以上である場合に、目視検査判定手段３５は、検査員の視点と検査箇所とが一致していると判定する。
For example, the visual
なお、この場合、目視検査判定手段３５は、部分画像データを抽出することなく、視界画像データ全体をパターンデータとマッチング処理して類似度を算出してもよい。ただし、検査員の視点が特定の検査箇所中心に移動した後であっても、視界画像データ中に他の検査箇所が含まれている場合もあるため、検査員が注視している検査箇所周辺の部分画像データを切り出してマッチング処理を行うことによって、より精度を高めることができる。
In this case, the visual
ステップＳ２０１において一致していると判定した場合、目視検査判定手段３５は、検査員の視点と検査箇所とが一致した状態のまま、所定時間（例えば、３秒）経過したか否かを判定する（図６のステップＳ２０２）。 If it is determined in step S201 that they match, the visual inspection determination means 35 determines whether a predetermined time (for example, 3 seconds) has passed while the inspector's viewpoint and the inspection location match. (Step S202 in FIG. 6).
具体的には、目視検査判定手段３５は、予め登録されている製品等の検査箇所Ｃｈｅｃｋ１、Ｃｈｅｃｋ２、Ｃｈｅｃｋ３が、それぞれ撮影データに所定時間記録されているか否かを判定する。例えば、目視検査判定手段３５は、所定期間経過後に再度視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと検査箇所の画像データとの類似度が閾値以上である場合に、一致した状態のままであると判定する。
Specifically, the visual
そして、所定時間経過したと判定すると、目視検査判定手段３５は、目視検査が行われたと判定する（図６のステップＳ２０３）。
If it is determined that the predetermined time has elapsed, the visual
一方、ステップＳ２０１において検査員の視点と検査箇所とが一致していないと判定した場合、またはステップＳ２０２において所定期間経過しなかったと判定した場合には、目視検査判定手段３５は、目視検査が行われていないと判定する（図６のステップＳ２０４）。その後、目視検査判定手段３５は、上記の処理を検査箇所ごとに繰り返し行う。 On the other hand, if it is determined in step S201 that the inspector's viewpoint does not match the inspection location, or if it is determined in step S202 that the predetermined period has not elapsed, the visual inspection determination means 35 performs the visual inspection. It is determined that it is not broken (step S204 in FIG. 6). Thereafter, the visual inspection determination means 35 repeats the above processing for each inspection location.
以上の処理によって、目視検査判定手段３５は、検査箇所ごとに目視検査が行われたか否かを判定することができる。つまり、目視検査判定手段３５は、ヘッドマウントディスプレイ装置１０に搭載されたカメラが撮影した映像に検査データ記憶手段３１に登録されている検査箇所が数秒間映っているか否かを判断し、数秒間動かずに映っていれば、検査員が確実に目視検査を行っていると判断することができる。
Through the above processing, the visual inspection determination means 35 can determine whether or not a visual inspection has been performed for each inspection location. That is, the visual inspection determination means 35 determines whether or not the inspection location registered in the inspection data storage means 31 is reflected for several seconds in the video taken by the camera mounted on the head mounted
次に、ハンドジェスチャーの判定処理（図２のステップＳ１０）について図７を用いて説明する。図７は、ハンドジェスチャー判定手段３６が実行する処理例を示すフロー図である。
Next, the hand gesture determination process (step S10 in FIG. 2) will be described with reference to FIG. FIG. 7 is a flowchart showing an example of processing executed by the hand
ハンドジェスチャー判定手段３６は、視界画像データとハンドジェスチャー用のパターンデータとに基づいて、検査員の視点と検査箇所とが一致しているか否かを判定する（図７のステップＳ３０１）。 The hand gesture determination means 36 determines whether or not the inspector's viewpoint matches the inspection location based on the view image data and the pattern data for hand gesture (step S301 in FIG. 7).
例えば、ハンドジェスチャー判定手段３６は、視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと、ハンドジェスチャー判定用のパターンデータ（検査箇所ごとの画像データ）との類似度を算出する。そして、算出した類似度が所定の閾値以上である場合に、ハンドジェスチャー判定手段３６は、検査員の視点と検査箇所とが一致していると判定する。なお、ハンドジェスチャー用のパターンデータは、例えば、予め検査員等によって検査データ記憶手段３１に登録されているものとする。
For example, the hand gesture determination means 36 extracts partial image data of a portion that becomes the inspector's viewpoint from the view image data, and extracts the extracted partial image data and pattern data for hand gesture determination (image data for each inspection location). The similarity is calculated. When the calculated similarity is equal to or greater than a predetermined threshold value, the hand
なお、この場合、ハンドジェスチャー判定手段３６は、部分画像データを抽出することなく、視界画像データ全体をパターンデータとマッチング処理して類似度を算出してもよい。ただし、検査員の視点が特定の検査箇所中心に移動した後であっても、視界画像データ中に他の検査箇所が含まれている場合もあるため、検査員が注視している検査箇所周辺の部分画像データを切り出してマッチング処理を行うことによって、より精度を高めることができる。
In this case, the hand
ステップＳ３０１において一致していると判定すると、ハンドジェスチャー判定手段３６は、撮影データから、最新の視界画像データを抽出する（ステップＳ３０２）。 If it is determined in step S301 that they match, the hand gesture determination means 36 extracts the latest view field image data from the captured data (step S302).
次いで、ハンドジェスチャー判定手段３６は、抽出した視界画像データから検査箇所周辺の部分画像データ（例えば、検査員は検査箇所を注視している筈なので、視界画像データ中の中央付近の検査箇所が含まれている画像）を抽出する。そして、ハンドジェスチャー判定手段３６は、抽出した画像データと、動作前のハンドジェスチャーのパターンデータ（例えば、図１０の検査員の手が検査箇所付近に伸びている状態の画像データ）との類似度を算出する（図７のステップＳ３０３）。
Next, the hand gesture determination means 36 includes partial image data around the inspection location from the extracted visual field image data (for example, since the inspector is gazing at the inspection location, the inspection location near the center in the visibility image data is included. Image). The hand
なお、本実施形態では、単に検査員が検査箇所を指等で触ったか否かを判定するだけではなく、検査員が検査箇所を触った状態で一連の検査動作を行ったか否か（例えば、検査箇所を指等でなぞって見たか否か）も判定する。そのため、本実施形態では、ハンドジェスチャー用のパターンデータとして、動作前のパターンデータと動作後のパターンデータとを用い、動作前のパターンデータとのマッチング処理をクリアした後に、さらに動作後のパターンデータとのマッチング処理もクリアしたことを条件に、一連の検査動作が行われたと判定する。 In this embodiment, it is not only determined whether the inspector touched the inspection location with a finger or the like, but whether the inspector performed a series of inspection operations while touching the inspection location (for example, It is also determined whether or not the inspection spot is traced with a finger or the like. For this reason, in the present embodiment, pattern data before operation and pattern data after operation are used as pattern data for hand gesture, and after matching processing with pattern data before operation is cleared, pattern data after operation is further processed. It is determined that a series of inspection operations has been performed on the condition that the matching process with the above is also cleared.
次いで、ハンドジェスチャー判定手段３６は、算出した類似度が閾値以上であるか否かを判定する（図７のステップＳ３０４）。
Next, the hand
ステップＳ３０４において閾値以上であると判定した場合、ハンドジェスチャー判定手段３６は、所定期間後に、撮影データから最新の視界画像データを抽出する（ステップＳ３０５）。
If it is determined in step S304 that the threshold value is equal to or greater than the threshold value, the hand
次いで、ハンドジェスチャー判定手段３６は、抽出した視界画像データから手の形状を特定し、特定した部分の画像データを抽出する。そして、ハンドジェスチャー判定手段３６は、抽出した画像データと、動作後のハンドジェスチャーのパターンデータ（例えば、図１１の検査員の指が検査箇所に触れている状態の画像データ）との類似度を算出する（図７のステップＳ３０６）。
Next, the hand
次いで、ハンドジェスチャー判定手段３６は、算出した類似度が閾値以上であるか否かを判定する（図７のステップＳ３０７）。 Next, the hand gesture determination means 36 determines whether or not the calculated similarity is greater than or equal to a threshold (step S307 in FIG. 7).
ステップＳ３０８において閾値以上であると判定した場合、ハンドジェスチャー判定手段３６は、所定のハンドジェスチャーが行われたと判定する（図７のステップＳ３０８）。
If it is determined in step S308 that the value is equal to or greater than the threshold value, the hand
一方、ステップＳ３０４またはステップＳ３０８において閾値未満であると判定した場合、ハンドジェスチャー判定手段３６は、所定のハンドジェスチャーが行われていないと判定する（図７のステップＳ３０９）。
On the other hand, when it is determined in step S304 or step S308 that the value is less than the threshold value, the hand
以上の処理により、ハンドジェスチャー判定手段３６は、検査員が所定のハンドジェスチャーを行ったか否かを判定することができる。
With the above processing, the hand
なお、判定処理の精度を高めるために、例えば、ハンドジェスチャーの前後に限らず、上記の処理を複数回繰り返し、動作の途中の形状についても判定するようにしてもよい。また、指等を用いた接触検査を行う場合に限らず、例えば、指等が入らないようなスペースの検査を行う場合には、指し棒等の検査用の治具を用いて接触検査を行う場合の判定に適用してもよい。 In order to increase the accuracy of the determination process, for example, not only before and after the hand gesture, the above process may be repeated a plurality of times to determine the shape in the middle of the operation. Moreover, not only when performing a contact inspection using a finger or the like, but when performing an inspection of a space where a finger or the like does not enter, for example, a contact inspection is performed using an inspection jig such as a pointer. You may apply to the determination of a case.
なお、作業員による検査作業が行われた後、管理者等は、サーバ装置３０にアクセスして検査作業の各種管理業務を行う。例えば、サーバ装置３０の検査結果管理手段３９は、管理者等の操作に従って、検査結果記憶手段３７から各種検査結果の情報を抽出し、ディスプレイ装置等の表示装置に表示する。
After the inspection work by the worker is performed, the administrator accesses the
また、例えば、検査結果管理手段３９は、管理者等の操作に従って、検査結果記憶手段３７が記憶する情報に基づいて統計処理を行い、検査作業における各種統計データを求める。例えば、検査結果管理手段３９は、検査結果記憶手段３７が記憶する検査箇所判定手段３４による判定結果を統計し、検査対象製品中の検査箇所毎の異常の発生頻度の統計値を求める。また、例えば、検査結果管理手段３９は、検査結果記憶手段３７が記憶する目視検査判定手段３５による判定結果やハンドジェスチャー判定手段３７による判定結果を統計し、作業員毎の目視検査やハンドジェスチャーによる検査の作業漏れの頻度の統計値を求める。
Further, for example, the inspection
上記のように構成することによって、検査結果記憶手段３７に記憶した各種検査結果の情報に基づいて、検査作業の管理を支援できるとともに、検査作業に関する各種統計データを求めることができ、検査結果を有効活用して検査作業の効率化の支援に役立てることができる。 By configuring as described above, it is possible to support the management of the inspection work based on the information of the various inspection results stored in the inspection result storage means 37, and to obtain various statistical data relating to the inspection work. It can be used effectively to support the efficiency of inspection work.
以上のように、本実施形態では、確認業務支援システムは、予め登録された検査データと検査員の視界に近い映像とに基づいて、検査箇所に問題があるか否か、所定の検査が正しく行われているか否かを判定し、判定結果を検査員に対して表示する。従って、検査員は的確かつ迅速に検査業務を行うことができる。例えば、一般的な検査方法では、人間が目視検査を行っているため、検査員が掛かりきりになってコストがかかることや、検査の精度に個人差（バラツキ）があること、間違いが発生すること等、精度に課題があったが、本実施形態によれば、検査箇所に問題があるか否かや、所定の検査が正しく行われているか否かの判定結果を検査員に提示できるので、検査の精度を向上させることができる。 As described above, in this embodiment, the confirmation work support system determines whether there is a problem in the inspection location based on the inspection data registered in advance and the video close to the field of view of the inspector. It is determined whether or not it is performed, and the determination result is displayed to the inspector. Therefore, the inspector can perform the inspection work accurately and promptly. For example, in a general inspection method, since humans perform visual inspections, it is costly due to inspectors, and there are individual differences (inconsistencies) in inspection accuracy, and errors occur. However, according to this embodiment, it is possible to present to the inspector whether or not there is a problem in the inspection location and whether or not the predetermined inspection is correctly performed. , Inspection accuracy can be improved.
また、一般的な検査方法では、目視検査の状況や結果が人間によって報告されているため、管理者にとっては目視検査の工程・プロセスを把握し、管理することが困難という課題がある。これに対して、本実施形態では、検査員を識別する情報等とともに検査結果の情報を記憶することができるため、上記課題を解決することができる。 Further, in general inspection methods, since the situation and results of visual inspection are reported by humans, there is a problem that it is difficult for an administrator to grasp and manage visual inspection processes and processes. On the other hand, in this embodiment, since the information of an inspection result can be memorize | stored with the information etc. which identify an inspector, the said subject can be solved.
なお、本実施形態では、サーバ装置３０が検査データ記憶手段３１や検査結果記憶手段３７、各判定手段等を備えている例について説明したが、これらの手段をヘッドマウントディスプレイ装置１０またはウェアラブル端末２０が備えていてもよい。
In the present embodiment, the
例えば、ヘッドマウントディスプレイ装置１０は、上記の構成要素に加えて、検査データ記憶手段３１、データ送受信手段３２、画像補正手段３３、検査箇所判定手段３４、目視検査判定手段３５、ハンドジェスチャー判定手段３６および検査結果記憶手段３７を含むようにしてもよい。
For example, the head mounted
この場合には、ヘッドマウントディスプレイ装置１０は、ウェアラブル装置２０やサーバ装置３０を必要とせず、単独で処理を完結することができる。
In this case, the head mounted
また、例えば、ウェアラブル端末２０は、上記の構成要素に加えて、検査データ記憶手段３１、データ送受信手段３２、画像補正手段３３、検査箇所判定手段３４、目視検査判定手段３５、ハンドジェスチャー判定手段３６および検査結果記憶手段３７を含むようにしてもよい。
Further, for example, the
この場合には、ウェアラブル端末２０が上述のサーバ装置３０の処理を実行することができ、ネットワーク１００を介してデータを送受信することなく、本実施形態と同等の効果を得ることができる。
In this case, the
次に、本発明による確認業務支援システムの最小構成について説明する。図１２は、確認業務支援システムの最小の構成例を示すブロック図である。図１２に示すように、確認業務支援システムは、最小の構成要素として、ヘッドマウントディスプレイ装置１０に設けられた撮影手段１と、異常判定手段２とを備えている。
Next, the minimum configuration of the confirmation work support system according to the present invention will be described. FIG. 12 is a block diagram illustrating a minimum configuration example of the confirmation job support system. As shown in FIG. 12, the confirmation task support system includes an
図１２に示す最小構成の確認業務支援システムでは、ヘッドマウントディスプレイ装置１０は、少なくとも検査範囲を特定可能な検査範囲画像を含む検査情報を表示する。また、撮影手段１は、ヘッドマウントディスプレイ装置１０を装着して検査情報に従って検査を行う検査員の視界に近い画像を撮影する。そして、異常判定手段２は、撮影手段１が撮影した画像と検査範囲画像とに基づいて、検査範囲中の異常個所を判定する。
In the minimum-confirmation confirmation support system shown in FIG. 12, the head mounted
従って、最小構成の確認業務支援システムによれば、各種確認作業の精度を高めることができる。 Therefore, according to the minimum-confirmation confirmation support system, the accuracy of various confirmation operations can be increased.
なお、本実施形態では、以下の（１）〜（１３）に示すような確認業務支援システムの特徴的構成が示されている。 In this embodiment, the characteristic configuration of the confirmation work support system as shown in the following (1) to (13) is shown.
（１）確認業務支援システムは、少なくとも確認範囲を特定可能な確認範囲画像（例えば、図８に示す画像）を含む確認情報を表示可能なヘッドマウントディスプレイ装置（例えば、ヘッドマウントディスプレイ装置１０によって実現される）と、ヘッドマウントディスプレイ装置に設けられた撮影手段（例えば、映像入力手段１２によって実現される）と、撮影手段が撮影した画像を用いた画像処理を行って、確認範囲中の異常箇所を判定する異常判定手段（例えば、検査箇所判定手段３４によって実現される）とを備えたことを特徴とする。 (1) The confirmation work support system is realized by a head mounted display device (for example, the head mounted display device 10) capable of displaying confirmation information including at least a confirmation range image (for example, the image shown in FIG. 8) that can identify the confirmation range. Abnormalities in the confirmation range by performing image processing using images captured by the imaging means (for example, realized by the video input means 12) provided in the head-mounted display device, and images captured by the imaging means. And an abnormality determining means (for example, realized by the inspection location determining means 34).
（２）確認業務支援システムにおいて、異常判定手段は、撮影手段が撮影した画像から確認箇所を含む部分画像（例えば、ステップＳ１１１で抽出する部分画像データ）を抽出し、抽出した部分画像と確認箇所のパターンデータとの照合処理を実行して、確認箇所に異常があるか否かを判定するように構成されていてもよい。 (2) In the confirmation work support system, the abnormality determination unit extracts a partial image including the confirmation portion (for example, partial image data extracted in step S111) from the image captured by the photographing unit, and extracts the extracted partial image and the confirmation portion. It may be configured to determine whether or not there is an abnormality in the confirmation location by executing a matching process with the pattern data.
（３）確認業務支援システムは、撮影手段が撮影した画像を用いた画像処理を行って、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所を所定期間以上目視したか否かを判定する目視確認判定手段（例えば、目視検査判定手段３５によって実現される）を備えるように構成されていてもよい。 (3) The confirmation work support system performs image processing using the image photographed by the photographing means, and determines whether or not the worker wearing the head-mounted display device has observed the predetermined confirmation portion for a predetermined period or more. You may comprise so that a visual confirmation determination means (for example, implement | achieved by the visual inspection determination means 35) may be provided.
（４）確認業務支援システムは、撮影手段が撮影した画像を用いた画像処理を行って、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所の接触確認を行ったか否かを判定する接触確認判定手段（例えば、ハンドジェスチャー判定手段３６によって実現される）を備えるように構成されていてもよい。 (4) The confirmation work support system performs image processing using an image photographed by the photographing means, and determines whether or not the worker wearing the head mounted display device has confirmed contact with a predetermined confirmation location. A confirmation determination unit (for example, realized by the hand gesture determination unit 36) may be provided.
（５）確認業務支援システムにおいて、異常判定手段は、抽出した部分画像と確認箇所のパターンデータとの類似度を算出し、算出した類似度と所定の閾値との比較処理を行って、確認箇所に異常があるか否かを判定するように構成されていてもよい。 (5) In the confirmation work support system, the abnormality determination means calculates the similarity between the extracted partial image and the pattern data of the confirmation portion, performs a comparison process between the calculated similarity and a predetermined threshold, It may be configured to determine whether or not there is an abnormality.
（６）確認業務支援システムにおいて、異常判定手段は、抽出した部分画像と確認箇所が正常である場合のパターンデータとの類似度を算出し、算出した類似度が所定の正常時用閾値未満であると判定すると、確認箇所に異常があると判定するように構成されていてもよい。 (6) In the confirmation work support system, the abnormality determination unit calculates the similarity between the extracted partial image and the pattern data when the confirmation part is normal, and the calculated similarity is less than a predetermined normal threshold value. If it is determined that there is an abnormality, the confirmation location may be determined to be abnormal.
（７）確認業務支援システムにおいて、異常判定手段は、抽出した部分画像と確認箇所に異常がある場合のパターンデータとの類似度を算出し、算出した類似度が所定の異常時用閾値以上であると判定すると、確認箇所に異常があると判定するように構成されていてもよい。 (7) In the confirmation work support system, the abnormality determination unit calculates the similarity between the extracted partial image and the pattern data when there is an abnormality in the confirmation part, and the calculated similarity is equal to or greater than a predetermined abnormality threshold value. If it is determined that there is an abnormality, the confirmation location may be determined to be abnormal.
（８）確認業務支援システムにおいて、目視確認判定手段は、所定の時点で撮影手段が撮影した画像と所定の目視確認用のパターンデータとの類似度が所定の目視確認用閾値以上であるとともに、所定の時点から所定時間経過後に撮影手段が撮影した画像と所定の目視確認用のパターンデータとの類似度が所定の目視確認用閾値以上であると判定したことに基づいて、作業員が確認箇所を所定期間以上目視したと判定するように構成されていてもよい。 (8) In the confirmation work support system, the visual confirmation determination means has a similarity between the image captured by the photographing means at a predetermined time and the predetermined visual confirmation pattern data equal to or greater than a predetermined visual confirmation threshold. Based on the fact that the similarity between the image photographed by the photographing means and the predetermined visual confirmation pattern data is determined to be equal to or greater than the predetermined visual confirmation threshold after a predetermined time has elapsed from the predetermined time point, May be configured to be determined as having been viewed for a predetermined period or longer.
（９）確認業務支援システムにおいて、接触確認判定手段は、撮影手段が撮影した画像を用いた画像処理を行って、接触確認として、ヘッドマウントディスプレイ装置を装着した作業員が所定の確認箇所に接触した状態で所定の確認動作を行ったか否かを判定するように構成されていてもよい。 (9) In the confirmation work support system, the contact confirmation determination unit performs image processing using the image captured by the imaging unit, and the worker wearing the head mounted display device contacts a predetermined confirmation part as contact confirmation. In this state, it may be configured to determine whether or not a predetermined confirmation operation has been performed.
（１０）確認業務支援システムにおいて、接触確認判定手段は、所定の時点で撮影手段が撮影した画像と所定の確認動作中の第１の動作のパターンデータとの類似度が所定の閾値以上であり、かつ所定の時点以外の時点で撮影手段が撮影した画像と所定の確認動作中の第２の動作のパターンデータとの類似度が所定の閾値以上である場合に、作業員が所定の確認箇所に接触した状態で所定の確認動作を行ったと判定するように構成されていてもよい。 (10) In the confirmation work support system, the contact confirmation determination unit has a similarity between the image captured by the imaging unit at a predetermined time point and the pattern data of the first operation during the predetermined confirmation operation being a predetermined threshold value or more. And when the similarity between the image captured by the photographing means at a time other than the predetermined time and the pattern data of the second operation during the predetermined confirmation operation is equal to or greater than a predetermined threshold, It may be configured to determine that a predetermined confirmation operation has been performed in a state of being touched.
（１１）確認業務支援システムにおいて、異常判定手段は、撮影手段が撮影した画像を用いた画像処理を行って、撮影手段が撮影した画像中に含まれる所定のコードデータ（例えば、バーコードやＱＲコード）を検出し、検出した所定のコードデータに基づいて、確変範囲中の異常箇所を判定するように構成されていてもよい。 (11) In the confirmation work support system, the abnormality determination unit performs image processing using the image captured by the imaging unit, and performs predetermined code data (for example, a barcode or QR code) included in the image captured by the imaging unit. Code) may be detected, and an abnormal location in the probability variation range may be determined based on the detected predetermined code data.
（１２）確認業務支援システムは、異常判定手段による判定結果を記憶する判定結果記憶手段（例えば、検査結果記憶手段３７によって実現される）と、判定結果記憶手段が記憶する判定結果を管理する判定結果管理手段（例えば、検査結果管理手段３９によって実現される）とを備えるように構成されていてもよい。 (12) The confirmation work support system includes a determination result storage unit (for example, realized by the inspection result storage unit 37) that stores the determination result by the abnormality determination unit, and a determination that manages the determination result stored by the determination result storage unit. It may be configured to include result management means (for example, realized by the inspection result management means 39).
（１３）確認業務支援システムにおいて、判定結果管理手段は、判定結果記憶手段が記憶する判定結果を用いた統計処理を行い、確認作業の統計データを求めるように構成されていてもよい。 (13) In the confirmation work support system, the determination result management unit may be configured to perform statistical processing using the determination result stored in the determination result storage unit and obtain statistical data of the confirmation operation.
本発明は、製造ライン等での検査業務や保守業務における各種確認作業を支援する用途に適用可能である。 The present invention can be applied to a purpose of supporting various confirmation operations in inspection work and maintenance work on a production line or the like.
１ 撮影手段
２ 異常判定手段
１０ ヘッドマウントディスプレイ装置
１１ 映像表示手段
１２ 映像入力手段
１３ 音声入出力手段
２０ ウェアラブル端末
２１ データ送受信手段
２２ 通信手段
３０ サーバ装置
３１ 検査データ記憶手段
３２ データ送受信手段
３３ 画像補正手段
３４ 検査箇所判定手段
３５ 目視検査判定手段
３６ ハンドジェスチャー判定手段
３７ 検査結果記憶手段
３８ 通信手段
３９ 検査結果管理手段
DESCRIPTION OF
Claims (23)
前記ヘッドマウントディスプレイ装置に設けられた撮影手段と、
前記撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する異常判定手段とを備えた
ことを特徴とする確認業務支援システム。 A head-mounted display device capable of displaying confirmation information including at least a confirmation range image capable of specifying a confirmation range; and
Photographing means provided in the head-mounted display device;
A confirmation work support system comprising: an abnormality determination unit that performs image processing using an image photographed by the photographing unit to determine an abnormal part in the confirmation range.
請求項１記載の確認業務支援システム。 The abnormality determination unit extracts a partial image including a confirmation portion from the image captured by the photographing unit, executes a matching process between the extracted partial image and the pattern data of the confirmation portion, and the confirmation portion has an abnormality. The confirmation work support system according to claim 1 which judges whether or not.
請求項１又は請求項２記載の確認業務支援システム。 A visual confirmation determination unit that performs image processing using an image captured by the photographing unit and determines whether or not an operator wearing the head-mounted display device has viewed a predetermined confirmation part for a predetermined period or longer. The confirmation work support system according to claim 1 or claim 2.
請求項１から請求項３のうちのいずれか１項に記載の確認業務支援システム。 2. A contact confirmation determination unit that performs image processing using an image captured by the imaging unit and determines whether or not an operator wearing the head mounted display device has confirmed contact with a predetermined confirmation location. The confirmation work support system according to any one of claims 1 to 3.
請求項２記載の確認業務支援システム。 The abnormality determination means calculates the similarity between the extracted partial image and the pattern data of the confirmation portion, and performs a comparison process between the calculated similarity and a predetermined threshold value to determine whether or not the confirmation portion has an abnormality. The confirmation work support system according to claim 2.
請求項５記載の確認業務支援システム。 The abnormality determination means calculates the similarity between the extracted partial image and the pattern data when the confirmation location is normal, and determines that the calculated similarity is less than a predetermined normal threshold value. The confirmation work support system according to claim 5, wherein the confirmation work support system is determined to be.
請求項５又は請求項６記載の確認業務支援システム。 The abnormality determination means calculates the similarity between the extracted partial image and the pattern data when there is an abnormality in the confirmation location, and determines that the calculated similarity is equal to or greater than a predetermined abnormality threshold value. The confirmation work support system according to claim 5 or 6, wherein the confirmation work support system is determined.
請求項３記載の確認業務支援システム。 The visual confirmation determination means has a similarity between the image photographed by the photographing means at a predetermined time and a predetermined visual confirmation pattern data equal to or greater than a predetermined visual confirmation threshold, and after a predetermined time has elapsed from the predetermined time. Based on the determination that the degree of similarity between the image photographed by the photographing means and the predetermined visual confirmation pattern data is equal to or greater than the predetermined visual confirmation threshold value, the worker places the confirmation location over the predetermined period. The confirmation work support system according to claim 3, which is determined to be visually confirmed.
請求項４記載の確認業務支援システム。 The contact confirmation determination means performs image processing using the image taken by the photographing means, and performs a predetermined confirmation operation as a contact confirmation in a state where the worker wearing the head mounted display device is in contact with the predetermined confirmation location. The confirmation work support system according to claim 4 which judges whether it was.
請求項９記載の確認業務支援システム。 The contact confirmation determining means is such that the similarity between the image taken by the photographing means at a predetermined time and the pattern data of the first operation during the predetermined confirmation operation is greater than or equal to a predetermined threshold and a time other than the predetermined time When the similarity between the image photographed by the photographing means and the pattern data of the second operation during the predetermined confirmation operation is equal to or greater than a predetermined threshold, the worker is in contact with the predetermined confirmation portion. The confirmation work support system according to claim 9, wherein it is determined that the predetermined confirmation operation has been performed.
請求項１から請求項１０のうちのいずれか１項に記載の確認業務支援システム。 The abnormality determination unit performs image processing using the image captured by the imaging unit, detects predetermined code data included in the image captured by the imaging unit, and based on the detected predetermined code data, 11. The confirmation work support system according to claim 1, wherein an abnormal location in a probability variation range is determined.
前記判定結果記憶手段が記憶する判定結果を管理する判定結果管理手段とを備えた
請求項１から請求項１１のうちのいずれか１項に記載の確認業務支援システム。 Determination result storage means for storing the determination result by the abnormality determination means;
The confirmation work support system according to any one of claims 1 to 11, further comprising a determination result management unit that manages a determination result stored in the determination result storage unit.
請求項１２記載の確認業務支援システム。 The confirmation operation support system according to claim 12, wherein the determination result management means performs statistical processing using the determination result stored in the determination result storage means to obtain statistical data of the confirmation work.
ことを特徴とするサーバ装置。 Image processing is performed using an image taken by a photographing unit provided in a head-mounted display device capable of displaying confirmation information including at least a confirmation range image in which a confirmation range can be specified, and an abnormal portion in the confirmation range is determined. The server apparatus characterized by including an abnormality determination means.
請求項１４記載のサーバ装置。 The abnormality determination unit extracts a partial image including a confirmation portion from the image captured by the photographing unit, executes a matching process between the extracted partial image and the pattern data of the confirmation portion, and the confirmation portion has an abnormality. The server device according to claim 14, wherein it is determined whether or not.
撮影手段と、
前記撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する異常判定手段とを備えた
ことを特徴とするヘッドマウントディスプレイ装置。 Display control means capable of displaying confirmation information including a confirmation range image capable of specifying at least a confirmation range;
Photographing means;
A head-mounted display device comprising: an abnormality determination unit that performs image processing using an image captured by the imaging unit and determines an abnormal location in the confirmation range.
請求項１６記載のヘッドマウントディスプレイ装置。 The abnormality determination unit extracts a partial image including a confirmation portion from the image captured by the photographing unit, executes a matching process between the extracted partial image and the pattern data of the confirmation portion, and the confirmation portion has an abnormality. The head-mounted display device according to claim 16.
ことを特徴とするウェアラブル端末。 Image processing is performed using an image taken by a photographing unit provided in a head-mounted display device capable of displaying confirmation information including at least a confirmation range image in which a confirmation range can be specified, and an abnormal portion in the confirmation range is determined. A wearable terminal characterized by comprising an abnormality determining means.
請求項１８記載のウェアラブル端末。 The abnormality determination unit extracts a partial image including a confirmation portion from the image captured by the photographing unit, executes a matching process between the extracted partial image and the pattern data of the confirmation portion, and the confirmation portion has an abnormality. The wearable terminal according to claim 18, wherein the wearable terminal is determined.
前記ヘッドマウントディスプレイ装置に設けられた撮影手段が画像を撮影し、
前記撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する
ことを特徴とする確認業務支援方法。 Confirmation information including at least a confirmation range image that can identify the confirmation range is displayed on the head mounted display device,
The photographing means provided in the head mounted display device photographs an image,
A confirmation work support method comprising: performing image processing using an image photographed by the photographing means to determine an abnormal portion in the confirmation range.
請求項２０記載の確認業務支援方法。 A partial image including a confirmation part is extracted from an image photographed by the photographing unit, and a verification process is performed on the extracted partial image and the pattern data of the confirmation part to determine whether or not there is an abnormality in the confirmation part. The confirmation work support method according to claim 20.
少なくとも確認範囲を特定可能な確認範囲画像を含む確認情報を表示可能なヘッドマウントディスプレイ装置に設けられた撮影手段が撮影した画像を用いた画像処理を行って、前記確認範囲中の異常箇所を判定する異常判定処理を
実行させるための確認業務支援プログラム。 On the computer,
Image processing is performed using an image taken by a photographing unit provided in a head-mounted display device capable of displaying confirmation information including at least a confirmation range image in which a confirmation range can be specified, and an abnormal portion in the confirmation range is determined. Confirmation support program for executing abnormality determination processing.
異常判定処理で、撮影手段が撮影した画像から確認箇所を含む部分画像を抽出し、抽出した前記部分画像と前記確認箇所のパターンデータとの照合処理を実行して、前記確認箇所に異常があるか否かを判定する処理を実行させるための
請求項２２記載の確認業務支援プログラム。 On the computer,
In the abnormality determination process, a partial image including a confirmation location is extracted from the image captured by the imaging unit, and the verification processing is performed between the extracted partial image and the pattern data of the confirmation location, and the confirmation location is abnormal. 23. The confirmation work support program according to claim 22, for executing a process of determining whether or not.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010143642A JP5099182B2 (en) | 2010-06-24 | 2010-06-24 | Confirmation work support system, server device, head mounted display device, wearable terminal, confirmation work support method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010143642A JP5099182B2 (en) | 2010-06-24 | 2010-06-24 | Confirmation work support system, server device, head mounted display device, wearable terminal, confirmation work support method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012007985A true JP2012007985A (en) | 2012-01-12 |
| JP5099182B2 JP5099182B2 (en) | 2012-12-12 |
Family
ID=45538705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010143642A Expired - Fee Related JP5099182B2 (en) | 2010-06-24 | 2010-06-24 | Confirmation work support system, server device, head mounted display device, wearable terminal, confirmation work support method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5099182B2 (en) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013205277A (en) * | 2012-03-29 | 2013-10-07 | Terumo Corp | Visual inspection monitor system and visual inspection monitor method |
| JP2014145734A (en) * | 2013-01-30 | 2014-08-14 | Nikon Corp | Information input/output device, and information input/output method |
| WO2014156706A1 (en) * | 2013-03-28 | 2014-10-02 | ソニー株式会社 | Image processing device and method, and program |
| JP2015041101A (en) * | 2013-08-20 | 2015-03-02 | 韓國電子通信研究院Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ | Foreign language learning system using smart spectacles and its method |
| JP2015158880A (en) * | 2014-02-25 | 2015-09-03 | Kddi株式会社 | Change detection device, method and program |
| JP2016062336A (en) * | 2014-09-18 | 2016-04-25 | 凸版印刷株式会社 | Operation instruction system, operation instruction method, attached terminal, and operation instruction management server |
| JP2016066270A (en) * | 2014-09-25 | 2016-04-28 | Kddi株式会社 | Work similarity calculation method, device and program |
| WO2016088172A1 (en) * | 2014-12-01 | 2016-06-09 | 東京電力ホールディングス株式会社 | Reutilization assistance system |
| WO2017033561A1 (en) * | 2015-08-21 | 2017-03-02 | 新日鉄住金ソリューションズ株式会社 | Display system, display device, display method, and program |
| JP2017111081A (en) * | 2015-12-18 | 2017-06-22 | 株式会社ブリリアントサービス | Head-mounted display for checking transport and program for head-mounted display for checking transport |
| JP2017527905A (en) * | 2014-08-26 | 2017-09-21 | ノースロップ グラマン システムズ コーポレイションＮｏｒｔｈｒｏｐ Ｇｒｕｍｍａｎ Ｓｙｓｔｅｍｓ Ｃｏｒｐｏｒａｔｉｏｎ | Foreign matter detection system based on color |
| JP2017167978A (en) * | 2016-03-17 | 2017-09-21 | Kddi株式会社 | Image display system, information processing device, image display method, and computer program |
| JP2017191490A (en) * | 2016-04-14 | 2017-10-19 | 株式会社フジタ | Skill transmission system and method |
| JP2017196707A (en) * | 2016-04-28 | 2017-11-02 | いすゞ自動車株式会社 | Assembling inspection support method and assembling inspection support program |
| JP2017221597A (en) * | 2016-06-17 | 2017-12-21 | 株式会社Ｊｖｃケンウッド | Imaging device, imaging method and imaging program |
| JP2018017520A (en) * | 2016-07-25 | 2018-02-01 | 富士ゼロックス株式会社 | Colorimetry system, image generation device, and program |
| WO2018062239A1 (en) * | 2016-09-28 | 2018-04-05 | 株式会社デンソー | Examination device |
| CN107924585A (en) * | 2015-08-25 | 2018-04-17 | 新日铁住金系统集成株式会社 | Work auxiliary device, operation householder method and program |
| JP2018132889A (en) * | 2017-02-14 | 2018-08-23 | 浩平 田仲 | Information providing system, information providing apparatus, information providing method, and information providing program |
| JP2019191117A (en) * | 2018-04-27 | 2019-10-31 | キヤノン株式会社 | Image processing device, image processing method, and program |
| EP3226173B1 (en) * | 2016-03-30 | 2021-06-16 | Fujitsu Limited | Task circumstance processing device and method |
| JP2022064204A (en) * | 2020-10-13 | 2022-04-25 | 横河電機株式会社 | Device, method and program |
| JP2022087045A (en) * | 2020-11-30 | 2022-06-09 | 株式会社 情報システムエンジニアリング | State determination system, state determination method, and state determination program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009150866A (en) * | 2007-11-29 | 2009-07-09 | Toshiba Corp | Appearance inspection apparatus, appearance inspection system, and appearance inspection method |
| JP2010067154A (en) * | 2008-09-12 | 2010-03-25 | Brother Ind Ltd | Head mounted display, information browsing system, and management server |
-
2010
- 2010-06-24 JP JP2010143642A patent/JP5099182B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009150866A (en) * | 2007-11-29 | 2009-07-09 | Toshiba Corp | Appearance inspection apparatus, appearance inspection system, and appearance inspection method |
| JP2010067154A (en) * | 2008-09-12 | 2010-03-25 | Brother Ind Ltd | Head mounted display, information browsing system, and management server |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013205277A (en) * | 2012-03-29 | 2013-10-07 | Terumo Corp | Visual inspection monitor system and visual inspection monitor method |
| JP2014145734A (en) * | 2013-01-30 | 2014-08-14 | Nikon Corp | Information input/output device, and information input/output method |
| WO2014156706A1 (en) * | 2013-03-28 | 2014-10-02 | ソニー株式会社 | Image processing device and method, and program |
| CN105075254A (en) * | 2013-03-28 | 2015-11-18 | 索尼公司 | Image processing device and method, and program |
| US10365767B2 (en) | 2013-03-28 | 2019-07-30 | Sony Corporation | Augmented reality image processing apparatus and method, and program |
| JPWO2014156706A1 (en) * | 2013-03-28 | 2017-02-16 | ソニー株式会社 | Image processing apparatus and method, and program |
| JP2015041101A (en) * | 2013-08-20 | 2015-03-02 | 韓國電子通信研究院Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ | Foreign language learning system using smart spectacles and its method |
| JP2015158880A (en) * | 2014-02-25 | 2015-09-03 | Kddi株式会社 | Change detection device, method and program |
| JP2017527905A (en) * | 2014-08-26 | 2017-09-21 | ノースロップ グラマン システムズ コーポレイションＮｏｒｔｈｒｏｐ Ｇｒｕｍｍａｎ Ｓｙｓｔｅｍｓ Ｃｏｒｐｏｒａｔｉｏｎ | Foreign matter detection system based on color |
| JP2016062336A (en) * | 2014-09-18 | 2016-04-25 | 凸版印刷株式会社 | Operation instruction system, operation instruction method, attached terminal, and operation instruction management server |
| JP2016066270A (en) * | 2014-09-25 | 2016-04-28 | Kddi株式会社 | Work similarity calculation method, device and program |
| JP5943172B1 (en) * | 2014-12-01 | 2016-06-29 | 東京電力ホールディングス株式会社 | Reuse support system |
| WO2016088172A1 (en) * | 2014-12-01 | 2016-06-09 | 東京電力ホールディングス株式会社 | Reutilization assistance system |
| CN107850550A (en) * | 2015-08-21 | 2018-03-27 | 新日铁住金系统集成株式会社 | Display system, display device, display methods and program |
| JP6165362B1 (en) * | 2015-08-21 | 2017-07-19 | 新日鉄住金ソリューションズ株式会社 | Display system, display device, display method, and program |
| WO2017033561A1 (en) * | 2015-08-21 | 2017-03-02 | 新日鉄住金ソリューションズ株式会社 | Display system, display device, display method, and program |
| CN107850550B (en) * | 2015-08-21 | 2020-11-03 | 日铁系统集成株式会社 | Display system, display device, display method, and storage medium |
| JP2017182838A (en) * | 2015-08-21 | 2017-10-05 | 新日鉄住金ソリューションズ株式会社 | Display system, management device, and information processing method and program |
| US10539509B2 (en) | 2015-08-21 | 2020-01-21 | Ns Solutions Corporation | Display system, display device, display method, and non-transitory computer readable recording medium |
| CN107924585A (en) * | 2015-08-25 | 2018-04-17 | 新日铁住金系统集成株式会社 | Work auxiliary device, operation householder method and program |
| CN107924585B (en) * | 2015-08-25 | 2021-03-09 | 日铁系统集成株式会社 | Work support device, work support method, and storage medium |
| JP2017111081A (en) * | 2015-12-18 | 2017-06-22 | 株式会社ブリリアントサービス | Head-mounted display for checking transport and program for head-mounted display for checking transport |
| JP2017167978A (en) * | 2016-03-17 | 2017-09-21 | Kddi株式会社 | Image display system, information processing device, image display method, and computer program |
| EP3226173B1 (en) * | 2016-03-30 | 2021-06-16 | Fujitsu Limited | Task circumstance processing device and method |
| JP2017191490A (en) * | 2016-04-14 | 2017-10-19 | 株式会社フジタ | Skill transmission system and method |
| JP2017196707A (en) * | 2016-04-28 | 2017-11-02 | いすゞ自動車株式会社 | Assembling inspection support method and assembling inspection support program |
| JP2017221597A (en) * | 2016-06-17 | 2017-12-21 | 株式会社Ｊｖｃケンウッド | Imaging device, imaging method and imaging program |
| JP7098870B2 (en) | 2016-07-25 | 2022-07-12 | 富士フイルムビジネスイノベーション株式会社 | Color measurement system, image generator, and program |
| JP2018017520A (en) * | 2016-07-25 | 2018-02-01 | 富士ゼロックス株式会社 | Colorimetry system, image generation device, and program |
| WO2018062239A1 (en) * | 2016-09-28 | 2018-04-05 | 株式会社デンソー | Examination device |
| JP2018054435A (en) * | 2016-09-28 | 2018-04-05 | 株式会社デンソー | Inspection device |
| WO2018151174A1 (en) * | 2017-02-14 | 2018-08-23 | 浩平 田仲 | Information provision system, information provision device, information provision method, and information provision program |
| JP2018132889A (en) * | 2017-02-14 | 2018-08-23 | 浩平 田仲 | Information providing system, information providing apparatus, information providing method, and information providing program |
| JP2019191117A (en) * | 2018-04-27 | 2019-10-31 | キヤノン株式会社 | Image processing device, image processing method, and program |
| US11521312B2 (en) | 2018-04-27 | 2022-12-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| JP2022064204A (en) * | 2020-10-13 | 2022-04-25 | 横河電機株式会社 | Device, method and program |
| JP7222387B2 (en) | 2020-10-13 | 2023-02-15 | 横河電機株式会社 | Apparatus, method and program |
| JP2022087045A (en) * | 2020-11-30 | 2022-06-09 | 株式会社 情報システムエンジニアリング | State determination system, state determination method, and state determination program |
| JP7148938B2 (en) | 2020-11-30 | 2022-10-06 | 株式会社 情報システムエンジニアリング | State determination system, state determination method, and state determination program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5099182B2 (en) | 2012-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5099182B2 (en) | Confirmation work support system, server device, head mounted display device, wearable terminal, confirmation work support method and program | |
| US10997444B2 (en) | Use of human input recognition to prevent contamination | |
| CN109557099B (en) | Inspection device and inspection system | |
| US11127211B2 (en) | Plant management system, plant management method, plant management apparatus, and plant management program | |
| JP2014211763A5 (en) | ||
| US20170344110A1 (en) | Line-of-sight detector and line-of-sight detection method | |
| JP2008003781A (en) | Operation monitoring system | |
| JP6288249B2 (en) | Visual inspection support device, visual inspection support method, and visual inspection support program | |
| US20150005587A1 (en) | Goggles for emergency diagnosis of balance disorders | |
| JPWO2017033561A1 (en) | Display system, display device, display method, and program | |
| JP6270488B2 (en) | Operator monitoring control device and operator monitoring control method | |
| CN113227940A (en) | Service glasses with selective data provision | |
| US11287807B2 (en) | Defect detection during an automated production process | |
| KR20150044449A (en) | Plant management support system | |
| KR20150081588A (en) | Products Inspection Method | |
| EP3828852A1 (en) | Remote diagnostics for flame detectors using fire replay technique | |
| JP2019194602A (en) | Inspection auxiliary device of vehicle using head-mounted display | |
| JP7344728B2 (en) | Product inspection system, product inspection method | |
| KR102091314B1 (en) | Wearable Device for Managing Food, Operating Method thereof and Operating Program thereof | |
| CN107862029B (en) | Graphic display method for laboratory management system | |
| JP6990482B1 (en) | Inspection system, method and program | |
| JP2020156862A (en) | Ophthalmologic apparatus and maintenance method of ophthalmologic apparatus | |
| JP6658273B2 (en) | Assembly inspection support method and assembly inspection support program | |
| JP7263886B2 (en) | Driving device management method and driving device management program | |
| CN108805818B (en) | Content big data density degree analysis method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120508 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120709 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120828 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120910 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151005 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |