JP2017100242A - 検査ロボットシステム - Google Patents

Abstract

【課題】ロボットを利用して効率よく製品検査を行う。【解決手段】製品検査を行う検査ロボットシステムを、検査ツールを脱着可能な複数の多関節腕を有する検査ロボットと、検査ロボットによる検査方法を設定した検査情報を検査ロボットに送信すると共に、検査ロボットが取得した検査データを受信して検査結果を判定する制御部とによって構成し、検査ロボットに、検査情報に基づいて、複数種類の検査ツールの中から検査ツールを選択して各腕部に装着し、検査ツールをそれぞれ検査対象箇所に合わせて設定された位置及び角度に配置して検査データを取得し、取得した検査データを制御部へ送信させる。【選択図】図１

Description

この発明は、複数の多関節腕を有するロボットを利用して製品の検査を行う検査ロボットシステムに関する。

従来、製品の製造組立等にロボットが利用されている。ロボットの腕を多関節型とすることで、様々な作業を実現することができる。例えば、特許文献１〜４には、製品の製造組立に利用可能なロボットに関する技術が開示されている。また、製品の製造組立を行う現場では、製品の品質を維持するための検査が行われる。例えば、特許文献５には、ベルトコンベヤによって搬送される製品を照明装置で照らしながらテレビカメラで撮影して、製品へのゴミの付着がないかを検査する検査装置が開示されている。これらの技術を利用して製品の組立や検査を自動化することにより作業効率を改善することができる。

特許第５１３０５０９号公報 特許第５２３９１００号公報 特開２０１４−１２１７４２号公報 特開２０１４−１２８８４１号公報 特開２０００−１４６８６３号公報

しかしながら、製品検査の現場には、上記従来技術を利用しても自動化することができず、人間が行わなければならない作業が多く残っている。例えば、複雑な形状や構造を有する製品については、ベルトコンベヤ近傍に固定設置されたカメラを利用しても、検査対象となる位置や部品をうまく撮像できず、人間が目視確認しながら検査する必要があった。特に、多品種少量生産を行う現場では、様々な製品を検査対象として熟練工による検査が行われており、検査工程の自動化が求められていた。

本発明は、上述した従来技術による問題点を解消するためになされたもので、ロボットを利用して製品の検査を効率よく行うことができる検査ロボットシステムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、製品検査を行う検査ロボットシステムであって、検査ツールを脱着可能な複数の多関節腕を有する検査ロボットと、前記検査ロボットによる検査方法を設定した検査情報を前記検査ロボットに送信すると共に、前記検査ロボットが取得した検査データを受信して検査結果を判定する制御部とを備え、前記検査ロボットは、前記検査情報に基づいて、複数種類の検査ツールの中から検査ツールを選択して各腕部に装着し、前記検査ツールをそれぞれ検査対象箇所に合わせて設定された位置及び角度に配置して検査データを取得し、取得した検査データを前記制御部へ送信することを特徴とする。

また、本発明は、上記発明において、前記制御部は、前記検査ロボットが取得した検査データと、該検査データに対応して予め準備されている検査基準データとに基づいて検査結果を判定することを特徴とする。

また、本発明は、上記発明において、前記検査ロボットは、各検査ツールを、前記検査基準データの作成時と同じ位置、姿勢になるように配置して前記検査データを取得することを特徴とする。

また、本発明は、上記発明において、前記検査情報には、１つの製品について設定された複数の検査対象箇所と、各検査対象箇所の検査に利用する検査ツールの種類及び検査方法とが設定されており、前記検査ロボットは、検査対象箇所に応じて、各腕部に装着する検査ツール及び検査方法を変更しながら、全ての検査対象箇所の検査データを取得することを特徴とする。

また、本発明は、上記発明において、前記検査情報は、製品の種類及び組立工程に合わせて準備されており、前記制御部は、検査する製品の種類及び組立工程に対応する検査情報を前記検査ロボットに送信することを特徴とする。

また、本発明は、上記発明において、前記検査ロボットは、検査データの取得を阻害する対象物を移動させて前記検査データを取得可能な状態にしてから前記検査データを取得することを特徴とする。

また、本発明は、上記発明において、前記制御部が検査対象箇所の検査結果を不合格とした場合に、前記検査ロボットが前記検査対象箇所を検査に合格できる状態にすることを特徴とする。

また、本発明は、上記発明において、前記検査ロボットは、カメラユニット及びライトユニットを検査ツールとして利用して、前記ライトユニットで検査対象箇所に対して所定の距離及び角度から光を照射しながら、前記カメラユニットで所定の距離及び角度から前記検査対象箇所を撮像して、撮像した画像を検査データとして前記制御部へ送信することを特徴とする。

また、本発明は、上記発明において、前記検査ロボットは移動可能な台座部の上に設置されており、前記台座部には複数種類の検査ツールを載置するためのテーブルが設けられていることを特徴とする。

また、本発明は、製品の画像を撮像して製品検査を行う検査ロボットシステムであって、検査ツールを脱着可能な２本の多関節腕を有する検査ロボットと、前記検査ロボットで製品を撮像した画像を該画像に対応して予め準備されているマスター画像と比較して検査結果を判定する制御部とを備え、前記検査ロボットは、複数種類の検査ツールの中から検査に適したカメラユニット及びライトユニットを選択して各腕部に装着し、前記カメラユニット及び前記ライトユニットをそれぞれ検査対象箇所に合わせた位置及び角度に配置して、前記ライトユニットから所定の光を照射しながら前記カメラユニットで前記検査対象箇所を撮像した画像を前記制御部へ出力することを特徴とする。

また、本発明は、上記発明において、前記検査ロボットは、各腕部に装着するカメラユニット及びライトユニットの種類と、前記カメラユニット及び前記ライトユニットの配置位置とを検査対象箇所に応じて変更しながら、複数の検査対象箇所の画像を撮像して、前記制御部は、各検査対象箇所の検査結果を判定することを特徴とする。

また、本発明は、上記発明において、前記制御部は、検査対象箇所を指定して該検査対象箇所の検査方法の設定を指示する命令を受けると、前記検査対象箇所を撮像して得られる画像を評価しながらカメラユニットの種類、位置及び角度と、ライトユニットの種類、位置及び角度とを決定すると共に、決定結果に基づいて前記検査対象箇所を撮像したマスター画像を生成することを特徴とする。

本発明によれば、検査対象箇所に応じて、検査に利用するカメラやライト等の検査ツールと、検査ツールを利用して検査データを取得する方法とを、予め検査情報として設定しておいて、検査ロボットで検査情報に基づく製品検査を行わせることができるので効率よく製品検査を実施することができる。

また、本発明によれば、例えば、複雑な形状を有する製品の画像を撮像して検査を行うような場合でも、検査対象箇所に応じて、カメラの種類やライトの種類を変更したり、カメラの位置及び角度、ライトの位置及び角度を変更したりすることができるので、高品質な画像を撮像して精度よく製品検査を実施することができる。

図１は、本実施形態に係る検査ロボットシステムの概要を説明する模式図である。 図２は、検査ロボットシステムの機能構成概略を示すブロック図である。 図３は、検査対象箇所と検査時のエンドエフェクタとの位置関係の例を示す模式図である。 図４は、検査対象箇所に応じて設定されたカメラユニット及びライトユニットの例を示す模式図である。 図５は、マスター画像及び検査画像の例を示す図である。 図６は、マスター画像及び検査画像に基づく検査結果の例を説明するための図である。 図７は、製品に貼り付けられたシールを検査した検査結果の例を示す図である。 図８は、検査ロボットシステムのメニュー画面を示す図である。 図９は、券売機の外観を示す模式図である。 図１０は、券売機の前面を開いて内部を露出した状態を示す模式図である。 図１１は、メニュー画面で登録モードを選択した際に表示される設定画面の例を示す図である。 図１２は、自動設定を行って得られた結果が表示された画面の例を示す図である。 図１３は、メニュー画面で検査モードを選択した際に表示される画面の例を示す図である。 図１４は、検査担当者及び検査対象装置に関する情報入力を求める画面の例である。 図１５は、検査中に表示される画面の例を示す図である。 図１６は、検査不合格となった検査対象箇所の検査結果を確認する画面の例を示す図である。

以下に、添付図面を参照して、本発明に係る検査ロボットシステムについて詳細に説明する。図１は、本実施形態に係る検査ロボットシステムの概要を説明する模式図である。また、図２は、検査ロボットシステムの機能構成概略を示すブロック図である。

検査ロボットシステムは、検査ロボット１００と、検査ロボット１００に接続された制御部１０と、制御部１０に接続された表示部２０、操作部３０及び記憶部４０とを含んでいる。制御部１０、表示部２０、操作部３０及び記憶部４０を利用して、検査ロボット１００による検査内容の設定や指示、検査結果の確認等を行うことができる。検査ロボット１００と制御部１０との間は、有線又は無線でネットワーク接続できるようになっている。

制御部１０は、例えばコンピュータ装置から成り、検査を行うために必要な検査情報を検査ロボット１００へ送信したり、検査ロボット１００が取得した検査データを受信して検査結果を判定したりする機能を有する。表示部２０は、例えば液晶表示装置から成り、テキストや画像等の各種情報を出力表示するために利用する。操作部３０は、例えばマウスとキーボード等から成り、表示部２０に表示された情報を確認しながら、検査に関する設定や指示を行う各種情報を入力するために利用する。

記憶部４０は、例えば不揮発性の記憶装置から成る。図２に示すように、記憶部４０には、検査情報データ４１、マスターデータ４２及び検査データ４３が保存されている。検査情報データ４１は、検査ロボット１００を利用して、検査対象から検査データを得るための検査情報を含んでいる。マスターデータ４２は、検査ロボット１００で得られた検査データを評価するための検査基準データを含んでいる。検査データ４３は、検査ロボット１００を利用して行った検査に関する情報や、検査で得られた検査結果を含んでいる。また、記憶部４０は、制御部１０の動作に必要となるプログラムの保存やデータの一時保存にも利用される。

検査ロボット１００は、図１に示すように、頭部、胴体部、右腕部及び左腕部を有している。これら各部を関節で接続すると共に、各部が関節を含む構成とすることで、各部を所定範囲内で自由に動かせるようになっている。図１には示していないが、検査ロボット１００は、底面にキャスターを設けた台座の上に固定されている。また、検査ツールとして利用するカメラユニット２００ｂやライトユニット２１０等のエンドエフェクタを載置するテーブル５０も台座に設けられており、台座を移動させることによって、検査ロボット１００及びエンドエフェクタを移動できるようになっている。

検査ロボット１００は、図２に示すように、ロボット制御部１１０と、頭部を駆動する頭部駆動部１２０と、頭部に設けられた頭部カメラ１２１と、胴体部を駆動する胴体部駆動部１３０と、右腕部及び左腕部を駆動する腕部駆動部１４０と、右腕部及び左腕部のそれぞれに設けられた腕部カメラ１４１と、右腕部及び左腕部のそれぞれに接続された各エンドエフェクタを駆動するエンドエフェクタ駆動部１５０とを有している。

制御部１０が、予め検査情報データ４１に準備されている検査情報をロボット制御部１１０へ送信すると、ロボット制御部１１０は、検査情報に基づいて各部１２０〜１５０を制御して検査を実行し、得られた検査データを制御部１０へ送信する。そして、制御部１０が、検査ロボット１００で得られた検査データと、この検査データに対応して予めマスターデータ４２に準備されている検査基準データとを比較して検査結果の判定を行うようになっている。

検査ロボット１００の右腕部の先端及び左腕部の先端には接続部が設けられており、頭部カメラ１２１及び腕部カメラ１４１を利用して、この接続部に対応して準備されたエンドエフェクタを腕部に脱着できるようになっている。

検査ロボット１００の頭部には、人間の両目の間隔と同程度に距離を離して配置された２つの頭部カメラ１２１が設けられている。また、検査ロボット１００の右腕部には腕部カメラ１４１が設けられ、左腕部にも腕部カメラ１４１が設けられている。ロボット制御部１１０は、頭部駆動部１２０を制御して頭部を動かしながら頭部カメラ１２１によって周囲を撮像し、各腕部の接続部とエンドエフェクタとの位置関係を認識する。そして、腕部駆動部１４０を制御して腕部をエンドエフェクタへ近付けて、腕部カメラ１４１でエンドエフェクタをとらえると、腕部カメラ１４１を利用して接続部とエンドエフェクタとの位置関係を認識する。そして、腕部駆動部１４０を制御して接続部の先端にエンドエフェクタを装着する。腕部からエンドエフェクタを取り外す際にも、同様に、頭部カメラ１２１及び腕部カメラ１４１を利用して、腕部、腕部の接続部及びエンドエフェクタと、テーブル５０との位置関係を認識し、テーブル５０上でエンドエフェクタを取り外す。

このように、検査ロボット１００は、頭部カメラ１２１を利用して周囲の様子を認識しながら右腕部及び左腕部を物体に近付ける。そして、各腕部の腕部カメラ１４１を利用して物体の位置や物体までの距離を認識しながら各腕部の動きを制御することにより、エンドエフェクタの脱着や検査を行う。

図１に示すテーブル５０は、検査ロボット１００が、エンドエフェクタを取扱可能な領域内に設けられている。カメラユニット２００（２００ａ、２００ｂ）、ライトユニット２１０（２１０ａ、２１０ｂ）、ハンドユニット２２０等の複数種類のエンドエフェクタを、検査ツールとしてテーブル５０上に配置すれば、ロボット制御部１１０が各部を制御して、作業内容に応じて必要なエンドエフェクタを選択し、これを右腕部及び左腕部のそれぞれに装着して利用することができる。また、検査内容や作業内容に応じて、エンドエフェクタを交換することもできる。

各腕部にエンドエフェクタを装着すると、エンドエフェクタへの電源供給が開始され、ロボット制御部１１０とエンドエフェクタとの間でデータ通信可能な状態となる。例えば、エンドエフェクタが、モータと、モータの回転を制御するエンドエフェクタ駆動部１５０とを含む場合には、このエンドエフェクタを腕部に接続すると、ロボット制御部１１０がエンドエフェクタ駆動部１５０に制御信号を送信してモータを制御できるようになる。また、エンドエフェクタが、ライトと、ライトの光量、波長、発光方法等を制御するエンドエフェクタ駆動部１５０とを含む場合には、このエンドエフェクタを腕部に接続すると、ロボット制御部１１０がエンドエフェクタ駆動部１５０に制御信号を送信してライトを制御できるようになる。また、エンドエフェクタが、カメラと、カメラのズーミングやピント調整を制御するエンドエフェクタ駆動部１５０とを含む場合には、このエンドエフェクタを腕部に接続すると、ロボット制御部１１０がエンドエフェクタ駆動部１５０に制御信号を送信してカメラを制御できるようになる。

これにより、図１に示すように、カメラユニット２００を腕部に装着した場合には、カメラで静止画像や動画像等の画像を撮像し、制御部１０へ入力することが可能となる。また、ライトユニット２１０を腕部に装着した場合には、ライトから照射する光の種類、光量、発光方法等を調整することができる。

多関節腕を有するロボットの基本的な機能及び動作については従来技術を利用することができるので詳細な説明は省略し、以下では、説明を簡単にするため、ロボット制御部１１０、頭部駆動部１２０、頭部カメラ１２１、胴体部駆動部１３０、腕部駆動部１４０、腕部カメラ１４１、エンドエフェクタ駆動部１５０によって実現する機能及び動作を、検査ロボット１００によるものとして記載する。また、以下では、エンドエフェクタとして、図１に示すカメラユニット２００、ライトユニット２１０及びハンドユニット２２０を利用する場合を例に検査ロボット１００による製品検査の方法について説明する。

検査ロボット１００がエンドエフェクタを利用して作業を行える範囲内に、検査対象とする製品３００を図１に示すように設置して、製品検査を開始する。検査を開始すると、検査ロボット１００は、頭部カメラ１２１によって製品３００を撮像した画像を制御部１０へ出力する。なお、図１では、製品３００と検査ロボット１００との間にテーブル５０が配置された例を示しているが、テーブル５０の位置は、検査ロボット１００の側方や後方へ変更することもできる。

制御部１０は、検査ロボット１００で得られた画像から製品３００の種類を認識すると共に、記憶部４０の検査情報データ４１を参照して、この製品３００に対応する検査情報を取得する。検査情報データ４１には、製品の種類毎に予め準備された検査情報が含まれている。検査情報には、製品に設定された検査対象箇所の位置、検査に必要となるエンドエフェクタの種類、検査時に各エンドエフェクタを配置する位置及び角度（姿勢）、エンドエフェクタを利用して取得する検査データの種類、検査データの取得方法等の情報が含まれている。すなわち、検査情報には、検査ロボット１００が、どのエンドエフェクタを利用して、製品のどこをどのように検査すべきであるかを示す情報が含まれている。

制御部１０が、記憶部４０から取得した検査情報を検査ロボット１００に入力すると、検査ロボット１００は、製品３００の検査を開始する。検査ロボット１００は、まず、製品３００の位置や向きを認識する。

例えば、検査情報には、製品３００に含まれる所定部品の位置及び形状に関する情報が含まれている。検査ロボット１００は、頭部カメラ１２１及び腕部カメラ１４１を利用して、基準となる部品を認識する。そして、認識した部品の位置及び形状に基づいて所定の座標空間を設定することにより、検査情報で指定された位置に、指定された角度で、エンドエフェクタを配置できるようになる。

なお、製品３００がターンテーブル上に設置されている場合には、製品３００が検査ロボット１００と正対するように、検査ロボット１００がターンテーブルを回転させるよう設定することもできる。検査ロボット１００は、製品３００の筐体や所定部品の認識結果に基づいて製品３００との位置関係を認識し、ターンテーブルを回転させる。この場合は、ターンテーブルが回転して、製品３００が検査ロボット１００と正対する位置となった後、基準となる所定部品の位置及び形状を認識して所定の座標空間を設定する処理を実行する。また、図１に示すように、製品３００の前面扉を開いて内部を検査するような場合には、検査ロボット１００に前面扉の位置を認識させて、前面扉が検査を阻害する位置にある場合には、検査を阻害しない位置へ前面扉を移動させるように設定することもできる。

検査情報には、検査に利用するカメラユニット２００及びライトユニット２１０の種類を指示する情報と、カメラユニット２００及びライトユニット２１０をそれぞれ左右いずれの腕部に装着するかを指示する情報とが含まれている。検査ロボット１００は、これらの指示情報に基づいて、例えば図１に示すように、指定のカメラユニット２００ａ及びライトユニット２１０ａを、それぞれ指定された腕部に装着する。

また、検査情報には、製品３００について設定された座標空間内のどの位置でどの角度からライトユニット２１０ａの光を照射するかを指示する情報と、どの位置でどの角度からカメラユニット２００ａで画像を撮像するかを指示する情報とが含まれている。検査ロボット１００は、これらの指示情報に基づいて、カメラユニット２００ａ及びライトユニット２１０ａをそれぞれ所定位置に所定の姿勢で配置して、製品３００を撮像する。

検査ロボット１００は、３次元空間内で右腕部及び左腕部を自由に動かすことができる。このため、検査対象箇所の位置や向きに応じて、カメラユニット２００及びライトユニット２１０を適切な位置へ移動させることができる。図３は、検査対象箇所と検査時のエンドエフェクタとの位置関係の例を示す模式図である。図３では、製品３００の一部領域を側方から見た断面を模式的に示している。

例えば、図３（ａ）に示すように、上面３０１ｂに設定された検査対象箇所３０２ｂを撮像する際には、カメラユニット２００及びライトユニット２１０を検査対象箇所３０２ｂの上方へ移動させて、検査対象箇所３０２ｂにある部品等を撮像することができる。また、正面３０１ａ（図面右側）に設定された検査対象箇所３０２ａを撮像する際には、カメラユニット２００及びライトユニット２１０を検査対象箇所３０２ａの正面（図面右側）へ移動させて、検査対象箇所３０２ａにある部品等を撮像することができる。このように、検査対象箇所３０２ａ、３０２ｂの位置に応じて、カメラユニット２００及びライトユニット２１０を適切な位置へ移動させることができるので、製品検査に利用可能な高品質な画像を撮像することができる。

また、例えば、図３（ａ）に示すように、ドロア３０１ｃの内部にある部品３０２ｃは、外部から撮像しようとしても、ドロア３０１ｃによって阻害され画像を取得することができない。このような場合に、検査ロボット１００は、図１に示すハンドユニット２２０を利用して、図３（ｂ）に示すようにドロア３０１ｃを手前側に引き出す。そして、エンドエフェクタをカメラユニット２００及びライトユニット２１０に交換して、ライトユニット２１０でドロア３０１ｃの内部を照らしながら、カメラユニット２００で部品３０２ｃを撮像する。このように、ドロア３０１ｃ内に所定部品３０２ｃが組み付けられているか否かを検査したい場合にも、検査対象箇所をドロア３０１ｃ内に設定して検査を行うことができる。また、検査後には、再びエンドエフェクタをハンドユニット２２０に交換して、ドロア３０１ｃを閉じて図３（ａ）に示す状態へ戻してから検査を終了することもできる。このような検査ロボット１００の動作は、全て検査情報で設定することができる。

検査ロボット１００は、検査対象箇所として設定された領域の大きさ、検査ロボット１００から検査対象箇所までの距離等に応じて、検査対象箇所の撮像に適したカメラユニット２００及びライトユニット２１０を選択して利用する。図４は、検査対象箇所に応じて設定されたカメラユニット２００及びライトユニット２１０の例を示す模式図である。図４では、カメラユニット２００による撮像範囲を実線で示し、ライトユニット２１０（２１０ａ〜２１０ｃ）による光の照射範囲を破線で示している。

例えば、凹凸のある部品を対象として検査対象箇所を設定して、この部品のエッジが明確となるように画像を撮像したい場合には、図４（ａ）に示すように、複数のＬＥＤ光源を環状に配置したリングライトから成るライトユニット２１０ａを、検査対象箇所３０３へ近付けて配置して、検査対象箇所３０３を周囲から照らしながら、カメラユニット２００による撮像を行う。また、例えば、サイズの大きい部品を対象として検査対象箇所を設定して撮像する場合等、広範囲を撮像したい場合には、図４（ｂ）に示すように、リングライトから成るライトユニット２１０ｂを検査対象箇所３０４から離れた位置に配置して、検査対象箇所３０４全体を照らしながら撮像する。

検査ロボット１００では、検査対象箇所３０３、３０４の位置や状態にバラツキがある場合でも、検査時にカメラユニット２００から出力される画像を評価しながら、カメラユニット２００の位置や角度を調整したり、ライトユニット２１０の位置や角度を調整したりすることができる。検査情報で指定された位置及び角度にカメラユニット２００及びライトユニット２１０を配置した後、カメラユニット２００で得られた画像の品質に基づいて、カメラユニット２００及びライトユニット２１０の配置位置を調整すれば、白飛びや黒つぶれを抑えて焦点が合った高品質な画像を取得することができる。このような検査ロボット１００によるエンドエフェクタの位置調整動作についても、検査情報で設定することができる。

また、例えば、製品筐体の傷や汚れを確認したい場合には、図４（ｃ）に示すように、複数のＬＥＤ光源を線上に配置したライトユニット２１０ｃで、斜め方向から筐体へ光を照射しながら画像を撮像する。これにより、撮像した画像に、筐体表面を引っ掻いた傷３０５や筐体表面に付着した汚れの影等が写りやすくなる。

検査時には、例えば、ライトユニット２１０ｃの配置位置を固定した状態でカメラユニット２００の位置や角度を変更したり、カメラユニット２００の配置位置を固定した状態でライトユニット２１０ｃの位置や角度を変更したりすることで、筐体表面の傷や汚れの有無を詳細に検査することができる。また、ライトユニット２１０ｃ及びカメラユニット２００を移動させながら筐体を走査するように画像を撮像すれば、筐体全面の品質検査を行うことができる。このような検査ロボット１００による検査時の動作についても、検査情報で設定することができる。

このように、カメラユニット２００及びライトユニット２１０の種類、位置、角度等を検査対象箇所に合わせて設定し、設定した情報を検査情報として予め準備しておくことで、検査時には検査対象箇所の種類、及び検査したい内容に応じて撮像した高品質画像を取得することができる。

また、検査時のカメラユニット２００及びライトユニット２１０の位置及び角度の指定については、固定された位置を指定して１枚の画像を撮像する態様の他、カメラユニット２００及びライトユニット２１０の少なくともいずれか一方を、所定の範囲内で動かしながら、各位置で画像を撮像するように指定したり、所定の範囲内で撮像した画像の中から所定条件を満たす画像を検査対象画像とするように指定したりする態様であっても構わない。同じ検査対象箇所に対して、撮像条件を変更しながら複数枚の画像を撮像して、各画像の白飛び、黒つぶれ、合焦状態等を評価し、最良の画像を選択して検査画像とするよう設定する。また、例えば、同じ検査対象箇所に対して、撮像条件を変更しながら複数枚の画像を撮像して、検査基準データとして予め準備されているマスター画像との類似度が最大値となる画像を選択して検査画像とするよう設定する。

こうして検査ロボット１００が検査対象箇所を撮像した検査画像が得られると、制御部１０は、検査画像と、検査画像に対応して予め準備されているマスター画像とを比較して検査結果の判定を行う。記憶部４０のマスターデータ４２には、検査情報で設定されている各検査対象箇所に対応するマスター画像が予め準備されている。製品３００を撮像して得られた検査画像と、マスター画像とを比較して、所定の範囲内で一致すれば検査結果は合格と判定され、一致しなければ不合格と判定される。

図５は、マスター画像４００及び検査画像５００の例を示す図である。図５に示すマスター画像４００は、２つの検査対象箇所４０１ａ、４０１ｂに含まれるネジが、忘れずに製品３００に組み付けられていることを検査するための画像である。

図５（ａ）に示すように、検査ロボットシステムでは、１つのマスター画像４００上で、複数の検査対象箇所４０１ａ、４０１ｂを設定できるようになっている。マスター画像４００と、マスター画像４００について設定された各検査対象箇所４０１ａ、４０１ｂの位置及びサイズを示す情報は、検査情報データ４１の検査情報に含まれている。

図５の例では、製品３００を撮像した検査画像５００の中に、マスター画像４００に設定された検査対象箇所４０１ａ、４０１ｂに対応して２本のネジが存在すれば検査結果は合格となり、ネジが１本しか存在しない場合及びネジが１本も存在しない場合には不合格となる。なお、マスター画像４００と検査画像５００との比較は、例えば、正規化相関を利用して類似度を算出することによって行うが、これについては従来技術を利用することができるので以下では検査方法の概略を説明する。

制御部１０は、製品３００の検査を開始して、図５（ｂ）に示す検査画像５００が得られると、記憶部４０のマスターデータ４２を参照して、この検査画像５００に対応して保存されている図５（ａ）のマスター画像４００を読み出す。また、制御部１０は、検査情報データ４１を参照して、マスター画像４００上に設定されている検査対象箇所４０１ａ、４０１ｂの位置及びサイズを認識する。

そして、制御部１０は、図５（ｂ）に示す検査画像５００上で、同図（ａ）に示す検査対象箇所４０１ａに対応する領域を設定した後、この領域の中心位置はそのままに縦横のサイズを２倍に拡大した探索領域５０１ａを設定する。続いて、制御部１０は、マスター画像４００から切り出した検査対象箇所４０１ａの部分画像で探索領域５０１ａ内を走査して、検査対象箇所４０１ａに対応する部分領域５０２ａを特定する。マスター画像４００に設定されているもう１つの検査対象箇所４０１ｂについても、同様に、検査画像５００上に、縦横のサイズを拡大した探索領域５０１ｂを設定して、この探索領域５０１ｂ内で、検査対象箇所４０１ｂに対応する部分領域５０２ｂを特定する。なお、探索領域５０１ａ、５０１ｂ内での部分領域５０２ａ、５０２ｂの探索は、テンプレートマッチング等の技術を利用して行う。

このように、検査画像５００上に、マスター画像４００に設定された検査対象箇所４０１ａ、４０１ｂよりも広い探索領域５０１ａ、５０１ｂを設定して、検査対象箇所４０１ａ、４０１ｂに対応する部分領域５０２ａ、５０２ｂを探索することにより、製品３００の部品や組立に起因するバラツキがある場合でも、検査対象とする領域を特定して正確に検査を行うことができる。なお、図５では、検査対象箇所４０１ａ、４０１ｂに対して探索領域５０１ａ、５０１ｂの縦横を２倍に拡大する例を示しているが、探索領域の拡大率は検査対象や検査画像に応じて設定される。各検査対象箇所に対応する拡大率についても、検査情報で設定することができる。

検査画像５００上で、マスター画像４００に設定された各検査対象箇所４０１ａ、４０１ｂに対応する部分領域５０２ａ、５０２ｂを特定すると、制御部１０は、各検査対象箇所４０１ａ、４０１ｂの画像と、特定した各部分領域５０２ａ、５０２ｂの画像とを比較して検査結果の判定を行う。

図６は、マスター画像４００及び検査画像５００に基づく検査結果の例を説明するための図である。図６（ａ）左側の画像は、マスター画像４００から、検査対象箇所４０１ａとして設定された部分領域を切り出した部分画像４１１ａを示している。図６（ａ）右側の画像は、検査画像５００から、検査対象箇所４０１ａに対応する部分領域５０２ａを切り出した部分画像５１２ａを示している。これらの２つの部分画像４１１ａ、５１２ａを、正規化相関を利用して評価すると、予め設定された所定の閾値を超える類似度が得られるので、検査結果は合格、すなわち忘れずにネジが組み付けられていると判定される。

図６（ｂ）左側の画像は、マスター画像４００から、検査対象箇所４０１ｂとして設定された部分領域を切り出した部分画像４１１ｂを示している。図６（ｂ）右側の画像は、検査画像５００から、検査対象箇所４０１ｂに対応する部分領域５０２ｂを切り出した部分画像５１２ｂを示している。これらの２つの部分画像４１１ｂ、５１２ｂを、正規化相関を利用して評価すると、予め設定された所定の閾値より低い類似度が得られるので、検査結果は不合格、すなわちネジの組み忘れがあると判定される。この結果、図５に示す検査画像５００に基づく検査結果は不合格となる。

このように、製品検査用に予め準備されているマスター画像４００と、検査ロボット１００を利用してマスター画像４００と比較可能に撮像した検査画像５００とに基づいて、ネジの組み忘れ等を発見する検査を行うことができる。

この他、部品の組み忘れや組付不良、シールの貼り忘れや貼付不良等の検査についても、同様にマスター画像及び検査画像を利用して行うことができる。例えば、図７は、製品に貼り付けられたシールを検査した検査結果の例を示す図である。図７（ａ）は、マスター画像を示し、同図（ｂ）は検査画像を示している。これら２つの画像を比較して得られる類似度は、予め設定された所定の閾値より低くなる。このため、検査結果は不合格となり、図７（ｂ）に示すように、シールの一部が浮いた状態で貼り付けられた貼付不良を検査によって発見することができる。

なお、注意書きや説明書き等の文字を含むシールの検査については、正規化相関等を利用した画像比較によって判定を行う態様の他、検査基準データとして、シールに含まれる所定文字列の内容を準備しておいて、製品３００を撮像した検査画像から、同一の文字列を読み取れるか否かに応じて検査を行うようにしてもよい。

また、シールを検査する際には、貼付位置の検査を行うこともできる。貼付位置の検査を行う場合には、例えば、筐体の一部と、シールとが同じ画像内に含まれるように画像を撮像して、筐体とシールの位置関係からシールの貼付位置を評価して検査結果を判定する。

次に、券売機を検査対象とする場合を例に、検査ロボットシステムの具体的な動作例について説明する。制御部１０を起動すると、表示部２０の画面上には、初期画面として、メニュー画面が表示される。

図８は、検査ロボットシステムのメニュー画面を示す図である。このメニュー画面で、登録モード又は検査モードを選択して実行することができる。登録モードは、検査対象箇所の検査情報、検査基準データ等を設定して、記憶部４０の検査情報データ４１及びマスターデータ４２に登録するためのモードである。検査モードは、記憶部４０の検査情報データ４１及びマスターデータ４２を参照して、予め登録されている検査情報及び検査基準データに基づいて製品検査を行うためのモードである。

まず、券売機を例に、登録モードについて説明する。図９は、券売機３３０の外観を示す模式図である。また、図１０は、券売機３３０の前面を開いて内部を露出した状態を示す模式図である。図１に示すように、検査ロボット１００の正面側に設定された所定領域内に券売機３３０を設置して、図８に示すメニュー画面上で登録モードを選択して、検査情報及び検査基準データの設定を開始する。なお、マスター画像等、検査に合格する基準となる検査基準データを取得するため、登録モードでは、検査に合格する券売機３３０を利用して設定操作を行う。

登録モードを選択すると、検査時に、登録モードで設定した検査位置を正確に再現できるように、券売機３３０の内外に検査用の座標空間を設定するための基準設定が行われる。例えば、図１０に示すように、券売機３３０の前面を開いて内部を検査する際には、券売機３３０の本体前面下部に組み付けられる所定部品３４０を基準として座標空間を決めるように設定する。この座標空間を利用してカメラユニット２００やライトユニット２１０の空間座標を設定すれば、検査時には、まず所定部品３４０の位置及び形状を認識して座標空間を設定して、登録モードで設定したカメラユニット２００及びライトユニット２１０の位置を再現することができる。

例えば、図１０に示すように、券売機３３０内に貼り付けられている注意書きや説明書きのシール３８０の貼付不良を検査するための検査情報及び検査基準データを設定する場合には、シール３８０の大きさや、シール３８０から検査ロボット１００までの距離に応じて、カメラユニット２００及びライトユニット２１０の種類を選択する。そして、選択したカメラユニット２００及びライトユニット２１０で、白飛びや黒つぶれがなく合焦したシール３８０の画像を撮像できるように、シール３８０を照らすライトユニット２１０の位置及び角度と、シール３８０を撮像するカメラユニット２００の位置及び角度とを設定する。こうして設定したカメラユニット２００及びライトユニット２１０の種類、カメラユニット２００及びライトユニット２１０の位置及び角度を、検査情報として、記憶部４０の検査情報データ４１に登録する。また、この登録内容に基づいて撮像したシール３８０の画像を、マスター画像として、記憶部４０のマスターデータ４２に登録する。券売機３３０の内部に組み付けられている部品３６０やネジ３７０についても、同様に、組み忘れを発見するための検査情報やマスター画像を記憶部４０に登録することができる。

また、図９に示す券売機３３０の前面を対象に検査内容を設定することもできる。この場合も、筐体３５０等を基準に座標空間を決定するように設定した後、検査情報及び検査基準データの設定を開始する。

例えば、エンドエフェクタとして、鍵を掴んで鍵穴３３５に差し込み、鍵を回転する際に鍵に作用する回転トルクを計測可能なユニットを準備する。そして、このユニットで掴んだ鍵を、図９に示す券売機３３０の鍵穴３３５に差し込んで解錠及び施錠を行う際のトルクを計測するように検査情報を設定して、記憶部４０の検査情報データ４１に登録する。また、計測したトルクの値を合格と判定する数値範囲を設定して、検査基準データとして、記憶部４０のマスターデータ４２に登録する。これにより、製品検査では、所定のトルクで、鍵による解錠及び施錠ができるか否かを検査することができる。

また、例えば、エンドエフェクタとして、テスト用の硬貨及び紙幣を掴んで、券売機３３０の硬貨投入口３３３及び紙幣投入口３３４のそれぞれに投入可能なユニットを準備する。そして、このユニットで掴んだ硬貨や貨幣を券売機３３０に投入して、対応するＬＥＤ３３１及びボタン３３６の画像を撮像するように検査情報を設定して、記憶部４０の検査情報データ４１に登録する。また、この登録内容に基づいて撮像した画像を、マスター画像として、記憶部４０のマスターデータ４２に登録する。これにより、製品検査では、券売機３３０に貨幣を投入した際に、対応するＬＥＤ３３１や、ボタン３３６に内蔵されているＬＥＤが点灯するか否かを検査することができる。

また、貨幣を投入した後に続いて返却ボタン３３２を操作して、硬貨取出口３３７の内部及び紙幣投入口３３４を撮像するように検査情報を設定して、記憶部４０の検査情報データ４１に登録する。そして、撮像した画像が硬貨及び紙幣を含む画像となっていれば検査結果を合格とするように検査基準データを設定して、記憶部４０のマスターデータ４２に登録する。これにより、製品検査では、返却ボタン３３２を操作することにより、硬貨が硬貨取出口３３７に返却され、紙幣が紙幣投入口３３４から返却されることを検査することができる。なお、硬貨取出口３３７には、硬貨の飛び出しを防止するカバーが設けられているが、一方の腕部に装着したハンドユニット２２０でカバーを開いて、他方の腕部に装着したカメラユニット２００で内部の硬貨の画像を撮像するよう検査情報を設定することができる。また、硬貨取出口３３７に返却された硬貨及び紙幣投入口３３４に返却された紙幣を回収して検査を終えるように検査情報を設定することもできる。

また、例えば、実際の券売機３３０の使用を再現して、券取出口３３８に所定の情報が印字された券を発券させて、発券時の液晶表示部３３９の画像と、発券された券の画像とを撮像するように検査情報を設定して、記憶部４０の検査情報データ４１に登録する。そして、検査合格となる液晶表示部３３９の画像と、検査合格となる券を撮像した画像とを、マスター画像として、記憶部４０のマスターデータ４２に登録する。これにより、製品検査では、実際に発券処理を行って、液晶表示部３３９の動作や、発券処理の動作を検査することができる。

検査ロボットシステムでは、検査に必要なエンドエフェクタを準備して、検査時に検査ロボット１００の右腕部及び左腕部に装着する各エンドエフェクタの種類、各エンドエフェクタの動かし方、各エンドエフェクタを利用して行う検査データの取得方法、取得した検査データの判定方法を設定することにより、様々な検査を行うことができる。例えば、検査画像の撮像方法を設定する際には、白飛びや黒つぶれがなく、焦点が合い、検査に適した高品質画像を得られるように、撮像に利用するカメラユニット２００及びライトユニット２１０の種類を選択し、カメラユニット２００及びライトユニット２１０の位置や角度等、検査画像の撮像方法を設定する。例えば、従来、熟練工が行っていた検査内容を参考に撮像方法を設定すれば、従来同様の検査を、検査ロボット１００を利用して効率よく行うことができる。

検査ロボットシステムでは、検査情報及び検査基準データの登録を、検査ロボット１００、表示部２０及び操作部３０を利用しながら手動で行うが、検査画像及びマスター画像を利用して行う検査については、部品やネジ等を対象とする検査対象箇所の位置を指定して、検査対象箇所に応じた検査情報及び検査基準データを自動設定させることも可能となっている。

図１１は、図８に示すメニュー画面で登録モードを選択した際に表示される設定画面の例を示す図である。図１１に示す画面を確認しながら、操作部３０を操作して、機種、仕様及びユニットの項目に、それぞれ券売機３３０の機種名、仕様及びユニットの情報を入力する。なお、ユニットとは券売機３３０の製造組立の工程を示す情報である。工程によって券売機３３０の組立状況が異なるため、工程に応じた検査内容を設定できるようになっている。

券売機３３０に関する情報を入力した後、図１１に示す画面の検査位置の項目に、券売機３３０に設定された検査対象箇所を示す番号を入力する。そして、画面上で手動設定ボタンを押せば、上述したように、エンドエフェクタの種類や検査方法等を含む検査情報と、マスター画像等の検査基準データとを手動設定することができる。

一方、図１１に示す画面上で検査対象箇所を指定して自動設定ボタンを押せば、自動設定を開始することができる。具体的には、検査ロボット１００の頭部カメラ１２１や腕部カメラ１４１を利用して、図１０に示す券売機３３０内部を撮像する。そして、図１１に示すように、撮像した画像６０１を表示部２０の画面上に表示した状態で、操作部３０を操作して、検査対象箇所を囲うように領域６０２を指定する。領域６０２を指定した状態で画面上の自動設定ボタンを押すと、制御部１０は、指定領域６０２を検査するための検査情報及び検査基準データを自動設定する処理を開始する。なお、図１１の例は、券売機３３０内部に貼り付けられたシールを検査対象として指定した場合を示している。

まず、制御部１０は、検査ロボット１００の頭部カメラ１２１や腕部カメラ１４１を利用して、図１０に示す券売機３３０の内部を撮像し、指定領域６０２のシールの位置を認識する。そして、制御部１０は、検査ロボット１００から指定領域６０２までの距離や、指定領域６０２の大きさ等に基づいて、撮像に適したカメラユニット２００及びライトユニット２１０の種類を選択する。また、制御部１０は、検査ロボット１００と指定領域６０２との位置関係に基づいて、選択したカメラユニット２００及びライトユニット２１０をそれぞれ右腕部及び左腕部のいずれに装着するかを決定する。

続いて、右腕部及び左腕部のそれぞれに、選択したカメラユニット２００及びライトユニット２１０を装着した検査ロボット１００は、検査対象箇所として指定された指定領域６０２を撮像する。制御部１０は、検査ロボット１００を制御して、カメラユニット２００及びライトユニット２１０を配置する位置や角度を変更しながら指定領域６０２にあるシールを撮像して、得られた画像で画像の歪、白飛び、黒つぶれ、合焦状態等を評価する。このとき、カメラユニット２００及びライトユニット２１０の位置や角度を変更しても検査に利用できる高品質な画像が得られない場合には、制御部１０は、右腕部と左腕部との間でカメラユニット２００とライトユニット２１０を持ちかえたり、カメラユニット２００の種類やライトユニット２１０の種類を変更したりするなどして、得られる画像の改善を試みる。そして、検査に利用可能な、最良の画像を取得できるカメラユニット２００及びライトユニット２１０の種類、カメラユニット２００の位置及び角度、ライトユニット２１０の位置及び角度等の条件を決定すると、制御部１０は、決定した条件と、この条件で撮像した画像とを表示部２０に表示する。

図１２は、自動設定を行って得られた結果が表示された画面の例を示す図である。図１２に示すように、画面右側には、左腕部について設定されたライトユニット２１０の種類、ライトユニット２１０の位置及び角度等の情報が表示される。また、同様に、右腕部について設定されたカメラユニット２００の種類、カメラユニット２００の位置及び角度等の情報が表示される。そして、これらの設定情報の左側には、設定された条件で撮像した画像６０３が表示される。

こうして制御部１０によって自動設定された条件と、この条件で撮像された画像６０３とを画面上で確認して、問題がなければ、画面上の登録ボタンを押す。これにより、指定領域６０２を検査対象箇所として自動設定した条件を、検査情報として、記憶部４０の検査情報データ４１に登録することができる。また、登録した検査情報に基づいて指定領域６０２を撮像した画像６０３を、マスター画像として、記憶部４０のマスターデータ４２に登録することができる。

一方、自動設定された条件や画像６０３に問題があると判断した場合には、図１２に示す画面上で、左腕部について設定された条件、右腕部について設定された条件を手動で変更することができる。条件を変更すると、制御部１０から検査ロボット１００へ変更情報が送信される。そして、検査ロボット１００が変更後の条件で指定領域６０２を撮像した画像６０３が、表示部２０の画面上に表示される。この画像６０３を確認して、マスター画像として利用可能になったと判断した場合には、登録ボタンを押して、変更後の条件で、検査情報及びマスター画像データを登録することができる。

なお、検査情報及びマスター画像を記憶部４０に登録する際には、先に入力した券売機３３０の機種、仕様、ユニット、及び検査位置を示す情報と関連付けられた状態で登録される。すなわち、図１２に示す各情報が関連付けられた状態で登録される。

自動設定された検査情報及びマスター画像の登録を終えると、図１１に示す画面に戻る。このとき、画面上の検査位置の番号が「２」に変更され、２つ目の検査対象箇所を登録する画面となる。一方、図１２に示す画面上でキャンセルボタンを押して自動設定をキャンセルした場合には、図１１に示す画面に戻り、番号「１」の１つ目の検査対象箇所について設定をやり直すことになる。

図１１及び図１２に示す画面で操作を行いながら、手動設定又は自動設定で、部品、ネジ、シール、筐体等について検査情報及び検査基準データを設定する。全ての検査対象箇所についての設定を終えると、図１１に示す終了ボタンを押して登録モードの動作を終了する。登録モードを終了すると、表示部２０の画面は図８に示すメニュー画面に戻る。なお、図１１に示す画面でキャンセルボタンを押すと、登録モードで行った全ての操作をキャンセルしてメニュー画面に戻ることができる。

次に、券売機３３０を例に、検査モードについて説明する。登録モードで、手動設定又は自動設定により券売機３３０を検査するための検査情報及び検査基準データの登録を行った後、登録内容を利用して、券売機３３０の検査を行えるようになる。図１に示すように、検査ロボット１００の正面側に設定された所定領域内に、検査対象とする券売機３３０を設置して、図８に示すメニュー画面で検査モードを選択して検査を開始すると、表示部２０の画面上には図１３に示す画面が表示される。

図１３は、メニュー画面で検査モードを選択した際に表示される画面の例を示す図である。画面上部にある機種、仕様及びユニットの項目に、検索したい情報を入力して検索ボタンを押せば、検査可能な機種、仕様及びユニットが検索され、検索結果が画面下側に一覧表示される。

券売機３３０の内部を検査したい場合には、図１３に示すように、実行したい検査に対応する検査情報のチェックボックスにチェックを入れて、画面上の選択ボタンを押す。このとき、同じ製品について実施可能な２種類の検査内容が設定されている場合には、図１３に示す画面上で複数のチェックボックスにチェックを入れて検査を開始することも可能となっている。なお、図１３に示す画面でキャンセルボタンを押すと、検査モードの実行がキャンセルされて、図８に示すメニュー画面に戻るようになっている。

図１３に示す画面上で選択ボタンを押すと、制御部１０は、検査を担当する担当者と、検査対象とする券売機３３０の製造番号の入力を求める情報を表示部２０の画面上に表示する。図１４は、検査担当者及び検査対象装置に関する情報入力を求める画面の例である。検査を開始した担当者が、図１４に示す画面で操作部３０を操作して、担当者氏名又は担当者を特定可能な識別番号等の情報と、検査対象とする券売機３３０の製造番号とを入力して検査開始ボタンを押すと、検査ロボット１００による券売機３３０の検査が開始される。

検査が開始されると、制御部１０は、記憶部４０の検査情報データ４１及びマスターデータ４２を参照して、図１３に示す画面で選択された検査情報と、検査情報に対応して保存されている検査基準データとを読み出す。そして、検査情報を検査ロボット１００に送信する。

具体的には、制御部１０が、図１０に示す券売機３３０内部を検査するために設定された検査情報を検査ロボット１００へ入力する。これを受けて、検査ロボット１００が、図１〜図７を参照しながら説明したように、右腕部及び左腕部のそれぞれに、指定されたカメラユニット２００及びライトユニット２１０を装着する。そして、検査ロボット１００は、ライトユニット２１０を指定位置へ移動させて指定角度から光を照射する。また、検査ロボット１００は、カメラユニット２００を指定位置へ移動させて指定角度から画像を撮像する。

１つ目の検査対象箇所の撮像を終えた後、２つ目の検査対象箇所を撮像するために、右腕部及び左腕部の間でカメラユニット２００及びライトユニット２１０を持ち替えたり、画像撮像に使用するカメラユニット２００の種類やライトユニット２１０の種類を変更したりする必要がある場合には、検査ロボット１００は、カメラユニット２００及びライトユニット２１０の持ち替え、カメラユニット２００及びライトユニット２１０の種類の変更等、必要な動作を行った後、２つ目の検査対象箇所の撮像を行う。

こうして、検査ロボット１００が、予め設定されている検査対象箇所を撮像すると、得られた検査画像が、表示部２０の画面上に表示される。図１５は、検査中に表示される画面の例を示す図である。１つ目の検査対象箇所を撮像した検査画像が「検査位置１」として表示され、２つ目の検査対象箇所を撮像した検査画像が「検査位置２」として表示される。こうして、検査情報に設定されている各検査対象箇所を撮像する度に、得られた検査画像が画面上に表示されるようになっている。画面上には、機種、仕様、ユニット、製造番号及び検査担当者を示す情報も表示される。

また、制御部１０が、検査画像と、これに対応するマスター画像とを比較して、不合格と判定した検査対象箇所（画面上の「検査位置」）が発生すると、図１５に示すように、検査不合格となった検査対象箇所の発生を示す情報６０４が画面上に表示される。また、画面上では、検査不合格となった検査位置の画像上に、検査不合格となった検査対象箇所を特定する情報が表示される。

図１５に示す例では「検査位置２」の検査画像が、検査不合格となった検査対象箇所を含むため、「検査位置２」の文字が他の検査位置と異なる態様で示されている。また、この検査画像上で、検査不合格となったＵＳＢマークのシール（検査対象箇所）を特定できるように、このシールを示す枠が、他のネジ等（検査対象箇所）を示す枠と異なる態様で示されている。

なお、図１５では、図示の都合上、検査不合格を示す情報６０４及び検査不合格となった検査位置を示す文字を黒地に白文字で示し、検査不合格となった検査対象箇所を囲う枠を黒地に白の枠で示しているが、実際の画面上では、これらの文字、文字の背景及び枠を、赤等の目立つ色で表示したり点滅させたりすることができる。

検査情報で設定されている全ての検査対象箇所について検査を終えると、画面上には、検査終了を示す情報が表示される。この表示を受けて図１５に示す画面上の終了ボタンを押すと、表示部２０には、検査不合格となった検査対象箇所の検査結果を確認するための画面が表示される。

図１６は、検査不合格となった検査対象箇所の検査結果を確認する画面の例を示す図である。図１６に示すように、画面上には、不合格となった検査位置を示す情報と、この検査位置で得られた検査画像と、検査不合格となった検査対象箇所に対応するマスター画像とが表示される。また、２つの画像の下側に、検査結果に関する情報が一覧表示される。

図１６の例では「検査位置２」で得られた検査画像に、３つの検査対象箇所が含まれるが、これらのうち検査不合格となった検査対象箇所が、枠で囲まれた状態で表示される。また、検査結果の一覧表示では、３つの検査対象箇所が検査領域として示されるが、これらのうち検査不合格となった検査領域の番号が他の番号と異なる態様で表示される。また、一覧表示では、検査情報で設定されている検査項目、規格値及び判定結果の内容が表示される。

なお、図１６では、図示の都合上、検査不合格となった検査領域の番号を黒地に白文字で示しているが、実際の画面上では、これらの文字又は背景を赤等の目立つ色で表示したり点滅させたりして表示することができる。また、図１６の例では、検査不合格となった検査対象箇所が１箇所のみの場合を示しているが、検査不合格となった検査対象箇所が複数ある場合には、画面上部にある、検査位置を示す番号の右側に、送りボタン及び戻りボタンが表示される。これらのボタンを操作することにより、検査画像及びマスター画像と、検査結果の一覧表示とを変更して、他の検査対象箇所の検査結果を確認できるようになっている。

検査担当者は、図１６に示す画面上で、検査不合格となった検査対象箇所（画面上の「検査領域」）の検査結果を目視確認し、必要に応じて、券売機３３０で検査対象箇所の実物を目視確認する。このとき、検査ロボット１００の腕部に装着されているライトユニット２１０を、画面上の検査画像を撮像した券売機３３０の撮像位置に近付けて、この撮像位置を照らすように設定することも可能となっている。検査ロボット１００が、券売機３３０で撮像位置を示す動作を行うことで、検査担当者は、検査不合格となった検査対象箇所の実物の位置を容易に認識することができる。

検査担当者は、確認作業を行って、実際には不合格とされた検査対象箇所に問題はなく、不合格とした検査結果が誤判定であったと判断すると、図１６に示す一覧表示の修正の項目に検査結果を変更する情報を入力する。また、検査担当者は、修正理由の項目に検査結果の修正理由を示す情報を入力する。具体的には、図１６に示すように、不合格であるとして「ＮＧ」とされた判定結果を、合格を示す「ＯＫ」に変更するため、修正の項目に「ＯＫ」と入力する。そして、修正理由の項目には、検査担当者が目視確認して検査結果を修正したことが後で分かるように「目視確認ＯＫ」と入力する。検査不合格となった検査対象箇所が複数存在する場合には、各検査結果を確認して、必要に応じて検査結果を修正する操作を行う。そして、検査結果の確認及び修正の処理を終えた後、図１６に示す画面上で修正登録ボタンを押すと、検査ロボット１００を利用して得られた検査結果が、手作業で修正した結果に変更される。そして、表示部２０には、再び図８に示すメニュー画面が表示される。

なお、検査ロボット１００を利用して得られた検査結果に問題がない場合には、図１６に示す画面上で、検査結果を変更する操作を行わずにキャンセルボタンを押してメニュー画面へ戻る。また、検査結果に、検査不合格となった検査対象箇所が含まれていない場合には、図１５に示す画面で終了ボタンを押した際にメニュー画面へ戻ることになる。

検査を終えてメニュー画面へ戻る際には、検査結果が、記憶部４０の検査データ４３に登録されるようになっている。検査データ４３には、検査を行った日時を示す情報と、図１５に示す機種、仕様、ユニット、製造番号及び担当者を示す情報と、検査で得られた全ての検査画像と、全ての検査対象箇所について判定された検査結果とが保存される。また、検査結果を手修正した場合には、手修正されたことを示す情報と、図１６に示す修正理由とが、検査結果と共に保存される。

このように、検査ロボットシステムでは、検査ロボット１００の右腕部及び左腕部に装着するエンドエフェクタの種類、検査ロボット１００が右腕部及び左腕部に装着した各エンドエフェクタを利用して行う検査方法等を、検査情報として、記憶部４０の検査情報データ４１に予め登録しておくことにより、検査ロボット１００で検査を実行させることができる。また、検査の合格基準を示す検査基準データを、記憶部４０のマスターデータ４２に予め登録しておくことにより、制御部１０は、検査ロボット１００で取得した検査データと検査基準データとを比較して検査結果の合否を判定することができる。

本実施形態では、検査ロボット１００が、検査対象箇所に可視光を照射して、可視光画像を撮像する例を示したが、検査対象箇所及び検査内容によって、赤外光や紫外光等の所定波長の光を照射して画像を撮像する態様であっても構わない。なお、本実施形態では、グレースケールの画像を示したが、検査ロボットシステムでは、カラー画像を取得することもできる。

また、本実施形態では、主に、検査ロボット１００の右腕部及び左腕部にカメラユニット２００及びライトユニット２１０を装着して検査を行う例を示したが、検査に利用するエンドエフェクタの種類は特に限定されず、検査内容に応じて適宜設定される。

例えば、ハンマーユニット及びマイクユニットをエンドエフェクタとして利用する態様であってもよい。例えば、一方の腕部に装着したハンマーユニットで、検査対象箇所の所定位置を所定方向から所定の強さで叩き、他方の腕部に装着したマイクユニットを所定の位置及び角度で配置して検査対象箇所から発生した音を測定するように検査情報を設定して、検査情報データ４１に登録する。また、検査に合格する状態の検査対象箇所を、検査情報で設定したようにハンマーユニットで叩いて、検査情報で設定した配置位置のマイクユニットで測定した音の時間軸波形、この音から生成した周波数波形、オクターブ解析で得られた所定周波数域の音圧等を、検査基準データとして、マスターデータ４２に登録する。これにより、検査時には、検査情報に基づいて検査対象箇所で測定した音から所定の検査データを取得して検査を行うことができる。例えば、部品の組み付け状態によって音圧、音の減衰波形、音の周波数分布等が変化する検査対象箇所がある場合に、これらの変化を検出できるように検査情報及び検査基準データを登録しておけば、音に基づく検査を行うことができる。

この他、例えば、電流値や抵抗値等を測定可能なテスターユニットをエンドエフェクタとして利用する態様であってもよい。例えば、検査対象箇所に電圧を印加した際の電流値や抵抗値をテスターユニットで測定するように検査情報を設定して検査情報データ４１に登録する。また、合格と判定する電流値の範囲や抵抗値の範囲を、検査基準データとしてマスターデータ４２に登録する。これにより、検査時には、テスターユニットで得られた電流値や抵抗値に基づいて検査を行うことができる。

また、本実施形態が検査のみを行う態様に限定されるものではなく、検査を行った後、検査結果に応じて、検査ロボット１００に所定処理を実行させる態様であっても構わない。例えば、制御部１０が検査不合格とした検査対象箇所を、検査ロボット１００によって、検査に合格する状態にできる場合には、検査結果が合格となるように検査ロボット１００に所定処理を実行させる。具体的には、例えば、ネジの締め付けトルクを測定可能なトルク測定ユニットをエンドエフェクタとして利用して、各ネジの締め付けトルクを測定するように検査情報を設定して検査情報データ４１に登録する。また、各ネジの締め付けトルクを合格と判定するトルクの範囲を、検査基準データとしてマスターデータ４２に登録する。そして、検査時に得られたネジの締め付けトルクが、検査基準データとして設定されたトルクの範囲外にあり不合格とされた場合には、検査ロボット１００が、エンドエフェクタをドライバに持ち替えて、ネジの締め付けトルクが、検査基準データとして設定されたトルクの範囲内となるようにネジの締め付けトルクを調整する。このように、検査ロボット１００により、検査不合格となった検査対象箇所の状態を、検査に合格する状態に修正することができれば、検査後の修正処理を行う担当者の作業負荷を軽減することができる。

また、本実施形態では、人型の双腕型ロボットを検査ロボット１００として利用する例を説明したが、検査ロボット１００が人型に限定されるものではないし、腕部の数が３本以上であっても構わない。

上述してきたように、本実施形態に係る検査ロボットシステムでは、検査ロボット１００を利用して製品検査を行うためのエンドエフェクタの種類や、エンドエフェクタを利用して行う検査方法、検査データの取得方法等を予め設定しておくことにより、この設定に基づいて検査ロボット１００による製品検査を行うことができる。また、検査結果を判定するための基準となる検査基準データを予め準備しておくことにより、検査ロボット１００で得られた検査データを判定して検査結果を得ることができる。検査を高精度に行うために、検査データを取得する際のエンドエフェクタの種類や、検査ロボット１００によるエンドエフェクタの使い方を設定することができるので、従来、熟練工が行っていた検査工程を、検査ロボット１００を利用して効率よく行うことが可能となる。

以上のように、本発明に係る検査ロボットシステムは、ロボットを利用して製品の検査を効率よく行うために有用である。

１０ 制御部
２０ 表示部
３０ 操作部
４０ 記憶部
５０ テーブル
１００ 検査ロボット
１１０ ロボット制御部
１２０ 頭部駆動部
１２１ 頭部カメラ
１３０ 胴体部駆動部
１４０ 腕部駆動部
１４１ 腕部カメラ
１５０ エンドエフェクタ駆動部
２００、２００ａ、２００ｂ カメラユニット
２１０、２１０ａ〜２１０ｃ ライトユニット
２２０ ハンドユニット
３３０ 券売機

Claims (12)

1. 製品検査を行う検査ロボットシステムであって、
   検査ツールを脱着可能な複数の多関節腕を有する検査ロボットと、
   前記検査ロボットによる検査方法を設定した検査情報を前記検査ロボットに送信すると共に、前記検査ロボットが取得した検査データを受信して検査結果を判定する制御部と
   を備え、
   前記検査ロボットは、前記検査情報に基づいて、複数種類の検査ツールの中から検査ツールを選択して各腕部に装着し、前記検査ツールをそれぞれ検査対象箇所に合わせて設定された位置及び角度に配置して検査データを取得し、取得した検査データを前記制御部へ送信する
   ことを特徴とする検査ロボットシステム。
2. 前記制御部は、前記検査ロボットが取得した検査データと、該検査データに対応して予め準備されている検査基準データとに基づいて検査結果を判定することを特徴とする請求項１に記載の検査ロボットシステム。
3. 前記検査ロボットは、各検査ツールを、前記検査基準データの作成時と同じ位置、姿勢になるように配置して前記検査データを取得することを特徴とする請求項２に記載の検査ロボットシステム。
4. 前記検査情報には、１つの製品について設定された複数の検査対象箇所と、各検査対象箇所の検査に利用する検査ツールの種類及び検査方法とが設定されており、
   前記検査ロボットは、検査対象箇所に応じて、各腕部に装着する検査ツール及び検査方法を変更しながら、全ての検査対象箇所の検査データを取得する
   ことを特徴とする請求項１〜３のいずれか１項に記載の検査ロボットシステム。
5. 前記検査情報は、製品の種類及び組立工程に合わせて準備されており、
   前記制御部は、検査する製品の種類及び組立工程に対応する検査情報を前記検査ロボットに送信する
   ことを特徴とする請求項１〜４のいずれか１項に記載の検査ロボットシステム。
6. 前記検査ロボットは、検査データの取得を阻害する対象物を移動させて前記検査データを取得可能な状態にしてから前記検査データを取得することを特徴とする請求項１〜５のいずれか１項に記載の検査ロボットシステム。
7. 前記制御部が検査対象箇所の検査結果を不合格とした場合に、前記検査ロボットが前記検査対象箇所を検査に合格できる状態にすることを特徴とする請求項１〜６のいずれか１項に記載の検査ロボットシステム。
8. 前記検査ロボットは、
   カメラユニット及びライトユニットを検査ツールとして利用して、
   前記ライトユニットで検査対象箇所に対して所定の距離及び角度から光を照射しながら、前記カメラユニットで所定の距離及び角度から前記検査対象箇所を撮像して、
   撮像した画像を検査データとして前記制御部へ送信する
   ことを特徴とする請求項１〜７のいずれか１項に記載の検査ロボットシステム。
9. 前記検査ロボットは移動可能な台座部の上に設置されており、前記台座部には複数種類の検査ツールを載置するためのテーブルが設けられていることを特徴とする請求項１〜８のいずれか１項に記載の検査ロボットシステム。
10. 製品の画像を撮像して製品検査を行う検査ロボットシステムであって、
    検査ツールを脱着可能な２本の多関節腕を有する検査ロボットと、
    前記検査ロボットで製品を撮像した画像を該画像に対応して予め準備されているマスター画像と比較して検査結果を判定する制御部と
    を備え、
    前記検査ロボットは、複数種類の検査ツールの中から検査に適したカメラユニット及びライトユニットを選択して各腕部に装着し、前記カメラユニット及び前記ライトユニットをそれぞれ検査対象箇所に合わせた位置及び角度に配置して、前記ライトユニットから所定の光を照射しながら前記カメラユニットで前記検査対象箇所を撮像した画像を前記制御部へ出力する
    ことを特徴とする検査ロボットシステム。
11. 前記検査ロボットは、各腕部に装着するカメラユニット及びライトユニットの種類と、前記カメラユニット及び前記ライトユニットの配置位置とを検査対象箇所に応じて変更しながら、複数の検査対象箇所の画像を撮像して、
    前記制御部は、各検査対象箇所の検査結果を判定する
    ことを特徴とする請求項１０に記載の検査ロボットシステム。
12. 前記制御部は、
    検査対象箇所を指定して該検査対象箇所の検査方法の設定を指示する命令を受けると、
    前記検査対象箇所を撮像して得られる画像を評価しながらカメラユニットの種類、位置及び角度と、ライトユニットの種類、位置及び角度とを決定すると共に、決定結果に基づいて前記検査対象箇所を撮像したマスター画像を生成する
    ことを特徴とする請求項１０又は１１に記載の検査ロボットシステム。