JP2014240800A

JP2014240800A - 検査補助装置

Info

Publication number: JP2014240800A
Application number: JP2013123694A
Authority: JP
Inventors: 佳孝藤沢; Yoshitaka Fujisawa
Original assignee: Bridgestone Corp
Current assignee: Bridgestone Corp
Priority date: 2013-06-12
Filing date: 2013-06-12
Publication date: 2014-12-25
Anticipated expiration: 2033-06-12
Also published as: JP6231302B2

Abstract

【課題】タイヤの検査にかかる検査員の負担を軽減させて検査効率の向上及び検査の質を安定化させる検査補助装置を提供することを目的とする。【解決手段】検査対象物を含む３次元画像を動画として撮影取得する距離画像センサ１２と、距離画像センサ１２により撮影された３次元画像から検査対象物を検出する検査対象検出手段２１と、検査対象検出手段２１により抽出された３次元の検査対象物を２次元モデルにモデル化するモデリング手段２２と、動画の連続するフレームに撮影された検査対象物の同一箇所にあらかじめ良品として用意した検査対象物の２次元の比較モデルをマッチングさせ、マッチング率の変化を追跡してマッチング率の開きが閾値以上のときに異常ありと判定する追跡判定手段２４とを備えた。【選択図】図１

Description

本発明は、検査補助装置に関し、特に、タイヤの検査にかかる検査員の負担を軽減させて検査効率の向上及び検査の質を安定化させる検査補助装置に関する。

従来、タイヤ成型後の外観検査では、タイヤ表面に対してレーザ光をタイヤ半径方向に延長させて照射し、この光の照射された部位をレーザ光の光軸に対して所定角度傾斜させた位置からカメラで撮影してタイヤ表面の３次元形状を画像として取得する光切断法が知られている。この取得された画像は、画像処理手段により画像処理を施し、例えば、良品データとして記録されたマスターデータと比較することで、撮影した画像からタイヤ成型の良否を判定している（特許文献１）。
また、タイヤ製造における最終検査では、検査員がタイヤの所定の部位を目視や触診することで、タイヤの製品としての総合的な異常の有無が検査される。このような検査では、検査員への検査作業の負担が大きいため、検査員の作業状態をカメラで撮影し、最終検査に携わる交代検査員が待機する待機室のモニタに映し出し、待機室で待機する交代検査員に作業中の検査員を監視させて、検査員の疲労が見受けられたときには、交代検査員と検査作業を交代するようにしている。
しかしながら、上記いずれの検査においても、検査員にかかる負担が大きく、検査効率の向上や検査の質を安定化させる上で問題となっている。
前者の場合、検査員によってタイヤ表面に照射するレーザ光の向きを調整する必要がある。特にタイヤのトレッド部には、タイヤのモデル毎に異なるトレッドパターンやサイプ形状が成型されるため、溝やサイプの底までレーザ光を到達させるようにレーザの向きを調整した上で、カメラの視野内においてレーザ光の照射部位が収まるようにレーザとカメラの位置関係を調整する必要がある。この作業は、作業者の熟練度によって調整の精度や早さが変わるため、検査効率や検査精度にムラが生じてしまう。例えば、調整が正確に行われない場合には、正常に撮影されなかった部位が画像処理の段階で不良として判定されるため、この検出個所を検査員の目視によって再検査する必要が生じ、検査員への負担を増加させているという問題がある。
また、後者の場合、交代検査員が検査員の検査作業から疲労の有無を判断するため、監視する交代検査員によってその交代すべきタイミングが異なるという問題がある。例えば、検査員の疲労の状態を初期段階で気付いた場合には検査ミスを防止することができるが、初期段階以降で気付いた場合には検査員の交代に至るまでの間に検査ミスや検査不足が生じている可能性があるという懸念があった。

特開２００７−１５６７６３号公報

そこで本発明は、タイヤの検査にかかる検査員の負担を軽減させて検査効率の向上及び検査の質を安定化させる検査補助装置を提供することを目的とする。

上記課題を解決するための本発明にかかる検査補助装置の構成として、検査対象物を含む３次元画像を動画として撮影取得する距離画像センサと、距離画像センサにより撮影された３次元画像から検査対象物を検出する検査対象検出手段と、検査対象検出手段により抽出された３次元の検査対象物を２次元モデルにモデル化するモデリング手段と、動画の連続するフレームに撮影された検査対象物の同一箇所にあらかじめ良品として用意した検査対象物の２次元の比較モデルをマッチングさせ、マッチング率の変化を追跡してマッチング率の開きが閾値以上のときに異常ありと判定する追跡判定手段とを備えたので、マッチング率の変化の度合いによって検査対象物の状態の良否が自動で検出されるため、タイヤの検査にかかる検査員の負担を軽減させて検査効率の向上及び検査の質を安定化させることができる。
また、本発明にかかる検査補助装置の他の構成として、検査対象物がタイヤの場合には、モデリング手段はタイヤを輪郭線でモデル化するので、タイヤ検査に係る処理時間を短縮できる。
また、本発明にかかる検査補助装置の他の構成として、検査対象物がタイヤを検査する検査員の場合には、モデリング手段は検査員の関節部位同士を結ぶ骨格モデルにモデル化するので、タイヤ検査に携わる検査員の状態、例えば疲労や怠慢を自動的に判定することができる。

検査補助装置の全体概略図である（実施形態１）。良品タイヤの距離画像におけるトレッド部の部分拡大図及び比較モデルの決定木を示す図である。距離画像に対する比較モデルのマッチング率が良好な場合を示す図である。距離画像に対する比較モデルのマッチング率が悪化する場合を示す図である。検査補助装置の全体概略図である（実施形態２）。検査員によるタイヤの外観検査を撮影した距離画像を示す図である。

実施形態１
図１は、実施形態１に係る検査補助装置の概略構成図である。以下、同図を用いて検査補助装置の装置構成について説明する。なお、本実施形態では、検査補助装置をタイヤの外観検査に適用した場合について説明する。この場合、検査補助装置は、タイヤ外観検査装置として機能する。
検査補助装置１は、画像取得手段２と、画像処理手段３とにより概略構成される。

画像取得手段２は、検査対象であるタイヤＴを撮影するカメラ１１と、距離画像センサ１２とを備える。カメラ１１は、人の目により色調が認識可能な範囲の可視光を受光するいわゆるカラービデオカメラであって、検査室等に設置された照明や、窓からの採光による明かり等の拡散光の反射光を受光して、背景とともにタイヤＴを撮影する。

距離画像センサ１２は、例えば赤外線投光器１３と、赤外線投光器１３から照射された赤外線の反射光を受光する赤外線カメラ１４と、内部処理手段１２Ａとを備える。赤外線投光器１３は、複数の点群から赤外線を照射する。この点群から照射される赤外線は、特定の照射パターンに設定される。このような赤外線の照射には、例えば、Structured Light照射素子が用いられる。赤外線には、波長が近赤外線の範囲のものを使用すると良い。

赤外線カメラ１４は、赤外線投光器１３から照射された赤外線の反射光を受光するＣＭＯＳやＣＣＤ等の受光素子を有するカメラである。赤外線カメラ１４は、受光する光軸が赤外線投光器１３の光軸やカメラ１１の光軸と互いに平行となるようにタイヤＴに対して所定距離離間して配置される。赤外線カメラ１４の光軸とカメラ１１の光軸とが離間する距離は、あらかじめ既知のものとして設定しておくことで、カメラ１１で撮影された画像との重ね合わせの処理を簡素化できる。なお、赤外線投光器１３から照射される赤外線の照射野と、赤外線カメラ１４の視野はほぼ同じ範囲となるように設定される。

内部処理手段１２Ａは、赤外線投光器１３から投光された赤外線の照射パターンと赤外線カメラ１４で受光した受光パターンとを比較し、照射パターンに対する受光パターンのひずみの度合いによって対象物までの距離を計算し、近い距離で反射した反射光ほど明るく、遠い距離で反射した反射光ほど暗い濃淡画像に処理をする。つまり、画像の濃淡が、赤外線カメラ１４から対象物までの距離を示す距離情報となって、対象物の３次元形状を示す。

本実施形態では、距離画像センサ１２の赤外線投光器１３から照射される赤外線は、タイヤ表面に照射される。赤外線は、タイヤＴの回転中にトレッド部の溝やサイプなどに入り込んで、タイヤＴの外周にトレッド部として成型された接地面から溝底やサイプ底までの深さや、溝により区画されるトレッドブロックの３次元形状の取得を可能とする。

画像処理手段３は、いわゆるコンピュータであって、ハードウェア資源として設けられた演算手段としてのＣＰＵ、記憶手段としてのＲＯＭ，ＲＡＭ、通信手段としての入出力インターフェイス等を備える。ＣＰＵは、記憶手段に格納されたプログラムに従ってタイヤの外観検査にかかる処理を実行する。また、画像処理手段３には、キーボードやマウス等の入力手段４、撮影した画像や欠陥の有無を表示する表示手段５とが接続される。記憶手段には、検査対象検出プログラム、モデリングプログラム、マッチング率算出プログラム、追跡判定プログラムが格納される。ＣＰＵが、上記各プログラムを実行することで、画像処理手段３が検査対象検出手段２１、モデリング手段２２、追跡判定手段２４として機能する。

検査対象検出手段２１は、検査対象物であるタイヤＴのタイヤ表面に成型される成型物の比較モデルＭを記憶手段からロードし、距離画像と比較モデルＭとをパターンマッチングさせて距離画像から検査対象物を検出する。

図２（ａ）は、良品タイヤのトレッド部Ｔ１を距離画像センサ１２により撮影したある瞬間における距離画像のフレームの部分拡大図である。トレッド部Ｔ１に対する比較モデルＭとしては、図２の破線（ａ）四角で囲むように、トレッドパターンを構成するトレッドブロックと溝とを含む部分的な要素を画像データとして用意する。好ましくは、図２（ａ）のトレッドブロックＢ１に示すエッジＥを含むように作成すると良い。また、図示しないが、同様に側面部Ｔ２に対しても、側面部Ｔ２に成型される文字列を構成する各文字を形成する要素の一部分を比較モデルとして用意する。また、作成した比較モデルＭは、検査対象となる品番の異なるタイヤ毎に用意して記憶手段に記憶させる。このような比較モデルＭは、回転するタイヤＴを斜め上方等から異なる角度で撮影したものについても上記と同様に作成し、記憶手段に記憶させておく。

上記比較モデルＭは、図２（ｂ）に示すように、タイヤ毎にトレッドパターンを構成するトレッドブロックや溝等の要素の関係に一致するように比較モデルＭ同士の関係を紐付けする決定木Ｚを作成し、記憶手段に記憶させる。例えば、図２（ａ）に示すように、トレッドブロックＢ１の特徴部分であるエッジＥを含むようなトレッドブロックＢ１の一部を含む比較モデルＭ１を決定木Ｚの頂点に位置させ、次に、当該トレッドブロックＢ１の他の部分や比較モデルＭ１を囲むように隣接する比較モデルＭ２乃至Ｍ９をその下位に位置させ、さらに、トレッドブロックＢ１を囲む他のトレッドブロックやトレッドブロックＢ１を囲む溝を含む比較モデルが下位に位置するようなツリー状の決定木Ｚを作成すると良い。このような決定木Ｚの作成は、機械学習により自動的に作成すれば良い。
また、異なる型番のタイヤＴにおけるトレッド部Ｔ１を構成するトレッド部比較モデル群やサイド部比較モデル群としてタイヤＴにおける部位毎に比較モデル群を作成しておくと良い。距離画像に含まれる形状において、トレッド部Ｔ１は最も特徴的であることから、まず複数の異なる型番のタイヤのトレッド部Ｔ１を構成する要素の集合であるトレッド部比較モデル群からマッチングを開始して、最もマッチング率の高い比較モデルＭを有する型番の決定木を記憶手段から読み出して、距離画像にマッチングさせることで、距離画像からタイヤＴ全体を検出することができる。

このように、比較モデルＭを成型物全体ではなく、成型物全体を網羅するように複数の部分に分割して局所的な比較モデルＭを用意しておくことで、タイヤＴの大きさや型番にかかわらず、距離画像からタイヤ表面の成型物を検出させて検査対象であるタイヤＴ全体を検出することができる。また、タイヤＴは、型番が異なれば側面部Ｔ２に成型されるタイヤ名やメーカー名を含む文字列等の成型物や、トレッド部Ｔ１に成型されるトレッドパターン等の成型物の形状が異なり、同一の型番であっても偏平率やタイヤサイズが異なれば成型物の大きさも異なるため、効率よく比較モデルＭをマッチングさせて、距離画像からタイヤＴ全体を検出できる。

すなわち、検査対象検出手段２１は、タイヤＴに成型される成型物の部分的な要素である比較モデルを識別器とし、この識別器を距離画像センサ１２により取得された距離画像にマッチングさせ、さらに比較モデル同士の関係を紐付けした決定木によりタイヤ全体に対して成型物であるトレッドブロックや文字の各要素に対応する比較モデルＭを連鎖的にマッチングさせることで、距離画像からタイヤＴの表面全体を効率良く検出できる。

検査対象検出手段２１による検査対象物の検出動作は、次のように実行される。各フレーム内の距離画像に対して記憶手段にあらかじめ記憶させておいた決定木の上位に位置する比較モデルＭをタイヤＴに対してマッチングさせる。例えば、前述したように、トレッドブロックの溝を含むエッジ部分の比較モデルＭからマッチングを開始して複数のトレッドブロックからいずれか１つを特定し、このトレッドブロックが採用されているタイヤＴに関する決定木を呼び出し、このマッチングした比較モデルＭに紐付けされた他の要素の比較モデルＭを順次マッチングさせることで、距離画像から検査対象物であるタイヤＴの表面全体が検出される。

モデリング手段２２は、検査対象検出手段２１により距離画像から検出されたタイヤＴのモデル化を行う。具体的には、成型物を含むタイヤＴの輪郭形状を線画に変換する。例えば、トレッドパターンの成型不良を検出する場合、トレッドパターンを形成する個々のトレッドブロックは、周方向の長さや溝深さ等が所定寸法で設定されたものであり、その寸法は既知のものである。したがって、モデリング手段２２でモデル化されたタイヤ表面の形状に対して、マッチングした比較モデルとの差異を後述の比較判定手段（追跡判定手段２４）で比較することにより、成型物が所定の形状で成型されているかどうかを判定するときの処理速度を向上させることができる。このモデリング手段２２による処理は、検査対象検出手段２１による距離画像からのタイヤＴの検出と同時に実行される。

追跡判定手段２４は、各フレームに含まれる同一部位のマッチング率の変化を追跡し、マッチング率の変化に基づいてタイヤＴの良否を判定する。例えば、図３（ａ）に示すような、ある瞬間におけるフレームＦ１において、同図に示すトレッドブロックＢ２は、タイヤＴが回転しているため、次のフレームＦ２では図３（ｂ）に示すように位置が移動している。フレームＦ１において比較モデルＭｊがマッチングしたトレッドブロックＢ２のエッジＥ２を含む部分は、フレームＦ２では比較モデルＭｊ＋１がエッジＥ２を含む部分にマッチングし、この部分は同一部分と見なすことができる。
これはトレッドブロックＢ２のエッジＥ２を含む同一の部分を異なる角度で見たものであり、記憶手段に記憶した比較モデルＭがいずれかの部分にマッチングすることになる。そこで、追跡判定手段２４では、成型物の同一部分の時間的な変化におけるマッチング率を追跡し、着目した同一部分におけるマッチング率の開きが所定の閾値以上のときに、該当する部分に異常有りと判定することで外観検査、換言すれば、成型物の良否を判定することができる。例えば、検査員が外観検査をする場合、タイヤＴが静止又は回転していても成型物全体を自身の記憶と比較し、全体の中から違和感を感じた部位に対して焦点を移すことで異常を確認している。つまり、追跡判定手段２４では、人目と同様に連続するフレームに含まれる同一部分のマッチング率の変化を追跡することで異常を検出することができる。なお、追跡判定手段２４による追跡は、各フレームに含まれ、比較モデルＭがマッチングするすべての部分について実行される。このように、距離画像にマッチングした比較モデルＭと、タイヤＴの輪郭画像とを比較することで、処理する情報量を少なくして、回転するタイヤＴを撮影している最中にリアルタイムで成型の良否の判定処理が可能となる。
したがって、後工程で複雑な画像処理を必要としないので検査時間を短縮できる。また、検査対象物を線画としても、成型時の欠損が発生した場合、周方向の同一位置の線素と比較することで、不良個所の検出が可能となる。

以下、本発明にかかる検査補助装置１の動作について説明する。
図１に示すような載置台に被検体であるタイヤＴを横向きにテーブル１０上に載置する。テーブル１０は、回転機構により回転自在に構成され、検査対象であるタイヤＴをテーブル１０とともに回転させることで外観検査が実行される。
画像取得手段２は、撮影方向をテーブル上に載置したタイヤＴのトレッド部Ｔ１に対向した状態でタイヤＴに対して所定距離離間して配置される。所定距離とは、例えば、トレッド部Ｔ１が、カメラ１１や距離画像センサ１２の視野内に納まる距離である。距離画像センサ１２の赤外線投光器１３や赤外線カメラ１４は、所定範囲の視野をそれぞれ有しているので、従来の光切断法による画像の取得方法のように、光源からの光が溝底やサイプ底に到達するように正確に配置する必要がない。

例えば、距離画像センサ１２の赤外線投光器１３から照射された赤外線は、所定の範囲に広がりを持って照射されるとともに、その反射光を受光する赤外線カメラ１４も同様な視野角の広がりがあるので、回転するタイヤを連続的に動画として撮影すれば、いずれかのフレームにおいてすべての溝底が撮影されることになるため、トレッド部Ｔ１の形状全てについて確実に取得することができる。

次に、テーブル１０を回転駆動させてタイヤＴを回転させる。カメラ１１と距離画像センサ１２により撮影されたカラー画像及び距離画像は、例えば、２０フレームパーセコンド（ＦＰＳ）の動画データとして画像処理手段３に逐次出力される。
画像処理手段３では、カメラ１１で撮影されたカラー画像と、赤外線カメラ１４により撮影された距離画像とをフレーム毎に重ね合わせて、表示手段５に出力表示する。
タイヤＴを回転させることで、検査対象検出手段２１がフレーム毎にタイヤＴを距離画像から検出し、モデリング手段２２によりトレッド部Ｔ１の凹凸として成型されたトレッドパターンを輪郭線にモデル化処理する。次に、追跡判定手段２４により、トレッドパターンに比較モデルＭがマッチングした部分毎のマッチング率の変化を追跡する。追跡判定手段２４は、時間的に移動した各同一部分におけるマッチング率の開きが閾値以上のときには、不良あり、閾値よりも小さいときには異常なしとして判定する。例えば、図４（ａ）に示すように、トレッドブロックＢ１が傾斜して撮影された場合には、エッジＥ２を含むトレッドブロックＢ１の表面の形状には、ほとんど不良としては見られず、比較モデルＭｉがあるマッチング率でマッチングすることになるが、図４（ｂ）に示すように、次フレームにおけるトレッドブロックＢ１は、ほぼ正面から撮影されたことで、本来、比較モデルＭｉ＋１が、比較モデルＭｉとのマッチング率に近いマッチング率でマッチングするところ、エッジＥ２を含む形状に異常があるため、マッチング率が悪化することになり、このトレッドブロックＢ１の形状には異常がありと判定される。なお、異常ありとして検出された部分は、カメラ１１により撮影されたカラー画像とともに、その位置が表示手段５上に表示される。これにより、検査員による不良箇所の確認動作が容易なものとなる。

上記構成の検査補助装置１によれば、従来のような光切断法のように光の照射されない部位の画像を取得することができなかったが、本願発明では、ほぼ拡散光に近い状態で照射される赤外線により撮影することで、距離画像取得時の死角を無くすことができる。動画のままの処理を可能とし、検査において必要な各部の寸法の測定を同時に処理できるので、処理時間を削減して処理速度を向上させるとともに、再検査数を減少できるので、検査員に対する負担を軽減させることができる。
なお、３次元で画像形状を取得する類似する方法として、２台のカメラにより撮影して奥行き情報を計算するステレオカメラによる方法が知られているが、この場合、各カメラにより撮影される２つの画像の対応点を検出し、一致させた上で奥行きを計算する必要があり、画像同士がミスマッチングしたり、処理に時間を要したりすることになる。本願発明では、距離画像センサ１２により検査対象物の形状と奥行き情報とを同時に取得するため、ステレオカメラを用いるときのような画像同士のミスマッチングや対応点の検出など不要な処理時間を短縮することができる。

実施形態２
図５は、実施形態２に係る検査補助装置の概略構成図である。同図では、検査員Ｈによる動作が確認できるように、検査対象であるタイヤＴを含み、このタイヤＴを検査する検査員Ｈの動作が撮影できるように、検査員Ｈの左前方に画像取得手段２を配置したものである。
本発明の検査補助装置１の他の適用例として、タイヤの検査を実施する検査員の動作を監視する監視装置として機能させることも可能である。なお、検査補助装置１の構成は、同一であり、画像処理手段３により処理される検査対象が異なる点で相違する。上記実施形態１で示した同一構成については、同じ符号を付して説明を省略する。

本実施形態２では、画像取得手段２の距離画像センサ１２で撮影された距離画像から画像処理手段３の検査対象検出手段２１により検査対象である検査員Ｈを検出し、検出された検査員Ｈをモデリング手段２２により人体の骨格モデルを作成し、フレーム毎に作成される骨格モデルを追跡することで検査員の動作や姿勢の良否を追跡判定手段２４により判定する。

検査対象検出手段２１による検査員Ｈの検出は、記憶手段にあらかじめ人体の部位別の比較モデルを記憶させ、機械学習させておくことで実行される。例えば、検査員Ｈは、それぞれ体型が異なるため、特定の人モデルによって、検査員による検査動作を登録しても体型の違いによって検出できない場合がある。そこで、検査員全員に対して個別に所定の動作を行わせ、そのときの動きを複数の方向から距離画像センサ１２により撮影して、動作に関する距離画像を取得する。
そして、この距離画像の各フレームに撮影された検査員Ｈについて、頭部，左右肩，肩中心，左右肩，肩中心，左右肘，左右手首，左右手，左右尻，尻中心，左右膝，左右足首，左右足，脊椎など体の部位のうち、連続する体の部位が含まれるように距離画像から比較モデルＭを作成する。具体的には、頭部と肩中心を結ぶ頸部、肩中心と左右肩とを結ぶ肩峰部、左右肩と左右肘とを結ぶ上腕部、左右肘から左右手首までを結ぶ前腕部、肩中心から尻中心までを結ぶ脊柱部、尻中心から左右尻を結ぶでん部、左右尻から左右膝までを結ぶ大腿部、左右膝から足首までを結ぶ下腿部などを含むように比較モデルＭを作成し、体の全身の動作を紐付けする。このように分類された比較モデルＭは、上記体の部位毎に分類し、さらに部位毎の関係について紐付けされるように機械学習させて決定木を作成して記憶手段に記憶させる。つまり、上記体の各部位を繋ぐ名称毎に分類して記憶手段に記憶させておく。

このように人体の各部位をあらかじめ学習させておくことで、距離画像から検査員と検査員以外のものとを区別できるとともに、距離画像センサ１２のフレーム内に複数の検査員Ｈが撮影された場合でも、距離画像に含まれる距離情報から対応する距離の近傍に比較モデルをマッチングさせて人を検出できるので、例えば、距離画像で同じ大きさで撮影されても、遠くにいる背の高い検査員や近くにいる背の低い検査員とを区別して対象となる検査員を検出できる。また、距離画像に比較モデルをマッチングさせるだけで体型や姿勢にかかわらず、検査員を距離画像からリアルタイムに検出することができる。

上記検査対象検出手段２１による検査員の検出は、動画として撮影された距離画像のフレーム毎に、記憶手段にあらかじめ記憶させておいた比較モデルをマッチングさせ、決定木により人体の各部位のどこに相当するかの識別がなされる。本実施形態では、上述の人体の２０の部位のうち、図６（ａ）乃至（ｃ）に示すように、上半身の部位を検出するものとして説明する。

モデリング手段２２は、距離画像にマッチングした比較モデルＭにより頭部３０，左右肩３１Ｌ，Ｒ、肩中心３２、左右肘３３Ｌ，Ｒ、左右手首３４Ｌ，Ｒ、左右手３５Ｌ，Ｒ、左右尻３６Ｌ，Ｒ、尻中心３７、脊椎３８に相当する位置を設定し、頭部３０と肩中心３２とを結ぶ頸部４０、肩中心３２と左右肩３１Ｌ，Ｒとを結ぶ左右肩峰部４１Ｌ，Ｒ、左右肩３１Ｌ，Ｒと左右肘３３Ｌ，Ｒとを結ぶ左右上腕部４２Ｌ，Ｒ、左右肘３３Ｌ，Ｒから左右手首３４Ｌ，Ｒまでを結ぶ左右前腕部４３Ｌ，Ｒ、肩中心３２から尻中心３７までを結ぶ脊柱部からなる検査員Ｈの骨格モデルを生成する。

追跡判定手段２４は、上記のように生成された骨格モデルの動きに基づいて検査員の検査動作や検査姿勢を検出し、記憶手段に記憶された検査手順や検査手順に応じた動作及び疲労の状態を判定する。
検査動作は、検査手順に設定される複数の検査項目の各項目毎に動作が規定されるため、あらかじめ検査動作の検査用比較モデルを作成し、記憶手段に記憶させておく。
追跡判定手段２４では、検査対象検出手段２２でモデル化された骨格モデルに対して検査用比較モデルをマッチングさせて、マッチング率の変化を追跡することで、骨格モデルの動きを追跡し、マッチング率の変化が閾値以上のときには記憶手段に登録された検査手順と異なる動作を行なったものとして判定する。例えば、検査員が異なる手順や異なる検査方法を行なったときには、検査エラーを図外の報知手段により検査員に対して報知する。これにより、検査の質を向上させることができる。

例えば、検査員に疲労が生じた場合、検査動作が鈍くなったり、緩慢が生じたりすることで、検査姿勢や検査の腕の動く範囲が狭まったりする。このような場合、タイヤ一本当たりの検査に要する検査時間を超過したり、正規の範囲を検査しなくなったりする虞があるとともに、検査中の不注意によるケガや検査ミスを防止するため、このような状態が継続した場合には追跡判定手段２４は、検査員の交代要員が常駐する待機室に交代を報知することで、十分に休憩した検査員に交代させることができるので、検査効率の向上とともに、検査精度を向上させることができる。

図６（ａ）乃至（ｃ）は、検査員の検査動作の一例を示すものであって、検査補助装置１により作業者の姿勢及び動作をリアルタイムで監視する。同図では、検査員Ｈによる動作を撮影したときの人影及び骨格モデルを示したものである。

以下、図６（ａ）乃至図（ｃ）を用いて、実施形態２にかかる検査補助装置１の動作について説明する。
タイヤ検査作業場のタイヤを検査する所定位置に検査員を配置して、検査員Ｈに両腕を広げたり、両腕を回転させたりして、画像取得手段２によりその動作を撮影させる。この検査員Ｈによる動作は、カメラ１１と赤外線カメラ１４により撮影されたカラー画像及び距離画像は、動画として画像処理手段３に逐次出力され、距離画像において検査員Ｈが認識されるとともに、モデリング手段２２により骨格モデルとしてモデル化され、表示手段５上にカラー画像に重ね合わせて表示される。

撮影された距離画像は、検査対象検出手段２１によりフレーム毎に比較モデルＭがマッチングされて、フレーム毎に人の各部位、ここでは、頭部３０、左右肩３１Ｌ，Ｒ、肩中心３２、左右肘３３Ｌ，Ｒ、左右手首３４Ｌ，Ｒ、左右手３５Ｌ，Ｒ、左右尻３６Ｌ，Ｒ、尻中心３７、脊椎３８が検出される。検出された前述の部位は、モデリング手段２２により骨格モデルとして逐次処理され、検査員Ｈの動作が追跡されることになる。

追跡判定手段２４は、骨格モデルを構成する要素の時間毎のマッチング率の変化を追跡して検査員Ｈの動作や姿勢を比較判定する。
図６（ａ）乃至（ｃ）に示す動作は、タイヤ表面を検査員Ｈが右手３５Ｒで、タイヤ側面の上から円周方向に左向きに撫でて、触感により異常の有無を検査している様子を示している。このとき、追跡判定手段２４では、右手３５Ｒと頭部３０の動く範囲を追跡して所定の検査動作を行っているかどうかを判定する。
例えば、右手３５Ｒによる触感とともにその部位を目視により検査するためには右手３５Ｒとともに視線が移動する必要があり、右手３５Ｒ及び頭部３０の動きが連動しているかどうかを、検査用比較モデルをフレーム毎にマッチングさせることで、正しく検査をしているか、或いは疲れていないかを判定できる。

具体的には、右肩３１Ｒから右肘３３Ｒ、右手首３４Ｒ、右手３５Ｒまでの動きを追跡する。
検査開始位置では、図６（ａ）に示すように、右上腕部４２Ｒが右肩３１Ｒよりも上に上がり、右肘３３Ｒ、右手首３４Ｒ、右手３５Ｒの順に上方に向けられている。次に検査員Ｈは、タイヤ表面の左上側を検査するために、タイヤ表面に手を接触させた状態で、右手３５Ｒをタイヤ円周方向に沿って左に移動させる。このとき、図６（ｂ）に示すように、検査員Ｈは、右肘３３Ｒを下げながら右前腕部４３Ｒを回転させ、図６（ｃ）に示すように、右前腕部４３Ｒをほぼ横向きにして右手３５Ｒを回転させることで、１つの検査動作が終了する。

このような検査動作において、例えば、頭部３０、右肩３１Ｒ、右上腕部４２Ｒ及び右前腕部４３Ｒの動きを撮影した距離画像に検査用比較モデルをマッチングさせて、マッチング率の変化を追跡することで、所定の動作が行われているかどうかが判定される。
例えば、検査員Ｈの疲労状態を判定するときには、検査開始位置における検査員Ｈの右上腕部４２Ｒや右前腕部４３Ｒの延長方向と、右肩３１Ｒの位置の変化を追跡することで疲労状態にあるかそうでないかを判定できる。疲労状態の場合、右上腕部４２Ｒを含む腕をあげるのが困難になるため、右肩３１Ｒの位置が徐々に下がり始めることになり、この場合タイヤ側面の最上部に右手３５Ｒが届かなくなるため、右上腕部４２Ｒの角度が正規の検査位置よりも傾斜することになり、検査開始位置における検査用比較モデルとマッチングしないため、疲労状態であることが検出できる。

また、疲労ではなく正しく検査動作が行われていない場合、上記疲労状態とは異なり、右肩３１Ｒの位置が正しい位置まで上がっているものの右上腕部４２Ｒの角度が正規の検査位置よりも傾斜しているときには、右上腕部４２Ｒに関する検査用比較モデルとのマッチング率が悪化するため、タイヤ側面の最上部に右手３５Ｒが届いていないものとして判定され、正しい検査動作を実行していないものとして検出させることができる。
したがって、上記構成の検査補助装置１によれば、従来のように別室で控える交代作業員に監視させることなく、現在検査している検査員Ｈの検査動作の疲労状態などを自動で検出できる。

なお、距離画像センサ１２は、赤外線投光器１３から照射された赤外線を短周期でタイヤ表面に点滅照射させて、タイヤ表面からの反射光が、受光素子の画素毎に到達する時間の時間差を計算して距離画像センサ１２から対象物までの距離を検出するように構成しても良い。この場合、一般的には赤外線などの不可視光をパルス変調して赤外線カメラの視野内に照射し，赤外線カメラの受光部であるイメージ・センサ側でこのパルスの位相遅れを計測し、対象物までの往復の距離を割り出すことで３次元情報を取得できる。

なお、例えば、本願発明の検査補助装置１として、ＭＩＣＲＯＳＯＦＴＣＯＲＰＯＲＡＴＩＯＮ（登録商標）のＫＩＮＥＣＴ（登録商標）を用いると装置構成を単純化することができる。

１検査補助装置、２画像取得手段、３画像処理手段、
２１対象物検出手段、２２モデリング手段、２４追跡判定手段。

Claims

検査対象物を含む３次元画像を動画として撮影取得する距離画像センサと、
前記距離画像センサにより撮影された３次元画像から検査対象物を検出する検査対象検出手段と、
前記検査対象検出手段により抽出された３次元の検査対象物を２次元モデルにモデル化するモデリング手段と、
動画の連続するフレームに撮影された前記検査対象物の同一箇所にあらかじめ良品として用意した検査対象物の２次元の比較モデルをマッチングさせ、マッチング率の変化を追跡してマッチング率の開きが閾値以上のときに異常ありと判定する追跡判定手段とを備えた検査補助装置。
前記検査対象物がタイヤの場合には、前記モデリング手段はタイヤを輪郭線でモデル化する請求項１記載の検査補助装置。
前記検査対象物が人の場合には、前記モデリング手段は人の関節を含む部位同士を結ぶ骨格モデルにモデル化する請求項１記載の検査補助装置。