JP2019516191A - 操作者の強調された視認のための色の区分けを備える映像システム - Google Patents

Abstract

映像システムを使用することによって物品を検査するための改良された方法が提示される。またそのような方法の範囲内における使用のための映像システムも提示される。【選択図】図１

Description

[0001] 本発明は、映像システムを使用することによって物品を検査するための方法に関する。本発明は更に、そのような映像システムに関する。

[0002] 様々な製造及び生産環境において、色又は色のエリアが物品に組み込まれ、あるいは物品の外表面に配置されることがあろう。これらの色は、ラベル上に見出され得るような、又は物品上に存在する異なる色の異なるエリアであり得るような、特定のパターンで存在するかもしれない。色は、ラベルや物品における色のパターンのように、物品の一部分であり得るか、あるいは物品に付加されて、異なる色が、装飾的であり得る、又は物品の様々な特性、例えば物品の種類、物品若しくはパーツのサイズ、材質、形状等を識別し得る。一例では、色は、パーツの特定の種類及びサイズを示すペイントのスポットとして塗られることができる。

[0003] そのような事例において、製造又は生産品質を保証するために、製造又は生産の間などにおいて、個人又は操作者が物品上の色若しくは色のパターンを監視することが必要であるかもしれない。そして色の差異又はその存在若しくは不存在は、パーツ又は色のパターンにおける欠陥、不適切な配色、パーツの種類の誤り、あるいは色によって表され得る物品の任意の他の特性を識別することができる。例えば、パーツの検査が行われたことを示すために、物品に色が付加されることができる。更に、物品の特有の特性、例えばパーツのサイズを示す１つの色と、物品が検査され第１の色が正確に塗られていることを示す又は検証する第２の色といったような、異なる条件を示し得る２以上の色が存在してもよい。

[0004] 色の製造又は生産の間、操作者は、物品の各々における色の配置、あるいは１又は複数の色エリアを持続的に監視する必要があるかもしれない。異なる色の持続的な監視と識別は、眼疲労及び操作者による集中力維持の困難性に繋がることがあり得るであろう。製品又は物品上で色が重要であるどんな応用においても、眼疲労に悩まされ、あるいは集中力を失った操作者は、色が間違った色であること、又は部分的に間違っていることに気が付かないかもしれない。

[0005] 難点を減らすために、物品を光学的に監視して、監視画面上に物品を表示する映像システムを含む製造又は生産ラインもあるかもしれない。現在では、映像システムによって見つけられた色区画の周りにボックス又はハイライト表示エリアを表示する映像システムが、よくある提供物である。しかしながら、色を見ることに対する付加的なガイドは何ら利用されておらず、その結果、操作者は、色で示された目標物を他の特徴物、ハイライト表示エリア内に同様に存在する色又は構造から区別しようとすることにおいて、依然として眼疲労に悩まされるかもしれない。

[0006] 上記に鑑みて、既知の映像システムにおける欠陥を克服することが本発明の目的である。

[0007] 本発明の映像システムは、製造又は生産環境内の所望位置における各物品の画像又は映像を得るための画像取得カメラを含むことができる統合映像化コンポーネントを好適に備える。例えば、映像システムは、供給者から受け取られたパーツを、そのようなパーツが最終製品に組み込まれる前に検証するために用いられることができるであろう。そのような物品を検査するために、カメラは、周期的な間隔で物品の静止画像、若しくは連続的な動画像さえも入手又は取得することができ、次いで、当該物品の画像を映像システムによる後続の処理のために出力することができる。好ましくは、映像システムはまた、カメラによって撮影される物品を照明するためのライトも含む。好ましくは、映像システムはまた、パーソナルコンピュータ、プログラマブルロジックコントローラ（ＰＬＣ）、又は他のコンピュータ化された処理装置などの、画像プロセッサとして機能するプロセッサを含み、当該プロセッサは、画像インフィードを通じてカメラからデジタル画像を受け取り、画像インフィード及びそれに関連するデータを処理し、処理された画像出力及び出力データを、表示装置、モニタ、又は他の操作者視認可能表示画面へ送り込む。処理の間、このシステムは好適に、関連する色エリアのほかに入力画像の全ての他の散漫な特徴物を除去又は減少させる。ここで、眼疲労が操作者にとってより問題ではなくなるように、操作者のディスプレイ上において物品の残りのエリアが非強調される一方、当該関連色が強調されるであろう。

[0008] したがって、この映像システムの独創的な部分は、画像取得及び処理のための既製のカラーマシン映像ハードウェアと一緒に画像処理ソフトウェアを組み込むことができる。好ましい一構成例において、映像システムは、Ｃｏｇｎｅｘ社のカメラ又はＭａｔｒｏｘ社のスマートカメラとともに動作して、自動検査のために色を区分けすることが可能である。

[0009] 映像システムは、多くの応用において使用可能である。一例では、ボトルの検査が必要とされることがあり、そこには図柄による多数の色を備えたラベルが存在する。本発明は、ラベル上の色をそれらが区分けされている場合に見ることを、関連する色が元の画像から分離されていない込み入った図柄における色を見ることよりも、より容易にする。このように、この独創的な画像強調手法は、操作者にとって興味のある色だけを好適に分離及び表示し、当該操作者が画像全体ではなく関心のある色エリアに注目することを可能にする。

[0010] 別の例において、製造業者は、エンジン用のバルブステムなどの特定のパーツにペイントドット（paint dot）を配置することがあり、この場合、正しいバルブステムが特定のエンジンに挿入されることが重要な意味を持つ。これらの物品の近接した類似性のために、バルブを他の種類のバルブから区別する唯一の明確な方法は、各パーツの露出面にペイントマーカー（paint marker）を用いて手で塗られたペイントドットであり得る。異なる色のペイントドットは、サイズ又は材質など、パーツの異なる特性を示すことができる。ペイントドットは手で塗られ、またペイントマーカーは変化する質のペイントドットを適用することができるので、ペイントドットは時々、ほとんど視認できないことがある。操作者は、各パーツを正しい色であるかどうかについて監視し、次いで不適合な色を有するパーツを棄却するように要求されるかもしれない。別のレベルの複雑性として、パーツはまた、別の検査者、例えば製造業者又はパーツ供給者における検査者によって検査されてもよく、ここで当該パーツは、第１の色付けられたペイントドットが正しく塗られたことを確認する第２の色のペイントドットを有し得る。例えば、エンジンバルブは、オレンジ色又は紫色などの第１の色の第１のペイントドットが塗られていることを確認する第２の緑色のドットでマーキングされることができる。本発明の映像システムは、好ましくは、緑色を当該パーツの上に存在する他の色のいずれからも自動的に切り出し（segment out）、またエンジンへの挿入に先立ってバルブの上面のより見やすい、眼疲労のより少ない眺めを操作者に与え、そしてまた、もし間違った色がそのようなパーツ上に存在していれば、生産ラインを停止する自動的な決定をするであろう。

[0011] 映像システムはまた、特定の色に対するペイントドットの質の変化を許容できる。好ましくは、映像システムは、初期訓練ステップをプロセスに組み込む。最初に、パーツの色画像がキャプチャーされ、１又は複数の興味のある色における期待される変化に対応する、所与の色空間における表面を訓練するために使用される。次に、動作の間、システムは、取得された画像を操作者に対して表示し、画像は、興味のある色が存在している場所を除いて画像が全体として単色のグレイスケールになるようにフィルタリングされるだろう。あるいはまた、色エリア以外のパーツの背景特徴物が、操作者が色エリアだけを提示されるように表示装置上において完全に黒で表示されてもよい。

[0012] 映像システムは、別の任意選択的な構成で動作してもよい。一構成例では、顧客は、非自動化構成において映像システムを導入し動作させることができる。操作者は、画面を眺め、表示画面上に強調された望ましい色エリアを示す処理された画像を提示されるであろう。そして操作者は、パーツが許容可能であるかどうかについての決定をするのに役立てるために、また不適合なパーツを取り除く、又は生産ラインから正しくないパーツが取り除かれるまで生産ラインを停止させるアクションをとるのに役立てるために、画面を使用することができる。自動化された構成においては、映像システムのプロセッサは、各色エリアが許容可能であるか否か、即ち良好か不良かの決定をするであろう。そしてプロセッサ及び関連するソフトウェアは、次に、不適合なパーツを処置する製造又は生産設備へフィードバックを提供することができる。表示画面は、不適合なパーツの存在を知らせる視覚的な若しくは可聴の指標又はその両方などのフィードバックを操作者に提供する。

[0013] 斯くして、本発明の映像システムは、好ましいことに、眼疲労が操作者にとってより問題ではなくなるように、色エリア以外の他の全ての散漫な画像の特徴物を除去することが可能であろう。

[0014] 本発明は、映像システムを使用することによって物品を検査するための方法を提供し、前記物品は、前記物品の特定の特性を識別するために色エリアでマーキングされる。一実施態様において、前記物品は、本明細書において説明される方法を使用するのに先立ってマーキングされている。別の実施態様において、前記物品は、本明細書において説明される方法の一部としてマーキングされる。一実施態様において、前記物品はステムバルブである。前記映像システムのカメラが、好ましくは製造又は生産環境内の場所において、前記物品の画像を取得する。前記映像システムのプロセッサが、画像インフィードを通じて前記カメラから前記画像を受け取る。一実施態様において、前記プロセッサは、コンピュータ又はコントローラである。前記プロセッサが、前記画像インフィードを処理する。好ましくは、前記画像は、その色成分に関して、それらの色成分が画像内でどのように配置され又は分布しているかを分析することによって処理される。前記プロセッサが、処理された画像出力を、表示画面を含む表示装置の入力へ送り込む。前記プロセッサが、前記処理された画像を操作者によって見ることができるように前記画面上に表示する。前記プロセッサが、前記カメラから受け取られた前記インフィード画像の前記色エリア以外の全ての散漫な特徴物を除去又は減少させる。このように、前記画像を処理する時、前記プロセッサは、前記色エリアを前記画像の残りのエリアに対して強調又はハイライト表示するために、前記色エリアを興味のあるエリアとして識別し、前記画像の残りの部分を除去又は減少させる。本発明の特有の利点は、操作者の眼疲労が低減されるということである。特に、操作者は、ハイライト表示された色エリアに注目することが可能である。

[0015] 好ましい実施態様において、前記色エリアは、いくつかの物品に繰り返し塗られたペイントドットである。一実施態様において、前記ペイントドットは、本明細書において説明される方法を使用するのに先立って塗られている。別の実施態様において、前記ペイントドットは、本明細書において説明される方法の一部として塗られる。前記ペイントドットは、変化する質で塗られるが、それは特に、前記ペイントドットが手で塗られるからである。前記プロセッサは、好ましくは、異なる質の、即ち異なるサイズ若しくは形状、又はその両方の色エリアを識別するように構成される。

[0016] 好ましい実施態様において、前記プロセッサが、各物品上の前記色エリアを区分けして識別し、前記カメラからの前記画像の前記色エリア以外の全ての散漫な特徴物を除去又は減少させる。したがって、前記プロセッサは、前記色エリアを他の全てのエリアと区別するように構成される。特に、前記色エリアを識別するのに必要ではない前記画像の全ての特徴物及びエリアは散漫である。特に、前記プロセッサは、前記色を、その境界を識別することによって、即ち、その広がり、形、輪郭、又はこれらの任意の組み合わせを識別することによって区分けする。

[0017] 好ましい実施態様において、前記プロセッサが、前記表示装置上において前記物品の残りのエリアが非強調される一方で前記色エリアを区分けして強調する。非強調することは、例えば、コントラスト又は色深度を低減することによって達成される。

[0018] 好ましい実施態様において、前記プロセッサが、前記色エリアを切り出し、当該色エリアを前記画面上の適切な色で且つ前記色エリアの形で表示する。したがって、前記画像内の前記色エリアの色及び形は、前記処理された画像において、そして特に前記画面上においても維持される。特に、前記プロセッサは、前記色エリアの実質的に変更されていない画像、好ましくは変更されていない画像を再生する一方で、残りの画像は前記色エリアをハイライト表示するために好適に変更される。好ましくは、前記色エリアは、こうして前記色エリアの元の画像として表現される。

[0019] 好ましい実施態様において、黒い画面又はグレイスケール画像を通じて、前記色エリアが強調され、前記物品の残りのエリア、即ち前記物品の前記画像の残りのエリアが非強調される。換言すれば、前記色エリアは切り抜かれて保持され、一方で前記画像の残りのエリアは、単に黒色によって置き換えられるか、又は前記画像のグレイスケールバージョンに変換される。

[0020] 好ましい実施態様において、前記物品は第１色エリアを有し、前記第１色エリアに正しい色が用いられていることが検証され、前記第１色エリアが存在し正しく塗られていることを確認するために、第２色エリアが塗られる。一実施態様において、第２色エリアは、本明細書において説明される方法を使用するのに先立って塗られている。別の実施態様において、第２色エリアは、本明細書において説明される方法の一部として塗られる。前記第１色エリアの色を識別した後、前記第１エリアの色、即ち前記第１色が、前記物品の正しい第１色であること、即ち、当該色によって識別されるべき特定の特性を正しく識別することを検証するためのチェックが行われる。特に、更なる色のペイントドットが、第２色エリアとして前記物品に塗られる。好ましくは、前記第１色は、第１の組の色から選ばれ、前記第２色エリアの色、即ち第２色は、第２の組の色から選ばれるが、一方の組のうちのどの色も他方のうちの一部ではなく、即ち、２つの色の組は選言的である。

[0021] 好ましい実施態様において、前記物品は、各物品が第１色エリアを正しく有していることを保証するために、及び前記第１色エリアに正しい色が用いられていることを検証するために事前検査される。前記事前検査の結果として、前記第２色エリアが前記物品に適用され、前記正しい第１色が前もって塗られているかどうかを示す。一実施態様において、前記物品は、上述された方法の一部として事前検査される。別の実施態様において、前記物品は、それとは別に検査される。

[0022] 好ましい実施態様において、異なる物品上の前記第２色エリアは、前記第１色エリアに対して異なる位置に配置される。特に、前記第２色エリアは手で塗られる。

[0023] 好ましい実施態様において、前記映像システムが、前記物品上に存在する前記第２色を自動的に切り出して識別する。前記プロセッサが、前記画面上に２つの別個の処理画像を生成し、前記画面の第１部分が前記第１色エリアを表示し、前記画面の第２部分が前記第２色エリアを表示する。こうして前記プロセッサは、１つの物品上における両方の色エリアを識別し、それらを別個に表示する。一実施態様において、前記画面は半分に分割され、一方の半分は前記第１色エリアを表示し、他方の半分は前記第２色エリアを表示する。

[0024] 好ましい実施態様において、前記第１及び第２色エリアは各々、黒い画面上の色エリアとともに、又は前記物品のグレイスケール画像上に表示され、黒い画面又はグレイスケール画像を通じて、それぞれの前記色エリアが強調され残りのエリアが非強調される。特に、上で全般的に言及された前記色エリアの処理及び表示は、前記第１色エリアと前記第２色エリアの両方に対して個々に適用される。

[0025] 一般に、もし第１若しくは第２色エリア又はその両方が識別されることができなければ、その結果は、それぞれのエリアを持たない処理画像、具体的には完全にグレイスケールの又は黒い画像になるだろう。

[0026] 好ましい実施態様において、前記映像システムが、前記物品へのそのような色の適用における非一貫性に対処するために、前記色の色合いを区別する。前記映像システムが、前記カメラの画像を処理し、各色を識別し、各色及びその色合いを色座標系、特に３座標系、例えばＸＹＺ系にプロットする。座標は、好ましくは、ＲＧＢなどの配色又は色空間系の明度に対応する。前記プロセッサ１７が、これらのデータ点を処理し、所望の目標色の周りに、当該目標色の許容できる色合いを表す空間の体積を構築する。前記映像システムは、前記色エリアの色を識別し、前記色座標系における座標を決定する。次いで特定の色が、前記色座標系におけるある空間又は体積を割り当てられる。次いで、この空間の内部の全ての色が、同一の色の異なる色合いである、故に同一の色に属するものとして識別される。前記空間は、具体的に、前記色座標系の座標の各々についての間隔、即ち３座標系の場合には３つの間隔によって規定される。

[0027] 好ましい実施態様において、前記プロセッサは、前記目標色の適切な色合いの範囲に対してプログラムされ、前記範囲は、前記目標色の変化に対する前記システムの許容度である。換言すると、前記色エリアの色は、色のある範囲内において適用又は識別されることができ、この範囲の色を前記プロセッサは認識する、即ち前記範囲の全ての色を１つの色、即ち前記目標色であると識別するようにプログラムされる。このように、前記目標色は青であるかもしれないが、適切な色の範囲は、薄い青から濃い青まで、あるいは色座標系における対応する明度にわたって広がり得るであろう。そして前記プロセッサは、薄い青から濃い青までの全ての色を、青、故に目標色として識別するだろう。

[0028] 好ましい実施態様において、前記プロセッサは、前記適切な色合いの範囲内にある色合いを、前記目標色で修正及び表示されるように強調する。このように、前記プロセッサは、単に色を目標色の適切な色合いの範囲の中にあると認識するだけでなく、前記画面上におけるその表現をまさに当該目標色となるように変更する。すると、上で言及された例では、前記目標色である青の１つの色合いとして識別されている薄い青は、前記画面上に薄い青としては示されず、青として示される。このことは前記操作者による分析を更に簡単なものにするが、それは、彼又は彼女はもはや様々な色合いを識別する必要がないからである。これは前記プロセッサによって行われる。

[0029] 好ましい実施態様において、前記映像システムは、初めに、適合していると考えられる第１色に合わせてキャリブレーションされる。前記映像システムは、適合していると考えられる第２色に向けて特にキャリブレーションされる。マスターパーツの画像が前記カメラによって取得され、その結果、前記プロセッサが、前記目標色に対するデータ、つまり特に前記色座標系に即ち３Ｄグラフ上にプロットされるところの色を決定する。前記プロセッサが、そのようなプロットに関連するデータを、実際の物品の取得画像の将来の処理のために記憶する。実際において、次に全ての色エリアが、前記マスター物品の前記色エリアと比較される。１つの色エリアにつき異なる色を有する様々なマスター物品が、一実施態様において、特定の特性を識別するために異なる色エリアによってマーキングされている類似の物品に合わせてキャリブレーションするのに使用される。あるいは、又は加えて、様々なマスター物品が、一実施態様において、前記色座標系における特定の色の空間のサイズ及び形を決定するのに使用される。

[0030] 好ましい実施態様において、前記画像は、画像取得ゾーンにおいて取得され、前記映像システムは、前記カメラによって撮影されている各物品を照明するために前記画像取得ゾーンへ光を向けるライトを含む。これは都合の良いことに、均一な光の状態を前記画像取得ゾーンに提供する。一実施態様において、前記ライトはＬＥＤである。

[0031] 好ましい実施態様において、前記映像システム、特に表示画面は、視覚的指標若しくは可聴指標又はその両方を用いて、フィードバックを特に前記操作者へ提供し不適合な物品の存在を知らせる。

[0032] 好ましい実施態様において、自動化された構成が提供される。システム及び方法に関する上記の所見が、自動化された構成に適宜に当てはまる。前記物品は、前記物品の特定の特性を識別するために色エリアでマーキングされる。前記映像システムのカメラが、好ましくは製造又は生産環境内の場所において、前記物品の画像を取得する。前記映像システムのプロセッサが、画像インフィードを通じて前記カメラから前記画像を受け取る。前記プロセッサが、前記画像インフィードを処理する。前記映像システムの前記プロセッサが、前記取得された画像及び色エリアを先にキャリブレーションされた目標色と比較することによって、各色エリアが許容可能であるか否かの決定をする。前記プロセッサが、不適合な物品を処置する製造又は生産設備へフィードバックを提供する。そのような製造又は生産設備は、例えば、前記不適合な物品を前記製造又は生産ラインから取り除くハンドリングシステム又はロボットアームである。上述されたような画面が、一実施態様において、操作者が自動化された検査プロセスに従うことができるようにするために存在する。

[0033] 好ましい映像システムが、上で説明されたような方法の範囲内で使用される。前記映像システムは、プロセッサと、物品の画像を好ましくは製造又は生産環境内の場所において取得するためのカメラとを備える。前記物品は、前記物品の特定の特性を識別するために色エリアでマーキングされる、即ち、前もってマーキングされているか又は本方法の一部としてマーキングされる。前記プロセッサは、画像インフィードを通じて前記カメラから前記画像を受け取り、前記画像インフィードを処理し、処理された画像出力を、表示画面を含む表示装置の入力へ送り込み、前記処理された画像を操作者によって見ることができるように前記画面上に表示し、前記操作者の眼疲労を低減するために、前記カメラから受け取られた前記インフィード画像の前記色エリア以外の全ての散漫な特徴物を除去又は減少させる、ように構成される。

[0034] 別の好ましい映像システムは、上で言及されたような自動化された構成における方法の範囲内での使用のためのものである。前記映像システムは、プロセッサと、物品の画像を好ましくは製造又は生産環境内の場所において取得するためのカメラとを備える。前記物品は、前記物品の特定の特性を識別するために色エリアでマーキングされる。前記プロセッサは、画像インフィードを通じて前記カメラから前記画像を受け取り、前記画像インフィードを処理し、前記取得された画像及び色エリアを先にキャリブレーションされた目標色と比較することによって、各色エリアが許容可能であるか否かの決定をし、不適合な物品を処置する製造又は生産設備へフィードバックを提供する、ように構成される。

[0035] 特定の方法又は特定の映像システムに関して上で述べられたことは、本明細書において同様に説明される全ての他の方法及び映像システムに相応に当てはまる。とりわけ、ある方法又は映像システムに関して言及されたいずれの特徴も、本明細書において説明される他の方法及び映像システムと組み合わされることが可能である。

[0036] 本発明の他の目標及び目的、並びにそれらのバリエーションは、以下の明細書を読み、添付の図面を検討すれば明らかとなるだろう。

[0037] 図１は、本発明の映像システムの線図である。 [0038] 図２は、パーツ及び塗られた色エリアの一例を示す。 [0039] 図３は、パーツ及び塗られた色エリアの第２の例を示す。

[0040] ある用語は、便宜及び参考のためにのみ以下の説明において用いられ、限定的ではない。例えば、「上側へ」「下側へ」「右側へ」及び「左側へ」という語は、参照がなされている図中の方向を示すだろう。「内側へ」及び「外側へ」という語は、それぞれ、配置及びその指定されたパーツの幾何学的中心へ向かう、又はそこから離れる方向を示すだろう。前記用語は、特定的に言及された語、その派生語、及び類似の輸入語を含むだろう。

[0041] 図１を参照すると、本発明は、製造又は生産環境１５内の選択された位置において各物品１４の画像又は映像を得るための画像取得カメラ１２を含むことができる統合映像化コンポーネントを好適に備える映像システム１０に関する。カメラ１２は、物品１４が製造又は生産環境１５の中を移動する際に、それらの静止画像又は動画像を入手若しくは取得することができる。例示の目的のために、複数の物品１４が、物品１４を別のエリア、例えば組立エリア、梱包エリア、又は出荷エリアへ給送するコンベアベルトなどの供給経路１６に沿って移動するかもしれない。あるいはまた、物品１４は、カメラ１２のエリアへ１つずつ給送されるかもしれないが、本発明は、物品１４をカメラ１２へ供給する特定の方法には限定されない。

[0042] 映像システム１０はまた、パーソナルコンピュータ、プログラマブルロジックコントローラ（ＰＬＣ）、又は他のコンピュータ化された処理装置などの、画像プロセッサとして機能するプロセッサ１７を含む。カメラ１２は、図１に図式的に示される画像取得エリア１８を監視するために物品１４上の色を検出する、レンズ又は他の画像取得コンポーネントを有する。物品１４が画像取得エリア１８内に存在している時に、カメラ１２は、物品１４の色を検出し、物品１４の色画像であって好ましくはデジタル画像を取得する。カメラ１２は、次に、その画像又はその画像に関連するデータをカメラ出力１９を通じてプロセッサ１７の対応する入力２０へ供給する。

[0043] したがって、プロセッサ１７は、画像インフィードを通じてカメラ１２からのデジタル画像を受け取り、画像インフィード及びそれに関連するデータを処理し、処理された画像出力及び関連する出力データを、プロセッサ出力２１を通じて、表示画面２４を含む表示装置、モニタ、又は他の操作者視認可能装置２３の対応する入力２２へ送り込む。好ましくは、処理された画像は、次に、操作者によって見ることができるように、画面２４上に表示される。

[0044] 概略的に、処理の間、この映像システム１０は好適に、カメラ１２から受け取られたインフィード画像の、関連する色エリア以外の全ての他の散漫な特徴物を除去又は減少させるであろう。ここで、眼疲労が操作者にとってより問題ではなくなるように、操作者の表示画面２４上において物品の残りのエリアが非強調される一方、当該関連色が強調されるであろう。

[0045] 本発明に関してより詳細には、図２は、パーツ２６−２９として示されている例示的な物品１４を示す。これらのパーツ２６−２９は、本明細書において前述されたようなバルブステムであってよい。パーツの各々は、サイズ、種類、又は素材など、当該パーツの特有の特性を識別するために、ペイントマーカー（paint marker）などによってパーツ２６−２９に塗られた特定の色エリア２６Ａ−２９Ａでマーキングされる。これらの色エリア２６Ａ−２９Ａは、パーツ２６−２９の残りの表面エリアと異なる色であり区別可能である。この図示された応用では、製造業者又は製造業者への供給者は、特定のパーツ２６−２９にペイントドット（paint dot）などの色エリア２６Ａ−２９Ａを配置することができる。これは、パーツがエンジン用のバルブステムである場合に望ましいかもしれない。そこでは、正しいバルブステムが特定のエンジンに挿入されることが重要な意味を持つ。例えば、パーツ２６及び２７は共にパーツであり、色エリア２６Ａ及び２７Ａにおける同一色でマーキングされる。この色は黄色であってもよいし、あるいは、裸眼によって「黄色」とみなされるであろう範囲にあってもよいだろう。他のパーツ２８及び２９は、パーツ２６及び２７と異なってよく、紫色、又は裸眼によって「紫色」とみなされるであろう範囲にあるものなどの、色エリア２８Ａ及び２９Ａにおける異なる色でマーキングされてよい。

[0046] ペイントドットは手で塗られ、またペイントマーカーは変化する質のペイントドットを適用することができるので、ペイントドットは時々、特に裸眼には、ほとんど視認できないことがある。図２において、例えば、色エリア２６Ａは、より薄い色エリア２７Ａと比較して、より濃くはっきりした配色を有する。色エリア２７Ａでは、色材は、これは塗料であり得るが、希薄で、パーツ２７からの表面色のいくらかを目に見えるようにするか、あるいは透けて見えるようにするかもしれない。そしてそれは、色エリア２６Ａ及び２７Ａにおいて用いられている特定の色の色合い（shade）を変化させる。同様に、色エリア２９Ａにおける第２の色は、色エリア２８Ａに塗られた、より薄いが同じ第２の色よりも濃くはっきりしている。ここでもまた、第２の色の２つの色合い、即ち濃い紫色と薄い紫色が、色エリア２８Ａ及び２９Ａに存在している。したがって、本発明は、第１色エリア２６Ａ及び２７Ａと第２色エリア２８Ａ及び２９Ａに存在しているような第１と第２の色を分離及び区別しながら、以下に更に説明されるように当該第１と第２の色の異なる色合いをも分離及び区別するために用いられる。一例として、パーツ２６Ａ及び２７Ａの第１の色は適切であり、正しく適合しているかもしれないが、もし映像システム１０又は操作者が第２色エリア２８Ａ及び２９Ａを見ることによってパーツ２８又は２９の存在を識別すれば、これら２８又は２９は不適合とみなされ、システム１０は当該不適合なパーツ２８又は２９に対処するように応答するであろう。

[0047] 加えて、映像システム１０は、１つのパーツ１４につき１よりも多い関連色を区別し、分離し、表示することができる。先の例において、操作者は、各パーツ１４、例えばパーツ２６及び２７を正しい色であるかどうかについて監視し、次いで不適合な色を有するパーツ、例えばパーツ２８及び２９を棄却するように要求されるかもしれない。図３に示されるような別のレベルの複雑性として、パーツ１４はパーツ３０−３２として指定されており、やはりバルブステムのような似た種類のパーツであり得る。パーツ３０及び３１はともに同じ種類のバルブステムであり、したがって、赤又は裸眼によって「赤」とみなされるであろうものなどの第１の共通色を有した色エリア３０Ａ及び３１Ａでマーキングされる。パーツ３２は異なっており、したがって、青又は裸眼によって「青」とみなされるであろうものなどの第２の色である色エリア３２Ａでマーキングされる。このマーキング規約は図２における上の第１の例に類似している。

[0048] 図３のこの第２の例に関し、パーツ３０−３２はまた、各パーツ３０−３２が色エリア３０Ａ−３２Ａのような第１色エリアを正しく有していることを保証するために事前検査される。もしこれらの色エリアが存在していなければ、どんな種類のパーツが用いられているか知ることが不可能であるので当該パーツは不適合である。この事前検査はまた、正しい色が色エリア３０Ａ−３２Ａに用いられていることを検証する。この予備的検査は、別の検査者、例えば製造業者又はパーツ供給者のどこかほかの場所にいる検査者によって実施されてもよい。もしパーツ３０−３２が第１色エリア３０Ａ−３２Ａで正しくマーキングされていれば、第２色エリア３０Ｂ−３２Ｂが塗られ、当該パーツは、第１色エリア３０Ａ−３２Ａが存在し正しく塗られていることを確認する緑色などの更なる色のペイントドットを受け入れる。第２色エリアは、第１色エリア３０Ａ−３２Ａがパーツ３０−３２を検証した後に塗られ、またパーツ３０−３２上の異なる位置に配置されることが可能である。図３では、第２色エリア３０Ｂは第１色エリア３０Ａから離れており、色エリア３１Ｂは色エリア３１Ａの上に載っており、色エリア３２Ｂは部分的に色エリア３２Ａの上に載っている、又は重なっている。本発明の映像システム１０は、好ましくは、緑色などの第２色を当該パーツの上に存在する他の色のいずれからも自動的に切り出して（segment out）識別し、また使用に先立ってパーツ３０−３２の上面のより見やすい、眼疲労のより少ない眺めを操作者に与えるであろう。これらの例において、この独創的な画像強調手法は、操作者にとって興味のある１又は複数の色だけを好適に分離及び表示し、当該操作者が画像全体ではなく関心のある色エリアに注目することを可能にする。

[0049] 図１及び映像システム１０の動作に関してより詳細には、カメラ１２は、画像取得ゾーン１８からの画像を監視し取得する。カメラ１２は、周期的な間隔の画像、又は連続的な動画像さえも取得することができ、次いで、物品１４の画像を映像システム１０による後続の処理のために出力するであろう。好ましくは、映像システムはまた、カメラ１２によって撮影されている各物品１４を照明するために画像取得ゾーン１８へ光４１を向けるライト４０も含むであろう。このライト４０は、より均一な光の状態を画像取得ゾーン１８に提供する。この点について、環境１５は典型的に、環境を照明する周囲ライト４２を含んでいる。各環境１５は照明に違いがあり得るので、システムライティング４０の付加は、物品１４の画像を取得するためのより一貫性がある視覚環境を提供する。好ましくは、ライト４０はＬＥＤライトであるが、他の光源が用いられることが可能である。好ましくは、ライト４０を備えた映像システム１０はまた、各ライトの種類の異なる特性及び色の変動を考慮してキャリブレーションされる。

[0050] プロセッサ１７は次に、画像インフィード２０を通じてカメラ１２からデジタル画像を受け取り、画像インフィード及びそれに関連するデータを処理して、図２及び３に関して説明された色エリアのような、物品１４上に存在する色エリアを検出する。プロセッサ１７は次に、各パーツ１４上の色エリアを区分けし（segment）、識別する。好適な一実施態様において、プロセッサ１７は次に、表示装置２４上の画面２３へ処理された画像出力を送り込み、データを出力することができる。処理の間、プロセッサ１７は好適に、カメラ１２からのインフィード画像の、関連する色エリア以外の全ての他の散漫な特徴物を除去又は減少させるであろう。換言すれば、プロセッサ１７は、眼疲労が操作者にとってより問題ではなくなるように操作者のディスプレイ２３上において物品の残りのエリアが非強調される一方、当該関連色を区分けして強調するであろう。

[0051] 図２の例において、プロセッサ１７は、パーツ２６上の適合した色エリア２６Ａを切り出し、また一構成例において、当該色エリア２６Ａを黄色などの適切な色で画面２３上に色エリア２６Ａの形で表示するであろう。図２に見られるように、色エリア２６Ａ及び２７Ａは異なる形又は境界を有しており、画面２３上に示される時には、その形は適切な色である黄色で表示されるであろう。もし不適合なパーツ２８が存在していたら、色エリア２８Ａは、「紫色」などの対応する色で表示されるであろう。操作者は、適合しているパーツ２６又は２７については容易に明白な「黄色」エリアを見ているであろう。しかし、もし色エリア２８Ａが紫色で示されたら、操作者は、これが間違った色でありパーツ２８又は２９が不適合であることを簡単に判定することができるであろう。操作者は次に、不適合なパーツを除去するための確立した処理を開始するであろう。あるいはまた、操作者の装備がその不適合色に応答し、当該不適合なパーツを除去するように動作するであろう。

[0052] この構成において、プロセッサ１７は、色エリアを示すだけであってもよく、次いで、パーツの残りの全ての特徴物及び色を黒で表示して、操作者が黒い画面上に「黄色い」色エリアを見るようにしてもよいであろう。あるいはまた、プロセッサ１７は、残りの全ての特徴物及び色をグレイスケールに変換し、「黄色い」色エリアを当該パーツのグレイスケール画像とともに示すことができるであろう。こうして、第１及び第２色エリアは、黒い画面上又は当該パーツのグレイスケール画像上の色エリアで表示されることができ、黒い画面又はグレイスケール画像を通じて、色エリアが強調され、パーツ１４の残りのエリアが非強調される。

[0053] 図３におけるように第１及び第２色が用いられる場合、プロセッサは、画面２３上に２つの別個の処理画像を生成してもよい。処理画像は、分割画面形式で表示されることができるであろう。例えば、画面２３の左側は、当該パーツが適合したものであることを操作者が容易に確認することができるように、第１色エリア３０Ａ又は３１Ａを赤で表示してもよいであろう。もし色エリア３２Ｂが青で表示されていれば、操作者は、不適合なパーツ３２が存在していると判定することができるであろう。画面２３の右側には、プロセッサ１７は、第２色エリア３０Ｂ−３２Ｂを示す処理画像を生成してもよい。もし緑色などの第２色が見られれば、操作者は、当該パーツが検査されて第１色エリアを含んでいると検証されたこと、そしてこれが正確であることを知る。もし第２色エリアが存在していなければ、第１色エリアは依然として存在しているかもしれないが、操作者は、第１色エリアが事前検査及び正確であると承認されなかったこと、そして当該パーツは先に検証されなかったので不適合としてやはり棄却され得ることを知るであろう。ここでもまた、第１及び第２色エリアは、黒い画面上又は当該パーツのグレイスケール画像上の色エリアで表示されることができ、黒い画面又はグレイスケール画像を通じて、色エリアが強調され、残りのエリアが非強調される。

[0054] 映像システム１０はまた、物品１４への色の適用における非一貫性に対処するために、そのような色の色合いを区別する。映像システムは、カメラ画像を処理し、各々の色を識別し、各色及びその色合いをＸＹＺ座標系にプロットする。このシステムにおいて、基本ＲＧＢ色はそれぞれＸＹＺ軸に対応してそれぞれＸＹＺ軸上にプロットされ、その結果、各色はＸＹＺ座標を有する空間にプロットされることができる。映像システム１０はＲＧＢ空間で動作するが、ＣＩＥＬＡＢ及びＩＩＳＬなどの、土台となるハードウェアによってサポートされる任意の色空間が用いられてよい。プロセッサ１７は、これらのデータ点を処理し、所望の目標色の周りに、当該目標色の許容できる色合いを表す空間の体積を構築する。例えば、もし黄色のある色合いが色エリアに塗られている色であるなら、パーツ１４上に視認される黄色の実際の色合いは、塗られている色の濃さ若しくは深さの違い、又は他の要因のために変化し得る。したがって、プロセッサ１７は、目標色の適切な色合いの範囲に対してプログラムされ、当該範囲は、目標色の変化に対するシステム１０の許容度である。

[0055] 目標色のある色合いが適切であると判明すると、プロセッサ１７は、カメラ１２によって取得された実際の色合いで色エリアをディスプレイ２４に表示するか、又は許容された色の色合いを、それが修正されて目標色で表示されるように強調することが可能である。こうして、操作者は、色エリアを本当の色又は強調された色で見ることができる。

[0056] 処理の初期ステップとして、映像システム１０は、適合していると考えられる第１色及び第２色向けにシステム１０を訓練するためにキャリブレーションされることが可能である。この点について、好ましい目標色に存在している第１色若しくは第２色、又はその両方を含むマスターパーツ１４が、最初に望まれるのであってよい。マスターパーツ１４の画像がカメラ１２によって取得されることができ、その結果、プロセッサ１７は、目標色のデータを３Ｄグラフ上にプロットされたものとして決定し、次いでそのようなプロットに関連するデータを、実際のパーツ１４の取得画像の将来の処理のために記憶することが可能である。カメラ１２は好ましいことにライト４０を含むので、これはライト４２からの周囲光の変動の影響を最小化し、画像取得ゾーン１８に提供される照明は、より均一性と一貫性を持つようになるだろう。あるいはまた、プロセッサ１７は、目標色とともにプロットされることができるカラーチャートを用いて予めキャリブレーションされることが可能であろう。

[0057] 好ましくは、ライト４０はＬＥＤライトであるが、他の光源が用いられることが可能である。好ましくは、ライト４０はまた、各ライトの種類の異なる特性及び色の変動を考慮してキャリブレーションされる。

[0058] したがって、この映像システムの独創的な部分は、画像取得及び処理のための既製のカラーマシン映像ハードウェアと一緒に画像処理ソフトウェアを組み込むことができる。好ましい一構成例において、映像システム１０は、Ｃｏｇｎｅｘ社のカメラ又はＭａｔｒｏｘ社のスマートカメラとともに動作して、自動検査のために色を区分けすることが可能である。

[0059] 映像システムは、別の任意選択的な構成で動作してもよい。一構成例では、顧客は、操作者が上記説明に従ってディスプレイ２４を連続的に監視する非自動化構成において映像システムを導入し動作させることができる。操作者は、画面２３を眺め、黒い背景上の色エリア、又はパーツ１４のグレイスケール画像上の色エリアのいずれかによって表示画面上に強調された望ましい色エリアを示す、処理された画像を提示されるであろう。そして操作者は、画面２３を使用して、パーツ１４が許容可能で適合しているかどうかについて決定するのに役立てることができ、またもし不適合であれば、操作者は、当該不適合なパーツ１４を取り除くための、又は生産ラインから正しくないパーツが取り除かれるまで生産ラインを停止させるためのアクションをとることが可能である。

[0060] 自動化された構成においては、映像システム１０のプロセッサ１７は、取得された画像及び色エリアを、上述されたティーチングステップ中など先にキャリブレーションされた目標色と比較することによって、各色エリアが許容可能であるか否か、即ち良好か不良かの決定をするであろう。プロセッサ１７及び関連するソフトウェアは、次に、操作者の介在を要することなく、不適合なパーツを処置する製造又は生産設備へフィードバックを提供することができる。表示画面２３はそれでもなお、不適合なパーツ１４の存在を知らせる視覚的な若しくは可聴の指標又はその両方などのフィードバックを操作者に提供してもよいが、プロセッサ１７は、当該不適合なパーツ１４に対処するためのステップを自動的に行うことができ、又は映像システム１０によるそのような介入を承認するように操作者に求めた後に、そのような自動的なステップを行うことができる。

[0061] 斯くして、本発明の映像システム１０は、好ましいことに、眼疲労が操作者にとってより問題ではなくなるように、色エリア以外の他の全ての散漫な画像の特徴物を除去するのに役立つことが可能である。

Claims (20)

1. 映像システムを使用することによって物品を検査するための方法であって、
   前記物品は、前記物品の特定の特性を識別するために色エリアでマーキングされ、
   前記映像システムのカメラが、前記物品の画像を取得し、
   前記映像システムのプロセッサが、画像インフィードを通じて前記カメラから前記画像を受け取り、
   前記プロセッサが、前記画像インフィードを処理し、
   前記プロセッサが、処理された画像出力を、表示画面を含む表示装置の入力へ送り込み、
   前記プロセッサが、前記処理された画像を操作者によって見ることができるように前記画面上に表示し、
   前記プロセッサが、前記操作者の眼疲労を低減するために、前記カメラから受け取られた前記インフィード画像の前記色エリア以外の全ての散漫な特徴物を除去又は減少させる、
   方法。
2. 前記色エリアは、いくつかの物品に繰り返し塗られたペイントドットであり、前記ペイントドットは、変化する質で塗られている、請求項１に記載の方法。
3. 前記プロセッサが、各物品上の前記色エリアを区分けして識別し、
   前記プロセッサが、前記カメラからの前記画像の前記色エリア以外の全ての散漫な特徴物を除去又は減少させる、
   請求項１から２のいずれか１項に記載の方法。
4. 前記プロセッサが、前記表示装置上において前記物品の残りのエリアが非強調される一方で前記色エリアを区分けして強調する、請求項１から３のいずれか１項に記載の方法。
5. 前記プロセッサが、前記色エリアを切り出し、当該色エリアを前記画面上の適切な色で且つ前記色エリアの形で表示する、請求項１から４のいずれか１項に記載の方法。
6. 黒い画面又はグレイスケール画像を通じて、前記色エリアが強調され前記物品の残りのエリアが非強調される、請求項１から５のいずれか１項に記載の方法。
7. 前記物品は第１色エリアを有し、前記第１色エリアに正しい色が用いられていることが検証され、
   前記第１色エリアが存在し正しく塗られていることを確認するために、第２色エリアが塗られる、
   請求項１から６のいずれか１項に記載の方法。
8. 前記物品は、各物品が第１色エリアを正しく有していることを保証するために、及び前記第１色エリアに正しい色が用いられていることを検証するために事前検査される、請求項７に記載の方法。
9. 異なる物品上の前記第２色エリアは、前記第１色エリアに対して異なる位置に配置される、請求項７から８のいずれか１項に記載の方法。
10. 前記映像システムが、前記物品上に存在する前記第２色を自動的に切り出して識別し、
    前記プロセッサが、前記画面上に２つの別個の処理画像を生成し、前記画面の第１部分が前記第１色エリアを表示し、前記画面の第２部分が前記第２色エリアを表示する、
    請求項７から９のいずれか１項に記載の方法。
11. 前記第１及び第２色エリアは各々、黒い画面上の色エリアとともに、又は前記物品のグレイスケール画像上に表示され、黒い画面又はグレイスケール画像を通じて、それぞれの前記色エリアが強調され残りのエリアが非強調される、請求項７から１０のいずれか１項に記載の方法。
12. 前記映像システムが、前記物品への色の適用における非一貫性に対処するために、前記色の色合いを区別し、
    前記映像システムが、前記カメラの画像を処理し、各色を識別し、各色及びその色合いを色座標系にプロットし、
    前記プロセッサが、これらのデータ点を処理し、所望の目標色の周りに、当該目標色の許容できる色合いを表す空間の体積を構築する、
    請求項１から１１のいずれか１項に記載の方法。
13. 前記プロセッサは、前記目標色の適切な色合いの範囲に対してプログラムされ、前記範囲は、前記目標色の変化に対する前記システムの許容度である、請求項１から１２のいずれか１項に記載の方法。
14. 前記プロセッサは、前記適切な色合いの範囲内にある色合いを、前記目標色で修正及び表示されるように強調する、請求項１３に記載の方法。
15. 前記映像システムは、初めに、適合していると考えられる第１色に合わせてキャリブレーションされ、
    前記映像システムは、適合していると考えられる第２色に向けて特にキャリブレーションされ、
    マスターパーツの画像が前記カメラによって取得され、その結果、前記プロセッサが、前記目標色に対するデータを決定し、そのようなプロットに関連するデータを、実際の物品の取得画像の将来の処理のために記憶する、
    請求項１から１４のいずれか１項に記載の方法。
16. 前記画像は、画像取得ゾーンにおいて取得され、前記映像システムは、前記カメラによって撮影されている各物品を照明するために前記画像取得ゾーンへ光を向けるライトを含む、請求項１から１５のいずれか１項に記載の方法。
17. 前記映像システムは、視覚的指標若しくは可聴指標又はその両方を用いて、フィードバックを提供し不適合な物品の存在を知らせる、請求項１から１６のいずれか１項に記載の方法。
18. 映像システムを使用することによって物品を検査するための方法であって、自動化された構成において、
    前記物品は、前記物品の特定の特性を識別するために色エリアでマーキングされ、
    前記映像システムのカメラが、前記物品の画像を取得し、
    前記映像システムのプロセッサが、画像インフィードを通じて前記カメラから前記画像を受け取り、
    前記プロセッサが、前記画像インフィードを処理し、
    前記映像システムの前記プロセッサが、前記取得された画像及び色エリアを先にキャリブレーションされた目標色と比較することによって、各色エリアが許容可能であるか否かの決定をし、
    前記プロセッサが、不適合な物品を処置する製造又は生産設備へフィードバックを提供する、
    方法。
19. プロセッサと、物品の画像を取得するためのカメラとを備える映像システムであって、前記物品は、前記物品の特定の特性を識別するために色エリアでマーキングされ、前記プロセッサは、
    画像インフィードを通じて前記カメラから前記画像を受け取り、
    前記画像インフィードを処理し、
    処理された画像出力を、表示画面を含む表示装置の入力へ送り込み、
    前記処理された画像を操作者によって見ることができるように前記画面上に表示し、
    前記操作者の眼疲労を低減するために、前記カメラから受け取られた前記インフィード画像の前記色エリア以外の全ての散漫な特徴物を除去又は減少させる、
    ように構成される、映像システム。
20. プロセッサと、物品の画像を取得するためのカメラとを備える映像システムであって、前記物品は、前記物品の特定の特性を識別するために色エリアでマーキングされ、前記プロセッサは、
    画像インフィードを通じて前記カメラから前記画像を受け取り、
    前記画像インフィードを処理し、
    前記取得された画像及び色エリアを先にキャリブレーションされた目標色と比較することによって、各色エリアが許容可能であるか否かの決定をし、
    不適合な物品を処置する製造又は生産設備へフィードバックを提供する、
    ように構成される、映像システム。
    

Images