JP2017527905A - 色に基づく異物検出システム - Google Patents

色に基づく異物検出システム Download PDF

Info

Publication number
JP2017527905A
JP2017527905A JP2017510498A JP2017510498A JP2017527905A JP 2017527905 A JP2017527905 A JP 2017527905A JP 2017510498 A JP2017510498 A JP 2017510498A JP 2017510498 A JP2017510498 A JP 2017510498A JP 2017527905 A JP2017527905 A JP 2017527905A
Authority
JP
Japan
Prior art keywords
color
colors
class
user
image group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017510498A
Other languages
English (en)
Other versions
JP6488366B2 (ja
Inventor
ジェイ. エンゲル、スティーブン
ジェイ. エンゲル、スティーブン
ジェイ. クリスト、ロバート
ジェイ. クリスト、ロバート
マドセン、ジョン
エイ. ナルディエッロ、ジェレル
エイ. ナルディエッロ、ジェレル
ブレイズ コブ、スカイラー
ブレイズ コブ、スカイラー
ダブリュ. シェイファー、スコット
ダブリュ. シェイファー、スコット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northrop Grumman Systems Corp
Original Assignee
Northrop Grumman Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northrop Grumman Systems Corp filed Critical Northrop Grumman Systems Corp
Publication of JP2017527905A publication Critical patent/JP2017527905A/ja
Application granted granted Critical
Publication of JP6488366B2 publication Critical patent/JP6488366B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/94Investigating contamination, e.g. dust
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • G01N2021/888Marking defects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

関心対象物内または関心対象物上の異物を検出するためのシステム及び方法が提供される。異物が無いと判っているサンプル対象物の第1の画像群がキャプチャされる。既定のカラーパレットからの複数の色が第1の画像群の色コンテンツに応じて少なくとも第1クラス及び第2クラスに分類される。関心対象物の第2の画像群がキャプチャされる。第2の画像群内に第1クラスからの色があれば関心対象物内または関心対象物上に異物が存在すると判定される。

Description

本出願は、概して、品質管理業務に関し、より詳細には、色に基づく異物検出システムに関する。
異物破片は、製品またはシステムにとって外来物であって損害または機能不全を引き起こし得る物質、破片、または物品である。異物による損害は、製品の一部ではない任意の物体である異物であって、物理的または経済的な用語で表現されて製品に必要な安全性または性能特性を低下させるものもあればそうでないものある異物に起因する任意の損害のことである。FODは、異物によって製品になされた損害及び異物自体の両方を表すのにしばしば、特に航空機分野で使われる頭字語である。
異物による損害は、航空業界だけでも年間13億ドルに達すると考えられており、それには遅延、航空機変更、燃料費増、予定外のメンテナンス作業などの直接的および間接的な費用が含まれる。
一例によると、関心対象物内または関心対象物上の異物を検出するための方法が提供される。例えば一連の個々の画像やビデオストリームといった、異物が無いと判っているサンプル対象物の第1の画像群がキャプチャされる。既定のカラーパレットからの複数の色が第1の画像群の色コンテンツに応じて少なくとも第1クラス及び第2クラスに分類される。関心対象物の第2の画像群がキャプチャされる。第2の画像群内に第1クラスからの色があれば、関心対象物内または関心対象物上に異物が存在すると判定される。
別の例によると、関心対象物内または関心対象物上の異物を検出するためのシステムが提供される。このシステムは、イメージングシステムと、異物が無いと判っているサンプル対象物の第1の画像群をキャプチャすることを前記イメージングシステムに命令するように構成されたシステム制御部とを含む。色選択部は、前記第1の画像群の色コンテンツに応じて既定のカラーパレットから複数の色を選択するように構成される。前記システム制御部は、前記イメージングシステムに前記関心対象物の第2の画像群をキャプチャするように命令し、選択された色が前記第2の画像群内にある場合にユーザに通知するように更に構成されている。
更に別の例によると、非一時的コンピュータ可読媒体が提供される。システム制御部は、異物が無いと判っているサンプル対象物の第1の画像群をキャプチャすることをイメージングシステムに命令するように構成される。システム制御部は、前記第1の画像群を受け取るように構成されたイメージャーインターフェースと、ユーザからの入力を受け取るように構成されたユーザインターフェースとを備える。色選択部は、既定のカラーパレットからの複数の色を前記第1の画像群の色コンテンツに応じて少なくとも第1クラス及び第2クラスに分類するように構成される。前記システム制御部は、前記イメージングシステムに関心対象物の第2の画像群をキャプチャするように命令し、前記第2の画像群内に前記第1クラスの色があるときにユーザに通知し、その色が前記関心対象物内の異物を現すかどうかを示すユーザからの入力を前記ユーザインターフェースを介して受け取るように更に構成される。
本発明のハイブリッド量子ビットアセンブリによる特徴、目的、および利点は、図面と併せて以下に述べる詳細な説明からより明らかになるであろう。
異物検出システムの例を示す図。 赤緑青色空間における複数の異物を示す図。 関心対象物内または関心対象物上の異物を検出するための方法例を示す図。 関心対象物内または関心対象物上の異物を検出するための別の方法例を示す図。 図1乃至4に開示したシステム及び方法の例を実装可能なハードウェア構成要素からなる例示システムを示す模式的ブロック図。
本明細書では、製品または環境に想定される色コンテンツからのずれを探索して異物の存在を検出する異物検出システムについて説明する。なお、本明細書では、適切な検出器で受け取られる強度値のセットによって表されるような複数の波長にまたがるオブジェクトの強度プロファイルを記述するために「色」という用語を広義で用いる。したがって、ある物体上の所与の場所は、照明、検出器の角度、および当該物体からの距離(距離が増えたときの画素ブレンドによる等)に基づき複数の「色」を有することがあり、これらの色の各々は本システムによって当該物体の想定色コンテンツの一部としてキャプチャされ記録される。なお、所与の「色」は可視、赤外および紫外のスペクトルにおける波長に対する強度を含むことができ、所与の波長に対する強度が適切な波長の光を用いるアクティブ照明中かまたは環境照明下で測定できる。ある実装例では、所与の画素の色が、赤色光、緑色光および青色光用の一検出器での複数の強度値として示される。
この異物検出システムは、製造した組立体における異物破片(FOD)が当該製造施設から次の組立へと、より深刻には顧客/エンドユーザへと「逃げる」前に当該異物破片の存在を知らせる。ある実装例のシステムは、デジタルビデオカメラ、ディスプレイ、LCDディスプレイ等のイメージングシステムと、入力ビデオデータを処理して色によって視野内の異物を割り出すマシンビジョンソフトウェアアルゴリズムを備えたポータブルコンピュータとを含むことができる。このシステムは、異物が検出されるとオペレータに警告して、組立体内に異物を封入してしまうかもしれない次の組立工程の前に異物を取り除けるようにする。ある実装例の異物検出システムは、現状では検査師がFODを視覚的に走査する際に標準的な懐中電灯を使用することから、懐中電灯に似た構造で実装されてよく、この場合、懐中電灯の使用に満足している検査師は当該提案のシステムがとても馴染みやすいものであると判るであろう。別の実装例のシステムは、頭部装着型の光学式ディスプレイを備えたウェアラブルコンピュータに実装され得る。
図1は異物 検出システム10の一例を示す。このシステムは、異物が無いと判っているサンプル対象物の第1の画像群(a first set of images)をキャプチャするように、システム制御部16にあるイメージャーインターフェース14によって命令されるイメージングシステム12を含む。なお、当該画像セットは一連の個々の画像やビデオストリーム内の複数のフレームを含むことができる。本願の目的に関し、「対象物」は、異物の存在が望まれない任意の製品または環境であり得る。例えば、関心対象物は航空機の内部であり得る。サンプル対象物は、異物の不存在が既知であることに加え、任意の方法で関心対象物を表現するように選択される。例えば、サンプル対象物は、関心対象物と同じタイプでかつ検査済みの製品であってよく、または、ある時点で異物が無いと判っている関心対象物それ自体のこともあり得る。イメージングシステム12は、複数の波長で光を検出して各画素についての複数の強度値からなるセットであって、当該画素の色を画定する複数の強度値からなるセットを生成するように構成され得る。
色選択部18は、規定のカラーパレットから第1の画像群の色コンテンツに応じて複数の色を選択するように構成される。当該規定のカラーパレットは、例えば、測定した波長から形成され得る、所望の解像度レベルで分画(bin)された全ての可能性のある色を持ち得る。8ビットの赤色値、緑色値及び青色値を使用するある例では、分画が各々5ビット幅で各波長につき31分画あり、可能性のある色が29791である。ある例では、第1の画像群からの色の分布は、所与の色が計算されたバックグラウンドである確率P(S|C)と当該確率が所定の閾値より下である場合には選択された色とを用いて、色毎に単純ベイズ分類法を介して判定され得る。この例では、各色が出現するであろう確率が、すなわちその色がサンプル対象物の一部であるとすればP(C|S)が、サンプルの第1の画像群から見積もることができ、計算する必要がある他の確率P(C)及びP(S)は過去のテストデータから見積もることができる。別の例では、第1の画像群に存在しない全ての色が選択される。最終的に、第1の画像群内の色群から所定距離より外側にある全ての色が請託され得る。なお、本システムによって高確率または低確率の色が明示的に特定されるかどうかに関わらず、それらの色を「許可」クラスと「却下」クラスとに分けて、関心対象物内に存在するはずのない一群の色を本来的に示してよく、それらの色が明瞭化用の選択された複数の色として取り扱われる。
その後、イメージングシステム12は、関心対象物の第2の画像群(a second set of images)をキャプチャするようにシステム制御部によって命令され得る。全ての可能性のある色が事前に分類されているので、当該画像群はリアルタイムで処理されてそれら画像内に選択された複数の色に含まれる内の色を有する画素があるかどうかが判定される。もしあるなら、当該画素が関連付けられたディスプレイ20においてユーザに示され得る。例えば、選択された複数の色に含まれる色を有する画素は強調表示されてよく、あるいは、他の画素をグレースケール表示しつつ当該画素を有色表示されてよい。あるいは、選択された複数の色に含まれる色を有する画素がなければ、文字表示でユーザに通知してもよい(「問題なし」等)。このように、ユーザに提示された表示データが、画像内の異常が強調されるのをいっそう確実にし、関心対象物内または関心対象物上の異物が検出される可能性を大幅に増加させる。ある実装例では、ユーザは、示された場所における異物の存在を、適宜の入力装置24を介してユーザインターフェース22で、確認または却下することができる。ユーザが異物を確認した場合には、選択された複数の色に対する変更は行われない。異物が存在しないとユーザが示した場合には、検出された異物に関連付けられた一以上の色が選択された複数の色から除去されてよく、この場合、その色と同じ色の物体が、あるいは任意で、検出された色付近の範囲にある類似色を有する物体がそのユーザに対して強調表示されないようになる。このように、関心対象物のリアルタイム走査中であっても本システムのトレーニングを継続的に行うことができ、異物検出の正確さが向上する。
図2は、複数の異物52〜57を赤緑青(RGB)色空間で表現したもの50である。これら異物の例は、製品に関連付けられた作業スペースで使用されることがありそのまま残された可能性のある、コッタピン、テープ、ワッシャ、およびその他の小さな物が含まれる。この色空間は、3軸62、64、66によって規定され、各軸は、所与の画素の赤、青、緑の色コンテンツのうちの一つを8ビット値の範囲で示す。なお、イメージャーから物体までの距離、物体毎のばらつき、および照明のばらつきがいずれもイメージャーで受け取られる色コンテンツを変化させ得るため、各異物52〜57が相当の色範囲をもつものとして表現される。このことによって、所与の異物に関連する分類用の色を正しく規定することが困難になる。しかし、本願の画像は所与の対象物に対する背景色の学習に焦点を当てており、その結果、各物体に関連する色の全範囲とともに、ある検出システムでは予期していなかったために考慮されなかった異物に関連する色も考慮に入れることができる。
上述した構造的及び機能的特徴を考慮し、図3、4を参照して本発明の様々な態様に従う方法をより良く理解できるであろう。なお、図3、4の方法は説明の簡略化のために連続的に実行されるものとして示されているが、本発明は図示された順序に限定されず、本発明に従う一部の態様では本明細書に示され説明された態様とは異なる順序および/または同時に行われ得る。さらに、示された特徴の全てが本発明の一態様による方法を実施するのに必要とされるわけではない。
図3は、関心対象物内または関心対象物上の異物を検出するための方法100の一例を示す。102では、異物が無いと判っているサンプル対象物の第1の画像群がキャプチャされる。この第1の画像群は、一連の個々の画像としてまたはビデオストリームとしてキャプチャされ得る。なお、サンプル対象物は、関心対象物のカラーパレットを共有すると期待される任意の製品または環境であってよく、例えば、人間のオペレータによって検査済みの関心対象物と同じタイプかまたはその一部である別の製品を含み得る。第1の画像群は、本明細書において「背景」色と称される、異物が無い状態の関心対象物に関連付けられた複数の色を表す。ある実装例では、各々が可視光、赤外光または紫外光のうちの特定の波長に関連付けられた複数の強度値が、第1の画像群の各画素に対してキャプチャされるとともに、その複数の強度値の各々が所望の解像度へとキャプチャされ、当該所望の解像度と、各画素についての複数の強度値における強度値の数とに応じて、規定のカラーパレットが規定される。例えば、当該複数の強度値が8ビットの赤、青、緑色値で表されることができ、それら強度値を5の倍数に丸めることを含むことができる量子化を行うと、各波長について31個の可能性のある量子化値と29791の可能性のある色が得られる。
104では、規定のカラーパレットからの複数の色が、第1の画像群の色コンテンツに応じて第1クラスと第2クラスに分類される。実用的には、この選択は、当該カラーパレットの全体を背景色群と非背景色群とに分類し、関心対象物において期待される色と異物に関連する可能性のある色とを区別するためにそれら2つの色クラスのうちの1つを記憶する。これを実現するために、トレーニング用データとして第1の画像群を用いる改良型の単純ベイズ分類法を介して色の分類を行って、第1および第2クラスの色を取得することができる。あるいは、前記複数の色のうち第1の画像群に現れるすべての色を第2クラスに割り当て、前記複数の色のうちの他の色全てを第1クラスに割り当てることができる。
106では、関心対象物の第2の画像群がキャプチャされる。ある例では、手持ち型のまたは着用型のイメージングセンサをまとったユーザがそのイメージングセンサを関心対象物のいたるところに向けて、様々な照明条件と様々な物体からの距離とが記録されるようにする。あるいは、当該イメージャーは、関心対象物がその視野内に移動させながら、自動化装置によって移動されてもよいし静置されてもよい。108では、第1クラスの色に含まれる色が第2の画像群内に存在すれば、異物が関心対象物内または関心対象物上に存在するかどうかが判定される。関心対象物を走査する前に色の分類が行われるので、異物を示す色の認識をリアルタイムで実行することができ、異物の存在にユーザが速やかに対応できるようになる。
110では、異物が存在すると判定された場合には、判定された異物の場所がユーザに対して表示される。例えば、異物の場所を有色表示して残りをグレースケールで第2の画像群のキャプチャ画像をユーザに対して表示することや、予め選択した色や形で異物の場所を強調表示して当該画像をユーザに対して表示することや、あるいは、文字メッセージをユーザに表示することによって、その場所が示される。なお、この表示は、リアルタイム走査プロセスとともに即時行われることができ、ユーザへの通知前に関心対象物の走査が完了するのを待つ必要はない。従って、一実装例では、本システムは、存在すると判定された異物は異物ではない旨のフィードバックをユーザから受け取り、その異物に関連付けられた色のセットを判定し、その判定した色のセットを第1クラスから第2クラスに移し替えることができる。本システムが誤認警報を生成した場合には、同じ色に基づく以後の誤認警報を避けるためにこのユーザ入力が本システムに記憶されるのに用いられ得る。
図4は、関心対象物内または関心対象物上の異物を検出する方法150の別例を示す。152では、異物検出システムはトレーニングモードに入る。トレーニングモードでは、異物検出システムによってキャプチャされた全ての画像が本システムをトレーニングするのに用いることができるように、それらキャプチャデータが異物のないものと仮定される。154では、関心対象物の一部または異物が無いと判っている別の対象物等の対象物からの距離と照明条件とが異なっている複数の画像をキャプチャするために、当該対象物を横切るように本システムが遷移される。
156では、異物検出システムはトレーニングモードを出て、検出器に対して可能性のある全ての色を有するカラーパレットからキャプチャしたトレーニングデータ内で見つけた全ての色を除去し、異物に関連すると期待される色だけを残すようにする。本システムは、異物を示し得る、当該パレットからの色を判定ブロック158で走査する。このカラーバレットに残っている複数の色からある色が見つかると(Y)、本方法は160に進み、ユーザに潜在的異物が見つかったことを通知してこの発見を確認するように促す。その後判定ブロック162において本方法はユーザからの入力を待機する。潜在的異物が異物であるとユーザが示すと(Y)、本方法は158に戻り、異物の操作を続行する。検知された異物は誤認警報であるとユーザが示すと、本方法は164に進み、当該検知された異物に関連付けられた全ての色が、異物に関連すると期待されている複数色のパレットから除去される。その後、本方法は158に戻って関心対象物の走査を続行する。
図5は、図1のイメージャーインターフェース14、システム制御部16、及び色選択部18といった図1乃至4に開示したシステム及び方法の例を実装可能なハードウェアコンポーネントからなる例示システム200を示す模式的ブロック図である。このシステム200は、様々なシステムやサブシステムを含むことができる。このシステム200は、パーソナルコンピュータ、ラップトップコンピュータ、ワークステーション、コンピュータシステム、電気機器、「スマート」フォン、特定用途向け集積回路(ASIC)、サーバ、サーバーブレードセンタ、サーバファーム等であり得る。
本システム200は、システムバス202、処理ユニット204、システムメモリ206、メモリ装置208、210、通信インターフェース212(ネットワークインターフェース等)、通信リンク214、ディスプレイ216(ビデオ画面等)、及び入力装置(キーボードやマウス等)を含むことができる。システムバス202は、処理ユニット204及びシステムメモリ206と通信可能であり得る。ハードディスクドライブ、サーバ、スタンドアロンデータベースまたは他の不揮発的メモリ等の追加のメモリ装置208、210も、システムバス202と通信可能であり得る。システムバス202は、処理ユニット204、メモリ装置、206〜210、通信インターフェース212、ディスプレイ216、及び入力装置2180を相互接続する。いくつかの例では、システムバス202は、ユニバーサルシリアルバス(USB)ポート等の追加のポート(図示せず)とも相互接続する。
処理ユニット204は、演算装置であってよく、特定用途向け集積回路(ASIC)を含むことができる。処理ユニット204は、本明細書に開示した動作例を実施するように命令セットを実行する。当該処理ユニットは処理コアを含むことができる。
追加のメモリ装置206、208、210は、データ、プログラム、命令、テキスト形式のまたはコンパイル済み形式のデータベースクエリ、及びコンピュータを動作させるのに必要とされ得る任意の他の情報を格納する。メモリ206、208、210は、メモリカード、ディクスドライブ、コンパクトディスク(CD)、またはネットワークを介してアクセス可能なサーバといった(内蔵型または取り出し可能)コンピュータ可読媒体として実装することができる。特定の例では、メモリ206、208、210は、テキスト、画像、動画、および/または音声を備えることができ、それらの一部は人に理解可能なフォーマットで取得可能であってよい。
本システム200は、追加でまたは代替として、システムバス202及び通信リンク214と通信可能である通信インターフェース212を介して外部データソースまたはクエリソースにアクセス可能である。
動作時には本システム200が異物検出システムの一つ以上の部分を実現するのに使用され得る。特定の例では、システム制御部126を実現するためのコンピュータ実施可能ロジックがシステムメモリ206及びメモリ装置208、210のうちの一つ以上に常在している。処理ユニット204は、システムメモリ206及びメモリ装置208、210由来の一以上のコンピュータ実行可能命令を実行する。本明細書で使用される「コンピュータ可読媒体」という用語は、処理ユニット204に、実行用の命令を提供するのに参加する媒体を指し、処理ユニット204と動作可能に接続された単一媒体及び多数の非一時的媒体のいずれも含み得る。
本発明を例示的に開示した。したがって、本開示を通して使用した用語は限定的な意味ではなく例示として解釈されるべきである。当業者であれば本発明に対して微細な変更を行い得るであろうが、本技術の進歩の範囲内に入るのが合理的である全ての実施形態がここに保証される特許の範囲内に包含されることを意図している。
本発明を例示的に開示した。したがって、本開示を通して使用した用語は限定的な意味ではなく例示として解釈されるべきである。当業者であれば本発明に対して微細な変更を行い得るであろうが、本技術の進歩の範囲内に入るのが合理的である全ての実施形態がここに保証される特許の範囲内に包含されることを意図している。
本開示は以下を包含する。
[付記1]
関心対象物内または関心対象物上の異物を検出するための方法であって、
異物が無いと判っているサンプル対象物の第1の画像群をキャプチャし、
既定のカラーパレットからの複数の色を前記第1の画像群の色コンテンツに応じて少なくとも第1クラス及び第2クラスに分類し、
前記関心対象物の第2の画像群をキャプチャし、
前記第2の画像群内に前記第1クラスからの色がある場合に、前記関心対象物内または関心対象物上に異物が存在するかどうかを判定すること
を備える、前記方法。
[付記2]
既定のカラーパレットからの複数の色を前記第1の画像群の色コンテンツに応じて分類することは、当該複数の色を単純ベイズ分類法を介して分類することを含む、付記1に記載の方法。
[付記3]
既定のカラーパレットからの複数の色を前記第1の画像群の色コンテンツに応じて分類することは、前記複数の色のうち前記第1の画像群に現れるすべての色を前記第2クラスに割り当て、前記複数の色のうちの他の色全てを前記第1クラスに割り当てることを含む、付記1に記載の方法。
[付記4]
異物が存在すると判定された場合に前記異物の場所をユーザに示すことを更に備える、付記1に記載の方法。
[付記5]
存在すると判定された異物が異物ではない旨のフィードバックをユーザから受け取り、
その異物に関連付けられた色のセットを判定し、
その判定した色のセットを前記第1クラスから前記第2クラスに移し替えること
を更に備える、付記4に記載の方法。
[付記6]
異物の場所をユーザに示すことは、前記第2の画像群の内の所与の画像を、異物の場所を有色表示し当該画像の残りをグレースケール表示した状態で、ユーザに示すことを含む、付記4に記載の方法。
[付記7]
異物の場所をユーザに示すことは、前記第2の画像群の内の所与の画像を、予め選択した色で異物の場所を強調表示した状態でユーザに示すことを含む、付記4に記載の方法。
[付記8]
異物の場所をユーザに示すことは、ユーザに文字メッセージを表示することを含む、付記4に記載の方法。
[付記9]
サンプル対象物の第1の画像群をキャプチャすることは、
前記第1の画像群の各画素についての複数の強度値をキャプチャすることであって、当該複数の強度値の各々が可視光、赤外光、または紫外光のうちの特定の波長に関連付けられている、前記キャプチャすることと、
所望の解像度と各画素についての前記複数の強度値における強度値の数とに応じて前記既定のカラーパレットが規定されるように、前記複数の強度値の各々を前記所望の解像度へとキャプチャすること
を含む、付記1に記載の方法。
[付記10]
前記関心対象物は飛行機の内部であり、前記サンプル対象物は事前に検査されて異物が無いと判っている航空機の内部の一部である、付記1に記載の方法。
[付記11]
関心対象物内または関心対象物上の異物を検出するためのシステムであって、
イメージングシステムと、
異物が無いと判っているサンプル対象物の第1の画像群をキャプチャすることを前記イメージングシステムに命令するように構成されたシステム制御部と、
前記第1の画像群の色コンテンツに応じて既定のカラーパレットから複数の色を選択するように構成された色選択部と
を備え、
前記システム制御部は、前記イメージングシステムに前記関心対象物の第2の画像群をキャプチャするように命令し、選択された色が前記第2の画像群内にある場合にユーザに通知するように更に構成されている、前記システム。
[付記12]
頭部装着型の光学式ディスプレイを備えたウェアラブルコンピュータとして前記イメージングシステム、前記システム制御部、前記色選択部、及び前記ディスプレイがまとめて実装されている、付記11に記載の前記システム。
[付記13]
前記色選択部は、前記複数の色を単純ベイズ分類を介して分類することによって、前記第1の画像群の色コンテンツに応じて前記既定のカラーパレットから前記複数の色を選択するように構成されている、付記11に記載の前記システム。
[付記14]
前記色選択部は、前記第1の画像群に現れる全ての色を選択するように構成されている、付記11に記載の前記システム。
[付記15]
前記選択された色が関心対象物内または関心対象物上の異物を示す旨の確認と、前記選択された色が異物を示さない旨の指示とのうちの一方を受け取るように構成されているユーザインターフェースを更に備える、付記11に記載の前記システム。
[付記16]
前記選択された色が異物を示さない旨の前記指示に応答して、前記選択された複数の色から前記第2の画像群内に存在する前記選択された色が除去される、付記15に記載の前記システム。
[付記17]
システム制御部は、前記イメージングシステムに、前記第1の画像群の各画素についての複数の強度値をキャプチャすることであって、当該複数の強度値の各々が可視光、赤外光、または紫外光のうちの特定の波長に関連付けられている、前記キャプチャすることと、所望の解像度と各画素についての前記複数の強度値における強度値の数とに応じて前記既定のカラーパレットが規定されるように、前記複数の強度値の各々を前記所望の解像度へとキャプチャすることを命令するように構成されている、付記11に記載の前記システム。
[付記18]
非一時的コンピュータ可読媒体であって、
異物が無いと判っているサンプル対象物の第1の画像群をキャプチャすることをイメージングシステムに命令するように構成されるシステム制御部であって、前記第1の画像群を受け取るように構成されるイメージャーインターフェースと、ユーザからの入力を受け取るように構成されるユーザインターフェースとを備える前記システム制御部と、
既定のカラーパレットからの複数の色を前記第1の画像群の色コンテンツに応じて少なくとも第1クラス及び第2クラスに分類するように構成される色選択部と
を備え、
前記システム制御部は、前記イメージングシステムに関心対象物の第2の画像群をキャプチャするように命令し、前記第2の画像群内に前記第1クラスの色があるときにユーザに通知し、その色が前記関心対象物内の異物を現すかどうかを示すユーザからの入力を前記ユーザインターフェースを介して受け取るように更に構成される、前記非一時的コンピュータ可読媒体。
[付記19]
前記色選択部が、前記複数の色のうち前記第1の画像群に現れるすべての色を前記第2クラスに割り当て、前記複数の色のうちの他の色全てを前記第1クラスに割り当てるように構成される、付記18に記載の非一時的コンピュータ可読媒体。
[付記20]
前記第1クラスからのある色が異物に関連しないことを示すユーザからの入力に応答して、前記システム制御部が、前記第1クラスからの当該色を除去し、当該色を前記第2クラスに追加するように構成される、付記19に記載の非一時的コンピュータ可読媒体。

Claims (20)

  1. 関心対象物内または関心対象物上の異物を検出するための方法であって、
    異物が無いと判っているサンプル対象物の第1の画像群をキャプチャし、
    既定のカラーパレットからの複数の色を前記第1の画像群の色コンテンツに応じて少なくとも第1クラス及び第2クラスに分類し、
    前記関心対象物の第2の画像群をキャプチャし、
    前記第2の画像群内に前記第1クラスからの色がある場合に、前記関心対象物内または関心対象物上に異物が存在するかどうかを判定すること
    を備える、前記方法。
  2. 既定のカラーパレットからの複数の色を前記第1の画像群の色コンテンツに応じて分類することは、当該複数の色を単純ベイズ分類法を介して分類することを含む、請求項1に記載の方法。
  3. 既定のカラーパレットからの複数の色を前記第1の画像群の色コンテンツに応じて分類することは、前記複数の色のうち前記第1の画像群に現れるすべての色を前記第2クラスに割り当て、前記複数の色のうちの他の色全てを前記第1クラスに割り当てることを含む、請求項1に記載の方法。
  4. 異物が存在すると判定された場合に前記異物の場所をユーザに示すことを更に備える、請求項1に記載の方法。
  5. 存在すると判定された異物が異物ではない旨のフィードバックをユーザから受け取り、
    その異物に関連付けられた色のセットを判定し、
    その判定した色のセットを前記第1クラスから前記第2クラスに移し替えること
    を更に備える、請求項4に記載の方法。
  6. 異物の場所をユーザに示すことは、前記第2の画像群の内の所与の画像を、異物の場所を有色表示し当該画像の残りをグレースケール表示した状態で、ユーザに示すことを含む、請求項4に記載の方法。
  7. 異物の場所をユーザに示すことは、前記第2の画像群の内の所与の画像を、予め選択した色で異物の場所を強調表示した状態でユーザに示すことを含む、請求項4に記載の方法。
  8. 異物の場所をユーザに示すことは、ユーザに文字メッセージを表示することを含む、請求項4に記載の方法。
  9. サンプル対象物の第1の画像群をキャプチャすることは、
    前記第1の画像群の各画素についての複数の強度値をキャプチャすることであって、当該複数の強度値の各々が可視光、赤外光、または紫外光のうちの特定の波長に関連付けられている、前記キャプチャすることと、
    所望の解像度と各画素についての前記複数の強度値における強度値の数とに応じて前記既定のカラーパレットが規定されるように、前記複数の強度値の各々を前記所望の解像度へとキャプチャすること
    を含む、請求項1に記載の方法。
  10. 前記関心対象物は飛行機の内部であり、前記サンプル対象物は事前に検査されて異物が無いと判っている航空機の内部の一部である、請求項1に記載の方法。
  11. 関心対象物内または関心対象物上の異物を検出するためのシステムであって、
    イメージングシステムと、
    異物が無いと判っているサンプル対象物の第1の画像群をキャプチャすることを前記イメージングシステムに命令するように構成されたシステム制御部と、
    前記第1の画像群の色コンテンツに応じて既定のカラーパレットから複数の色を選択するように構成された色選択部と
    を備え、
    前記システム制御部は、前記イメージングシステムに前記関心対象物の第2の画像群をキャプチャするように命令し、選択された色が前記第2の画像群内にある場合にユーザに通知するように更に構成されている、前記システム。
  12. 頭部装着型の光学式ディスプレイを備えたウェアラブルコンピュータとして前記イメージングシステム、前記システム制御部、前記色選択部、及び前記ディスプレイがまとめて実装されている、請求項11に記載の前記システム。
  13. 前記色選択部は、前記複数の色を単純ベイズ分類を介して分類することによって、前記第1の画像群の色コンテンツに応じて前記既定のカラーパレットから前記複数の色を選択するように構成されている、請求項11に記載の前記システム。
  14. 前記色選択部は、前記第1の画像群に現れる全ての色を選択するように構成されている、請求項11に記載の前記システム。
  15. 前記選択された色が関心対象物内または関心対象物上の異物を示す旨の確認と、前記選択された色が異物を示さない旨の指示とのうちの一方を受け取るように構成されているユーザインターフェースを更に備える、請求項11に記載の前記システム。
  16. 前記選択された色が異物を示さない旨の前記指示に応答して、前記選択された複数の色から前記第2の画像群内に存在する前記選択された色が除去される、請求項15に記載の前記システム。
  17. システム制御部は、前記イメージングシステムに、前記第1の画像群の各画素についての複数の強度値をキャプチャすることであって、当該複数の強度値の各々が可視光、赤外光、または紫外光のうちの特定の波長に関連付けられている、前記キャプチャすることと、所望の解像度と各画素についての前記複数の強度値における強度値の数とに応じて前記既定のカラーパレットが規定されるように、前記複数の強度値の各々を前記所望の解像度へとキャプチャすることを命令するように構成されている、請求項11に記載の前記システム。
  18. 非一時的コンピュータ可読媒体であって、
    異物が無いと判っているサンプル対象物の第1の画像群をキャプチャすることをイメージングシステムに命令するように構成されるシステム制御部であって、前記第1の画像群を受け取るように構成されるイメージャーインターフェースと、ユーザからの入力を受け取るように構成されるユーザインターフェースとを備える前記システム制御部と、
    既定のカラーパレットからの複数の色を前記第1の画像群の色コンテンツに応じて少なくとも第1クラス及び第2クラスに分類するように構成される色選択部と
    を備え、
    前記システム制御部は、前記イメージングシステムに関心対象物の第2の画像群をキャプチャするように命令し、前記第2の画像群内に前記第1クラスの色があるときにユーザに通知し、その色が前記関心対象物内の異物を現すかどうかを示すユーザからの入力を前記ユーザインターフェースを介して受け取るように更に構成される、前記非一時的コンピュータ可読媒体。
  19. 前記色選択部が、前記複数の色のうち前記第1の画像群に現れるすべての色を前記第2クラスに割り当て、前記複数の色のうちの他の色全てを前記第1クラスに割り当てるように構成される、請求項18に記載の非一時的コンピュータ可読媒体。
  20. 前記第1クラスからのある色が異物に関連しないことを示すユーザからの入力に応答して、前記システム制御部が、前記第1クラスからの当該色を除去し、当該色を前記第2クラスに追加するように構成される、請求項19に記載の非一時的コンピュータ可読媒体。
JP2017510498A 2014-08-26 2015-07-31 色に基づく異物検出システム Active JP6488366B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/469,125 2014-08-26
US14/469,125 US9541507B2 (en) 2014-08-26 2014-08-26 Color-based foreign object detection system
PCT/US2015/043141 WO2016032687A1 (en) 2014-08-26 2015-07-31 Color-based foreign object detection system

Publications (2)

Publication Number Publication Date
JP2017527905A true JP2017527905A (ja) 2017-09-21
JP6488366B2 JP6488366B2 (ja) 2019-03-20

Family

ID=53879788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017510498A Active JP6488366B2 (ja) 2014-08-26 2015-07-31 色に基づく異物検出システム

Country Status (5)

Country Link
US (1) US9541507B2 (ja)
EP (1) EP3195189A1 (ja)
JP (1) JP6488366B2 (ja)
KR (1) KR101969368B1 (ja)
WO (1) WO2016032687A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019086914A (ja) * 2017-11-02 2019-06-06 株式会社富士通アドバンストエンジニアリング 検品装置、検品方法及び検品プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3151164A3 (en) 2016-12-26 2017-04-12 Argosai Teknoloji Anonim Sirketi A method for foreign object debris detection
DE102019204843A1 (de) 2018-04-06 2019-10-10 Virtek Vision International Ulc Erkennen von Fluoreszenz von Fremdmaterial
CN111222481B (zh) * 2020-01-14 2022-09-09 武汉船舶通信研究所(中国船舶重工集团公司第七二二研究所) 识别衣服颜色的方法和装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5085325A (en) * 1988-03-08 1992-02-04 Simco/Ramic Corporation Color sorting system and method
US5533628A (en) * 1992-03-06 1996-07-09 Agri Tech Incorporated Method and apparatus for sorting objects by color including stable color transformation
US6064429A (en) * 1997-08-18 2000-05-16 Mcdonnell Douglas Corporation Foreign object video detection and alert system and method
JP2001119688A (ja) * 1999-10-15 2001-04-27 Toshiba Corp 動画像特定色検出装置
JP2003207456A (ja) * 2002-01-10 2003-07-25 Jt Engineering Inc 異物検査装置
US20040151361A1 (en) * 2003-01-22 2004-08-05 Pierre Bedard Method and apparatus for testing the quality of reclaimable waste paper matter containing contaminants
JP2006220437A (ja) * 2005-02-08 2006-08-24 Omron Corp 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP2007007497A (ja) * 2005-06-28 2007-01-18 Masaru Hattori 異物除去及び色彩選別を行うための方法及び装置
JP2010008159A (ja) * 2008-06-25 2010-01-14 Panasonic Electric Works Co Ltd 外観検査処理方法
WO2010041447A1 (ja) * 2008-10-09 2010-04-15 日本電気株式会社 異常検知システム、異常検知方法及び異常検知プログラム記録媒体
US20110131279A1 (en) * 2009-11-30 2011-06-02 International Business Machines Corporation Managing Electronic Messages
JP2012007985A (ja) * 2010-06-24 2012-01-12 Nec Corp 確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6493620B2 (en) 2001-04-18 2002-12-10 Eaton Corporation Motor vehicle occupant detection system employing ellipse shape models and bayesian classification
US7848566B2 (en) 2004-10-22 2010-12-07 Carnegie Mellon University Object recognizer and detector for two-dimensional images using bayesian network based classifier
AU2008200967B2 (en) 2008-02-28 2010-04-15 Canon Kabushiki Kaisha Spatio-activity based mode matching

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5085325A (en) * 1988-03-08 1992-02-04 Simco/Ramic Corporation Color sorting system and method
US5533628A (en) * 1992-03-06 1996-07-09 Agri Tech Incorporated Method and apparatus for sorting objects by color including stable color transformation
US6064429A (en) * 1997-08-18 2000-05-16 Mcdonnell Douglas Corporation Foreign object video detection and alert system and method
JP2001119688A (ja) * 1999-10-15 2001-04-27 Toshiba Corp 動画像特定色検出装置
JP2003207456A (ja) * 2002-01-10 2003-07-25 Jt Engineering Inc 異物検査装置
US20040151361A1 (en) * 2003-01-22 2004-08-05 Pierre Bedard Method and apparatus for testing the quality of reclaimable waste paper matter containing contaminants
JP2006220437A (ja) * 2005-02-08 2006-08-24 Omron Corp 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP2007007497A (ja) * 2005-06-28 2007-01-18 Masaru Hattori 異物除去及び色彩選別を行うための方法及び装置
JP2010008159A (ja) * 2008-06-25 2010-01-14 Panasonic Electric Works Co Ltd 外観検査処理方法
WO2010041447A1 (ja) * 2008-10-09 2010-04-15 日本電気株式会社 異常検知システム、異常検知方法及び異常検知プログラム記録媒体
US20110131279A1 (en) * 2009-11-30 2011-06-02 International Business Machines Corporation Managing Electronic Messages
JP2012007985A (ja) * 2010-06-24 2012-01-12 Nec Corp 確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
服部 真之 外5名: "制御機器・デバイス技術", 松下電工技報, JPN6018032365, 20 November 2003 (2003-11-20), JP, pages 70 - 76, ISSN: 0003863257 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019086914A (ja) * 2017-11-02 2019-06-06 株式会社富士通アドバンストエンジニアリング 検品装置、検品方法及び検品プログラム
JP7167426B2 (ja) 2017-11-02 2022-11-09 富士通株式会社 検品装置、検品方法及び検品プログラム

Also Published As

Publication number Publication date
KR101969368B1 (ko) 2019-04-16
US9541507B2 (en) 2017-01-10
US20160061746A1 (en) 2016-03-03
EP3195189A1 (en) 2017-07-26
WO2016032687A1 (en) 2016-03-03
KR20170037648A (ko) 2017-04-04
JP6488366B2 (ja) 2019-03-20

Similar Documents

Publication Publication Date Title
US10467502B2 (en) Surface defect detection
US20170069075A1 (en) Classifier generation apparatus, defective/non-defective determination method, and program
US10157456B2 (en) Information processing apparatus, information processing method, and storage medium utilizing technique for detecting an abnormal state such as a scratch on a target
JP6488366B2 (ja) 色に基づく異物検出システム
EP3848853A2 (en) Image detection method, apparatus, electronic device and storage medium
JP2017211259A (ja) 検査装置、検査方法、及びプログラム
KR102168724B1 (ko) 이미지 검사를 이용한 이상 판별 방법 및 장치
Hsieh et al. A kinect-based people-flow counting system
US20150262068A1 (en) Event detection apparatus and event detection method
US20150279054A1 (en) Image retrieval apparatus and image retrieval method
JP6401648B2 (ja) 欠陥分類装置および欠陥分類方法
WO2020005773A1 (en) Food quality image classification
JPWO2018179361A1 (ja) 画像処理装置、画像処理方法、およびプログラム
CN111967490A (zh) 用于地图检测的模型训练方法和地图检测方法
Bhowmik et al. On the impact of using x-ray energy response imagery for object detection via convolutional neural networks
Ettalibi et al. AI and Computer Vision-based Real-time Quality Control: A Review of Industrial Applications
JPWO2018179360A1 (ja) 画像処理装置、画像処理方法、およびプログラム
Wang et al. Machine vision applications in agricultural food logistics
Ibarra et al. Determination of Leaf Degradation Percentage for Banana leaves with Panama Disease Using Image Segmentation of Color Spaces and OpenCV
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其系统
CN115496759B (zh) 灰尘检测方法和装置、存储介质
Wang et al. Insulator defect detection based on improved YOLOv5 algorithm
WO2016092783A1 (en) Information processing apparatus, method for processing information, discriminator generating apparatus, method for generating discriminator, and program
Saifullah et al. Palm Oil Maturity Classification Using K-Nearest Neighbors Based on RGB and L* a* b Color Extraction
Pavithra et al. Real-time color classification of objects from video streams

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190225

R150 Certificate of patent or registration of utility model

Ref document number: 6488366

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250