JP2018066628A

JP2018066628A - 画像処理システム及び画像処理方法

Info

Publication number: JP2018066628A
Application number: JP2016204925A
Authority: JP
Inventors: 逸郎杉山; Itsuro Sugiyama; 松本　実; Minoru Matsumoto; 実松本
Original assignee: Solid Vision Co Ltd
Current assignee: Solid Vision Co Ltd
Priority date: 2016-10-19
Filing date: 2016-10-19
Publication date: 2018-04-26
Anticipated expiration: 2036-10-19
Also published as: JP6303219B1

Abstract

【課題】複数のコンパクトな撮像処理装置による複数の検査結果を総合判断して信頼度の高い検査を実現する。【解決手段】一の対象物を撮像して画像処理を行う画像処理システムであって、前記一の対象物１を複数の任意の角度から撮像し検査を行う複数の撮像処理装置１０ａ〜１０ｄと、撮像処理装置１０ａ〜１０ｄからの傾斜角を受信して、一の対象物に対する撮像処理装置１０ａ〜１０ｄの撮像角度を認識するとともに、複数の撮像処理装置１０ａ〜１０ｄからの複数の撮像画像及び検査結果を含む情報を受信して総合的な判定を行う統括サーバ２と、を備えたことを特徴とする画像処理システム。【選択図】図１

Description

本発明は、複数の撮像処理装置が対象物を撮像し検査を行うとともに、これらを統合して判定を行う画像処理システム及び画像処理方法に関するものである。

工場の生産現場では、生産物に対する検査が日常的に行われている。その中でも外観検査は人手が多く必要となるため、従来から自動化の取組みが行われてきた。

特許文献１には、検査対象物を照明部で照明して撮像部で撮像し、これらとは別の画像処理装置が照明部や撮像部とデータ通信を行って、照明部の制御を行うとともに撮像画像を入力して対象物の良否を判定する構成が記載されている。

また、特許文献２には、複数のカメラを用いて同一の対象物の検査を行なう構成が記載されている。

特許文献１：特開２０１６−６５８７５
特許文献２：特開平７−１０３９０５

しかしながら、特許文献１記載のもののように、撮像部と画像処理装置とが別々の構成であれば、装置全体が大型化しコストアップにつながるという問題があった。

また、特許文献２記載のもののように、複数カメラに対して画像を処理する特徴抽出手段が１つであれば、各カメラが撮像した画像に対する処理が順番に１つずつ処理されることになり時間がかかるとともに、各カメラを切り換えながらの設置や調整が必要となり稼働調整に時間がかかり、またシステムが複雑になるという問題があった。

本発明は、上記問題点を解決して、複数のコンパクトな撮像処理装置による複数の検査結果を総合判断して信頼度の高い検査を実現することを課題とする。

上記課題を解決するために本発明は、一の対象物を撮像して画像処理を行う画像処理システムであって、
前記一の対象物を複数の任意の角度から撮像し検査を行う複数の撮像処理装置と、
前記撮像処理装置からの傾斜角を受信して、一の対象物に対する当該撮像処理装置の撮像角度を認識するとともに、複数の前記撮像処理装置からの複数の撮像画像及び検査結果を含む情報を受信して総合的な判定を行う統括サーバと、を備えたことを特徴とする画像処理システムを提供するものである。

この構成により、複数のコンパクトな撮像処理装置による複数の検査結果を総合判断して信頼度の高い検査を実現することができる。

前記撮像処理装置は、少なくとも加速度センサを備えて前記傾斜角を検出し前記統括サーバに送信する構成としてもよい。

この構成により、撮像処理装置は容易に撮像角度を検出することができる。

前記統括サーバは、撮像処理装置からの情報の有無により、稼働中の撮像処理装置を認識する構成としてもよい。

この構成により、撮像処理装置の増設又は撤去を自由に行うことができ、容易にシステムを構築又は変更することができる。

前記統括サーバが受信した各撮像処理装置からの複数の撮像画像及び検査結果を前記撮像角度に応じて表示する表示装置を備えた構成としてもよい。

この構成により、表示装置の表示に基づいて対象物の総合的な品質状態を容易に把握することができる。

また、上記問題点を解決するために本発明は、一の対象物を撮像して画像処理を行う画像処理方法であって、前記一の対象物を複数の撮像処理装置で複数の任意の角度から撮像しそれぞれ検査を行う工程と、前記撮像処理装置から送信された傾斜角を前記統括サーバが受信し、一の対象物に対する当該撮像処理装置の撮像角度を認識する工程と、複数の前記撮像処理装置から送信された複数の撮像画像及び検査結果を含む情報を統括サーバが受信し総合的な判定を行う工程と、を備えたことを特徴とする画像処理方法を提供するものである。

本発明の画像処理システム及び画像処理方法により、複数のコンパクトな撮像処理装置による複数の検査結果を総合判断して信頼度の高い検査を実現することができる。

本発明の実施例１における画像処理システムの例を説明する図である。本発明に実施例１における撮像処理装置の構成例を説明する図である。本発明の実施例２における画像処理システムの例を説明する図である。本発明の実施例３における画像処理システムの例を説明する図である。

本発明の実施例１について図１、図２を参照して説明する。図１は、本発明の実施例１における画像処理システムの例を説明する図である。図２は、本発明に実施例１における撮像処理装置の構成例を説明する図である。

実施例１においては、撮像処理装置１０ａ〜１０ｄが対象物１を複数の角度から撮像し、それぞれ検査を行う。この角度は、対象物１の検査に適した任意の角度を選択することができる。すなわち、立体的な対象物１を多くの角度から撮像できるように、撮像処理装置１０ａが斜め右上から撮像し、撮像処理装置１０ｂが斜め左上から撮像し、撮像処理装置１０ｃが左側側方から撮像し、撮像処理装置１０ｄが右側側方から撮像して、それぞれ撮像した撮像画像に基づいて検査を行う。そして、撮像処理装置１０ａ〜１０ｄは、それぞれの撮像画像及び検査結果を含む情報を統括サーバ２に送信する。自身の傾斜角は、撮像処理装置１０における撮像部１１１（図２参照）の重力軸に対する傾斜角を検出するように構成されていて、撮像処理装置１０ａ〜１０ｄを設置したときに検出した傾斜角を後述するように統合サーバ２に送信される。

統括サーバ２では、撮像処理装置１０ａ〜１０ｄのそれぞれの傾斜角を受信し、各撮像処理装置１０ａ〜１０ｄの撮像角度を認識する。また、各撮像画像及び検査結果を受信し、各検査結果に重み付けを行うとともに、必要に応じて撮像画像に対して複雑な画像処理を実施して総合的な判定を行う。そして、統括サーバ２が受信した撮像画像及び検査結果を含む情報、及び統括サーバ２が認識した撮像角度と総合的な判定結果が、情報端末３に送信され表示される（図１には、撮像画像及び検査結果のみ記載している。）。また、統括サーバ２が行った総合的な判定結果を工場における生産工程の制御装置に送信して、不良品を排除又は修理するようにしてもよい。

なお、実施例１においては、撮像処理装置１０ａ〜１０ｄの全てがそれぞれの傾斜角を統合サーバ２に送信するように構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、水平面等の予め撮像角度が既知の撮像処理装置１０は、傾斜角の検出及び送信をしない構成としてもよい。

（撮像処理装置）
図２に示すように、実施例１における撮像処理装置１０（１０ａ〜１０ｄ）は、それぞれ筐体１１と照明部１２を備えている。撮像処理装置１０（１０ａ〜１０ｄ）は、対象物１を照明部１２で照明して撮像し、撮像した撮像画像に基づいて対象物１の検査を行なう。また、撮像した撮像画像及び検査結果を含む情報や傾斜角を統括サーバ２に送信する。筐体１１には、撮像部１１１、検査部１１２、記憶部１１３、送信部１１４、受信部１１５、制御部１１６、及び傾斜角検出部１１７が収納されている。また、撮像部１１１の対象物側には必要に応じて、レンズが設けられる。

なお、記憶部１１３は、ＳＤカードのような取外し可能な形態のものを筐体１１に外付けにしてもよい。少なくとも撮像部１１１、検査部１１２、送信部１１４、受信部１１５、制御部１１６、及び傾斜角検出部１１７が一体化して筐体１１に収納されていればよい。これにより撮像処理装置１０をコンパクトに構成することができる。

撮像処理装置１０は、撮像部１１１にて対象物１を撮像する。対象物１は、機械部品、プリント基板、電子部品、医薬品等様々なものを対象とすることができる。撮像部１１１は、ＣＭＯＳセンサによって構成されカラー画像を撮像する。その解像度は任意であるが、実施例１においては、６４０×４８０画素としている。これは、後述する送信部１１４における通信帯域の輻輳を考慮したためである。制御部１１６は、対象物１が撮像処理装置１０（１０ａ〜１０ｄ）により撮像可能な位置に配置されたことを撮像画像から判断するか、又は図示しないセンサ等により検知し、撮像部１１１に電子シャッター等の指示を行って撮像させる。撮像部１１１が対象物１を撮像した撮像画像は記憶部１１３に記憶される。記憶部１１３には、予め撮像処理装置１０を特定するためのＩＤが撮像処理装置特定情報として記憶されていて、任意のタイミングで送信部１１４から統括サーバ２に送信することができる。当該ＩＤは、ユーザが指定して記憶部１１３に記憶させるか、又は、指定がなければＭＡＣアドレス等で自動的にＩＤを識別して記憶部１１３に記憶させる。また、撮像処理装置特定情報としてＩＤに替えて、又はＩＤに付加して撮像時刻を記憶し送信するようにしてもよい。

すなわち、撮像処理装置１０（１０ａ〜１０ｄ）から統括サーバ２に送信する情報は、傾斜角、撮像画像及び検査結果に加えて、自身のＩＤや撮像時刻等の撮像処理装置特定情報を送信することができる。

なお、実施例１においては、撮像部１１１をＣＭＯＳセンサで構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、ＣＣＤセンサで構成してもよいし、赤外線センサで構成してもよい。また、カラー画像を撮像することとしなくてもよく、白黒画像を撮像するように構成してもよい。さらに、実施例１においては、撮像部１１１の解像度を６４０×４８０画素に構成したが、必ずしもこれに限定されず装置の都合により適宜変更が可能である。例えば、１０００×１０００画素で構成してもよいし、３２０×２４０画素で構成してもよい。

撮像画像は、検査部１１２に入力されて検査が行われる。検査は、サポートベクターマシンと呼ばれる人工知能によって実施される。サポートベクターマシンは、実際の検査を行う前に、予め対象物１の良品と不良品とをそれぞれ複数個ずつ学習して、その境界を設定しておくことにより検査を行なうことができる。検査の内容は、対象物１により様々なものとすることができる。例えば、傷欠陥検査、位置ずれ検査、有無検査等とすることができる。

ここで、検査部１１２は良品画像との類似度の計算、またはクラス分類を行うことで、入力画像に対する判定あるいは分類を行う。

なお、実施例１においては、検査部１１２をサポートベクターマシンで構成することとしたが、必ずしもこれに限定されず適宜変更が可能である。例えば、線形判別、単純ベイズ、ベイズネットワークや畳み込みニューラルネット（ＣＮＮ）を用いて検査部１１２を構成してもよい。

また、実施例１においては、予め対象物１の良品と不良品とをそれぞれ複数個ずつ学習させるようにしたが、必ずしもこれに限定されず適宜変更が可能である。例えば、複数個の良品を学習させるようにしてもよい。

傾斜角、撮像画像及び検査結果を含む情報は、送信部１１４から無線ＬＡＮにより統合サーバ２に送信される。統合サーバ２では、撮像処理装置１０（１０ａ〜１０ｄ）の撮像角度を傾斜角によって認識することができる。具体的には、新たに撮像処理装置１０（１０ａ〜１０ｄ）が設置されたときに、統合サーバ２はコマンドを当該撮像処理装置１０（１０ａ〜１０ｄ）に送信して傾斜角を検出させて統括サーバ２に送信させる。統括サーバ２では、傾斜角を受信して撮像角度を認識する。その際、対象物１が傾斜して設置されている場合は、その傾斜角を補正して撮像角度を認識する。また、送信された傾斜角のみでは判断できない角度、例えば、５０°の角度と２３０°の角度の場合等は当該撮像処理装置１０（１０ａ〜１０ｄ）からの画像を統括サーバ２が受信して対象物１の撮像状態（例えば、対象物１が画面に侵入する方角等）を分析して撮像角度を認識する。

傾斜角検出部１１７は、２軸分の加速度センサを備えていて、公知の方法により撮像部１１１における重力軸に対する傾斜角を検出することができる。この傾斜角を送信部１１４から統括サーバ２に送信することにより、前述のように統括サーバ２は各撮像処理装置１０（１０ａ〜１０ｄ）の撮像角度を認識することができる。撮像角度を認識することにより、撮像角度によって検査結果に重み付けを付すことができる。後述するように、対象物１の側方から撮像した撮像処理装置１０（１０ａ〜１０ｄ）の検査結果を重視するとともに、斜め上から撮像した撮像処理装置１０（１０ａ〜１０ｄ）の検査結果を参考程度に重み付けして総合的な判定を導くことができる。

なお、実施例１においては、２軸分の加速度センサを備えるように構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、加速度センサと地磁気センサとを備えるようにしてもよいし、加速度センサとジャイロスコープを備えるようにしてもよい。すなわち、少なくとも加速度センサを備えるように構成すればよい。

（表示装置（情報端末））
統括サーバ２から無線ＬＡＮにより情報端末３に撮像画像、検査結果、撮像角度、及び総合的な判定結果が送信されて表示される。図１の情報端末３には、各撮像処理装置が撮像した撮像画像と検査結果を表示した様子を示している。撮像画像上に「×」と表示しているのは、検査結果が不良であったことを示している。また、図示しない撮像角度及び総合的な判定結果が表示される。

情報端末３には、撮像処理装置１０（１０ａ〜１０ｄ）の撮像画像及び検査結果を各撮像角度に応じて表示することができる。つまり、対象物１を撮像処理装置１０ａが斜め右上から撮像した撮像画像３０ａは情報端末３における良品の画像である写真１Ａの右上に表示し、撮像処理装置１０ｂが斜め左上から撮像した撮像画像３０ｂは写真１Ａの左上に表示し、撮像処理装置１０ｃが左側側方から撮像した撮像画像３０ｃは写真１Ａの左側側方に表示し、撮像処理装置１０ｄが右側側方から撮像した撮像画像３０ｄは写真１Ａの右側側方に表示する。

このように、撮像画像及び検査結果を各撮像角度に応じて表示することで、当該撮像画像の対象物１に対する位置や角度が容易に理解でき、各撮像処理装置の検査結果を迅速に把握することができる。

なお、実施例１においては、検査結果について、不良品に対して「×」を表示しているが、必ずしもこれに限定されず適宜変更が可能である。例えば、良品に対して「〇」を表示してもよいし、不良品に対する「×」と良品に対する「〇」の双方を表示してもよい。また、「×」、「〇」ではなく、文字で表示してもよいし、背景色を変えて表示するようにしてもよい。

また、実施例１においては、スマートフォンを情報端末３として用いているが、必ずしもこれに限定されず適宜変更が可能である。例えば、タブレットを用いてもよいし、パソコンであってもよい。なお、情報端末３は必ず必要とするものではなく、必要となったときのみ設けるようにしてもよい。また、後述する制御情報を送信する必要がなければ、ＬＥＤディスプレイ等の表示装置を情報端末３として用いてもよく、少なくとも表示装置としての機能を備えていればよい。

（照明の制御）
情報端末３からは、照明部１２と撮像部１１１に対する制御情報を統括サーバ２に対して無線ＬＡＮを介して送信することができる。そして、統括サーバ２が受信した制御情報を撮像処理装置１０（１０ａ〜１０ｄ）に無線ＬＡＮを介して送信する。撮像処理装置１０（１０ａ〜１０ｄ）では、受信部１１５がこの制御情報を受信することができる。制御部１１６は、この制御情報に基づいて、照明部１２と撮像部１１１を制御する。その際、照明部１２へは、制御部１１６からブルーツゥース（登録商標。以下同じ）により制御情報が送信される。

具体的には、照明部１２に対して、点灯又は消灯、その照度、又は色合い等を制御することができる。対象物１の光沢や色合い、撮像角度により制御する項目を選択する。また撮像部１１１に対して、撮像又は非撮像やシャッター速度等を制御することができる。対象物１の移動速度や撮像角度により制御する項目を選択する。

なお、実施例１においては、制御部１１６から照明部１２へブルーツゥースにより制御情報を送信する構成としたが、必ずしもこれに限定されず装置の都合により適宜変更が可能である。例えば、無線ＬＡＮで送信するように構成してもよいし、有線で送信する構成としてもよい。また、情報端末３から統括サーバ２、及び統括サーバ２から受信部１１５へは、無線ＬＡＮを介して送信するように構成したが、必ずしもこれに限定されず装置の都合により適宜変更が可能である。例えば、ブルーツゥースで送信する構成としてもよいし、有線で送信する構成としてもよい。

また、実施例１においては、照明部１２が筐体１１に取り付けられた構成としたが、必ずしもこれに限定されず適宜変更が可能である。例えば、筐体１１つまり撮像処理装置１０（１０ａ〜１０ｄ）とは分離して、撮像処理装置１０（１０ａ〜１０ｄ）とは別のところに設置してもよい。

ここで、一の撮像処理装置１０（例えば、撮像処理装置１０ａ）の撮像部１１１で対象物1を撮像するように制御し照明部１２を消灯するように制御するとともに、他の撮像処理装置１０（例えば、撮像処理装置１０ｂ）の撮像部１１１を非撮像に制御し照明部１２を点灯するように制御すれば、他の撮像処理装置１０（撮像処理装置１０ｂ）による照明光による暗視野照明により、一の撮像処理装置１０（撮像処理装置１０ａ）は対象物１を撮像することができる。つまり、他の撮像処理装置１０（撮像処理装置１０ｂ）を単なる照明装置としても活用することができる。

また、照明部１２の構造は、任意に選択することができる。例えば、円周状にＬＥＤを配置したリング照明、ＬＥＤを配置した形状がドーム形状を有したドーム照明、又は同軸落射照明等を選択することができる。そして、それらを交換可能に撮像処理装置１０（１０ａ〜１０ｄ）の筐体１１に取り付けるか、又は、照明部１２を筐体１１に取り付けず、撮像処理装置１０（１０ａ〜１０ｄ）から取り外して任意の場所に設けるように構成する。

（統括サーバ）
統括サーバ２における総合的な判定は、各検査結果に重み付けを行うとともに、必要に応じて撮像画像に対して複雑な画像処理を行って総合的に判定する。実施例１における重み付けは、各検査結果のうち不良としたものについて、１点を与えて得点を加算する。そして、加算した合計が２点以上であれば、総合的な判定を不良と判定する。

なお、実施例１においては、各検査結果のうち不良としたものについて、１点を与えて得点を加算するように構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、側方から撮像する撮像処理装置１０ｃ、１０ｄの検査結果に重みを付し、これらの検査結果が不良であれば、２点を与えるようにしてもよい。つまり、撮像角度によりその検査結果に対する重み付けの値を変えてもよい。

前述のように、統括サーバ２は必要に応じて撮像画像に対して複雑な画像処理を行う。これは、撮像処理装置１０（１０ａ〜１０ｄ）における検査処理能力は限界があるためであり、より複雑な画像処理は統合サーバ２で行うことで、信頼度の高い判定を実現できる。複雑な画像処理とは、例えば、特徴量抽出のための領域分割のメッシュを細かくする必要がある場合の処理や２つ以上の撮像処理装置の撮像画像を使ってするステレオ画像処理等である。

また、統括サーバ２は、撮像処理装置１０（１０ａ〜１０ｄ）からの送信情報の有無により、稼働中の撮像処理装置１０（１０ａ〜１０ｄ）を認識することができる。すなわち、撮像処理装置１０（１０ａ〜１０ｄ）が設けられ、少なくとも撮像処理装置特定情報を統括サーバ２が受信すれば、新たな撮像処理装置１０（１０ａ〜１０ｄ）が増設されたことを認識する。また、今まで設けられていた撮像処理装置１０（１０ａ〜１０ｄ）から何の情報も送信されない期間が一定以上ある場合は、当該撮像処理装置１０（１０ａ〜１０ｄ）が撤去されたものとみなす。すなわち、統括サーバ２は、各撮像処理装置１０（１０ａ〜１０ｄ）からの情報の有無により、稼働中の撮像処理装置１０（１０ａ〜１０ｄ）を認識することができる。統括サーバ２が稼働中の撮像処理装置１０（１０ａ〜１０ｄ）を新たに認識すると、前述のように、コマンドを当該撮像処理装置１０（１０ａ〜１０ｄ）へ送信して傾斜角を検出させて統括サーバ２に送信させる。統括サーバ２では、傾斜角を受信して撮像角度を認識する。その際、対象物１が傾斜して設置されている場合は、その傾斜を補正して認識する。また、傾斜角のみでは判断できない角度、例えば、５０°の角度と２３０°の角度等の場合は当該撮像処理装置１０（１０ａ〜１０ｄ）からの画像を統括サーバ２が受信して対象物１の撮像状態（例えば、対象物１が画面に侵入する方角等）を分析して撮像角度を認識する。

なお、実施例１においては、少なくとも撮像処理装置特定情報を統括サーバ２が受信すれば、新たな撮像処理装置１０（１０ａ〜１０ｄ）が増設されたことを認識する構成としたが、必ずしもこれに限定されず適宜変更が可能である。例えば、撮像処理装置特定情報に加えて、撮像画像、検査結果や傾斜角等の情報を統括サーバ２が新たに受信すれば、新たな撮像処理装置１０（１０ａ〜１０ｄ）が増設されたことを認識する構成としてもよい。つまり、統括サーバ２は、各撮像処理装置１０からの情報の有無により、稼働中の撮像処理装置１０を認識することができる。

このように、実施例１においては、一の対象物を撮像して画像処理を行う画像処理システムであって、
前記一の対象物を複数の任意の角度から撮像し検査を行う複数の撮像処理装置と、
前記撮像処理装置からの傾斜角を受信して、一の対象物に対する当該撮像処理装置の撮像角度を認識するとともに、複数の前記撮像処理装置からの複数の撮像画像及び検査結果を含む情報を受信して総合的な判定を行う統括サーバと、を備えたことを特徴とする画像処理システムにより、複数のコンパクトな撮像処理装置による複数の検査結果を総合判断して信頼度の高い検査を実現することができる。

また、一の対象物を撮像して画像処理を行う画像処理方法であって、
前記一の対象物を複数の撮像処理装置で複数の任意の角度から撮像しそれぞれ検査を行う工程と、
前記撮像処理装置から送信された傾斜角を前記統括サーバが受信し、一の対象物に対する当該撮像処理装置の撮像角度を認識する工程と、
複数の前記撮像処理装置から送信された複数の撮像画像及び検査結果を含む情報を統括サーバが受信し総合的な判定を行う工程と、
を備えたことを特徴とする画像処理方法により、複数のコンパクトな撮像処理装置による複数の検査結果を総合判断して信頼度の高い検査を実現することができる。

本発明の実施例２は、撮像処理装置が２台で構成される点で実施例１と異なっている。実施例２について、図３を参照して説明する。図３は、本発明の実施例２における画像処理システムの例を説明する図である。

実施例２においては、撮像処理装置１０（１０ａ、１０ｂ）が対象物１を複数の角度から撮像し、それぞれ検査を行う。この角度は、対象物１の検査に適した任意の角度を選択することができる。すなわち、立体的な対象物１を効率的に撮像するように、撮像処理装置１０ａが斜め右上から撮像し、撮像処理装置１０ｂが斜め左上から撮像している。そして、撮像処理装置１０（１０ａ、１０ｂ）は、それぞれの傾斜角、撮像画像及び検査結果を含む情報を統括サーバ２に送信する。

統括サーバ２では、撮像処理装置１０（１０ａ、１０ｂ）のそれぞれの傾斜角を受信し、各撮像処理装置１０（１０ａ、１０ｂ）の撮像角度を認識する。また、各撮像画像及び検査結果を受信し、各検査結果に重み付けを行うとともに、必要に応じて撮像画像に対して複雑な画像処理を実施して総合的な判定を行う。そして、統括サーバ２が受信した撮像画像及び検査結果を含む情報、及び統括サーバ２が認識した撮像角度と総合的な判定結果が、情報端末３に送信され表示される（図３には、撮像画像及び検査結果のみ記載している。）。また、統括サーバ２が行った総合的な判定結果を工場における生産工程の制御装置に送信して、不良品を排除又は修理するようにしてもよい。

なお、実施例２においては、撮像処理装置１０（１０ａ、１０ｂ）の全てがそれぞれの傾斜角を統合サーバ２に送信するように構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、水平面等の予め撮像角度が既知の撮像処理装置１０（１０ａ、１０ｂ）は、傾斜角の検出及び送信をしない構成としてもよい。

情報端末３では、撮像画像及び検査結果を各撮像角度に応じて表示する。すなわち、対象物１を撮像処理装置１０ａが斜め右上から撮像した撮像画像３０ａは良品の画像である写真１Ａの右上に表示し、撮像処理装置１０ｂが斜め左上から撮像した撮像画像３０ｂは写真１Ａの左上に表示する。撮像画像上に「×」と表示しているのは、検査結果が不良であったことを示している。また、図示しない撮像角度及び総合的な判定結果が表示される

実施例２においては、検査結果について、不良品に対して「×」を表示しているが、必ずしもこれに限定されず適宜変更が可能である。例えば、良品に対して「〇」を表示してもよいし、不良品に対する「×」と良品に対する「〇」の双方を表示してもよい。また、「×」、「〇」ではなく、文字で表示してもよいし、背景色を変えて表示するようにしてもよい。

なお、実施例２においては、スマートフォンを情報端末３として用いているが、必ずしもこれに限定されず適宜変更が可能である。例えば、タブレットを用いてもよいし、パソコンであってもよい。なお、情報端末３は必ず必要とするものではなく、必要となったときのみ設けるようにしてもよい。また、制御情報を統括サーバ２に送信する必要がなければ、ＬＥＤディスプレイ等の表示装置を情報端末３として用いてもよい。

このように、実施例２においては、統括サーバが受信した各撮像処理装置からの複数の撮像画像及び検査結果を前記撮像角度に応じて表示する表示装置を備えたことにより、当該撮像画像の対象物に対する位置や角度が容易に理解でき、各撮像処理装置の検査結果を迅速に把握することができる。

本発明の実施例３は、撮像処理装置が６台で構成される点で実施例１、実施例２と異なっている。実施例３について、図４を参照して説明する。図４は、本発明の実施例３における画像処理システムの例を説明する図である。

実施例３においては、撮像処理装置１０（１０ａ〜１０ｆ）が対象物１を複数の角度から撮像し、それぞれ検査を行う。すなわち、対象物１を撮像処理装置１０ａが斜め右上から撮像し、撮像処理装置１０ｂが斜め左上から撮像し、撮像処理装置１０ｃが左側側方から撮像し、撮像処理装置１０ｄが右側側方から撮像し、撮像処理装置１０ｅが斜め左下から撮像し、撮像処理装置１０ｆが斜め右下から撮像している。そして、撮像処理装置１０（１０ａ〜１０ｆ）は、それぞれの傾斜角、撮像画像及び検査結果を含む情報を統括サーバ２に送信する。

統括サーバ２では、撮像処理装置１０（１０ａ〜１０ｆ）のそれぞれの傾斜角を受信し、各撮像処理装置１０（１０ａ〜１０ｆ）の撮像角度を認識する。また、各撮像画像及び検査結果を受信し、各検査結果に重み付けを行うとともに、必要に応じて撮像画像に対して複雑な画像処理を実施して総合的な判定を行う。そして、統括サーバ２が受信した撮像画像及び検査結果を含む情報、及び統括サーバ２が認識した撮像角度と総合的な判定結果が、情報端末３に送信され表示される（図４には、撮像画像及び検査結果のみ記載している。）。また、統括サーバ２が行った総合的な判定結果を工場における生産工程の制御装置に送信して、不良品を排除又は修理するようにしてもよい。

なお、実施例３においては、撮像処理装置１０（１０ａ〜１０ｆ）の全てがそれぞれの傾斜角を統合サーバ２に送信するように構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、水平面等の予め撮像角度が既知の撮像処理装置１０（１０ａ〜１０ｆ）は、傾斜角の検出及び送信をしない構成としてもよい。

情報端末３では、撮像画像及び検査結果を各撮像角度に応じて表示する。すなわち、対象物１を撮像処理装置１０ａが斜め右上から撮像した撮像画像３０ａは良品の画像である写真１Ａの右上に表示し、撮像処理装置１０ｂが斜め左上から撮像した撮像画像３０ｂは写真１Ａの左上に表示し、撮像処理装置１０ｃが左側側方から撮像した撮像画像３０ｃは写真１Ａの左側側方に表示し、撮像処理装置１０ｄが右側側方から撮像した撮像画像３０ｄは写真１Ａの右側側方に表示し、撮像処理装置１０ｅが斜め左下から撮像した撮像画像３０ｅは写真１Ａの左下に表示し、撮像処理装置１０ｆが斜め右下から撮像した撮像画像３０ｆは写真１Ａの右下に表示する。撮像画像上に「×」と表示しているのは、検査結果が不良であったことを示している。また、図示しない撮像角度及び総合的な判定結果が表示される

実施例３においては、検査結果について、不良品に対して「×」を表示しているが、必ずしもこれに限定されず適宜変更が可能である。例えば、良品に対して「〇」を表示してもよいし、不良品に対する「×」と良品に対する「〇」の双方を表示してもよい。また、「×」、「〇」ではなく、文字で表示してもよいし、背景色を変えて表示するようにしてもよい。

このように、実施例３においては、統括サーバが受信した各撮像処理装置からの複数の撮像画像及び検査結果を前記撮像角度に応じて表示する表示装置を備えたことにより、当該撮像画像の対象物に対する位置や角度が容易に理解でき、各撮像処理装置の検査結果を迅速に把握することができる。

本発明における実施例４について説明する。実施例４は、複数の撮像処理装置に加えて撮像装置を備えている点で実施例１〜３と異なっている。

実施例４における撮像装置は、カメラでもよいし、撮像と検査の機能を備えた撮像処理装置を用いてもよい。つまり、撮像した撮像画像を統合サーバに無線ＬＡＮを介して送信できればよい。具体的には、撮像装置はＣＭＯＳセンサによって構成されカラー画像を撮像する。その解像度は任意であるが、実施例４においては、６４０×４８０画素としている。これは、統括サーバに送信する際の通信帯域の輻輳を考慮したためである。また、必要に応じて、レンズや照明装置を設けることができる。

なお、実施例４においては、撮像装置をＣＭＯＳセンサで構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、ＣＣＤセンサで構成してもよいし、赤外線センサで構成してもよい。また、カラー画像を撮像することとしなくてもよく、白黒画像を撮像するように構成してもよい。さらに、実施例４においては、撮像装置の解像度を６４０×４８０画素に構成したが、必ずしもこれに限定されず装置の都合により適宜変更が可能である。例えば、１０００×１０００画素で構成してもよいし、３２０×２４０画素で構成してもよい。

撮像装置は、例えば、対象物の真上等の俯瞰しやすい場所に設けられ、対象物全体を俯瞰的に撮像する。当該撮像装置は、少なくとも各撮像処理装置が撮像して検査を行った時刻の対象物全体を俯瞰して撮像し統括サーバに記憶する。この記憶された俯瞰画像を情報端末や表示装置に撮像処理装置の撮像画像や検査結果とともに表示させることができる。この俯瞰画像に基づいて、例えば、撮像処理装置が傷等の欠陥を見逃した場合に、検査結果の追跡調査を容易に行うことができる。ここで、俯瞰画像とともに撮像時刻を統括サーバに送信して記憶させるようにしてもよい。これにより検査結果の追跡調査をさらに容易に行うことができる。

統括サーバでは、各撮像処理装置からの撮像画像、検査結果、撮像時刻等とともに撮像装置が撮像した俯瞰画像を蓄積する。そして、欠陥見逃しや過検査等の検査ミスの分析を行うときに、当該検査結果や撮像時刻に基づいて当該検査ミス発生時の俯瞰画像を分析して、その原因を追跡調査することができる。

なお、実施例４においては、撮像処理装置が撮像して検査を行ったときの俯瞰画像を統括サーバに記憶、蓄積するようにしたが、必ずしもこれに限定されず適宜変更が可能である。例えば、生産工程の稼働時は常に俯瞰画像を撮像し蓄積するように構成してもよい。

また、実施例４においては、撮像装置が対象物の俯瞰画像を撮像するように構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、対象物に付された製造番号を撮像するように構成してもよいし、当該対象物と一対になる対象物がある場合に当該一対になる対象物を撮像するように構成してもよい。すなわち、検査結果の追跡調査を行う上での参考画像を撮像するように構成すればよい。

このように、実施例４においては、前記一の対象物を撮像する撮像装置をさらに備え、前記撮像装置は統括サーバに少なくとも撮像画像を送信する構成とすることにより、検査結果の追跡調査を容易に行うことができる。

本発明における画像処理システム及び画像処理方法は、検査分野に広く用いることができる。

１：対象物２：統合サーバ３：情報端末１０ａ〜１０ｆ：撮像処理装置１１：筐体１２：照明部１Ａ：良品画像の写真３０ａ〜３０ｆ：撮像画像１１１：撮像部１１２：検査部１１３：記憶部１１４：送信部１１５：受信部１１６：制御部１１７：傾斜角検出部

上記課題を解決するために本発明は、一の対象物を撮像して画像処理を行う画像処理システムであって、
前記一の対象物を複数の任意の角度から撮像し検査を行う複数の撮像処理装置と、
前記撮像処理装置からの傾斜角を受信して、一の対象物に対する当該撮像処理装置の撮像角度を認識するとともに、複数の前記撮像処理装置からの複数の撮像画像及び検査結果を含む情報を受信して総合的な判定を行う統括サーバと、を備え、
前記撮像処理装置は、少なくとも加速度センサを備えて前記傾斜角を検出し前記統括サーバに送信することを特徴とする画像処理システムを提供するものである。

この構成により、複数のコンパクトな撮像処理装置による複数の検査結果を総合判断して信頼度の高い検査を実現することができるとともに、撮像処理装置は容易に撮像角度を検出することができる。

また、上記問題点を解決するために本発明は、一の対象物を撮像して画像処理を行う画像処理方法であって、
前記一の対象物を複数の撮像処理装置で複数の任意の角度から撮像しそれぞれ検査を行う工程と、
前記撮像処理装置から送信された傾斜角を前記統括サーバが受信し、一の対象物に対する当該撮像処理装置の撮像角度を認識する工程と、
複数の前記撮像処理装置から送信された複数の撮像画像及び検査結果を含む情報を統括サーバが受信し総合的な判定を行う工程と、
を備え、
前記撮像処理装置は、少なくとも加速度センサを備えて前記傾斜角を検出し前記統括サーバに送信することを特徴とする画像処理方法を提供するものである。

Claims

一の対象物を撮像して画像処理を行う画像処理システムであって、
前記一の対象物を複数の任意の角度から撮像し検査を行う複数の撮像処理装置と、
前記撮像処理装置からの傾斜角を受信して、一の対象物に対する当該撮像処理装置の撮像角度を認識するとともに、複数の前記撮像処理装置からの複数の撮像画像及び検査結果を含む情報を受信して総合的な判定を行う統括サーバと、を備えたことを特徴とする画像処理システム。
前記撮像処理装置は、少なくとも加速度センサを備えて前記傾斜角を検出し前記統括サーバに送信することを特徴とする請求項１に記載の画像処理システム。
前記統括サーバは、前記撮像処理装置からの情報の有無により、稼働中の撮像処理装置を認識することを特徴とする請求項１又は２に記載の画像処理システム。
前記統括サーバが受信した各撮像処理装置からの複数の撮像画像及び検査結果を前記撮像角度に応じて表示する表示装置を備えたことを特徴とする請求項１〜３のいずれかに記載の画像処理システム。
一の対象物を撮像して画像処理を行う画像処理方法であって、
前記一の対象物を複数の撮像処理装置で複数の任意の角度から撮像しそれぞれ検査を行う工程と、
前記撮像処理装置から送信された傾斜角を前記統括サーバが受信し、一の対象物に対する当該撮像処理装置の撮像角度を認識する工程と、
複数の前記撮像処理装置から送信された複数の撮像画像及び検査結果を含む情報を統括サーバが受信し総合的な判定を行う工程と、
を備えたことを特徴とする画像処理方法。