JP2008122198A - 視覚センサおよび照明設定方法 - Google Patents

視覚センサおよび照明設定方法 Download PDF

Info

Publication number
JP2008122198A
JP2008122198A JP2006305581A JP2006305581A JP2008122198A JP 2008122198 A JP2008122198 A JP 2008122198A JP 2006305581 A JP2006305581 A JP 2006305581A JP 2006305581 A JP2006305581 A JP 2006305581A JP 2008122198 A JP2008122198 A JP 2008122198A
Authority
JP
Japan
Prior art keywords
illumination
candidate images
light
brightness
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006305581A
Other languages
English (en)
Other versions
JP4858098B2 (ja
Inventor
Koji Shimada
浩二 嶋田
Masahiro Kurokawa
雅裕 黒川
Kosuke Sugiyama
高介 杉山
Kenji Horie
健嗣 堀江
Takuya Murata
卓也 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2006305581A priority Critical patent/JP4858098B2/ja
Publication of JP2008122198A publication Critical patent/JP2008122198A/ja
Application granted granted Critical
Publication of JP4858098B2 publication Critical patent/JP4858098B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】最適な照明パターンを簡単に設定することが可能な視覚センサおよび照明設定方法を提供する。
【解決手段】視覚センサ201は、複数個の照明ブロックの点灯の有無および照射光の強度を定めるm(mは3以上の自然数)種類のパターンで対象物に光を照射する照明部51と、m種類のパターンに基づいて光の照射された対象物をそれぞれ撮像することによりm個の画像を取得する撮像部52と、m個の画像の各々における複数個の画素の明るさ、および複数個の画素の明るさに基づいて算出したm個の評価値の少なくともいずれか一方に基づいて、m個の画像の中からn(nは2≦n<mを満たす自然数)個の画像を選択する制御部61と、n個の画像を表示する表示部4と、n個の画像の中からユーザが選択した画像を認識する操作部6とを備え、照明部51は、ユーザが選択した画像に対応するパターンで対象物に光を照射する。
【選択図】図2

Description

本発明は、視覚センサおよび照明設定方法に関し、特に、複数個の照明パターンの中から最適な照明パターンを選択する視覚センサおよび照明設定方法に関する。
工業製品等の計測対象物をカメラで撮像し、計測対象物の外観を計測する視覚センサが開発されている。たとえば、特許文献1〜4には、視覚センサまたは視覚センサに関連する装置が開示されている。
特開2006−19901号公報 特開2001−101416号公報 特開平10−136272号公報 特開平10−320538号公報
ところで、正確な計測を行なうためには、計測対象物に応じて適切な照明パターンを設定する必要がある。照明パターンの要素としては、たとえば、計測対象物に照射する光の方向および強度等が考えられる。これらの要素は、計測対象物自体および周囲環境等に応じて適宜調整されるものであり、適切な照明パターンを設定するにはノウハウおよび習熟が必要である。
それゆえに、本発明の目的は、最適な照明パターンを簡単に設定することが可能な視覚センサおよび照明設定方法を提供することである。
上記課題を解決するために、この発明のある局面に係わる視覚センサは、複数個の照明ブロックを含み、各照明ブロックの点灯の有無および各照明ブロックの照射光の強度を定めるm(mは3以上の自然数)種類の照明パターンに基づいて計測対象物に光を照射する照明部と、m種類の照明パターンに基づいて光の照射された計測対象物をそれぞれ撮像することによりm個の第1次候補画像を取得する撮像部と、取得したm個の第1次候補画像の各々における複数個の画素の明るさ、および取得したm個の第1次候補画像の各々における複数個の画素の明るさに基づいて算出したm個の評価値の少なくともいずれか一方に基づいて、m個の第1次候補画像の中からn(nは2≦n<mを満たす自然数)個の第2次候補画像を選択する制御部と、選択したn個の第2次候補画像を表示する表示部と、表示されたn個の第2次候補画像の中からユーザが選択した画像を認識する操作部とを備え、照明部は、ユーザが選択した画像に対応する照明パターンに基づいて計測対象物に光を照射する。
好ましくは、制御部は、各照明ブロックの点灯の有無を定めるm種類の点灯パターンを記憶し、照明部は、m種類の点灯パターンに基づいて計測対象物に光を照射し、撮像部は、m種類の点灯パターンに基づいて光の照射された計測対象物をそれぞれ撮像することによりm個の画像を取得し、制御部は、取得したm個の画像の各々における複数個の画素の明るさに基づいて、m種類の点灯パターンの各々と各照明ブロックの照射光の強度との組み合わせをm種類の照明パターンとして決定する。
好ましくは、制御部は、取得したm個の第1次候補画像の各々における複数個の画素の明るさに基づいてm個の第1次候補画像の各々のコントラストを評価値として算出する。
より好ましくは、制御部は、取得したm個の第1次候補画像の各々における複数個の画素の明るさの分散値をm個の第1次候補画像の各々の評価値として算出する。
好ましくは、複数個の照明ブロックは、それぞれ異なる方向から計測対象物に光を照射し、制御部は、m種類の照明パターンにおいてそれぞれ異なる方向から計測対象物に光が照射されるようにm種類の照明パターンを決定する。
好ましくは、操作部は、ユーザが画像を選択した後、ユーザが選択した画像に対応する照明パターンに対してユーザが各照明ブロックの点灯の有無または各照明ブロックの照射光の強度を変更した照明パターンを認識し、照明部は、ユーザが変更した照明パターンに基づいて計測対象物に光を照射する。
上記課題を解決するために、この発明のある局面に係わる照明設定方法は、複数個の照明ブロックの点灯の有無および複数個の照明ブロックの照射光の強度を定めるm(mは3以上の自然数)種類の照明パターンに基づいて計測対象物に光を照射する第1の照明ステップと、m種類の照明パターンに基づいて光の照射された計測対象物をそれぞれ撮像することによりm個の第1次候補画像を取得する撮像ステップと、取得したm個の第1次候補画像の各々における複数個の画素の明るさ、および取得したm個の第1次候補画像の各々における複数個の画素の明るさに基づいて算出したm個の評価値の少なくともいずれか一方に基づいて、m個の第1次候補画像の中からn(nは2≦n<mを満たす自然数)個の第2次候補画像を選択する画像選択ステップと、選択したn個の第2次候補画像を表示する表示ステップと、表示されたn個の第2次候補画像の中からユーザが選択した画像を認識する操作ステップと、ユーザが選択した画像に対応する照明パターンに基づいて計測対象物に光を照射する第2の照明ステップとを含む。
本発明によれば、最適な照明パターンを簡単に設定することができる。
以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
[構成および基本動作]
図1は、本発明の実施の形態に係る視覚センサの構成を示す斜視図である。
図1を参照して、視覚センサ201は、コントローラ101と、カメラ102とを備える。カメラ102は、照明部51と、撮像部52とを含む。照明部51および撮像部52は一体化されている。なお、照明部51は、撮像部52と一体化されず、カメラ102の外部に配置される構成であってもよい。コントローラ101は、LCD(Liquid Crystal Display)タッチパネル4と、カメラ用コネクタ8と、外部入出力用コネクタ11と、操作部カバー14とを含む。
コントローラ101は、計測対象物の存在を表わす図示しない透過センサから受けた計測タイミング信号に同期して、照明部51に計測対象物へ光を照射させる制御を行ない、かつ撮像部52に計測対象物を撮像させる制御を行なう。そして、撮像部52は、撮像した画像データをコントローラ101へ出力する。
コントローラ101は、後述する設定ボタン6、LCDタッチパネル4およびコンソール用コネクタ9を介して、計測パラメータおよび計測タイミング等を入力する。
図2は、本発明の実施の形態に係る視覚センサの構成を示す機能ブロック図である。
図2を参照して、コントローラ101は、中央制御回路(制御部)61と、LCDコントローラ3と、LCDタッチパネル(表示部および操作部)4と、タッチパネルコントローラ5と、設定ボタン(操作部)6と、カメラインタフェース回路7と、カメラ用コネクタ8と、コンソール用コネクタ9と、外部入出力インタフェース回路10と、外部入出力用コネクタ11と、外部モニタインタフェース回路12と、外部モニタ用コネクタ13とを含む。カメラ102は、照明部51と、撮像部52とを含む。撮像部52は、撮像素子21と、カメラ制御回路22と、コントローラインタフェース回路23と、コントローラ用コネクタ24とを含む。
外部モニタ用コネクタ13には、LCDタッチパネル4とは別の外部モニタを接続することができる。外部モニタには、LCDタッチパネル4と同じ画面を表示することができる。コンソール用コネクタ9には、設定ボタン6の代わりにユーザが視覚センサ201に対して指示を与えるためのコンソールを接続することができる。カメラ用コネクタ8には、図1に示したカメラ102を接続することができる。
照明部51は、複数個の照明ブロックを含み、計測対象物に光を照射する。撮像部52は、照明部51によって光の照射された計測対象物を撮像する。
中央制御回路61は、たとえば、CPU、メモリおよびASIC(Application Specific Integrated Circuit)等で実現される。中央制御回路61は、LCDタッチパネル4および設定ボタン6から受けた操作情報に基づいて、照明部51における各照明ブロックの点灯の有無および各照明ブロックの照射光の強度を定める照明パターンを決定する。また、中央制御回路61は、照明パターンをカメラ102へ出力して設定する制御、および撮像部52が撮像した画像をLCDタッチパネル4に表示する制御等を行なう。
カメラ制御回路22は、PLDおよびメモリ等を含み、コントローラ101が設定した照明パターンに基づいて照明部51の照明制御を行ない、また、撮像素子21を制御して計測対象物の撮像を行なう。そして、カメラ制御回路22は、撮像した画像をコントローラインタフェース回路23、コントローラ用コネクタ24、カメラ用コネクタ8およびカメラインタフェース回路7を介して中央制御回路61へ出力する。
LCDコントローラ3は、中央制御回路61から受けたデータに基づいてLCDタッチパネル4に画像を表示する。
タッチパネルコントローラ5は、LCDタッチパネル4から受けた操作情報すなわちLCDタッチパネル4におけるどの位置をユーザが操作したかを表わすデータを中央制御回路61へ出力する。
設定ボタン6は、そのオン状態およびオフ状態を表わす操作信号を中央制御回路61へ出力する。
外部入出力インタフェース回路10は、たとえばUSB(Universal Serial Bus)インタフェース回路およびRS−232C/422インタフェース回路等のシリアルインタフェース回路、またはパラレルインタフェース回路もしくはイーサネット(登録商標)(Ethernet(登録商標))インタフェース回路である。外部入出力インタフェース回路10は、中央制御回路61と外部に接続されたパソコンおよびPLC(Programmable Logic Controller)等との間の信号の入出力を外部入出力用コネクタ11経由で行なう。
カメラインタフェース回路7およびコントローラインタフェース回路23は、たとえばLVDS(Low Voltage Differential Signaling)回路であり、中央制御回路61と撮像部52との間で、画像データおよび制御データの入出力をカメラ用コネクタ8およびコントローラ用コネクタ24経由で行なう。
図3は、本発明の実施の形態に係る視覚センサにおけるカメラ102の構成を示す断面図である。
図4は、図3におけるIVの方向から見た照明部51の構成を示す図である。
図3および図4を参照して、照明部51は、ハーフミラー31と、照明ブロック32E〜32Iと、照明ブロック33A〜33Dとを含む。撮像部52は、撮像素子21と、コントローラ用コネクタ24と、マニュアルズームバー25と、レンズ26とを含む。
照明ブロック32E〜32Iは、それぞれ複数個の白色LEDを含み、同軸照明部32を構成する。照明ブロック33A〜33Dは、それぞれ複数個の白色LEDを含み、無影照明部33を構成する。
同軸照明部32は、撮像部52の撮像光学軸と略平行な光を計測対象物に照射する。照明ブロック32Iから照射された光はハーフミラー31において反射し、反射光は撮像部52の撮像光学軸と略平行になって計測対象物に照射される。無影照明部33は、複数の方向から計測対象物に光を照射することにより、計測対象物の影が形成されることを防ぐ。なお、照明部51は、同軸照明部32または無影照明部33の代わりに、あるいはこれらに加えてローアングル照明部を含む構成であってもよい。
図3に示すIVの方向すなわち撮像部52の撮像光学軸と略平行な方向から見て、無影照明部33は、同軸照明部32の外側に配置される。また、無影照明部33は、無影照明部33の照射光と撮像部52の撮像光学軸とが平行にならない位置に設けられる。計測対象物において反射した光の一部または全部がハーフミラー31およびレンズ26を介して撮像素子21に照射される。
撮像素子21は、複数個の受光素子を含む。受光素子は、受けた光を電気信号に変換し、カメラ制御回路22へ出力する。
マニュアルズームバー25は、ユーザの操作に基づいてレンズ26の倍率を変更する。
図5は、本発明の実施の形態に係る視覚センサにおけるコントローラ101の正面図である。
図5を参照して、コントローラ101は、操作部カバー14と、LCDタッチパネル4と、設定ボタン6と、カメラ用コネクタ8と、外部入出力用コネクタ11とを含む。
設定ボタン6は、AUTOボタン16Aと、ESCボタン16Eと、SETボタン16Sと、上ボタン16Uと、下ボタン16Dと、左ボタン16Lと、右ボタン16Rとを含む。
コントローラ101には、操作部カバー14を開いた状態において、設定ボタン6と、USBケーブルおよびSDカード等が接続される外部入出力用コネクタ11とがユーザによって操作できるように設けられている。
ここで、図5に示すLCDタッチパネル4の表示画面を第1設定画面と称する。第1設定画面において、画面の上段左には、照明部51の模式図が表示される。画面の下段には、照明部51における各照明ブロックの照明強度が表示される。画面の上段右には、画面の上段左および下段に表示されている照明パターンに基づいてカメラ102が撮像した計測対象物の画像が表示される。
[動作]
次に、本発明の実施の形態に係る視覚センサが照明パターンを決定する際の動作について説明する。
図6は、本発明の実施の形態に係る視覚センサにおけるコントローラの正面図である。以下、図6に示すLCDタッチパネル4の表示画面を第2設定画面と称する。
図7は、本発明の実施の形態に係る視覚センサが照明パターンを決定する際の動作手順を定めたフローチャートである。
図7を参照して、まず、ユーザが視覚センサ201の電源を入れ、LCDタッチパネル4等を操作して照明調整メニューを選択すると、第1設定画面が表示される。
中央制御回路61は、照明部51および撮像部52を制御して、予め記憶している照明パターンの初期設定に基づいて計測対象物に光を照射し、計測対象物を撮像する。そして、中央制御回路61は、撮像部52が撮像した画像を取得し、LCDコントローラ3を制御して、取得した画像をLCDタッチパネル4に表示する(ステップS1)。
中央制御回路61は、ユーザが設定ボタン6を押下するまで待機する(ステップS2でNO)。一方、中央制御回路61は、ユーザが設定ボタン6を押下したことを表わす操作信号を設定ボタン6から受けた場合であって(ステップS2でYES)、操作信号が上ボタン16Uの押下を表わすときには(ステップS3およびS4でNO、ステップS5でYES)、照明部51を制御して、照明強度を1段階上げる(ステップS11)。
また、中央制御回路61は、操作信号が下ボタン16Dの押下を表わすときには(ステップS3〜S5でNO、ステップS6でYES)、照明部51を制御して、照明強度を1段階下げる(ステップS12)。
中央制御回路61は、照明強度を変更した後、撮像部52を制御して新たに計測対象物を撮像する(ステップS13)。そして、中央制御回路61は、LCDコントローラ3を制御して、LCDタッチパネル4の表示内容を更新する、すなわち新たに撮像した画像をLCDタッチパネル4に表示する(ステップS15)。
また、中央制御回路61は、操作信号が左ボタン16Lまたは右ボタン16Rの押下を表わすときには(ステップS3〜S6でNO、ステップS7でYES)、LCDコントローラ3を制御して、LCDタッチパネル4において現在フォーカス表示されている照明ブロックとは別の照明ブロックにフォーカス表示を移動する(ステップS14およびS15)。
また、中央制御回路61は、操作信号が「AUTO」ボタンの押下を表わすときには(ステップS3〜S7でNO、ステップS8でYES)、後述する候補選択HMI(Human Machine Interface)ルーチンを実行する(ステップS16)。
また、中央制御回路61は、操作信号がSETボタン16Sの押下を表わすときには(ステップS3でYES)、現在設定されている照明部51の照明パターンを確定して処理を終了する(ステップS9)。
また、中央制御回路61は、操作信号がESCボタン16Eの押下を表わすときには(ステップS3でNO、S4でYES)、現在設定されている照明部51の照明パターンを破棄して処理を終了する(ステップS10)。
図8は、本発明の実施の形態に係る視覚センサが候補選択HMIルーチンを実行する際の動作手順を定めたフローチャートである。以下では、説明を簡単にするために、N=20であり、M=9であると仮定して説明する。
図9は、本発明の実施の形態に係る視覚センサが有する点灯パターンの内容を示す図である。
図9を参照して、中央制御回路61は、たとえば20種類の点灯パターンを記憶している。図9において、A〜Iは、それぞれ照明ブロック33A〜33D、および照明ブロック32E〜32Iに対応する。
図8を参照して、まず、中央制御回路61は、LCDタッチパネル4の表示内容を第1設定画面から第2設定画面に変更する(ステップS21)。
中央制御回路61は、点灯パターン1〜20について、それぞれ照明強度決定ルーチンを実行し、計測対象物の画像の明るさに基づいて、点灯パターン1〜20に対応する照明部51の各照明ブロック照射光の強度をそれぞれ決定する。すなわち、中央制御回路61は、20種類の点灯パターンの各々と各照明ブロックの照射光の強度との組み合わせである20種類の照明パターンを決定する(ステップS22〜S24)。
そして、中央制御回路61は、候補画像選出ルーチンを実行する。すなわち、中央制御回路61は、20種類の照明パターンに基づいてカメラ102が撮像した20個の第1次候補画像のコントラストに基づいて、20個の第1次候補画像の中から9個の第2次候補画像を選出する(ステップS25)。
中央制御回路61は、選出した9個の第2次候補画像をLCDタッチパネル4に表示する(ステップS26)。
中央制御回路61は、ユーザが設定ボタン6を押下するまで待機する(ステップS27でNO)。そして、中央制御回路61は、ユーザが設定ボタン6を押下したことを表わす操作信号を設定ボタン6から受けた場合であって(ステップS27でYES)、操作信号がSETボタン16Sの押下を表わすときには(ステップS28でYES)、フォーカス表示された候補画像がユーザによって選択されたことを認識する(ステップS29)。そして、中央制御回路61は、LCDタッチパネル4の表示内容を第2設定画面から第1設定画面に変更する(ステップS30)。すなわち、中央制御回路61は、ユーザによって選択された画像と、ユーザによって選択された画像に対応する照明パターンとをLCDタッチパネル4に表示する。
また、中央制御回路61は、ユーザが設定ボタン6を押下したことを表わす操作信号を設定ボタン6から受けた場合であって(ステップS27でYES)、操作信号が上ボタン16U、下ボタン16D、左ボタン16Lまたは右ボタン16Rの押下を表わすときには(ステップS28でNO、ステップS31でYES)、押下されたボタンの種類に応じて現在フォーカス表示されている候補画像から他の候補画像へフォーカス表示を移動する(ステップS32およびS33)。
図10は、本発明の実施の形態に係る視覚センサが照明強度決定ルーチンを実行する際の動作手順を定めたフローチャートである。ここでは、中央制御回路61が、点灯パターン1に対応する照明強度を決定する場合について代表的に説明する。
図10を参照して、中央制御回路61は、照明部51に点灯パターン1を設定し、かつ照明部51に照明強度の初期値、たとえば最小の照明強度を設定する(ステップS41)。
中央制御回路61は、撮像部52を制御して計測対象物を撮像し、撮像した画像を取得する(ステップS42)。
中央制御回路61は、取得した画像について画像評価判定ルーチンを実行する(ステップS43)。中央制御回路61は、終了条件が成立した場合には(ステップS43でYES)、現在設定している照明強度を点灯パターン1に対応する照明強度として決定する(ステップS45)。
一方、中央制御回路61は、終了条件が未成立である場合には(ステップS43でNO)、照明部51の照明強度を1段階上げて(ステップS44)、計測対象物の撮像および画像評価判定ルーチンの実行を再び行なう(ステップS42およびS43)。
図11は、本発明の実施の形態に係る視覚センサが画像評価判定ルーチンを実行する際の動作手順を定めたフローチャートである。
図11を参照して、中央制御回路61は、取得した画像における画素の明るさの平均値を算出する(ステップS51)。
図12(a)および(b)は、取得した画像の一例を示す図である。
図12(a)を参照して、中央制御回路61は、たとえば取得した画像全体すなわち画像における全画素の明るさの平均値を算出する。
また、中央制御回路61は、図12(b)の枠線A1で囲まれた領域すなわち画像における全画素の一部の明るさの平均値を算出する構成であってもよい。
ここで、画像における画素は撮像素子21が含む受光素子に対応し、画素の明るさとは受光素子の受光量を意味する。受光素子が受ける光は、ほとんどが照明部51からの照射光が計測対象物において反射した光である。したがって、計測対象物における光の反射が起こらない部分からは反射光が受光素子に対して照射されないため、このような部分に対応する受光素子の受光量は限りなく0に近くなる。
図13は、計測対象物の一例を示す平面図である。
図13を参照して、計測対象物は穴の空いた金属板である。このように、穴の空いた部分からは反射光が受光素子に対して照射されないため、穴の空いた部分に対応する受光素子の受光量は限りなく0に近くなる。
そこで、中央制御回路61は、取得した画像における複数個の画素のうち、明るさが所定値以上である画素を選択し、選択した画素の明るさの平均値を算出する構成であってもよい。このような構成により、画像評価を適切に行なうことができる。
図14は、計測対象物の画像における各画素の明るさの分布を示すグラフ図である。
図14を参照して、画素の明るさが最大である分布が存在する点が飽和点すなわち撮像素子21における受光素子の出力する電気信号が飽和する点である。
中央制御回路61は、画素の明るさの平均値が判定下限値より大きい場合であっても、飽和点に達している画素の割合が大きい場合には、反射光が強すぎるため、現在設定している照明強度は不適切であると判断する。
すなわち、再び図11を参照して、中央制御回路61は、算出した平均値が判定下限値以上であり(ステップS52でYES)、判定上限値以下であり(ステップS53でYES)、飽和点に達している画素の割合が所定値以下であり(ステップS54でYES)、かつ前回撮像した画像すなわち現在の照明強度の設定より1段階低い照明強度で撮像した画像よりも、現在の照明強度の設定で撮像した画像における各画素の明るさの平均値の方が大きい場合には(ステップS55でYES)、終了条件未成立と判断する(ステップS57)。
また、中央制御回路61は、算出した平均値が判定下限値未満である場合には(ステップS52でNO)、終了条件未成立と判断する(ステップS57)。
一方、中央制御回路61は、飽和点に達している画素の割合が所定値より大きいか(ステップS54でNO)、あるいは前回撮像した画像すなわち現在の照明強度の設定より1段階低い照明強度で撮像した画像よりも、現在の照明強度の設定で撮像した画像における各画素の明るさの平均値の方が小さい場合には(ステップS55でNO)、現在の照明強度の設定より1段階低い照明強度の設定が適切であると判断し、照明部51の照明強度を1段階下げる(ステップS56)。そして、中央制御回路61は、終了条件成立と判断する(ステップS58)。
また、中央制御回路61は、算出した平均値が判定下限値以上であり(ステップS52でYES)、かつ判定上限値を超える(ステップS53でNO)場合には、現在の照明強度の設定より1段階低い照明強度の設定が適切であると判断し、照明部51の照明強度を1段階下げる(ステップS56)。そして、中央制御回路61は、終了条件成立と判断する(ステップS58)。
図15は、本発明の実施の形態に係る視覚センサが候補画像選出ルーチンを実行する際の動作手順を定めたフローチャートである。ここでは、候補画像選出ルーチンによって決定された20種類の照明パターンに対応する20個の第1次候補画像を第1次候補画像1〜20と称する。
図15を参照して、中央制御回路61は、変数K=1に設定する(ステップS61)。
中央制御回路61は、第1次候補画像Kにおける各画素の明るさのばらつきを算出する(ステップS62)。より詳細には、中央制御回路61は、第1次候補画像Kにおける各画素の明るさの分散値を算出する。たとえば、中央制御回路61は、候補画像全体すなわち候補画像におけるすべての画素について分散値を算出する(以下、方法Aと称する。)。
図16は、取得した画像の明るさの平均値を算出する方法を示す図である。
図16を参照して、中央制御回路61は、ステップS62において、枠線A2で分割された複数個の領域における明るさの平均値をそれぞれ算出し、算出した複数個の平均値の分散値を算出する構成であってもよい(方法B)。
さらに、中央制御回路61は、方法Aまたは方法Bを行なう前に、候補画像Kにおける複数個の画素のうち、明るさが所定値以上である画素を選択し、選択した画素について方法Aまたは方法Bを行なう構成であってもよい。
中央制御回路61は、第1次候補画像1〜Kを明るさのばらつきの大きい順にソーティングする(ステップS63)。
中央制御回路61は、変数Kに1を加える(ステップS64)。
中央制御回路61は、変数Kが最大候補数である20未満である場合には(ステップS65でNO)、第1次候補画像Kについて明るさのばらつきの算出を行なう(ステップS62)。
一方、中央制御回路61は、変数Kが最大候補数である20以上である場合には(ステップS65でYES)、第1次候補画像1〜Kの中から、明るさのばらつきの大きい順に9個の画像を第2次候補画像として選択する(ステップS66)。これは、明るさのばらつきが大きいほどコントラストが高く、良好な画像であると考えられるためである。
ところで、正確な計測を行なうためには、計測対象物に応じて適切な照明パターンを設定する必要があり、適切な照明パターンを設定するにはノウハウおよび習熟が必要である。しかしながら、本発明の実施の形態に係る視覚センサでは、照明部51が、20種類の照明パターンに基づいて計測対象物に光を照射する。撮像部52が、20種類の照明パターンに基づいて光の照射された計測対象物をそれぞれ撮像することにより20個の第1次候補画像を取得する。中央制御回路61は、20個の第1次候補画像の各々における複数個の画素の明るさに基づいて算出したコントラストに基づいて、20個の第1次候補画像の中から9個の第2次候補画像を選択する。LCDタッチパネル4が、9個の第2次候補画像を表示し、かつ9個の第2次候補画像の中からユーザが選択した画像を認識する。そして、照明部51は、ユーザが選択した画像に対応する照明パターンに基づいて計測対象物に光を照射する。このような構成により、ノウハウおよび習熟を必要とすることなく、計測対象物に応じて適切な照明パターンを簡単に設定することができる。
なお、本発明の実施の形態に係る視覚センサでは、中央制御回路61は、計測対象物の画像の明るさに基づいて、20種類の点灯パターンに対応する照射強度をそれぞれ決定し、点灯パターンと照射光の強度との組み合わせである20種類の照明パターンを決定する構成であるとしたが、これに限定するものではない。中央制御回路61が、計測対象物の画像の明るさから算出したコントラストに基づいて、複数種類の点灯パターンに対応する照射強度をそれぞれ決定する構成とすることができる。また、中央制御回路61が、予め定められた複数種類の照明パターンを記憶する構成とすることもできる。
また、本発明の実施の形態に係る視覚センサでは、中央制御回路61は、20種類の照明パターンに基づいて撮像された20個の第1次候補画像のコントラストに基づいて、20個の第1次候補画像の中から9個の第2次候補画像を選出する構成であるとしたが、これに限定するものではない。中央制御回路61は、コントラストに限らず、第1次候補画像における複数個の画素の明るさに基づいて算出した他の評価値に基づいて、第2次候補画像を選出する構成とすることができる。
たとえば、中央制御回路61は、第1次候補画像に対して一般的なエッジ抽出を行ない、抽出したエッジ部分の明るさの変化の大きさを算出する。より詳細には、中央制御回路61は、抽出したエッジ部分に対応するすべての画素の明るさの平均値を算出する。あるいは、中央制御回路61は、抽出したエッジ部分に対応する複数個の画素のうち、明るさが所定値以上である画素を選択し、選択した画素の明るさの平均値を算出する構成であってもよい。これは、抽出したエッジ部分の明るさの変化が大きいほどコントラストが高く、良好な画像であると考えられるためである。
また、中央制御回路61が、20種類の照明パターンに基づいてカメラ102が撮像した20個の第1次候補画像の明るさに基づいて、たとえば各画素の明るさの平均値が所定範囲内であるか否かに基づいて、20個の第1次候補画像の中から9個の第2次候補画像を選出する構成とすることができる。このような構成では、第2次候補画像が9個ではなく10個以上選出される可能性がコントラストを用いる場合と比べて高くなるが、このような場合には、2画面で10個以上の第2次候補画像を表示して対応してもよいし、第2次候補画像を縮小して1画面で表示して対応してもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本発明の実施の形態に係る視覚センサの構成を示す斜視図である。 本発明の実施の形態に係る視覚センサの構成を示す機能ブロック図である。 本発明の実施の形態に係る視覚センサにおけるカメラ102の構成を示す断面図である。 図3におけるIVの方向から見た照明部51の構成を示す図である。 本発明の実施の形態に係る視覚センサにおけるコントローラ101の正面図である。 本発明の実施の形態に係る視覚センサにおけるコントローラの正面図である。 本発明の実施の形態に係る視覚センサが照明パターンを決定する際の動作手順を定めたフローチャートである。 本発明の実施の形態に係る視覚センサが候補選択HMIルーチンを実行する際の動作手順を定めたフローチャートである。 本発明の実施の形態に係る視覚センサが有する点灯パターンの内容を示す図である。 本発明の実施の形態に係る視覚センサが照明強度決定ルーチンを実行する際の動作手順を定めたフローチャートである。 本発明の実施の形態に係る視覚センサが画像評価判定ルーチンを実行する際の動作手順を定めたフローチャートである。 (a)および(b)は、取得した画像の一例を示す図である。 計測対象物の一例を示す平面図である。 計測対象物の画像における各画素の明るさの分布を示すグラフ図である。 本発明の実施の形態に係る視覚センサが候補画像選出ルーチンを実行する際の動作手順を定めたフローチャートである。 取得した画像の明るさの平均値を算出する方法を示す図である。
符号の説明
3 LCDコントローラ、4 LCDタッチパネル(表示部および操作部)、5 タッチパネルコントローラ、6 設定ボタン(操作部)、7 カメラインタフェース回路、8 カメラ用コネクタ、9 コンソール用コネクタ、10 外部入出力インタフェース回路、11 外部入出力用コネクタ、12 外部モニタインタフェース回路、13 外部モニタ用コネクタ、14 操作部カバー、16A AUTOボタン、16E ESCボタン、16U 上ボタン、16D 下ボタン、16L 左ボタン、16R 右ボタン、16S SETボタン、21 撮像素子、22 カメラ制御回路、23 コントローラインタフェース回路、24 コントローラ用コネクタ、25 マニュアルズームバー、26 レンズ、31 ハーフミラー、32 同軸照明部、33 無影照明部、32E〜32I,33A〜33D 照明ブロック、51 照明部、52 撮像部、61 中央制御回路(制御部)、101 コントローラ、102 カメラ、201 視覚センサ。

Claims (7)

  1. 複数個の照明ブロックを含み、前記各照明ブロックの点灯の有無および前記各照明ブロックの照射光の強度を定めるm(mは3以上の自然数)種類の照明パターンに基づいて計測対象物に光を照射する照明部と、
    前記m種類の照明パターンに基づいて光の照射された前記計測対象物をそれぞれ撮像することによりm個の第1次候補画像を取得する撮像部と、
    前記取得したm個の第1次候補画像の各々における複数個の画素の明るさ、および前記取得したm個の第1次候補画像の各々における複数個の画素の明るさに基づいて算出したm個の評価値の少なくともいずれか一方に基づいて、前記m個の第1次候補画像の中からn(nは2≦n<mを満たす自然数)個の第2次候補画像を選択する制御部と、
    前記選択したn個の第2次候補画像を表示する表示部と、
    前記表示されたn個の第2次候補画像の中からユーザが選択した画像を認識する操作部とを備え、
    前記照明部は、前記ユーザが選択した画像に対応する前記照明パターンに基づいて前記計測対象物に光を照射する視覚センサ。
  2. 前記制御部は、前記各照明ブロックの点灯の有無を定めるm種類の点灯パターンを記憶し、
    前記照明部は、前記m種類の点灯パターンに基づいて計測対象物に光を照射し、
    前記撮像部は、前記m種類の点灯パターンに基づいて光の照射された前記計測対象物をそれぞれ撮像することによりm個の画像を取得し、
    前記制御部は、前記取得したm個の画像の各々における複数個の画素の明るさに基づいて、前記m種類の点灯パターンの各々と前記各照明ブロックの照射光の強度との組み合わせを前記m種類の照明パターンとして決定する請求項1記載の視覚センサ。
  3. 前記制御部は、前記取得したm個の第1次候補画像の各々における複数個の画素の明るさに基づいて前記m個の第1次候補画像の各々のコントラストを前記評価値として算出する請求項1記載の視覚センサ。
  4. 前記制御部は、前記取得したm個の第1次候補画像の各々における複数個の画素の明るさの分散値を前記m個の第1次候補画像の各々の前記評価値として算出する請求項3記載の視覚センサ。
  5. 前記複数個の照明ブロックは、それぞれ異なる方向から前記計測対象物に光を照射し、
    前記制御部は、前記m種類の照明パターンにおいてそれぞれ異なる方向から前記計測対象物に光が照射されるように前記m種類の照明パターンを決定する請求項1記載の視覚センサ。
  6. 前記操作部は、前記ユーザが画像を選択した後、前記ユーザが選択した画像に対応する照明パターンに対して前記ユーザが前記各照明ブロックの点灯の有無または前記各照明ブロックの照射光の強度を変更した照明パターンを認識し、
    前記照明部は、前記ユーザが変更した照明パターンに基づいて前記計測対象物に光を照射する請求項1記載の視覚センサ。
  7. 複数個の照明ブロックの点灯の有無および前記複数個の照明ブロックの照射光の強度を定めるm(mは3以上の自然数)種類の照明パターンに基づいて計測対象物に光を照射する第1の照明ステップと、
    前記m種類の照明パターンに基づいて光の照射された前記計測対象物をそれぞれ撮像することによりm個の第1次候補画像を取得する撮像ステップと、
    前記取得したm個の第1次候補画像の各々における複数個の画素の明るさ、および前記取得したm個の第1次候補画像の各々における複数個の画素の明るさに基づいて算出したm個の評価値の少なくともいずれか一方に基づいて、前記m個の第1次候補画像の中からn(nは2≦n<mを満たす自然数)個の第2次候補画像を選択する画像選択ステップと、
    前記選択したn個の第2次候補画像を表示する表示ステップと、
    前記表示されたn個の第2次候補画像の中からユーザが選択した画像を認識する操作ステップと、
    前記ユーザが選択した画像に対応する前記照明パターンに基づいて前記計測対象物に光を照射する第2の照明ステップとを含む照明設定方法。
JP2006305581A 2006-11-10 2006-11-10 視覚センサおよび照明設定方法 Active JP4858098B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006305581A JP4858098B2 (ja) 2006-11-10 2006-11-10 視覚センサおよび照明設定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006305581A JP4858098B2 (ja) 2006-11-10 2006-11-10 視覚センサおよび照明設定方法

Publications (2)

Publication Number Publication Date
JP2008122198A true JP2008122198A (ja) 2008-05-29
JP4858098B2 JP4858098B2 (ja) 2012-01-18

Family

ID=39507107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006305581A Active JP4858098B2 (ja) 2006-11-10 2006-11-10 視覚センサおよび照明設定方法

Country Status (1)

Country Link
JP (1) JP4858098B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015232477A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 検査装置、検査方法およびプログラム
JP2015232480A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 検査装置
JP2019035609A (ja) * 2017-08-10 2019-03-07 オムロン株式会社 画像処理システム、設定支援装置および設定支援プログラム
JP2019035606A (ja) * 2017-08-10 2019-03-07 オムロン株式会社 設定支援装置、画像処理システムおよび設定支援プログラム
CN110196576A (zh) * 2018-02-26 2019-09-03 欧姆龙株式会社 图像处理系统以及设定方法
JP2021168267A (ja) * 2020-04-10 2021-10-21 シーシーエス株式会社 検査用照明システム及び制御装置
JP7454265B2 (ja) 2018-10-11 2024-03-22 ナノトロニクス イメージング インコーポレイテッド マクロ検査システム、装置および方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05135156A (ja) * 1991-11-13 1993-06-01 Sumitomo Metal Ind Ltd 画像処理装置
JPH11281334A (ja) * 1998-03-27 1999-10-15 Vanguard Systems:Kk 部品検査装置
JP2001153808A (ja) * 1999-11-30 2001-06-08 Ccs Kk 照明装置の制御電源
JP2003060833A (ja) * 2001-08-09 2003-02-28 Ricoh Co Ltd 画像入出力システム
JP2003270304A (ja) * 2002-03-20 2003-09-25 Tokyo Electron Ltd プローブ装置及びプローブ針の針先認識方法
JP2004024559A (ja) * 2002-06-26 2004-01-29 Aloka Co Ltd 超音波診断装置
JP2004053583A (ja) * 2002-05-22 2004-02-19 Agilent Technol Inc 照明光を自動適合するコントローラ
JP2005086382A (ja) * 2003-09-08 2005-03-31 Seiko Epson Corp 画像のレイアウトに用いるテンプレートの選択処理

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05135156A (ja) * 1991-11-13 1993-06-01 Sumitomo Metal Ind Ltd 画像処理装置
JPH11281334A (ja) * 1998-03-27 1999-10-15 Vanguard Systems:Kk 部品検査装置
JP2001153808A (ja) * 1999-11-30 2001-06-08 Ccs Kk 照明装置の制御電源
JP2003060833A (ja) * 2001-08-09 2003-02-28 Ricoh Co Ltd 画像入出力システム
JP2003270304A (ja) * 2002-03-20 2003-09-25 Tokyo Electron Ltd プローブ装置及びプローブ針の針先認識方法
JP2004053583A (ja) * 2002-05-22 2004-02-19 Agilent Technol Inc 照明光を自動適合するコントローラ
JP2004024559A (ja) * 2002-06-26 2004-01-29 Aloka Co Ltd 超音波診断装置
JP2005086382A (ja) * 2003-09-08 2005-03-31 Seiko Epson Corp 画像のレイアウトに用いるテンプレートの選択処理

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015232477A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 検査装置、検査方法およびプログラム
JP2015232480A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 検査装置
JP2019035609A (ja) * 2017-08-10 2019-03-07 オムロン株式会社 画像処理システム、設定支援装置および設定支援プログラム
JP2019035606A (ja) * 2017-08-10 2019-03-07 オムロン株式会社 設定支援装置、画像処理システムおよび設定支援プログラム
CN110196576A (zh) * 2018-02-26 2019-09-03 欧姆龙株式会社 图像处理系统以及设定方法
JP2019148438A (ja) * 2018-02-26 2019-09-05 オムロン株式会社 画像処理システムおよび設定方法
JP7010057B2 (ja) 2018-02-26 2022-01-26 オムロン株式会社 画像処理システムおよび設定方法
CN110196576B (zh) * 2018-02-26 2022-09-13 欧姆龙株式会社 图像处理系统以及设定方法
JP7454265B2 (ja) 2018-10-11 2024-03-22 ナノトロニクス イメージング インコーポレイテッド マクロ検査システム、装置および方法
JP2021168267A (ja) * 2020-04-10 2021-10-21 シーシーエス株式会社 検査用照明システム及び制御装置
JP7404141B2 (ja) 2020-04-10 2023-12-25 シーシーエス株式会社 検査用照明システム及び制御装置

Also Published As

Publication number Publication date
JP4858098B2 (ja) 2012-01-18

Similar Documents

Publication Publication Date Title
JP4858098B2 (ja) 視覚センサおよび照明設定方法
KR101500843B1 (ko) 태블릿 단말기, 조작 접수 방법 및 조작 접수 프로그램을 기록한 기록매체
KR101417169B1 (ko) 초점 조력 시스템 및 방법
JP2020125919A (ja) 画像検査装置
JP5281838B2 (ja) 撮影装置
JP2010122609A (ja) 表示制御装置及び表示制御方法
JP7287791B2 (ja) 画像検査装置
CN110196576B (zh) 图像处理系统以及设定方法
US8878977B2 (en) Image processing apparatus having a candidate focus position extracting portion and corresponding focus adjusting method
JP2008099874A (ja) 内視鏡プロセッサおよび内視鏡システム
JP2020125920A (ja) 画像検査装置
JP4873729B2 (ja) 光学機器
JP2019035609A (ja) 画像処理システム、設定支援装置および設定支援プログラム
EP3217661B1 (en) Image measurement system and controller
JP2019035606A (ja) 設定支援装置、画像処理システムおよび設定支援プログラム
JP5039570B2 (ja) 表示装置、映像表示システム、及び表示方法
JP7016681B2 (ja) 内視鏡システム
JP2013108798A (ja) 画像処理装置及び該画像処理装置で用いる判定閾値設定方法
JP2008307294A (ja) 撮像システム
US9336586B2 (en) Image processing apparatus and image processing method using compressed image data or partial image data
JP5355259B2 (ja) 顕微鏡システム、観察画像補正プログラム、及び観察画像補正方法
JP2010122623A (ja) 顕微鏡制御装置及び顕微鏡システム
JP2008046509A (ja) 走査型共焦点レーザ顕微鏡による計測方法及びその制御システム
JP5917072B2 (ja) 画像処理装置および画像処理プログラム
JP2005221708A (ja) 顕微鏡撮影装置、明るさ調整方法および明るさ調整プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110705

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111017

R150 Certificate of patent or registration of utility model

Ref document number: 4858098

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3