JP2014197762A - 画像処理システムおよび画像処理プログラム - Google Patents

画像処理システムおよび画像処理プログラム Download PDF

Info

Publication number
JP2014197762A
JP2014197762A JP2013072120A JP2013072120A JP2014197762A JP 2014197762 A JP2014197762 A JP 2014197762A JP 2013072120 A JP2013072120 A JP 2013072120A JP 2013072120 A JP2013072120 A JP 2013072120A JP 2014197762 A JP2014197762 A JP 2014197762A
Authority
JP
Japan
Prior art keywords
image
image processing
imaging
line
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013072120A
Other languages
English (en)
Other versions
JP6241052B2 (ja
Inventor
正広 高山
Masahiro Takayama
正広 高山
伸也 澤
Shinya Sawa
伸也 澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2013072120A priority Critical patent/JP6241052B2/ja
Priority to EP20140156743 priority patent/EP2784746A1/en
Publication of JP2014197762A publication Critical patent/JP2014197762A/ja
Application granted granted Critical
Publication of JP6241052B2 publication Critical patent/JP6241052B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/191Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
    • H04N1/192Simultaneously or substantially simultaneously scanning picture elements on one main scanning line
    • H04N1/193Simultaneously or substantially simultaneously scanning picture elements on one main scanning line using electrically scanned linear arrays, e.g. linear CCD arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H04N1/19594Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays using a television camera or a still video camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/0402Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/042Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207 capable of using different scanning methods at a single scanning station

Abstract

【課題】エリア型撮像素子をラインカメラとして利用する場合に、撮像設定を支援する。
【解決手段】画像処理システムは、撮像対象物を撮像する撮像装置と、撮像装置に接続された画像処理装置とを有する。撮像装置は、2次元状に配列された複数画素を有するエリア型撮像素子と、複数の画素から2次元画像を取得するエリア制御手段と、複数画素のうち予め指定された特定の画素列から1次元画像を取得するライン制御手段と、を備える。画像処理装置は、エリア制御手段およびライン制御手段のいずれか一方を起動するよう切替える。撮像装置により取得される画像を取り込む入力部31と、取得された2次元画像から特定の画素列に関する撮像状態を評価するための指標値を取得する指標取得部33と、2次元画像と取得された指標値とを出力する出力部34とを備える。
【選択図】図3

Description

この発明は画像処理システムおよび画像処理プログラムに関し、特に、撮像設定を支援する画像処理システムおよび画像処理プログラムに関する。
工業用カメラは、エリアセンサを利用したエリアカメラと、ラインセンサを利用したラインカメラの2種類に大別される。
一般的にはエリアカメラの方が使用されるが、印刷生産ラインにおけるシート検査、液晶・ガラス生産ラインにおけるLCD(Liquid Crystal Display)およびPDP(Plasma Display Panel)検査などの高解像度が求められる場合、または円筒形のワークの表面検査には、ラインカメラの使用が適する。
エリアセンサまたはラインセンサに用いられる撮像デバイスとしては、従来からCCD(Charge Coupled Device)が一般的に用いられている。エリア型CCDイメージセンサには、特定のラインを読み出すパーシャル機能を持つものがある。また、近年、解像度や速度性能が格段に向上したCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが活用されている。エリア型CMOSイメージセンサには画素単位でランダムアクセス可能な機能を有するものがあり、この機能を用いるとエリア型CMOSイメージセンサをラインセンサとして利用することが可能である。また、市場においてはエリアセンサの方が多く使用されることから、解像度が同程度であればエリアセンサはラインセンサと比較して安価である。したがって、エリアセンサをラインカメラとして利用する技術が提案されている。
例えば、特許文献1(特開2004−147271号公報)では、エリアセンサと、エリアセンサを制御する制御回路を備えたカメラ装置が開示される。具体的には、制御回路は通常の撮像を制御するエリアセンサ制御手段と特定の走査ラインの走査により1次元の撮像を制御するラインセンサ制御手段とを有してどちらか一方が選択される。レンズ等の設定時にはエリアセンサとして動作させて撮像画像をビューファインダとして用いる。
また、特許文献2(特開2009−194424号公報)では、エリア型CMOSイメージセンサを、被観測物の移動方向に垂直な方向が主走査方向におおよそ一致するように配置し、主走査方向の直線エリアである読み取りラインを撮像する画素のみランダムアクセスで読み出す。CMOSカメラは前後左右上下に若干ずれたり傾いたりしているため、読み取った画像を補正することで、1つの1次元画像を作成する。補正係数は、読み取りライン上に基準線が描かれたテストチャートから決定する。
特開2004−147271号公報 特開2009−194424号公報
エリアセンサをラインカメラとして利用する場合には、カメラの姿勢、照明の明るさなどの各種の撮像条件を調整し設定したいとの要望がある。
しかしながら、特許文献1では、ビューファインダの画像を見ながら具体的にどのようにラインカメラとしての設定をするかは開示されていない。
また、特許文献2では、運用時に都度補正処理を行なっているため処理に時間がかかる。またカメラの焦点距離や照明位置の調整は別途必要になるが、その方法については開示されていない。
それゆえに本発明の目的は、エリア型撮像素子をラインカメラとして利用する場合に、撮像設定を支援する画像処理システムおよび画像処理プログラムを提供することである。
この発明のある局面に係る画像処理装置は、撮像対象物を撮像する撮像装置と、撮像装置に接続された画像処理装置とを有する画像処理システムであって、撮像装置は、2次元状に配列された複数画素を有するエリア型撮像素子と、複数の画素から2次元画像を取得するエリア制御手段と、エリア型撮像素子の複数画素のうち、予め指定された特定の画素列から1次元画像を取得するライン制御手段と、を備える。
画像処理装置は、エリア制御手段およびライン制御手段のいずれか一方を起動するよう切替える切替え制御手段と、撮像装置により取得される画像を取り込む入力手段と、入力手段により取り込まれた2次元画像から、複数画素における特定の画素列に関する撮像状態を評価するための指標値を取得する指標取得手段と、入力手段により取り込まれた2次元画像と、指標取得手段により取得された指標値とを出力する出力手段と、複数画素のうちから特定の画素列を指定する指定手段と、を備える。
好ましくは、指標値は、2次元画像のうち特定の画素列に対応したラインと、2次元画像における撮像対象物の像から抽出されたエッジとのなす角度を含む。
好ましくは、指標値は、2次元画像のうち特定の画素列に対応した主走査方向のラインの輝度値を含む。
好ましくは、出力手段は、特定の画素列のそれぞれの輝度値を表す点を、主走査方向に直交する副走査方向にプロットしたグラフにより出力する。
好ましくは、出力手段は、主走査方向に直交する副走査方向に延びる画素列それぞれの輝度値を表す点を、主走査方向にプロットしたグラフにより出力する。
好ましくは、外部からの操作を受け付ける操作入力手段を、さらに備え、指定手段は、複数画素うち、操作入力手段が受け付けた操作内容から特定の画素列を指定する。
好ましくは、指定手段は、複数画素のうち、輝度値から特定の画素列を指定する。
好ましくは、指標値は、2次元画像のうち特定の画素列を含む領域における撮像装置のフォーカスの調整度合いを示す値を含む。
この発明の他の局面に従うと、撮像対象物を撮像する撮像装置に接続されるコンピュータで実行される画像処理プログラムが提供される。
撮像装置は、2次元状に配列された複数画素を有するエリア型撮像素子と、複数の画素から2次元画像を取得するエリア制御手段と、エリア型撮像素子の複数画素のうち、予め指定された特定の画素列から1次元画像を取得するライン制御手段と、を備える。
画像処理プログラムは、コンピュータを、エリア制御手段およびライン制御手段のいずれか一方を起動するよう切替える切替え制御手段と、撮像装置により取得される画像を取り込む入力手段と、入力手段により取り込まれた2次元画像から、複数画素における特定の画素列に関する撮像状態を評価するための指標値を取得する指標取得手段と、入力手段により取り込まれた2次元画像と、指標取得手段により取得された指標値とを出力する出力手段と、複数画素のうちから特定の画素列を指定する指定手段として機能させる。
この発明によれば、ユーザによる撮像設定を支援することで、容易に撮像設定を行うことができる。
この発明の実施の形態に係る画像処理装置を含む視覚センサシステムの全体構成を示す概略図である。 この発明の実施の形態に係る画像処理装置とカメラの概略構成図である。 この発明の実施の形態に係る機能構成図である。 この発明の実施の形態に係る調整モードの概略処理を示すフローチャートである。 この発明の実施の形態に係るカメラ姿勢設定(1)の処理フローチャートである。 図5の処理において表示される画面の一例を示す図である。 この発明の実施の形態に係るカメラ姿勢設定(2)の処理フローチャートである。 図7の処理において表示される画面の一例を示す図である。 この発明の実施の形態に係る照明装置の設定を示す図である。 この発明の実施の形態に係る輝度プロファイルの表示画面の一例を示す図である。 この実施の形態によるフォーカス調整を支援するための表示画面例を示す図である。
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
<全体装置構成>
図1は、この発明の実施の形態に係る画像処理装置100を含む視覚センサシステム1の全体構成を示す概略図である。
図1を参照して、視覚センサシステム1は生産ラインなどに組み込まれ、被測定物2(以下「ワーク2」とも称す。)上の欠陥や汚れの有無を検査したり、その大きさなどを計測したり、その表面上の文字や図形などを認識したりする。一例として、本実施の形態においては、ワーク2はベルトコンベヤなどの搬送機構6によって搬送され、撮像装置であるカメラ8によって撮像される。カメラ8によって得られた画像データ(以下「入力画像」とも称す。)は、画像処理装置100へ伝送される。視覚センサシステム1は、カメラ8で撮像されるワーク2に対して光を照射する照明装置9をさらに備える。この実施の形態では、カメラ8は移動せず位置は固定であるが、後述するように姿勢は自由に変更して設定することができる。
ワーク2がカメラ8の撮像範囲に到達したことは、搬送機構6の両端に配置された光電センサ4によって検出される。具体的には、光電センサ4は、同一の光軸上に配置された受光部4aと投光部4bとを含み、投光部4bから放射される光がワーク2で遮蔽されることを受光部4aで検出することによって、ワーク2の到達を検出する。この光電センサ4の検出信号(以下「トリガ信号」とも称す。)は、PLC(Programmable Logic Controller)5へ出力される。
PLC5は、光電センサ4などからのトリガ信号を受信するとともに、搬送機構6の制御自体を司る。
視覚センサシステム1は、さらに、画像処理装置100と、ディスプレイ102と、入力装置105とを含む。画像処理装置100は、PLC5と、カメラ8と、ディスプレイ102と、入力装置105と接続される。
画像処理装置100は、動作モードとして、ワーク2に対して各種の画像処理を実行する測定モードと、撮像設定などの各種調整を行うための調整モードとを有している。測定モードにおいて、画像処理装置100は、PLC5を介して光電センサ4からのトリガ信号を受信すると、カメラ8に対して撮像指令を与える。この撮像指令に応答して、カメラ8がワーク2を撮像することで得られた入力画像は、画像処理装置100へ伝送される。代替の処理方法として、カメラ8に対して連続的に撮像を行わせるとともに、トリガ信号の受信に応答して、必要な入力画像のみを画像処理装置100が取込むようにしてもよい。
本実施の形態では、撮像設定を変更することができる。このような撮像設定としては、カメラ8に関しては、姿勢(アングル)、絞り量(明るさ)、フォーカス、検出感度(ISO感度)、露光時間(シャッタースピード)を含む。カメラ姿勢は、ワーク2に対するカメラ8の光学系レンズの傾きにより表される。また、照明装置9に関しては照射方向、照射光量(明るさ)を含む。本実施の形態に係るカメラ8に関しては、典型的な撮像設定として、フォーカスおよび姿勢を変更可能であり、照明装置9に関しては照射方向および照射光量を変更可能である。なお、本発明は、上述のような撮像設定のうち、少なくとも1つの項目を変更可能であるカメラ8および照明装置9に適用可能である。
より具体的には、カメラ8は、フォーカス調整機能を有した光学系を含む。光学系に関連して、カメラ8には、フォーカス調整用のリングが装着されている。調整モードにおいて、画像処理装置100は後述するような処理を行うことで、ユーザ(作業者)に対して、フォーカスの調整を支援するための情報画面を表示する。すなわち、ユーザは、ディスプレイ102などに表示される、カメラ8により取得された入力画像における撮像状態を評価するための指標値に基づいて、フォーカスが最適な値となるようにフォーカス調整用のリングを操作し、また、カメラ8のワーク2に対する姿勢を調整する。カメラ8および照明装置9は、図示しない支持部材に着脱可能に取り付けられており、ユーザは、支持部材に対する装着角度を変更する。変更により、カメラ8に関してはチルト方向の角度および傾き(光軸回りの角度)調整などを行うことができ、照明装置9に関しては照射方向の角度調整などを行うことができる。
画像処理装置100は、汎用的なアーキテクチャを有しているコンピュータであり、予めインストールされたプログラムを実行することで、後述するような各種機能を提供する。このような汎用的なコンピュータを利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのOS(Operating System)がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、OSの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、OSと協働して処理が実行される。本実施の形態に係るプログラムとしては、このような一部のモジュールを含まない形態であってもよい。
さらに、本実施の形態に係るプログラムは、他のプログラムの一部に組み込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組み合わせられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係るプログラムとしては、このような他のプログラムに組込まれた形態であってもよい。なお、プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
(画像処理装置とカメラの構成)
図2は、この発明の実施の形態に係る画像処理装置100とカメラ8の概略構成図である。図2を参照して、画像処理装置100は、演算処理部であるCPU(Central Processing Unit)110と、記憶部としてのメインメモリ112およびハードディスク114と、カメラインターフェイス116と、入力インターフェイス118と、表示コントローラ120と、PLCインターフェイス122と、通信インターフェイス124と、データリーダ/ライタ126とを含む。これらの各部は、バス128を介して、互いにデータ通信可能に接続される。
CPU110は、ハードディスク114に格納されたプログラム(コード)をメインメモリ112に展開して、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、ハードディスク114から読み出されたプログラムに加えて、カメラ8によって取得された入力画像や、入力画像の処理結果を示すデータ、およびワークデータなどを保持する。また、ハードディスク114は、不揮発性の磁気記憶装置であり、CPU110で実行されるプログラムに加えて、各種設定値などが格納される。このハードディスク114にインストールされるプログラムは、後述するように、メモリカード106などに格納された状態で流通する。なお、ハードディスク114に加えて、あるいは、ハードディスク114に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。
カメラインターフェイス116は、CPU110とカメラ8との間のデータ伝送を仲介する。カメラインターフェイス116は、1つ以上のカメラ8と接続が可能であるが、本実施の形態では、説明を簡単にするために1つのカメラ8が接続されるとする。カメラインターフェイス116は、カメラ8からの画像データを一時的に蓄積するための画像バッファ116aを含む。また、カメラインターフェイス116は、CPU110が発生した内部コマンドに従って、カメラ8に対して撮像指令を与える。
入力インターフェイス118は、CPU110とキーボード、マウス104、タッチパネルなどの入力装置105との間のデータ伝送を仲介する。すなわち、入力インターフェイス118は、ユーザが入力装置105を操作することで与えられる操作指令を受け付ける。
表示コントローラ120は、表示装置の典型例であるディスプレイ102と接続され、CPU110における画像処理の結果などをユーザに通知する。
PLCインターフェイス122は、CPU110とPLC5との間のデータ伝送を仲介する。より具体的には、PLCインターフェイス122は、PLC5によって制御される生産ラインの状態に係る情報やワーク2に係る情報などをCPU110へ伝送する。
通信インターフェイス124は、CPU110と図示しない他のパーソナルコンピュータやサーバ装置などと間のデータ伝送を仲介する。通信インターフェイス124は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。なお、後述するように、メモリカード106に格納されたプログラムを画像処理装置100にインストールする形態に代えて、通信インターフェイス124を介して、配信サーバなどからダウンロードしたプログラムを画像処理装置100にインストールしてもよい。
データリーダ/ライタ126は、CPU110と記録媒体であるメモリカード106との間のデータ伝送を仲介する。すなわち、メモリカード106には、画像処理装置100で実行されるプログラムなどが格納された状態で流通し、データリーダ/ライタ126は、このメモリカード106からプログラムを読み出す。また、データリーダ/ライタ126は、CPU110の内部指令に応答して、カメラ8によって取得された入力画像および/または画像処理装置100における処理結果などをメモリカード106へ書き込む。なお、メモリカード106は、CF(Compact Flash)、SD(Secure Digital)などの汎用的な半導体記憶デバイスや、フレキシブルディスク(Flexible Disk)などの磁気記憶媒体や、CD−ROM(Compact Disk Read Only Memory)などの光学記憶媒体等からなる。
また、画像処理装置100には、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。
図2を参照して、カメラ8は、一例として、レンズなどの光学系に加えて、エリアセンサ81、制御回路82、および画像処理装置100とデータ伝送するためのカメラインターフェイス83を含む。カメラインターフェイス83は、画像処理装置100からの撮像指令を入力する。
エリアセンサ81はCCD(Coupled Charged Device)やCMOS(Complementary Metal Oxide Semiconductor)センサといった、複数の画素に区画された撮像素子を含んで構成される。ここでは、CMOSセンサを用いる。より具体的には、エリアセンサ81は、画素に相当する撮像素子が、直交するX,Y軸が規定する座標系の対応した2次元平面上に格子状に配列されて、平面的な画像を出力することができる。したがって、各画素は、2次元の座標(x,y)により指定されてアクセスされる。これに対して、ラインセンサは、画素が一方向に並んだ画素列に対応した、ライン状の1次元的な画像を出力する。ここでは、カメラ8は、エリアセンサを使用したカメラ(以下、「エリアカメラ」ともいう)と、ラインセンサを使用したカメラ(以下、「ラインカメラ」ともいう)の機能を有する。
制御回路82は、エリアセンサ81の画素に対応したCMOSセンサが格子状に配列された2次元平面を、選択信号により画素単位でランダムに選択(アクセス)する。制御回路82は、選択された画素から出力された電気信号を、A/D(Analog/Digital)変換し、変換により得られたデジタルデータを、カメラインターフェイス83を介して画像処理装置100に出力する。画像処理装置100では、カメラ8からのデジタルデータは、カメラインターフェイス116の画像バッファ116aに格納される。画像バッファ116aに格納される画像は、例えば、グレースケールの256階調値のビットマップデータを示す。
制御回路82は、エリア型制御回路821およびライン型制御回路822を含む。制御回路82は、画像処理装置100からの切替え指令に基づき、エリア型制御回路821およびライン型制御回路822の一方を選択する。選択された方は起動し、選択されなかった方は停止する。制御回路82は、画像処理装置100から次の切替え指令を入力すると、再度、選択する。したがって、起動された方は、次の切替え指令が入力されるまでは、撮像動作可能な状態を維持する。画像処理装置100のCPU110は、エリア型制御回路821およびライン型制御回路822のいずれか一方を起動するよう切替える切替え制御部としての機能を有し、切替え制御部は、上記の切替え指令をカメラ8に出力する。
エリア型制御回路821は、起動されると、撮像指令に基づきエリアセンサ81の全画素のうち撮像視野に対応した画素をアクセスするための選択信号を生成し、生成した選択信号によりアクセスする。これにより、画像バッファ116aには、エリアセンサ81から読み出された2次元画像が格納される。2次元画像は、カメラ8の搬送路面の一部を含む撮像視野に対応したサイズを有するエリア画像に相当する。一方、ライン型制御回路822は、起動されると、撮像指令に含まれるライン選択データにより特定される画素列をアクセスするための選択信号を生成し、生成した選択信号によりアクセスする。これにより、画像バッファ116aには、エリアセンサ81の特定された画素列に対応したライン状の1次元画像(以下、ライン画像ともいう)が格納される。
カメラインターフェイス116は、画像バッファ116aに少なくとも1コマ分の入力画像のデータが蓄積されると、蓄積されたデータをメインメモリ112へ転送する。ここでは、2次元画像または1次元画像が1コマ分の入力画像に相当する。
ラインカメラの基本的な使用方法としては、撮像対象であるワーク2を予め定めた速度で一定方向に移動させながら、繰り返し撮像し、各撮像で出力されたライン画像を画像処理装置100で合成して画像を取得する。欠陥検査などの場合は、合成せずに1ライン画像ごとに検査することもできる。
ラインカメラで撮像する場合には、画像は複数のライン画像に分割して読み込まれることになる。ラインが延びる方向に走査することを主走査といい、次のラインに移動することを副走査という。またラインが延びる方向を主走査方向といい、移動する方向を副走査方向という。この実施の形態では、移動する方向および速度は、搬送機構6によるワーク2の搬送方向および速度に一致する。
<概要>
本実施の形態に係る画像処理装置100は、撮像設定の典型例である、カメラ8の姿勢およびフォーカスの設定、ならびに照明装置9の照射方向および照射光量の設定を支援する機能を有する。これらの機能は、基本的には、調整モードにおいて提供される。なお、測定中に照明環境が変化するような場合(たとえば、太陽光を照明光として用いているような場合)には、これらの支援機能を測定モードにおいても実行できるようにしてもよい。
撮像設定を支援するために、画像処理装置100は、カメラ8の撮像により取得される入力画像における撮像状態を評価するための指標値を算出し、この指標値を含む調整支援画面を出力する。この指標値は、撮像設定の良否を反映したものであるので、ユーザは、表示される指標値がより適切な値を示すように、カメラ8または照明装置9を調整することで、カメラ8または照明装置9に対してより容易に最適な撮像設定を行うことができる。なお、測定モードの処理は周知の方法を用いることができるため、ここでは説明を繰り返さない。
図3は、この発明の実施の形態に係る機能構成図である。図3を参照して、CPU110は、カメラ8により撮像されて取得された画像を取込むカメラインターフェイス116に対応する入力部31と、2次元画像またはライン画像の撮像状態を評価するための指標値を取得する指標取得部33と、取得された指標値を出力する表示コントローラ120に対応する出力部34を、機能として備える。これら機能は、CPU110が実行するプログラムと回路の組み合わせからなる。
図4は、この発明の実施の形態に係る調整モードの概略処理を示すフローチャートである。図4に示す処理は、ユーザが調整モードにおいて所定の操作を行うことで開始される。
図4の処理では、搬送機構6が停止した状態において、カメラ8の撮像視野内にワーク2が位置し、この撮像視野に対して照明装置9から光が照射されているものとする。この状態において、CPU110は、切替え指令および撮像指令を出力し、カメラ8をエリアカメラとして動作させる。CPU110は、エリアカメラからの入力画像を画像バッファ116aから読み出し、ディスプレイ102などに表示させる。
ユーザは、表示された2次元画像を目視で確認ながら、カメラ8のフォーカス調整用のリングを操作し、フォーカス調整し(ステップM1)、カメラ8の撮像方向、すなわち姿勢を調整し設定する(ステップM2)。ここで、測定モードにおける検査精度を確保するために、ステップM2では、カメラ8が有する光軸の撮像視野面に対する傾き角度が垂直となるようにカメラ8の姿勢を設定する。本実施の形態では、後述するカメラ姿勢設定(1)または(2)により、撮像設定を支援するためのユーザインターフェイスを提供する。
また、照明装置9に関して、2次元画像を見ながら、照明装置9からの光の照射方向および照射光量(明るさ)を設定し、検査のために使用する最適なライン画像を選択的に指定する(ステップM3)。ここでは照射方向は照明装置9の姿勢を調整することにより、また照射光量はボタンなどを操作することにより設定する。そして、表示された2次元画像および指標値を確認しながら、エリアセンサ81の指定されたラインにおける焦点距離が最適となるように、すなわちライン画像について合焦するように、フォーカス調整する(ステップM4)。ステップM2〜M4では、指標取得部33により、カメラ8が撮像した入力画像から撮像状態を評価するための指標値を取得し、出力部34は、入力画像に関連付けて指標値をディスプレイ102に表示させる。詳細を以下に説明する。
<カメラ姿勢設定(1)>
まず、ステップM2のカメラ姿勢設定(1)を説明する。図5は、この発明の実施の形態に係るカメラ姿勢設定(1)の処理フローチャートである。図6は、図5の処理においてディスプレイ102に表示される画面の一例を示す図である。図6には、ワーク2を撮像したときにエリアカメラから出力された2次元画像20が示される。
図5を参照して、ユーザが入力装置105のボタンなどを操作すると、CPU110は入力部31が受け付けた操作内容が示す操作指令から、調整開始が指示されたか否かを判定する(ステップS1)。調整開始と判定されない間は(ステップS1でNO)、ステップS1が繰り返されるが、調整開始と判定されると(ステップS1でYES)、CPU110は、撮像指令を出力し、カメラ8は、撮像指令により撮像した2次元画像を出力する(ステップS3)。
CPU110は、画像バッファ116aの2次元画像20から、画素値に基づきエッジ部を抽出する(ステップS5)。ここでは、2次元画像20から抽出されるエッジ部は、搬送機構6の搬送ベルトの部分であって搬送方向に延びる端部に相当する。なお、エッジ抽出には周知の画像処理を適用し、ここでは詳細は繰り返さない。
図6の画面では、CPU110は、撮像された2次元画像20を、抽出されたエッジ部21と22が強調された態様で表示する。また、主走査方向に延びる直線であるガイド線23を2次元画像20に重畳して表示する。ガイド線23は予め定めた位置に表示される。ユーザは、図6の画像を見ながら、マウス104を操作して所望のエッジ部、たとえばエッジ部21を指定する(ステップS7)。
CPU110は、入力部31が受け付けた操作内容から、エッジ部21が指定されたと検出すると、画像バッファ116aの2次元画像20からエッジ部21の位置を検出する。そして、指標取得部33は検出位置が示すエッジ部21の線と、上記のガイド線23とがなす角度24を算出するとともに、90度と角度24の値との差(角度差)を算出する。なお、“90度”は、主走査方向のX軸と副走査方向のY軸とが直交することに基づいている。出力部34は、算出した角度24を示す情報25と、角度差を示す情報26とを2次元画像20と同一画面に表示するようにディスプレイ102を制御する(ステップS9)。また、図6の画面では、CPU110は、エリアセンサ81に関連した上記のX,Y軸の画像を、2次元画像20に対応づけて表示する。
ユーザは、角度の情報25と26に基づき、カメラ8の姿勢を、表示されるX,Y軸の方向に調整し、その後、入力装置105の撮像ボタンなどを操作すると、CPU110は、撮像処理を実行する。具体的には、撮像指令を出力して、撮像された2次元画像20を入力する。そして入力画像について再度、角度24および角度差が算出される。そして、入力した2次元画像20と算出した角度を表す情報25と26とが、ディスプレイ102に表示される(ステップS13)。これにより、ユーザは、姿勢調整後の撮像画像から、調整が適切であったかを、再表示された情報25または26から判定することができる。たとえば、情報25の角度24が90度を示すとき(すなわち、情報26が0度を示すとき)ユーザは調整後の姿勢は適切と判断し、入力装置105の調整終了のボタンを操作する。なお、CPU110は、角度24が90度であり、且つその角度差が0度であると判定したとき、姿勢調整完了の旨を出力してもよい。
CPU110は、入力部31が受け付けた操作内容から、調整終了の操作指令を受け付けたと判定すると(ステップS15でYES)、図5の一連の処理を終了するが、調整終了の操作指令を受け付けないと判定すると(ステップS15でNO)、ステップS11に戻り、カメラ8の姿勢調整のための処理が繰り返される。
なお、ステップS7では、エッジ部を搬送方向に平行に延びる部分(エッジ部21,22)としたが、この部分に対して直交する部分、すなわち主走査方向に平行に延びる部分を指定するとしてもよい。その場合には、ユーザは、エッジ部として、前者の平行部分および後者の直交部分のいずれを用いるかの情報を入力する。CPU10は、入力情報から、ユーザが指定した方向のエッジ部分を抽出して表示する。この場合には、角度24および角度差がいずれも0度となったとき調整後の姿勢は適切となる。
また、前者の平行部分および後者の直交部分の両方をエッジ部として用いてもよい。両方のエッジ部を用いる場合には、情報25および26のそれぞれは、2種類の角度を提示することができて、より詳細な姿勢調整のための支援をすることができる。
<カメラ姿勢設定(2)>
カメラ8の姿勢調整は、カメラ姿勢設定(1)のように、調整量(角度)を、搬送方向を利用して決定する方法に限定されず、ワーク2の画像から調整量を決定してもよい。カメラ姿勢設定(2)では、このような設定を支援するためのユーザインターフェイスを提供する。
図7は、この発明の実施の形態に係るカメラ姿勢設定(2)の処理フローチャートである。図8は、図7の処理においてディスプレイ102に表示される画面の一例を示す図である。図8には、ワーク2を撮像したときにエリアカメラから出力された2次元画像20が示される。ここでは、表面に方眼模様が描かれたシートを、姿勢設定用のワーク2(以下、ターゲットワーク2Aともいう)として用いる。
図8を参照して、ユーザは、方眼の升目の直線が延びる方向が搬送方向に一致するように、ターゲットワーク2Aを撮像視野の中に配置し、入力装置105のボタンなどを操作して調整開始の操作指令を入力する。
操作指令が入力されると、図5と同様にステップS1とS3が実行されて、撮像された2次元画像20は画像バッファ116aに格納される。
CPU110は、画像バッファ116aの2次元画像の画素値から方眼模様の周辺のエッジ部(周辺エッジ部という)および升目を示す正方形それぞれの部分画像を抽出する(ステップS5a)。
指標取得部33は、周辺エッジ部と走査方向についての角度(X,Y方向の角度)を算出し、また、方眼模様の各正方形どうしの形状の一致度からの角度(θ方向)を算出する(ステップS6)。
前者の走査方向についての角度としては、2次元画像20から周辺エッジ部の位置を検出し、検出位置が示す周辺エッジ部の線と、主走査方向に延びるガイド線23とがなす角度24a(図8参照)を算出する。また、90度と算出した角度24の値との角度差を算出する。
後者の形状の一致度からの角度としては、いわゆる台形歪補正に係る歪の大きさにより示されるあおり角度を算出する。つまり、エリアセンサ81の画素配列面と撮像視野面(たとえば、搬送路面)とが平行である場合には、全ての升目は正方形でかつ同サイズであり、上記の歪は生じずあおり角度(θ方向)は0度となる。一方、平行でない場合には2次元画像20における方眼模様の升目は台形状に歪み、各升目どうしの形状は一致しない。この時に、歪みに起因した形状不一致によるずれ量を算出し、算出したずれ量と予め定めた演算式に従い、あおり角度を算出する。
図8の画面では、CPU110は、撮像された2次元画像20を、抽出された周辺エッジ部(方眼模様)が強調された態様で表示する。また、ユーザは2次元画像20に、主走査方向に延びる直線であるガイド線23を重畳して表示する。ガイド線23は予め定めた位置に表示される。
また、CPU110は、算出した角度24aを示す情報25aと、その角度差を示す情報26aと、2次元画像20と、算出したあおり角度を示す情報27とを同一画面に表示する(ステップS9a)。また、図8の画面でも、エリアセンサ81に関連した上記のX,Y軸が、2次元画像20に対応づけて表示される。
ユーザは、角度の情報25a、26aおよび27に基づき、カメラ8の姿勢を表示されるX,Y軸の方向に調整するとともに、撮像視野面と搬送路面とが平行となるように、すなわちカメラ8の光軸とエリアセンサ81(撮像視野面)に対する傾き角度が90度となるように調整する(ステップS11a)。その後、撮像ボタンなどが操作されると、CPU110は、調整後の姿勢で撮像処理を実行する。これにより、調整後の姿勢で撮像された2次元画像と、この2次元画像20について算出された指標値である角度を表す情報25a、26aおよび27が、ディスプレイ102に表示される(ステップS13a)。ユーザは、調整が適切であったかを、再表示された情報25a、26aおよび27から判定することができる。たとえば、情報25aの角度が90度を示し(すなわち、情報26aが0度を示す)、且つ情報27の角度が0度を示すとき、ユーザは調整後の姿勢は適切であると判断し、調整終了のボタンを操作する。
なお、CPU110は、角度24aが90度、その角度差が0度、およびあおり角度が0度を示すと判定したとき、姿勢調整完了の旨を出力してもよい。
CPU110は、入力部31が受け付けた操作内容から、調整終了の操作指令を入力したと判定すると(ステップS15でYES)、図7の一連の処理を終了し、入力しないと判定すると(ステップS15でNO)、ステップS6に戻り、カメラ8の姿勢設定のための処理が繰り返される。
このようにターゲットワーク2Aを用いて撮像設定する場合には、エッジ部(図6のエッジ部21または22)を指定するためのユーザ操作を省略することができる。
なお、画像処理装置100は、上記の<カメラ姿勢設定(1)>と<カメラ姿勢設定(2)>の両方の機能を備えて、ユーザが選択した方を起動させるとしてもよい。また、両方を併用してもよい。例えば、ターゲットワーク2Aを撮像して2次元画像を入力し、<カメラ姿勢設定(1)>で姿勢調整し、その調整後姿勢により撮像された2次元画像については、あおり角度も調整可能な<カメラ姿勢設定(2)>を用いるとしてもよい。また、この逆の順番で適用してもよい。
<照明設定支援>
測定モードにおいて、ラインカメラで撮像したライン画像からワーク2を検査する場合には、検査精度を確保するために、照射光の明るさおよび向きを、ライン選択データにより特定されたラインに合わせて設定する必要がある。この実施の形態では、上述のステップM3において、この設定を支援するためのユーザインターフェイスが提供される。
図9は、この発明の実施の形態に係る照明装置の設定を示す図である。図10は、この発明の実施の形態に係る輝度プロファイルの表示画面の一例を示す図である。照明装置9は、搬送路上の撮像領域の方向に光を照射するように設置される(図9参照)。CPU110は、カメラ8からの入力画像である2次元画像20から輝度プロファイルを生成し、生成した輝度プロファイルを表すグラフである、プロファイル画像91または92を生成して、ディスプレイ102に表示する。図10では、同一画面において、撮像された2次元画像20と、これに関連づけてプロファイル画像91および92とが表示される。また、2次元画像20に関連して、好ましくは2次元画像20に重畳して主走査方向に延びるY軸を起点にした直線のライン93Hと副走査方向に延びるX軸を起点にした直線のライン93Vが表示される。ライン93Hは、ユーザのドラッグ操作などにより副走査方向に平行移動可能であり、同様にライン93Vも主走査方向に平行移動可能である。
ここで、2次元画像20はm×nのサイズを有すると想定した場合に、指標取得部33は、副走査方向に延びるY軸上の各座標y(i)(ただし、i=0,1,2,3,…n)について、座標(0,y(i))〜(m,y(i))の画素の輝度を積算し、各座標y(i)とその積算値とを対応付けてメインメモリ112の予め定められた領域に格納する。これにより、プロファイル画像92のためのデータが取得されて、出力部34は、取得されたデータから、各座標y(i)の積算値の点をプロットして表される輝度プロファイル画像92を、ディスプレイ102に表示させる。
また、出力部34は、プロファイル画像92において、ライン93Hの起点である座標y(i)に対する積算値の点を指し示す画像921を、ディスプレイ102に表示させる。ユーザの操作によりライン93Hが移動すると、これに連動して画像921も移動する。これにより、移動後のライン93Hの座標y(i)に対応する積算値の点が、移動後の画像921により指示される。
ユーザは、プロファイル画像92を見ながら、ライン93Hが移動し所望する位置に表示されたとき、“SET”ボタン94を操作する。たとえば、画像921がプロファイル画像92における最大の輝度積算値を指し示したとき、ユーザは“SET”ボタン94を操作する。CPU110は、入力部31が受け付けた操作内容から、2次元画像20の当該ライン93Hの位置座標y(i)をメインメモリ112に格納する。
このようなユーザによる手動設定に代えて、自動設定が行われてもよい。ユーザが“AUTO”ボタン95を操作した場合には、手動設定に代えて自動設定が行われる。具体的には、CPU110は、メインメモリ112に格納された各ラインに対応する輝度の積算値のうち予め定められた条件(たとえば、最大の輝度を示す)を満たすラインを指定する。CPU110は、2次元画像20上において指定されたライン画像を強調表示するなどしてユーザにガイドする。強調表示されているときに“SET”ボタン94が操作されると、CPU110は、2次元画像20の当該ライン画像の位置座標y(i)をメインメモリ112に格納する。なお、ラインを指定するための上述の予め定められた条件は、ユーザが変更できるようにしてもよい。
上述の手動設定または自動設定が実行されたとき、その後の測定モード時には、CPU110は、選択信号によりアクセスされるライン(図9の選択ライン)が、調整モードで予め格納された当該位置座標y(i)のライン(図9の撮像ライン)となるようなライン選択データを生成することができる。
その後の測定モードで、カメラ8をラインカメラとして使用するために、画像処理装置100からの切替え指令によりライン型制御回路822が起動されると、画像処理装置100は、上述のライン選択データを含む撮像指令を出力する。ライン型制御回路822は、撮像指令に含まれるライン選択データにより特定される画素列をアクセスするための選択信号を生成し、生成した選択信号によりエリアセンサ81をアクセスする。これにより、入力部31により画像バッファ116aには、ライン選択データが指し示す特定の画素列からのライン画像が格納される。画像バッファ116aのライン画像は、ディスプレイ102に表示され、または画像処理される。このような特定の画素列の選択的な指定は、CPU110の指定部の機能により実現される。
このようにすることで、予め定められた撮像ラインに対して照明位置を合わせるのではなく、照明状態に応じた撮像ラインを指定することができるため、照明の設定が従来より格段に容易になる。
なお、キャンセルボタンを設けて、キャンセルボタンが操作された時は、手動または自動で設定された内容を取り消して、再度、設定操作が行われるようにしてもよい。
・手動設定の支援インターフェイス
本実施の形態では、上述の手動設定を支援するために、プロファイル画像92とともに、または個別にプロファイル画像91が表示される。指標取得部33は、ライン93Hが指示するライン画像について、主走査方向に延びるX軸上の座標x(j)(ただし、j=0,1,2,3,…m)と、画素の輝度とを対応付けてメインメモリ112の予め定められた領域に格納する。これにより、プロファイル画像91のためのデータが取得されて、出力部34は、取得されたデータから、各座標x(j)の輝度値の点をプロットして表されるプロファイル画像91を、ディスプレイ102に表示させる。さらに、プロファイル画像91において、ライン93Vの起点である座標x(j)に対応の輝度値の点を指示する画像922が表示される。
ライン93Vは移動すると、移動後の位置の座標x(j)の輝度値の点を指示するように画像922も移動する。
ユーザは、手動または自動設定を行うとき、ライン93Hが指示するライン画像の輝度から照明装置9を調整し設定する。具体的には、図10のプロファイル画像91が示すライン画像の主走査方向の輝度の変化を示す線が、実質的に真っ直ぐになるように照明装置9の姿勢を調整する。
プロファイル画像91の他の表示例として、各座標x(j)の積算値の点をプロットして表される輝度プロファイル画像91を表示するとしてもよい。具体的には、指標取得部33は、主走査方向に延びるX軸上の各座標x(j)(ただし、j=0,1,2,3,…m)について、座標(x(j),0)〜(x(j),n)の画素の輝度を積算し、各座標x(j)とその積算値とを対応付けてメインメモリ112の予め定められた領域に格納する。出力部34は、格納されたデータから、各座標x(j)の積算値の点をプロットして表される輝度プロファイル画像91を、ディスプレイ102に表示させる。ユーザは、手動または自動設定を行うとき、このプロファイル画像91が示すライン画像の主走査方向の輝度の変化を示す線が、実質的に真っ直ぐになるように照明装置9の姿勢を調整する。
プロファイル画像91に関して、照明装置9の光軸が予め定められた向きからずれていた場合には、撮像視野の一部のみに光が照射され、プロファイル画像91が示す線は歪む。したがって、ユーザは、照明装置9の姿勢(照射方向)を調整し、この線が実質的に真っ直ぐになったとき、照明装置9は光軸が予め定められた向きとなるような適切な姿勢に設定されたと判断することができる。
ここでは、指標取得部33は、プロファイル画像92が示す指標値として、ライン画像毎の輝度の積算値を用いたが、積算値に限定されず、各ライン画像の輝度の代表値であればよい。代表値としては、積算値の他に、たとえば、最頻値、中央値などが含まれる。
<フォーカス微調整支援>
上記のステップM4では、照明設定支援による選択ライン(図9参照)に合焦するようにフォーカス調整を支援するためのユーザインターフェイスが提供される。図11は、この実施の形態によるフォーカス調整を支援するための表示画面例を示す図である。CPU110は、カメラ8から入力した2次元画像20から、ステップM3でメインメモリ112に登録された撮像ラインの位置に基づき、当該位置に該当する1次元画像である図11のライン画像19を抽出する。
指標取得部33は、この主走査方向に延びるライン画像19を挟んだ副走査方向の周辺(例えば、±10画素)領域26のフォーカス値を指標値として取得する。フォーカス値は、カメラ8がワーク2などの被写体に対して焦点が合致しているか否かのフォーカスの調整度合いを示す。すなわち、フォーカス値は、2次元画像20である入力画像における撮像状態を評価するための指標値に相当する。このフォーカス値は、入力画像内におけるエッジの発生量と相関関係にある。そこで、本実施の形態では、フォーカス値を入力画像に含まれる色偏差に基づいて算出する。一例として、フォーカス値は、以下の式(1)に従って算出される。
出力部34は、ディスプレイ102に、2次元画像20を表示させるとともに、この2次元画像20上にライン画像19および周辺領域26の画像を強調表示等で表示態様を変更して表示させる。また、これと同一画面のウィンドウ30に、算出されたフォーカス値を数値28aと棒グラフ28とで表示させる。ユーザは画面から、現在の撮像設定のもとでライン画像19とその周辺領域26のフォーカス値の大きさを、数値28aと棒グラフ28のバーの長さとで確認することができる。数値28aが大きいほど、またはバーが長いほど合焦の度合いが高いと、判定することができる。
また、出力部34は、ディスプレイ102に、棒グラフ28に関連して検査精度を確保するために必要とされる閾値を示すアイコン29を表示させる。ユーザは、棒グラフ28のバーの長さがアイコン29の位置を超えるように、カメラ8のフォーカス調整用のリングを操作しフォーカスを設定する。
(測定モードでのラインカメラのメリット)
調整モードで、ステップM1〜M4の調整が完了すると、その後、画像処理装置100は測定モードに移行する。
測定モードでは、先行する調整モードで調整完了した撮像設定のもとで、ラインカメラにより搬送路を流れるワーク2を撮像し、撮像画像からワーク2を検査する。このとき、ラインカメラは、カメラ8の光軸が撮像視野面に垂直となるような姿勢で搬送路上のワーク2を撮像することができることから、高解像度の画像を取得できる。例えば印刷業界の印刷工程などにおけるシート状の印刷物の検査、LCDまたはDPDの概観検査への適用が有効である。
また、ワーク2が曲面を有する場合に、主走査方向の1次元画像を副走査方向に連続して撮像し、撮像した複数個の1次元画像を合成し平面化された2次元画像を取得できる。つまり、エリアカメラでの検査では難しい曲面のある立体物(円筒状の物体など)の検査において、上記のように撮像設定がされたラインカメラを使用することで、各種の画像処理を行いやすい2次元画像を取得し検査精度を向上させることもできる。飲料業界のボトル、ラベルの欠陥や印字検査への適用が有効である。
本実施の形態による撮像設定がなされたカメラ8をラインカメラとして使用する好適な例としては、(1)食品の外観検査および色選別、(2)印刷およびフィルムなどのシート状の印刷物検査、(3)パッケージの欠陥検出、(4)液晶製品またはガラス製品などのLCDおよびPDPなどの概観検査、(5)飲料ボトル表面またはその貼付ラベルの欠陥検出、(6)紙または材木からなる住宅建材,合板の欠陥検出、(7)エレクトロニクス分野の基板または実装基板の外観検査、(8)金属鉱物などの異物または品種選定、(9)リサイクルされた紙、金属、樹脂などの選別、(10)特殊用途ではあるが競馬,競輪,競艇などのゴール判定、等がある。
(変形例)
本実施の形態では、カメラ8と、撮像画像を処理する画像処理装置100の画像処理機能とを個別に備えたが、カメラ8と画像処理機能とが一体的に構成された視覚センサとして構成されてもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 視覚センサシステム、2 ワーク、6 搬送機構、8 カメラ、9 照明装置、19 ライン画像、20 2次元画像、31 入力部、33 指標取得部、34 出力部、81 エリアセンサ、82 制御回路、100 画像処理装置、821 エリア型制御回路、822 ライン型制御回路。

Claims (9)

  1. 撮像対象物を撮像する撮像装置と、前記撮像装置に接続された画像処理装置とを有する画像処理システムであって、
    前記撮像装置は、
    2次元状に配列された複数画素を有するエリア型撮像素子と、
    前記複数の画素から2次元画像を取得するエリア制御手段と、
    前記エリア型撮像素子の前記複数画素のうち、予め指定された特定の画素列から1次元画像を取得するライン制御手段と、を備え、
    前記画像処理装置は、
    前記エリア制御手段および前記ライン制御手段のいずれか一方を起動するよう切替える切替え制御手段と、
    前記撮像装置により取得される画像を取り込む入力手段と、
    前記入力手段により取り込まれた前記2次元画像から、前記複数画素における特定の画素列に関する撮像状態を評価するための指標値を取得する指標取得手段と、
    前記入力手段により取り込まれた前記2次元画像と、前記指標取得手段により取得された前記指標値とを出力する出力手段と、
    前記複数画素のうちから前記特定の画素列を指定する指定手段と、を備える、画像処理システム。
  2. 前記指標値は、前記2次元画像のうち前記特定の画素列に対応したラインと、前記2次元画像における前記撮像対象物の像から抽出されたエッジとのなす角度を含む、請求項1に記載の画像処理システム。
  3. 前記指標値は、前記2次元画像のうち前記特定の画素列に対応した主走査方向のラインの輝度値を含む、請求項1に記載の画像処理システム。
  4. 前記出力手段は、
    前記特定の画素列のそれぞれの輝度値を表す点を、前記主走査方向に直交する副走査方向にプロットしたグラフにより出力する、請求項3に記載の画像処理システム。
  5. 前記出力手段は、
    前記主走査方向に直交する副走査方向に延びる画素列それぞれの輝度値を表す点を、前記主走査方向にプロットしたグラフにより出力する、請求項3または4に記載の画像処理システム。
  6. 外部からの操作を受け付ける操作入力手段を、さらに備え、
    前記指定手段は、
    前記複数画素うち、前記操作入力手段が受け付けた操作内容から前記特定の画素列を指定する、請求項1に記載の画像処理システム。
  7. 前記指定手段は、
    前記複数画素のうち、輝度値から前記特定の画素列を指定する、請求項3に記載の画像処理システム。
  8. 前記指標値は、前記2次元画像のうち前記特定の画素列を含む領域における撮像装置のフォーカスの調整度合いを示す値を含む、請求項1に記載の画像処理システム。
  9. 撮像対象物を撮像する撮像装置に接続されるコンピュータで実行される画像処理プログラムであって、
    前記撮像装置は、
    2次元状に配列された複数画素を有するエリア型撮像素子と、
    前記複数の画素から2次元画像を取得するエリア制御手段と、
    前記エリア型撮像素子の前記複数画素のうち、予め指定された特定の画素列から1次元画像を取得するライン制御手段と、を備え、
    前記画像処理プログラムは、前記コンピュータを、
    前記エリア制御手段および前記ライン制御手段のいずれか一方を起動するよう切替える切替え制御手段と、
    前記撮像装置により取得される画像を取り込む入力手段と、
    前記入力手段により取り込まれた前記2次元画像から、前記複数画素における特定の画素列に関する撮像状態を評価するための指標値を取得する指標取得手段と、
    前記入力手段により取り込まれた前記2次元画像と、前記指標取得手段により取得された前記指標値とを出力する出力手段と、
    前記複数画素のうちから前記特定の画素列を指定する指定手段として機能させる、画像処理プログラム。
JP2013072120A 2013-03-29 2013-03-29 画像処理システムおよび画像処理プログラム Active JP6241052B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013072120A JP6241052B2 (ja) 2013-03-29 2013-03-29 画像処理システムおよび画像処理プログラム
EP20140156743 EP2784746A1 (en) 2013-03-29 2014-02-26 Setting up an area sensing imaging system to capture single line images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013072120A JP6241052B2 (ja) 2013-03-29 2013-03-29 画像処理システムおよび画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2014197762A true JP2014197762A (ja) 2014-10-16
JP6241052B2 JP6241052B2 (ja) 2017-12-06

Family

ID=50235913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013072120A Active JP6241052B2 (ja) 2013-03-29 2013-03-29 画像処理システムおよび画像処理プログラム

Country Status (2)

Country Link
EP (1) EP2784746A1 (ja)
JP (1) JP6241052B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016108081A (ja) * 2014-12-04 2016-06-20 シンフォニアテクノロジー株式会社 パーツフィーダ用画像処理装置及びパーツフィーダ
JP2016532099A (ja) * 2013-07-05 2016-10-13 プロセメク オーワイ 画像化の同期
JP2018128393A (ja) * 2017-02-09 2018-08-16 リコーエレメックス株式会社 検査装置、および、フォーカス調整支援方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106990119A (zh) * 2017-04-27 2017-07-28 中科慧远视觉技术(洛阳)有限公司 一种自动检测白玻表面缺陷的视觉检测系统及检测方法
CN111309836B (zh) * 2020-02-11 2022-08-16 国网江西省电力有限公司电力科学研究院 一种10kV配电线路单线图自动成图方法及系统
CN114710617B (zh) * 2022-03-18 2023-09-05 珠海思奇科技有限公司 双轴线阵相机拍照方法、系统、设备及存储介质
CN117677463A (zh) * 2022-07-06 2024-03-08 宁德时代新能源科技股份有限公司 产线设备的调试方法、装置和产线系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001208514A (ja) * 2000-01-25 2001-08-03 Matsushita Electric Ind Co Ltd ラインセンサカメラの取り付け向き調整方法、これを適用した検査装置
JP2007128306A (ja) * 2005-11-04 2007-05-24 Omron Corp 画像処理装置
JP2009194424A (ja) * 2008-02-12 2009-08-27 Toyo Inspections Kk ラインセンサ装置
JP2013036796A (ja) * 2011-08-05 2013-02-21 Panasonic Industrial Devices Sunx Co Ltd 画像処理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5278657A (en) * 1991-05-31 1994-01-11 Sony Corporation Camera apparatus selectively operable as a fully electronic slit camera
JP3977906B2 (ja) * 1997-09-26 2007-09-19 オリンパス株式会社 自動焦点調節装置
JP2004147271A (ja) 2002-10-23 2004-05-20 For-A Co Ltd ラインセンサカメラ装置
JP2004297751A (ja) * 2003-02-07 2004-10-21 Sharp Corp 合焦状態表示装置及び合焦状態表示方法
US7809179B2 (en) * 2005-09-09 2010-10-05 The Procter & Gamble Company Manufacturing inspection of folded feminine hygiene products by cascading edge and skew detection
JP4900343B2 (ja) * 2008-08-21 2012-03-21 株式会社Jvcケンウッド ビデオ撮像装置および露光ガイド表示方法
GB0917305D0 (en) * 2009-10-02 2009-11-18 Timetronics Nv System and method of calibrating a system
JP2011248749A (ja) * 2010-05-28 2011-12-08 Panasonic Electric Works Sunx Co Ltd 画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001208514A (ja) * 2000-01-25 2001-08-03 Matsushita Electric Ind Co Ltd ラインセンサカメラの取り付け向き調整方法、これを適用した検査装置
JP2007128306A (ja) * 2005-11-04 2007-05-24 Omron Corp 画像処理装置
JP2009194424A (ja) * 2008-02-12 2009-08-27 Toyo Inspections Kk ラインセンサ装置
JP2013036796A (ja) * 2011-08-05 2013-02-21 Panasonic Industrial Devices Sunx Co Ltd 画像処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016532099A (ja) * 2013-07-05 2016-10-13 プロセメク オーワイ 画像化の同期
JP2016108081A (ja) * 2014-12-04 2016-06-20 シンフォニアテクノロジー株式会社 パーツフィーダ用画像処理装置及びパーツフィーダ
JP2018128393A (ja) * 2017-02-09 2018-08-16 リコーエレメックス株式会社 検査装置、および、フォーカス調整支援方法

Also Published As

Publication number Publication date
EP2784746A1 (en) 2014-10-01
JP6241052B2 (ja) 2017-12-06

Similar Documents

Publication Publication Date Title
JP6241052B2 (ja) 画像処理システムおよび画像処理プログラム
US9036223B2 (en) Systems and methods for edge detection during an imaging operation
US20160104274A1 (en) Image-stitching for dimensioning
EP3444584B1 (en) Inspecting device and inspecting method
CN111025701B (zh) 一种曲面液晶屏幕检测方法
JP2009168581A (ja) 被検査体の検査装置
JP2021037736A5 (ja) 検品装置とその制御方法、並びにプログラム
JP2008242828A (ja) バーコード読取装置及びプログラム
JP2011049980A (ja) 画像処理プログラムおよび画像処理装置
JP5141470B2 (ja) 画像合成方法および画像処理システム
JP4680640B2 (ja) 画像入力装置および画像入力方法
JP2007298376A (ja) 境界の位置決定装置、境界の位置を決定する方法、当該装置としてコンピュータを機能させるためのプログラム、および記録媒体
JP2008281481A (ja) 解像測定装置及び方法
JP4788475B2 (ja) 画像処理装置および画像処理方法
JP5445064B2 (ja) 画像処理装置および画像処理プログラム
JP2011191943A (ja) 画像処理装置および画像処理プログラム
JP2019016843A (ja) 原稿読取装置、原稿読取装置の制御方法、及びプログラム
JP2006234554A (ja) パターン検査方法およびパターン検査装置
US20090168116A1 (en) Method and System For Calibrating A Scanner Having A Scan Bar Including Sensor Elements
JP2007049603A (ja) 画像処理装置、画像形成装置、画像処理方法及びプログラム
JP5353154B2 (ja) 画像処理装置およびそれにおける画像処理方法
US11763445B2 (en) Inspection of a target object using a comparison with a master image and a strictness of a quality evaluation threshold value
CN109155809A (zh) 使用参考图像校正捕获的图像
JP7277267B2 (ja) 計測装置、撮像装置、計測システム及びプログラム
JP2012068761A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171023

R150 Certificate of patent or registration of utility model

Ref document number: 6241052

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150