JP2012193980A - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
JP2012193980A
JP2012193980A JP2011056448A JP2011056448A JP2012193980A JP 2012193980 A JP2012193980 A JP 2012193980A JP 2011056448 A JP2011056448 A JP 2011056448A JP 2011056448 A JP2011056448 A JP 2011056448A JP 2012193980 A JP2012193980 A JP 2012193980A
Authority
JP
Japan
Prior art keywords
image
captured image
target
inclination
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011056448A
Other languages
English (en)
Other versions
JP5370398B2 (ja
Inventor
Masahiro Fujikawa
正寛 藤川
Koji Shimada
浩二 嶋田
Sumito Shirane
角人 白根
Takeshi Yoshiura
豪 吉浦
Yasuyuki Ikeda
泰之 池田
Katsuhiro Shimoda
克弘 下田
Tadahiro Moritoki
理裕 守時
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2011056448A priority Critical patent/JP5370398B2/ja
Priority to EP11861318.1A priority patent/EP2667350B1/en
Priority to PCT/JP2011/056776 priority patent/WO2012124140A1/ja
Priority to CN201180066697.7A priority patent/CN103348376B/zh
Publication of JP2012193980A publication Critical patent/JP2012193980A/ja
Priority to US13/975,435 priority patent/US9571795B2/en
Application granted granted Critical
Publication of JP5370398B2 publication Critical patent/JP5370398B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G01B11/27Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】撮像部の姿勢の容易な調整を可能とする。
【解決手段】ワークの搬送路の少なくとも一部を撮像視野に含むように配置された撮像部110から、撮像によって得られた撮像画像を受理する画像処理装置であって、搬送路上に置かれた目標物を、撮像部110が撮像することによって取得された撮像画像を受理する画像受理手段と、受理された撮像画像における目標物の位置を取得する位置取得手段と、位置取得手段によって取得された目標物の撮像画像における位置を用いて、撮像部110の撮像視野を含む面の、目標物が置かれた面に対する傾き度を取得する傾き取得手段と、取得される傾き度を用いて、撮像部110の姿勢調整を支援するための支援情報を出力する出力手段と、を備える。
【選択図】図2

Description

この発明は、画像処理装置および画像処理プログラムに関し、特に、撮像部に係る設置態様の調整作業を支援するための画像処理装置および画像処理プログラムに関する。
FA(Factory Automation)分野などにおいては、製造過程の半製品や出荷前の製品などに生じる欠陥を光学的に検出したり、その大きさを光学的に計測したりする装置として、いわゆる視覚センサが実用化されている。
このような視覚センサを用いて検出や計測を行なう場合には、ワーク(対象物)を適切に撮像する必要がある。撮像することで得られる入力画像に対して各種の画像処理を行なうことで、ワークを検査および計測をする。
視覚センサを実際の製造現場などに設置する場合には、視覚センサが有するカメラなどの撮像部に対して適切な設定を行なう必要がある。このような設定の典型例としては、撮像部の画角(または視野角)の設定がある。
撮像部の視野は、撮像部のアングルなど設置姿勢により決定される。製造現場においては、撮像部の設置姿勢がずれて、視野が所定視野からずれたときには、視野内にワークが入りきらず、画像を用いた検査および計測が困難となる。したがって、撮像部を元の姿勢に戻すために、オペレータは、モニタで画像を確認しながら、視野の所定位置にワークが写り込むように設置姿勢を試行錯誤で手動調整するのが一般的であった。
撮像部の設置姿勢の調整をサポートするために、たとえば特許文献1によるカメラの姿勢調整方法が提案されている。特許文献1によれば、コピースタンド(複写台)にて、原稿台と水平になるようにカメラを設置するための調整作業を容易にするために、カメラの撮像面の傾きを指す傾斜情報が表示される。
特開2008−3394号公報
特許文献1のカメラは、複写台における設置位置が固定であるから、調整作業のために提示される情報は、原稿台とカメラの平行度を表す傾斜情報を表示すれば足りるが、装置を組立てる場合には、当該傾斜情報のみでは、カメラの設置姿勢を一意に決めることは困難である。
それゆえにこの発明の目的は、撮像部の姿勢の容易な調整を可能とする画像処理装置および画像処理プログラムを提供することである。
この発明のある局面に従う画像処理装置は、ワークの搬送路の少なくとも一部を撮像視野に含むように配置された撮像部から、撮像によって得られた撮像画像を受理する画像処理装置であって、搬送路上に置かれた目標物を、撮像部が撮像することによって取得された撮像画像を受理する画像受理手段と、受理された撮像画像における目標物の位置を取得する位置取得手段と、位置取得手段によって取得された目標物の撮像画像における位置を用いて、撮像部の撮像視野を含む面の、目標物が置かれた面に対する傾き度を取得する傾き取得手段と、取得される傾き度を用いて、撮像部の姿勢調整を支援するための支援情報を出力する出力手段と、を備える。
好ましくは、支援情報は、撮像部の姿勢を変更するべき方向を示す情報を含む。
好ましくは、傾き取得手段は、取得された目標物の撮像画像における位置と、撮像画像における予め定められた位置とのずれ量として、傾き度を取得する。
好ましくは、傾き取得手段は、取得された目標物の撮像画像における位置と、撮像画像における予め定められた位置との距離として、傾き度を取得する。
好ましくは、目標物は、予め定められた形状を有し、傾き取得手段は、目標物の撮像画像における形状の、予め定められた形状からの歪みの程度として、傾き度を取得する。
好ましくは、支援情報は、受理された撮像画像を含み、出力手段は、支援情報をメモリに格納する格納手段を、含む。
好ましくは、傾き取得手段は、格納手段に格納された支援情報に含まれる撮像画像における目標物の位置と、画像受理手段が撮像部から受理した撮像画像における位置取得手段によって取得された目標物の撮像画像における位置とのずれ量として、傾き度を取得する。
好ましくは、傾き取得手段は、格納手段に格納された支援情報に含まれる撮像画像における目標物の撮像画像における位置と、画像受理手段が撮像部から受理した撮像画像における位置取得手段によって取得された目標物の位置との距離として、傾き度を取得する。
好ましくは、目標物は、予め定められた形状を有し、傾き取得手段は、画像受理手段が撮像部から受理した撮像画像における目標物の形状の、格納手段に格納された支援情報に含まれる撮像画像における目標物の形状からの歪みの程度として、傾き度を取得する。
この発明の他の局面によれば、ワークの搬送路の少なくとも一部を撮像視野に含むように配置された撮像部から、撮像によって得られた撮像画像を受理するコンピュータで実行される画像処理プログラムが提供される。
画像処理プログラムは、コンピュータを、搬送路上に置かれた目標物を、撮像部が撮像することによって取得された撮像画像を受理する画像受理手段と、受理された撮像画像における目標物の位置を取得する位置取得手段と、位置取得手段によって取得された目標物の撮像画像における位置を用いて、撮像部の撮像視野を含む面の、目標物が置かれた面に対する傾き度を取得する傾き取得手段と、取得される傾き度を用いて、撮像部の姿勢調整を支援するための支援情報を出力する出力手段、として機能させる。
本発明によれば、オペレータは、出力される支援情報を用いて撮像部の姿勢を調整することができる。
本発明の実施の形態1に係る視覚センサを利用したコンベアトラッキングシステムの構成を示す模式図である。 本発明の実施の形態1に係る画像処理装置のハードウェア構成を示す模式図である。 本発明の実施の形態1に係る画像処理装置の機能構成を示す模式図である。 本発明の実施の形態1に係る全体処理フローチャートである。 本発明の実施の形態1に係るターゲット用シートを模式的に示す図である。 本発明の実施の形態1に係るターゲット用シートを含む撮像画像の表示例を示す図である。 本発明の実施の形態1に係る撮像画像を表示する画面の一例を示す図である。 図7の撮像画像を拡大して示す図である。 図7の視覚センサを表す画像を示す図である。 本発明の実施の形態1に係るターゲット用シートを含む撮像画像の表示例を示す図である。 本発明の実施の形態1に係るターゲット用シートを含む撮像画像の表示例を示す図である。 本発明の実施の形態1に係る計測処理を説明するための画面例を示す図である。 本発明の実施の形態1に係る計測処理を説明するための画面例を示す図である。 本発明の実施の形態1に係る姿勢調整のための方向を決定する手順を説明するための図である。 本発明の実施の形態1に係る姿勢調整のための方向を表示する画面を例示する図である。 本発明の実施の形態1に係る姿勢調整時の表示画面を例示する図である。 本発明の実施の形態1に係る姿勢調整時の表示画面を例示する図である。 本発明の実施の形態2に係る全体処理フローチャートである。 本発明の実施の形態2に係るターゲット用シートを含む撮像画像の表示例を示す図である。 本発明の実施の形態2に係るターゲット用シートを含む撮像画像の表示例を示す図である。 本発明の実施の形態2に係る計測処理を説明するための画面例を示す図である。 本発明の実施の形態2に係る姿勢調整のための方向を決定する手順を説明するための図である。 本発明の実施の形態2に係る姿勢調整のための方向を表示する画面を例示する図である。 本発明の実施の形態2に係る姿勢調整時の表示画面を例示する図である。
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
[実施の形態1]
図1は、本発明の実施の形態1に係る視覚センサを利用したコンベアトラッキングシステムの構成を示す模式図である。図1に示すコンベアトラッキングシステムは、2つの搬送装置(コンベア)10および20を含む。コンベア10および20は、それぞれ駆動ローラ12および22によって回転駆動される。以下では、コンベア10および20をそれぞれライン1およびライン2とも称す。図1に示す例では、ライン1は、紙面右側に移動し、ライン2は、紙面左側に移動する。ライン1には、搬出装置30等によって紙面左側からワークWがランダムに提供される。このライン1上のワークWは、紙面左側から紙面右側へ移動する。ワークWとしては、典型的には、お菓子等の食品や各種の錠剤等が想定される。
本実施の形態に係る視覚センサ100は、ライン1上の予め定められた位置に設けられる。視覚センサ100は、ワークなどの被写体を撮像するための撮像部と当該撮像部によって撮像された画像を処理するための撮像画像処理部とを一体的に構成したものである。ただし、撮像部と撮像画像処理部とを別体として構成してもよい。
視覚センサ100は、その撮像視野がライン1の幅方向(搬送方向とは直交する方向)の全体を含むように設定されている。撮像視野は、撮像部(カメラ)の画角(または視野角)の設定を用いて決定することができる。本明細書では、撮像視野は、撮像部で撮像され得る範囲に相当し『撮像範囲』と呼ぶこともある。
図1に示すように、ワークWの搬送路上を撮像して取得した画像を用いて、搬送路上をモニタし、または搬送路上のワークを計測する際には、撮像画像が歪んでいないことが要求される。すなわち、撮像視野を含む面と、被写体である搬送路面とは平行であることが望ましい。この両面の平行に関する指標として、本実施の形態では傾き度を用いる。傾き度の詳細は、後述する。
上述の撮像範囲となるように設置された視覚センサ100が、予め定められた周期で連続的に撮像を行うことで、ライン1上をランダムに流れてくるワークWを順次撮像できる。視覚センサ100は、この順次撮像される画像に対してパターンマッチング等の計測処理を行うことで、各ワークの位置決めおよびトラッキング処理を行う。このように、視覚センサ100の撮像部(後述の図2に示す撮像部110)は、搬送装置であるコンベア10上を搬送されるワークWを撮像するように配置されている。そして、この撮像部110には、撮像画像を処理するための撮像画像処理部120(後述の図2を参照)が接続される。
ライン1の搬送方向には、視覚センサ100の下流側に、ワークWを把持してライン2へ移動させるロボット300が配置されている。このロボット300は、ワークWを把持するためのアームを有しており、このアームを目的位置に移動させることで、ライン1上のワークを把持する。すなわち、ロボット300は、搬送装置であるコンベア10(ライン1)の搬送経路において、視覚センサ100の撮像部の撮像範囲より下流側に配置されるとともにワークWを取り扱う移動機械に相当する。より具体的には、ロボット300は、そのアームを目的のワークWに位置決めして、ピックアップしてライン2上に整列する。
さらに、ロボット300は、ライン1に沿って移動するための移動機構(図示せず)上に配置されており、所定の範囲に亘って移動する。このロボット300の移動範囲をトラッキング範囲とも称す。
ロボット300のトラッキング処理および位置決め処理については、ライン1に設けられたエンコーダ14による検出結果を用いて制御される。このエンコーダ14は、典型的には、ロータリーエンコーダが採用され、回転に伴ってパルス信号を発生する。この発生するパルス信号のパルス数をカウントすることで、コンベア10(ライン1)と連結されたローラの回転数、すなわち、エンコーダ14が発生するパルス信号は、搬送装置であるコンベア10の搬送経路における移動量を示す信号に相当し、このパルス信号に基づいて、コンベア10の移動量が算出される。
ロボット300は、ロボット制御装置200からの指示に従って動作する。すなわち、ロボット制御装置200は、移動機械であるロボット300を制御するための制御装置である。ロボット制御装置200は、視覚センサ100とネットワークNWを介して接続されており、視覚センサ100によって検出された各ワークWの位置に基づいて、ロボット300に対してワークWの把持動作に必要な指示を与える。
ネットワークNWには、視覚センサ100およびロボット制御装置200に加えて、操作表示装置500、およびパーソナルコンピュータに相当する機能を有するサポート装置600が接続されている。操作表示装置500は、視覚センサ100からの処理結果やロボット制御装置200からのロボット300の動作状態などを表示するとともに、ユーザからの操作に応答して、視覚センサ100および/またはロボット制御装置200へ各種の指示を与える。
図1に示すコンベアトラッキングシステムにおいては、生産性を向上するために、ライン速度(搬送速度)をより高めたいという潜在的なニーズが存在する。このようなニーズに対処するため、本実施の形態に係るコンベアトラッキングシステムにおいては、エンコーダ14が発生するパルス信号をロボット制御装置200だけではなく、視覚センサ100にも入力するという構成を採用する。このように、視覚センサ100およびロボット制御装置200が同期して対象の搬送装置(コンベア)の位置情報を取得することで、ロボット制御装置200と視覚センサ100との間のネットワークNWを介した通信による同期をとった動作が可能となる。ここでは、ロボット制御装置200と視覚センサ100との間での同期をとった動作制御に関する詳細は略す。
<ハードウェア構成>
図2は、本発明の実施の形態1に係る画像処理装置のハードウェア構成を示す模式図である。画像処理装置は、視覚センサ100と、視覚センサ100の設置態様をサポートする情報を生成し、提示する機能を有するサポート装置600とを含む。サポート装置600の機能は、ネットワークNWに接続された操作表示装置500によって代替することができる。
サポート装置600は、典型的には、汎用のコンピュータで構成される。なお、メンテナンス性の観点からは、可搬性に優れたノート型のパーソナルコンピュータが好ましい。
図2を参照して、サポート装置600は、視覚センサ100と通信するための通信インターフェイス(I/F)60と、OS(オペレーティングシステム)を含む各種プログラムを実行するCPU61と、BIOSや各種データを格納するROM(Read Only Memory)62と、CPU61でのプログラムの実行に必要なデータを格納するための作業領域を提供するメモリRAM63と、CPU61で実行されるプログラムなどを不揮発的に格納するハードディスク(HDD)64とを含む。
サポート装置600は、さらに、ユーザからの操作を受付ける操作部70(キーボード65およびマウス66を含む)と、情報をユーザに提示するための液晶ディスプレイなどからなるモニタ67とを含む。
後述するように、サポート装置600で実行される各種プログラムは、CD−ROM690に格納されて流通する。このCD−ROM690に格納されたプログラムは、CD−ROM(Compact Disk-Read Only Memory)ドライブ68によって読取られ、ハードディスク(HDD)64などへ格納される。あるいは、上位のホストコンピュータなどからネットワークを通じてプログラムをダウンロードするように構成してもよい。
上述したように、サポート装置600は、汎用的なコンピュータを用いて実現される。ここでは、オペレータの操作を受付ける操作部70と、情報を表示するためのモニタ67とを個別に提供されるとしたが、一体的に構成されるタッチパネルとして提供されてもよい。
サポート装置600は、視覚センサ100およびロボット制御装置200のいずれともデータ通信可能であるので、各種のデータを収集することができる。
図2を参照して、視覚センサ100は、撮像部110と、撮像画像処理部120とを含む。撮像画像処理部120はサポート装置600と通信する。ここでは、ロボット制御装置200および操作表示装置500の図示を略している。
図2では、撮像部110から、撮像によって得られた撮像画像を受理して処理する画像処理装置は、撮像画像処理部120とサポート装置600との機能を含んで構成される。
撮像部110は、撮像視野に存在する被写体を撮像する装置であり、主体たる構成要素として、レンズや絞りなどの光学系と、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの受光素子とを含む。撮像部110は、撮像画像処理部120からの指令に従って撮像するとともに、その撮像によって得られた画像データを撮像画像処理部120へ出力する。
撮像画像処理部120は、CPU(Central Processing Unit)122と、メモリ124と、撮像制御部126と、通信インターフェイス(I/F)128と、入出力インターフェイス(I/F)130と、エンコーダカウンタ132と、着脱自在の記録媒体の一例であるCD−ROM(Compact Disk-Read Only Memory)136が装着されるメモリインターフェイス(I/F)135とを含む。これらのコンポーネントは、バス134を介して互いにデータ通信可能に接続されている。
CPU122は、撮像画像処理部120において主たる演算を行うプロセッサである。メモリ124は、CPU122によって実行される各種プログラム、撮像部110によって撮像された画像データ、各種パラメータなどを格納する。典型的には、メモリ124は、DRAM(Dynamic Random Access Memory)などの揮発性記憶装置と、FLASHメモリなどの不揮発性記憶装置とからなる。
撮像制御部126は、CPU122などからの内部コマンドに従って、接続されている撮像部110における撮像動作を制御する。撮像制御部126は、撮像部110に対して各種コマンドを送信するインターフェイスと、撮像部110からの画像データを受信するインターフェイスとを有している。
通信インターフェイス128は、操作表示装置500との間で各種データをやり取りする。典型的には、視覚センサ100および操作表示装置500とはイーサネット(登録商標)を介して接続されており、通信インターフェイス128は、このようなイーサネット(登録商標)に準拠したハードウェアである。
入出力インターフェイス130は、撮像画像処理部120から外部へ各種信号を出力し、あるいは、外部からの各種信号を入力する。特に、入出力インターフェイス130は、エンコーダ14で生成されるパルス信号を受け入れ、その信号をデジタル信号に変換してエンコーダカウンタ132へ出力する。
エンコーダカウンタ132は、エンコーダ14からのパルス信号に含まれるパルス数をカウントし、カウント値を出力する。このエンコーダカウンタ132は、基本的には、CPU122の演算サイクルとは独立して動作するため、エンコーダ14からのパルス信号に含まれるパルス数を取り逃すことがない。
<機能構成>
図3を参照して画像処理に係る機能構成について説明する。CPU61は、ネットワークNWを介して、視覚センサ100(撮像部110)から出力される撮像による画像データを受信する。CPU61は機能として、計測処理部611、画像処理部612、傾き演算部613、中心演算部614および格納部615を含む。これらの各部は、撮像部110から受理した画像データを処理して、オペレータに提示するための情報を作成して、出力する。
計測処理部611は、受信した画像データを処理して、画像データについて計測処理する。より具体的には、撮像画像データを計測処理し、後述のターゲット用シート700の4点のマークの画像における座標位置を取得する。傾き演算部613は、4点のマークの座標位置から、撮像部110のターゲット用シート700に対する傾き度を取得する。中心演算部614は、ターゲット用シート700の重心および撮像画像の中心などを取得する。格納部615は1種の出力手段に相当する。格納部615は、撮像部110が撮像して取得した画像データと、当該画像データの計測処理部611による計測結果などをRAM63の調整ファイル631に格納する。
<フローチャート>
図4は、本発明の実施の形態1に係る全体処理フローチャートである。
図4を参照して、画像処理手順を説明する。オペレータは、視覚センサ100を搬送装置に関連して取付ける。そして、オペレータはターゲット用シート700を、搬送路面上の所定位置に載置する。視覚センサ100の撮像視野は当該所定位置を含む範囲であると想定する。この状態で、オペレータは、操作部70を操作して撮像指示を入力する。CPU61は、撮像指示を受理し、受理した撮像指示を視覚センサ100に送信する。これにより、撮像制御部126は、受信した撮像指示を撮像部110に出力し、撮像動作を行わせる。撮像部110は、撮像視野内の被写体を撮像し、撮像動作により取得した画像データを出力する(ステップS1)。
なお、オペレータは、ターゲット用シート700を移動させたとき、または撮像部110の姿勢を変更したときなどの適宜のタイミングで、操作部70を操作して撮像指示を入力すると想定する。
撮像された画像データは、視覚センサ100からサポート装置600に送信される。CPU61は、受信した画像データをモニタ67に表示する。オペレータは、表示された画像を確認し、ターゲット用シート700を移動させる。そして、表示画像を確認し、ターゲット用シート700を移動させた方向と、モニタ67の表示画像の移動方向が一致するか否かを判定する(ステップS2a)。つまり、ターゲット用シート700をコンベア10によりワークが搬送される方向に移動させたのに対して、モニタ67の画面では画像が上下(垂直)方向に移動した場合には、移動方向が一致しないと判定し(ステップS2aでNO)、オペレータは操作部70を操作して、表示された画像を回転操作する(ステップS2b)。その後、処理はステップS2aに移る。
オペレータは方向が一致していると判定すると、操作部70を操作して計測開始を指示する(ステップS2aでYES)。計測開始の指示に応答して、計測処理部611により、画像データについて計測処理が行われて、ターゲット用シート700上の4点のマークが計測され、計測結果に基づくターゲット用シート700の重心と、モニタ画面の画像の中心とを一致させるための情報を表示する(ステップS3)。ここで、モニタ画面の画像は、撮像部110の撮像視野の画像すなわち撮像画像に対応する。ターゲット用シート700は撮像視野内に配置され得ることから、撮像画像はターゲット用シート700の画像を含む。
計測処理には、典型的には、予め登録されたマークについてのモデル画像に基づくパターンマッチングを用いたサーチ処理がある。サーチ処理では、マークの特徴部分を画像パターン(モデル)として予め登録しておき、入力画像のうち、当該予め登録されているモデルと最も似ている部分を入力画像から探し出す処理である。このとき、モデルと最も似ている部分の位置・傾き・回転角度や、モデルに対してどの程度似ているかを示す相関値などが算出される。
なお、計測処理には、画像データについてエッジ抽出処理を行うことによりマークを検出するとしてもよい。
計測結果に基づき、中心演算部614は、撮像視野(撮像画像)の中心と、ターゲット用シート700の画像の重心との位置を取得する。取得された位置において中心と重心を表す画像がモニタ67に表示される。これにより、中心と重心の位置ずれ量が表示される。
オペレータは、モニタ67の表示画像から、中心と重心の位置ずれがあるか否か、すなわち両位置が一致するか否かを確認する。確認結果に従って操作部70を操作する。たとえば、不一致の場合には、オペレータは中心と重心を一致させるために、ターゲット用シート700を動かした後に、計測開始を指示するために操作部70を操作する。
CPU61は、操作部70から操作を受付けると(ステップS4でNO)、計測開始指示を入力し、応じて処理をステップS3に移行させる。これにより、移動後のターゲット用シート700の画像について撮像がされて、撮像により取得される画像データについて、計測処理部611による計測処理が行われる。
一方、CPU61は、操作部70が操作されないと判定すると(ステップS4でYES)、撮像部110の姿勢調整を支援するための情報が出力される(ステップS5)。
具体的には、傾き演算部613は、計測処理により取得された4点のマークの座標位置から、傾き度を算出する。ここで、傾き度は、撮像部110の撮像視野の面(以下、撮像視野面と称する)の、ライン1の搬送路上の面(以下、搬送面という)に対する傾きの程度を指す。傾き度は、両方の面が平行である場合を値1として換算した値として取得される。なお、ここでは、搬送面は平面であると想定している。画像処理部612は、傾き度に基づいて、撮像部110の姿勢を調整するための支援情報を出力する。
オペレータは、出力される情報を確認し、傾きがあることを確認すると、操作部70を操作するとともに、視覚センサ100の姿勢を調整する。
その後、CPU61は、操作部70を介したオペレータの操作を受付けたと判定すると(ステップS6aでNO)、処理をステップS3に移行させる。これにより、姿勢調整後の視覚センサ100により撮像動作が行われて、撮像により取得される画像データについて、再度、ステップS3以降の処理が同様に行われる。
一方、オペレータは傾きがないと判定した場合には、操作部70を操作しない。したがって、CPU61は操作部70から操作を受付けないことを判定し(ステップS6aでYES)、処理をステップS6bに移行させる。
ステップS6bにおいては、CPU61は、操作部70を介して格納の指示を入力する操作がされたか否かを判定する。CPU61は、受付けた操作に基づき格納の指示を入力すると(ステップS6bでYES)、格納部615は、指示に基づき、画像データと計測結果の情報とを関連付けてRAM63の調整ファイル631に格納する(ステップS6c)。一方、CPU61は、格納指示に係る操作を受付けないと判定すると(ステップS6bでNO)、格納部615による調整ファイル631への格納処理は行われずに、一連の処理は終了する。これら各処理の詳細は後述する。
<ターゲット用シートについて>
図5は、本発明の実施の形態1に係るターゲット用シート700を模式的に示す図である。図5を参照して、略正方形のターゲット用シート700には視覚センサ100の姿勢を調整するために用いるターゲットパターンが描画されている。ターゲットパターンは、その内部が約90°ずつに塗り分けられた5点の円(以下、マークという)を含む。
なお、姿勢調整のためには、基本的には3点のマークを用いれば十分であるが、マークの数は多いほど、精度よく姿勢調整するための情報を取得できることから、ここではターゲット用シート700の正方形の4つの頂点に配置された4点のマークを用いる。追加的に配置された5点目のマークは、ターゲット用シート700の配置向きを所定方向に統一するために用いられる。なお、ここではマークの形状は円形としているが、限定されるものではない。
図4のステップS1では、オペレータは、ターゲットパターンが描画されたターゲット用シート700を、ライン1上の視覚センサ100(撮像部110)の撮像視野内に配置する。そして、オペレータは、視覚センサ100に対して撮像指示を与える。すると、視覚センサ100は、撮像によって得られた画像(ターゲットパターンが被写体として含まれる画像)をサポート装置600に送信する。
サポート装置600では、受信する画像データに対して計測処理部611によって計測処理が行われる。計測処理では、ターゲットパターンに含まれる四隅に配置された4点のマークについて各中心点の座標値が決定される。これによって、ターゲットパターンに含まれる4点の各マークについて画像座標系の座標値[pix]が取得される。この取得される4点の座標値は(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)に相当する。
図6は、本発明の実施の形態1に係るターゲット用シート700を含む撮像画像の表示例を示す図である。オペレータが視覚センサ100をライン1に設置する際には、撮像視野面と、ターゲット用シート700が配置される搬送面とは平行ではない場合が多い。そのため、図6に示すように、ターゲット用シート700の画像は正方形ではなく歪んだ形状(台形状)で表示される。
図7〜図9は、本発明の実施の形態1に係る撮像画像を表示する画面の一例を示す図である。図7を参照して、モニタ67の画面には、撮像視野の被写体画像(ターゲット用シート700の画像を含む画像)を表示する領域701、視覚センサ100を模式的に表す画像800を表示する領域702を含む。視覚センサ100を表す画像800に関連して、画像800の中心で相互に直交する3本の軸(X軸,Y軸およびZ軸)が表示される。これにより、オペレータは、画像800から、視覚センサ100の設置態様を、空間に設置された態様として把握することが容易となる。なお、視覚センサ100のX軸およびY軸は、撮像部110から出力される撮像画像の座標系に係るX軸およびY軸に対応する。
モニタ67の画面には、さらに領域701の画像を時計回り/反時計回りに90度回転させるためのボタン900が表示される。オペレータがボタン900を操作すると、CPU61は当該操作を受付けて、回転指示を画像処理部612に出力する。
画像処理部612は、回転指示に従い、領域701の画像(ターゲット用シート700の画像)を時計回り/反時計回りの方向に90度回転させる(図8を参照)。また、画像処理部612は、領域702の画像800も同じ方向に回転させる(図9を参照)。これにより、オペレータはボタン900を操作することにより、同一画面において、領域701の画像を回転させるとともに、当該回転に連動して、領域702の画像800を同一の方向に回転させることができる。
ここでは回転させる方向として、時計回り/反時計回りの方向に90度回転としているが、オペレータが回転角度を可変に変更できるとしてもよい。
図10と図11は、本実施の形態1に係るターゲット用シートを含む撮像画像の表示例を示す図である。上述のステップS3の処理では、画像処理部612は、図10の画像を表示する。図10を参照して、画面の領域702に、領域701の画像の計測処理によって取得された4点のマークの座標値801(座標値(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4))を表示する。また、領域701の各マークには、計測された中心位置に“+”記号を重畳して表示する。ここでは、各マークの位置を、座標値801および“+”記号の両方を用いて指示したが、一方のみを用いて指示してもよい。また、4個の“+”記号を線で結ぶことにより形成される方形が表示される。
オペレータは、座標値801から4個のマークの中心が正方形の頂点を指していることを確認することにより、撮像視野面と搬送面の両面は平行であることを把握することができる。
オペレータが撮像視野面と搬送面の両面は平行であることを容易に把握できるように、画像処理部612は、図11に示すように、傾き度を表す情報を表示してもよい。つまり、領域701の4点のマークについて、計測された各中心位置を結ぶ線(図中、破線に相当)を表示する。両面が平行でない場合には、図示されるように、4点を結ぶ線で形成される形は正方形ではなく歪んだ図形(台形)として提示されることから、オペレータは両面が平行ではないことを容易に把握ですることができる。したがって、傾き度は、撮像画像におけるターゲット用シート700の形状の、元の正方形からの歪みの程度を表すと、言える。
またオペレータは、台形の上底と下底の辺の長さの差分を視認することで、歪みの程度(傾き度)を把握することができる。
傾き度を表す情報は、図12と図13のように表示することもできる。図12を参照して、4点のマークの中心を直線で結んで形成される図形の重心の座標が算出される。そして、領域701の当該座標位置に画像703を表示する。また、領域701の中心を、すなわち撮像画像の中心を、直交する2本の破線軸704の交点を用いて提示する。
これにより、撮像画像の中心位置と画像703の位置とがずれているか否かを示すことができる。また、傾き度を、このずれ量として提示することができる。したがって、オペレータは視覚センサ100の姿勢を、領域701の中心と画像703の位置とが一致するように調整すればよい。このとき、調整作業の支援情報として、画像処理部612は、撮像画像の中心と画像703との間の距離を算出し、算出した値をデータ705として表示してもよい。また、画像703は重心であることを明示するために、4点のマークを破線の直線で結ぶようにしてもよい(図13を参照)。
<姿勢調整のための方向>
図14は、本発明の実施の形態1に係る姿勢調整のための方向を決定する手順を説明するための図である。図15は、本発明の実施の形態1に係る姿勢調整のための方向を表示する画面を例示する図である。
図14を参照して、傾き演算部613による傾き度の算出手順を説明する。傾き演算部613は、4点のマークの座標値(X1,Y1)、(X2,Y2)、(X3,Y3)および(X4,Y4)に基づき、X方向およびY方向の傾きを算出する。なお、X,Y方向は、画像座標系のX軸が延びる方向,Y軸が延びる方向に一致する。
X方向の傾きに関しては、(A1/A2)>1の条件が成立すると判定すると、画像処理部612は画面に向かって左向きの矢印706を表示し(図15参照)、(A1/A2)<1の条件が成立すると判定すると、画像処理部612は画面に向かって右向きの矢印を表示する。なお、A1=|Y1−Y2|、A2=|Y4−Y3|として算出する。
Y方向の傾きに関しては、(B1/B2)>1の条件が成立すると判定すると、画像処理部612は画面に向かって上向きの矢印を表示し、(B1/B2)<1の条件が成立すると判定すると、画像処理部612は画面に向かって下向きの矢印707(図15参照)を表示する。なお、B1=|X1−X4|、B2=|X2−X3|として算出する。これらの矢印は、領域701の画像に関連して表示される。
また、図15を参照して、画像処理部612は、視覚センサ100を表す画像800についても、矢印706,707の表示に連動して、対応する矢印806,807を表示する。これにより、視覚センサ100の姿勢を変更するべき方向に関する情報が提示される。
また、傾き度を定量的に表すために、データ705とともに、またはデータ705とは独立して、視覚センサ100の傾き度のデータ816と817を算出して表示するようにしてもよい。データ816は、(A1/A2)により算出されて、データ817は、(B1/B2)により算出される。
ここでは、視覚センサ100の姿勢を変更するべき方向として矢印706,707の画像を用いたが、“左,右,上,下”など文字を用いて提示してもよい。
上述した傾き度を含む情報を参考にして、オペレータは視覚センサ100の姿勢を調整する。このとき、姿勢調整のための目標として、画像処理部612は、撮像視野面と搬送路面が平行であるときのターゲット用シート700の4点のマークの中心を結んで形成される正方形を表示してもよい。
姿勢調整の結果、視覚センサ100の姿勢が、所定の精度(たとえば、搬送されるワークの計測処理の精度)を保証できる範囲に該当する/該当しないことを判定し、その判定を示す情報を出力する。たとえば、画像処理部612は、姿勢調整後の(A1/A2)および(B1/B2)の値を算出し、算出した値が所定の範囲内に該当するか否かを判定する。判定結果を表す情報として、たとえば画像716を表示する(図16参照)。範囲内であると判定すると、図16の(A)に示すように領域701を囲む枠の画像716を、たとえば緑色で表示し、矢印706と707を消去する。範囲外であると判定すると画像716を、たとえば赤色で表示する(図16の(B)参照)。これにより、オペレータに対して姿勢調整完了の目安を提示することができる。
なお、姿勢調整完了の目安として提示される情報は、枠の画像716に限定されず、また表示態様の区別も色を用いる方法に限定されない。
図17には、本発明の実施の形態1による姿勢調整時に表示される画像の一例が示される。図17を参照して、姿勢調整時に表示される傾き度など各種情報は、RAM63の所定領域に格納される。具体的には、オペレータは画面のボタン818を操作すると、格納部615に格納指示が与えられ、格納部615は、領域701に表示される撮像画像のデータと、領域702に表示される各種情報をRAM63の調整ファイル631に格納する。このように、調整ファイル631に、調整完了時のデータを格納しておくことにより、その後の視覚センサ100の姿勢調整のための支援情報として、調整ファイル631のデータを利用することができる。
[実施の形態2]
本実施の形態2では、調整ファイル631のデータを利用した、視覚センサ100の姿勢調整を説明する。ここでは、調整ファイル631には、姿勢調整が完了した時点で領域701に表示された撮像画像データと、計測結果および傾き度に関するデータが格納されていると想定する。
図18は、本発明の実施の形態2に係る全体処理フローチャートである。図18を参照して、搬送装置に関連して視覚センサ100を取付けるとき、まず、姿勢調整のためにターゲット用シート700が搬送路面上の所定位置に載置され、ステップS1〜S2bの処理が行われる。これら処理は、前述した実施の形態1と同様であり詳細は略す。
続いて、後述のボタン819が操作されると、画像処理部612は、RAM63の調整ファイル631からデータを読出して、読出されたデータに基づく画像をモニタ67に表示する(ステップS2c)。また、ステップS1で取得された撮像画像データについて計測処理部611により計測処理が行われて、計測結果が表示される(ステップS3)。
図19は、本発明の実施の形態2に係るターゲット用シートを含む撮像画像の表示例を示す図である。図19を参照して、領域701には姿勢調整完了時の被写体の撮像画像(ターゲット用シート700を含む画像)が表示され、画像703が表示される。画像703は、当該撮像画像データを計測処理して取得した4点のマークの中心の座標から算出した重心を表す。また、領域702には、傾き度816,817、視覚センサ100を表わす画像800、および撮像画像の重心と画面の中心とのずれ量を指すデータ705が表示される。領域702には、調整ファイル631のデータに基づく情報の表示を指示するために、オペレータによって操作されるボタン819も表示される。
図20には、ステップS4における画面の表示例が示される。図20を参照して、画面には調整ファイル631のデータに基づく情報と、今回のステップS3の計測処理による情報とが同時に表示される。
図20を参照して、領域701には調整ファイル631に基づく重心の画像703と、今回の計測処理による取得された4点のマークの中心座標に基づき中心演算部614が算出した重心の位置座標を示す画像703Nとが同時に表示される。また、領域701には調整ファイル631の4点のマークの中心位置座標に基づく正方形と、今回の計測処理による取得された4点のマークの中心座標に基づく破線の台形とが同時に表示される。また、領域702には、今回の計測処理により取得された4点のマークの中心位置の座標値801Nが表示される。また、領域702には、座標値801Nに基づき取得された傾き度に関するデータ705N,816Nおよび817Nが表示される。
図20の画像によれば、領域701の表示から、今回の計測処理の結果と、調整ファイル631の姿勢調整完了時の計測処理結果との比較による情報に基づいた姿勢調整のための支援情報を提示することができる。また、領域702に表示される情報によって、今回の計測処理の結果に基づいた姿勢調整のための支援情報を提示することができる。
オペレータは、図20の画像を確認し、重心の画像703と703Nの表示位置が一致していると判断すると、操作部70から重心一致を指示するための操作をするが、不一致と判断すると重心不一致を指示するための操作をする(ステップS4)。オペレータは、不一致を判断した場合には、重心が一致するようにターゲット用シート700を動かす。ステップS4における画面の表示例が図21に示される。図21では画像処理部612により、画像703と703Nの座標から両者の距離が算出されてデータ705Nとして表示される。
CPU61は、不一致の操作を受付けると(ステップS4でNO)、処理をステップS3に移行させる。これにより、移動後のターゲット用シート700の画像について撮像動作が行われて、撮像による取得された画像データについて、計測処理部611による計測処理が行われる(ステップS3)。
一方、CPU61が一致の操作を受付けると(ステップS4でYES)、傾き演算部613により、ステップS3の計測結果と調整ファイル631のデータとを用いて傾き度が取得される。画像処理部612は、取得された傾き度に基づき、姿勢調整のための支援情報を表示する(ステップS5)。傾き度の取得と、それに係る情報の表示態様は実施の形態1に説明したものと同じであり、説明は略す。
オペレータは、出力される情報を確認する。傾きがあると判定すると、操作部70を操作するとともに、視覚センサ100の姿勢を手動で調整する。
その後、CPU61は、操作部70からオペレータの操作がされたことを判定し(ステップS6aでNO)、処理をステップS3に移行させる。これにより、オペレータによる姿勢調整後の視覚センサ100によって撮像動作が行われて、撮像により取得される画像データについて、ステップS3以降の処理が同様に行われる。
一方、オペレータは傾きがないと判定した場合には、操作部70を操作しない。したがって、CPU61は操作部70によるオペレータ操作がないことを判定し(ステップS6aでYES)、処理をステップS6bに移行させる。
ステップS6bにおいては、操作部70を介して格納の指示の操作がされたか否かが判定される。CPU61は、格納指示の操作がされたと判定すると(ステップS6bでYES)、格納部615は、表示中の画像データと計測結果の情報とを関連付けてRAM63の調整ファイル631に格納する(ステップS6c)。格納指示の操作がされないと判定すると(ステップS6bでNO)、格納部615による格納処理は行われずに、CPU61は、一連の処理を終了させる。
<姿勢調整のための方向>
図18のステップS5における傾き度の取得と、姿勢調整のための支援情報の提示について説明する。図22は、本発明の実施の形態2に係る姿勢調整のための方向を決定する手順を説明するための図である。図23は、本発明の実施の形態2に係る姿勢調整のための方向を表示する画面を例示する図である。
図22を参照して、傾き演算部613による傾き度の算出手順を説明する。傾き演算部613は、撮像された画像データの計測処理による4点のマークの座標値((XN1,YN1)、(XN2,YN2)、(XN3,YN3)および(XN4,YN4))と、ステップS2cにおいて調整ファイル631から読出した4点のマークの座標値((XP1,YP1)、(XP2,YP2)、(XP3,YP3)および(XP4,YP4))とに基づき、撮像視野面の搬送路面に対するX方向およびY方向の傾き度を算出する。
X方向の傾き度に関しては、(AP1/AP2)>(AN1/AN2)の条件が成立すると判定すると、画像処理部612は画面に向かって右向きの矢印を表示し、(AP1/AP2)<(AN1/AN2)の条件が成立すると判定すると、画像処理部612は画面に向かって左向きの矢印706を表示する(図23を参照)。なお、AP1=|YP1−YP2|、AP2=|YP4−YP3|、AN1=|YN1−YN2|、AN2=|YN4−YN3|として算出する。
Y方向の傾きに関しては、(BP1/BP2)>(BN1/BN2)の条件が成立すると判定すると、画像処理部612は画面に向かって下向きの矢印707を表示し(図23を参照)、(BP1/BP2)<(BN1/BN2)の条件が成立すると判定すると、画像処理部612は画面に向かって上向きの矢印を表示する。なお、BP1=|XP1−XP4|、BP2=|XP2−XP3|、BN1=|XN1−XN4|、BN2=|XN2−XN3|として算出する。これらの矢印は、領域701の画像に関連して表示される。
また、図23を参照して、画像処理部612は、視覚センサ100を表す画像800についても、矢印706,707の表示に連動して、対応する矢印806,807を表示し、視覚センサ100の姿勢を調整する方向を提示する。
また、画像処理部612は、傾き度を定量的に表すためのデータ705Nとともに、またはデータ705Nとは独立して視覚センサ100の傾き度のデータ816と817を算出して表示するようにしてもよい。データ816は、(AN1/AN2)により算出されて、データ817は、(BN1/BN2)により算出される。
上述した傾き度を含む支援情報を参考にして、オペレータは視覚センサ100の姿勢を調整する。このとき、姿勢調整のための目標として、画像処理部612は、撮像視野面と搬送路面が平行であるときのターゲット用シート700の4点のマークの中心を結んで形成される正方形を表示してもよい。
姿勢調整の結果、視覚センサ100の姿勢が、所定の精度(たとえば、搬送されるワークの計測処理の精度)を保証できる範囲に該当する/該当しないことを判定し、その判定を示す情報が出力される。たとえば、画像処理部612は、姿勢調整後の(AN1/AN2)および(BN1/BN2)の値を算出し、算出した値が所定の範囲内に該当するか否かを判定する。そして、判定結果を示す情報として、たとえば画像716を表示する(図24を参照)。範囲内であると判定すると、図24の(A)に示すように領域701を囲む枠の画像716を緑色で表示する。範囲外であると判定すると画像716を赤色で表示する(図24の(B)を参照)。これにより、姿勢調整の完了の目安を提示することができる。
なお、範囲内であると判定されるとき、図24の(A)の画像から、調整方向を指す矢印を消去してもよい。また、目安として提示される情報は、枠の画像716に限定されず、また画像716の表示態様の区別も色を用いる方法に限定されない。
上述の実施の形態では傾き度(または形状の歪み度)は、中心演算部614が算出する各マークの中心位置の座標を用いて取得したが、取得方法は、これに限定されない。たとえば、4点のマークを正円とした場合に、撮像画像におけるマークの形(たとえば、楕円)の、正円からの歪みの程度を取得する。これにより、傾き度は、歪み度として取得してもよい。
なお、図3に示す各種機能は、サポート装置600(または、操作表示装置500)が備えるとしているが、撮像画像処理部120が備えるとしてもよい。その場合には、メモリ124に調整ファイル631が格納されて、視覚センサ100の姿勢調整のための支援情報の出力先は、主に、サポート装置600のモニタ67または操作表示装置500のディスプレイ(図示せず)を用いることになる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
70 操作部、100 視覚センサ、110 撮像部、120 撮像画像処理部、124 メモリ、126 撮像制御部、500 操作表示装置、600 サポート装置、611 計測処理部、612 画像処理部、613 傾き演算部、614 中心演算部、615 格納部、631 調整ファイル、700 ターゲット用シート、701,702 領域。

Claims (10)

  1. ワークの搬送路の少なくとも一部を撮像視野に含むように配置された撮像部から、撮像によって得られた撮像画像を受理する画像処理装置であって、
    前記搬送路上に置かれた目標物を、前記撮像部が撮像することによって取得された撮像画像を受理する画像受理手段と、
    受理された撮像画像における前記目標物の位置を取得する位置取得手段と、
    前記位置取得手段によって取得された前記目標物の前記撮像画像における位置を用いて、前記撮像部の撮像視野を含む面の、前記目標物が置かれた面に対する傾き度を取得する傾き取得手段と、
    取得される傾き度を用いて、前記撮像部の姿勢調整を支援するための支援情報を出力する出力手段と、を備える、画像処理装置。
  2. 前記支援情報は、前記撮像部の姿勢を変更するべき方向を示す情報を含む、請求項1に記載の画像処理装置。
  3. 前記傾き取得手段は、取得された前記目標物の前記撮像画像における位置と、前記撮像画像における予め定められた位置とのずれ量として、前記傾き度を取得する、請求項1または2に記載の画像処理装置。
  4. 前記傾き取得手段は、取得された前記目標物の前記撮像画像における位置と、前記撮像画像における予め定められた位置との距離として、前記傾き度を取得する、請求項1または2に記載の画像処理装置。
  5. 前記目標物は、予め定められた形状を有し、
    前記傾き取得手段は、前記目標物の前記撮像画像における形状の、前記予め定められた形状からの歪みの程度として、前記傾き度を取得する、請求項1または2に記載の画像処理装置。
  6. 前記支援情報は、前記受理された撮像画像を含み、
    前記出力手段は、前記支援情報をメモリに格納する格納手段を、含む、請求項1または2に記載の画像処理装置。
  7. 前記傾き取得手段は、
    前記格納手段に格納された前記支援情報に含まれる撮像画像における前記目標物の位置と、前記画像受理手段が前記撮像部から受理した撮像画像における前記位置取得手段によって取得された前記目標物の前記撮像画像における位置とのずれ量として、前記傾き度を取得する、請求項6に記載の画像処理装置。
  8. 前記傾き取得手段は、前記格納手段に格納された前記支援情報に含まれる撮像画像における前記目標物の前記撮像画像における位置と、前記画像受理手段が前記撮像部から受理した撮像画像における前記位置取得手段によって取得された前記目標物の位置との距離として、前記傾き度を取得する、請求項6に記載の画像処理装置。
  9. 前記目標物は、予め定められた形状を有し、
    前記傾き取得手段は、前記画像受理手段が前記撮像部から受理した撮像画像における前記目標物の形状の、前記格納手段に格納された前記支援情報に含まれる撮像画像における前記目標物の形状からの歪みの程度として、前記傾き度を取得する、請求項6に記載の画像処理装置。
  10. ワークの搬送路の少なくとも一部を撮像視野に含むように配置された撮像部から、撮像によって得られた撮像画像を受理するコンピュータで実行される画像処理プログラムであって、
    前記画像処理プログラムは、前記コンピュータを、
    前記搬送路上に置かれた目標物を、前記撮像部が撮像することによって取得された撮像画像を受理する画像受理手段と、
    受理された撮像画像における前記目標物の位置を取得する位置取得手段と、
    前記位置取得手段によって取得された前記目標物の前記撮像画像における位置を用いて、前記撮像部の撮像視野を含む面の、前記目標物が置かれた面に対する傾き度を取得する傾き取得手段と、
    取得される傾き度を用いて、前記撮像部の姿勢調整を支援するための支援情報を出力する出力手段、として機能させる、画像処理プログラム。
JP2011056448A 2011-03-15 2011-03-15 画像処理装置および画像処理プログラム Active JP5370398B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011056448A JP5370398B2 (ja) 2011-03-15 2011-03-15 画像処理装置および画像処理プログラム
EP11861318.1A EP2667350B1 (en) 2011-03-15 2011-03-22 Image processing device, and image processing program
PCT/JP2011/056776 WO2012124140A1 (ja) 2011-03-15 2011-03-22 画像処理装置および画像処理プログラム
CN201180066697.7A CN103348376B (zh) 2011-03-15 2011-03-22 图像处理装置
US13/975,435 US9571795B2 (en) 2011-03-15 2013-08-26 Image processing device and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011056448A JP5370398B2 (ja) 2011-03-15 2011-03-15 画像処理装置および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2012193980A true JP2012193980A (ja) 2012-10-11
JP5370398B2 JP5370398B2 (ja) 2013-12-18

Family

ID=46830256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011056448A Active JP5370398B2 (ja) 2011-03-15 2011-03-15 画像処理装置および画像処理プログラム

Country Status (5)

Country Link
US (1) US9571795B2 (ja)
EP (1) EP2667350B1 (ja)
JP (1) JP5370398B2 (ja)
CN (1) CN103348376B (ja)
WO (1) WO2012124140A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015186299A1 (ja) * 2014-06-06 2015-12-10 株式会社ブリヂストン 計測装置
EP3112970A1 (en) * 2012-10-26 2017-01-04 LG Electronics Inc. Robot cleaner system and control method of the same
WO2018025625A1 (ja) * 2016-08-01 2018-02-08 ソニー株式会社 光学装置および情報処理方法
JP2020123042A (ja) * 2019-01-29 2020-08-13 キヤノン株式会社 情報処理装置、情報処理方法及びシステム
WO2023021668A1 (ja) * 2021-08-19 2023-02-23 日本電気株式会社 撮影ガイド装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6433258B2 (ja) * 2014-11-18 2018-12-05 中村 正一 双眼ルーペの製作方法
CN105208271A (zh) * 2015-09-21 2015-12-30 努比亚技术有限公司 拍摄角度提示方法和装置
JP6834232B2 (ja) * 2016-08-09 2021-02-24 オムロン株式会社 情報処理システム、情報処理装置、ワークの位置特定方法、およびワークの位置特定プログラム
JP2018024044A (ja) * 2016-08-09 2018-02-15 オムロン株式会社 情報処理システム、情報処理装置、ワークの位置特定方法、およびワークの位置特定プログラム
JP6472472B2 (ja) * 2017-03-08 2019-02-20 本田技研工業株式会社 位置姿勢調整方法
US10998211B2 (en) * 2017-05-31 2021-05-04 Fujikin Inc. Management system, method, and computer program for semiconductor fabrication apparatus
JP7143099B2 (ja) * 2018-03-23 2022-09-28 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム
EP3868699B1 (en) * 2018-10-16 2023-12-20 Tadano Ltd. Crane device
JP7250489B2 (ja) * 2018-11-26 2023-04-03 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
JP7241611B2 (ja) * 2019-06-06 2023-03-17 東京エレクトロン株式会社 パターン測定装置、パターン測定装置における傾き算出方法およびパターン測定方法
DE102020126407A1 (de) 2020-10-08 2022-04-14 Leica Camera Aktiengesellschaft Bildaufnahmegerät
CN115620337B (zh) * 2022-10-11 2024-08-30 深圳市谷奇创新科技有限公司 一种用于生命体征的光纤传感器监测方法和系统
CN115877808B (zh) * 2023-01-30 2023-05-16 成都秦川物联网科技股份有限公司 用于薄片工件加工的工业物联网及控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049590A (ja) * 2003-07-28 2005-02-24 Toshiba Corp 撮像装置の調整方法およびこの調整方法に用いる検出治具
JP2006244363A (ja) * 2005-03-07 2006-09-14 Seiko Epson Corp 画像処理装置、画像処理装置を有する搬送装置、画像処理装置の制御方法
JP2007334423A (ja) * 2006-06-12 2007-12-27 Shimatec:Kk 自動撮影装置
JP2008072674A (ja) * 2006-09-15 2008-03-27 Ricoh Co Ltd 撮影補助装置及び撮影装置
JP2009036589A (ja) * 2007-07-31 2009-02-19 Omron Corp 校正用ターゲット、校正支援装置、校正支援方法、および校正支援プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6670991B1 (en) * 1997-09-26 2003-12-30 Canon Kabushiki Kaisha Image sensing system, control method, and recording medium for controlling a camera apparatus utilizing a client device connected thereto
US20040100563A1 (en) * 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
JP2004320123A (ja) * 2003-04-11 2004-11-11 Nec Viewtechnology Ltd 資料提示装置
CN2777880Y (zh) * 2004-01-15 2006-05-03 英保达股份有限公司 影像角度自动调整系统
CN101867785B (zh) * 2004-02-03 2012-07-25 松下电器产业株式会社 监视系统及摄像机终端
JP3918854B2 (ja) * 2004-09-06 2007-05-23 オムロン株式会社 基板検査方法および基板検査装置
ATE532330T1 (de) * 2004-09-21 2011-11-15 Nikon Corp Projektoreinrichtung, mobiltelefon und kamera
JP2007030087A (ja) * 2005-07-26 2007-02-08 Fanuc Ltd 物流トラッキング装置
JP2008003394A (ja) 2006-06-23 2008-01-10 Nikon Corp カメラ、カメラシステム、及び姿勢調整方法
US7839431B2 (en) 2006-10-19 2010-11-23 Robert Bosch Gmbh Image processing system and method for improving repeatability
JP4960754B2 (ja) * 2007-04-25 2012-06-27 キヤノン株式会社 情報処理装置、情報処理方法
GB2471819B (en) * 2008-06-05 2012-11-28 Toshiba Machine Co Ltd Handling system,control device,control method,and program
JP5509645B2 (ja) * 2009-03-25 2014-06-04 富士ゼロックス株式会社 位置・姿勢認識方法、部品把持方法、部品配置方法、部品組立方法、位置・姿勢認識装置、部品把持装置、部品配置装置、および部品組立装置
JP5457546B2 (ja) * 2009-04-29 2014-04-02 コーニンクレッカ フィリップス エヌ ヴェ カメラの最適視角位置を選択する方法
JP5290864B2 (ja) * 2009-05-18 2013-09-18 キヤノン株式会社 位置姿勢推定装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049590A (ja) * 2003-07-28 2005-02-24 Toshiba Corp 撮像装置の調整方法およびこの調整方法に用いる検出治具
JP2006244363A (ja) * 2005-03-07 2006-09-14 Seiko Epson Corp 画像処理装置、画像処理装置を有する搬送装置、画像処理装置の制御方法
JP2007334423A (ja) * 2006-06-12 2007-12-27 Shimatec:Kk 自動撮影装置
JP2008072674A (ja) * 2006-09-15 2008-03-27 Ricoh Co Ltd 撮影補助装置及び撮影装置
JP2009036589A (ja) * 2007-07-31 2009-02-19 Omron Corp 校正用ターゲット、校正支援装置、校正支援方法、および校正支援プログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3112970A1 (en) * 2012-10-26 2017-01-04 LG Electronics Inc. Robot cleaner system and control method of the same
US9675226B2 (en) 2012-10-26 2017-06-13 Lg Electronics Inc. Robot cleaner system and control method of the same
US10052004B2 (en) 2012-10-26 2018-08-21 Lg Electronics Inc. Robot cleaner system and control method of the same
US10058224B2 (en) 2012-10-26 2018-08-28 Lg Electronics Inc. Robot cleaner system and control method of the same
US10327617B2 (en) 2012-10-26 2019-06-25 Lg Electronics Inc. Robot cleaner system and control method of the same
WO2015186299A1 (ja) * 2014-06-06 2015-12-10 株式会社ブリヂストン 計測装置
JP2015230294A (ja) * 2014-06-06 2015-12-21 株式会社ブリヂストン 計測装置
WO2018025625A1 (ja) * 2016-08-01 2018-02-08 ソニー株式会社 光学装置および情報処理方法
JP2020123042A (ja) * 2019-01-29 2020-08-13 キヤノン株式会社 情報処理装置、情報処理方法及びシステム
JP7378934B2 (ja) 2019-01-29 2023-11-14 キヤノン株式会社 情報処理装置、情報処理方法及びシステム
US11842508B2 (en) 2019-01-29 2023-12-12 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and system that inspects a state of a target object using distance information
WO2023021668A1 (ja) * 2021-08-19 2023-02-23 日本電気株式会社 撮影ガイド装置

Also Published As

Publication number Publication date
EP2667350A1 (en) 2013-11-27
EP2667350B1 (en) 2018-11-07
CN103348376B (zh) 2016-11-09
US20140015957A1 (en) 2014-01-16
EP2667350A4 (en) 2014-12-24
CN103348376A (zh) 2013-10-09
JP5370398B2 (ja) 2013-12-18
US9571795B2 (en) 2017-02-14
WO2012124140A1 (ja) 2012-09-20

Similar Documents

Publication Publication Date Title
JP5370398B2 (ja) 画像処理装置および画像処理プログラム
JP6859967B2 (ja) コンベアトラッキングシステムおよびキャリブレーション方法
JP5810562B2 (ja) 画像処理システムに向けられたユーザ支援装置、そのプログラムおよび画像処理装置
JP5561214B2 (ja) 画像処理装置および画像処理プログラム
JP5316118B2 (ja) 3次元視覚センサ
JP5770486B2 (ja) 全周画像計測装置
JP5003840B1 (ja) 画像処理装置および画像処理プログラム
EP3421930B1 (en) Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method
JP6881188B2 (ja) 位置検出装置およびプログラム
US20110316977A1 (en) Method of cnc profile cutting program manipulation
JP6308248B2 (ja) コンベアトラッキング等に向けられたガイダンス装置
JP2017049152A (ja) クラック幅計測システム
JP2011112401A (ja) 3次元計測のためのキャリブレーション方法および3次元視覚センサ
JP2017083234A (ja) 三次元形状計測装置、三次元形状計測システム、プログラム、コンピュータ読み取り可能な記録媒体、および三次元形状計測方法
JP6420537B2 (ja) 多関節型三次元測定装置
JP2016048239A (ja) 物体の3d座標を測定するための方法および装置
JP6265784B2 (ja) 姿勢推定システム、プログラムおよび姿勢推定方法
JP4530763B2 (ja) 部品データ作成方法及び部品データ作成装置
JP2016078142A (ja) ロボット装置の制御方法、およびロボット装置
JP5175916B2 (ja) 部品検索システム
JP2012032173A (ja) 画像計測方法及び画像計測装置
JP2020149430A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130902

R150 Certificate of patent or registration of utility model

Ref document number: 5370398

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150