JP2021170404A - 画像処理方法および撮影装置 - Google Patents
画像処理方法および撮影装置 Download PDFInfo
- Publication number
- JP2021170404A JP2021170404A JP2021125342A JP2021125342A JP2021170404A JP 2021170404 A JP2021170404 A JP 2021170404A JP 2021125342 A JP2021125342 A JP 2021125342A JP 2021125342 A JP2021125342 A JP 2021125342A JP 2021170404 A JP2021170404 A JP 2021170404A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- feature amount
- imaging
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 38
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 86
- 238000000034 method Methods 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 37
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000005286 illumination Methods 0.000 claims description 16
- 238000004519 manufacturing process Methods 0.000 claims description 15
- 230000005484 gravity Effects 0.000 description 24
- 230000001186 cumulative effect Effects 0.000 description 14
- 230000036544 posture Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Abstract
Description
前記画像データから、前記対象物の画像特徴量を演算する演算手段と、を備えるシステムであって、
前記撮像装置が、前記対象物の複数の画像データを取得して前記演算手段に送信し、前記演算手段は、前記複数の画像データそれぞれの画像特徴量を演算して、予め取得しておいた基準画像特徴量との合致度を算出し、前記複数の画像データのうち少なくとも2つの画像データについて前記合致度を比較し、合致度が高い方の画像データをメモリに保存することを特徴とする。
前記対象物を移動させる移動手段と、
前記画像データから前記対象物の画像特徴量を算出する演算手段と、を備える生産装置であって、
前記撮像装置は、前記移動手段によって移動する前記対象物の画像データを取得して前記演算手段に送信し、前記演算手段は、前記複数の画像データそれぞれの画像特徴量を演算して、予め取得しておいた基準画像特徴量との合致度を算出し、前記複数の画像データのうち少なくとも2つの画像データについて前記合致度を比較して合致度が高い方の画像データをメモリに保存することを特徴とする生産装置。
本発明に係る動体撮影装置の第一の実施形態について説明する。以下ではまず本発明の画像処理方法にかかる手順を追って説明したのちに、対応する実施例にて具体的にカメラを構成する個別の構成要素などを具体的に説明する。
撮像素子101は、初期設定により動画撮影モードに設定されており、部品112が目標撮影位置付近に至るまでの間、レンズ102を介し、連続的(断続的)に画像を撮影し続けることで複数の画像データを取得する。
撮影した画像は、例えばLVDS信号として、順次画像入力インタフェース104へ出力される。このとき、LVDS信号は例えば10対の差動信号線で伝送され、各々の差動信号線では7逓倍でシリアライズされたシリアル信号が出力される。また、画像入力インタフェース104は、LVDS信号として連続的に入力される画像データを、順次パラレル信号の画像データに変換し、演算部における画像特徴量計算手段106へ出力する。
画像特徴量計算手段106は、入力した画像データに対して画像特徴量を計算する。本実施形態における画像特徴量は以下の2つであり、一方は、撮影された画像において部品112がどの位置に存在するのかという位置情報と相関がある情報に関連する画像特徴量である。他方は、どのような照明環境で撮影が行われているのかという照明条件と相関がある画像特徴量である。
画像選択手段108は、一方で画像特徴量計算手段106から画像データとその画像データに対応する2つの画像特徴量が入力され、他方でコントローラ103からの位置情報と照明条件と相関がある情報にそれぞれ関連する画像特徴量が入力される。画像選択手段108は、入力された画像特徴量を参照し、部品112がカメラ114の視野内にまだ入ってきていない、すなわち、部品112の位置情報が「0」であれば、処理を行わず、次に入力される画像データと画像特徴量を待つ。部品112がカメラ114の視野内に進入し、部品112の位置情報が「0」以外となったら、メモリ107に保存されている基準画像特徴量と撮影した画像の画像データから抽出した画像特徴量を比較する。そして、定められた判定条件を満たすか判定するマッチング処理を実行する。
画像出力インタフェース109は、入力したパラレル信号である画像データを、例えば7逓倍でシリアライズし、カメラリンク等の映像信号規格に則って10対の差動信号線にのせ出力する。出力された映像信号は、外部のフレームグラバボードなどで受信され、処理される。
上記の第一の実施形態を実施するためにより一つの実施例を挙げて、具体的に各構成要素の詳細を説明する。
前述した第一の実施形態では、カメラ114から撮影されるロボットハンド113およびその背景は、部品の撮影およびその後の画像処理に有利なように黒色としていた。しかし実際の生産工場の現場などにおいては、撮影の背景に別の組立用部品が存在する場合などがありえる。したがって、撮影時にその背景を全て黒色にできるとは限らない。また、全てを黒色に設定できたとしても、外乱光の反射などにより表面が光り、明るくなる場合も考えられ、撮影の背景を黒色にできない場合があるという問題がある。
前述した第一の実施形態では、移動する部品を連続的に撮影し、照明条件が最も基準に近い画像を選択していた。
撮像素子101は、初期設定によりトリガ撮影モードに設定されており、トリガ入力を待機する。コントローラ103は、照明手段116の図9に示す発光ブロックのうち、Aブロックに調光指令を出力してAブロックを発光させた後に、撮像素子101に撮影トリガを出力して画像を撮影する。撮影が終了したら、Bブロックに調光指令を出力してBブロックを発光させた後に、撮像素子101に撮影トリガを出力して画像を撮影する。同様にして(A、B、C、D、E、F、G、H、A、B、C、・・・)の順に照明手段116の各ブロックを調光指令により発光させた後に撮像素子101へ撮影トリガを出力して画像を撮影することを繰返す。結果として、光源位置と照射角度を変化させた、照明条件の異なる画像データが連続的に撮影される。
102 レンズ
103 コントローラ
104 画像入力インタフェース
106 画像特徴量計算手段
107 メモリ
108 画像選択手段
109 画像出力インタフェース
110 メモリ
112 部品
113 ロボットハンド
114 カメラ
115 演算手段
116 照明手段
Claims (26)
- 撮像光学系の視野内の同一の対象物を撮像して得られた少なくとも2つの画像データを取得し、
前記2つの画像データのそれぞれについて、前記撮像光学系の視野内の前記対象物の少なくとも一部の明るさの違いに相関した画像特徴量を算出し、
前記2つの画像データのそれぞれの前記画像特徴量に応じて、前記2つの画像データのそれぞれに対して互いに異なる処理をする、
ことを特徴とする画像処理方法。 - 前記2つの画像データのうちの一方の画像データを取得するための撮像時と、前記2つの画像データのうちの他方の画像データを取得するための撮像時と、の間に、前記対象物が移動していることを特徴とする請求項1に記載の画像処理方法。
- 前記2つの画像データのそれぞれに対する前記処理の一方は、前記2つの画像データのうちの一方の画像データを破棄する処理を含むことを特徴とする請求項1または2に記載の画像処理方法。
- 前記2つの画像データのそれぞれに対する前記処理を、前記2つの画像データのそれぞれの画像特徴量と、前記2つの画像データを取得する前に取得しておいた基準量と、の合致度に基づいて判定することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理方法。
- 前記2つの画像データを取得した後に、前記2つの画像データのそれぞれに対して前記処理をすることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理方法。
- 前記2つの画像データのうちの一方の画像データを取得するための撮像時と、前記2つの画像データのうちの他方の画像データを取得するための撮像時と、で、前記対象物を照明する照明手段の光源位置、照射強度、照射角度、発光波長の少なくとも一つが異なる請求項1乃至5のいずれか1項に記載の画像処理方法。
- 請求項1乃至6のいずれか1項に記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
- 撮像光学系で撮像された画像の画像データを取得する演算手段を備えるシステムであって、
前記演算手段は、前記撮像光学系で撮像された2つの画像データのそれぞれについて、前記撮像光学系の視野内の対象物の少なくとも一部の明るさの違いに相関した画像特徴量を算出し、
前記演算手段は、前記2つの画像データを取得した後に、前記2つの画像データのそれぞれの前記画像特徴量に応じて、前記2つの画像データのそれぞれに対して互いに異なる処理をすることを特徴とするシステム。 - 前記2つの画像データのそれぞれに対する前記処理の一方は、前記2つの画像データのうちの一方の画像データを破棄する処理を含むことを特徴とする請求項8に記載のシステム。
- 前記2つの画像データのそれぞれに対する前記処理の他方は、前記2つの画像データのうちの他方の画像データを保存する処理を含むとともに、前記他方の画像データの前記画像特徴量を保存することを特徴とする請求項9に記載のシステム。
- 前記2つの画像データのそれぞれに対する前記処理の他方は、前記他方の画像データに基づく映像信号を生成する処理を含むことを特徴とする請求項8乃至10のいずれか1項に記載のシステム。
- 前記画像特徴量が、前記画像データにおける複数の画素の各々の明るさを示す値の和に基づく値であることを特徴とする請求項8乃至11のいずれか1項に記載のシステム。
- 前記演算手段は、前記2つの画像データのうちの一方の画像データの前記画像特徴量と、前記2つの画像データのうちの他方の画像データの前記画像特徴量と、の比較に基づいて、前記2つの画像データのそれぞれに対する前記処理を判定することを特徴とする請求項8乃至12のいずれか1項に記載のシステム。
- 前記演算手段は、前記2つの画像データそれぞれの前記画像特徴量と、前記2つの画像データを取得する前に取得しておいた基準量と、の合致度に基づいて、前記2つの画像データのそれぞれに対する前記処理を判定することを特徴とする請求項8乃至13のいずれか1項に記載のシステム。
- 前記2つの画像データのうち、前記合致度が低い方の画像データを破棄することを特徴とする請求項14に記載のシステム。
- 前記演算手段は、前記2つの画像データのそれぞれに対して互いに異なる前記処理をする前に、前記2つの画像データのそれぞれにおける前記対象物の背景の明るさに対応する情報を除去する処理を行うことを特徴とする請求項8乃至15のいずれか1項に記載のシステム。
- 前記対象物を照明する照明手段をさらに備え、
前記演算手段は、前記照明手段の光源位置、照射強度、照射角度、発光波長の少なくとも一つが、前記2つの画像データのうちの一方の画像データを取得するための撮像時と、前記2つの画像データのうちの他方の画像データを取得するための撮像時と、で異なるように、前記照明手段を制御することを特徴とする請求項8乃至16のいずれか1項に記載のシステム。 - 前記対象物を移動させる移動手段をさらに備えることを特徴とする請求項8乃至17のいずれか1項に記載のシステム。
- 前記2つの画像データのうちのいずれかの画像データを用いて、前記対象物の位置姿勢を認識することを特徴とする請求項8乃至18に記載のシステム。
- 撮像光学系と、
前記撮像光学系の視野内の対象物を照明する照明手段と、
前記撮像光学系で撮像された画像の画像データを取得する演算手段と、
を備えるシステムであって、
前記照明手段は、前記撮像光学系の視野内の前記対象物の少なくとも一部の明るさが、前記撮像光学系で撮像された2つの画像データのうちの一方の画像データを取得するための撮像時と、前記2つの画像データのうちの他方の画像データを取得するための撮像時と、で異なるように制御され、
前記演算手段は、前記撮像光学系の視野内の前記対象物の少なくとも前記一部の明るさの違いに基づいて、前記2つの画像データのそれぞれを処理することを特徴とするシステム。 - 前記演算手段は、前記2つの画像データのそれぞれに対して互いに異なる処理をすることを特徴とする請求項20に記載のシステム。
- 請求項1に記載の画像処理方法を用いた物品の生産方法であって、前記対象物が前記物品の少なくとも一部であることを特徴とする生産方法。
- 請求項8に記載のシステムを用いた物品の生産方法であって、前記対象物が前記物品の少なくとも一部であることを特徴とする生産方法。
- 請求項20に記載のシステムを用いた物品の生産方法であって、前記対象物が前記物品の少なくとも一部であることを特徴とする生産方法。
- 撮像光学系と、
前記撮像光学系で撮像した画像の画像データを取得する演算部と、
を備えるカメラであって、
前記撮像光学系の視野内の同一の対象物を撮像して前記演算部が2つの画像データを取得し、前記2つの画像データのうちの一方の画像データを取得するための撮像時における前記撮像光学系の視野内の前記対象物の少なくとも一部の明るさと、前記2つの画像データのうちの他方の画像データを取得するための撮像時における前記撮像光学系の視野内の前記対象物の少なくとも一部の明るさと、が異なる場合に、
前記演算部は、前記2つの画像データを取得するための撮像をした後に、前記一方の画像データを破棄する処理と、前記他方の画像データに基づく映像信号を前記カメラの外部に出力する処理と、を行うことを特徴とするカメラ。 - 前記撮像光学系は、撮像素子および前記撮像素子に組み合わされたレンズを含み、
前記演算部は、前記他方の画像データを保存するSDRAMと、前記SDRAMに保存された前記他方の画像データから前記映像信号を生成するインターフェースと、を含むことを特徴する請求項20に記載のカメラ。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014093086 | 2014-04-28 | ||
JP2014093086 | 2014-04-28 | ||
JP2019105604A JP2019145177A (ja) | 2014-04-28 | 2019-06-05 | 画像処理方法および撮影装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019105604A Division JP2019145177A (ja) | 2014-04-28 | 2019-06-05 | 画像処理方法および撮影装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021170404A true JP2021170404A (ja) | 2021-10-28 |
JP7476145B2 JP7476145B2 (ja) | 2024-04-30 |
Family
ID=
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09288060A (ja) * | 1996-04-19 | 1997-11-04 | Nireco Corp | 移動体画像の取込方法と装置 |
JPH11339014A (ja) * | 1998-05-28 | 1999-12-10 | Omron Corp | 検査条件決定装置、検査装置及びシャッタ速度決定装置 |
JP2008009695A (ja) * | 2006-06-29 | 2008-01-17 | Nikon Corp | ユーザ認識装置、再生装置、再生システムおよびテレビジョンセット |
JP2008275414A (ja) * | 2007-04-27 | 2008-11-13 | Optex Fa Co Ltd | 画像処理装置 |
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09288060A (ja) * | 1996-04-19 | 1997-11-04 | Nireco Corp | 移動体画像の取込方法と装置 |
JPH11339014A (ja) * | 1998-05-28 | 1999-12-10 | Omron Corp | 検査条件決定装置、検査装置及びシャッタ速度決定装置 |
JP2008009695A (ja) * | 2006-06-29 | 2008-01-17 | Nikon Corp | ユーザ認識装置、再生装置、再生システムおよびテレビジョンセット |
JP2008275414A (ja) * | 2007-04-27 | 2008-11-13 | Optex Fa Co Ltd | 画像処理装置 |
Non-Patent Citations (1)
Title |
---|
橋本 学: "顔画像認識技術", 画像ラボ 第16巻 第8号, vol. 第16巻, JPN6022035803, 2005, JP, pages 14 - 17, ISSN: 0005020658 * |
Also Published As
Publication number | Publication date |
---|---|
US10311592B2 (en) | 2019-06-04 |
US11100666B2 (en) | 2021-08-24 |
US20190206076A1 (en) | 2019-07-04 |
US20210358162A1 (en) | 2021-11-18 |
CN105049701B (zh) | 2018-11-27 |
CN105049701A (zh) | 2015-11-11 |
JP6537332B2 (ja) | 2019-07-03 |
JP2015222940A (ja) | 2015-12-10 |
US20150310599A1 (en) | 2015-10-29 |
JP2019145177A (ja) | 2019-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6537332B2 (ja) | 画像処理方法および撮影装置 | |
JP6630545B2 (ja) | 位置決め方法、位置決め装置、プログラムおよびコンピュータ可読記録媒体 | |
JP6245886B2 (ja) | 画像撮像方法及び画像撮像装置 | |
JP2017042859A (ja) | ピッキングシステム、並びに、そのための処理装置、方法及びプログラム | |
JP2017096749A (ja) | 位置決め方法、外観検査装置、プログラム、コンピュータ可読記録媒体および外観検査方法 | |
JP2019100917A (ja) | 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム | |
JP2016186469A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP5342413B2 (ja) | 画像処理方法 | |
CN102741881B (zh) | 布料制品识别装置和布料制品抓持系统 | |
JP2017045166A (ja) | ワークの処理方法、基準画像の作成方法、基準画像の作成装置、ワークの処理装置、プログラム、及び記録媒体 | |
JP2014240763A (ja) | ワーク表面欠陥検査装置 | |
CN109945794B (zh) | 图像处理系统、计算机可读记录介质及图像处理方法 | |
JP6771905B2 (ja) | 検査装置、検査方法及び物品の製造方法 | |
JP2011174896A (ja) | 撮像装置及び撮像方法 | |
JP7476145B2 (ja) | 画像処理方法および撮影装置 | |
JP2021026599A (ja) | 画像処理システム | |
US20180130230A1 (en) | Recognition apparatus, determination method, and article manufacturing method | |
JP6939501B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP5342977B2 (ja) | 画像処理方法 | |
WO2020124460A1 (zh) | 图像获取方法及系统 | |
TWI481814B (zh) | 三維測定裝置 | |
JP5757157B2 (ja) | 検出対象物について頭部分の位置および軸部分の方向を算出する方法、装置およびプログラム | |
JP7151873B2 (ja) | 検査装置 | |
JP5778685B2 (ja) | ボールグリッドアレイデバイスの位置合わせ及び検査のためのシステム及び方法 | |
JP5947168B2 (ja) | 外観検査装置、外観検査装置の制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220804 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221025 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230221 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230221 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230302 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230314 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230331 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20230404 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230821 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |