JP2018151830A - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2018151830A
JP2018151830A JP2017047271A JP2017047271A JP2018151830A JP 2018151830 A JP2018151830 A JP 2018151830A JP 2017047271 A JP2017047271 A JP 2017047271A JP 2017047271 A JP2017047271 A JP 2017047271A JP 2018151830 A JP2018151830 A JP 2018151830A
Authority
JP
Japan
Prior art keywords
template
image
viewpoint
feature amount
reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017047271A
Other languages
English (en)
Other versions
JP6684475B2 (ja
Inventor
嘉典 小西
Yoshinori Konishi
嘉典 小西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2017047271A priority Critical patent/JP6684475B2/ja
Priority to CN201810141478.4A priority patent/CN108573471B/zh
Priority to EP18000142.2A priority patent/EP3376433B1/en
Priority to US15/902,332 priority patent/US10713530B2/en
Publication of JP2018151830A publication Critical patent/JP2018151830A/ja
Application granted granted Critical
Publication of JP6684475B2 publication Critical patent/JP6684475B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/52Scale-space analysis, e.g. wavelet analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

【課題】視点毎に最適な解像度を有する縮小画像を用いて物体認識処理を実行することができる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】画像処理装置の機能構成において、認識対象の物体の3次元形状を表す3次元データを用いて、複数の視点から見た物体の2次元画像を生成し、視点毎に縮小率を決定する縮小率決定部202と、生成した各視点の2次元画像を、その視点に対して決定した縮小率を用いて縮小し、縮小した画像から特徴量を算出してテンプレートを作成するテンプレート作成部203と、視点毎に、テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力するテンプレート情報出力部204とを備える。【選択図】図3

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。
画像から対象物を検出する方法の一つにテンプレートマッチングと呼ばれる手法がある。テンプレートマッチングの基本処理は、検出対象となる物体のテンプレートを予め用意しておき、入力画像とテンプレートとの間の画像特徴の一致度を評価することで、画像中の物体の位置や姿勢を検出するというものである。テンプレートマッチングによる物体検出は、例えばFA(Factory Automation)における検査やピッキング、ロボット・ビジョン・監視カメラ等様々な分野で実用されている。最近は、画像の高画像度化や、動画像に対するリアルタイム処理の要請等から、テンプレートマッチングのさらなる高速化が求められている。
そこで、テンプレートマッチングにおいて精度の高い認識結果を維持しながら処理速度の高速化を図るために、検出対象となる物体の基準画像と入力画像を同一比率で縮小し、縮小画像間で画像特徴の一致度を評価することが行われている(例えば、特許文献1)。
特許第3066173号公報
従来は、特定の縮小率を設定して、テンプレートマッチングを行っていた。ここで、3次元での物体認識において、同一の物体であっても視点によって大きく見え方が異なる場合、大きく見える視点に合わせて縮小率を高く設定すると、小さく見える視点でのテンプレートは解像度が低くなる。そのため、小さく見える視点でのテンプレートについて、最適な数の特徴点を抽出することができず、認識精度の低下につながる。一方、小さく見える視点に合わせて縮小率を低く設定すると、大きく見える視点でのテンプレートは必要以上に解像度が高くなる。そのため、大きく見える視点でのテンプレートについて照合すべき特徴点が多くなり、処理速度の低下につながる。
そこで、本発明は、視点毎に最適な解像度を有する縮小画像を用いて物体認識処理を実行することができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
本発明の一態様に係る画像処理装置は、認識対象の物体の3次元形状を表す3次元データを用いて、複数の視点から見た物体の2次元画像を生成し、視点毎に縮小率を決定する縮小率決定部と、生成した各視点の2次元画像を、その視点に対して決定した縮小率を用いて縮小し、縮小した画像から特徴量を算出してテンプレートを作成するテンプレート作成部と、視点毎に、テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力するテンプレート情報出力部とを備える。
この態様によれば、1つの物体に対して視点毎に縮小率を決定することにより、視点によって大きく見え方が異なる物体の物体認識処理において、認識精度を低下させることなく、CPU(中央演算処理装置)の処理速度の高速化を図ることができる。
上記画像処理装置において、縮小率決定部は、各視点のテンプレートに含まれる特徴点の数、又は、各視点の縮小した画像に含まれる物体の面積に基づいて、縮小率を決定してもよい。この態様によれば、視点毎の認識精度及び処理速度がばらつくことを防ぐことができる。視点毎の認識精度のばらつきを防ぐことにより、例えば、認識結果を用いた後続の処理において、物体の姿勢に影響されることなく一定の処理を行うことができ、後続の処理においても精度の向上及び処理の高速化を図ることができる。また、視点毎の処理速度のばらつきを防ぐことにより、例えば、視点毎の認識処理を並列処理として実行する場合に、複数のCPUへの処理の割り当てを効率的に無駄なく行うことができる。
上記画像処理装置において、縮小率決定部は、各視点に対して決定した縮小率を統合してもよい。この態様によれば、物体認識処理時の画像縮小処理や特徴量の算出処理等が共通化され、CPUの処理速度の更なる高速化を図ることができる。
上記画像処理装置において、縮小率決定部は、既定となる視点を設定し、既定となる視点との位置関係が所定の条件を満たす視点について、既定となる視点と同一グループにグループ分けし、同一グループの視点に同一の縮小率を設定することで縮小率を統合してもよい。この態様によれば、縮小率を統合する際に、物体の形状に即したグループ分けを容易に行うことができ、CPUへの負荷を減らすことができる。
上記画像処理装置において、入力画像を取得する画像取得部と、取得した入力画像を、テンプレート情報出力部が出力した複数の縮小率を用いて縮小し、複数の縮小入力画像を生成する画像縮小部と、生成した各縮小入力画像において、特徴量を算出する特徴量算出部であって、特徴量は、テンプレート作成部が算出したものと同種の特徴量である、特徴量算出部と、テンプレートと、当該テンプレートに関連付けられた縮小率の縮小入力画像において特徴量算出部が算出した特徴量とに基づいて縮小入力画像において物体の位置を探索して、複数の照合結果を得るテンプレートマッチング部と、複数の照合結果を統合した認識結果を出力する認識結果出力部とを更に備えてもよい。
この態様によれば、視点によって大きく見え方が異なる物体について、認識精度を低下させることなく、CPUの処理速度の高速化を図りながら、物体認識処理を実行することができる。また、複数の照合結果を統合した認識結果を出力することにより、例えば、認識結果を用いた後続の処理において、物体が認識された位置を考慮した効率的な動作を実行させることができる。
上記画像処理装置において、照合結果は、縮小入力画像中に認識された物体の座標、及び当該座標ごとに縮小入力画像とテンプレートとの間の画像特徴の一致度を示す照合スコアを含み、認識結果出力部は、同一の座標に異なる照合結果が出力される場合、最も高い照合スコアを有するテンプレートが当該座標上に認識されたと決定して、認識結果を出力してもよい。この態様によれば、1つの物体に対して視点毎に縮小率が決定される態様において、同一の座標に異なる照合結果が出力される場合に対処し得る。
本発明の他の態様に係るコンピュータが実行する画像処理方法は、認識対象の物体の3次元形状を表す3次元データを用いて、複数の視点から見た物体の2次元画像を生成する工程と、視点毎に縮小率を決定する工程と、生成した各視点の2次元画像を、その視点に対して決定した縮小率を用いて縮小し、縮小画像を生成する工程と、縮小画像から特徴量を算出してテンプレートを作成する工程と、視点毎に、テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力する工程とを含む。
上記画像処理方法において、入力画像を取得する工程と、取得した入力画像を、出力した複数の縮小率を用いて縮小し、複数の縮小入力画像を生成する工程と、生成した各縮小入力画像において、特徴量を算出する工程であって、特徴量は、テンプレートの作成に用いた特徴量と同種の特徴量である、工程と、テンプレートと、当該テンプレートに関連付けられた縮小率の縮小入力画像において算出した特徴量とに基づいて縮小入力画像において物体の位置を探索して、複数の照合結果を得る工程と、複数の照合結果を統合した認識結果を出力する工程とを更に含んでもよい。
本発明の他の態様に係るプログラムは、コンピュータに、認識対象の物体の3次元形状を表す3次元データを用いて、複数の視点から見た物体の2次元画像を生成する処理と、視点毎に縮小率を決定する処理と、生成した各視点の2次元画像を、その視点に対して決定した縮小率を用いて縮小し、縮小画像を生成する処理と、縮小画像から特徴量を算出してテンプレートを作成する処理と、視点毎に、テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力する処理とを実行させる。
上記プログラムにおいて、コンピュータに、入力画像を取得する処理と、取得した入力画像を、出力した複数の縮小率を用いて縮小し、複数の縮小入力画像を生成する処理と、生成した各縮小入力画像において、特徴量を算出する処理であって、特徴量は、テンプレートの作成に用いた特徴量と同種の特徴量である、処理と、テンプレートと、当該テンプレートに関連付けられた縮小率の縮小入力画像において算出した特徴量とに基づいて縮小入力画像において物体の位置を探索して、複数の照合結果を得る処理と、複数の照合結果を統合した認識結果を出力する処理とを更に実行させてもよい。
本発明によれば、1つの物体に対して視点毎に最適な縮小率を設定することで、視点毎に最適な解像度を有する縮小画像を用いて物体認識処理を実行することができる画像処理装置、画像処理方法及びプログラムを提供することができる。
物体認識装置の全体構成を示す図である。 物体認識装置のハードウェア構成を示す図である。 画像処理装置の機能構成を示す図である。 テンプレート作成装置によって実行されるテンプレート登録処理の流れを示すフローチャートである。 (a)カメラから取得される入力画像、(b)複数の視点から見た物体の2次元画像を生成する概念図、(c)特定の視点から見た物体の2次元画像、(d)特定の視点から見た物体の2次元画像、をそれぞれ例示する図である。 物体認識処理装置によって実行される物体認識処理の流れを示すフローチャートである。
添付図面を参照して、本発明の好適な実施形態について説明する。なお、以下の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施形態を採用することが可能であり、係る実施形態も本発明の範囲に含まれる。
(物体認識装置の全体構成)
図1を参照して、本発明の実施形態に係る物体認識装置の全体構成及び適用場面について説明する。
物体認識装置1は、生産ライン等に設置され、カメラ11から取り込まれた画像を用いてトレイ3内の物体2の認識を行うシステムである。トレイ3には、認識対象の物体2がバラ積みされている。物体認識装置1は、カメラ11から所定の時間間隔で画像を取り込み、画像処理装置10によって画像に含まれる各物体2の位置及び姿勢を認識する処理を実行し、その結果をPLC(プログラマブルロジックコントローラ)4やディスプレイ12等に出力する。物体認識装置1の出力である認識結果は、例えば、ピッキング・ロボットの制御、加工装置や印字装置の制御、物体2の検査や計測等に利用される。
(ハードウェア構成)
図2を参照して、物体認識装置1のハードウェア構成を説明する。物体認識装置1は、概して、カメラ11と画像処理装置10から構成される。
カメラ11は、物体2のデジタル画像を画像処理装置10に取り込むための撮像デバイスであり、例えばCMOS(Complementary Metal-Oxide-Semiconductor)カメラやCCD(Charge-Coupled Device)カメラを好適に用いることができる。解像度、カラー/モノクロ、静止画像/動画、階調、データ形式等の入力画像の形式は任意であり、物体2の種類やセンシングの目的に合わせて適宜選択することができる。X線画像やサーモ画像等、可視光像以外の特殊な画像を物体認識や検査に利用する場合には、その画像に合わせたカメラを用いてもよい。
画像処理装置10は、ハードウェアプロセッサに相当するCPU110と、ワークメモリとして用いられるメインメモリ112と、固定記憶部であるハードディスク114と、カメラインターフェイス116と、入力インターフェイス118と、表示コントローラ120と、PLCインターフェイス122と、通信インターフェイス124と、データリーダ/ライタ126とを含む。これらの各部は、バス128を介して、互いにデータ通信可能に接続されている。
カメラインターフェイス116は、CPU110とカメラ11との間のデータ伝送を仲介する部分であり、カメラ11からの画像データを一時的に蓄積するための画像バッファ116aを有している。入力インターフェイス118は、CPU110と入力部との間のデータ伝送を仲介する。入力部には、マウス13、キーボード、タッチパネル、ジョグコントローラ等が含まれる。表示コントローラ120は、液晶モニタ等のディスプレイ12に接続され、当該ディスプレイでの表示を制御する。PLCインターフェイス122は、CPU110とPLC4との間のデータ伝送を仲介する。通信インターフェイス124は、CPU110とコンソール、あるいはパーソナルコンピュータやサーバ装置等との間のデータ伝送を仲介する。データリーダ/ライタ126は、CPU110と記録媒体であるメモリカード14との間のデータ伝送を仲介する。
画像処理装置10は、汎用的なアーキテクチャを有するコンピュータで構成可能であり、CPU110が、ハードディスク114又はメモリカード14に格納されたプログラムを読み込み、実行することで、各種機能を提供する。このようなプログラムは、メモリカード14や光ディスク等のコンピュータ読取可能な記録媒体に格納された状態で流通するか、インターネット等を通じて提供される。なお、本実施形態に係るプログラムは単体のアプリケーションプログラムとして提供されてもよいし、他のプログラムの一部に組み込まれるモジュールとして提供されてもよい。また、その機能の一部又は全部がASIC等の専用回路で代替されてもよい。
(機能構成)
図3に、画像処理装置10の機能構成を示す。画像処理装置10は、テンプレート作成装置20としての機能部と、物体認識処理装置30としての機能部と、記憶装置40とを備える。
テンプレート作成装置20は、物体認識処理で利用するテンプレートを作成する機能部である。テンプレート作成装置20によって作成されたテンプレートは、記憶装置40のテンプレートデータベース(DB)401に登録される。物体認識処理装置30は、カメラ11から取り込まれた画像に対しテンプレートDB401に登録されたテンプレートを用いてテンプレートマッチングを実行することで、画像中の物体を認識する機能部である。
ここで、本明細書に記載のテンプレートは、認識対象の物体2の画像特徴を表すデータである。テンプレートには任意の形式を用いることができ、例えば、画像中の複数の特徴点の特徴量を記述した配列形式を用いることができる。なお、特徴点とは、画像の中の物体の境界、物体の輪郭線の屈折部および屈曲部など、予め定められた特徴を示す画像座標上の位置である。
テンプレート作成装置20は、3次元データ取得部201、縮小率決定部202、テンプレート作成部203及びテンプレート情報出力部204を備えている。
3次元データ取得部201は、認識対象の物体2の3次元形状を表す3次元データを取得する。3次元データ取得部201は、認識対象の物体2を立体図形として認識可能な任意の3次元データを取得することができ、本実施形態では、3次元CADデータを取得するものとする。3次元データ取得部201は、外部の3次元CADサーバ等から3次元CADデータを取得することもできるし、記憶装置40から3次元CADデータを取得することもできる。
縮小率決定部202は、3次元データ取得部201が取得した3次元データを用いて、複数の視点から見た物体2の2次元画像を生成し、視点毎に最適な縮小率を決定する。縮小率が高いほど処理の高速化が図れる一方、前述したように、縮小率を高くしすぎると認識精度の低下につながる。したがって、処理速度及び認識精度のトレードオフを考慮した適切な縮小率が視点毎に存在する。本実施形態では、縮小率決定部202は、各視点のテンプレートに含まれる特徴点の数が所定の数以上となるように、及び/又は、各視点の縮小した画像に含まれる物体2の面積が一定になるように縮小率を決定することができる。
縮小率決定部202は、また、各視点に対して決定した縮小率を統合することができる。例えば、縮小率決定部202は、グループ内の縮小率のばらつきが所定の閾値以下となるように、複数の視点の縮小率をグループ分けし、グループ毎に縮小率を決定することができる。グループ内の縮小率のばらつきの値は、例えば、縮小率の標準偏差や分散等により示される。縮小率決定部202は、k−means法等の任意のクラスタリングアルゴリズムを用いて、複数の視点のグループ分けを行うことができる。
縮小率を統合する別の方法として、例えば、縮小率決定部202は、視点位置が近い場合には見え方も似ているという傾向を利用して、既定となる視点から所定の範囲内の視点については縮小率1を、他の既定となる視点から所定の範囲内の視点については縮小率2を、という具合に、視点位置によって縮小率を決定することもできる。
各グループの縮小率については、縮小率決定部202は、例えば、グループ内の縮小率の平均値、中央値、最頻値等として決定することができる。このようにすることで、後述の物体認識処理装置30による画像縮小処理や特徴量の算出処理等が共通化され、処理速度の高速化を図ることができる。
テンプレート作成部203は、縮小率決定部202が生成した各視点の2次元画像を、その視点に対して決定した縮小率を用いて縮小し、縮小した画像から特徴量を算出してテンプレートを作成する。なお、テンプレート作成時に行われる特徴点の検出及び特徴量の算出については公知の任意の手法を利用できるため、本明細書では詳しい説明を省略する。
特徴量としては、例えば、ピクセル値(輝度)、輝度勾配方向、量子化勾配方向、Hog(Histograms of Oriented Gradients)、HAAR−Like、SIFT(Scale-Invariant Feature Transform)等を用いることができる。輝度勾配方向とは、特徴点を中心とする局所領域での輝度の勾配の方向(角度)を連続値で表すものであり、量子化勾配方向とは、特徴点を中心とする局所領域での輝度の勾配の方向を離散値で表す(例えば、8方向を0〜7の1バイトの情報で保持する)ものである。
テンプレート情報出力部204は、視点毎に、テンプレート作成部203が作成したテンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて、記憶装置のテンプレートDB401に登録する。
物体認識処理装置30は、画像取得部301、画像縮小部302、特徴量算出部303、テンプレートマッチング部304及び認識結果出力部305を備えている。
画像取得部301は、カメラ11から入力画像を取得する。画像縮小部302は、画像取得部301が取得した入力画像を、記憶装置40のテンプレートDB401に登録されている各縮小率を用いて縮小し、テンプレートDB401に登録されている縮小率の数分の縮小入力画像を生成する。
特徴量算出部303は、画像縮小部302が生成した各縮小入力画像において、特徴量を算出する。ここで算出される特徴量は、テンプレート作成時にテンプレート作成部203が算出したものと同種の特徴量である。
テンプレートマッチング部304は、テンプレートDB401に登録されているテンプレートと、当該テンプレートに関連付けられた縮小率の縮小入力画像において特徴量算出部303が算出した特徴量とに基づいて縮小入力画像において物体2の位置を探索して、複数の照合結果を得る。すなわち、テンプレートマッチング部304は、テンプレートDB401に登録されているテンプレートの数分だけ、探索処理を行う。本実施形態では、テンプレートDBにおいて登録されている全てのテンプレートについて、縮小入力画像中に認識された物体2の座標、及び当該座標ごとに縮小入力画像とテンプレートとの間の画像特徴の一致度を示す照合スコアを照合結果として得る。
認識結果出力部305は、テンプレートマッチング部304が得た複数の照合結果を統合して、最終的な認識結果を出力する。本実施形態では、認識結果出力部305は、縮小入力画像中の座標を元の入力画像中の座標に変換し、同一の座標に異なる照合結果が出力される場合、最も高い照合スコアを有するテンプレートが当該座標上に認識されたと決定して、認識結果を出力する。
記憶装置40は、テンプレートDB401を備えている。テンプレートDB401には、各視点のテンプレートと、当該テンプレートの縮小率とが関連付けて格納されている。前述したように、縮小率決定部202は、各視点に対して決定した縮小率を統合することができるので、テンプレートDB401には、同一の縮小率を有する複数のテンプレートが存在し得る。
(テンプレート登録処理)
次に、図4のフローチャートに沿って、テンプレート作成装置20によって実行されるテンプレート登録処理について説明する。なお、図4に示すテンプレート登録処理は、画像処理装置10を新たに設置した際や、認識対象の物体2が変更になった際に実行される。本実施形態では、図5(a)に示される物体2の物体認識処理を行うためのテンプレートを登録するものとする。図5(a)に示されるように、入力画像中には複数の物体2が含まれており、各物体2の位置及び姿勢は任意である。
ステップS401において、テンプレート作成装置20の3次元データ取得部201は、認識対象の物体2の3次元データを取得する。例えば、本実施形態では、3次元データ取得部201は、外部の3次元CADサーバから3次元CADデータを取得する。
次に、ステップS402において、テンプレート作成装置20の縮小率決定部202は、3次元データ取得部201が取得した3次元データを用いて、複数の視点から見た物体の2次元画像を生成する。本実施形態では、縮小率決定部202は、3次元CADデータを用いて、例えば、図5(b)に示されるように、物体2を包含する多面体501の各頂点から見た物体2の2次元画像を生成する。図5(c)に、矢印502により示される真上から見た物体2の2次元画像、図5(d)に、矢印503により示される真横から見た物体の2次元画像を示す。
続いて、S403において、縮小率決定部202は、S402で生成した各視点の2次元画像について、視点毎に最適な縮小率を決定する。本実施形態では、縮小率決定部202は、各視点のテンプレートに含まれる特徴点の数、又は、各視点の縮小した画像に含まれる物体2の面積に基づいて、縮小率を決定することができる。
さらに、S404において、縮小率決定部202は、各視点に対して決定した縮小率を統合する。例えば、本実施形態では、縮小率決定部202は、任意の既定となる視点を設定し、既定となる視点との位置関係が所定の条件を満たす視点について、既定となる視点と同一グループにグループ分けを行う。そして、縮小率決定部202は、同一グループの視点に同一の縮小率を設定することで、縮小率を統合する。具体的には、例えば、縮小率決定部202は、既定となる視点として矢印502により示される真上の頂点504からの視点、及び矢印503により示される真横の頂点505からの視点を設定する。縮小率決定部202は、特定の既定の視点、多面体501の中心、ある視点1の3点により構成される角度が20度以内の場合に、この視点1を既定となる視点と同一グループにグループ分けし、同一グループの視点に既定となる視点の縮小率を設定する。
その後、S405において、テンプレート作成装置20のテンプレート作成部203は、縮小率決定部202が生成した各視点の2次元画像を、S403又はS404においてその視点に対して決定した縮小率を用いて縮小し、S406において、縮小した画像から特徴量を算出してテンプレートを作成する。本実施形態では、テンプレート作成部203は、縮小率決定部202が生成した各視点の2次元画像を、S403又はS404においてその視点に対して決定した縮小率を用いて縮小し、縮小した画像から量子化勾配方向を算出してテンプレートを作成する。
最後に、S407において、テンプレート作成装置20のテンプレート情報出力部204は、視点毎に、テンプレート作成部203が作成したテンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて、記憶装置40のテンプレートDB401に登録する。本実施形態では、テンプレート作成部203は、視点毎に、S406で算出した複数の特徴点の量子化勾配方向を記述した配列形式のデータを、縮小率と関連付けて登録する。
(物体認識処理)
次に、図6のフローチャートに沿って、物体認識処理装置30によって実行される物体認識処理について説明する。
ステップS601において、物体認識処理装置30の画像取得部301は、カメラ11から入力画像を取得する。次に、ステップS602において、物体認識処理装置30の画像縮小部302は、画像取得部301が取得した入力画像を、記憶装置40のテンプレートDB401に登録されている各縮小率を用いて縮小し、テンプレートDB401に登録されている縮小率の数分の縮小入力画像を生成する。
続いて、ステップS603において、物体認識処理装置30の特徴量算出部303は、画像縮小部302が生成した各縮小入力画像において、特徴量を算出する。ここで算出される特徴量は、テンプレート作成時にテンプレート作成部203が算出したものと同種の特徴量であり、本実施形態では、量子化勾配方向である。
その後、ステップS604において、物体認識処理装置30のテンプレートマッチング部304は、テンプレートDB401に登録されているテンプレートと、当該テンプレートに関連付けられた縮小率の縮小入力画像において特徴量算出部303が算出した特徴量とに基づいて縮小入力画像において物体2の位置を探索して、複数の照合結果を得る。すなわち、テンプレートマッチング部304は、テンプレートDB401に登録されているテンプレートの数分だけ、探索処理を行う。本実施形態では、テンプレートDBにおいて登録されている全てのテンプレートについて、縮小入力画像中に認識された物体2の座標、及び当該座標ごとに縮小入力画像とテンプレートとの間の画像特徴の一致度を示す照合スコアを照合結果として得る。
最後に、ステップS605において、物体認識処理装置30の認識結果出力部305は、テンプレートマッチング部304が得た複数の照合結果を統合して、最終的な認識結果を出力する。本実施形態では、認識結果出力部305は、縮小入力画像中の座標を元の入力画像中の座標に変換し、同一の座標に異なる照合結果が出力される場合、最も高い照合スコアを有するテンプレートが当該座標上に認識されたと決定して、認識結果を出力する。
なお、本発明は、テンプレートマッチングの具体的な手法を限定するものではなく、物体認識処理装置30は、テンプレートマッチングの任意の手法を採用することができる。本実施形態では、物体認識処理装置30は、量子化勾配方向に基づいて物体認識処理を行っているが、他の特徴量に基づいて物体認識処理を行うこともできるし、輝度や色等、画素値そのものを用いて物体認識処理を行うこともできる。テンプレート作成装置20は、物体認識処理装置30が採用するテンプレートマッチングに応じたテンプレートを作成する必要があることは、当業者であれば容易に理解される。また、粗密探索等の高速化のためのアルゴリズムは任意のものを適用することができる。
また、本明細書において説明した各処理を実施するプログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、画像処理装置10に、上記プログラムをインストールすることができる。ここで、上記プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体は特に限定されないが、例えば、CD−ROM等の記録媒体であっても良い。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記1)
少なくとも1つのメモリと、前記メモリと接続された少なくとも1つのハードウェアプロセッサとを備え、
前記ハードウェアプロセッサが、
認識対象の物体の3次元形状を表す3次元データを用いて、複数の視点から見た前記物体の2次元画像を生成し、視点毎に縮小率を決定し、
生成した各視点の前記2次元画像を、その視点に対して決定した前記縮小率を用いて縮小し、前記縮小した画像から特徴量を算出してテンプレートを作成し、
視点毎に、前記テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力する、
画像処理装置。
(付記2)
少なくとも1つ以上のハードウェアプロセッサによって、認識対象の物体の3次元形状を表す3次元データを用いて、複数の視点から見た前記物体の2次元画像を生成し、
前記ハードウェアプロセッサによって、視点毎に縮小率を決定し、
前記ハードウェアプロセッサによって、生成した各視点の前記2次元画像を、その視点に対して決定した前記縮小率を用いて縮小し、縮小画像を生成し、
前記ハードウェアプロセッサによって、前記縮小画像から特徴量を算出して、テンプレートを作成し、
前記ハードウェアプロセッサによって、視点毎に、テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力する、
画像処理方法。
1…物体認識装置、2…物体、3…トレイ、4…PLC、10…画像処理装置、11…カメラ、12…ディスプレイ、13…マウス、14…メモリカード、112…メインメモリ、114…ハードディスク、116…カメラインターフェイス、116a…画像バッファ、118…入力インターフェイス、120…表示コントローラ、122…インターフェイス、124…通信インターフェイス、126…ライタ、128…バス、20…テンプレート作成装置、201…3次元データ取得部、202…縮小率決定部、203…テンプレート作成部、204…テンプレート情報出力部、30…物体認識処理装置、301…画像取得部、302…画像縮小部、303…特徴量算出部、304…テンプレートマッチング部、305…認識結果出力部、40…記憶装置、401…テンプレートDB、501…多面体、502…矢印、503…矢印、504…真上の頂点、505…真横の頂点

Claims (10)

  1. 認識対象の物体の3次元形状を表す3次元データを用いて、複数の視点から見た前記物体の2次元画像を生成し、視点毎に縮小率を決定する縮小率決定部と、
    生成した各視点の前記2次元画像を、その視点に対して決定した前記縮小率を用いて縮小し、前記縮小した画像から特徴量を算出してテンプレートを作成するテンプレート作成部と、
    視点毎に、前記テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力するテンプレート情報出力部と
    を備えた画像処理装置。
  2. 前記縮小率決定部は、各視点の前記テンプレートに含まれる特徴点の数、又は、各視点の前記縮小した画像に含まれる前記物体の面積に基づいて、前記縮小率を決定する、請求項1に記載の画像処理装置。
  3. 前記縮小率決定部は、各視点に対して決定した前記縮小率を統合する、請求項1又は2に記載の画像処理装置。
  4. 前記縮小率決定部は、既定となる視点を設定し、前記既定となる視点との位置関係が所定の条件を満たす視点について、前記既定となる視点と同一グループにグループ分けし、同一グループの視点に同一の縮小率を設定することで前記縮小率を統合する、請求項3に記載の画像処理装置。
  5. 入力画像を取得する画像取得部と、
    取得した前記入力画像を、前記テンプレート情報出力部が出力した複数の縮小率を用いて縮小し、複数の縮小入力画像を生成する画像縮小部と、
    生成した各縮小入力画像において、特徴量を算出する特徴量算出部であって、前記特徴量は、前記テンプレート作成部が算出したものと同種の特徴量である、特徴量算出部と、
    前記テンプレートと、当該テンプレートに関連付けられた縮小率の縮小入力画像において前記特徴量算出部が算出した特徴量とに基づいて前記縮小入力画像における前記物体の位置を探索して、複数の照合結果を得るテンプレートマッチング部と、
    前記複数の照合結果を統合した認識結果を出力する認識結果出力部と
    を更に備えた請求項1から4のいずれか一項に記載の画像処理装置。
  6. 前記照合結果は、前記縮小入力画像中に認識された前記物体の座標、及び当該座標ごとに前記縮小入力画像と前記テンプレートとの間の画像特徴の一致度を示す照合スコアを含み、
    前記認識結果出力部は、同一の座標に異なる照合結果が出力される場合、最も高い照合スコアを有するテンプレートが当該座標上に認識されたと決定して、前記認識結果を出力する、請求項5に記載の画像処理装置。
  7. コンピュータが実行する画像処理方法であって、
    認識対象の物体の3次元形状を表す3次元データを用いて、複数の視点から見た前記物体の2次元画像を生成する工程と、
    視点毎に縮小率を決定する工程と、
    生成した各視点の前記2次元画像を、その視点に対して決定した前記縮小率を用いて縮小し、縮小画像を生成する工程と、
    前記縮小画像から特徴量を算出して、テンプレートを作成する工程と、
    視点毎に、テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力する工程と
    を含む画像処理方法。
  8. 入力画像を取得する工程と、
    取得した前記入力画像を、前記出力した複数の縮小率を用いて縮小し、複数の縮小入力画像を生成する工程と、
    生成した各縮小入力画像において、特徴量を算出する工程であって、前記特徴量は、前記テンプレートの作成に用いた特徴量と同種の特徴量である、工程と、
    前記テンプレートと、当該テンプレートに関連付けられた縮小率の縮小入力画像において算出した特徴量とに基づいて前記縮小入力画像における前記物体の位置を探索して、複数の照合結果を得る工程と、
    前記複数の照合結果を統合した認識結果を出力する工程と
    を更に含む請求項7に記載の画像処理方法。
  9. コンピュータに、
    認識対象の物体の3次元形状を表す3次元データを用いて、複数の視点から見た前記物体の2次元画像を生成する処理と、
    視点毎に縮小率を決定する処理と、
    生成した各視点の前記2次元画像を、その視点に対して決定した前記縮小率を用いて縮小し、縮小画像を生成する処理と、
    前記縮小画像から特徴量を算出して、テンプレートを作成する処理と、
    視点毎に、テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力する処理と
    を実行させるプログラム。
  10. 前記コンピュータに、
    入力画像を取得する処理と、
    取得した前記入力画像を、前記出力した複数の縮小率を用いて縮小し、複数の縮小入力画像を生成する処理と、
    生成した各縮小入力画像において、特徴量を算出する処理であって、前記特徴量は、前記テンプレートの作成に用いた特徴量と同種の特徴量である、処理と、
    前記テンプレートと、当該テンプレートに関連付けられた縮小率の縮小入力画像において算出した特徴量とに基づいて前記縮小入力画像における前記物体の位置を探索して、複数の照合結果を得る処理と、
    前記複数の照合結果を統合した認識結果を出力する処理と
    を更に実行させる請求項9に記載のプログラム。
JP2017047271A 2017-03-13 2017-03-13 画像処理装置、画像処理方法及びプログラム Active JP6684475B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017047271A JP6684475B2 (ja) 2017-03-13 2017-03-13 画像処理装置、画像処理方法及びプログラム
CN201810141478.4A CN108573471B (zh) 2017-03-13 2018-02-11 图像处理装置、图像处理方法以及记录介质
EP18000142.2A EP3376433B1 (en) 2017-03-13 2018-02-14 Image processing apparatus, image processing method, and image processing program
US15/902,332 US10713530B2 (en) 2017-03-13 2018-02-22 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017047271A JP6684475B2 (ja) 2017-03-13 2017-03-13 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2018151830A true JP2018151830A (ja) 2018-09-27
JP6684475B2 JP6684475B2 (ja) 2020-04-22

Family

ID=61226360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017047271A Active JP6684475B2 (ja) 2017-03-13 2017-03-13 画像処理装置、画像処理方法及びプログラム

Country Status (4)

Country Link
US (1) US10713530B2 (ja)
EP (1) EP3376433B1 (ja)
JP (1) JP6684475B2 (ja)
CN (1) CN108573471B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6554900B2 (ja) * 2015-04-28 2019-08-07 オムロン株式会社 テンプレート作成装置及びテンプレート作成方法
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
KR102035531B1 (ko) * 2017-09-26 2019-10-24 네이버웹툰 주식회사 대표 이미지 생성
USD959476S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
USD959477S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
USD959447S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
US11205296B2 (en) * 2019-12-20 2021-12-21 Sap Se 3D data exploration using interactive cuboids

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060233423A1 (en) * 2005-04-19 2006-10-19 Hesam Najafi Fast object detection for augmented reality systems
JP2008305059A (ja) * 2007-06-06 2008-12-18 Yaskawa Information Systems Co Ltd 物体認識装置および物体認識方法
JP2015045919A (ja) * 2013-08-27 2015-03-12 トヨタ自動車株式会社 画像認識方法及びロボット
WO2015136709A1 (ja) * 2014-03-14 2015-09-17 オムロン株式会社 画像処理装置、画像センサ、画像処理方法
JP2016207147A (ja) * 2015-04-28 2016-12-08 オムロン株式会社 テンプレート作成装置及びテンプレート作成方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3066173B2 (ja) 1992-03-18 2000-07-17 三洋電機株式会社 パターンマッチング方法
JP3943975B2 (ja) * 2002-03-29 2007-07-11 キヤノン株式会社 情報処理方法および装置
JP2006113807A (ja) * 2004-10-14 2006-04-27 Canon Inc 多視点画像の画像処理装置および画像処理プログラム
CN100583127C (zh) * 2008-01-14 2010-01-20 浙江大学 一种基于模板匹配的视点无关的人体动作识别方法
JP5774889B2 (ja) * 2011-03-31 2015-09-09 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP5581452B2 (ja) * 2011-09-29 2014-08-27 富士フイルム株式会社 視差量調整装置およびその動作制御方法
JP2015026117A (ja) * 2013-07-24 2015-02-05 キヤノン株式会社 画像処理方法、画像処理装置、プログラム及び記録媒体
WO2015073590A2 (en) * 2013-11-12 2015-05-21 Smart Picture Technology, Inc. Collimation and homogenization system for an led luminaire
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP6331517B2 (ja) * 2014-03-13 2018-05-30 オムロン株式会社 画像処理装置、システム、画像処理方法、および画像処理プログラム
JP6740033B2 (ja) * 2016-06-28 2020-08-12 キヤノン株式会社 情報処理装置、計測システム、情報処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060233423A1 (en) * 2005-04-19 2006-10-19 Hesam Najafi Fast object detection for augmented reality systems
JP2008305059A (ja) * 2007-06-06 2008-12-18 Yaskawa Information Systems Co Ltd 物体認識装置および物体認識方法
JP2015045919A (ja) * 2013-08-27 2015-03-12 トヨタ自動車株式会社 画像認識方法及びロボット
WO2015136709A1 (ja) * 2014-03-14 2015-09-17 オムロン株式会社 画像処理装置、画像センサ、画像処理方法
JP2016207147A (ja) * 2015-04-28 2016-12-08 オムロン株式会社 テンプレート作成装置及びテンプレート作成方法

Also Published As

Publication number Publication date
US10713530B2 (en) 2020-07-14
EP3376433A1 (en) 2018-09-19
CN108573471B (zh) 2023-06-06
JP6684475B2 (ja) 2020-04-22
CN108573471A (zh) 2018-09-25
US20180260661A1 (en) 2018-09-13
EP3376433B1 (en) 2024-03-27

Similar Documents

Publication Publication Date Title
JP6684475B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10515291B2 (en) Template creation device and template creation method
JP6732214B2 (ja) 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム
JP6889865B2 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム
CN109961082B (zh) 物体识别处理装置、物体识别处理方法以及存储介质
JP6700752B2 (ja) 位置検出装置、位置検出方法及びプログラム
JP6176388B2 (ja) 画像識別装置、画像センサ、画像識別方法
US10366307B2 (en) Coarse-to-fine search method, image processing device and recording medium
US10891740B2 (en) Moving object tracking apparatus, moving object tracking method, and computer program product
JPWO2015136709A1 (ja) 画像処理装置、画像センサ、画像処理方法
US20220230459A1 (en) Object recognition device and object recognition method
US10706319B2 (en) Template creation apparatus, object recognition processing apparatus, template creation method, and program
JP2019028610A (ja) 画像判定用コンピュータプログラム、画像判定装置及び画像判定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200312

R150 Certificate of patent or registration of utility model

Ref document number: 6684475

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250