JP2019045938A - 画像処理装置、設定支援方法、および設定支援プログラム - Google Patents

画像処理装置、設定支援方法、および設定支援プログラム Download PDF

Info

Publication number
JP2019045938A
JP2019045938A JP2017165230A JP2017165230A JP2019045938A JP 2019045938 A JP2019045938 A JP 2019045938A JP 2017165230 A JP2017165230 A JP 2017165230A JP 2017165230 A JP2017165230 A JP 2017165230A JP 2019045938 A JP2019045938 A JP 2019045938A
Authority
JP
Japan
Prior art keywords
image
image processing
processing program
group
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017165230A
Other languages
English (en)
Other versions
JP6897431B2 (ja
Inventor
祐己 赤塚
Yuki Akatsuka
祐己 赤塚
豊 木内
Yutaka Kiuchi
豊 木内
玲治 高橋
Reiji Takahashi
玲治 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2017165230A priority Critical patent/JP6897431B2/ja
Priority to DE102018102705.2A priority patent/DE102018102705A1/de
Priority to US15/891,377 priority patent/US10380463B2/en
Priority to CN201810132970.5A priority patent/CN109427039B/zh
Publication of JP2019045938A publication Critical patent/JP2019045938A/ja
Application granted granted Critical
Publication of JP6897431B2 publication Critical patent/JP6897431B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/52Scale-space analysis, e.g. wavelet analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】画像から対象物を探索するための画像処理プログラムについてパラメータの設定を支援する技術が要望されている。
【解決手段】画像処理装置100は、入力画像30から生成された解像度の異なる画像群を用いて探索対象物を探索する画像処理プログラム20に対して、パラメータ群28A〜28Cの各々を適用し、各パラメータ群について探索結果を取得するとともに、画像処理プログラム20の実行過程で得られる画像群を各パラメータ群について取得するプログラム実行部151と、取得された複数の画像群のそれぞれから合成画像を生成する合成部152と、生成された複数の合成画像を表示するとともに、取得された複数の探索結果を当該複数の合成画像にそれぞれ重ねて表示する表示部102と、表示部102に表示された複数の合成画像の内から操作によって選択された合成画像に対応するパラメータ群を画像処理プログラムに設定する設定部153とを備える。
【選択図】図2

Description

本開示は、画像から対象物を探索するための画像処理プログラムについてパラメータの設定を支援するための技術に関する。
近年、画像から対象物を探索するための種々の画像処理プログラムが開発されている。たとえば、特開2017−041190号公報(特許文献1)は、疎密探索法を利用した画像処理プログラムにより画像からワークの検出する方法を開示している。疎密探索法は、入力画像から解像度の異なる画像群を生成し、解像度の低い画像から順に探索対象物を探索し、各画像における探索結果に基づいて解像度が次に高い画像における探索範囲を限定しながら対象物を探索するアルゴリズムである。
特開2017−041190号公報
ユーザは、探索精度や処理時間などを調整するために、疎密探索法などの画像処理プログラムに対して様々なパラメータを設定する必要がある。このとき、ユーザは、画像処理プログラムの内容を詳細に理解している必要がある。しかしながら、内部の処理はブラックボックス化されているため、ユーザは、どのパラメータをどのように設定すればいいのかを容易には理解することができない。設定すべきパラメータの種類が多くなると、パラメータの調整はさらに困難となる。したがって、画像から対象物を探索するための画像処理プログラムについてパラメータの設定を支援するための技術が望まれている。
ある局面に従うと、画像処理装置は、探索対象物を含む入力画像を取得するための画像取得部と、上記入力画像から生成された解像度の異なる画像群を用いて上記探索対象物を探索する画像処理プログラムに対して、予め定められた1つ以上のパラメータ群の各々を適用し、上記1つ以上のパラメータ群の各々について上記画像処理プログラムによる探索結果を取得するとともに、上記画像処理プログラムの実行過程で得られる上記画像群を上記1つ以上のパラメータ群の各々について取得するためのプログラム実行部と、上記取得された1つ以上の画像群の各々から合成画像を生成するための合成部と、上記生成された1つ以上の合成画像を表示するとともに、上記取得された1つ以上の探索結果を当該1つ以上の合成画像にそれぞれ重ねて表示するための表示部と、上記表示部に表示された1つ以上の合成画像のいずれかを選択する操作を受け付けるための操作受付部と、上記操作によって選択された合成画像に対応するパラメータ群を上記画像処理プログラムに設定するための設定部とを備える。
ある局面に従うと、上記画像処理プログラムは、上記入力画像から生成された解像度の異なる画像群の内、解像度の低い画像から順に上記探索対象物を探索し、各画像における探索結果に基づいて解像度が次に高い画像における探索範囲を限定しながら上記探索対象物を探索する。
ある局面に従うと、上記画像処理プログラムに適用されるパラメータ群は、上記入力画像から生成された解像度の異なる画像群の各画像に適用される閾値群であって、各画像内において上記探索対象物が含まれているか否かを判断するための閾値群を含む。
ある局面に従うと、上記表示部は、1つ以上のパラメータ群の各々に対する評価値をさらに表示する。
ある局面に従うと、上記合成部は、上記入力画像から生成された解像度の異なる画像群の解像度を合わせた上で当該画像群から合成画像を生成する。
ある局面に従うと、上記画像処理プログラムは、上記入力画像から生成された解像度の異なる画像群について、エッジを表わす画素とエッジを表わさない画素とで二値化する。上記合成部は、上記二値化後の画像群の解像度を揃えた上で当該画像群の同一座標の各画素値についてAND演算を実行し、当該AND演算の結果として上記合成画像を出力する。
ある局面に従うと、上記画像処理プログラムは、上記入力画像から生成された解像度の異なる画像群について、エッジを表わす画素とエッジを表わさない画素とで二値化する。上記合成部は、上記二値化後の画像群の解像度を揃えた上で当該画像群の同一座標の各画素値についてOR演算を実行し、当該OR演算の結果として上記合成画像を出力する。
ある局面に従うと、上記画像処理プログラムは、上記入力画像から生成された解像度の異なる画像群について、エッジを表わす画素とエッジを表わさない画素とで二値化する。上記合成部は、上記二値化後の画像群の解像度を揃えた上で当該画像群の同一座標の各画素を画素値の情報が失われないように合成し、当該合成結果として上記合成画像を出力する。
ある局面に従うと、上記画像処理プログラムに適用されるパラメータ群は、上記入力画像から生成された解像度の異なる画像群に適用される閾値群であって、各画像内の各画素がエッジを表わす画素であるか否かを判断するための閾値群を含む。
ある局面に従うと、画像処理プログラムに対するパラメータの設定を支援するための設定支援方法は、探索対象物を含む入力画像を取得するステップと、上記入力画像から生成された解像度の異なる画像群を用いて上記探索対象物を探索する画像処理プログラムに対して、予め定められた1つ以上のパラメータ群の各々を適用し、上記1つ以上のパラメータ群の各々について上記画像処理プログラムによる探索結果を取得するとともに、上記画像処理プログラムの実行過程で得られる上記画像群を上記1つ以上のパラメータ群の各々について取得するステップと、上記取得された1つ以上の画像群の各々から合成画像を生成するステップと、上記生成された1つ以上の合成画像を表示するとともに、上記取得された1つ以上の探索結果を当該1つ以上の合成画像にそれぞれ重ねて表示部に表示するステップと、上記表示部に表示された1つ以上の合成画像のいずれかを選択する操作を受け付けるステップと、上記操作によって選択された合成画像に対応するパラメータ群を上記画像処理プログラムに設定するステップとを備える。
ある局面に従うと、画像処理プログラムに対するパラメータの設定を支援するための設定支援プログラムは、画像処理装置に、探索対象物を含む入力画像を取得するステップと、上記入力画像から生成された解像度の異なる画像群を用いて上記探索対象物を探索する画像処理プログラムに対して、予め定められた1つ以上のパラメータ群の各々を適用し、上記1つ以上のパラメータ群の各々について上記画像処理プログラムによる探索結果を取得するとともに、上記画像処理プログラムの実行過程で得られる上記画像群を上記1つ以上のパラメータ群の各々について取得するステップと、上記取得された1つ以上の画像群の各々から合成画像を生成するステップと、上記生成された1つ以上の合成画像を表示するとともに、上記取得された1つ以上の探索結果を当該1つ以上の合成画像にそれぞれ重ねて表示部に表示するステップと、上記表示部に表示された1つ以上の合成画像のいずれかを選択する操作を受け付けるステップと、上記操作によって選択された合成画像に対応するパラメータ群を上記画像処理プログラムに設定するステップとを実行させる。
ある局面において、画像から対象物を探索するための画像処理プログラムについてパラメータの設定を支援することができる。
実施の形態に係る画像処理システムの全体構成の一例を示す図である。 ピラミッドアルゴに対するパラメータの設定支援を概略的に示す概念図である。 パラメータ群のデータ構造の一例を示す図である。 ピラミッドアルゴを概略的に示す概念図である。 合成部によるピラミッド画像の合成処理を概略的に示す概念図である。 表示部による表示態様の一例を示す図である。 変形例1に従う合成処理を概略的に示す概念図である。 変形例2に従う合成処理を概略的に示す概念図である。 変形例3に従う合成処理を概略的に示す概念図である。 画素群の合成処理を概略的に示す図である。 実施の形態に係る画像処理装置のハードウェア構成の一例を示す模式図である。 実施の形態に従う画像処理装置が実行する処理の一部を表わすフローチャートである。
以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態および各変形例は、適宜選択的に組み合わされてもよい。
<A.画像処理システム1の構成>
図1を参照して、画像処理システム1の全体構成について説明する。図1は、本実施の形態に係る画像処理システム1の全体構成の一例を示す図である。
画像処理システム1は、主要なコンポーネントとして、視覚センサとも称される画像処理装置100と、画像処理装置100と通信可能なPLC(Programmable Logic Controller)5と画像処理装置100に接続された撮像部8(画像取得部)とを含む。
PLC5は、画像処理装置100と連係して、搬送機構6などの制御を実行する。撮像部8は、一例として、レンズなどの光学系に加えて、CCD(Coupled Charged Device)やCMOS(Complementary Metal Oxide Semiconductor)センサといった、複数の画素に区画された撮像素子を含んで構成される。撮像部8は、搬送機構6によって搬送されるワークWを順次撮像する。撮像部8による撮像によって取得された入力画像は、画像処理装置100へ伝送される。
画像処理装置100は、画像から対象物を探索するための所定の画像処理プログラムを実行することで、撮像部8から得られた入力画像内においてワークWを探索する。一例として、画像処理装置100は、粗密探索法を利用する画像処理プログラムによって入力画像からワークWを探索する。以下では、粗密探索法を利用する画像処理プログラムのことを「ピラミッドアルゴ」ともいう。詳細については後述するが、ピラミッドアルゴは、入力画像から解像度の異なる画像群を生成し、生成された画像群の内、解像度の低い画像から順に前記探索対象物を探索する。このとき、ピラミッドアルゴは、各画像における探索結果に基づいて解像度が次に高い画像における探索範囲を限定しながら対象物を探索する。以下では、ピラミッドアルゴの実行過程で得られる解像度の異なる画像群を「ピラミッド画像」ともいう。
画像処理装置100は、入力画像から探索されたワークWについて、欠陥や汚れの有無の検査、ワークWの大きさや配置向きなどの計測、ワークW表面上の文字や図形などの認識といった画像処理プログラムを実行する。この実行結果は、たとえば、画像処理装置100の表示部102に表示される。
<B.パラメータの設定支援>
図2および図3を参照して、ピラミッドアルゴに対するパラメータの設定支援方法について説明する。
図2は、ピラミッドアルゴに対するパラメータの設定支援を概略的に示す概念図である。図2に示されるように、画像処理装置100は、主要なハードウェアとして、表示部102と、制御装置110と、記憶装置120とを含む。
制御装置110は、画像処理装置100を制御する。制御装置110は、画像処理プログラム20を実行するためのプログラム実行部151と、ピラミッドアルゴを実行する過程で生成されるピラミッド画像を合成する合成部152とを含む。
記憶装置120は、ピラミッドアルゴを実行するための画像処理プログラム20と、画像処理プログラム20に現在設定されている設定パラメータ22と、画像処理プログラム20に適用される候補となるパラメータ群28A〜28Cと、ワークWを撮影して得られた入力画像30と、入力画像30からワークWを探索する時に用いられるテンプレート群31とを含む。
以下では、パラメータ群28A〜28Cを総称してパラメータ群28ともいう。ここでいう「パラメータ群」とは、画像処理プログラム20を実行するために必要なパラメータの集合を意味する。図3は、パラメータ群28のデータ構造の一例を示す図である。図3に示されるように、パラメータ群28は、ピラミッド画像を構成する各画像に適用される閾値群であって、各画像内において探索対象物が含まれているか否かを判断するための探索閾値群を含む。また、パラメータ群28は、ピラミッド画像を構成する各画像に適用される閾値群であって、各画像内の各画素がエッジを表わす画素であるか否かを判断するためのエッジ閾値群を含む。その他にも、ピラミッドアルゴを実行時に利用される種々のパラメータがパラメータ群28に規定され得る。パラメータ群28の用いられ方については後述する。
再び図2を参照して、テンプレート群31は、テンプレート31A〜31Cで構成されている。テンプレート31A〜31Cは、ワークWを予め撮影して得られた基準画像であってもよいし、ワークWの特徴部分として基準画像から抽出された特徴量であってもよい。
本実施の形態に従う画像処理装置100は、ピラミッドアルゴに対するパラメータの設定を支援する。より具体的には、プログラム実行部151は、ピラミッドアルゴを実行するための画像処理プログラム20に対して、予め定められた複数のパラメータ群28A〜28Cの各々を適用し、各パラメータ群について画像処理プログラム20による探索結果を取得するとともに、画像処理プログラム20の実行過程で得られるピラミッド画像32A〜32Cを各パラメータ群について取得する。
その後、合成部152は、ピラミッド画像32A〜32Cの各々から合成画像34A〜34Cを生成する。表示部102は、生成された合成画像34A〜34Cを表示するとともに、各パラメータ群についての探索結果33A〜33Cを合成画像34A〜34Cに重ねて表示する。
一例として、パラメータ群28Aについては入力画像30からワークWが探索されず、パラメータ群28B,28Cについては入力画像30からワークWが探索されたとする。この場合、画像処理装置100は、パラメータ群28B,28Cに対応する合成画像34B,34Cにのみ探索結果33B,33Cを重ねて表示する。これにより、ユーザは、パラメータ群28A〜28Cの良否を容易に判断することができる。
画像処理装置100は、表示された合成画像34A〜34Cのいずれかを選択できるように構成されている。この選択操作は、たとえば、画像処理装置100の操作受付部(たとえば、マウス、キーボード、タッチパネルなどの任意の入力装置)により受け付けられる。画像処理装置100は、ユーザ操作によって選択された合成画像に対応するパラメータ群を画像処理プログラム20の設定パラメータ22に設定する。図2の例では、合成画像34Bが選択されており、合成画像34Bに対応するパラメータ群28Bが設定パラメータ22に設定されている。
以上のように、ユーザは、各パラメータ群について生成された合成画像と、各パラメータ群についての探索結果とを視覚的に確認することで、各パラメータ群の良否を直感的に理解することができる。その上で、ユーザは、良好な探索精度を得ることが可能なパラメータ群を選択することができる。これにより、画像処理プログラム20に対する知識が無いユーザであっても、最適なパラメータ群の設定を設定することが可能になり、画像処理プログラム20に対するパラメータの設定を支援することができる。
好ましくは、表示部102は、パラメータ群28A〜28Cの各々に対する評価値をさらに表示する。当該評価値として、たとえば、パラメータ群28A〜28Cの各々を画像処理プログラム20に適用した場合の実行時間が表示される。より具体的には、画像処理装置100は、カウンターなどの計時機能を有し、画像処理プログラムを開始してから終了するまでの実行時間を各パラメータ群について記憶しておく。表示部102は、各パラメータ群についての実行時間を、対応する合成画像に並べて表示する。
通常、探索精度が上がれば実行時間が長くなり、実行時間が短くなれば探索精度が下がる。ユーザは、このような相反する指標を視覚的に比較することができ、探索精度および実行時間を総合的に考慮してパラメータ群を選択することができる。これにより、ユーザは、所望の探索精度と実行時間とを実現することが可能な最適なパラメータ群を容易に設定することができる。
なお、上述では、各パラメータ群についての評価値として画像処理プログラム20の実行時間が表示される例について説明を行ったが、表示対象の評価値は、実行時間に限定されない。たとえば、各パラメータ群に対する評価値として、各パラメータ群を画像処理プログラム20に適用した場合における探索対象物の探索精度や検出率などが表示されてもよい。より具体的には、画像処理装置100は、入力画像30を元に複数の人工画像を生成する。人工画像は、たとえば、入力画像30の各画素位置をずらしたり、入力画像30に対して所定の環境変動が加えられることで生成される。画像処理装置100は、生成した各人工画像に対して各パラメータ群について探索処理を実行する。画像処理装置100は、人工画像に対する探索結果をパラメータ群ごとに集計することで探索精度や検出率を特定する。
また、図2には、パラメータ群28が3つ格納されている例が示されているが、予め準備されるパラメータ群の数は任意である。予め準備されるパラメータ群の数は2つ以上であればよい。
<C.ピラミッドアルゴ>
引き続き図2を参照しつつ、図4を参照して、プログラム実行部151によって実行されるピラミッドアルゴについて説明する。図4は、ピラミッドアルゴを概略的に示す概念図である。
図4に示されるように、プログラム実行部151は、入力画像30から解像度の異なる画像群(すなわち、ピラミッド画像32A)を生成する。異なる言い方をすれば、プログラム実行部151は、入力画像30を所定倍率(たとえば、1/2倍)ずつ縮小し、各縮小率で得られる画像をピラミッド画像32Aとして生成する。図4の例では、入力画像30からピラミッド画像32Aが生成されており、ピラミッド画像32Aは、解像度が異なる画像41〜43(画像群)で構成されている。
プログラム実行部151は、画像41〜43の内、解像度が低い画像から順に探索対象物を探索する。より具体的には、プログラム実行部151は、テンプレート群31の内から画像41の解像度に対応するテンプレート31Aを取得する。プログラム実行部151は、テンプレート31Aで画像41内を走査し、画像41内の各領域とテンプレート31Aとの類似度を算出する。この類似度の算出方法としては、たとえば、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、NCC(Normalized Cross-Correlation)、またはZNCC(Zero-mean Normalized Cross-Correlation)などの任意のアルゴリズムが採用される。プログラム実行部151は、探索範囲内の各画像領域の内から、類似度がパラメータ群28Aの探索閾値th1を超えた画像領域を特定し、当該画像領域を探索対象物が含まれる候補とする。図4の例では、画像領域41A,41Bが探索対象物を含む画像領域の候補として特定されている。
次に、プログラム実行部151は、テンプレート群31の内から画像42の解像度に対応するテンプレート31Bを取得する。その後、プログラム実行部151は、探索対象物含む候補として特定された画像領域41A,41Bに対応する画像領域42A,42Bを探索範囲として設定する。プログラム実行部151は、当該画像領域42A,42Bをテンプレート31Aで走査し、画像領域42A,42B内の各領域とテンプレート31Bとの類似度を算出する。プログラム実行部151は、探索範囲内の各画像領域の内から、類似度がパラメータ群28Aの探索閾値th2を超えた画像領域を特定し、当該画像領域を探索対象物が含まれる候補とする。図4の例では、画像領域42Aが探索対象物を含む候補として特定されている。
次に、プログラム実行部151は、テンプレート群31の内から画像43の解像度に対応するテンプレート31Cを取得する。その後、プログラム実行部151は、探索対象物含む候補として特定された画像領域42Aに対応する画像領域43Aを探索範囲として設定する。プログラム実行部151は、当該画像領域43Aをテンプレート31Cで走査し、画像領域43A内の各領域とテンプレート31Cとの類似度を算出する。プログラム実行部151は、探索範囲内の各画像領域の内から、類似度がパラメータ群28Aの探索閾値th3を超えた画像領域を特定し、当該画像領域を探索対象物が含まれる候補とする。
このように、プログラム実行部151は、ピラミッド画像を構成する各画像の内、解像度の低い画像から順に探索対象物を探索し、各画像における探索結果に基づいて解像度が次に高い画像における探索範囲を限定しながら探索対象物を探索する。最後まで残った候補が探索結果として出力される。一例として、当該探索結果は、入力画像30内の座標値で表わされる。
図2の例では、プログラム実行部151は、画像処理プログラム20にパラメータ群28Aを適用した結果として、ピラミッド画像32Aと探索結果33Aとを出力している。同様に、プログラム実行部151は、画像処理プログラム20にパラメータ群28Bを適用した結果として、ピラミッド画像32Bと探索結果33Bとを出力している。同様に、プログラム実行部151は、画像処理プログラム20にパラメータ群28Cを適用した結果として、ピラミッド画像32Cと探索結果33Cとを出力している。ピラミッド画像32A〜32Cは、合成部152に出力され、探索結果33A〜33Cは、表示部102に出力される。
<D.合成処理>
引き続き図2を参照しつつ、図5および図6を参照して、合成部152によるピラミッド画像の合成処理について説明する。図5は、合成部152によるピラミッド画像の合成処理を概略的に示す概念図である。
なお、図5の例では、人物が写っているピラミッド画像について合成処理が行われているが、ワークが写っているピラミッド画像について合成処理が行われてもよい。
図5には、入力画像40から生成された画像41〜44が示されている。画像41〜44は、入力画像40から生成されたピラミッド画像に対して微分フィルタなどのエッジ抽出フィルタを適用することにより得られる。図5の例では、画像41〜44は、パラメータ群28のエッジ閾値thA〜thDに基づいて、エッジ部分と非エッジ部分とに2値化されており、エッジ部分は白色で表わされ、非エッジ部分は黒色で表わされている。典型的には、エッジ部分の画素値は「1」で規定され、非エッジ部分の画素値は「0」で規定される。
合成部152は、画像41〜43から中間画像45を生成し、中間画像45と画像44とから合成画像46を生成する。より具体的には、合成部152は、画像41〜43のサイズを合わせた上で同一座標の画素値を合成し、中間画像45を生成する。合成処理には、AND演算、OR演算、加算演算などの任意の演算が採用される。
その後、合成部152は、画像44と中間画像45とのサイズを合わせた上で画像44および中間画像45を合成し、合成画像46を生成する。このとき、合成部152は、画像44と中間画像45との間の画素値の差異が表れるように合成画像46を生成する。解像度が低い画像41〜43においては、エッジが消失しやすい。合成画像46は、このような消失したエッジを区別できるように合成画像46を生成する。一例として、合成画像46の画素値は、画像44と中間画像45とにおいてともにエッジが有効である部分について「2」となり、画像44においてエッジが有効であり中間画像45においてエッジが無効である部分について「1」となり、画像44と中間画像45とにおいてともにエッジが無効である部分について「0」となる。
<E.表示処理>
図6を参照して、表示部102による表示処理について説明する。図6は、表示部102による表示態様の一例を示す図である。
表示部102は、合成部152によってパラメータ群28A〜28Cのそれぞれについて生成された合成画像46〜48を表示する。上述したように、合成画像46〜48は、ピラミッドアルゴの実行過程で消失したエッジを区別できるように生成される。表示部102は、そのような消失したエッジ部分が区別できる態様で合成画像46〜48を表示する。図6の例では、ピラミッドアルゴの実行過程で消失しなかったエッジ部分が白色で表わされ、ピラミッドアルゴの実行過程で消失したエッジ部分がグレーで表わされ、それ以外の部分が黒色で表わされている。なお、これらの違いは、他の色で表されてもよい。このように表示されることで、ユーザは、探索結果が良好でない原因を容易に把握することができ、各パラメータ群の適否を容易に判断することができる。
また、表示部102は、各パラメータ群についてのピラミッドアルゴによる探索結果を対応する合成画像上に表示する。一例として、パラメータ群28Aについては探索対象物(たとえば、目)が探索されず、パラメータ群28B,28Cについては探索対象物が探索されたとする。この場合、表示部102は、パラメータ群28Aに対応する合成画像46については探索結果を表示せず、パラメータ群28B,28Cに対応する合成画像47,48上にのみ探索結果47A,48Aを表示する。
<F.変形例>
上述の図5では、合成部152がピラミッド画像の一部の画像41〜43から中間画像45を生成し、残りの画像44と中間画像45とから合成画像46を生成する例について説明したが、合成部152による合成方法は、図5の例に限定されない。たとえば、合成部152は、中間画像45を生成せずに合成画像46を生成してもよい。この場合、合成部152は、ピラミッド画像を構成する各画像の解像度を合わせた上で当該画像群から合成画像を生成する。
以下では、合成部152による合成処理の変形例1,2について順に説明する。
図7は、変形例1に従う合成処理を概略的に示す概念図である。図7には、ピラミッド画像(たとえば、画像41〜44)を所定の同解像度(同サイズ)に逆変換した画像51〜54が示されている。画像51〜54は、エッジ部分と非エッジ部分とに2値化されたものであり、エッジ部分が白で表わされ、非エッジ部分はハッチングで表わされている。典型的には、エッジ部分の画素値は「1」で規定され、非エッジ部分の画素値は「0」で規定される。
合成部152は、二値化後の画像51〜54において同一座標の各画素値についてAND演算を実行し、当該AND演算の結果として合成画像46−1を生成する。一例として、画像51〜54の同一座標の画素51A〜54Aに着目すると、画素51Aの画素値が「0」であり、画素52Aの画素値が「0」であり、画素53Aの画素値が「1」であり、画素54Aの画素値が「1」であるので、AND演算の結果は、「0」となる。その結果、合成画像46−1内における、画素51A〜54Aに対応する画素56は、「0」となる。合成部152は、このようなAND演算を全画素に対して行う。
このように、合成部152は、解像度が揃えられた画像51〜54の同一座標の各画素値についてAND演算を実行し、当該AND演算の結果として合成画像46−1を出力する。ユーザは、AND演算が行われた合成画像46−1を確認することで、全層においてエッジが有効である部分を容易に把握することができる。あるいは、ユーザは、各層の一部においてエッジが無効である部分を容易に把握することができる。
図8は、変形例2に従う合成処理を概略的に示す概念図である。図8には、図7に示される画像51〜54と同じものが示されている。
本変形例においては、合成部152は、二値化後の画像51〜54において同一座標の各画素値についてOR演算を実行し、当該OR演算の結果として合成画像46−2を生成する。一例として、画像51〜54の同一座標の画素51A〜54Aに着目すると、画素51Aの画素値が「0」であり、画素52Aの画素値が「0」であり、画素53Aの画素値が「1」であり、画素54Aの画素値が「1」であるので、OR演算の結果は、「1」となる。その結果、合成画像46−2内における、画素51A〜54Aに対応する画素56は、「1」となる。合成部152は、このようなOR演算を全画素に対して行う。
このように、合成部152は、解像度が揃えられた画像51〜54の同一座標の各画素値についてOR演算を実行し、当該AND演算の結果として合成画像46−2を出力する。ユーザは、OR演算が行われた合成画像46−2を確認することで、一部においてエッジが有効である部分を容易に把握することができる。あるいは、ユーザは、全層においてエッジが無効である部分を容易に把握することができる。
図9は、変形例3に従う合成処理を概略的に示す概念図である。図9には、図7に示される画像51〜54と同じものが示されている。
本変形例においては、合成部152は、解像度が揃えられた画像51〜54の同一座標の各画素を画素値の情報が失われないように合成し、当該合成結果として合成画像46−3を出力する。より具体的には、合成画像46−3の各画素には、画像51〜54と同数のビット列が少なくとも与えられる。合成画像46−3の各画素の1ビット目には、ピラミッド画像の1層目に対応する画像51の対応画素の画素値が反映される。合成画像46−3の各画素の2ビット目には、ピラミッド画像の2層目に対応する画像52の対応画素の画素値が反映される。合成画像46−3の各画素の3ビット目には、ピラミッド画像の3層目に対応する画像53の対応画素の画素値が反映される。合成画像46−3の各画素の4ビット目には、ピラミッド画像の4層目に対応する画像54の対応画素の画素値が反映される。
一例として、画像51〜54の同一座標である画素51A〜54Aに注目して、本変形例における合成処理について説明する。図10は、画素51A〜54Aの合成処理を概略的に示す図である。
画素51A〜54Aと同一座標である合成画像46−3の画素56には、画像51〜54と同数のビット列が与えられている。図10の例では、4ビットのビット列が合成画像46−3の画素56に対して与えられている。合成画像46−3の画素56の1ビット目には、1層目の画像51の画素51Aの値が反映される。たとえば、画素51Aの値が「0」である場合、画素56の1ビット目には「0」が反映される。合成画像46−3の画素56の2ビット目には、2層目の画像52の画素52Aの値が反映される。たとえば、画素52Aの値が「0」である場合、画素56の2ビット目には「0」が反映される。合成画像46−3の画素56の3ビット目には、3層目の画像53の画素53Aの値が反映される。たとえば、画素53Aの値が「1」である場合、画素56の3ビット目には「1」が反映される。合成画像46−3の画素56の4ビット目には、4層目の画像54の画素54Aの値が反映される。たとえば、画素54Aの値が「1」である場合、画素56の4ビット目には「1」が反映される。その結果、合成画像46−3の画素56のビット列は、(1,1,0,0)となる。
合成部152は、このような合成処理を画像51〜54間での同一座標の各画素について実行する。その結果、図9に示される合成画像46−3が生成される。このような合成処理により、合成部152は、二値化後の画像51〜54において各画素の画素値の情報が失われないように合成することができる。
画像処理装置100は、生成した合成画像46−3を所定の表示態様で表示する。一例として、画像処理装置100は、画素値の大きさに合わせて濃淡を変えて合成画像46−3を表示する。あるいは、画素値ごとに異なる色が予め対応付けられており、画像処理装置100は、画素値の大きさに合わせて色を変えて合成画像46−3を表示する。このように合成画像46−3が表示されることにより、ユーザは、どの階層でエッジ情報が失われたのかを容易に確認することができ、プログラム解析が容易になる。
なお、上述では、合成部152が二値化を行った上で合成画像46を生成する前提で説明を行ったが、合成部152は、二値化を行わずに合成画像46を生成してもよい。この場合、合成部152は、入力画像40から生成されたピラミッド画像の解像度を揃えた上で同一座標の画素値を合成する。この合成処理には、最大画素値を採用するMAX演算、最小画素値を採用するMIN演算、画素値の加算演算などの任意の演算が採用される。
好ましくは、画像処理装置100は、各層における画像51〜54の二値化の結果を記憶しておく。これにより、どの層でエッジが有効になっているのか、あるいは、無効になっているのかを容易に分析することができる。
<G.画像処理装置100の構成>
図11を参照して、図1に示される画像処理装置100のハードウェア構成について説明する。図11は、本実施の形態に係る画像処理装置100のハードウェア構成の一例を示す模式図である。
画像処理装置100は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、後述するような各種の画像処理を実現する。
より具体的には、画像処理装置100は、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などの制御装置110と、RAM(Random Access Memory)112と、表示コントローラ114と、システムコントローラ116と、I/O(Input Output)コントローラ118と、記憶装置120と、カメラインターフェイス122と、入力インターフェイス124と、PLCインターフェイス126と、通信インターフェイス128と、メモリカードインターフェイス130とを含む。これらの各部は、システムコントローラ116を中心として、互いにデータ通信可能に接続される。
制御装置110は、システムコントローラ116との間でプログラム(コード)などを交換して、これらを所定順序で実行することで、目的の演算処理を実現する。システムコントローラ116は、制御装置110、RAM112、表示コントローラ114、およびI/Oコントローラ118とそれぞれバスを介して接続されており、各部との間でデータ交換などを行うとともに、画像処理装置100全体の処理を司る。
RAM112は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性のメモリであり、記憶装置120から読み出されたプログラムや、撮像部8によって取得された入力画像、入力画像に対する処理結果、およびワークデータなどを保持する。
表示コントローラ114は、表示部102と接続されており、システムコントローラ116からの内部コマンドに従って、各種の情報を表示するための信号を表示部102へ出力する。表示部102は、一例として、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイや有機ELなどを含む。
I/Oコントローラ118は、画像処理装置100に接続される記録媒体や外部機器との間のデータ交換を制御する。より具体的には、I/Oコントローラ118は、記憶装置120と、カメラインターフェイス122と、入力インターフェイス124と、PLCインターフェイス126と、通信インターフェイス128と、メモリカードインターフェイス130と接続される。
記憶装置120は、典型的には、不揮発性の磁気記憶装置であり、制御装置110で実行される画像処理プログラム20に加えて、各種設定値などが格納される。さらに、記憶装置120には、撮像部8から得られた入力画像が格納される。なお、記憶装置120に代えて、フラッシュメモリなどの半導体記憶装置やDVD−RAM(Digital Versatile Disk Random Access Memory)などの光学記憶装置を採用してもよい。
カメラインターフェイス122は、ワークW(探索対象物)を撮像することで生成された画像データを受け付ける入力部に相当し、制御装置110と撮像部8との間のデータ伝送を仲介する。より具体的には、カメラインターフェイス122は、1つ以上の撮像部8と接続が可能であり、制御装置110からカメラインターフェイス122を介して撮像部8に撮像指示が出力される。これにより、撮像部8は、被写体を撮像し、生成された画像をカメラインターフェイス122を介して制御装置110に出力する。
入力インターフェイス124は、制御装置110とキーボード104、マウス、タッチパネル、専用コンソールなどの入力装置との間のデータ伝送を仲介する。すなわち、入力インターフェイス124は、ユーザが入力装置を操作することで与えられる操作指令を受け付ける。
PLCインターフェイス126は、制御装置110とPLC5との間のデータ伝送を仲介する。より具体的には、PLCインターフェイス126は、PLC5によって制御される生産ラインの状態に係る情報やワークWに係る情報などを制御装置110へ伝送する。
通信インターフェイス128は、制御装置110と図示しない他のパーソナルコンピュータやサーバ装置などとの間のデータ伝送を仲介する。通信インターフェイス128は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。なお、後述するように、メモリカード106に格納されたプログラムを画像処理装置100にインストールする形態に代えて、通信インターフェイス128を介して、配信サーバなどからダウンロードしたプログラムを画像処理装置100にインストールしてもよい。一例として、通信インターフェイス128は、撮像部8の状態を表わす信号を撮像部8やPLC5などから受信する。当該信号は、撮像部8が撮像中であるか否かを示す。
メモリカードインターフェイス130は、制御装置110と記録媒体であるメモリカード106との間のデータ伝送を仲介する。すなわち、メモリカード106には、画像処理装置100で実行される画像処理プログラム20などが格納された状態で流通し、メモリカードインターフェイス130は、このメモリカード106から画像処理プログラム20を読み出す。また、メモリカードインターフェイス130は、制御装置110の内部指令に応答して、撮像部8によって取得されたカメラ画像および/または画像処理装置100における処理結果などをメモリカード106へ書き込む。なお、メモリカード106は、SD(Secure Digital)などの汎用的な半導体記憶デバイスや、フレキシブルディスク(Flexible Disk)などの磁気記録媒体や、CD−ROM(Compact Disk Read Only Memory)などの光学記録媒体等からなる。
上述のような汎用的なコンピュータアーキテクチャに従う構造を有するコンピュータを利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのOS(Operating System)がインストールされていてもよい。この場合には、本実施の形態に係る画像処理プログラムは、OSの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序および/またはタイミングで呼出して処理を実行するものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、OSと協働して処理が実行される場合もある。したがって、本実施の形態に係る画像処理プログラムとしては、このような一部のモジュールを含まない形態であってもよい。
さらに、本実施の形態に係る画像処理プログラムは、他のプログラムの一部に組み込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組み合わせられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係る画像処理プログラムとしては、このような他のプログラムに組み込まれた形態であってもよい。
なお、代替的に、画像処理プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
<H.画像処理装置100の制御構造>
図12を参照して、画像処理装置100の制御構造について説明する。図12は、画像処理装置100が実行する処理の一部を表わすフローチャートである。図12の処理は、画像処理装置100の制御装置110がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子またはその他のハードウェアによって実行されてもよい。
ステップS110において、制御装置110は、画像処理プログラム20に設定する候補となる複数のパラメータ群を取得する。これらのパラメータ群の候補は、予め準備されていてもよいし、ユーザによって任意に設定されてもよいし、ランダムに設定されてもよい。
ステップS112において、制御装置110は、プログラム実行部151(図2参照)として、ステップS110で取得したパラメータ群の内から、未設定のパラメータ群を画像処理プログラム20に適用する。その上で、制御装置110は、画像処理プログラム20を実行し、その実行過程で生成されるピラミッド画像と、実行結果としての探索結果を取得する。好ましくは、制御装置110は、画像処理プログラム20の実行を開始してから終了するまでの実行時間をさらに取得する。
ステップS114において、制御装置110は、合成部152(図2参照)として、ステップS112で得られたピラミッド画像から合成画像を生成する。合成画像の生成方法については図5,図7,図8で説明した通りであるので、その説明については繰り返さない。
ステップS120において、制御装置110は、ステップS110で取得した全パラメータ群について画像処理プログラム20を実行したか否かを判断する。制御装置110は、全パラメータ群について画像処理プログラム20を実行したと判断した場合(ステップS120においてYES)、制御をステップS122に切り替える。そうでない場合には(ステップS120においてNO)、制御装置110は、制御をステップS112に戻す。
ステップS122において、制御装置110は、各パラメータ群を適用した結果得られた合成画像を表示部102に表示するとともに、各パラメータ群についての探索結果を対応する合成画像上に重ねて表示部102に表示する。
ステップS130において、制御装置110は、表示部102に表示された合成画像のいずれかが選択されたか否かを判断する。この選択操作は、たとえば、画像処理装置100の操作受付部(たとえば、マウス、キーボード、タッチパネルなどの任意の入力装置)により受け付けられる。制御装置110は、表示部102に表示された合成画像のいずれかが選択されたと判断した場合(ステップS130においてYES)、制御をステップS132に切り替える。そうでない場合には(ステップS130においてNO)、制御装置110は、ステップS130の処理を再び実行する。
ステップS132において、制御装置110は、設定部153(図2参照)として、選択された合成画像に対応するパラメータ群を設定パラメータとして適用する。
<I.まとめ>
以上のようにして、画像処理装置100は、ピラミッドアルゴを実行するための画像処理プログラム20に対して、予め定められた複数のパラメータ群の各々を適用する。画像処理装置100は、各パラメータ群について画像処理プログラム20による探索結果を取得するとともに、画像処理プログラムの実行過程で得られるピラミッド画像を各パラメータ群について取得する。
その後、画像処理装置100は、各パラメータ群について得られたピラミッド画像から合成画像を生成し、それらの合成画像を表示するとともに、各パラメータ群についての探索結果を対応する合成画像に重ねて表示する。画像処理装置100は、表示された合成画像のいずれかを選択できるように構成されている。画像処理装置100は、選択された合成画像に対応するパラメータ群を画像処理プログラム20の設定パラメータ22に設定する。
ユーザは、合成画像および探索結果を視覚的に確認することで、各パラメータ群の良否を直感的に理解することができる。その上で、ユーザは、良好な探索精度を得ることが可能なパラメータ群を選択することができる。これにより、画像処理プログラム20に対する知識が無いユーザであっても最適なパラメータ群を設定することができ、画像処理プログラム20に対するパラメータ設定を支援することができる。このような効果は、設定すべきパラメータの種類が多い場合や、ピラミッド画像の総数が多い場合に特に有効に働く。
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
1 画像処理システム、6 搬送機構、8 撮像部、20 画像処理プログラム、22 設定パラメータ、28A,28B,28C パラメータ群、30,40 入力画像、31 テンプレート群、31A,31B,31C テンプレート、32A,32B,32C ピラミッド画像、33A,33B,33C,47A,48A 探索結果、34A,34B,34C,46,47,48 合成画像、41,42,43,44,51,52,53,54 画像、41A,41B,42A,42B,43A 画像領域、45 中間画像、51A,52A,53A,54A,56 画素、100 画像処理装置、102 表示部、104 キーボード、106 メモリカード、110 制御装置、112 RAM、114 表示コントローラ、116 システムコントローラ、118 I/Oコントローラ、120 記憶装置、122 カメラインターフェイス、124 入力インターフェイス、126 PLCインターフェイス、128 通信インターフェイス、130 メモリカードインターフェイス、151 プログラム実行部、152 合成部、153 設定部。
次に、プログラム実行部151は、テンプレート群31の内から画像42の解像度に対応するテンプレート31Bを取得する。その後、プログラム実行部151は、探索対象物含む候補として特定された画像領域41A,41Bに対応する画像領域42A,42Bを探索範囲として設定する。プログラム実行部151は、当該画像領域42A,42Bをテンプレート31で走査し、画像領域42A,42B内の各領域とテンプレート31Bとの類似度を算出する。プログラム実行部151は、探索範囲内の各画像領域の内から、類似度がパラメータ群28Aの探索閾値th2を超えた画像領域を特定し、当該画像領域を探索対象物が含まれる候補とする。図4の例では、画像領域42Aが探索対象物を含む候補として特定されている。
このように、合成部152は、解像度が揃えられた画像51〜54の同一座標の各画素値についてOR演算を実行し、当該OR演算の結果として合成画像46−2を出力する。ユーザは、OR演算が行われた合成画像46−2を確認することで、一部においてエッジが有効である部分を容易に把握することができる。あるいは、ユーザは、全層においてエッジが無効である部分を容易に把握することができる。
ステップS112において、制御装置110は、プログラム実行部151(図2参照)として、ステップS110で取得したパラメータ群の内から、未適用のパラメータ群を画像処理プログラム20に適用する。その上で、制御装置110は、画像処理プログラム20を実行し、その実行過程で生成されるピラミッド画像と、実行結果としての探索結果を取得する。好ましくは、制御装置110は、画像処理プログラム20の実行を開始してから終了するまでの実行時間をさらに取得する。

Claims (11)

  1. 探索対象物を含む入力画像を取得するための画像取得部と、
    前記入力画像から生成された解像度の異なる画像群を用いて前記探索対象物を探索する画像処理プログラムに対して、予め定められた1つ以上のパラメータ群の各々を適用し、前記1つ以上のパラメータ群の各々について前記画像処理プログラムによる探索結果を取得するとともに、前記画像処理プログラムの実行過程で得られる前記画像群を前記1つ以上のパラメータ群の各々について取得するためのプログラム実行部と、
    前記取得された1つ以上の画像群の各々から合成画像を生成するための合成部と、
    前記生成された1つ以上の合成画像を表示するとともに、前記取得された1つ以上の探索結果を当該1つ以上の合成画像にそれぞれ重ねて表示するための表示部と、
    前記表示部に表示された1つ以上の合成画像のいずれかを選択する操作を受け付けるための操作受付部と、
    前記操作によって選択された合成画像に対応するパラメータ群を前記画像処理プログラムに設定するための設定部とを備える、画像処理装置。
  2. 前記画像処理プログラムは、前記入力画像から生成された解像度の異なる画像群の内、解像度の低い画像から順に前記探索対象物を探索し、各画像における探索結果に基づいて解像度が次に高い画像における探索範囲を限定しながら前記探索対象物を探索する、請求項1に記載の画像処理装置。
  3. 前記画像処理プログラムに適用されるパラメータ群は、前記入力画像から生成された解像度の異なる画像群の各画像に適用される閾値群であって、各画像内において前記探索対象物が含まれているか否かを判断するための閾値群を含む、請求項2に記載の画像処理装置。
  4. 前記表示部は、1つ以上のパラメータ群の各々に対する評価値をさらに表示する、請求項1〜3のいずれか1項に記載の画像処理装置。
  5. 前記合成部は、前記入力画像から生成された解像度の異なる画像群の解像度を合わせた上で当該画像群から合成画像を生成する、請求項1〜4のいずれか1項に記載の画像処理装置。
  6. 前記画像処理プログラムは、前記入力画像から生成された解像度の異なる画像群について、エッジを表わす画素とエッジを表わさない画素とで二値化し、
    前記合成部は、前記二値化後の画像群の解像度を揃えた上で当該画像群の同一座標の各画素値についてAND演算を実行し、当該AND演算の結果として前記合成画像を出力する、請求項5に記載の画像処理装置。
  7. 前記画像処理プログラムは、前記入力画像から生成された解像度の異なる画像群について、エッジを表わす画素とエッジを表わさない画素とで二値化し、
    前記合成部は、前記二値化後の画像群の解像度を揃えた上で当該画像群の同一座標の各画素値についてOR演算を実行し、当該OR演算の結果として前記合成画像を出力する、請求項5に記載の画像処理装置。
  8. 前記画像処理プログラムは、前記入力画像から生成された解像度の異なる画像群について、エッジを表わす画素とエッジを表わさない画素とで二値化し、
    前記合成部は、前記二値化後の画像群の解像度を揃えた上で当該画像群の同一座標の各画素を画素値の情報が失われないように合成し、当該合成結果として前記合成画像を出力する、請求項5に記載の画像処理装置。
  9. 前記画像処理プログラムに適用されるパラメータ群は、前記入力画像から生成された解像度の異なる画像群に適用される閾値群であって、各画像内の各画素がエッジを表わす画素であるか否かを判断するための閾値群を含む、請求項6〜8のいずれか1項に記載の画像処理装置。
  10. 画像処理プログラムに対するパラメータの設定を支援するための設定支援方法であって、
    探索対象物を含む入力画像を取得するステップと、
    前記入力画像から生成された解像度の異なる画像群を用いて前記探索対象物を探索する画像処理プログラムに対して、予め定められた1つ以上のパラメータ群の各々を適用し、前記1つ以上のパラメータ群の各々について前記画像処理プログラムによる探索結果を取得するとともに、前記画像処理プログラムの実行過程で得られる前記画像群を前記1つ以上のパラメータ群の各々について取得するステップと、
    前記取得された1つ以上の画像群の各々から合成画像を生成するステップと、
    前記生成された1つ以上の合成画像を表示するとともに、前記取得された1つ以上の探索結果を当該1つ以上の合成画像にそれぞれ重ねて表示部に表示するステップと、
    前記表示部に表示された1つ以上の合成画像のいずれかを選択する操作を受け付けるステップと、
    前記操作によって選択された合成画像に対応するパラメータ群を前記画像処理プログラムに設定するステップとを備える、設定支援方法。
  11. 画像処理プログラムに対するパラメータの設定を支援するための設定支援プログラムであって、
    前記設定支援プログラムは、画像処理装置に、
    探索対象物を含む入力画像を取得するステップと、
    前記入力画像から生成された解像度の異なる画像群を用いて前記探索対象物を探索する画像処理プログラムに対して、予め定められた1つ以上のパラメータ群の各々を適用し、前記1つ以上のパラメータ群の各々について前記画像処理プログラムによる探索結果を取得するとともに、前記画像処理プログラムの実行過程で得られる前記画像群を前記1つ以上のパラメータ群の各々について取得するステップと、
    前記取得された1つ以上の画像群の各々から合成画像を生成するステップと、
    前記生成された1つ以上の合成画像を表示するとともに、前記取得された1つ以上の探索結果を当該1つ以上の合成画像にそれぞれ重ねて表示部に表示するステップと、
    前記表示部に表示された1つ以上の合成画像のいずれかを選択する操作を受け付けるステップと、
    前記操作によって選択された合成画像に対応するパラメータ群を前記画像処理プログラムに設定するステップとを実行させる、設定支援プログラム。
JP2017165230A 2017-08-30 2017-08-30 画像処理装置、設定支援方法、および設定支援プログラム Active JP6897431B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017165230A JP6897431B2 (ja) 2017-08-30 2017-08-30 画像処理装置、設定支援方法、および設定支援プログラム
DE102018102705.2A DE102018102705A1 (de) 2017-08-30 2018-02-07 Bildverarbeitungsvorrichtung, Einstellunterstützungsverfahren und Einstellunterstützungsprogramm
US15/891,377 US10380463B2 (en) 2017-08-30 2018-02-08 Image processing device, setting support method, and non-transitory computer-readable media
CN201810132970.5A CN109427039B (zh) 2017-08-30 2018-02-09 图像处理装置、设定辅助方法以及电脑可读取记录媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017165230A JP6897431B2 (ja) 2017-08-30 2017-08-30 画像処理装置、設定支援方法、および設定支援プログラム

Publications (2)

Publication Number Publication Date
JP2019045938A true JP2019045938A (ja) 2019-03-22
JP6897431B2 JP6897431B2 (ja) 2021-06-30

Family

ID=65321526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017165230A Active JP6897431B2 (ja) 2017-08-30 2017-08-30 画像処理装置、設定支援方法、および設定支援プログラム

Country Status (4)

Country Link
US (1) US10380463B2 (ja)
JP (1) JP6897431B2 (ja)
CN (1) CN109427039B (ja)
DE (1) DE102018102705A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021071844A (ja) * 2019-10-30 2021-05-06 エヌ・ティ・ティ・アドバンステクノロジ株式会社 画像処理装置、画像処理方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1021393A (ja) * 1996-06-28 1998-01-23 Mitsubishi Electric Corp 画像処理装置
JP2003109003A (ja) * 2001-09-28 2003-04-11 Keyence Corp ピラミッド構造サーチを使用したパターンマッチング方法、画像検出回路、画像処理プログラムおよびコンピュータで読み取り可能な記憶媒体
JP2009124644A (ja) * 2007-11-19 2009-06-04 Sanyo Electric Co Ltd 画像処理装置、撮像装置及び画像再生装置
JP2012069003A (ja) * 2010-09-24 2012-04-05 Juki Corp 形状ベースマッチングパラメータの調整装置、形状ベースマッチングパラメータの調整方法および部品実装装置
JP2017041190A (ja) * 2015-08-21 2017-02-23 キヤノン株式会社 画像処理方法、画像処理装置、プログラム及び記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7185024B2 (en) * 2003-12-22 2007-02-27 International Business Machines Corporation Method, computer program product, and system of optimized data translation from relational data storage to hierarchical structure
JP4142732B2 (ja) * 2005-06-08 2008-09-03 富士通株式会社 画像処理装置
US7715658B2 (en) * 2005-08-03 2010-05-11 Samsung Electronics Co., Ltd. Apparatus and method for super-resolution enhancement processing
JP2008268725A (ja) * 2007-04-24 2008-11-06 Toshiba Corp 情報処理装置および画像データの高解像度化方法
JP5100360B2 (ja) * 2007-12-21 2012-12-19 株式会社トプコン 画像処理装置
JP5381451B2 (ja) * 2009-07-22 2014-01-08 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム
US8711248B2 (en) * 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
JP5776771B2 (ja) * 2011-06-24 2015-09-09 コニカミノルタ株式会社 対応点探索装置、および距離測定装置
CN105283902B (zh) * 2013-06-17 2018-10-30 富士通株式会社 图像处理装置、图像处理方法、以及图像处理程序的存储介质
JP2016062447A (ja) * 2014-09-19 2016-04-25 コニカミノルタ株式会社 画像処理装置、画像処理方法、および画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1021393A (ja) * 1996-06-28 1998-01-23 Mitsubishi Electric Corp 画像処理装置
JP2003109003A (ja) * 2001-09-28 2003-04-11 Keyence Corp ピラミッド構造サーチを使用したパターンマッチング方法、画像検出回路、画像処理プログラムおよびコンピュータで読み取り可能な記憶媒体
JP2009124644A (ja) * 2007-11-19 2009-06-04 Sanyo Electric Co Ltd 画像処理装置、撮像装置及び画像再生装置
JP2012069003A (ja) * 2010-09-24 2012-04-05 Juki Corp 形状ベースマッチングパラメータの調整装置、形状ベースマッチングパラメータの調整方法および部品実装装置
JP2017041190A (ja) * 2015-08-21 2017-02-23 キヤノン株式会社 画像処理方法、画像処理装置、プログラム及び記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANG ZHONG-YING, 外1名: ""Multiresolution target detection and tracking through a parallel coarse-to-fine search approach"", PROCEEDINGS OF TENCON '93. IEEE REGION 10 INTERNATIONAL CONFERENCE ON COMPUTERS, COMMUNICATIONS AND, JPN6021015282, 19 October 1993 (1993-10-19), pages 1198 - 1202, XP010113732, ISSN: 0004494146, DOI: 10.1109/TENCON.1993.320219 *
小西嘉典, 外3名: ""累積勾配方向特徴量を用いたテクスチャレス物体検出"", 電子情報通信学会論文誌D, vol. 第J99−D巻, 第8号, JPN6021015281, 1 August 2016 (2016-08-01), JP, pages 689 - 698, ISSN: 0004494145 *

Also Published As

Publication number Publication date
CN109427039B (zh) 2022-11-25
US10380463B2 (en) 2019-08-13
CN109427039A (zh) 2019-03-05
US20190065914A1 (en) 2019-02-28
DE102018102705A1 (de) 2019-02-28
JP6897431B2 (ja) 2021-06-30

Similar Documents

Publication Publication Date Title
US10824906B2 (en) Image processing device, non-transitory computer readable storage medium, and image processing system
JP4724247B2 (ja) 家屋異動判定方法、家屋異動判定プログラム、家屋異動判定用画像生成方法、及び家屋異動判定用画像
AU2017232186A1 (en) Fast and robust image alignment for burst mode
CN106920245B (zh) 一种边界检测的方法及装置
JP2016502750A5 (ja)
US20170061209A1 (en) Object processing method, reference image generating method, reference image generating apparatus, object processing apparatus, and recording medium
JP2014203309A (ja) 画像処理装置、制御方法およびプログラム
JP7546369B2 (ja) 画像処理装置、画像処理方法
US20180300579A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP6897431B2 (ja) 画像処理装置、設定支援方法、および設定支援プログラム
JP2008158776A (ja) 特徴検出方法及び装置、プログラム、記憶媒体
JP2016164709A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6643301B2 (ja) 欠陥検査装置及び欠陥検査方法
JP2015176252A (ja) 画像処理装置および画像処理方法
JP2021125786A5 (ja) 検品装置、情報処理方法、検品システム、検品方法、及びプログラム
JP2005316958A (ja) 赤目検出装置および方法並びにプログラム
JP6948547B2 (ja) プログラム、情報処理システム、及び情報処理方法
CN113167568B (zh) 坐标计算装置、坐标计算方法和计算机可读记录介质
JP2017054431A (ja) 画像処理装置、画像処理方法、及びプログラム
US20180150966A1 (en) System and method for estimating object size
JP5076567B2 (ja) テンプレートマッチング装置、テンプレートマッチング装置を備えたカメラ、テンプレートマッチングをコンピュータで行うためのプログラム
JP2015060421A (ja) 類似画像検索方法及び類似画像検索装置
JP2018081424A (ja) 画像処理装置および画像処理方法
EP3852051A1 (en) Biometric authentication device, counterfeit determination program and counterfeit determination method
JP2020095017A (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180628

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210524

R150 Certificate of patent or registration of utility model

Ref document number: 6897431

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250