JP2002203243A - 画像処理方法及び装置、画像特徴点検出方法及びプログラム、並びに位置指定支援方法及びプログラム - Google Patents

画像処理方法及び装置、画像特徴点検出方法及びプログラム、並びに位置指定支援方法及びプログラム

Info

Publication number
JP2002203243A
JP2002203243A JP2001303409A JP2001303409A JP2002203243A JP 2002203243 A JP2002203243 A JP 2002203243A JP 2001303409 A JP2001303409 A JP 2001303409A JP 2001303409 A JP2001303409 A JP 2001303409A JP 2002203243 A JP2002203243 A JP 2002203243A
Authority
JP
Japan
Prior art keywords
feature
image
input image
similar
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001303409A
Other languages
English (en)
Other versions
JP3764364B2 (ja
Inventor
Nobuyuki Matsumoto
信幸 松本
Takashi Ida
孝 井田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2001303409A priority Critical patent/JP3764364B2/ja
Priority to US09/984,688 priority patent/US20020051572A1/en
Publication of JP2002203243A publication Critical patent/JP2002203243A/ja
Priority to US11/311,483 priority patent/US20060188160A1/en
Application granted granted Critical
Publication of JP3764364B2 publication Critical patent/JP3764364B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Abstract

(57)【要約】 【課題】入力画像上の背景領域で明度変化が起こる場合
においても、正しく被写体の変化を検出することができ
る画像処理方法を提供する。 【解決手段】処理対象の画像を入力してその特徴量、例
えば輪郭線を抽出し（Ｓ１１〜Ｓ１２）、また入力画像
に対応して予め定められた参照画像から特徴量、例えば
輪郭線を抽出し（Ｓ１３）、抽出された入力画像の特徴
量と参照画像の特徴量とを比較して、両者の差分を比較
結果として出力する（Ｓ１４〜Ｓ１５）。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、画像中の被写体
の変化やコーナーを検出する画像処理方法及び装置、画
像特徴点検出方法及びプログラム、並びに位置指定支援
方法及びプログラムに関する。
【０００２】
【従来の技術】カメラで撮影された画像を利用して監視
や検査を実現する手法として、背景差分法が知られてい
る。これは、予め撮影しておいた背景画像とカメラによ
る入力画像を比較することで、簡単に入力画像内での変
化を検出する手法である。
【０００３】背景差分法では、参照画像となる背景画像
を予め撮影しておき、処理対象の画像を入力して参照画
像と比較する。入力画像が図４０（ａ）、参照画像が図
４０（ｂ）とすると、入力画像と参照画像の差分をとる
ことによって、図４０（ｃ）に示す比較結果が得られ
る。図４０（ｃ）では、背景画像には存在しない、入力
画像中の左上の変化が抽出されている。
【０００４】また、画像から被写体のコーナーを検出す
る方法として、文献１“SUSAN-a new approach to low
level image processing”,S. M. Steve and M. Brady
(International Journal on Computer Vision, 23(1),
pp. 45-78, 1997)、に開示されたＳＵＳＡＮオペレータ
が知られている。
【０００５】
【発明が解決しようとする課題】背景差分法では画像上
に現れる明度の変化をすべて対象として検出するため、
入力画像上の背景領域で明度変化が起こるような環境で
は誤検出が生じるという問題点がある。また、処理対象
の画像を入力するカメラがぶれた場合に生じる背景の平
行移動に関しても、移動領域として抽出してしまうとい
う問題点がある。
【０００６】さらに、ＳＵＳＡＮオペレータと呼ばれる
従来のコーナー検出方法では、コントラストがはっきり
した画像でないと正しいコーナー検出ができず、またス
ポット状のノイズを誤検出してしまうという問題点があ
る。
【０００７】本発明は上記のような従来技術の欠点を除
去するためになされたもので、その目的は、入力画像上
の背景領域での明度変化や入力画像全体への手ぶれによ
る影響等によらず、適切に被写体変化を検出できる画像
処理方法及び装置を提供することにある。
【０００８】また、本発明は入力画像のコントラストが
はっきりせず、またスポット状のノイズがあるような場
合でも、適切にコーナー検出を行うことができる画像処
理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】上記課題を解決し目的を
達成するために本発明に係る画像処理方法は、処理対象
の入力画像から特徴量を抽出する第１の特徴量抽出ステ
ップと、前記入力画像に対応して予め定められた参照画
像から特徴量を抽出する第２の特徴量抽出ステップと、
抽出された前記入力画像の特徴量と前記参照画像の特徴
量とを比較する比較ステップとを有することを特徴とす
る。
【００１０】また、本発明に係る画像処理装置は、処理
対象の入力画像から特徴量を抽出する第１の特徴量抽出
手段と、前記入力画像に対応して予め定められた参照画
像から特徴量を抽出する第２の特徴量抽出手段と、抽出
された前記入力画像の特徴量と前記参照画像の特徴量と
を比較する比較手段とを有することを特徴とする。
【００１１】また、本発明に係る画像特徴点検出方法
は、処理対象の入力画像から、被写体の形状をなす点集
合内の一点を該形状の特徴を表す特徴点として検出する
画像特徴点検出方法において、前記被写体の少なくとも
一部分を含む矩形からなる注目領域を前記入力画像上に
配置するステップと、前記注目領域と相似の関係にある
相似領域を、前記被写体の少なくとも一部分の画素デー
タを用いる演算により探索する探索ステップと、前記相
似領域から前記注目領域への写像、又は前記注目領域か
ら前記相似領域への写像を計算するステップと、前記写
像における固定点を前記特徴点として検出するステップ
とを有することを特徴とする。
【００１２】また、本発明の位置指定支援方法は、処理
対象の入力画像上における被写体の形状特徴を表す特徴
点を、位置指定手段を用いて指定する際に適用される位
置指定支援方法において、前記特徴点の近傍の一点を、
前記位置指定手段を用いて指定するステップと、前記被
写体の少なくとも一部分を含む矩形からなる注目領域
を、前記位置指定手段による指定点を中心として配置す
るステップと、前記注目領域と相似の関係にある相似領
域を、前記被写体の少なくとも一部分の画素データを用
いる演算により探索する探索ステップと、前記相似領域
から前記注目領域への写像、又は前記注目領域から前記
相似領域への写像を計算するステップと、前記写像にお
ける固定点を前記特徴点として検出するステップと、前
記位置指定手段による指定点を、検出された前記特徴点
の位置に移動するステップとを有することを特徴とす
る。
【００１３】また、本発明のプログラムは、処理対象の
入力画像から特徴量を抽出する第１の特徴量抽出手順
と、前記入力画像に対応して予め定められた参照画像か
ら特徴量を抽出する第２の特徴量抽出手順と、抽出され
た前記入力画像の特徴量と前記参照画像の特徴量とを比
較する比較処理とをコンピュータに実行させるプログラ
ムである。
【００１４】また、本発明のプログラムは、処理対象の
入力画像から特徴量を抽出する第１の特徴量抽出手順
と、前記入力画像に対応して予め定められた参照画像か
ら特徴量を抽出する第２の特徴量抽出手順と、抽出され
た前記入力画像の特徴量と前記参照画像の特徴量の位置
ずれを算出する位置ずれ算出手順と、算出された位置ず
れに基づいて前記抽出された前記入力画像の特徴量及び
前記参照画像の特徴量の相対位置を補正する位置補正手
順と、前記相対位置が補正された後の前記入力画像の特
徴量と前記参照画像の特徴量とを比較する比較手順とを
コンピュータに実行させるプログラムである。
【００１５】また、本発明のプログラムは、処理対象の
入力画像から、被写体の形状をなす点集合内の一点を該
形状の特徴を表す特徴点として検出するプログラムであ
って、前記被写体の少なくとも一部分を含む矩形からな
る注目領域を前記入力画像上に配置する配置手順と、前
記注目領域と相似の関係にある相似領域を、前記被写体
の少なくとも一部分の画素データを用いる演算により探
索する探索手順と、前記相似領域から前記注目領域への
写像、又は前記注目領域から前記相似領域への写像を計
算する計算手順と、前記写像における固定点を前記特徴
点として検出する検出手順とをコンピュータに実行させ
るプログラムである。
【００１６】また、本発明のプログラムは、処理対象の
入力画像上における被写体の形状特徴を表す特徴点を、
位置指定手段を用いて指定する際に適用されるプログラ
ムであって、前記特徴点の近傍の一点を、前記位置指定
手段を用いて指定する指定手順と、前記被写体の少なく
とも一部分を含む矩形からなる注目領域を、前記位置指
定手段による指定点を中心として配置する配置手順と、
前記注目領域と相似の関係にある相似領域を、前記被写
体の少なくとも一部分の画素データを用いる演算により
探索する探索手順と、前記相似領域から前記注目領域へ
の写像、又は前記注目領域から前記相似領域への写像を
計算する計算手順と、前記写像における固定点を前記特
徴点として検出する検出手順と、前記位置指定手段によ
る指定点を、検出された前記特徴点の位置に移動する移
動手順とをコンピュータに実行させるプログラムであ
る。
【００１７】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。 （第１実施形態）図１（ａ）（ｂ）は、本発明の第１実
施形態に係る画像処理装置の構成を示すブロック図であ
る。図１（ａ）に示す画像処理装置において、画像入力
部１は例えばビデオカメラや電子スチルカメラのような
画像撮像装置から構成され、被写体の光学像を入力し、
処理対象とする電子的な入力画像を生成する。
【００１８】この画像入力部１から与えられる入力画像
は、第１の特徴量抽出部２に入力され、その特徴量が抽
出される。参照画像蓄積部３は、入力画像に対応して予
め定められた参照画像、例えば画像入力部１によって以
前に入力された画像（より詳しくは、同じ被写体を撮影
して得られた画像）を蓄積している。この参照画像蓄積
部３から入力画像に対応して読み出された参照画像は、
第２の特徴量抽出部４に入力され、同様に特徴量が抽出
される。
【００１９】第１の特徴量抽出部２及び第２の特徴量抽
出部４によってそれぞれ抽出された入力画像特徴量及び
参照画像特徴量は、特徴量比較部５によって比較され、
例えば両者の差分が求められる。特徴量比較部５の比較
結果、例えば入力画像特徴量及び参照画像特徴量の差分
画像は、画像表示装置や記録装置のような画像出力部６
によって出力される。
【００２０】図１（ｂ）は、図１（ａ）を変形した画像
処理装置であり、図１（ａ）における参照画像蓄積部３
及び第２の特徴量抽出部４に代えて、参照画像の特徴量
を予め求めて蓄積した参照画像特徴量蓄積部７が用いら
れている。そして、この参照画像特徴量蓄積部７から入
力画像に対応して読み出された参照画像が特徴量比較部
５によって入力画像特徴量と比較される。
【００２１】次に、図２に示すフローチャートを用いて
本実施形態における画像処理の手順を説明する。まず、
処理対象の画像を例えばカメラによって入力する（ステ
ップＳ１１）。次に、このステップＳ１１において入力
した画像の特徴量を抽出する（ステップＳ１２）。この
入力画像特徴量としては、画像の全体的な明度変化に関
係しない特徴量として、入力画像の輪郭線（特に、入力
画像中の被写体の輪郭線）を検出する。輪郭線を検出す
る方法としては、例えば、文献２「ＬＩＦＳを用いた被
写体輪郭線の高精度な抽出」井田、三本杉、渡邊（電子
情報通信学会論文誌、D-II, Vol. J82-D-II, No. 8, p
p. 1282-1289, August 1998）による輪郭線抽出方法
や、動的輪郭線を使うスネイク法など、既知の輪郭線抽
出方法を用いることができる。
【００２２】従来の技術での背景差分法の説明と同じ
く、図４０（ａ）に示した画像が入力されたとすると、
ステップＳ１２では入力画像特徴量として、図３（ａ）
に示されるように輪郭線が抽出される。参照画像につい
ても入力画像と同様に、特徴量として参照画像中の被写
体の輪郭線を抽出する（ステップＳ１３）。参照画像が
図４０（ｂ）であるとすると、ステップＳ１３では参照
画像特徴量として、図３（ｂ）に示されるように輪郭線
が抽出される。
【００２３】画像処理装置の構成が図１（ａ）の場合、
ステップＳ１３の処理は第２の特徴量抽出部４によって
行われるが、図１（ｂ）の場合には、ステップＳ１３の
処理は参照画像特徴量蓄積部７に参照画像の特徴量を蓄
積する段階で予め行われる。従って、ステップＳ１３の
順序はステップＳ１１の前になることもあり得る。
【００２４】次に、入力画像特徴量と参照画像特徴量を
例えば両者の差分をとることによって比較し（ステップ
Ｓ１４）、その比較結果を画像として出力する（ステッ
プＳ１５）。図３（ａ）の入力画像の輪郭線の画像と図
３（ｂ）の参照画像の輪郭線の画像との比較結果である
差分画像は、図３（ｃ）に示されるようになる。図３
（ｃ）では、入力画像中の左上に存在する変化が抽出さ
れている。
【００２５】このように本実施形態では、入力画像と参
照画像の比較対象として、明度変化の影響を大きく受け
る画像の輝度そのものではなく、被写体の輪郭線を用い
て、画像内の変化を検出したことにより、入力画像上の
背景領域で明度変化が起こる場合でも、精度良く被写体
の変化を検出することができる。
【００２６】ステップＳ１２及びステップＳ１３での特
徴量である輪郭線の抽出の際に、前述した文献２に記載
された方法や、スネイク法を用いる場合には、はじめに
被写体の概略形状を知ることが必要となる。そこで、参
照画像については、手動操作などで概略形状を設定して
輪郭線を抽出する。入力画像についても、手動操作で概
略形状を設定して構わないが、その代わりに参照画像の
輪郭線を概略形状として用いれば、手動操作を省けて便
利である。
【００２７】以下、参照画像の輪郭線を概略形状として
入力画像の輪郭線を求める手順について図４を用いて説
明する。まず、参照画像Ａに対して手動操作で被写体を
囲むように概略形状Ｂを入力する（ステップＳ２１）。
次に、この概略形状Ｂを示す枠の内側の被写体の輪郭線
Ｃを参照画像の輪郭線として抽出する（ステップＳ２
２）。次に、ステップＳ２２で抽出された参照画像の輪
郭線Ｃを入力画像Ｄに対して入力し（ステップＳ２
３）、参照画像の輪郭線Ｃの内側の入力画像Ｄの輪郭線
Ｆを抽出する（ステップＳ２４）。そして、最後にステ
ップＳ２２で抽出された参照画像の輪郭線Ｃとステップ
Ｓ２４で抽出された入力画像の輪郭線Ｆを比較する（ス
テップＳ２５）。
【００２８】このような画像処理方法によると、例えば
カメラに写る画像に変化が生じた時に発報する監視シス
テムにおいて、予め正常な状態の輪郭線を抽出して参照
画像の輪郭線として保持しておき、一定の時間間隔で取
得する入力画像からそれぞれ輪郭線を抽出して逐次正常
な輪郭線と比較し、差があったときに発報するというシ
ステムを自動化できる。
【００２９】（第２の実施形態）次に、本発明の第２の
実施形態について説明する。本実施形態における画像処
理装置の構成は、第１の実施形態の図１に示した構成と
同様である。処理手順も基本的には図２に示したフロー
チャートと同様である。入力画像及び参照画像からの特
徴量の抽出手法が第１の実施形態とは異なる。
【００３０】第１の実施形態においては、入力画像特徴
量及び参照画像特徴量を抽出する際に、画像の全体的な
明度変化に関係しない特徴量として、画像中の被写体の
輪郭線を抽出した。これに対し、第２実施形態において
は、特徴量として画像中のコーナーを抽出する。そし
て、抽出されたコーナーに基づいて画像内の被写体の変
化を検出する。コーナーを検出する方法としては、後述
する第５実施形態に記載の方法を利用することが好まし
い。
【００３１】また、コーナーを検出する他の方法として
は、例えば、画像という２次元関数の曲率を表現するヘ
ッセ行列の行列式を用いる方法、ノイズの影響を抑えた
ガウス曲率による方法、あるいは先の文献１“SUSAN-a
new approach to low levelimage processing”,S. M.
Steve and M. Brady(International Journal on Comput
er Vision, 23(1), pp. 45-78, 1997)に開示されたＳＵ
ＳＡＮオペレータなど、既知の種々のコーナー検出方法
を用いることができる。
【００３２】第１の実施形態での説明と同様に入力画像
が図４０（ａ）、参照画像が図４０（ｂ）であるとす
る。第２の実施形態では、図２の入力画像特徴量抽出ス
テップＳ１２及び参照画像特徴量抽出ステップＳ１３に
おいて、入力画像の特徴量として図５（ａ）に示すコー
ナーを、参照画像の特徴量として図５（ｂ）に示すコー
ナーをそれぞれ抽出する。
【００３３】これらコーナ抽出により得られた入力画像
特徴量と参照画像特徴量の差分を図２のステップＳ１４
でとると、ステップＳ１５で出力される比較結果は図５
（ｃ）となる。
【００３４】このように本実施形態によると、入力画像
及び参照画像の比較対象として被写体のコーナーを用い
て入力画像内の変化を検出することにより、入力画像上
の背景領域で明度変化が起こる場合でも、被写体の輪郭
線を用いた場合と同様に、精度良く被写体の変化を検出
することができる。
【００３５】（第３の実施形態）図６は、本発明の第３
の実施形態に係る画像処理装置の構成を示すブロック図
である。本実施形態の画像処理装置は、図１に示した第
１の実施形態の画像処理装置に位置ずれ算出部８及び位
置補正部９が追加された構成となっている。
【００３６】位置ずれ算出部８は、第１及び第２の特徴
量抽出部２，４においてそれぞれ抽出された入力画像特
徴量と参照画像特徴量との相対的な位置のずれ量を算出
する。位置補正部９は、位置ずれ算出部８によって算出
されたずれ量を基に、入力画像特徴量と参照画像特徴量
の少なくとも一方を補正する。例えば本実施形態では、
位置ずれ補正部９は入力画像特徴量を補正対象とする。
そして、位置補正後の入力画像特徴量と参照画像特徴量
とが特徴量比較部５によって比較され、その比較結果が
画像出力部６によって出力される。
【００３７】図７に示すフローチャートを参照して、本
実施形態における画像処理の手順っを説明する。本実施
形態は、図２に示した第１の実施形態の画像処理手順
に、入力画像と参照画像との相対的な位置のずれ量を算
出するステップＳ１６と、ステップＳ１６で算出された
位置のずれ量を基に入力画像特徴量の位置を補正するス
テップＳ１７が追加されている。
【００３８】第１及び第２の実施形態では、図２におけ
る特徴量比較ステップＳ１５において入力画像特徴量と
参照画像特徴量の差分を直接計算した。これに対して、
本実施形態では特徴量を第２の実施形態で説明した被写
体のコーナー部分とし、特徴量比較ステップＳ１５では
ステップＳ１７で位置補正された後の入力画像特徴量と
参照画像特徴量を比較する。
【００３９】位置ずれ算出ステップＳ１６においては、
入力画像特徴量抽出ステップＳ１２で抽出された入力画
像のコーナー位置と、参照画像特徴量抽出ステップＳ１
３で抽出された参照画像のコーナー位置について、予め
指定しておいた基準のコーナー位置がどれだけ画像上で
ずれたかを算出する。もしくは、全てのコーナー位置か
ら入力画像と参照画像のずれを算出する。位置補正ステ
ップＳ１７では、位置ずれ算出ステップＳ１６で算出さ
れたずれを基に、参照画像特徴量からの入力画像特徴量
の位置ずれがなくなるように入力画像特徴量の位置を補
正して入力画像を変換する。
【００４０】このように本実施形態では、入力画像と参
照画像との間に相対的な位置ずれがあっても、その位置
ずれを補正して特徴量を比較することにより、被写体の
変化を的確に検出することができる。
【００４１】さらに、本実施形態によれば、参照画像と
して予め撮影しておいた背景画像でなく、動画像におけ
る入力画像の１フレーム前の画像を用いることにより、
動画撮影時の手ぶれ補正を行うことも可能である。
【００４２】（第４の実施形態）次に、本発明の第４の
実施形態を説明する。本実施形態における画像処理装置
の構成は、第３の実施形態の図６に示した構成と同様で
あり、また処理手順も基本的には図７に示したフローチ
ャートと同様であるが、具体的な処理の内容が第３の実
施形態と異なっている。
【００４３】第３の実施形態の説明では、図７のステッ
プＳ１２及びＳ１３において入力画像特徴量及び参照画
像特徴量として被写体のコーナーを抽出し、位置ずれ算
出ステップＳ１６、位置補正ステップＳ１７及び特徴量
比較ステップＳ１４の処理も全て被写体のコーナーにつ
いて行った。これに対して、第４の実施形態では第１の
実施形態で説明した輪郭線画像の差分を用いて被写体の
変化を検出する画像処理方法に、第３の実施形態で用い
た被写体のコーナーのずれを利用する。
【００４４】すなわち、入力画像のコーナーと参照画像
のコーナーから算出された入力画像と参照画像の相対的
な位置ずれを基に入力画像の輪郭線画像の位置を補正し
た後に、入力画像の輪郭線画像と参照画像の輪郭線画像
の差分をとって被写体の変化を検出する。この場合、図
７の入力画像特徴量抽出ステップＳ１２及び参照画像特
徴量抽出ステップＳ１３では、入力画像及び参照画像か
ら被写体のコーナーと輪郭線画像の二つの特徴量を抽出
し、位置ずれ算出ステップＳ１６ではコーナーを用い、
位置補正ステップＳ１７及び特徴量比較ステップＳ１４
では、輪郭線画像を用いることになる。
【００４５】従って、本実施形態によると、入力画像上
の背景領域で明度変化が起こり、かつ、入力画像がぶれ
た場合でも、精度良く画像内の被写体の変化を検出する
ことができる。
【００４６】（第５の実施形態）次に、本発明の第５の
実施形態として、画像中から特徴量としてコーナーを検
出する新規な手法について説明する。第３の実施形態や
第４の実施形態における図７の入力画像特徴量抽出ステ
ップＳ１２及び参照画像特徴量抽出ステップＳ１３で被
写体のコーナーを検出する方法として、本実施形態では
図８のフローチャートに示される手順を用いる。
【００４７】図８は本発明の第５実施形態に係り、画像
中のコーナーの頂点などの特徴点を検出する処理の概略
手順を示すフローチャートである。先ず、ステップＳ１
１では、ブロックＲを、特徴点がその近くにあると推定
される位置に配置する。ブロックＲは、矩形の画像領域
であり、その具体例は後述する。
【００４８】例えば、動画像の場合には、過去に特徴点
が存在した位置を中心にしてブロックＲを配置する。ま
た、利用者が画像を目視しながら、おおよそのコーナー
の頂点の位置を指定入力したときは、その位置を中心に
してブロックＲを配置する。あるいは、画面全体を特徴
点の抽出対象とする場合は、逐次的に、複数のブロック
Ｒを配置する。
【００４９】次にステップＳ１２では、ブロックＲと相
似なブロックＤを探索する。
【００５０】ステップＳ１３では、ブロックＤからブロ
ックＲへの写像における固定点を特徴点として決定す
る。
【００５１】ここで、ブロックＲとブロックＤの例を図
９に示す。この例では、ブロックＤとブロックＲは正方
形であり、ブロックＤはブロックＲよりも大きい。黒丸
は、ブロックＤからブロックＲへの写像において移動し
ない点すなわち固定点である。この固定点が画像のコー
ナーの頂点に一致する様子を図１０に示す。
【００５２】図１０において、Ｗ１はブロックＲに、Ｗ
２はブロックＤに相当する。コーナーが存在すると推定
又は指定された位置をｐとし、このｐを中心としてブロ
ックＷ１を配置した結果が図１０（ａ）である。ハッチ
ングにより示す領域が被写体である。一般に、被写体の
構成部分であるコーナーの頂点ｑは、ｐに対してずれて
いる（但し、偶然一致することもある）。このブロック
Ｗ１に対して、相似なブロックＷ２を探索して求めた結
果を図１０（ｂ）に示す。ブロックＷ１とブロックＷ２
の図柄が相似であることが見て分かる。
【００５３】ここで、ブロックＷ２からブロックＷ１へ
の写像を考えた時、その写像の固定点は図１０（ｃ）の
ように被写体のコーナーの頂点と一致する。写像の固定
点は、幾何的には、ブロックＷ１とブロックＷ２との間
で対応する頂点を結んで得られる少なくとも２つの直線
の交点である。このように互いに相似なブロックの間の
写像において、その固定点が被写体のコーナーの頂点と
一致することを、写像の不変集合と関係付けて説明す
る。
【００５４】図１１に、ブロックＤからブロックＲへの
写像における固定点（黒丸）ｆと、不変集合（矢印のつ
いた線）を示す。不変集合とは、この写像の前後で変化
しない集合のことである。例えば、不変集合（この例で
は線）５１上の点に写像を施しても、該写像は必ず不変
集合５１上のいずれかにある。図中の矢印は、写像によ
って点が移動する向きを示している。
【００５５】そして、図１１に示すような不変集合の図
形は、当該写像によって変化しない。また、図１１に示
すような不変集合の任意部分を組み合わせて得られる図
形も、当該写像によって変化しない。例えば、図１１に
示される直線の中から幾本かを選んで構成した図形も写
像によって変化しない。ここで、かかる構成図形をコー
ナーとした場合、その頂点は写像における固定点ｆと一
致する。
【００５６】従って、仮に図１０（ｂ）に示したブロッ
クＤを縮小したものがブロックＲと全く同じ画像データ
である場合、被写体の輪郭線はこの写像の不変集合に含
まれ、なおかつ、コーナーの頂点ｑは固定点ｆに一致す
る。
【００５７】写像が例えばアフィン変換、すなわち、 ｘ＿ｎｅｗ＝ａ×ｘ＿ｏｌｄ＋ｂ×ｙ＿ｏｌｄ＋ｅ， ｙ＿ｎｅｗ＝ｃ×ｘ＿ｏｌｄ＋ｄ×ｙ＿ｏｌｄ＋ｆ， 但し、 （ｘ＿ｎｅｗ，ｙ＿ｎｅｗ）：写像後の横座標と縦座
標、 （ｘ＿ｏｌｄ，ｙ＿ｏｌｄ）：写像前の横座標と縦座
標、 ａ，ｂ，ｃ，ｄ，ｅ，ｆ：変換係数 で表される場合、固定点の座標（ｘ＿ｆｉｘ，ｙ＿ｆｉ
ｘ）は、 ｘ＿ｎｅｗ＝ｘ＿ｏｌｄ，ｙ＿ｎｅｗ＝ｙ＿ｏｌｄか
ら、 ｘ＿ｆｉｘ＝{(d-1)×e - b×f}/{b×c - (a-1)×(d-
1)} ｙ＿ｆｉｘ＝{(a-1)×f - c×e}/{b×c - (a-1)×(d-
1)} として求めることができる。
【００５８】図９の例は、ａ＝ｄ＜１，ｂ＝ｃ＝０の場
合であり、ａとｂは、予め例えば１／２などに固定して
おく。ここで、相似ブロックの探索は、ｅとｆの値を変
化させながら、該ｅとｆの値によって仮に決まるブロッ
クＤの画素値をサンプリングし、そのサンプリングした
画像データとブロックＲの画像データとの誤差を求め、
その誤差が小さくなるｅとｆの値の組を決定することに
より行う。
【００５９】なお、上記アフィン変換は、ブロックＤか
らブロックＲへの写像として説明した。ブロックＤの各
画素の座標をブロックＲの座標から求めるときには、こ
のアフィン変換の逆変換を用いればよい。
【００６０】ブロックＲとブロックＤの縦横比が等しい
場合に、特徴点を検出可能な被写体の複数の輪郭パター
ンの例を図１２に示す。写像の固定点として同図の白丸
が求まる。これらはコーナーの頂点と一致している。こ
のように、ブロックＲとブロックＤの縦横比が等しい場
合には、任意の角度のコーナーの頂点を検出可能であ
る。
【００６１】なお、図１３に示すように、原理的には、
ブロックＤはブロックＲより小さくても構わない。この
場合の固定点の周囲の様子を図１４に示す。不変集合上
の点は放射状に、外側に向かって移動するが、不変集合
の全体形状は図１１と同じである。したがって、この場
合に検出可能な特徴点（コーナーの頂点）は、やはり図
１２に示すものと同様となる。このことから、本手法に
おいては不変集合の形状そのものが重要である。不変集
合上を移動する点の向きは、特徴点の検出能にはそれほ
ど影響を及ぼさない。つまり、写像の向きはあまり重要
ではない。
【００６２】以上の説明では、ブロックＤからブロック
Ｒへの写像を仮定したが、これとは逆のブロックＲから
ブロックＤへの写像においても、固定点は同じである。
この場合の特徴点の検出手順を以下に説明する。
【００６３】ここでは、前述のアフィン変換の係数を、
ａ＝ｄ＞１，ｂ＝ｃ＝０とする。
【００６４】図１５乃至図２０に、ブロックＲとブロッ
クＤの縦横比が異なる例を示す。図１５は、ブロックＤ
が縦長の例である。この場合、不変集合は図１６のよう
になる。
【００６５】図１６から分かるように、黒丸で示される
固定点で交わる水平線と垂直線以外の不変集合（２次曲
線）は、この固定点において、水平線と接している。但
し、水平線は説明の便宜上、紙面横方向としている。後
述する垂直線は紙面縦方向とする。
【００６６】したがって、図１７に示すように、Ｕ字型
の輪郭の頂点や、水平線と垂直線で形成される直角のコ
ーナーを検出できる。図１７は代表的な例だけを示す。
実際には、図１６に示した不変集合の任意の組み合わせ
で形成される図形上の特徴点を検出できる。例えば、図
１７に示したＵ字とは曲率が異なる輪郭線や、逆Ｕ字型
の輪郭、Ｌ字型の輪郭などが検出対象となる。この場合
のアフィン変換の係数は、ｄ＜ａ＜１，ｂ＝ｃ＝０であ
る。
【００６７】他方、ブロックＤが横長の例を図１８に示
す。ブロックＤを横長とした場合、図１９に示すように
不変集合は固定点において垂直線と接するようになる。
そして、検出可能な形状は図２０のようになる。尚、こ
の場合のアフィン変換の係数は、ａ＜ｄ＜１，ｂ＝ｃ＝
０である。
【００６８】次に、ブロックＤの高さがブロックＲより
も高く、ブロックＤの幅がブロックＲよりも短い例を図
２１に示す。この場合の不変集合は図２２のようにな
る。したがって、これにより検出可能な形状は、図２３
のように、水平線と垂直線とによって形成される直角
と、その頂点が鈍ったものとなる。この例では、直角以
外（例えば４５度の角など）のコーナーは検出対象とは
ならない。
【００６９】建物、窓枠、自動車などの人工物には直角
の形状部分が多いが、これらのみを確実に検出したいよ
うな場合には、この図２１のようにブロックを設定する
とよい。直角以外のコーナーの誤検出を回避できる。
【００７０】画像を撮影する際に解像度が不十分である
と、直角の先端が鈍ることがあるが、本例によれば、こ
のように鈍った直角でも検出できることが有用である。
尚、この場合のアフィン変換の係数は、ｄ＜１＜ａ，ｂ
＝ｃ＝０である。
【００７１】図２４は、図２１においてブロックＤを横
方向に歪ませた例（斜方形）を示している。この場合の
不変集合と検出可能な形状の例を、それぞれ図２５およ
び図２６に示す。本例によれば、直角とは異なる角度の
コーナーを検出できるようになる。これは、予め角度が
分かっているコーナーを検出する場合に有効である。
【００７２】例えば、予め傾きが与えられる２本の直線
からなるコーナーにおいて特徴点を検出したいときのア
フィン変換の係数ａ，ｂ，ｃ，ｄの決め方を説明する。
この場合の変換式は次の、 ｘ＿ｎｅｗ＝ａ×ｘ＿ｏｌｄ＋ｂ×ｙ＿ｏｌｄ， ｙ＿ｎｅｗ＝ｃ×ｘ＿ｏｌｄ＋ｄ×ｙ＿ｏｌｄ， を考えれば十分である。
【００７３】図２７に示すように、原点で交わる２本の
直線（図では、傾きが２の直線とｘ軸（傾きはゼロ））
を考え、それぞれの直線上に２点ずつ点Ｋ（Ｋｘ，Ｋ
ｙ），点Ｌ（Ｌｘ，Ｌｙ）と、点Ｍ（Ｍｘ，Ｍｙ），点
Ｎ（Ｎｘ，Ｎｙ）を配置する。そして、写像によってＫ
点からＬ点に、Ｍ点からＮ点に写るとすると、上記変換
式は以下のようになる。すなわち、 Ｌｘ＝ａ×Ｋｘ＋ｂ×Ｋｙ， Ｌｙ＝ｃ×Ｋｘ＋ｄ×Ｋｙ， Ｎｘ＝ａ×Ｍｘ＋ｂ×Ｍｙ， Ｎｙ＝ｃ×Ｍｘ＋ｄ×Ｍｙ この連立方程式を解くことにより、アフィン変換の係数
ａ，ｂ，ｃ，ｄを求める。図２７では、Ｋ（２，４），
Ｌ（１，２），Ｍ（１，０），Ｎ（２，０）であること
から、ａ＝２，ｂ＝−３／４，ｃ＝０，ｄ＝１／２が求
まる。
【００７４】図２８は、ブロックＤをブロックＲに対し
て相対的に傾斜させた例を示している。この場合、不変
集合は図２９のようになり、図３０に示すように渦巻き
型の輪郭の頂点を検出できる。
【００７５】また図３１は、ブロックＤをブロックＲに
対して相対的に傾斜させ、かつブロックＲと同じ大きさ
にした例である。この場合の不変集合は、図３２に示す
ように、固定点を中心とする任意の円となる。従って、
図３３に示したように、円の中心が固定点として検出さ
れる。
【００７６】図３４は、ブロックＤの高さをブロックＲ
と等しくし、かつ、幅を長くした例を示す。この場合の
不変集合は、図３５に示すように、１本の垂直線と任意
の水平線となる。本例では、図３６に示すように画像の
縦方向の境界線を検出できる。
【００７７】以上述べた第５実施形態によれば、処理対
象の入力画像から、被写体の形状をなす点集合内の一点
を該形状の特徴を表す特徴点として検出するにあたっ
て、被写体の少なくとも一部分を含む矩形からなる注目
領域（ブロックＲ）を入力画像上に配置し、この注目領
域と相似の関係にある相似領域（ブロックＤ）を、被写
体の少なくとも一部分の画素データを用いる演算により
探索する。相似領域から注目領域への写像、又は注目領
域から相似領域への写像を計算し、この写像における固
定点を特徴点として検出する。
【００７８】このように矩形のブロック単位の相似関係
を用いることで、コーナーの頂点などの様々な特徴点を
検出できる。
【００７９】なお、本発明は、特徴点検出の対象とする
画像を、物理的な被写体を電子的に撮像して得た画像に
限定するものではない。例えば、特徴点を識別するため
の情報が不明である場合、コンピュータ上で人工的に作
成したグラフィック（図形）等の画像を対象としても本
発明は有用である。この例においては、当該グラフィッ
クを被写体として扱う。
【００８０】（第６の実施形態）第５の実施形態で説明
したコーナー検出方法は、輪郭線の抽出に応用すること
ができる。以下、本発明の第６の実施形態として、第５
の実施形態のコーナー検出を用いた輪郭線の抽出方法に
ついて、図３７及び図３８を用いて説明する。図３７は
本実施形態における輪郭線抽出のための画像処理の流れ
を示すフローチャートであり、図３８は図３７の各ステ
ップでの処理の内容を具体的に示している。
【００８１】先ず、例えば図３８（ａ）に示すように、
予め与えられた概略形状に沿って複数の制御点（黒丸で
示す）を例えば一定の間隔で配置する（ステップＳ４
１）。次に、図３８（ｂ）に示すように、各制御点を中
心に初期ブロックＷ１を配置する（ステップＳ４２）。
【００８２】次に、図３８（ｃ）に示す相似ブロックＷ
２の探索（ステップＳ４３）及び図３８（ｄ）に示すコ
ーナー検出（ステップＳ４４）を順次行う。さらに、図
３８（ｅ）に示すように、検出したコーナーの位置に制
御点を移動する（ステップＳ４５）。
【００８３】この手法によると、初期ブロックＷ１内に
コーナーが存在しない場合でも、輪郭線上の点が交点と
して求まるので、制御点は図３８（ｅ）のように輪郭の
上に移動する。従って、移動された制御点を図３８
（ｆ）に示すように線分で結ぶか、あるいはスプライン
曲線で結ぶことにより、輪郭線を抽出することができる
（ステップＳ４６）。
【００８４】前述したスネイク法でも、上記のように制
御点を配置し、あるエネルギー関数が小さくなるように
制御点を移動させることで輪郭線を抽出できる。しか
し、そのエネルギー関数は、制御点が一直線に並ぶほど
小さな値になる（輪郭線を滑らかに保とうとする）の
で、被写体のコーナー部分についてはあまり正確に抽出
できない。そこで、例えば、はじめにスネイク法で輪郭
線の抽出を行い、その結果を概略形状として前述のコー
ナー検出を用いれば、コーナー部分の抽出精度を向上で
きる。
【００８５】被写体の形状が三角形や四角形といった多
角形であることが既知である場合には、手動操作で多角
形の頂点の近傍の点だけを入力するようにし、それらの
頂点を線分でつなげることで被写体の輪郭を表す方法が
ある。手動操作は、例えば、パソコンのディスプレイに
表示された被写体の画像上で、頂点の位置をマウス等で
クリック操作により指定する操作を含む。その際に、正
確な頂点の位置を指定するにはある程度の高い集中力
と、慣れが必要である。そこで、図３９に示すように、
マウスでは頂点のおよその位置1,2,3を指定し、その点
1,2,3にブロックW1を配置して前述したコーナー検出を
行い、検出された位置4,5,6に頂点を移動するようにす
る。これにより作業量を大幅に削減できる。
【００８６】本実施形態によるコーナー検出方法では、
初期ブロックＷ１が大きくなると、完全に相似な領域を
探すのが困難になるため、相似ブロックＷ２の位置がず
れ、検出されるコーナー位置もずれて検出される。しか
し、初期ブロックＷ１がある程度大きくないと、この中
に被写体の輪郭線が含まれずに、相似ブロックＷ２を探
すことができない。
【００８７】そこで、初期ブロックのサイズを大きく設
定して、コーナーに近い位置を検出し、更にその位置に
サイズの小さなブロックを配置してコーナー位置を検出
するというように、ブロックサイズを変更してゆく。こ
れによって、概略形状と正しい輪郭線が離れている場合
でも、正しく輪郭線を抽出することが可能になる。
【００８８】さらに、このコーナー検出方法では、初期
ブロックＷ１に相似な相似ブロックＷ２を求める際、ブ
ロックマッチング法によってそれぞれのブロックＷ１，
Ｗ２内の輝度の誤差が最小になる相似ブロックＷ２を探
索するのであるが、被写体輪郭線の形やその付近の輝度
のパターンによっては、相似な領域が存在しない場合も
ある。そこで、ブロックマッチングでの輝度の誤差を相
似ブロック探索での信頼性評価値として利用して、信頼
性が高い場合はコーナー検出法で制御点を移動し、信頼
性が低い場合はエネルギー関数を最小化するスネイク法
で制御点を動かすというように、制御点移動方法を切り
換える。これによって、被写体輪郭線の部分部分に応じ
て有効な輪郭線抽出法を選択することができ、より精度
よく被写体輪郭線を抽出することができる。
【００８９】上述した本発明に基づく画像処理は、コン
ピュータを用いてソフトウェアにより実行することが可
能である。従って、本発明によれば以下に挙げるような
プログラムを格納したコンピュータ読み取り可能な記録
媒体、あるいはプログラムを提供することができる。
【００９０】（１）処理対象の入力画像から特徴量を抽
出する第１の特徴量抽出処理と、前記入力画像に対応し
て予め定められた参照画像から特徴量を抽出する第２の
特徴量抽出処理と、抽出された前記入力画像の特徴量と
前記参照画像の特徴量とを比較する比較処理とをコンピ
ュータに実行させるためのプログラムを格納したコンピ
ュータ読み取り可能な記録媒体。
【００９１】（２）処理対象の入力画像から特徴量を抽
出する第１の特徴量抽出処理と、前記入力画像に対応し
て予め定められた参照画像から特徴量を抽出する第２の
特徴量抽出処理と、抽出された前記入力画像の特徴量と
前記参照画像の特徴量の相対的な位置ずれを算出する位
置ずれ算出処理と、算出された位置ずれに基づいて前記
抽出された前記入力画像の特徴量及び前記参照画像の特
徴量の相対位置を補正する位置補正処理と、前記相対位
置が補正された後の前記入力画像の特徴量と前記参照画
像の特徴量とを比較する比較処理とをコンピュータに実
行させるためのプログラムを格納したコンピュータ読み
取り可能な記録媒体。
【００９２】（３）処理対象の入力画像から特徴量を抽
出する第１の特徴量抽出処理と、前記入力画像に対応し
て予め定められた参照画像から特徴量を抽出する第２の
特徴量抽出処理と、抽出された前記入力画像の特徴量と
前記参照画像の特徴量とを比較する比較処理とをコンピ
ュータに実行させるためのプログラム。
【００９３】（４）処理対象の入力画像から特徴量を抽
出する第１の特徴量抽出処理と、前記入力画像に対応し
て予め定められた参照画像から特徴量を抽出する第２の
特徴量抽出処理と、抽出された前記入力画像の特徴量と
前記参照画像の特徴量の位置ずれを算出する位置ずれ算
出処理と、算出された位置ずれに基づいて前記抽出され
た前記入力画像の特徴量及び前記参照画像の特徴量の相
対位置を補正する位置補正処理と、前記相対位置が補正
された後の前記入力画像の特徴量と前記参照画像の特徴
量とを比較する比較処理とをコンピュータに実行させる
ためのプログラム。
【００９４】（５）入力画像中の被写体付近に初期ブロ
ックを配置する初期ブロック配置処理と、前記初期ブロ
ックに相似な相似ブロックを前記入力画像内で探索する
相似ブロック探索処理と、前記初期ブロックの各頂点と
前記相似ブロックの各頂点とを結んだ複数の直線の交点
を前記被写体のコーナーとして検出するコーナー検出処
理とをコンピュータに実行させるためのプログラムを格
納したコンピュータ読み取り可能な記録媒体。
【００９５】（６）入力画像中の被写体付近に初期ブロ
ックを配置する初期ブロック配置処理と、前記初期ブロ
ックに相似な相似ブロックを前記入力画像内で探索する
相似ブロック探索処理と、前記初期ブロックの各頂点と
前記相似ブロックの各頂点とを結んだ複数の直線の交点
を前記被写体のコーナーとして検出するコーナー検出処
理とをコンピュータに実行させるためのプログラム。
【００９６】
【発明の効果】以上説明したように、本発明の画像処理
方法によれば、入力画像上の背景領域での明度変化や入
力画像全体への手ぶれによる影響等によらず、適切に被
写体変化を検出できる。
【００９７】また、本発明によればコントラストがはっ
きりせず、またスポット状のノイズがある場合でも、入
力画像から正しくコーナーを検出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の
構成を示すブロック図
【図２】同第１実施形態に係る画像処理の手順を示すフ
ローチャート
【図３】同第１の実施形態の作用を説明するための入力
画像及び参照画像からそれぞれ抽出された輪郭線とその
比較結果を示す図
【図４】同第１の実施形態における参照画像の輪郭線を
概略形状として入力画像の輪郭線を求める手順を示す図
【図５】本発明の第２の実施形態の作用を説明するため
の入力画像及び参照画像から抽出されたコーナー位置と
その比較結果を示す図
【図６】本発明の第３の実施形態に係る画像処理装置の
構成を示すブロック図
【図７】同第３実施形態に係る画像処理の手順を示すフ
ローチャート
【図８】本発明の第５実施形態に係り、画像中のコーナ
ーの頂点などの特徴点を検出する処理の概略手順を示す
フローチャート
【図９】互いに相似な正方形ブロックの配置例を示す図
【図１０】推定配置したブロック及びその相似ブロック
と被写体画像との関係を示す図
【図１１】図９のブロックから導出される不変集合の一
例を示す図
【図１２】図９のブロックを用いた場合のコーナー部分
における頂点の検出例を示す図
【図１３】互いに相似な正方形のブロックの他の例を示
す図
【図１４】図１３のブロックから導出される不変集合の
一例を示す図
【図１５】縦横比が異なる相似ブロックの一例を示す図
【図１６】図１５の相似ブロックから導出される不変集
合の一例を示す図
【図１７】図１５のブロックを用いた場合のコーナー部
分における頂点の検出例を示す図
【図１８】縦横比が異なる相似ブロックの一例を示す図
【図１９】図１８のブロックから導出される不変集合の
一例を示す図
【図２０】図１８のブロックを用いた場合のコーナー部
分における頂点の検出例を示す図
【図２１】薄幅で長身の相似ブロックの一例を示す図
【図２２】図２１の相似ブロックから導出される不変集
合の一例を示す図
【図２３】図２１の相似ブロックを用いた場合のコーナ
ー部分における頂点の検出例を示す図
【図２４】横方向に歪んだ相似ブロックの一例を示す図
【図２５】図２４の相似ブロックから導出される不変集
合の一例を示す図
【図２６】図２４の相似ブロックを用いた場合のコーナ
ー部分における頂点の検出例を示す図
【図２７】傾きが既知の２直線間での写像を示す図であ
って、変換係数の決定手順を説明するための図
【図２８】傾斜相似ブロックの一例を示す図
【図２９】図２８の傾斜相似ブロックから導出される不
変集合の一例を示す図
【図３０】図２８の傾斜相似ブロックを用いた場合の特
徴点（円の中心）の検出例を示す図
【図３１】等倍の大きさの傾斜相似ブロックの一例を示
す図
【図３２】図３１の相似ブロックから導出される不変集
合の一例を示す図
【図３３】図３１の相似ブロックを用いた場合のコーナ
ー部分における頂点の検出例を示す図
【図３４】同一高さで幅広の相似ブロックの一例を示す
図
【図３５】図３４の相似ブロックから導出される不変集
合の一例を示す図
【図３６】図３４の傾斜相似ブロックを用いた場合の直
線検出例を示す図
【図３７】本発明の第６の実施形態に係る輪郭線を用い
たコーナー検出の処理手順を示すフローチャート
【図３８】同第６の実施形態における図３７の各ステッ
プでの処理を具体的に説明するための図
【図３９】本発明の第６実施形態に係り位置指定支援方
法を説明するための図
【図４０】従来の技術である背景差分法について説明す
るための入力画像及び参照画像とその比較結果を示す図
【符号の説明】
１…画像入力部 ２…入力画像特徴量抽出部 ３…参照画像蓄積部 ４…参照画像特徴量抽出部 ５…特徴量比較部 ６…画像出力部 ７…参照画像特徴量蓄積部 ８…位置ずれ算出部 ９…位置補正部

Claims (20)

    【特許請求の範囲】
  1. 【請求項１】処理対象の入力画像から特徴量を抽出する
    第１の特徴量抽出ステップと、 前記入力画像に対応して予め定められた参照画像から特
    徴量を抽出する第２の特徴量抽出ステップと、 抽出された前記入力画像の特徴量と前記参照画像の特徴
    量とを比較する比較ステップとを有することを特徴とす
    る画像処理方法。
  2. 【請求項２】処理対象の入力画像から特徴量を抽出する
    第１の特徴量抽出ステップと、 前記入力画像に対応して予め定められた参照画像から特
    徴量を抽出する第２の特徴量抽出ステップと、 抽出された前記入力画像の特徴量と前記参照画像の特徴
    量の相対的な位置ずれを算出する位置ずれ算出ステップ
    と、 算出された位置ずれに基づいて前記抽出された前記入力
    画像の特徴量及び前記参照画像の特徴量の相対位置を補
    正する位置補正ステップと、 前記相対位置が補正された後の前記入力画像の特徴量と
    前記参照画像の特徴量とを比較する比較ステップとを有
    することを特徴とする画像処理方法。
  3. 【請求項３】前記第１及び第２の特徴量抽出ステップ
    は、前記入力画像及び参照画像中の被写体の輪郭線及び
    前記入力画像及び参照画像中の被写体のコーナーの少な
    くとも一方を特徴量として抽出することを特徴とする請
    求項１または２記載の画像処理方法。
  4. 【請求項４】前記第２の特徴量抽出ステップは、前記参
    照画像中の被写体の輪郭線を特徴量として抽出し、 前記第１の特徴量抽出ステップは、前記第２の特徴量抽
    出ステップにより特徴量として抽出された前記参照画像
    の輪郭線を基にして、前記入力画像中の被写体の輪郭線
    を特徴量として抽出することを特徴とする請求項１また
    は２記載の画像処理方法。
  5. 【請求項５】処理対象の入力画像から特徴量を抽出する
    第１の特徴量抽出手段と、 前記入力画像に対応して予め定められた参照画像から特
    徴量を抽出する第２の特徴量抽出手段と、 抽出された前記入力画像の特徴量と前記参照画像の特徴
    量とを比較する比較手段とを有することを特徴とする画
    像処理装置。
  6. 【請求項６】処理対象の入力画像から特徴量を抽出する
    特徴量抽出手段と、 前記入力画像に対応して予め定められた参照画像から抽
    出された特徴量を蓄積する蓄積手段と、 抽出された前記入力画像の特徴量と蓄積された前記参照
    画像の特徴量とを比較する比較手段とを有することを特
    徴とする画像処理装置。
  7. 【請求項７】処理対象の入力画像から、被写体の形状を
    なす点集合内の一点を該形状の特徴を表す特徴点として
    検出する画像特徴点検出方法において、 前記被写体の少なくとも一部分を含む矩形からなる注目
    領域を前記入力画像上に配置するステップと、 前記注目領域と相似の関係にある相似領域を、前記被写
    体の少なくとも一部分の画素データを用いる演算により
    探索する探索ステップと、 前記相似領域から前記注目領域への写像、又は前記注目
    領域から前記相似領域への写像を計算するステップと、 前記写像における固定点を前記特徴点として検出するス
    テップとを有することを特徴とする画像特徴点検出方
    法。
  8. 【請求項８】前記探索ステップは、前記注目領域と同一
    縦横比の前記相似領域を探索するステップを含むことを
    特徴とする請求項７記載の画像特徴点検出方法。
  9. 【請求項９】前記探索ステップは、該注目領域と異なる
    縦横比の前記相似領域を探索するステップを含むことを
    特徴とする請求項７記載の画像特徴点検出方法。
  10. 【請求項１０】前記探索ステップは、前記注目領域より
    も幅が長く、かつ、高さが短い前記相似領域を探索する
    ステップを含むことを特徴とする請求項７に記載の画像
    特徴点検出方法。
  11. 【請求項１１】前記探索ステップは、前記注目領域より
    も幅が短く、かつ、高さが長い前記相似領域を探索する
    ステップを含むことを特徴とする請求項７に記載の画像
    特徴点検出方法。
  12. 【請求項１２】前記探索ステップは、斜方形からなる前
    記相似領域を探索するステップを含むことを特徴とする
    請求項７に記載の画像特徴点検出方法。
  13. 【請求項１３】前記探索ステップは、前記注目領域に対
    して相対的に傾斜する前記相似領域を探索するステップ
    を含むことを特徴とする請求項７に記載の画像特徴点検
    出方法。
  14. 【請求項１４】前記探索ステップは、前記注目領域に対
    して相対的に傾斜し、かつ同じ大きさの前記相似領域を
    探索するステップを含むことを特徴とする請求項７に記
    載の画像特徴点検出方法。
  15. 【請求項１５】前記探索ステップは、前記注目領域と高
    さが等しく、且つ相対的に幅が異なる前記相似領域を探
    索するステップを含むことを特徴とする請求項７に記載
    の画像特徴点検出方法。
  16. 【請求項１６】処理対象の入力画像上における被写体の
    形状特徴を表す特徴点を、位置指定手段を用いて指定す
    る際に適用される位置指定支援方法において、 前記特徴点の近傍の一点を、前記位置指定手段を用いて
    指定するステップと、 前記被写体の少なくとも一部分を含む矩形からなる注目
    領域を、前記位置指定手段による指定点を中心として配
    置するステップと、 前記注目領域と相似の関係にある相似領域を、前記被写
    体の少なくとも一部分の画素データを用いる演算により
    探索する探索ステップと、 前記相似領域から前記注目領域への写像、又は前記注目
    領域から前記相似領域への写像を計算するステップと、 前記写像における固定点を前記特徴点として検出するス
    テップと、 前記位置指定手段による指定点を、検出された前記特徴
    点の位置に移動するステップとを有することを特徴とす
    る位置指定支援方法。
  17. 【請求項１７】処理対象の入力画像から特徴量を抽出す
    る第１の特徴量抽出手順と、 前記入力画像に対応して予め定められた参照画像から特
    徴量を抽出する第２の特徴量抽出手順と、 抽出された前記入力画像の特徴量と前記参照画像の特徴
    量とを比較する比較処理とをコンピュータに実行させる
    プログラム。
  18. 【請求項１８】処理対象の入力画像から特徴量を抽出す
    る第１の特徴量抽出手順と、 前記入力画像に対応して予め定められた参照画像から特
    徴量を抽出する第２の特徴量抽出手順と、 抽出された前記入力画像の特徴量と前記参照画像の特徴
    量の位置ずれを算出する位置ずれ算出手順と、 算出された位置ずれに基づいて前記抽出された前記入力
    画像の特徴量及び前記参照画像の特徴量の相対位置を補
    正する位置補正手順と、 前記相対位置が補正された後の前記入力画像の特徴量と
    前記参照画像の特徴量とを比較する比較手順とをコンピ
    ュータに実行させるプログラム。
  19. 【請求項１９】処理対象の入力画像から、被写体の形状
    をなす点集合内の一点を該形状の特徴を表す特徴点とし
    て検出するプログラムであって、 前記被写体の少なくとも一部分を含む矩形からなる注目
    領域を前記入力画像上に配置する配置手順と、 前記注目領域と相似の関係にある相似領域を、前記被写
    体の少なくとも一部分の画素データを用いる演算により
    探索する探索手順と、 前記相似領域から前記注目領域への写像、又は前記注目
    領域から前記相似領域への写像を計算する計算手順と、 前記写像における固定点を前記特徴点として検出する検
    出手順とをコンピュータに実行させるプログラム。
  20. 【請求項２０】処理対象の入力画像上における被写体の
    形状特徴を表す特徴点を、位置指定手段を用いて指定す
    る際に適用されるプログラムであって、 前記特徴点の近傍の一点を、前記位置指定手段を用いて
    指定する指定手順と、 前記被写体の少なくとも一部分を含む矩形からなる注目
    領域を、前記位置指定手段による指定点を中心として配
    置する配置手順と、 前記注目領域と相似の関係にある相似領域を、前記被写
    体の少なくとも一部分の画素データを用いる演算により
    探索する探索手順と、 前記相似領域から前記注目領域への写像、又は前記注目
    領域から前記相似領域への写像を計算する計算手順と、 前記写像における固定点を前記特徴点として検出する検
    出手順と、 前記位置指定手段による指定点を、検出された前記特徴
    点の位置に移動する移動手順とをコンピュータに実行さ
    せるプログラム。
JP2001303409A 2000-10-31 2001-09-28 画像特徴点検出方法、画像処理方法、及びプログラム Expired - Fee Related JP3764364B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001303409A JP3764364B2 (ja) 2000-10-31 2001-09-28 画像特徴点検出方法、画像処理方法、及びプログラム
US09/984,688 US20020051572A1 (en) 2000-10-31 2001-10-31 Device, method, and computer-readable medium for detecting changes in objects in images and their features
US11/311,483 US20060188160A1 (en) 2000-10-31 2005-12-20 Device, method, and computer-readable medium for detecting changes in objects in images and their features

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000333211 2000-10-31
JP2000-333211 2000-10-31
JP2001303409A JP3764364B2 (ja) 2000-10-31 2001-09-28 画像特徴点検出方法、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2002203243A true JP2002203243A (ja) 2002-07-19
JP3764364B2 JP3764364B2 (ja) 2006-04-05

Family

ID=26603184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001303409A Expired - Fee Related JP3764364B2 (ja) 2000-10-31 2001-09-28 画像特徴点検出方法、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (2) US20020051572A1 (ja)
JP (1) JP3764364B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065429A (ja) * 2004-08-25 2006-03-09 Hitachi Software Eng Co Ltd 撮影画像の変化抽出装置及び方法
JP2007114994A (ja) * 2005-10-20 2007-05-10 Hitachi Software Eng Co Ltd 画像間変化抽出支援システム及び方法
JP2011022994A (ja) * 2009-06-16 2011-02-03 Canon Inc パターン処理装置及びその方法、プログラム
JP2012203458A (ja) * 2011-03-23 2012-10-22 Fuji Xerox Co Ltd 画像処理装置及びプログラム
JP2018055199A (ja) * 2016-09-26 2018-04-05 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法
CN111104930A (zh) * 2019-12-31 2020-05-05 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及存储介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005045763A1 (en) * 2003-11-04 2005-05-19 Canon Kabushiki Kaisha Method of estimating an affine relation between images
US7590310B2 (en) * 2004-05-05 2009-09-15 Facet Technology Corp. Methods and apparatus for automated true object-based image analysis and retrieval
JP2006260401A (ja) * 2005-03-18 2006-09-28 Toshiba Corp 画像処理装置、方法、およびプログラム
TWI326187B (en) * 2006-02-22 2010-06-11 Huper Lab Co Ltd Method of multidirectional block matching computing
JP4818053B2 (ja) * 2006-10-10 2011-11-16 株式会社東芝 高解像度化装置および方法
JP4334559B2 (ja) 2006-10-13 2009-09-30 株式会社東芝 スクロール位置予測装置
KR101271092B1 (ko) * 2007-05-23 2013-06-04 연세대학교 산학협력단 감시 카메라 시스템에서 움직임을 검출하기 위한 실시간움직임 영역 분할 방법 및 장치
JP2009060486A (ja) * 2007-09-03 2009-03-19 Seiko Epson Corp 画像処理装置およびこれを備えるプリンタ、画像処理方法
JP4908440B2 (ja) 2008-03-06 2012-04-04 株式会社東芝 画像処理装置及び方法
JP5166230B2 (ja) * 2008-12-26 2013-03-21 富士フイルム株式会社 画像処理装置および方法並びにプログラム
EP2671374B1 (en) * 2011-01-31 2015-07-22 Dolby Laboratories Licensing Corporation Systems and methods for restoring color and non-color related integrity in an image
KR101657524B1 (ko) * 2012-01-11 2016-09-19 한화테크윈 주식회사 영상 조정기와 조정 방법 및 이를 구비하는 영상 안정화 장치
CN103544691B (zh) * 2012-07-19 2018-07-06 苏州比特速浪电子科技有限公司 图像处理方法及设备
CN103714337A (zh) * 2012-10-09 2014-04-09 鸿富锦精密工业（深圳）有限公司 物体特征识别系统及方法
JP6183305B2 (ja) * 2014-07-02 2017-08-23 株式会社デンソー 故障検出装置および故障検出プログラム
JP6930091B2 (ja) * 2016-11-15 2021-09-01 富士フイルムビジネスイノベーション株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
US11048163B2 (en) * 2017-11-07 2021-06-29 Taiwan Semiconductor Manufacturing Company, Ltd. Inspection method of a photomask and an inspection system
CN109344742B (zh) * 2018-09-14 2021-03-16 腾讯科技（深圳）有限公司 特征点定位方法、装置、存储介质和计算机设备
CN111626082A (zh) * 2019-02-28 2020-09-04 佳能株式会社 检测装置和方法及图像处理装置和系统
AU2020287611A1 (en) 2019-06-07 2021-12-23 Pictometry International Corp. Systems and methods for automated detection of changes in extent of structures using imagery
US11776104B2 (en) 2019-09-20 2023-10-03 Pictometry International Corp. Roof condition assessment using machine learning
US11682189B2 (en) * 2021-07-19 2023-06-20 Microsoft Technology Licensing, Llc Spiral feature search

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3621326A (en) * 1968-09-30 1971-11-16 Itek Corp Transformation system
JPH0679325B2 (ja) * 1985-10-11 1994-10-05 株式会社日立製作所 位置姿勢判定方法
CA1318977C (en) * 1987-07-22 1993-06-08 Kazuhito Hori Image recognition system
JP2856229B2 (ja) * 1991-09-18 1999-02-10 財団法人ニューメディア開発協会 画像切り出し箇所検出方法
GB2267203B (en) * 1992-05-15 1997-03-19 Fujitsu Ltd Three-dimensional graphics drawing apparatus, and a memory apparatus to be used in texture mapping
US5687249A (en) * 1993-09-06 1997-11-11 Nippon Telephone And Telegraph Method and apparatus for extracting features of moving objects
JP3030485B2 (ja) * 1994-03-17 2000-04-10 富士通株式会社 ３次元形状抽出方法及び装置
US6055335A (en) * 1994-09-14 2000-04-25 Kabushiki Kaisha Toshiba Method and apparatus for image representation and/or reorientation
US6636635B2 (en) * 1995-11-01 2003-10-21 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
US5764283A (en) * 1995-12-29 1998-06-09 Lucent Technologies Inc. Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths
US5917940A (en) * 1996-01-23 1999-06-29 Nec Corporation Three dimensional reference image segmenting method and device and object discrimination system
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
US6324299B1 (en) * 1998-04-03 2001-11-27 Cognex Corporation Object image search using sub-models
JP4392886B2 (ja) * 1999-01-22 2010-01-06 キヤノン株式会社 画像抽出方法及び装置
US6249590B1 (en) * 1999-02-01 2001-06-19 Eastman Kodak Company Method for automatically locating image pattern in digital images
US6687386B1 (en) * 1999-06-15 2004-02-03 Hitachi Denshi Kabushiki Kaisha Object tracking method and object tracking apparatus
US7065242B2 (en) * 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
US6707932B1 (en) * 2000-06-30 2004-03-16 Siemens Corporate Research, Inc. Method for identifying graphical objects in large engineering drawings
JP3802322B2 (ja) * 2000-07-26 2006-07-26 株式会社東芝 動画像内オブジェクト抽出方法及び装置
US6738517B2 (en) * 2000-12-19 2004-05-18 Xerox Corporation Document image segmentation using loose gray scale template matching
US7146048B2 (en) * 2001-08-13 2006-12-05 International Business Machines Corporation Representation of shapes for similarity measuring and indexing
JP3782368B2 (ja) * 2002-03-29 2006-06-07 株式会社東芝 物体画像切り出し方法及びプログラム並びに物体画像切り出し装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065429A (ja) * 2004-08-25 2006-03-09 Hitachi Software Eng Co Ltd 撮影画像の変化抽出装置及び方法
JP4521235B2 (ja) * 2004-08-25 2010-08-11 日立ソフトウエアエンジニアリング株式会社 撮影画像の変化抽出装置及び方法
JP2007114994A (ja) * 2005-10-20 2007-05-10 Hitachi Software Eng Co Ltd 画像間変化抽出支援システム及び方法
JP4680026B2 (ja) * 2005-10-20 2011-05-11 株式会社日立ソリューションズ 画像間変化抽出支援システム及び方法
JP2011022994A (ja) * 2009-06-16 2011-02-03 Canon Inc パターン処理装置及びその方法、プログラム
US9117111B2 (en) 2009-06-16 2015-08-25 Canon Kabushiki Kaisha Pattern processing apparatus and method, and program
JP2012203458A (ja) * 2011-03-23 2012-10-22 Fuji Xerox Co Ltd 画像処理装置及びプログラム
JP2018055199A (ja) * 2016-09-26 2018-04-05 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法
CN111104930A (zh) * 2019-12-31 2020-05-05 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及存储介质
CN111104930B (zh) * 2019-12-31 2023-07-11 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP3764364B2 (ja) 2006-04-05
US20060188160A1 (en) 2006-08-24
US20020051572A1 (en) 2002-05-02

Similar Documents

Publication Publication Date Title
JP2002203243A (ja) 画像処理方法及び装置、画像特徴点検出方法及びプログラム、並びに位置指定支援方法及びプログラム
JP6934026B2 (ja) ビジョンシステムでラインを検出するためのシステム及び方法
CN109242913B (zh) 采集器相对参数的标定方法、装置、设备和介质
US10636165B2 (en) Information processing apparatus, method and non-transitory computer-readable storage medium
US8290212B2 (en) Super-resolving moving vehicles in an unregistered set of video frames
US7343278B2 (en) Tracking a surface in a 3-dimensional scene using natural visual features of the surface
US6711293B1 (en) Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US8019164B2 (en) Apparatus, method and program product for matching with a template
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
US20030090593A1 (en) Video stabilizer
EP3236424B1 (en) Information processing apparatus and method of controlling the same
WO2012172817A1 (en) Image stabilization apparatus, image stabilization method, and document
JP2008217526A (ja) 画像処理装置、画像処理プログラム及び画像処理方法
US10586099B2 (en) Information processing apparatus for tracking processing
JP5449980B2 (ja) 動き補正装置およびその方法
Attard et al. Image mosaicing of tunnel wall images using high level features
JP3659426B2 (ja) エツジ検出方法及びエツジ検出装置
JP4017578B2 (ja) 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体
JP7028729B2 (ja) 物体追跡装置、物体追跡システム、および物体追跡方法
JP4453202B2 (ja) 画像処理装置および画像処理方法、並びにコンピュータ読み取り可能な記録媒体
CN109767390A (zh) 一种分块并行的数字图像消像旋方法
JPH08161474A (ja) 異種センサ画像間レジストレーション補正方法
WO2021075314A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
CN117474858A (zh) 缺陷检测方法、装置、视觉检测系统及电子设备
JP2017027363A (ja) 映像処理装置、映像処理方法、及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100127

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees