JP2003271956A - 画像マッチング処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 入力画像と参照画像とを比較して対象物を同
定する画像マッチング処理方法に関し，時間により対象
物の輝度が変化する場合でも高い精度が得られるように
することを目的とする。 【解決手段】 参照画像記憶部１４に，あらかじめ参照
画像と参照画像中の物体の属性データとを用意してお
く。参照画像Ｂに写っている物体と類似する物体を入力
画像Ａから探索する際に，参照画像前処理部１７は，参
照画像Ｂに付されている付帯データによって参照画像Ｂ
に写っている物体の輝度分布を推定し，その部分の輝度
変化を考慮して輝度調整を行った画像を生成する。探索
部１９では，入力画像Ａと輝度調整後の参照画像Ｂとを
用いて，入力画像Ａにおいて参照画像Ｂに写っている物
体と類似する物体を探索する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，ある画像に写って
いるものと類似の物体を，その画像の情報に基づいて，
他の画像の中から探索発見する画像マッチング処理技術
に関し，特に環境の変化に伴い画像の一部分の輝度が変
化しているような場合にも高精度で照合できるようにし
た画像マッチング処理方法に関する。

【０００２】

【従来の技術】例えば，ロボットのナビゲーションにお
いて，ロボットの目となるカメラの画像を用いることに
より，画像に写っている対象物を特定したり，ロボット
自身の位置を確定したりする必要がある。

【０００３】そのために，従来は，ロボット自身にあら
かじめ対象となる物体のテンプレートとなる画像を用意
しておき，このテンプレート画像と実際のロボットのカ
メラ画像とを比較して対象物を把握したり，ロボット自
身の位置を認識したりしていた。このとき，対象物を確
実に把握するために，画像精度の高い（高分解能な）テ
ンプレート画像を用意しておき，これをカメラ画像と比
較する作業を行っていた。

【０００４】

【発明が解決しようとする課題】しかし，テンプレート
画像に含まれる物体と現在のカメラとの位置関係や，テ
ンプレート画像の撮影時と現在との照明の差（昼夜の違
い，室内照明の点灯／消灯の違いなど）によっては，テ
ンプレート画像の物体と現在見えている物体との明暗が
異なるため，テンプレート画像の物体と類似する物体を
正しく検出できなかったり，誤って別の物体を「最もテ
ンプレート画像に写っている物体によく似たもの」とし
て検知してしまうことがあった。

【０００５】例えば，現在得ているカメラ画像が夜間の
室内の画像であり，このカメラ画像について昼間に撮影
されたテンプレート画像と同一の物体の探索を行う場
合，対象物に昼夜で輝度の大きく変化する窓などの物体
が含まれていると，類似性の確認が困難となってしまっ
ていた。

【０００６】本発明は，上記問題点の解決を図り，カメ
ラからの入力画像とテンプレート画像である参照画像と
を比較して対象物を同定する画像マッチング処理におい
て，昼夜で対象物の輝度が変化する場合であっても，精
度の高い画像マッチング処理を可能とすることを目的と
する。

【０００７】

【課題を解決するための手段】本発明は，上記課題を解
決するため，カメラからの入力画像とマッチングするた
めにあらかじめ用意されたテンプレート画像である参照
画像に，撮影時刻，撮影対象物，撮影対象物の状態など
の情報を付帯データとして付しておき，その情報から参
照画像の撮影対象物の特徴を参照できるデータベースを
用意し，そのデータベースを付帯データで参照し，ま
た，内部時計・カレンダーで入力画像の日付・時刻情報
を取得して，日付・時刻に応じた部分的輝度調整，各種
アフィン変換，輝度反転等の前処理を入力画像，参照画
像にほどこし，その前処理済みの画像によって画像マッ
チング処理を行うことを特徴とする。

【０００８】さらに，参照画像の付帯データでデータベ
ースを参照して撮影対象物の位置属性の情報を取得し，
その位置属性の情報によって，入力画像内での探索範囲
をより狭く限定し，その限定された探索範囲内で，もと
もとの入力画像，参照画像だけではなく前処理がほどこ
された入力画像，参照画像も使用して，入力画像と参照
画像とのマッチングを行うことを特徴とする。

【０００９】また，昼間に撮影された画像について，高
輝度の画素の塊となっているはずの窓を抽出し，その抽
出された窓部分の輝度を調整して擬似的に夜間画像を作
成することにより，昼間に撮影された画像と，夜間に撮
影された画像とのマッチング処理を可能にすることを特
徴とする。

【００１０】以上のような手段を用いることにより，よ
り確実に相関をとれる画像の対を求めることが可能とな
り，入力画像の中から参照画像に写っている物体と同一
の物体をより確実に見つけだすことができるようにな
る。

【００１１】

【発明の実施の形態】以下，図面に従って本発明の実施
の形態を説明する。図１は，本発明を実現するシステム
の構成例を示す図である。本実施の形態における，画像
マッチング処理装置１は，ＣＰＵおよびメモリからなる
コンピュータであり，ソフトウェアプログラム等によっ
て構成される入力画像取得部１０，入力画像記憶部１
１，明るさ推定部１２，内部時計・カレンダー１３，参
照画像記憶部１４，常識データベース１５，入力画像前
処理部１６，参照画像前処理部１７，探索範囲決定部１
８，探索部１９を備えている。

【００１２】入力画像取得部１０は，室内を移動可能な
移動体（例えば，ロボットなど）に取り付けられたカメ
ラにより順次任意に撮影された室内の画像を取得し，そ
の画像をデジタル画像化して入力画像とし，その入力画
像を入力画像記憶部１１に保存する。

【００１３】明るさ推定部１２は，入力画像記憶部１１
に記憶されている入力画像の輝度の分布情報等から現在
の室内の明るさを推定し，内部時計・カレンダー１３か
らの日付・時刻情報とから現在の屋外の明るさを推定す
る。ここで，内部時計・カレンダー１３は，コンピュー
タシステム内部の時計およびカレンダーであり，日の出
時刻や日の入り時刻等の情報から屋外の明るさが推定で
きる。

【００１４】参照画像記憶部１４には，あらかじめ様々
な設備・物品等（以下，物体という）を撮影したテンプ
レート画像である参照画像と，その参照画像に写ってい
る物体の撮影時刻，名称，状態などを示す付帯データと
が記憶されている。例えば，点灯している蛍光灯の参照
画像には，「事務所天井灯」，「点灯中」等の付帯デー
タを表すラベルが付されて記憶されている。

【００１５】常識データベース１５は，参照画像に付さ
れた付帯データ（ラベル）で各情報を参照できるデータ
ベースである。また，逆に入力画像の特徴をもとに各情
報からラベルを引き出し，入力画像から物体を抽出する
場合などにも参照される。

【００１６】図２は，本実施の形態における常識データ
ベースの例を示す図である。各ラベルごとに，位置属
性，明るさ分布属性，形状および形状変化，物体・画像
への影響等の情報が記録されている。位置属性は，参照
画像に写っている物体が入力画像のどの位置に写ってい
るかなどの位置情報を示す。明るさ分布属性は，画像に
写っている物体の明るさに関する情報を示す。形状およ
び形状変化は，画像に写っている設備・物品等の形状
や，画像内での形状変化などの情報を示す。物体・画像
への影響は，画像に写っている物体や，画像全体にどの
ような影響を与えるかの情報を示す。

【００１７】例えば，参照画像に「事務所天井灯」のラ
ベルが付帯データとして付されていた場合には，図２の
常識データベース１５から，その物体が室内風景の比較
的上部にのみ存在し得るという事実を引き出し，それに
従って室内風景が写し出された入力画像の中で探索範囲
を画像上部に限定することができる。また，参照画像に
「天井灯スイッチ」のラベルが付帯データとして付され
ている場合には，図２の常識データベース１５から，入
力画像における探索範囲をだいたい画像中央の高さに限
定することができる。

【００１８】入力画像前処理部１６は，入力画像記憶部
１１から入力画像を受け取り，明るさ推定部１２，常識
データベース１５の情報をもとに，入力画像の全体，あ
るいは切り出した一部に対して輝度調整，各種アフィン
変換等をほどこした前処理済入力画像を作成する。この
とき，輝度調整量や変形量などを少しずつ変化させた複
数の前処理済入力画像を作成する方がより好ましい。前
処理済入力画像の一つとして，輝度調整や変形などをほ
どこしていない入力画像を含めてもよく，また含めなく
てもよい。

【００１９】参照画像前処理部１７は，参照画像記憶部
１４から参照画像およびその付帯データを受け取り，付
帯データと常識データベース１５を用いながら時刻や状
態に応じて輝度の変化する部分（窓，蛍光管等）を参照
画像から抽出し，その部分を明るさ推定部１２からの情
報等により適宜暗化あるいは明化（輝度調整）させた擬
似他時刻画像である前処理済参照画像を作成する。また
必要に応じて，各種アフィン変換，輝度差強調，輝度反
転等を行った前処理済参照画像を作成する。このとき，
輝度調整量や変形量などを少しずつ変化させた複数の前
処理済参照画像を作成する方がより好ましい。前処理済
参照画像の一つとして，輝度調整や変形などをほどこし
ていない参照画像を含めてもよく，また含めなくてもよ
い。

【００２０】探索範囲決定部１８は，参照画像の付帯デ
ータを参照画像記憶部１４から受け取り，その付帯デー
タをもとに常識データベース１５を参照し，参照画像で
参照する入力画像の探索範囲を決定する。例えば，参照
画像に「事務所天井灯」の付帯データがあった場合，図
２の常識データベース１５でラベルが「事務所天井灯」
の行を参照し，位置属性から「視野内で上方に存在」と
いう情報を得る。その情報から，入力画像の上部で探索
範囲を決定する。

【００２１】探索部１９は，参照画像前処理部１７で作
成された各前処理済参照画像を用いて，入力画像前処理
部１６で作成された各前処理済入力画像の中で類似した
部分を探索する。探索される範囲は，探索範囲決定部１
８で決定された探索範囲内の前処理済入力画像の全体ま
たは部分に限られ，また，探索を行う前処理済参照画像
と前処理済入力画像の探索範囲内の部分は，輝度差強調
処理がほどこされる。各前処理済入力画像を各前処理済
参照画像で探索した結果，よい相関を示した部分があれ
ば，入力画像の中でその部分が参照画像に相当する物体
の存在する部分であると結論する。

【００２２】探索部１９による類似探索の類似判定方法
の一例として，次に示す（式１）の正規化相関値が最大
値をとる性質を用いることができる。

【００２３】

【数１】

【００２４】上記（式１）において，ｓ_i は前処理済入
力画像の探索範囲内から切り出した画像の輝度差強調済
みの輝度配列の要素を，ｔ_i は前処理済参照画像の輝度
差強調済みの輝度配列の要素を表す。また，上にバーが
付けられたｓ，ｔは要素ｓ_i，ｔ_i のそれぞれの平均輝
度値を表す。

【００２５】図３は，本実施の形態における画像マッチ
ング処理の概要を示す図である。図中，実線の枠は処理
を示し，破線の枠はデータを示す。まず，画像Ｂ（参照
画像）の付帯データで参照される常識データベース１５
の明るさ分布属性，形状および形状変化，物体・画像へ
の影響等の情報と，内部時計・カレンダー１３による日
付・時刻情報とから，画像Ａ（入力画像），画像Ｂそれ
ぞれの輝度変化部分，形状変化部分等を推定する（ステ
ップＳ１０）。

【００２６】ステップＳ１０の推定に従い，画像Ａ，画
像Ｂに対してそれぞれ，日時，時刻，被写体に応じた部
分的輝度調整，各種アフィン変換，輝度差強調，輝度反
転などの処理のうち，必要な処理を前処理としてほどこ
す（ステップＳ１１）。ステップＳ１１の処理によって
作成されたｎ個の前処理済入力画像を，それぞれ画像Ａ
１〜Ａｎとする。また，ステップＳ１１の処理によって
作成されたｍ個の前処理済参照画像を，それぞれ画像Ｂ
１〜Ｂｍとする。

【００２７】次に，画像Ｂの付帯データで参照される常
識データベース１５の位置属性の情報から，画像Ａ１〜
Ａｎ内での探索範囲を決定する（ステップＳ１２）。ス
テップＳ１２で決定された画像Ａ１〜Ａｎの探索範囲内
から，順次切り出された画像に輝度差強調処理をほどこ
し，画像Ｂ１〜Ｂｍに輝度差強調処理をほどこした画像
で類似探索を行う（ステップＳ１３）。ステップＳ１３
で類似度が高い部分が検出された場合，その中で最も類
似度の高い部分をもって，画像Ａ内の物体と画像Ｂに写
っている物体とを同定する（ステップＳ１４）。

【００２８】ここで，本実施の形態による画像マッチン
グ処理装置１を用いた具体例を説明する。本例は，ロボ
ットが内部に画像マッチング処理装置１を有し，さら
に，参照画像記憶部１４には，あらかじめ「事務所天井
灯」と「点灯中」の付帯データが付された参照画像（以
下，画像Ｂとする）が用意されているものとする。この
ロボットが，無人で天井灯がすべて消されている昼間の
事務所で，眼前の風景の中から，画像Ｂが示す物体を探
索するものとする。また，入力画像（以下，画像Ａとす
る）の前処理は行わないものとする。

【００２９】ロボットが画像Ａとして眼前の風景を取り
込むと，ロボット内部の画像マッチング処理装置１は，
その画像Ａを取得する。現在の時刻と日付をロボット内
部の時計とカレンダー（内部時計・カレンダー１３）か
ら取得し，現在昼間であることを確認する。探索対象物
の画像を有する画像Ｂおよびその付帯データを参照画像
記憶部１４から取り出す。画像Ｂの付帯データである
「事務所天井灯」，「点灯中」というラベルで常識デー
タベース１５を参照し，以下の〜の情報を得る。 「視野内で上方に存在」（ラベル「事務所天井灯」の
位置属性より）。 「輝度の高い部分は輝度が低くなる場合がある」（ラ
ベル「点灯中」の明るさ分布属性より）。また，「輝度
が変化し得る部分は，輝度が高くなっている」（（ラベ
ル「点灯中」の物体・画像への影響より）。 「円形から楕円形または太い直線，様々な角度で上下
に押しつぶされた矩形となる」（ラベル「事務所天井
灯」の形状および形状変化より）。

【００３０】上記の情報から，探索対象物の画像デー
タの中で輝度の明るい部分は，現在輝度が低くなってい
る可能性があることがわかるので，画像Ｂの輝度の高い
部分を抽出しその部分を暗化した画像（以下，画像Ｂ’
とする）を作成する。その画像Ｂ’に，「事務所天井
灯」，「消灯中」の仮ラベルを付す。

【００３１】また，上記の情報から，記憶してある探
索対象物画像に比較して，入力画像Ａ中の探索対象物は
上下に引き延ばされるか，あるいは押し縮められている
可能性があることがわかるので，画像Ｂと画像Ｂ’を上
下方向に少しずつ押しつぶしたり引き延ばしたりして変
化させた複数（画像Ｂについてはｎ個，画像Ｂ’につい
てはｍ個）の画像を作成し，それを前処理済参照画像
（以下，画像Ｂ［１〜ｎ］，画像Ｂ’［１〜ｍ］とす
る）とする。画像Ｂ［１〜ｎ］，画像Ｂ’［１〜ｍ］の
すべてについて，輝度差を強調して特徴を明瞭にする。

【００３２】次に，上記の情報から，探索対象物は視
野の上方に存在する可能性が高いことがわかるので，取
得された画像Ａの上方に探索範囲（広域）Ｓを設定す
る。探索範囲（広域）Ｓの中から小領域ｓを切り出し，
それに輝度差強調をほどこした後，その小領域ｓ内部で
画像Ｂ［１〜ｎ］，画像Ｂ’［１〜ｍ］に類似する部分
を探索する。

【００３３】類似判定方法としては，例えば前述の正規
化相関値を利用する方法を用いる。そして最も類似度の
高かった場所を，そこで得られた相関値とともに記録す
る。探索範囲（広域）Ｓの中から次の小領域ｓを切り出
し，同様の探索を繰り返す。以降，このように小領域ｓ
を少しずつ動かしながら，探索範囲（広域）Ｓ全域を探
索し終えるまで類似探索の処理を繰り返す。

【００３４】探索範囲（広域）Ｓ全域を探索し終えた段
階で，画像Ｂ［１〜ｎ］，画像Ｂ’［１〜ｍ］内のどの
画像が，探索範囲（広域）Ｓの中のどの部分に最も一致
したかを，記録された相関値の大きさに基づいて判定す
る。本例の場合，探索範囲（広域）Ｓ内部で画像Ｂ’
［１〜ｍ］のどれかに類似の構造が発見され，「『消灯
中』の『事務所天井灯』と思われる物体を現在の風景の
中の『この位置』に発見」というように，ロボットは認
識することとなる。

【００３５】以上のように，本実施の形態では，被写体
に関する常識（知識）データベースや日付時刻情報に基
づく部分輝度調整および探索範囲の限定によって，カメ
ラ入力画像とテンプレート画像とを比較して行う対象物
の同定の精度を高める。以下では，これらの本実施の形
態で行う部分輝度調整や探索範囲の限定について，個別
に具体例で説明する。

【００３６】〔実施の形態１〕実施の形態１では，撮像
手段より画像Ａを入力し，あらかじめ記録されていた別
画像あるいは別の撮像手段から入力された，画像Ａより
も小さい画像Ｂと比較し，画像Ｂに写された物体に類似
の物体を画像Ａの中から探索発見する装置において，画
像Ｂに付された付帯データから様々な物品の性状データ
（特性データ）を納めたデータベースを参照して，その
物体の映像が画像Ｂの状態の他にどのような輝度分布を
とり得るかを推定し，その推定画像を作成し，画像Ｂの
他に推定画像も用いつつ画像Ａの中を探索することによ
り，より確実な発見をもたらす。

【００３７】図４は，実施の形態１における参照画像の
前処理方法を説明する図である。この例は，図４（ａ）
に示す入力画像２５を，図４（ｂ）に示す参照画像２６
でマッチングする場合において，前処理として輝度調整
を行う例である。入力画像２５のハッチング部分は，天
井灯が消灯していることを示す。また，参照画像２６に
は，付帯データとして「事務所天井灯」「点灯中」が付
されているものとする。

【００３８】まず，参照画像２６の付帯データである
「事務所天井灯」と「点灯中」をラベルとして図２の常
識データベース１５を参照し，「視野内で上方に存在」
（ラベル「事務所天井灯」の位置属性より），「輝度の
高い部分は輝度が低くなる場合がある」（ラベル「点灯
中」の明るさ分布属性より），「円形から楕円形または
太い直線，様々な角度で上下に押しつぶされた矩形とな
る」（ラベル「事務所天井灯」の形状および形状変化よ
り）という情報を得る。

【００３９】その情報に基づいて参照画像２６から天井
灯の点灯部分を自動抽出する。ここで，例えば自動抽出
の方法として，参照画像２６にＬＯＧ（Ｌａｐｌａｃｉ
ａｎｏｆ Ｇａｕｓｓｉａｎ）フィルタをかけ，各種サ
イズ・扁平度の円や楕円または太い直線図形とのマッチ
ングをとることにより天井灯の点灯部分の境界線を見出
し，その内側部分を天井灯の点灯部分として識別すると
いう方法がある。天井灯の点灯部分が抽出されたら，そ
の部分を一定量暗くした推定画像（前処理済参照画像）
も作成する。図４（ｃ）は，参照画像２６の天井灯の点
灯部分を暗化した前処理済参照画像２７である。ハッチ
ング部分が天井灯の点灯部分として抽出され，暗化され
た部分である。

【００４０】参照画像２６と前処理済参照画像２７の両
方の画像で，入力画像２５内の探索を行う。この例の場
合は，入力画像２５の天井灯は消灯されているので，前
処理済参照画像２７でマッチングを取ることができる。
入力画像２５において，破線の枠に囲まれた部分がマッ
チングした部分である。なお，図４の例では参照画像２
６に輝度調整をほどこした前処理済参照画像２７しか用
意しなかったが，入力画像２５内で探索対象の物体が変
形している可能性がある場合には，各種アフィン変換を
ほどこした画像を用意してもよい。

【００４１】〔実施の形態２〕実施の形態２では，撮像
手段より画像Ａを入力し，あらかじめ記録されていた別
画像あるいは別の撮像手段から入力された，画像Ａより
も小さい画像Ｂと比較し，画像Ｂに写された物体に類似
の物体を画像Ａの中から探索発見する装置において，画
像Ｂに付されたデータからデータベースを参照してその
物体が画像Ａの中のどのあたりにあるべきかを自動的に
判定し，画像Ａにおける探索範囲を限定することによ
り，より確実な発見をもたらす。

【００４２】〔実施の形態３〕実施の形態３では，撮像
手段より画像Ａを入力し，あらかじめ記録されていた別
画像あるいは別の撮像手段から入力された画像Ｂと比較
する装置において，画像Ａあるいは画像Ｂにおける，輝
度の高い窓のような部分を自動抽出することを行い，そ
の部分を意図的に暗化させることによって擬似的に異な
る時刻に撮影されたものに相当する画像を生成し，窓な
どの明るさの変化する大きな物体の写る画像において画
像Ａ，画像Ｂの両者の画像の類似性の検出をより確実と
する。

【００４３】図５は，実施の形態３における昼間室内画
像内の窓の抽出および暗化を説明する図である。図５
（ａ）は昼間に撮影された室内の画像２８である。この
画像２８は，入力画像であっても，参照画像であっても
よい。画像２８が入力画像である場合には，内部時計・
カレンダー１３で昼間であることを確認でき，画像２８
が参照画像である場合には，昼間である旨を付帯データ
として付しておけば，その付帯データから判別すること
ができる。

【００４４】窓の抽出は，まず，画像２８全体の輝度分
布を求め，あらかじめ定められている閾値より輝度が高
い部分を抽出する。画像２８において，ハッチングされ
ている部分が閾値より輝度が低い部分であり，ハッチン
グがされていない部分が閾値より輝度が高い部分である
ものとする。ここで，窓は「上下方向に関して視野の中
央に存在」，「縦横に大きく広がる」という性質を持つ
ことから，画像２８において破線枠２９の中にある輝度
値の高い部分が窓であると判断できる。窓の性質は，プ
ログラムが保持していてもよいし，一般知識として常識
データベース１５が保持していてもよい。

【００４５】一般にこの窓のような領域の判別の条件と
しては，「絶対的な輝度または他の部分と比較した相対
的な輝度（輝度差）が所定の閾値以上」であり，「縦横
それぞれが所定の閾値以上のサイズ」であるという条件
を用いれば実用上十分である。このような領域について
は，窓に限らず平面照明灯などがあり，以下の輝度調整
を行うことはマッチング精度の向上に効果がある。

【００４６】抽出された領域（窓等）は，時間帯によっ
て輝度が変わるという性質を持つ。内部時計・カレンダ
ー１３から現在の日付・時刻情報を取得し，その情報か
ら抽出された窓が現在どのように見えるはずかを計算
し，輝度を調整する。例えば，現在が夜であれば，抽出
された窓を暗化する。図５（ｂ）は，画像２８の窓部分
を暗化した画像３０である。このようにして，時刻等に
より輝度が変化する領域の輝度を変化させることによ
り，他時刻に相当する画像を擬似的に生成し，その画像
で類似の探索を行うことができる。

【００４７】〔実施の形態４〕実施の形態４では，撮像
手段より画像Ａを入力し，あらかじめ記録されていた別
画像あるいは別の撮像手段から入力された画像Ｂと比較
する装置において，画像Ａあるいは画像Ｂについての輝
度反転画像を作成し，窓などの明るさの変化する大きな
物体の手前に存在する物体群の画像において両者の画像
の類似性の検出をより確実とする。

【００４８】図６は，実施の形態４における輝度反転を
説明する図である。図中，ハッチングが付された部分
は，輝度が低い部分であることを示す。図６（ａ）は，
昼間に撮影された画像である。この画像では，電灯３２
が窓のブラインド３１をバックにしており，電灯３２は
消灯している。図６（ａ）に示すように，窓からは日の
光が差し込むためブラインド３１の輝度は高い。それに
対して電灯３２はブラインド３１からの光を浴びて逆光
となり，輝度が低くなる。

【００４９】図６（ｂ）は，図６（ａ）に輝度反転をほ
どこした画像である。ブラインド３１の輝度が低く，電
灯３２の輝度が高い。これは，夜間に照明をつけた室内
において撮影された画像と近いものである。このように
して，輝度を反転させることにより他時刻に相当する画
像を擬似的に生成し，その画像で類似の探索を行うこと
ができる。

【００５０】〔実施の形態５〕実施の形態５では，撮像
手段より画像Ａを入力し，それに対してあらかじめ記録
されていた別画像あるいは別の撮像手段から入力された
画像Ｂを比較する装置において，比較時に画像Ａの中
の，一度に演算対象とすることのできる部分のみを比較
対象として切り出してイコライズ（輝度差強調）処理を
ほどこし，同じく輝度差強調した画像Ｂと比較する。こ
れによって，画像Ａにおける画像Ｂに類似する部分の検
出をより確実とする。

【００５１】従来，入力画像Ａの全体と，画像Ｂのそれ
ぞれに対して，イコライズ（輝度差強調）処理をほどこ
してマッチング処理を行っていたが，入力画像Ａの輝度
変化に偏りがある場合には，画像Ａの輝度差強調が十分
ではないことがあった。これに対し，本実施の形態５で
は，画像Ａから切り出した小領域ごとに輝度差強調を行
うので，マッチングの精度を高めることができる。

【００５２】図７は，実施の形態５における類似画像探
索時の輝度差強調処理の例を説明する図である。図中，
ハッチングが付されている部分は，まだ輝度差強調処理
がほどこされていないことを示す。図７（ａ）は，まだ
輝度差強調処理がほどこされていない前処理済入力画像
２０である。また，図７（ｄ）は，まだ輝度差強調処理
がほどこされていない前処理済参照画像２３である。本
図の例は，前処理済入力画像２０を前処理済参照画像２
３で類似探索する場合の例である。前処理済参照画像２
３には，図２の常識データベース１５で参照される「消
火器標識」のラベルが付帯データとして付されているも
のとし，探索範囲決定部１８により探索範囲が「上下方
向で視野中央」に決定されているものとする。

【００５３】まず，図７（ｄ）示すまだ輝度差強調処理
がほどこされていない前処理済参照画像２３に輝度差強
調処理をほどこし，図７（ｅ）に示す輝度差強調処理が
ほどこされた前処理済参照画像２４を作成する。次に，
図７（ａ）の前処理済入力画像２０において，点線部分
が「上下方向に関して視野中央」であるので，その部分
を探索範囲として，その点線部分内で順に適当な大きさ
で画像を切り出す。

【００５４】ここで，今，図７（ａ）の前処理済入力画
像２０の探索範囲内において，破線部分が切り出された
ものとする。図７（ｂ）は，図７（ａ）の前処理済入力
画像２０から切り出されたまだ輝度差強調処理がほどこ
されていない切り出し画像２１である。この切り出し画
像２１に輝度差強調処理をほどこし，図７（ｃ）の輝度
差強調処理がほどこされた切り出し画像２２を作成す
る。このようにして，図７（ｃ）の輝度差強調処理がほ
どこされた切り出し画像２２を，図７（ｅ）に示す輝度
差強調処理がほどこされた前処理済参照画像２４で類似
探索する。

【００５５】以上の処理は，コンピュータとソフトウェ
アプログラムとによって実現することができ，そのプロ
グラムは，コンピュータが読み取り可能な可搬媒体メモ
リ，半導体メモリ，ハードディスク等の適当な記録媒体
に格納して，そこから読み出すことによりコンピュータ
に実行させることができる。

【００５６】以上の実施の形態の特徴を列挙すると，以
下のとおりである。

【００５７】（付記１） 入力された画像Ａと，あらか
じめ記録されているまたは前記画像Ａとは別に入力され
た，画像Ａよりも小さい画像Ｂとを比較し，前記画像Ｂ
に写っている物体と類似する物体を前記画像Ａから探索
する画像マッチング処理方法であって，前記画像Ｂに付
されている付帯データによって参照することができる，
少なくとも画像Ｂに写っている物体に関する輝度分布ま
たは輝度変化の可能性に関する情報が格納されたデータ
ベースから，前記画像Ｂに写っている物体に関する輝度
分布または輝度変化の可能性に関する情報を読み出す過
程と，読み出した輝度分布または輝度変化の可能性に関
する情報をもとに，前記画像Ｂにおける物体の映像部分
に対して輝度調整を行った１または複数の輝度調整画像
を作成する過程と，前記画像Ｂと前記輝度調整画像とを
用いて，前記画像Ｂに写っている物体と類似する物体を
前記画像Ａから探索する過程とを有することを特徴とす
る画像マッチング処理方法。

【００５８】（付記２） 入力された画像Ａと，あらか
じめ記録されているまたは前記画像Ａとは別に入力され
た，画像Ａよりも小さい画像Ｂとを比較し，前記画像Ｂ
に写っている物体と類似する物体を前記画像Ａから探索
する画像マッチング処理方法であって，前記画像Ｂに付
されている付帯データによって参照することができる，
少なくとも画像Ｂに写っている物体の位置情報が格納さ
れたデータベースから，前記画像Ｂに写っている物体の
位置情報を読み出す過程と，読み出した位置情報をもと
に，前記画像Ｂにおける物体が前記画像Ａにおいて写っ
ている範囲を推定し，前記画像Ａにおける探索範囲を限
定する過程と，限定された画像Ａの探索範囲内で前記画
像Ｂに写っている物体と類似する物体を探索する過程と
を有することを特徴とする画像マッチング処理方法。

【００５９】（付記３） 画像Ａと他の画像Ｂとを比較
する画像マッチング処理方法であって，前記画像Ａおよ
び前記画像Ｂのいずれか一方または双方から，所定の閾
値より輝度が高い所定のサイズ以上の領域を抽出する過
程と，前記抽出された輝度の高い領域の輝度値を変化さ
せた輝度調整画像を生成する過程と，前記画像Ａおよび
前記画像Ｂの他に，前記画像Ａ，前記画像Ｂまたはその
双方の輝度調整画像を用いて照合を行う過程とを有する
ことを特徴とする画像マッチング処理方法。

【００６０】（付記４） 画像Ａと他の画像Ｂとを比較
する画像マッチング処理方法であって，前記画像Ａまた
は前記画像Ｂについて輝度を反転させた輝度反転画像を
作成する過程と，前記画像Ａおよび前記画像Ｂの他に，
前記画像Ａまたは前記画像Ｂの輝度反転画像を用いて照
合を行う過程とを有することを特徴とする画像マッチン
グ処理方法。

【００６１】（付記５） 画像Ａと，画像Ａより小さい
画像Ｂとを比較する画像マッチング処理方法であって，
前記画像Ｂについて輝度差強調処理をほどこす第１の過
程と，前記画像Ａからあらかじめ定められたサイズで部
分画像を切り出す第２の過程と，前記画像Ａから切り出
した部分画像に対して輝度差強調処理をほどこす第３の
過程と，前記輝度差強調処理をほどこした画像Ｂと，前
記輝度差強調処理をほどこした画像Ａの部分画像とを比
較対象として照合する第４の過程と，前記画像Ａから切
り出す部分画像の位置をずらして前記第２から第４の過
程を前記画像Ａの全体にわたって繰り返す過程とを有す
ることを特徴とする画像マッチング処理方法。

【００６２】（付記６） 入力された画像Ａと，あらか
じめ記録されているまたは前記画像Ａとは別に入力され
た，画像Ａよりも小さい画像Ｂとを比較し，前記画像Ｂ
に写っている物体と類似する物体を前記画像Ａから探索
する画像マッチング処理装置であって，前記画像Ｂに付
されている付帯データによって参照することができる，
少なくとも画像Ｂに写っている物体に関する輝度分布ま
たは輝度変化の可能性に関する情報が格納されたデータ
ベースと，前記画像Ｂに付されている付帯データをもと
に，前記画像Ｂに写っている物体に関する輝度分布また
は輝度変化の可能性に関する情報を読み出す手段と，読
み出した輝度分布または輝度変化の可能性に関する情報
をもとに，前記画像Ｂにおける物体の映像部分に対して
輝度調整を行った１または複数の輝度調整画像を作成す
る手段と，前記画像Ｂと前記輝度調整画像とを用いて，
前記画像Ｂに写っている物体と類似する物体を前記画像
Ａから探索する手段とを備えることを特徴とする画像マ
ッチング処理装置。

【００６３】（付記７） 入力された画像Ａと，あらか
じめ記録されているまたは前記画像Ａとは別に入力され
た，画像Ａよりも小さい画像Ｂとを比較し，前記画像Ｂ
に写っている物体と類似する物体を前記画像Ａから探索
する画像マッチング処理装置であって，前記画像Ｂに付
されている付帯データによって参照することができる，
少なくとも画像Ｂに写っている物体の位置情報が格納さ
れたデータベースと，前記画像Ｂに付されている付帯デ
ータをもとに，前記画像Ｂに写っている物体の位置情報
を読み出す手段と，読み出した位置情報をもとに，前記
画像Ｂにおける物体が前記画像Ａにおいて写っている範
囲を推定し，前記画像Ａにおける探索範囲を限定する手
段と，限定された画像Ａの探索範囲内で前記画像Ｂに写
っている物体と類似する物体を探索する手段とを備える
ことを特徴とする画像マッチング処理装置。

【００６４】（付記８） 画像Ａと他の画像Ｂとを比較
する画像マッチング処理装置であって，前記画像Ａおよ
び前記画像Ｂのいずれか一方または双方から，所定の閾
値より輝度が高い所定のサイズ以上の領域を抽出する手
段と，前記抽出された輝度の高い領域の輝度値を変化さ
せた輝度調整画像を生成する手段と，前記画像Ａおよび
前記画像Ｂの他に，前記画像Ａ，前記画像Ｂまたはその
双方の輝度調整画像を用いて照合を行う手段とを備える
ことを特徴とする画像マッチング処理装置。

【００６５】（付記９） 画像Ａと他の画像Ｂとを比較
する画像マッチング処理装置であって，前記画像Ａまた
は前記画像Ｂについて輝度を反転させた輝度反転画像を
作成する手段と，前記画像Ａおよび前記画像Ｂの他に，
前記画像Ａまたは前記画像Ｂの輝度反転画像を用いて照
合を行う手段とを備えることを特徴とする画像マッチン
グ処理装置。

【００６６】（付記１０） 画像Ａと，その画像Ａより
小さい画像Ｂとを比較する画像マッチング処理装置であ
って，前記画像Ｂについて輝度差強調処理をほどこす手
段と，前記画像Ａから，順次前記画像Ａの全体にわたっ
て位置をずらしながらあらかじめ定められたサイズで部
分画像を切り出す手段と，前記画像Ａから切り出した部
分画像に対して輝度差強調処理をほどこす手段と，前記
輝度差強調処理をほどこした画像Ｂと，前記輝度差強調
処理をほどこした画像Ａの部分画像とを比較対象として
照合する手段とを備えることを特徴とする画像マッチン
グ処理装置。

【００６７】

【発明の効果】以上説明したように，本発明では，輝度
調整や輝度反転などによって昼夜の差による窓や探索対
象物体の明るさの変化を調整することにより，入力画像
の多少の輝度変化に左右されない安定した画像マッチン
グを行うことができ，参照画像による入力画像の類似部
分の検出精度がより高くなる。また，参照画像の付帯デ
ータにより常識データベースを参照することで，参照画
像の物体の室内配置に関する情報から入力画像内での探
索範囲をより狭い範囲に限定することにより，正しいマ
ッチング結果を得る可能性を高めることができる。

【図面の簡単な説明】

【図１】本発明を実現するシステムの構成例を示す図で
ある。

【図２】本実施の形態における常識データベースの例を
示す図である。

【図３】本実施の形態における画像マッチング処理の概
要を示す図である。

【図４】実施の形態１における参照画像の前処理方法を
説明する図である。

【図５】実施の形態３における昼間室内画像内の窓の抽
出および暗化を説明する図である。

【図６】実施の形態４における輝度反転を説明する図で
ある。

【図７】実施の形態５における類似画像探索時の輝度差
強調処理の例を説明する図である。

【符号の説明】

１ 画像マッチング処理装置 １０ 入力画像取得部 １１ 入力画像記憶部 １２ 明るさ推定部 １３ 内部時計・カレンダー １４ 参照画像記憶部 １５ 常識データベース １６ 入力画像前処理部 １７ 参照画像前処理部 １８ 探索範囲決定部 １９ 探索部

Claims (5)

【特許請求の範囲】
1. 【請求項１】 入力された画像Ａと，あらかじめ記録さ
   れているまたは前記画像Ａとは別に入力された，画像Ａ
   よりも小さい画像Ｂとを比較し，前記画像Ｂに写ってい
   る物体と類似する物体を前記画像Ａから探索する画像マ
   ッチング処理方法であって，前記画像Ｂに付されている
   付帯データによって参照することができる，少なくとも
   画像Ｂに写っている物体に関する輝度分布または輝度変
   化の可能性に関する情報が格納されたデータベースか
   ら，前記画像Ｂに写っている物体に関する輝度分布また
   は輝度変化の可能性に関する情報を読み出す過程と，読
   み出した輝度分布または輝度変化の可能性に関する情報
   をもとに，前記画像Ｂにおける物体の映像部分に対して
   輝度調整を行った１または複数の輝度調整画像を作成す
   る過程と，前記画像Ｂと前記輝度調整画像とを用いて，
   前記画像Ｂに写っている物体と類似する物体を前記画像
   Ａから探索する過程とを有することを特徴とする画像マ
   ッチング処理方法。
2. 【請求項２】 入力された画像Ａと，あらかじめ記録さ
   れているまたは前記画像Ａとは別に入力された，画像Ａ
   よりも小さい画像Ｂとを比較し，前記画像Ｂに写ってい
   る物体と類似する物体を前記画像Ａから探索する画像マ
   ッチング処理方法であって，前記画像Ｂに付されている
   付帯データによって参照することができる，少なくとも
   画像Ｂに写っている物体の位置情報が格納されたデータ
   ベースから，前記画像Ｂに写っている物体の位置情報を
   読み出す過程と，読み出した位置情報をもとに，前記画
   像Ｂにおける物体が前記画像Ａにおいて写っている範囲
   を推定し，前記画像Ａにおける探索範囲を限定する過程
   と，限定された画像Ａの探索範囲内で前記画像Ｂに写っ
   ている物体と類似する物体を探索する過程とを有するこ
   とを特徴とする画像マッチング処理方法。
3. 【請求項３】 画像Ａと他の画像Ｂとを比較する画像マ
   ッチング処理方法であって，前記画像Ａおよび前記画像
   Ｂのいずれか一方または双方から，所定の閾値より輝度
   が高い所定のサイズ以上の領域を抽出する過程と，前記
   抽出された輝度の高い領域の輝度値を変化させた輝度調
   整画像を生成する過程と，前記画像Ａおよび前記画像Ｂ
   の他に，前記画像Ａ，前記画像Ｂまたはその双方の輝度
   調整画像を用いて照合を行う過程とを有することを特徴
   とする画像マッチング処理方法。
4. 【請求項４】 画像Ａと他の画像Ｂとを比較する画像マ
   ッチング処理方法であって，前記画像Ａまたは前記画像
   Ｂについて輝度を反転させた輝度反転画像を作成する過
   程と，前記画像Ａおよび前記画像Ｂの他に，前記画像Ａ
   または前記画像Ｂの輝度反転画像を用いて照合を行う過
   程とを有することを特徴とする画像マッチング処理方
   法。
5. 【請求項５】 画像Ａと，その画像Ａより小さい画像Ｂ
   とを比較する画像マッチング処理方法であって，前記画
   像Ｂについて輝度差強調処理をほどこす第１の過程と，
   前記画像Ａからあらかじめ定められたサイズで部分画像
   を切り出す第２の過程と，前記画像Ａから切り出した部
   分画像に対して輝度差強調処理をほどこす第３の過程
   と，前記輝度差強調処理をほどこした画像Ｂと，前記輝
   度差強調処理をほどこした画像Ａの部分画像とを比較対
   象として照合する第４の過程と，前記画像Ａから切り出
   す部分画像の位置をずらして前記第２から第４の過程を
   前記画像Ａの全体にわたって繰り返す過程とを有するこ
   とを特徴とする画像マッチング処理方法。