JP2003058885A

JP2003058885A - 対応点探索方法および装置並びにコンピュータプログラム

Info

Publication number: JP2003058885A
Application number: JP2001248887A
Authority: JP
Inventors: Satoru Hirose; 悟広瀬; Satoshi Himeda; 諭姫田
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2001-08-20
Filing date: 2001-08-20
Publication date: 2003-02-28

Abstract

(57)【要約】【課題】対応点探索において誤対応をできるだけなく
し、正確な対応付けを行うこと。【解決手段】２つの画像について互いの対応点を求める
方法であって、画像の中の対応点を求めたい領域である
対象領域について、１つまたは複数の輝度情報を取得す
るステップと、画像の中の対象領域以外の領域である背
景領域について、その一部又は全部の輝度情報を前記対
象領域の輝度情報に基づく輝度情報に変更するステップ
と、２つの画像について、輝度情報を用いて対応点を求
めるステップとを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、対象物についてス
テレオ撮影された２枚の画像についての対応点探索方法
および装置並びにコンピュータプログラムに関する。特
に、多重解像度画像を用いて対応点探索を行う際に有効
である。本発明は対象物の３次元形状データの生成に利
用される。

【０００２】

【従来の技術】従来において、複数のカメラを用いて対
象物について視差のある複数の画像を取得し、それらの
画像から、キャリブレーション技術、対応点探索技術、
および３次元再構成技術を用いて３次元形状データを得
るようにした３次元生成装置が知られている。それに用
いられる対応点探索技術として、勾配法（オプティカル
フロー）および相関法が従来から知られている。

【０００３】対応点を正確に探索するために、多重解像
度画像を用いる方法が提案されている。この方法は、原
画像を最も高い解像度の画像として、順次、解像度の低
い画像を階層的に作成する。各解像度において、画像
は、探索の単位領域である画像ブロックから構成され
る。対応点の探索は、２つの画像について、最も解像度
の低い画像から順に行われる。その際に、ある解像度の
画像での探索結果が１階層上の解像度の画像の探索の初
期値に伝播される。

【０００４】

【発明が解決しようとする課題】さて、多重解像度画像
を用いた対応点探索方法において、低解像度での探索の
際に、画像内の対象物と背景との輝度差が大きい場合
に、誤った対応付けが行われてしまうことがある。

【０００５】すなわち、多重解像度画像を用いた探索に
際しては、各解像度において、各画像ブロックの輝度を
比較して対応付けを行う。各画像ブロックの輝度とし
て、例えば各画像ブロックに含まれる画素の平均の輝度
（明るさ）を用いる。画像ブロックのサイズは、解像度
が低いほど大きい。対応点を求めたい領域である対象領
域とそれ以外の領域である背景領域との境界にある画像
ブロックでは、背景領域の面積および輝度に応じて、そ
の画像ブロックの輝度が大きく左右される。

【０００６】したがって、本来は対応する２つの画像ブ
ロックであっても、視差による背景領域占有面積の相違
によって、輝度が大きく異なる場合がある。そのような
場合に、画像ブロックの対応が正しくとれず、誤対応と
なるおそれがある。

【０００７】また、照明用の光源またはその反射光など
の高輝度物体が背景にある場合に、視差による位置の相
違によって、本来は対応する２つの画像ブロックの一方
には高輝度物体が写っても他方には写らないということ
が起こり得る。その場合に、２つの画像ブロックの輝度
が大きく異なってしまうので、多くの場合に誤対応とな
ってしまう。

【０００８】多重解像度画像を用いた方法では、低解像
度で誤対応があった場合に、それが高解像度に伝播され
るため広い範囲で誤対応を起こしてしまい、３次元形状
データを正確に生成できなくなるおそれがあった。

【０００９】本発明は、上述の問題に鑑みてなされたも
ので、対応点探索において誤対応をできるだけなくし、
正確な対応付けを行うことを目的とする。

【００１０】

【課題を解決するための手段】本発明に係る方法は、２
つの画像について互いの対応点を求める方法であって、
前記画像の中の対応点を求めたい領域である対象領域に
ついて、１つまたは複数の輝度情報を取得するステップ
と、前記画像の中の前記対象領域以外の領域である背景
領域について、その一部又は全部の輝度情報を前記対象
領域の輝度情報に基づく輝度情報に変更するステップ
と、前記２つの画像について、輝度情報を用いて対応点
を求めるステップとを有する。

【００１１】輝度情報を取得するに際し、例えば、対象
領域に設定されたモニタ領域についての平均輝度を取得
する。また例えば、画像を所定の大きさ毎の画像ブロッ
クに区画し、画像ブロックのうちの対象領域と背景領域
との両方が含まれる画像ブロックについて、対象領域の
輝度情報を取得する。

【００１２】本発明に係る装置は、２つの画像を記憶す
る記憶部と、前記各画像の中の対応点を求めたい領域で
ある対象領域とそれ以外の領域である背景領域とを分離
する分離部と、前記各画像の中の対象領域について、所
定の大きさの領域であるモニタ領域を設定する設定部
と、前記各画像の中の背景領域について、その輝度情報
を前記モニタ領域の平均輝度に応じて変更する背景変更
部と、前記２つの画像について、輝度情報を用いて対応
点を求める対応点探索部とを有する。

【００１３】

【発明の実施の形態】図１は本発明に係る対応点探索方
法を適用した３次元生成装置１の全体を示す図、図２は
処理装置５の構成例を示すブロック図である。

【００１４】図１において、３次元生成装置１は、対象
物（被写体）Ｑを撮影するための多眼カメラ３、および
処理装置５からなる。多眼カメラ３は、デジタル式の２
つのカメラ３ｋ，３ｌが互いに連結されて一体となった
２眼カメラである。カメラ３ｋ，３ｌは、それぞれ光学
系および撮像素子を備える。以降において、一方のカメ
ラ３ｋに関する部材および要素の符号に「ｋ」を付し、
他方のカメラ３ｌに関する部材および要素の符号に「ｌ
（エル）」を付すことがある。

【００１５】多眼カメラ３のレリーズボタンを押して対
象物Ｑを１回撮影することによって、対象物Ｑについて
の視差のある２枚の画像ＦＤを得る。また、レリーズボ
タンを押すまでは、つまり撮影前では、撮像素子がとら
えた画像ＦＤがリアルタイムで連続的に出力される。

【００１６】多眼カメラ３には、多数の画像ＦＤを記憶
するメモリ、カメラパラメータを記憶するメモリ、画像
ＦＤを表示する液晶ディスプレイ、レリーズボタンなど
の種々の操作ボタン、フラッシュ、入出力インタフェー
ス、制御部、および電源部などが設けられる。

【００１７】撮影前の画像ＦＤ、撮影された画像ＦＤ、
または画像ＦＤに編集を加えた画像は、入出力インタフ
ェースを介して、処理装置５、その他の外部機器に転送
可能である。また、画像ＦＤを記憶したメモリを取り外
すことによって外部機器に入力することも可能である。

【００１８】処理装置５は、多眼カメラ３で得られた画
像ＦＤに対し、後述する種々の処理を行い、対応点探索
処理を行い、キャリブレーションを行い、３次元モデル
ＭＬを生成する。なお、処理装置５の機能を多眼カメラ
３に内蔵し、多眼カメラ３において３次元モデルＭＬを
生成するようにしてもよい。

【００１９】図２に示すように、処理装置５は、装置本
体１０、磁気ディスク装置１１、媒体ドライブ装置１
２、ディスプレイ装置１３、キーボード１４、およびマ
ウス１５などからなる。

【００２０】装置本体１０は、ＣＰＵ、ＲＡＭ、ＲＯ
Ｍ、ビデオＲＡＭ、入出力ポート、および各種コントロ
ーラなどからなる。ＲＡＭおよびＲＯＭなどに記憶され
たプログラムをＣＰＵが実行することにより、以下に説
明する種々の機能が実現される。

【００２１】磁気ディスク装置１１には、ＯＳ（Operat
ing System) 、３次元モデルＭＬを生成するためのモデ
リングプログラムＰＲ、その他のプログラム、入力され
た画像（２次元画像データ）ＦＤ、生成された３次元モ
デルＭＬ、その他のデータなどが格納されている。これ
らのプログラムおよびデータは、適時、装置本体１０の
ＲＡＭにローディングされる。

【００２２】なお、モデリングプログラムＰＲには、多
重化処理、背景分離処理、背景変更処理、対応付け処
理、３次元再構成処理、マッピング処理、およびその他
の処理のためのプログラムが含まれる。

【００２３】媒体ドライブ装置１２は、ＣＤ−ＲＯＭ
（ＣＤ）、フロッピィディスクＦＤ、光磁気ディスク、
コンパクトフラッシュ(登録商標）などの半導体メモリ
ＨＭ、その他の記録媒体にアクセスし、データまたはプ
ログラムの読み書きを行う。記録媒体の種類に応じて適
切なドライブ装置が用いられる。上に述べたモデリング
プログラムＰＲは、これら記録媒体からインストールす
ることも可能である。画像ＦＤなども記録媒体を介して
入力することが可能である。

【００２４】ディスプレイ装置１３の表示面ＨＧには、
上に述べた種々のデータ、画像ＦＤ、多重解像度画像、
画像ブロック、輝度値、背景指示メッセージ、モデリン
グプログラムＰＲによる処理過程の画像、生成された３
次元モデルＭＬ、その他のデータまたは画像が表示され
る。

【００２５】キーボード１４およびマウス１５は、ディ
スプレイ装置１３に表示された画像ＦＤに対して、モニ
タ領域（モニタウインドウ）の設定および輝度情報の表
示位置の指定などに用いられる他、装置本体１０に種々
のデータを入力しまたは指令を与えるために用いられ
る。

【００２６】処理装置５は、パーソナルコンピュータま
たはワークステーションなどを用いて構成することが可
能である。上に述べたプログラムおよびデータは、ネッ
トワークＮＷを介して受信することにより取得すること
も可能である。

【００２７】図３は処理装置５を機能的に示すブロック
図である。図３において、処理装置５は、画像入力部５
１、多重化部５２、輝度算出部５３、背景変更部５４、
対応付け部５５、３次元再構成部５６、設定部５７、分
離部５８、および対象領域獲得部５９などを有する。

【００２８】画像入力部５１は、多眼カメラ３で得られ
た画像ＦＤを入力し、メモリに記憶する。多重化部５２
は、入力された画像（原画像）ＦＤに基づいて、複数の
階層からなる多重解像度画像を作成する。各階層の画像
は、探索の単位領域である画像ブロックに区画される。
輝度算出部５３は、各階層の画像について、設定部５７
で設定されたモニタ領域の平均輝度または画像ブロック
内の対象領域の平均輝度を算出する。また、輝度算出部
５３は、モニタ領域のカラー（色）または画像ブロック
内の対象領域のカラーを算出する。

【００２９】背景変更部５４は、輝度算出部５３で算出
された輝度に基づいて、背景領域の輝度を変更する。ま
た、背景変更部５４は、輝度算出部５３で算出されたカ
ラーに基づいて、背景領域のカラーを変更する。

【００３０】対応付け部５５は、多重解像度画像に基づ
いて、勾配法または相関法などを用いて対応点探索を行
う。対応点探索を輝度を用いて行う場合には、背景変更
部５４によって、画像の対象領域と背景領域との輝度を
合わせるように予め調整される。対応点探索をカラーを
用いて行う場合には、それらのカラーを合わせるように
予め調整される。

【００３１】３次元再構成部５６は、探索された対応点
を用いて３次元再構成を行い、３次元形状データＤＴを
生成する。設定部５７は、キーボード１４およびマウス
１５などの操作入力部からの操作入力に基づいて、また
は自動的に、所定の大きさのモニタ領域を設定する。な
お、モニタ領域は、画像ＦＤの中の対象領域内に設定さ
れる。

【００３２】分離部５８は、画像ＦＤの中の対応点を求
めたい領域である対象領域と、それ以外の領域である背
景領域とを分離する。分離部５８による分離は、画素単
位で行う必要があるので、原画像に対して行われる。

【００３３】対象領域獲得部５９は、分離部５８で抽出
された対象領域（仮対象領域）について、それよりも少
し狭い領域を実際に用いる対象領域として獲得する。次
に、処理装置５の機能について詳しく説明する。

【００３４】図４は多重化部５２によって生成される多
重解像度画像を説明する図である。図４（Ａ）には、画
像入力部５１で入力された画像（原画像）ＦＤａが示さ
れている。画像ＦＤａは、例えば、１０２４×１０２４
画素からなる。原画像の場合は、対応点探索は、各画素
に対して行われる。つまり、各画素が探索の単位領域で
ある。各階層における探索の単位領域を「画像ブロック
ＧＢ」と呼ぶ。原画像では、各画素が画像ブロックＧＢ
となる。

【００３５】図４（Ｂ）の画像ＦＤｂは、画像ＦＤａよ
り解像度が何階層か低い画像である。この画像ＦＤｂで
は、画像ブロックＧＢの数は、１２×１２である。した
がって、１つの画像ブロックＧＢは、８５×８５画素程
度からなる。

【００３６】図４（Ｃ）の画像ＦＤｃは、画像ＦＤｂよ
り１階層低い解像度の画像である。この画像ＦＤｃで
は、画像ブロックＧＢの数は、６×６である。したがっ
て、１つの画像ブロックＧＢは、１７０×１７０画素程
度からなる。

【００３７】図４（ｄ）の画像ＦＤｄは、画像ＦＤｃよ
り１階層低く、最下層の解像度の画像である。この画像
ＦＤｄでは、画像ブロックＧＢの数は、３×３である。
したがって、１つの画像ブロックＧＢは、３４１×３４
１画素程度からなる。

【００３８】図５は画像の分離の様子を示す図、図６は
画像ブロックの輝度値の変更の例を示す図、図７は画像
ブロックについて対象領域および背景領域の輝度値の変
更の例を示す図である。

【００３９】図５（Ａ）は入力された画像ＦＤａ１を示
す。画像ＦＤａ１の対象である人物は、顔面および首部
の部分がほぼ同色であるとみなすことができ、且つ、そ
れらの領域内には急激な鋭角の突起などを含まない。画
像ＦＤａ１において、対象領域と背景領域とを分離す
る。例えば、人物の部分を対象領域とし、人物以外の部
分を背景領域とする。また、人物の顔面および首部など
の肌の部分を対象領域とし、その他の部分を背景領域と
する。

【００４０】分離の方法として、種々の公知のアルゴリ
ズムを用いることができる。例えば、輝度情報により分
離するには、画像ＦＤａ１について輝度差エッジを抽出
し、抽出した輝度差エッジをつなぐことによって境界を
設定する。輝度差エッジが不連続となる場合には、曲線
近似補間または直線補間などを行う。

【００４１】色情報で分離するには、画像ＦＤａ１の端
から順に、背景色とみなせる許容範囲内の値を持つ画素
を選択する。選択された画素の集合を背景領域とし、そ
の他の画素の集合を対象領域とする。この場合に、背景
色とみなす値を予め設定しておいてもよく、また、対象
物を撮影する前に背景のみを撮影し、そのデータに基づ
いて背景色の値を設定してもよい。

【００４２】色情報で分離する他の方法として、画像Ｆ
Ｄａ１の中央付近に、モニタ領域を設定する。モニタ領
域の周辺部に対し、モニタ領域の色と同色とみなせる部
分を同じ領域として拡げていく。得られた領域の全体を
対象領域とし、他の部分を背景領域とする。この場合
に、モニタ領域の色と同色とみなす許容値を設定してお
き、段階的に許容値を緩めることによって同色とみなす
範囲を拡げる。このようにして、想定している対象物の
形状とは明らかに異なるような領域となるまで対象領域
を拡げていく。

【００４３】図５（Ａ）の画像ＦＤａ１の例では、実際
に対応点の求められるのは顔および首の部分であり、こ
の部分が対象領域（仮対象領域）ＥＴａとして分離部５
８で抽出される。対象領域ＥＴａ以外の部分は背景領域
ＥＨａである。

【００４４】さらに、対象領域ＥＴａの境界部分につい
ては背景領域ＥＨａが混入してしまう可能性があるの
で、図５（Ｂ）に破線で示すように対象領域ＥＴａより
も数画素分狭い領域を実際に用いる対象領域ＥＴとして
獲得する。

【００４５】図５（Ｃ）には、獲得された対象領域ＥＴ
について、ある階層の解像度の画像ブロックが示されて
いる。図６（Ａ）には、画像ＦＤｃ１について、各画像
ブロックＧＢの輝度値（輝度代表値）が示されている。
各画像ブロックＧＢの輝度値は、各画像ブロックＧＢに
含まれる画素の輝度値の平均値である。数値が大きい程
明るい。

【００４６】この画像ブロックＧＢのうち、Ｘ＝４、Ｙ
＝４および３の２つの画像ブロックＧＢａ，ＧＢｂに注
目する。これらのいずれの画像ブロックＧＢａ，ＧＢｂ
にも、対象領域ＥＴと背景領域ＥＨとの両方が含まれて
いる。図６（Ａ）に示すように、各画像ブロックＧＢ
ａ，ＧＢｂの輝度値は、それぞれ「７０」「６０」であ
る。

【００４７】図７（Ａ）に示すように、画像ブロックＧ
Ｂａにおいては、対象領域ＥＴの輝度値は「４５」、背
景領域ＥＨの輝度値は「８０」である。また、図８
（Ａ）に示すように、画像ブロックＧＢｂにおいては、
対象領域ＥＴの輝度値は「２０」、背景領域ＥＨの輝度
値は「８０」である。このように、対象領域ＥＴの輝度
値と背景領域ＥＨの輝度値とが大きく異なる。

【００４８】このままでは、上に述べたように２つの画
像間において対応点探索が正確に行われない可能性があ
る。そこで、各画像ブロック内において、背景領域ＥＨ
の輝度値を対象領域ＥＴの輝度値に変更する。すなわ
ち、画像ブロック内の背景領域ＥＨの各画素の輝度値を
対象領域ＥＴの輝度値で置き換える。置き換えた後の画
像ブロックＧＢａ、ＧＢｂの各輝度値が図７（Ｂ）およ
び図８（Ｂ）に示されている。また、置き換えた後の画
像ブロックＧＢの全体の各輝度値が図６（Ｂ）に示され
ている。

【００４９】図６（Ｂ）に示されるように、対象領域Ｅ
Ｔと背景領域ＥＨとの両方が含まれる画像ブロックＧＢ
について、対象領域ＥＴの輝度に基づいて背景領域ＥＨ
の輝度を変更することにより、対応点探索における誤対
応がなくなり、正確な対応付けを行うことが可能とな
る。

【００５０】特に、多重解像度画像の各階層での最小の
単位領域である画像ブロックＧＢの中で背景領域ＥＨの
輝度を置き換えるので、対象領域ＥＴの中で輝度差があ
るような被写体であっても、各部分の位置に応じた輝度
値への変更が可能となり、画像ブロック毎に背景の輝度
値の影響を軽減することができる。

【００５１】例えば、画像ＦＤａ１において、背景領域
ＥＨと接する部分として肌色の部分と髪の毛の部分とが
あるとした場合に、背景領域ＥＨの全体を１つの輝度値
に変更すると、肌色に合う輝度値に変更することはでき
ても、それが髪の毛に合った輝度値になるとは限らな
い。しかし本実施形態によれば、画像ブロック毎に背景
領域ＥＨの輝度値を変更するので、対象領域が肌色の部
分であっても髪の毛の部分であっても、それに合った輝
度値に変更することができる。

【００５２】さらに、上で求めた対象領域ＥＴの輝度値
を用いて、その外側に隣接する背景領域ＥＨのみからな
る画像ブロックＧＢの輝度値を変更する。変更後の各画
像ブロックＧＢの輝度値が図６（Ｃ）に示されている。
これにより、一層正確な対応付けを行うことが可能とな
る。

【００５３】上に述べた例では、背景領域ＥＨの輝度
を、同じ画像ブロックＧＢの対象領域ＥＴの輝度を用い
て変更したが、対象領域ＥＴの特定の領域の輝度を用い
て変更してもよい。そのような特定の領域として、設定
部５７により設定されるモニタ領域が用いられる。

【００５４】図９は対象領域ＥＴに設定されたモニタ領
域ＭＥを示す図である。図９に示すように、画像ＦＤａ
１において、対象領域のほぼ中央部に、適当なサイズの
矩形状のモニタ領域ＭＥが設定される。

【００５５】なお、背景領域ＥＨの輝度値を対象領域の
輝度値を用いて変更する他、背景領域ＥＨにコントラス
トのあるパターンを与えてもよい。その場合に、２つの
画像のパターンの位置を異ならせることにより、３次元
再構成を行った場合の背景に奥行き方向の位置を与える
ことができる。

【００５６】次に、３次元生成装置１による処理の全体
的な流れについて、フローチャートを参照して説明す
る。図１０は３次元生成装置１による処理の全体的な流
れを示すフローチャート、図１１は背景分離処理を示す
フローチャート、図１２は背景変更処理を示すフローチ
ャートである。

【００５７】図１０において、撮像された２枚の画像Ｆ
Ｄを入力し（＃１１）、背景分離を行い（＃１２）、背
景変更を行う（＃１３）。そして、対応点探索を行い
（＃１４）、探索結果を用いて３次元再構成を行う（＃
１５）。

【００５８】画像ＦＤの多重解像度画像を作成する場合
には、多重解像度画像について解像度の低い画像から順
に、各解像度の画像に対してステップ＃１３および＃１
４を実行する。そして、実行した結果を、次の解像度の
画像に対して実行する際に用いる。

【００５９】図１１において、背景分離では、画像につ
いて輝度差エッジを抽出し（＃２１）、抽出した輝度差
エッジをつないで境界を設定する（＃２２）。モニタ領
域に近い輝度を有する領域を仮対象領域とし（＃２３で
イエス、＃２４）、それよりも若干収縮した領域を対象
領域ＥＴとする（＃２５）。

【００６０】図１２において、背景変更では、画像ブロ
ック内の対象領域ＥＴを抽出し（＃３１）、その輝度代
表値を算出し（＃３２）、画像ブロック内の背景領域Ｅ
Ｈを抽出し（＃３３）、背景領域ＥＨの輝度値を変更す
る（＃３４）。

【００６１】図１３および図１４は背景分離処理の他の
例を示すフローチャートである。図１３において、モニ
タ領域を設定し（＃４１）、その輝度値を算出する（＃
４２）。モニタ領域の周辺部に対し、モニタ領域の輝度
に近い輝度の部分を仮対象領域として拡げていく（＃４
３）。得られた仮対象領域を若干収縮して対象領域ＥＴ
とする（＃４４）。

【００６２】図１４において、画像の端から順に背景色
とみなせる画素を選択する（＃５１）。選択された画素
の集合を背景領域とし（＃５２）、その他の画素の集合
を対象領域とする（＃５３）。

【００６３】ここで、輝度差が大きい場合に対応点探索
が正確に行われない理由について説明する。図１５は視
差のある２枚の画像ＦＤＬ，ＦＤＲを示す図、図１６は
各画像ＦＤＬ，ＦＤＲの輝度勾配を示す図、図１７は背
景領域ＥＨの輝度の変更後の各画像ＦＤＬ，ＦＤＲの輝
度勾配を示す図である。

【００６４】なお、図１６（Ａ）および図１７（Ａ）
は、縦列（Ｙ列）が第４番の画像ブロックＧＢについて
の輝度勾配を示す。図１６（Ｂ）および図１７（Ｂ）
は、図１６（Ａ）または図１７（Ａ）における横列（Ｘ
列）が第４番の画像ブロックＧＢｃから第５番の画像ブ
ロックＧＢｄへの輝度勾配を拡大して示す。

【００６５】各画像ＦＤにおいて、縦列（Ｙ列）が第４
番、横列（Ｘ列）が第４番および第５番の画像ブロック
ＧＢｃ，ＧＢｄに注目する。画像ブロックＧＢｃは、対
象領域ＥＴおよび背景領域ＥＨの両方を含み、それらの
境界部分に存在する。画像ブロックＧＢｄは背景領域Ｅ
Ｈに存在する。

【００６６】画像ブロックＧＢｃにおいて、右の画像Ｆ
ＤＲよりも左の画像ＦＤＬの方が、背景領域ＥＨの面積
が大きい。また、図１５に示す状態では、背景領域ＥＨ
の輝度が低いため、対象領域ＥＴの輝度よりもかなり低
い（暗い）。

【００６７】そのため、対象領域ＥＴと背景領域ＥＨと
の輝度差の影響を受けて、画像ブロックＧＢｃにおい
て、図１６（Ａ）に示されるように、２枚の画像間の輝
度差ＫＤＳが大きい。

【００６８】図１６（Ｂ）では、画像ブロックＧＢｃに
おける輝度値を２枚の画像で同じ位置として、その輝度
勾配が比較し易く示されている。これによると、２枚の
画像間で、画像ブロックＧＢｃから画像ブロックＧＢｄ
への輝度勾配の違いが明らかである。

【００６９】この状態では、画像ブロックＧＢｃ，ＧＢ
ｄは、２枚の画像間でそれぞれ対応付けられるべきであ
るにも係わらず、互いの輝度勾配の大きな違いから、対
応付けが行われない可能性がある。その場合に誤対応と
なる。

【００７０】そこで、背景領域ＥＨの輝度を上げて明る
くすると、図１７（Ａ）および図１７（Ｂ）に示すよう
に、画像ブロックＧＢｃから画像ブロックＧＢｄへの輝
度勾配がほぼ同じになり、正しい対応付けが行われる。

【００７１】上に述べた実施形態において、処理装置５
または３次元生成装置１の全体または各部の構成、形
状、個数、画像の内容、処理の内容および順序などは、
本発明の趣旨に沿って適宜変更することができる。

【００７２】

【発明の効果】本発明によると、対応点探索において誤
対応をできるだけなくし、正確な対応付けを行うことが
できる。

【図面の簡単な説明】

【図１】本発明に係る対応点探索方法を適用した３次元
生成装置の全体を示す図である。

【図２】処理装置の構成例を示すブロック図である。

【図３】処理装置を機能的に示すブロック図である。

【図４】多重化部によって生成される多重解像度画像を
説明する図である。

【図５】画像の分離の様子を示す図である。

【図６】画像ブロックの輝度値の変更の例を示す図であ
る。

【図７】画像ブロックについて対象領域および背景領域
の輝度値の変更の例を示す図である。

【図８】画像ブロックについて対象領域および背景領域
の輝度値の変更の例を示す図である。

【図９】対象領域に設定されたモニタ領域を示す図であ
る。

【図１０】３次元生成装置による処理の全体的な流れを
示すフローチャートである。

【図１１】背景分離処理を示すフローチャートである。

【図１２】背景変更処理を示すフローチャートである。

【図１３】背景分離処理の他の例を示すフローチャート
である。

【図１４】背景分離処理の他の例を示すフローチャート
である。

【図１５】視差のある２枚の画像を示す図である。

【図１６】各画像の輝度勾配を示す図である。

【図１７】背景領域の輝度の変更後の各画像の輝度勾配
を示す図である。

【符号の説明】

１３次元生成装置５処理装置５１画像入力部（記憶部）５２多重化部（区画部、制御部）５３輝度算出部５４背景変更部５５対応付け部（対応点探索部）５７設定部５８分離部５９対象領域獲得部ＧＢ，ＧＢａ，ＧＢｂ，ＧＢｃ，ＧＢｄ画像ブロックＥＴ対象領域ＥＨ背景領域ＦＤ画像

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 CA12 CA16 DA07 DB02 DC22 DC32 5C061 AA20 AB04 AB12 5L096 FA69 HA07 JA13

Claims

【特許請求の範囲】

【請求項１】２つの画像について互いの対応点を求める
方法であって、前記画像の中の対応点を求めたい領域である対象領域に
ついて、１つまたは複数の輝度情報を取得するステップ
と、前記画像の中の前記対象領域以外の領域である背景領域
について、その一部又は全部の輝度情報を前記対象領域
の輝度情報に基づく輝度情報に変更するステップと、前記２つの画像について、輝度情報を用いて対応点を求
めるステップと、を有することを特徴とする対応点探索方法。
【請求項２】２つの画像について互いの対応点を求める
方法であって、前記各画像の中の対応点を求めたい領域である対象領域
について、所定の大きさの領域であるモニタ領域につい
ての平均輝度を取得するステップと、前記各画像の中の前記対象領域以外の領域である背景領
域について、その輝度情報を前記平均輝度に応じて変更するステップと、前記２つの画像について、輝度情報を用いて対応点を求
めるステップと、を有することを特徴とする対応点探索
方法。
【請求項３】２つの画像について互いの対応点を求める
方法であって、前記各画像を所定の大きさ毎の画像ブロックに区画する
ステップと、前記画像ブロックのうち、対応点を求めたい領域である
対象領域とそれ以外の領域である背景領域との両方が含
まれる画像ブロックについて、前記対象領域の輝度情報
に基づいて前記背景領域の輝度情報を変更するステップ
と、前記２つの画像について、輝度情報を用いて対応点を求
めるステップと、を有することを特徴とする対応点探索方法。
【請求項４】前記画像ブロックのうち、背景領域のみか
らなる画像ブロックについて、当該画像ブロックの周囲
に存在し且つ前記対象領域を含んだ他の画像ブロックの
輝度情報に基づいて、その輝度を変更する、請求項３記
載の対応点探索方法。
【請求項５】２つの画像について互いの対応点を求める
方法であって、ａ）前記２つの画像について多重解像度画像を作成する
ステップ、および、ｂ）前記多重解像度画像について、解像度の低い画像か
ら順に、各解像度の画像に対して実行した結果を次の解
像度の画像に対して実行する際に用いて、次のすべての
ステップを各画像に対して実行するステップ、（ｂ１）
当該解像度での処理の最小の画像単位領域である各画像
ブロックのうち、対応点を求めたい領域である対象領域
とそれ以外の領域である背景領域との両方が含まれる画
像ブロックについて、前記対象領域の輝度情報に基づい
て前記背景領域の輝度情報を変更するステップ、（ｂ
２）輝度情報を用いて対応点を求めるステップ、を有し
てなることを特徴とする対応点探索方法。
【請求項６】２つの画像について互いの対応点を求める
装置であって、前記２つの画像を記憶する記憶部と、前記各画像の中の対応点を求めたい領域である対象領域
とそれ以外の領域である背景領域とを分離する分離部
と、前記各画像の中の対象領域について、所定の大きさの領
域であるモニタ領域を設定する設定部と、前記各画像の中の背景領域について、その輝度情報を前
記モニタ領域の平均輝度に応じて変更する背景変更部
と、前記２つの画像について、輝度情報を用いて対応点を求
める対応点探索部と、を有することを特徴とする対応点探索装置。
【請求項７】２つの画像について互いの対応点を求める
装置であって、前記２つの画像を記憶する記憶部と、前記各画像を所定の大きさ毎の画像ブロックに区画する
区画部と、前記各画像の中の対応点を求めたい領域である対象領域
とそれ以外の領域である背景領域とを分離する分離部
と、前記画像ブロックのうち、対象領域と背景領域との両方
が含まれる画像ブロックについて、対象領域の輝度情報
に基づいて背景領域の輝度情報を変更する背景変更部
と、前記２つの画像について、輝度情報を用いて対応点を求
める対応点探索部と、を有することを特徴とする対応点探索装置。
【請求項８】２つの画像について互いの対応点を求める
装置であって、前記２つの画像について多重解像度画像を作成する多重
化部と、前記多重解像度画像について、解像度の低い画像から順
に、各解像度の画像に対して実行した結果を次の解像度
の画像に対して実行する際に用いる処理を行う制御部
と、各解像度での処理の最小の画像単位領域である各画像ブ
ロックのうち、対応点を求めたい領域である対象領域と
それ以外の領域である背景領域との両方が含まれる画像
ブロックについて、前記対象領域の輝度情報に基づいて
前記背景領域の輝度情報を変更する背景変更部と、前記２つの画像について、輝度情報を用いて対応点を求
める対応点探索部と、を有してなることを特徴とする対応点探索装置。
【請求項９】２つの画像について互いの対応点を求める
ためのコンピュータプログラムであって、前記各画像の中の対応点を求めたい領域である対象領域
について、１つまたは複数の輝度情報を取得するステッ
プと、前記各画像の中の前記対象領域以外の領域である背景領
域について、その一部又は全部の輝度情報を前記対象領
域の輝度情報に基づく輝度情報に変更するステップと、前記２つの画像について、輝度情報を用いて対応点を求
めるステップと、をコンピュータに実行させるためのコンピュータプログ
ラム。
【請求項１０】請求項９記載のコンピュータプログラム
が記録されたコンピュータ読み取り可能な記録媒体。