JP2000331151A

JP2000331151A - 画像処理方法、画像歪み補正処理装置、及びそのプログラムを記録した記録媒体

Info

Publication number: JP2000331151A
Application number: JP11144333A
Authority: JP
Inventors: Nobutatsu Nakamura; 暢達中村
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1999-05-25
Filing date: 1999-05-25
Publication date: 2000-11-30

Abstract

(57)【要約】【課題】簡便に画像から対象物体の領域を抽出し、ま
た一つの画像により全ての処理を行うことで複数画像を
用いることによる誤差を解消し、かつ物体平面の表面画
像を得ることができる画像処理方法、画像歪み補正処理
装置、及びそのプログラムを記録した記録媒体を提供す
る。【解決手段】パノラマ画像を読み込み、撮影対象物体
の幾何形状情報およびカメラ情報を読み込み、画像中の
物体の表面画像を抽出、表面画像領域と物体情報の関連
付けを保存処理することにより、パノラマ画像が同一地
点からその周囲を撮影した画像であるという条件を利用
して、容易にパノラマ画像中から平面の表面領域を抽出
し、幾何補正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、広角に撮影するこ
とにより生じる対象物体の歪みを補正する画像処理方
法、画像歪み補正処理装置、及びそのプログラムを記録
した記録媒体に関し、特に、パノラマ撮影した物体の幾
何形状情報を利用して、物体の表面画像情報を得ること
が可能な画像処理方法、画像歪み補正処理装置、及びそ
のプログラムを記録した記録媒体に関する。

【０００２】

【従来の技術】近年、マルチメディアの発達および普及
により、このマルチメディアを用いた産業や、個人レベ
ルでの活用が増えてきている。

【０００３】特に、画像処理においては、ディジタルカ
メラなどにより取り込んだ画像を、コンピュータにより
映像化する機会が増えてきている。ホームページなどで
よく目にする映像も、その一つである。特にインタネッ
ト上の美術館などは、その最たるもので、現在では、個
人が創作した絵画などを、安価に、より多くの人々に閲
覧してもらえる手段として、たくさんのユーザを獲得し
ている。また、これは才能のある人に多くのチャンスを
あたえる手段として今注目されている。

【０００４】このようなディジタルカメラなどで取り込
んだ画像は、特に広角に撮影した画像では、レンズなど
の性能により、全体を通して歪みが生じてしまう。

【０００５】このような歪みを解消する従来技術とし
て、特開平９−６９１７０号公報においては、物体の表
面模様を自動的に獲得するシステムの一例が開示されて
いる。この従来技術による三次元シーンの形状と表面模
様の再構成方法およびその装置は、図１３に示すよう
に、三次元空間を複数視点から撮影して得られた複数画
像を読み込む手段と、前記複数画像群から三次元幾何形
状を再構成する手段と、前記複数画像群から平面形状の
表面模様画像（テクスチャ画像）を生成する手段と、前
記幾何形状と前記テクスチャ画像とを対応付けて記憶す
る手段とから構成されている。

【０００６】上記図１３のような構成を有する従来技術
による三次元シーン構成システムの動作の一実施形態を
図１４を用いて詳細に説明する。

【０００７】まず、複数の異なる視点から撮影して得ら
れた複数の画像より、適当な画像を選択し（ステップＳ
７０１）、画像中の物体の稜線位置を抽出する（ステッ
プＳ７０２）。この稜線における各辺の接続関係および
接続角度情報を与えることにより（ステップＳ７０
３）、三角測量の原理により画像中の物体の三次元形状
情報を計算する（ステップＳ７０４）。さらに、一様な
平面または平面に近い領域全域が獲得されている他の画
像から、ステップＳ７０１により選択された物体の領域
と、同じ物体の該当する領域を切り出し、この２つの領
域の画像における形状を比較することで、この物体にお
ける切り出された領域内の表面模様に歪み補正や色及び
濃淡補正を行う（ステップＳ７０５）。

【０００８】特に、切り出された領域における撮像面と
撮影領域とが平行でないことから生じる幾何歪みが存在
する場合に、幾何歪みを補正し、光源の位置や光量など
の影響で、均一な陰影及び明暗が得られていない場合
に、不均一な陰影及び明暗を補正し、また障害物等によ
って隠された部分がある場合に、その部分を内挿外挿に
より補正する。もし平面または平面に近い一様な領域
が、複数の画像にわたって獲得されている場合には、該
複数画像を融合してひとつの大きな画像を生成する。

【０００９】

【発明が解決しようとする課題】しかしながら、この上
記従来技術には、幾つかの問題点を有している。まず、
第１の問題点は、カメラ画像から物体の表面画像を抽出
するのは手間のかかる作業であるということである。そ
の理由は、物体の表面となる平面を正面以外から撮影し
た画像から抽出した物体の表面画像には幾何歪みが含ま
れ、幾何歪みの補正を行うためには、カメラの位置と物
体の位置関係を計測し、各カメラ位置に対応した物体の
カメラからの距離や、物体の表面と撮像面とのなす角度
を計算する必要があるためである。

【００１０】また、第２の問題点は、カメラ位置、カメ
ラレンズ焦点距離が不明な場合、カメラ画像から物体の
表面画像を抽出するのは手間のかかる作業であるという
ことである。その理由は、従来技術では、対象物体の画
像における稜線を抽出して、その稜線間の関係をユーザ
が指定し、カメラ座標系における物体の幾何形状を計算
しているが、画像のノイズや歪みのために稜線を正確に
抽出できなかったり、稜線間関係と角度の情報の入力作
業には、空間的な透視変換の知識が要求され、誤った情
報を入力する可能性があるためである。

【００１１】さらに、第３の問題点は、画像における物
体領域の抽出誤差が離散的になり、きれいな画像を得る
には手間がかかるということである。その理由は、従来
手法にあるように、ある物体領域を複数画像から抽出
後、抽出領域を連結する方式では、各抽出領域を異なる
カメラ情報で算出するため、その誤差は離散的となり、
きれいな画像を得るには種々の後処理が必要となるから
である。

【００１２】本発明は係る問題に鑑みなされたもので、
上記従来技術が有する諸問題を解決し、より簡便に画像
から対象物体の領域を抽出し、また一つの画像により全
ての処理を行うことで複数画像を用いることによる誤差
を解消し、かつ物体平面の表面画像を得ることができる
画像処理方法、画像歪み補正処理装置、及びそのプログ
ラムを記録した記録媒体を提供することを目的とする。

【００１３】

【課題を解決するための手段】係る問題を解決するにあ
たり、請求項１記載の発明は、光を集束させて撮影され
た一つの画像データ内、対象物体を構成する表面画像の
平面領域を抽出する平面領域抽出工程と、平面領域の幾
何歪みを、撮影位置と対象物体との間隔と、撮影時の焦
点距離と、対象物体の形状及び寸法とを基に、透視変換
により補正する補正工程を有する。

【００１４】また、請求項２記載の発明は、光を集束さ
せ、周囲の情景を一つの画像データとして取り込む撮影
工程と、該撮影工程より取り込まれた画像データから、
対象物体の色彩の差および構成により生じる綾線を抽出
する綾線抽出工程と、綾線により囲まれた領域の内、対
象物体を構成する表面画像の平面領域を抽出する平面領
域抽出工程と、撮影工程が配置された位置と周囲の情景
に含まれる対象物体の位置との間隔を入手する対象距離
入手工程と、撮影工程における光が集束する焦点距離を
入手する焦点距離入手工程と、対象物体の形状及び寸法
の情報を入手する形状・寸法入手工程と、間隔と、焦点
距離と、対象物体の形状及び寸法とを基に、透視変換に
より、平面領域抽出工程により抽出された平面領域の幾
何歪みを補正する補正工程とを有する。

【００１５】また、請求項３記載の発明は、光を集束さ
せ、周囲の情景を一つの画像データとして取り込む撮影
工程と、該撮影工程より取り込まれた画像データから、
対象物体の色彩の差および構成により生じる綾線を抽出
する綾線抽出工程と、綾線により囲まれた領域の内、対
象物体を構成する表面画像の平面領域を抽出する平面領
域抽出工程と、撮影工程における光が集束する焦点距離
を入手する焦点距離入手工程と、対象物体の形状及び寸
法の情報を入手する形状・寸法入手工程と、綾線抽出工
程により抽出された綾線の内、周囲の情景において平行
となる綾線を少なくとも１組選択する平行線選択工程
と、平行線選択工程により選択された綾線の内、画像デ
ータにおいて該綾線の接線が平行となる綾線上の２点を
算出する平行点算出工程と、平行点算出工程により算出
された２点間の距離を算出する２点間距離算出工程と、
２点間距離算出工程により算出された２点間の距離と、
焦点距離入手工程により入手した焦点距離と、形状・寸
法入手工程により入手した対象物体の寸法とにより、撮
影工程が配置された位置と周囲の情景に含まれる対象物
体の位置との間隔を算出する対象距離算出工程と、間隔
と、焦点距離と、対象物体の形状及び寸法とを基に、透
視変換により、平面領域抽出工程により抽出された平面
領域の幾何歪みを補正する補正工程とを有する。

【００１６】また、請求項４記載の発明は、光を集束さ
せ、周囲の情景を一つの画像データとして取り込む撮影
工程と、該撮影工程より取り込まれた画像データか
ら、対象物体の色彩の差および構成により生じる綾線を
抽出する綾線抽出工程と、綾線により囲まれた領域の
内、対象物体を構成する表面画像の平面領域を抽出する
平面領域抽出工程と、撮影工程が配置された位置と周囲
の情景に含まれる対象物体の位置との間隔を入手する対
象距離入手工程と、撮影工程における光が集束する焦点
距離を入手する焦点距離入手工程と、対象物体の形状及
び寸法の情報を入手する形状・寸法入手工程と、間隔
と、焦点距離と、対象物体の形状及び寸法とを基に、透
視変換により、平面領域抽出工程により抽出された平面
領域の幾何歪みを補正する補正工程と、平面抽出工程に
より抽出した対象物体の平面領域を有する平面上の位置
を２次元直交座標系で表すことにより、平面領域を２次
元座標で表す２次元表記工程と、２次元直交座標系の平
面を３次元直交座標により表すことにより、平面領域を
３次元直交座標により表す３次元変換工程とを有する。

【００１７】また、請求項５記載の発明は、光を集束さ
せ、周囲の情景を一つの画像データとして取り込む撮影
工程と、該撮影工程より取り込まれた画像データから、
対象物体の色彩の差および構成により生じる綾線を抽出
する綾線抽出工程と、綾線により囲まれた領域の内、対
象物体を構成する表面画像の平面領域を抽出する平面領
域抽出工程と、撮影工程における光が集束する焦点距離
を入手する焦点距離入手工程と、対象物体の形状及び寸
法の情報を入手する形状・寸法入手工程と、綾線抽出工
程により抽出された綾線の内、周囲の情景において平行
となる綾線を少なくとも１組選択する平行線選択工程
と、平行線選択工程により選択された綾線の内、画像デ
ータにおいて該綾線の接線が平行となる綾線上の２点を
算出する平行点算出工程と、平行点算出工程により算出
された２点間の距離を算出する２点間距離算出工程と、
２点間距離算出工程により算出された２点間の距離と、
焦点距離入手工程により入手した焦点距離と、形状・寸
法入手工程により入手した対象物体の寸法とにより、撮
影工程が配置された位置と周囲の情景に含まれる対象物
体の位置との間隔を算出する対象距離算出工程と、平面
抽出工程により抽出した対象物体の平面領域を有する平
面上の位置を２次元直交座標系で表すことにより、平面
領域を２次元座標で表す２次元表記工程と、間隔と、焦
点距離と、対象物体の形状及び寸法とを基に、透視変換
により、平面領域抽出工程により抽出された平面領域の
幾何歪みを補正する補正工程と、２次元直交座標系の平
面を３次元直交座標により表すことにより、平面領域を
３次元直交座標により表す３次元変換工程とを有する。

【００１８】また、請求項６記載の発明によれば、請求
項１から５のいずれかに記載の画像処理方法において、
補正工程は、画像データの撮像面における点を、該点と
該点が対象物体において対応する点とを結ぶ直線が、所
定の平面に交わる点に変換する。

【００１９】また、請求項７記載の発明によれば、請求
項６記載の画像処理方法において、所定の平面は、撮像
面の中心と、周囲の情景の中心とを結んだ直線に垂直に
交わる平面である。

【００２０】また、請求項８記載の発明によれば、請求
項２から７のいずれかに記載の画像処理方法において、
補正工程により補正された平面領域を、形状・寸法入手
工程により入手した対象物体の形状に対応して記憶する
記憶工程をさらに有する。

【００２１】また、請求項９記載の発明によれば、請求
項８記載の画像処理方法において、記憶工程は、３次元
変更工程により表記された３次元直交座標を、形状・寸
法工程により入手した対象物体の形状に対応して記憶す
る。

【００２２】また、請求項１０記載の発明によれば、請
求項８または９記載の画像処理方法において、記憶工程
は、平面領域と対象物体の形状との対応をＨＴＭＬ形式
のファイルに保存して記憶する。

【００２３】また、請求項１１記載の発明によれば、請
求項１から１０のいずれかに記載の画像処理方法におい
て、平面領域抽出工程は、周囲の情景において平面領域
を有する物体を対象物体として選択し、該対象物体の平
面領域が画像データの内、どの領域と対応するかを算出
することで、平面領域を抽出する。

【００２４】また、請求項１２記載の発明によれば、請
求項１から１１のいずれかに記載の画像処理方法におい
て、画像データは、周囲の情景を広角に撮影した画像デ
ータである。

【００２５】また、請求項１３記載の発明によれば、請
求項１から１２のいずれかに記載の画像処理方法におい
て、画像データは、周囲の情景を所定の軸方向に広角に
撮影した画像データである。

【００２６】また、請求項１４記載の発明によれば、請
求項１３記載の画像処理方法において、所定の軸は、水
平方向である。

【００２７】また、請求項１５記載の発明によれば、請
求項１から１４のいずれかに記載の画像処理方法におい
て、画像データは、円筒型の撮像面に対象物体の写像を
陰影することで取り込まれた画像データである。

【００２８】また、請求項１６記載の発明によれば、請
求項１から１４のいずれかに記載の画像処理方法におい
て、画像データは、複数の平面を連結した撮像面に対象
物体の写像を陰影することで取り込まれた画像データで
ある。

【００２９】また、請求項１７記載の発明は、請求項１
から１６のいずれかに記載の画像処理方法において、画
像データが、円筒型の撮像面を用いて撮影されたもので
あるか、複数の平面を連結した撮像面を用いて撮影され
たものであるかを判別する撮像面判別工程をさらに有
し、補正工程は、撮像面判定工程により判別された撮像
面に応じて、補正を行う。

【００３０】また、請求項１８記載の発明によれば、請
求項２から１７のいずれかに記載の画像処理方法におい
て、平面領域は、長方形平面領域であり、該長方形平面
領域は、所定の軸と平行な一組の線を有する。

【００３１】また、請求項１９記載の発明によれば、請
求項１または２または４または６から１８のいずれかに
記載の画像処理方法において、撮影位置と周囲の情景に
含まれる対象物体の位置との間隔は予めユーザにより記
憶部に記憶されている。

【００３２】また、請求項２０記載の発明において、請
求項１から１９のいずれかに記載の画像処理方法におい
て、対象物体の形状及び寸法の情報は、ＣＡＤシステム
で設計された幾何形状情報である。

【００３３】また、請求項２１記載の発明において、請
求項１から１９のいずれかに記載の画像処理方法におい
て、対象物体の形状及び寸法の情報は、設計図面を基に
した幾何形状情報である。

【００３４】また、請求項２２記載の発明によれば、請
求項１から１９のいずれかに記載の画像処理方法におい
て、対象物体の形状及び寸法の情報は、ユーザにより測
定された対象物体の幾何形状情報である。

【００３５】また、請求項２３記載の発明によれば、請
求項１または２または４または６から２２のいずれかに
記載の画像処理方法において、撮影位置と対象物体との
間隔は、予めユーザにより記憶部に記憶されている。

【００３６】また、請求項２４記載の発明によれば、請
求項１から２３のいずれかに記載の画像処理方法におい
て、撮影時の焦点距離は、予めユーザにより記憶部に記
憶されている。

【００３７】また、請求項２５記載の発明によれば、請
求項１から２４のいずれかに記載の画像処理方法におい
て、対象物体の形状及び寸法の情報は、予めユーザによ
り記憶部に記憶されている。

【００３８】また、請求項２６記載の発明は、光を集束
させて撮影された一つの画像データ内、対象物体を構成
する表面画像の平面領域を抽出する平面領域抽出手段
と、平面領域の幾何歪みを、撮影位置と対象物体との間
隔と、撮影時の焦点距離と、対象物体の形状及び寸法と
を基に、透視変換により補正する補正手段とを有する。

【００３９】また、請求項２７記載の発明は、光を集束
させ、周囲の情景を一つの画像データとして取り込む撮
影手段と、該撮影手段より取り込まれた画像データか
ら、対象物体の色彩の差および構成により生じる綾線を
抽出する綾線抽出手段と、綾線により囲まれた領域の
内、対象物体を構成する表面画像の平面領域を抽出する
平面領域抽出手段と、撮影手段が配置された位置と周囲
の情景に含まれる対象物体の位置との間隔を入手する対
象距離入手手段と、撮影手段における光が集束する焦点
距離を入手する焦点距離入手手段と、対象物体の形状及
び寸法の情報を入手する形状・寸法入手手段と、間隔
と、焦点距離と、対象物体の形状及び寸法とを基に、透
視変換により、平面領域抽出手段により抽出された平面
領域の幾何歪みを補正する補正手段とを有する。

【００４０】また、請求項２８記載の発明は、光を集束
させ、周囲の情景を一つの画像データとして取り込む撮
影手段と、該撮影手段より取り込まれた画像データか
ら、対象物体の色彩の差および構成により生じる綾線を
抽出する綾線抽出手段と、綾線により囲まれた領域の
内、対象物体を構成する表面画像の平面領域を抽出する
平面領域抽出手段と、撮影手段における光が集束する焦
点距離を入手する焦点距離入手手段と、対象物体の形状
及び寸法の情報を入手する形状・寸法入手手段と、綾線
抽出手段により抽出された綾線の内、周囲の情景におい
て平行となる綾線を少なくとも１組選択する平行線選択
手段と、平行線選択手段により選択された綾線の内、画
像データにおいて該綾線の接線が平行となる綾線上の２
点を算出する平行点算出手段と、平行点算出手段により
算出された２点間の距離を算出する２点間距離算出手段
と、２点間距離算出手段により算出された２点間の距離
と、焦点距離入手手段により入手した焦点距離と、形状
・寸法入手手段により入手した対象物体の寸法とによ
り、撮影手段が配置された位置と周囲の情景に含まれる
対象物体の位置との間隔を算出する対象距離算出手段
と、間隔と、焦点距離と、対象物体の形状及び寸法とを
基に、透視変換により、平面領域抽出手段により抽出さ
れた平面領域の幾何歪みを補正する補正手段とを有す
る。

【００４１】また、請求項２９記載の発明は、請求項２
６から２８のいずれかに記載の画像歪み補正処理装置に
おいて、平面抽出手段により抽出した対象物体の平面領
域を有する平面上の位置を２次元直交座標系で表すこと
により、平面領域を２次元座標で表す２次元表記手段
と、２次元直交座標系の平面を３次元直交座標により表
すことにより、平面領域を３次元直交座標により表す３
次元変換手段とをさらに有する。

【００４２】また、請求項３０記載の発明は、請求項２
６から２９のいずれかに記載の画像歪み補正処理装置に
おいて、補正手段は、画像データの撮像面における点
を、該点と該点が対象物体において対応する点とを結ぶ
直線が、所定の平面に交わる点に変換する。

【００４３】また、請求項３１記載の発明によれば、所
定の平面は、請求項３０記載の画像歪み補正処理装置に
おいて、撮像面の中心と、周囲の情景の中心とを結んだ
直線に垂直に交わる平面である。

【００４４】また、請求項３２記載の発明は、請求項２
７から３１のいずれかに記載の画像歪み補正処理装置に
おいて、補正手段により補正された平面領域を、形状・
寸法入手手段により入手した対象物体の形状に対応して
記憶する記憶手段をさらに有する。

【００４５】また、請求項３３記載の発明によれば、請
求項３２記載の画像歪み補正処理装置において、記憶手
段は、３次元変更手段により表記された３次元直交座標
を、形状・寸法手段により入手した対象物体の形状に対
応して記憶する。

【００４６】また、請求項３４記載の発明によれば、請
求項３２または３３記載の画像歪み補正処理装置におい
て、記憶手段は、平面領域と対象物体の形状との対応を
ＨＴＭＬ形式のファイルに保存して記憶する。

【００４７】また、請求項３５記載の発明によれば、請
求項２６から３４のいずれかに記載の画像歪み補正処理
装置において、平面領域抽出手段は、周囲の情景におい
て平面領域を有する物体を対象物体として選択し、該対
象物体の平面領域が画像データの内、どの領域と対応す
るかを算出することで、平面領域を抽出する。

【００４８】また、請求項３６記載の発明によれば、請
求項２６から３５のいずれかに記載の画像歪み補正処理
装置において、画像データは、周囲の情景を広角に撮影
した画像データである。

【００４９】また、請求項３７記載の発明によれば、請
求項２６から３６のいずれかに記載の画像歪み補正処理
装置において、画像データは、周囲の情景を所定の軸方
向に広角に撮影した画像データである。

【００５０】また、請求項３８記載の発明によれば、請
求項３７記載の画像歪み補正処理装置において、所定の
軸は、水平方向である。

【００５１】また、請求項３９記載の発明によれば、請
求項２６から３８のいずれかに記載の画像歪み補正処理
装置において、画像データは、円筒型の撮像面に対象物
体の写像を陰影することで取り込まれた画像データであ
る。

【００５２】また、請求項４０記載の発明によれば、請
求項２６から３９のいずれかに記載の画像歪み補正処理
装置において、画像データは、複数の平面を連結した撮
像面に対象物体の写像を陰影することで取り込まれた画
像データである。

【００５３】また、請求項４１記載の発明は、請求項２
６から４０のいずれかに記載の画像歪み補正処理装置に
おいて、画像データが、円筒型の撮像面を用いて撮影さ
れたものであるか、複数の平面を連結した撮像面を用い
て撮影されたものであるかを判別する撮像面判別手段を
さらに有し、補正手段は、撮像面判定手段により判別さ
れた撮像面に応じて、補正を行う。

【００５４】また、請求項４２記載の発明によれば、請
求項２７から４１のいずれかに記載の画像歪み補正処理
装置において、平面領域は、長方形平面領域であり、該
長方形平面領域は、所定の軸と平行な一組の線を有す
る。

【００５５】また、請求項４３記載の発明によれば、請
求項２６または２７または２９から４２のいずれかに記
載の画像歪み補正処理装置において、撮影位置と周囲の
情景に含まれる対象物体の位置との間隔は予めユーザに
より記憶手段に記憶されている。

【００５６】また、請求項４４記載の発明によれば、請
求項２６から４３のいずれかに記載の画像歪み補正処理
装置において、対象物体の形状及び寸法の情報は、ＣＡ
Ｄシステムで設計された幾何形状情報である。

【００５７】また、請求項４５記載の発明によれば、請
求項２６から４３のいずれかに記載の画像歪み補正処理
装置において、対象物体の形状及び寸法の情報は、設計
図面を基にした幾何形状情報である。

【００５８】また、請求項４６記載の発明によれば、請
求項２６から４３のいずれかに記載の画像歪み補正処理
装置において、対象物体の形状及び寸法の情報は、ユー
ザにより測定された対象物体の幾何形状情報である。

【００５９】また、請求項４７記載の発明によれば、請
求項２６または２７または２９から４６のいずれかに記
載の画像歪み補正処理装置において、撮影位置と対象物
体との間隔は、予めユーザにより記憶手段に記憶されて
いる。

【００６０】また、請求項４８記載の発明によれば、請
求項２６から４７のいずれかに記載の画像歪み補正処理
装置において、撮影時の焦点距離は、予めユーザにより
記憶手段に記憶されている。

【００６１】また、請求項４９記載の発明によれば、請
求項２６から４８のいずれかに記載の画像歪み補正処理
装置において、対象物体の形状及び寸法の情報は、予め
ユーザにより記憶手段に記憶されている。

【００６２】また、請求項５０記載の発明は、光を集束
させて撮影された一つの画像データ内、対象物体を構成
する表面画像の平面領域を抽出する平面領域抽出処理
と、平面領域の幾何歪みを、撮影位置と対象物体との間
隔と、撮影時の焦点距離と、対象物体の形状及び寸法と
を基に、透視変換により補正する補正処理とを実行させ
る。

【００６３】また、請求項５１記載の発明は、光を集束
させ、周囲の情景を一つの画像データとして取り込む撮
影処理と、該撮影処理より取り込まれた画像データか
ら、対象物体の色彩の差および構成により生じる綾線を
抽出する綾線抽出処理と、綾線により囲まれた領域の
内、対象物体を構成する表面画像の平面領域を抽出する
平面領域抽出処理と、撮影処理が配置された位置と周囲
の情景に含まれる対象物体の位置との間隔を入手する対
象距離入手処理と、撮影処理における光が集束する焦点
距離を入手する焦点距離入手処理と、対象物体の形状及
び寸法の情報を入手する形状・寸法入手処理と、間隔
と、焦点距離と、対象物体の形状及び寸法とを基に、透
視変換により、平面領域抽出処理により抽出された平面
領域の幾何歪みを補正する補正処理とを実行させる。

【００６４】また、請求項５２記載の発明は、光を集束
させ、周囲の情景を一つの画像データとして取り込む撮
影処理と、該撮影処理より取り込まれた画像データか
ら、対象物体の色彩の差および構成により生じる綾線を
抽出する綾線抽出処理と、綾線により囲まれた領域の
内、対象物体を構成する表面画像の平面領域を抽出する
平面領域抽出処理と、撮影処理における光が集束する焦
点距離を入手する焦点距離入手処理と、対象物体の形状
及び寸法の情報を入手する形状・寸法入手処理と、綾線
抽出処理により抽出された綾線の内、周囲の情景におい
て平行となる綾線を少なくとも１組選択する平行線選択
処理と、平行線選択処理により選択された綾線の内、画
像データにおいて該綾線の接線が平行となる綾線上の２
点を算出する平行点算出処理と、平行点算出処理により
算出された２点間の距離を算出する２点間距離算出処理
と、２点間距離算出処理により算出された２点間の距離
と、焦点距離入手処理により入手した焦点距離と、形状
・寸法入手処理により入手した対象物体の寸法とによ
り、撮影処理が配置された位置と周囲の情景に含まれる
対象物体の位置との間隔を算出する対象距離算出処理
と、間隔と、焦点距離と、対象物体の形状及び寸法とを
基に、透視変換により、平面領域抽出処理により抽出さ
れた平面領域の幾何歪みを補正する補正処理とを実行さ
せる。

【００６５】また、請求項５３記載の発明は、光を集束
させ、周囲の情景を一つの画像データとして取り込む撮
影処理と、該撮影処理より取り込まれた画像データか
ら、対象物体の色彩の差および構成により生じる綾線を
抽出する綾線抽出処理と、綾線により囲まれた領域の
内、対象物体を構成する表面画像の平面領域を抽出する
平面領域抽出処理と、撮影処理が配置された位置と周囲
の情景に含まれる対象物体の位置との間隔を入手する対
象距離入手処理と、撮影処理における光が集束する焦点
距離を入手する焦点距離入手処理と、対象物体の形状及
び寸法の情報を入手する形状・寸法入手処理と、間隔
と、焦点距離と、対象物体の形状及び寸法とを基に、透
視変換により、平面領域抽出処理により抽出された平面
領域の幾何歪みを補正する補正処理と、平面抽出処理に
より抽出した対象物体の平面領域を有する平面上の位置
を２次元直交座標系で表すことにより、平面領域を２次
元座標で表す２次元表記処理と、２次元直交座標系の平
面を３次元直交座標により表すことにより、平面領域を
３次元直交座標により表す３次元変換処理とを実行させ
る。

【００６６】また、請求項５４記載の発明は、光を集束
させ、周囲の情景を一つの画像データとして取り込む撮
影処理と、該撮影処理より取り込まれた画像データか
ら、対象物体の色彩の差および構成により生じる綾線を
抽出する綾線抽出処理と、綾線により囲まれた領域の
内、対象物体を構成する表面画像の平面領域を抽出する
平面領域抽出処理と、撮影処理における光が集束する焦
点距離を入手する焦点距離入手処理と、対象物体の形状
及び寸法の情報を入手する形状・寸法入手処理と、綾線
抽出処理により抽出された綾線の内、周囲の情景におい
て平行となる綾線を少なくとも１組選択する平行線選択
処理と、平行線選択処理により選択された綾線の内、画
像データにおいて該綾線の接線が平行となる綾線上の２
点を算出する平行点算出処理と、平行点算出処理により
算出された２点間の距離を算出する２点間距離算出処理
と、２点間距離算出処理により算出された２点間の距離
と、焦点距離入手処理により入手した焦点距離と、形状
・寸法入手処理により入手した対象物体の寸法とによ
り、撮影処理が配置された位置と周囲の情景に含まれる
対象物体の位置との間隔を算出する対象距離算出処理
と、平面抽出処理により抽出した対象物体の平面領域を
有する平面上の位置を２次元直交座標系で表すことによ
り、平面領域を２次元座標で表す２次元表記処理と、間
隔と、焦点距離と、対象物体の形状及び寸法とを基に、
透視変換により、平面領域抽出処理により抽出された平
面領域の幾何歪みを補正する補正処理と、２次元直交座
標系の平面を３次元直交座標により表すことにより、平
面領域を３次元直交座標により表す３次元変換処理とを
実行させる。

【００６７】また、請求項５５記載の発明は、請求項５
０から５４のいずれかに記載のプログラムを記録した記
録媒体において、補正処理は、画像データの撮像面にお
ける点を、該点と該点が対象物体において対応する点と
を結ぶ直線が、所定の平面に交わる点に変換する。

【００６８】また、請求項５６記載の発明によれば、請
求項５５記載のプログラムを記録した記録媒体におい
て、所定の平面は、撮像面の中心と、周囲の情景の中心
とを結んだ直線に垂直に交わる平面である。

【００６９】また、請求項５７記載の発明は、請求項５
１から５６のいずれかに記載のプログラムを記録した記
録媒体において、補正処理により補正された平面領域
を、形状・寸法入手処理により入手した対象物体の形状
に対応して記憶する記憶処理をさらに実行させる。

【００７０】また、請求項５８記載の発明によれば、請
求項５７記載のプログラムを記録した記録媒体におい
て、記憶処理は、３次元変更処理により表記された３次
元直交座標を、形状・寸法処理により入手した対象物体
の形状に対応して記憶する。

【００７１】また、請求項５９記載の発明によれば、請
求項５７または５８記載のプログラムを記録した記録媒
体において、記憶処理は、平面領域と対象物体の形状と
の対応をＨＴＭＬ形式のファイルに保存して記憶する。

【００７２】また、請求項６０記載の発明によれば、請
求項５０から５９のいずれかに記載のプログラムを記録
した記録媒体において、平面領域抽出処理は、周囲の情
景において平面領域を有する物体を対象物体として選択
し、該対象物体の平面領域が画像データの内、どの領域
と対応するかを算出することで、平面領域を抽出する。

【００７３】また、請求項６１記載の発明によれば、請
求項５０から６０のいずれかに記載のプログラムを記録
した記録媒体において、画像データは、周囲の情景を広
角に撮影した画像データである。

【００７４】また、請求項６２記載の発明によれば、請
求項５０から６１のいずれかに記載のプログラムを記録
した記録媒体において、画像データは、周囲の情景を所
定の軸方向に広角に撮影した画像データである。

【００７５】また、請求項６３記載の発明によれば、請
求項６２記載のプログラムを記録した記録媒体におい
て、所定の軸は、水平方向である。

【００７６】また、請求項６４記載の発明によれば、請
求項５０から６３のいずれかに記載のプログラムを記録
した記録媒体において、画像データは、円筒型の撮像面
に対象物体の写像を陰影することで取り込まれた画像デ
ータである。

【００７７】また、請求項６５記載の発明によれば、請
求項５０から６３のいずれかに記載のプログラムを記録
した記録媒体において、画像データは、複数の平面を連
結した撮像面に対象物体の写像を陰影することで取り込
まれた画像データである。

【００７８】また、請求項６６記載の発明は、請求項５
０から６５のいずれかに記載のプログラムを記録した記
録媒体において、画像データが、円筒型の撮像面を用い
て撮影されたものであるか、複数の平面を連結した撮像
面を用いて撮影されたものであるかを判別する撮像面判
別処理をさらに有し、補正処理は、撮像面判定処理によ
り判別された撮像面に応じて、補正を行う。

【００７９】また、請求項６７記載の発明によれば、請
求項５１から６６のいずれかに記載のプログラムを記録
した記録媒体において、平面領域は、長方形平面領域で
あり、該長方形平面領域は、所定の軸と平行な一組の線
を有する。

【００８０】また、請求項６８記載の発明によれば、請
求項５０または５１または５３または５５から６７のい
ずれかに記載のプログラムを記録した記録媒体におい
て、撮影位置と周囲の情景に含まれる対象物体の位置と
の間隔は予めユーザにより記憶部に記憶されている。

【００８１】また、請求項６９記載の発明によれば、請
求項５０から６８のいずれかに記載のプログラムを記録
した記録媒体において、対象物体の形状及び寸法の情報
は、ＣＡＤシステムで設計された幾何形状情報である。

【００８２】また、請求項７０記載の発明によれば、請
求項５０から６８のいずれかに記載のプログラムを記録
した記録媒体において、対象物体の形状及び寸法の情報
は、設計図面を基にした幾何形状情報である。

【００８３】また、請求項７１記載の発明によれば、請
求項５０から６８のいずれかに記載のプログラムを記録
した記録媒体において、対象物体の形状及び寸法の情報
は、ユーザにより測定された対象物体の幾何形状情報で
ある。

【００８４】また、請求項７２記載の発明によれば、請
求項５０または５１または５３または５５から７１のい
ずれかに記載のプログラムを記録した記録媒体におい
て、撮影位置と対象物体との間隔は、予めユーザにより
記憶部に記憶されている。

【００８５】また、請求項７３記載の発明によれば、請
求項５０から７２のいずれかに記載のプログラムを記録
した記録媒体において、撮影時の焦点距離は、予めユー
ザにより記憶部に記憶されている。

【００８６】また、請求項７４記載の発明によれば、請
求項５０から７３のいずれかに記載のプログラムを記録
した記録媒体において、対象物体の形状及び寸法の情報
は、予めユーザにより記憶部に記憶されている。

【００８７】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して詳細に説明する。図１は、本発明の第
１及び第２及び第３の実施例における構成を示すブロッ
ク図である。図２は、本発明の第１及び第２及び第３の
実施例における全体の処理の流れを示すフローチャート
図である。図３は、図２のステップＳ１２０の処理の詳
細な流れを示すフローチャート図である。図４は、図２
のステップＳ１３０の処理の詳細な流れを示すフローチ
ャート図である。図５は、図２のステップＳ１４０の処
理の詳細な流れを示すフローチャート図である。図６
は、図４のステップＳ１３３の処理を説明するための図
である。図７は、図４のステップＳ１３５の処理を説明
するための図である。図８は、図４のステップＳ１３４
の処理を説明するための図である。図９は、図４のステ
ップＳ１３６の処理を説明するための図である。図１０
は、本発明の第１及び第２の実施例における動作の具体
例の説明に用いられる図である。図１１は、本発明の第
２の実施例における図３のステップ１２２の処理の流れ
を示すフローチャート図である。図１２は、本発明の第
３の実施例における処理の流れを示すフローチャート図
である。

【００８８】まず、図１を参照すると、本発明による第
１及び第２の実施例では、プログラム制御により動作す
るコンピュータ（中央処理装置；プロセッサ；データ処
理装置）１００と、映像入力インタフェース１０１と、
パノラマ画像撮影装置１０２と、記憶装置１０３とから
構成されている。

【００８９】ここで、図２を参照すると、コンピュータ
（中央処理装置；プロセッサ；データ処理装置）１００
は、パノラマ画像を読み込む手段（ステップＳ１１０）
と、撮影対象物体の幾何形状情報およびカメラ情報を読
み込む手段（ステップＳ１２０）と、パノラマ画像と撮
影対象物体の幾何形状情報から物体の表面となる領域を
抽出する手段（ステップＳ１３０）と、前記画像を幾何
形状情報に対応して記憶する手段（ステップＳ１４０）
とを含む。

【００９０】これらの手段は、それぞれ次のように動作
することにより、本発明が目的とする効果を奏する。ま
ず、ステップＳ１１０で示されるパノラマ画像を読み込
む手段では、パノラマ画像撮影装置１０２を用いて同一
地点からその周囲を撮影した画像を映像入力インタフェ
ース１０１を介して、コンピュータ１００に読み込む。
この読み込まれるパノラマ画像は、円筒面投影型に撮影
される場合と、一定の角度間隔により連結投影型に撮影
される場合とがある、これらの場合における処理の説明
は後述する。

【００９１】次に、ステップＳ１２０で示される撮影対
象物体の幾何形状情報およびカメラ情報を読み込む手段
では、物体の幾何形状情報と、カメラの位置関係および
カメラのレンズ情報とを記憶装置１０３から読み込む。
このカメラの位置関係およびカメラのレンズ情報は、予
め記憶されているものであり、ユーザによりその時々に
合わせて変更される。

【００９２】さらに、ステップＳ１３０で示されるパノ
ラマ画像と撮影対象物体の幾何形状情報とから該物体の
表面となる領域を抽出する手段１３０では、該物体平面
とカメラの位置関係およびカメラのレンズ情報から該物
体のパノラマ画像中での領域を算出し、該領域を物体平
面の表面画像となるように幾何補正する。

【００９３】最後に、ステップＳ１４０で示される前記
画像を幾何形状情報に対応して記憶する手段では、撮影
した物体の前記表面画像での領域を算出し、該物体情報
と、該表面画像と、その物体の画像領域とを関連付けて
記憶装置１０３に保存する。

【００９４】この物体情報と表面画像とその物体の画像
領域との関連付けにより、取り込んだ画像の歪みを補正
することが可能となる。

【００９５】次に、図１のブロック図、および図２のフ
ローチャートを参照して本発明の第１、及び第２の実施
例における全体の動作について詳細に説明する。

【００９６】まず、パノラマ画像撮影装置１０２で撮影
したパノラマ画像を映像入力インタフェース１０１を介
してコンピュータ１００に読み込む（図２のステップＳ
１１０）。次に、撮影対象物体の幾何形状情報およびカ
メラ情報を読み込む（図２のステップＳ１２０）。さら
に、カメラの位置、カメラレンズの焦点距離の情報から
撮影対象物体の幾何形状がパノラマ画像中にどのように
投影されるかを計算し、この計算されたパノラマ画像に
おける物体の領域を抽出し、その領域を物体の表面の画
像に補正変換する（図２のステップＳ１３０）。最後
に、得られた画像を物体の形状情報に対応して保存する
（図２のステップＳ１４０）。

【００９７】図２のステップＳ１２０における、撮影対
象物体の幾何形状情報およびカメラ情報を読み込む動作
について、図１のブロック図、及び図３のフローチャー
トを参照して詳細に述べる。

【００９８】まず、物体の幾何形状情報を読み込む（図
３のステップＳ１２１）。この幾何形状情報は、（１）
ＣＡＤシステムで設計された幾何形状情報を転送した
り、（２）ユーザが設計図面から幾何形状情報を入力し
たり、（３）ユーザが撮影対象物体の幾何形状情報を計
測することで入力したり等の種々の手段で記憶装置１０
３に保存されており、この記憶装置１０３からユーザの
指定により目的の物体の幾何形状情報をコンピュータ１
００に読み込む。次に、パノラマ画像を撮影した時のカ
メラ位置や焦点距離情報を設定、もしくは計測して入力
する（図３のステップＳ１２２）。

【００９９】次に、図２のステップＳ１３０における、
カメラの位置、カメラレンズの焦点距離の情報から物体
の幾何形状がパノラマ画像中にどのように投影されるか
を計算し、パノラマ画像における物体の領域を抽出し、
その領域を物体の表面の画像に補正変換する動作につい
て、図１のブロック図、及び図４のフローチャート図及
び図６、図７、図８、図９を参照して詳細に述べる。

【０１００】まず、取り込んだ対象物体の画像より、目
的の物体の表面画像となる平面を選択する（図４のステ
ップＳ１３１）。次にこの物体平面が対応するパノラマ
画像の領域を算出する。このとき、パノラマ画像の撮影
方式によって計算方法は異なるため、つまり、パノラマ
画像には図６に示すように撮像面が円筒面となるような
場合と、図７に示すように撮像面がある角度θごとにカ
メラを回転して撮影した画像を連結した場合とがあるた
め、このどちらの場合で撮影されたかを判定する（ステ
ップＳ１３２）。ここで、図７においてθが微小な角度
の場合、つまり、各撮像面を点に近似できる場合、撮像
面全体を図６のような円筒面投影に近似することができ
る。

【０１０１】コンピュータ１００に記憶されたプログラ
ムによる処理は，図４のステップＳ１３２において、パ
ノラマ画像が円筒面投影型の場合、または、円筒面投影
型に近似できる場合（以降、円筒形投影型に含む）は
（ステップＳ１３２のはい）、ステップ１３３に処理が
進み、連結投影型の場合（ステップＳ１２３のいいえ）
は、ステップ１３５に処理が進むように分岐する。

【０１０２】ここで、図４のステップＳ１３３におけ
る、平面が対応するパノラマ画像の領域を計算する動作
の一実施形態を図６を用いて詳細に説明する。ｆはカメ
ラレンズの焦点距離、Ｌはカメラレンズの中心から対象
物体の平面までの距離、ｘは実座標系でのある水平方向
座標、ｕはｘに対応する撮影画像中での座標、θはカメ
ラレンズ中心と実座標系のｘとを結んだベクトルと光軸
とのなす角度である。便宜的に、実座標の座標中心をカ
メラレンズから平面に垂線を下ろした点とし、取り込ん
だ画像上の画像座標中心と実座標中心とが対応し、この
画像座標中心と実座標中心とを結んだ直線を光軸として
いるものとする。ここでｕ＝ｆθであり、ｘ＝Ｌｔａｎ
θとなるので（数１）のような変換式で、実座標系にお
ける水平方向の撮影画像領域が求まる。

【０１０３】

【数１】

【０１０４】また、垂直方向の座標に関しては、一般的
な透視変換である。（数２）で、ｚ＝Ｌとして計算する
ことにより、垂直方向における座標を求めることができ
る。ここで、ｙは実座標系でのある垂直方向座標、ｖは
ｘに対応する撮影画像中での座標である。このとき、便
宜的に水平方向における撮像面は、垂直方向に対して広
角に撮影されていないため、幾何的歪みを含んでおら
ず、このため、補正を必要としていないものとする。

【０１０５】

【数２】

【０１０６】次に、ステップＳ１３４における、領域画
像の幾何歪みを補正する動作の一実施形態を図８を用い
て詳細に説明する。図８より補正後の水平方向の座標
ｕ’は（数５）のようになる。ここで、ｆはカメラレン
ズの焦点距離、ｕはｘに対応する撮影画像中での座標、
ｕ’はｕを補正面に変換したときの補正面上での座標、
θはカメラレンズ中心と実座標系のｘとを結んだベクト
ルと光軸とのなす角度である。また、垂直方向の座標
ｖ’はｖ’＝ｖ／ｃｏｓφで求まる。ここで、ｖはｙに
対応する撮影画像中での座標、φはカメラレンズ中心と
実座標系のｙとを結んだベクトルと光軸とのなす角度で
ある。

【０１０７】

【数５】

【０１０８】また、ステップ１３５における、平面が対
応するパノラマ画像の領域を計算する動作の位置実施形
態を図７を用いて詳細に説明する。ｆはカメラレンズの
焦点距離、Ｌはカメラレンズの中心から平面までの距
離、ｘはある水平方向座標、ｕはｘに対応する画像中で
の座標である。ここでカメラがθ度ごとに回転して撮像
した画像を連結してパノラマ画像を構成しているものと
し，物体の水平方向座標ｘは、壁を正面から撮像したカ
メラからθ（ｎ）度だけ回転したカメラｎから撮像した
画像中にあるとする．ｘ（ｎ）は実座標でのカメラｎの
光軸の座標で、ｕ（ｎ）は画像座標におけるカメラｎの
光軸と撮影面との交点の位置である。ｘ＝ｘ（ｎ）＋ｘ
（ａ）、ｕ＝ｕ（ｎ）＋ｕ（ａ）とすると、ｘ（ａ）ｃ
ｏｓθ：ｘ（ａ）ｓｉｎθ＋Ｌ／ｃｏｓθ＝ｕ（ａ）：
ｆとなるので変換式は（数３）のようになる。

【０１０９】

【数３】

【０１１０】この場合の垂直方向に関する変換は、レン
ズ中心からの距離ｚは（数４）となるので、これを（数
２）に代入することによって得られる。

【０１１１】

【数４】

【０１１２】次に、ステップＳ１３６における、領域画
像の幾何歪みを補正する動作の位置実施形態を、図９を
用いて詳細に説明する。ある座標ｕが壁を正面から撮像
したカメラからθ（ｎ）度だけ回転したカメラｎから撮
影した画像中にある場合、ｕ（ｎ）は画像座標系におけ
るカメラｎの光軸の座標で、ｕ（ａ）はｕ（ｎ）を中心
とした場合の水平座標で、ｕ（ｎ）がｕ’（ｎ）に補正
されるとする。ｕ＝ｕ（ｎ）＋ｕ（ａ）, ｕ’＝ｕ’
（ｎ）＋ｕ’（ａ）とすると、ｕ（ａ）’ｃｏｓθ：
ｕ’（ａ）ｓｉｎθ＋ｆ／ｃｏｓθ＝ｕ（ａ）：ｆとな
るので、補正後の水平方向の座標ｕ’は（数６）のよう
になる。

【０１１３】

【数６】

【０１１４】また、垂直方向の座標ｖ’は、ｖ：ｖ’＝
ｆ：（ｆ／ｃｏｓθ＋ｕ’（ａ）ｓｉｎθ) となるの
で、（数７）で求まる。

【０１１５】

【数７】

【０１１６】次に図５のフローチャート図を参照して図
２のステップ１４０における動作の一実施形態を詳細に
述べる。まず、画像のある領域と関連付ける対象となる
目的の物体を実座標より選択する（ステップ１４１）。
さらにその物体がどの平面上にある物体かを、物体の幾
何形状情報から算出し、図２のステップ１３０で得られ
たどの表面画像に含まれているかを算出する（ステップ
１４３）。次に図２のステップ１３０と同じ手法で、物
体が画像中のどの領域にあるかを算出する（ステップ１
４４）。物体の幾何形状情報が不明確な場合、ステップ
１４４の計算が不可能であるため、ユーザが取り込んだ
画像を基に、画像中の領域を指定する（ステップ１５
０）。ステップ１５０の指定作業を支援するために、表
面画像に対して、稜線検出処理（ステップ１４６）、長
方形領域抽出処理を行い（ステップ１４７）、この長方
形領域を指定候補とする（ステップ１４９）。このよう
に、選択された目的の物体の情報と画像領域情報とを関
連付けて記憶装置１０３に保存する（ステップ１４
５）。

【０１１７】次に、本発明による画像処理方法、画像歪
み補正処理装置、及びそのプログラムを記録した記録媒
体の第１の実施例による効果について、図１０に示した
具体例を参照しながら、図２に沿うように詳細に説明す
る。

【０１１８】本発明の第１の実施例では、パノラマ画像
を読み込み、撮影対象物体の幾何形状情報およびカメラ
情報を読み込み、画像中の物体の表面画像を抽出、表面
画像領域と物体情報の関連付けを保存処理するように構
成されているため、パノラマ画像が同一地点からその周
囲を撮影した画像であるという条件を利用して、容易に
パノラマ画像中から平面の表面領域を抽出し、幾何補正
することが可能となっている。

【０１１９】ここで、本発明による画像処理方法、画像
歪み補正処理装置、及びそのプログラムを記録した記録
媒体の第１の実施例における動作の具体的な例を図１、
図２および図１０を用いて詳細に説明する。

【０１２０】例えば、図１０の（ａ）に示すような室内
でパノラマ画像を撮影すると、図１０の（ｂ）に示すよ
うなパノラマ画像が撮影される。この図１におけるパノ
ラマ画像撮影装置１０２で撮影した画像データは映像入
力インタフェース１０１を介してコンピュータ１００に
読み込まれる（ステップＳ１１０）。

【０１２１】次にこの部屋の幾何形状情報およびカメラ
位置情報、カメラレンズ焦点距離情報を，図２のステッ
プＳ１２０において読み込む。この各情報は、ＣＡＤな
どで作成された設計図面を取り込むか、もしくは設計図
面の値や測定した値をユーザが入力することによりコン
ピュータ１００に読み込まれる。

【０１２２】ステップＳ１３０において、上記ステップ
Ｓ１１０およびステップＳ１２０で得た情報から壁のパ
ノラマ画像における画像領域を求めることができる。

【０１２３】さらにステップＳ１４０で、この領域に対
して幾何補正を行うことで、この壁の表面画像（図１０
の（ｃ））を得る。同様に前記表面画像におけるドアの
領域とドアの情報を関連付ける。ドアの幾何形状情報が
既知であれば、壁の表面画像を得るのと同じ手法を用い
て、表面画像中におけるドアの画像領域を算出できるこ
とは明らかである。また、ドアの幾何形状情報が既知で
ない場合、画像に対して、稜線検出、長方形領域抽出処
理を行うことで、ドアの領域候補が列挙される。ユーザ
が、その中からドアの領域を選択することで、ドアの画
像領域を決定できる。また、画像にノイズなどの問題が
あり、ドアの画像領域が長方形領域として候補にならな
い場合は、表面画像をコンピュータモニタに表示し、ユ
ーザがマウスなどの入力機器で領域を指定する。

【０１２４】ここで、領域情報と物体情報とを関連付け
て保存した一実施形態を図１０の（ｄ）に示す。図１０
の（ｄ）で示されたファイルは、ＨＴＭＬ形式で保存さ
れたファイルであり、表面画像と画像領域とをクリッカ
ブルマップ方式で対応させている。図１０の（ｃ）に示
されたドアの画像領域を参照する場合、図１０の（ｄ）
に記載されたドアの画像領域を参照することにより、ド
アの物体情報が記述されているファイル（ｄｏｏｒ．ｈ
ｔｍｌ）を参照することが可能となる。

【０１２５】次に、本発明の第２の実施例について図面
を参照して詳細に説明する。本第２の実施例では第１の
実施例と同様に、全体の処理の流れを図２、図３、図
４、及び図５に示された流れにより動作する。また、こ
の第１の実施例と第２の実施例とにおける相違点は、図
１１に示されるように、図３のステップ１２２で示され
たカメラ情報をコンピュータ１００に読み込む処理にお
いて、カメラの位置やレンズの焦点距離などの情報がな
い場合に、パノラマ画像撮影装置１０２より取り込んだ
画像データの内、実際の物体における直線の画像中の歪
みにより補正を行うことで、本発明による独自の効果を
奏することが可能となる。

【０１２６】図１１のフローチャートを用いて、本発明
による画像処理方法、画像歪み補正処理装置、及びその
プログラムを記録した記録媒体の第１の実施例と第２の
実施例との相違点である図３のステップＳ１２２の動作
の一実施形態を詳細に説明する。

【０１２７】まず、ステップＳ２２１において、カメラ
の位置および焦点距離が設定できたかどうかを調べ、設
定できていない場合は（ステップＳ２２１のいいえ）、
カメラの位置とカメラレンズ焦点距離測定の処理（ステ
ップ２２２以降）を実行する。

【０１２８】ステップＳ２２１のいいえを選択すると、
まずステップＳ２２２において、画像における稜線の抽
出を行う。この稜線検出は画像のピクセルごとに、その
ピクセルと周りのピクセルとの濃淡の差を演算すること
で綾線を決定する。この処理は、中間値処理、閾値処理
も含んだものである。

【０１２９】次に、この検出した綾線よりカメラ位置の
制約条件を求める。この処理においては、ステップＳ２
２３において、ある物体を選択し、ステップＳ２２４に
おいて、その幾何形状と画像中でのその稜線を比較する
ことで、カメラ位置の範囲（制約条件）を求める。この
制約条件を複数の物体に対して求めることにより、カメ
ラ位置の推定が可能となる。すなわち、上記の処理を繰
り返すことによって、図３のステップＳ１２２で入力さ
れるべきカメラ情報を算出することが可能となる。

【０１３０】上記の本発明による画像処理方法、画像歪
み補正処理装置、及びそのプログラムを記録した記録媒
体の第２の実施例は、パノラマ画像において稜線を抽出
し、この綾線と撮影物体の既知の幾何形状情報とを比較
することでカメラ位置およびカメラレンズ焦点距離を算
出するというように構成されているため、実際にカメラ
位置やカメラレンズ焦点距離が不明確であっても、本発
明の第１の実施例による効果を奏することが可能とな
る。

【０１３１】次に、本第２の実施例の具体的な例を、第
１の実施例による具体例を説明するために用いた図１０
を適用することで、詳細に説明する

【０１３２】図１０において、図１０の（ａ）で示され
た部屋の形状（直線で構成された部分）が既知であると
する。また、壁それぞれを壁１、壁２、壁３、壁４と
し、向かい合った壁の組を、壁１と壁３、及び壁２と壁
４とする。ここで、稜線として直線で構成された部分で
ある天井と壁１との稜線と、床と壁１との稜線とを図１
０の（ｂ）より抽出する。この壁の上下の稜線は、実座
標上で平行な一組の稜線であり、補正後の画像上でも並
行となるはずのものである。この上下一組の直線を選択
することにより、画像上においてピクセルの点列から算
出される上下の綾線それぞれに接する直線式が互いに平
行となる上下綾線上の点を検出し、その点の水平方向に
おける座標（水平座標）を求め、この水平座標における
綾線間の距離ｈ（上下の綾線上の点間の距離）を測定す
る。この水平座標がこの壁におけるカメラとの距離が最
短になる座標であるため、焦点距離ｆ、部屋の高さＨ、
カメラとこの壁１との距離をｚ₁とすると、Ｈ：ｈ＝ｚ
₁：ｆとなる。これを４つの壁に対して順次処理する
と、ｚ₁＋ｚ₃ およびｚ₂＋ｚ₄がそれぞれ部屋の幅、
奥行きとなる。このため、焦点距離およびカメラ位置を
算出することが可能となる。

【０１３３】また、本発明による画像処理方法、画像歪
み補正処理装置、及びそのプログラムを記録した記録媒
体の第３の実施例を図面を用いて詳細に説明する。本第
３の実施例では、取り込んだ一つの画像に空間内（部屋
内）の全ての映像が含まれている、すなわち、撮影画像
内に死角がない場合、仮想３次元空間を作成することが
可能であり、また、この仮想３次元空間内を視点が移動
することが可能である。

【０１３４】ここで、本発明の第１及び第２の実施例
と、第３の実施例との処理の相違点を、図１２を用いる
ことにより詳細に説明する。本第３の実施例では第１及
び第２の実施例と同様に、全体の処理の流れを図２、図
３、図４、及び図５に示された流れにより動作する。ま
た、この第１及び第２の実施例と、第３の実施例とにお
ける相違点は、図１２に示されるように、図５のステッ
プ１４５で示された、平面座標により取り込まれた画像
データを３次元座標に変換する処理を行う流れが新たに
加わる。

【０１３５】図１２を参照すると、図５で示したステッ
プＳ１４５の対象物体情報、平面画像情報および領域情
報を保存する処理において、補正後の平面座標系で表さ
れた画像データを３次元座標系であるワールド座標系に
変換することにより、仮想３次元空間を実現している。

【０１３６】まず、図１２のステップＳ５０１におい
て、仮想３次元空間を形成するためのファイルを作成す
るにあたり、このファイルの３次元データフォーマット
のヘッダを書き出す。

【０１３７】続いてステップＳ５０２において、部屋の
構造や寸法などの情報がリンク情報として記憶されてい
るか否かを判定し、リンク情報がある場合（ステップＳ
５０２のはい）は、ステップＳ５０３で、そのリンク情
報を３次元データフォーマットに書き出し、ステップＳ
５０４に移行する。また、リンク情報がない場合（ステ
ップＳ５０２のいいえ）は、ステップＳ５０４に移行す
る。

【０１３８】ステップＳ５０４においては、図５のステ
ップＳ１４４により算出された、またはステップＳ１４
９により選択された、またはステップＳ１５０により指
定された対象物体の平面画像における画像領域が長方形
で記載されているか否かを判定する。長方形で記載され
ていない場合（ステップＳ５０４のいいえ）、ステップ
Ｓ５０７に移行し、長方形で記載されている場合（ステ
ップＳ５０４のはい）、ステップＳ５０５において、こ
の長方形領域の各頂点の座標を平面座標系で表されたも
のから、３次元座標系であるワールド座標系で表された
ものに変換し、３次元データフォーマットに書き出し、
ステップＳ５０６に移行する。

【０１３９】この平面座標系からワールド座標系への変
換は、部屋全体を３次元座標系により表すことで、ステ
ップＳ５０４で判定された長方形領域の各頂点の壁上で
の座標と、３次元座標系での壁上での座標とを対応させ
ることが可能となり、これにより仮想３次元空間が実現
される。

【０１４０】次にステップＳ５０６において、ステップ
Ｓ５０５で書き出された長方形領域と、別途出力されて
いる部屋内の画像データにおける長方形領域とを対応さ
せて３次元データフォーマットに書き出すことにより、
画像データのファイル（画像ファイル）をテクスチャイ
メージとして用いるようにする。

【０１４１】続いてステップＳ５０７において、ステッ
プＳ５０４またはステップＳ５０６で書き出された画像
領域の各頂点を３次元座標により表した座標値を形状デ
ータとして、ステップＳ５０６の長方形領域を対応させ
るように３次元データフォーマットに書き出す。

【０１４２】最後にステップＳ５０８において、３次元
データフォーマットのフッタを書き出し、図５のステッ
プＳ１５１に移行する。

【０１４３】上述のような処理により、一枚の取り込ん
だ画像により３次元画像を作成することが可能となり、
この作成された３次元画像データを基に、モニタなどの
画像出力装置を用いて、仮想３次元空間を出力すること
が可能となる。この出力においては、ボリュームレタリ
ング法などの種々の技法が存在するが、ここでは、その
説明を省略する。

【０１４４】尚、本発明は、図１にあるように、プログ
ラムおよびデータを保持する記憶装置１０３を備える。
この記憶装置１０３は磁気ディスク、半導体メモリその
他の記録媒体であってよく、また画像入力インタフェー
ス１０１は、パノラマ画像撮影装置１０２で記録された
画像を保持する記録媒体であってもよい。

【０１４５】また、本発明はシステムあるいは装置にプ
ログラム供給することによって達成される場合にも適用
できることはいうまでもない。プログラムは記憶装置１
０３からコンピュータ（中央処理装置；プロセッサ；デ
ータ処理装置）１００に読み込まれ、コンピュータ１０
０の動作を制御する。コンピュータ１００はプログラム
の制御により第１、第２、および第３の実施の形態と同
一の動作をする。

【０１４６】以上、第１及び第２及び第３の実施例を用
いて、本発明による画像処理方法、画像歪み補正処理装
置、及びそのプログラムを記録した記録媒体を説明した
が、本発明は、パノラマ画像だけにに対するものではな
く、レンズを用いて撮影された画像に認識できる幾何歪
みが存在する場合の画像データ全てに対して、応用する
ことが可能である。

【０１４７】

【発明の効果】以上、説明したように、本発明による画
像処理方法、画像歪み補正処理装置、及びそのプログラ
ムを記録した記録媒体により、以下のような効果を得る
ことが可能となる。

【０１４８】まず、本発明の第１の効果として、カメラ
画像から容易に物体の表面画像を抽出できることであ
る。その理由は、カメラの位置が一定であり、一定の角
度間隔の連続画像であるパノラマ画像を処理するため、
物体のカメラ画像内における領域の計算が容易であり、
また幾何歪みの補正が容易になるためである。

【０１４９】また、本発明の第２の効果として、カメラ
位置、カメラレンズ焦点距離が不明でも、パノラマ画像
から容易に物体の表面画像を抽出することが可能とな
り、上記第１の効果をえることが可能となる。その理由
は、画像から稜線の抽出を行い、実際の物体の幾何形状
情報と照合することで、カメラ位置、カメラレンズ焦点
距離を算出することが可能となるためである。

【０１５０】また、本発明の第３の効果として、画像に
おける物体領域算出の誤差が離散的にならないことにあ
る。その理由は、本発明において処理対象となるパノラ
マ画像は一つであり、パノラマ画像はカメラの位置が一
定で、一定の角度間隔で撮影した連続画像であるからで
ある。

【０１５１】また、上記の効果は、パノラマ画像だけに
に対するものではなく、レンズを用いて撮影された画像
に認識できる幾何歪みが存在する場合の画像データ全て
に対して、応用することが可能である。

【図面の簡単な説明】

【図１】本発明の第１及び第２及び第３の実施例におけ
る構成を示すブロック図である。

【図２】本発明の第１及び第２及び第３の実施例におけ
る全体の処理の流れを示すフローチャート図である。

【図３】図２のステップＳ１２０の処理の詳細な流れを
示すフローチャート図である。

【図４】図２のステップＳ１３０の処理の詳細な流れを
示すフローチャート図である。

【図５】図２のステップＳ１４０の処理の詳細な流れを
示すフローチャート図である。

【図６】図４のステップＳ１３３の処理を説明するため
の図である。

【図７】図４のステップＳ１３５の処理を説明するため
の図である。

【図８】図４のステップＳ１３４の処理を説明するため
の図である。

【図９】図４のステップＳ１３６の処理を説明するため
の図である。

【図１０】本発明の第１及び第２の実施例における動作
の具体例の説明に用いられる図である。

【図１１】本発明の第２の実施例における図３のステッ
プ１２２の処理の流れを示すフローチャート図である。

【図１２】本発明の第３の実施例における処理の流れを
示すフローチャート図である。

【図１３】従来技術による三次元シーン構成システムの
動作の一実施形態を示すフローチャート図である。

【図１４】従来技術による三次元シーン構成システムの
動作の一実施形態を示すフローチャート図である。

【符号の説明】

１００コンピュータ（中央処理装置；プロセッサ；
データ処理装置）１０１映像入力インタフェース１０２パノラマ画像撮影装置１０３記憶装置

Claims

【特許請求の範囲】

【請求項１】光を集束させて撮影された一つの画像デ
ータ内、対象物体を構成する表面画像の平面領域を抽出
する平面領域抽出工程と、前記平面領域の幾何歪みを、撮影位置と対象物体との間
隔と、撮影時の焦点距離と、対象物体の形状及び寸法と
を基に、透視変換により補正する補正工程とを有するこ
とを特徴とする画像処理方法。
【請求項２】光を集束させ、周囲の情景を一つの画像
データとして取り込む撮影工程と、該撮影工程より取り込まれた前記画像データから、前記
対象物体の色彩の差および構成により生じる綾線を抽出
する綾線抽出工程と、前記綾線により囲まれた領域の内、対象物体を構成する
表面画像の平面領域を抽出する平面領域抽出工程と、前記撮影工程が配置された位置と前記周囲の情景に含ま
れる前記対象物体の位置との間隔を入手する対象距離入
手工程と、前記撮影工程における光が集束する焦点距離を入手する
焦点距離入手工程と、前記対象物体の形状及び寸法の情報を入手する形状・寸
法入手工程と、前記間隔と、前記焦点距離と、前記対象物体の形状及び
寸法とを基に、透視変換により、前記平面領域抽出工程
により抽出された前記平面領域の幾何歪みを補正する補
正工程とを有することを特徴とする画像処理方法。
【請求項３】光を集束させ、周囲の情景を一つの画像
データとして取り込む撮影工程と、該撮影工程より取り込まれた前記画像データから、前記
対象物体の色彩の差および構成により生じる綾線を抽出
する綾線抽出工程と、前記綾線により囲まれた領域の内、対象物体を構成する
表面画像の平面領域を抽出する平面領域抽出工程と、前記撮影工程における光が集束する焦点距離を入手する
焦点距離入手工程と、前記対象物体の形状及び寸法の情報を入手する形状・寸
法入手工程と、前記綾線抽出工程により抽出された前記綾線の内、前記
周囲の情景において平行となる綾線を少なくとも１組選
択する平行線選択工程と、前記平行線選択工程により選択された前記綾線の内、前
記画像データにおいて該綾線の接線が平行となる前記綾
線上の２点を算出する平行点算出工程と、前記平行点算出工程により算出された前記２点間の距離
を算出する２点間距離算出工程と、前記２点間距離算出工程により算出された前記２点間の
距離と、前記焦点距離入手工程により入手した前記焦点
距離と、前記形状・寸法入手工程により入手した前記対
象物体の前記寸法とにより、前記撮影工程が配置された
位置と前記周囲の情景に含まれる前記対象物体の位置と
の間隔を算出する対象距離算出工程と、前記間隔と、前記焦点距離と、前記対象物体の形状及び
寸法とを基に、透視変換により、前記平面領域抽出工程
により抽出された前記平面領域の幾何歪みを補正する補
正工程とを有することを特徴とする画像処理方法。
【請求項４】光を集束させ、周囲の情景を一つの画像
データとして取り込む撮影工程と、該撮影工程より取り込まれた前記画像データから、前記
対象物体の色彩の差および構成により生じる綾線を抽出
する綾線抽出工程と、前記綾線により囲まれた領域の内、対象物体を構成する
表面画像の平面領域を抽出する平面領域抽出工程と、前記撮影工程が配置された位置と前記周囲の情景に含ま
れる前記対象物体の位置との間隔を入手する対象距離入
手工程と、前記撮影工程における光が集束する焦点距離を入手する
焦点距離入手工程と、前記対象物体の形状及び寸法の情報を入手する形状・寸
法入手工程と、前記間隔と、前記焦点距離と、前記対象物体の形状及び
寸法とを基に、透視変換により、前記平面領域抽出工程
により抽出された前記平面領域の幾何歪みを補正する補
正工程と、前記平面抽出工程により抽出した前記対象物体の前記平
面領域を有する平面上の位置を２次元直交座標系で表す
ことにより、前記平面領域を２次元座標で表す２次元表
記工程と、前記２次元直交座標系の前記平面を３次元直交座標によ
り表すことにより、前記平面領域を３次元直交座標によ
り表す３次元変換工程とを有することを特徴とする画像
処理方法。
【請求項５】光を集束させ、周囲の情景を一つの画像
データとして取り込む撮影工程と、該撮影工程より取り込まれた前記画像データから、前記
対象物体の色彩の差および構成により生じる綾線を抽出
する綾線抽出工程と、前記綾線により囲まれた領域の内、対象物体を構成する
表面画像の平面領域を抽出する平面領域抽出工程と、前記撮影工程における光が集束する焦点距離を入手する
焦点距離入手工程と、前記対象物体の形状及び寸法の情報を入手する形状・寸
法入手工程と、前記綾線抽出工程により抽出された前記綾線の内、前記
周囲の情景において平行となる綾線を少なくとも１組選
択する平行線選択工程と、前記平行線選択工程により選択された前記綾線の内、前
記画像データにおいて該綾線の接線が平行となる前記綾
線上の２点を算出する平行点算出工程と、前記平行点算出工程により算出された前記２点間の距離
を算出する２点間距離算出工程と、前記２点間距離算出工程により算出された前記２点間の
距離と、前記焦点距離入手工程により入手した前記焦点
距離と、前記形状・寸法入手工程により入手した前記対
象物体の前記寸法とにより、前記撮影工程が配置された
位置と前記周囲の情景に含まれる前記対象物体の位置と
の間隔を算出する対象距離算出工程と、前記平面抽出工程により抽出した前記対象物体の前記平
面領域を有する平面上の位置を２次元直交座標系で表す
ことにより、前記平面領域を２次元座標で表す２次元表
記工程と、前記間隔と、前記焦点距離と、前記対象物体の形状及び
寸法とを基に、透視変換により、前記平面領域抽出工程
により抽出された前記平面領域の幾何歪みを補正する補
正工程と、前記２次元直交座標系の前記平面を３次元直交座標によ
り表すことにより、前記平面領域を３次元直交座標によ
り表す３次元変換工程とを有することを特徴とする画像
処理方法。
【請求項６】前記補正工程は、前記画像データの撮像
面における点を、該点と該点が前記対象物体において対
応する点とを結ぶ直線が、所定の平面に交わる点に変換
することを特徴とする請求項１から５のいずれかに記載
の画像処理方法。
【請求項７】前記所定の平面は、前記撮像面の中心
と、前記周囲の情景の中心とを結んだ直線に垂直に交わ
る平面であることを特徴とする請求項６記載の画像処理
方法。
【請求項８】前記補正工程により補正された前記平面
領域を、前記形状・寸法入手工程により入手した前記対
象物体の形状に対応して記憶する記憶工程をさらに有す
ることを特徴とする請求項２から７のいずれかに記載の
画像処理方法。
【請求項９】前記記憶工程は、前記３次元変更工程に
より表記された３次元直交座標を、前記形状・寸法工程
により入手した前記対象物体の形状に対応して記憶する
ことを特徴とする請求項８記載の画像処理方法。
【請求項１０】前記記憶工程は、前記平面領域と前記
対象物体の前記形状との対応をＨＴＭＬ形式のファイル
に保存して記憶することを特徴とする請求項８または９
記載の画像処理方法。
【請求項１１】前記平面領域抽出工程は、前記周囲の
情景において平面領域を有する物体を前記対象物体とし
て選択し、該対象物体の前記平面領域が前記画像データ
の内、どの領域と対応するかを算出することで、前記平
面領域を抽出することを特徴とする請求項１から１０の
いずれかに記載の画像処理方法。
【請求項１２】前記画像データは、前記周囲の情景を
広角に撮影した画像データであることを特徴とする請求
項１から１１のいずれかに記載の画像処理方法。
【請求項１３】前記画像データは、前記周囲の情景を
所定の軸方向に広角に撮影した画像データであることを
特徴とする請求項１から１２のいずれかに記載の画像処
理方法。
【請求項１４】前記所定の軸は、水平方向であること
を特徴とする請求項１３記載の画像処理方法。
【請求項１５】前記画像データは、円筒型の撮像面に
前記対象物体の写像を陰影することで取り込まれた画像
データであることを特徴とする請求項１から１４のいず
れかに記載の画像処理方法。
【請求項１６】前記画像データは、複数の平面を連結
した撮像面に前記対象物体の写像を陰影することで取り
込まれた画像データであることを特徴とする請求項１か
ら１４のいずれかに記載の画像処理方法。
【請求項１７】前記画像データが、前記円筒型の撮像
面を用いて撮影されたものであるか、前記複数の平面を
連結した撮像面を用いて撮影されたものであるかを判別
する撮像面判別工程をさらに有し、前記補正工程は、前記撮像面判定工程により判別された
撮像面に応じて、補正を行うことを特徴とする請求項１
から１６のいずれかに記載の画像処理方法。
【請求項１８】前記平面領域は、長方形平面領域であ
り、該長方形平面領域は、前記所定の軸と平行な一組の線を
有することを特徴とする請求項２から１７のいずれかに
記載の画像処理方法。
【請求項１９】前記撮影位置と前記周囲の情景に含ま
れる前記対象物体の位置との前記間隔は予めユーザによ
り記憶部に記憶されていることを特徴とする請求項１ま
たは２または４または６から１８のいずれかに記載の画
像処理方法。
【請求項２０】前記対象物体の前記形状及び寸法の情
報は、ＣＡＤシステムで設計された幾何形状情報である
ことを特徴とする請求項１から１９のいずれかに記載の
画像処理方法。
【請求項２１】前記対象物体の前記形状及び寸法の情
報は、設計図面を基にした幾何形状情報であることを特
徴とする請求項１から１９のいずれかに記載の画像処理
方法。
【請求項２２】前記対象物体の前記形状及び寸法の情
報は、ユーザにより測定された前記対象物体の幾何形状
情報であることを特徴とする請求項１から１９のいずれ
かに記載の画像処理方法。
【請求項２３】前記撮影位置と前記対象物体との前記
間隔は、予めユーザにより記憶部に記憶されていること
を特徴とする請求項１または２または４または６から２
２のいずれかに記載の画像処理方法。
【請求項２４】前記撮影時の前記焦点距離は、予めユ
ーザにより記憶部に記憶されていることを特徴とする請
求項１から２３のいずれかに記載の画像処理方法。
【請求項２５】前記対象物体の形状及び寸法の情報
は、予めユーザにより記憶部に記憶されていることを特
徴とする請求項１から２４のいずれかに記載の画像処理
方法。
【請求項２６】光を集束させて撮影された一つの画像
データ内、対象物体を構成する表面画像の平面領域を抽
出する平面領域抽出手段と、前記平面領域の幾何歪みを、撮影位置と対象物体との間
隔と、撮影時の焦点距離と、対象物体の形状及び寸法と
を基に、透視変換により補正する補正手段とを有するこ
とを特徴とする画像歪み補正処理装置。
【請求項２７】光を集束させ、周囲の情景を一つの画
像データとして取り込む撮影手段と、該撮影手段より取り込まれた前記画像データから、前記
対象物体の色彩の差および構成により生じる綾線を抽出
する綾線抽出手段と、前記綾線により囲まれた領域の内、対象物体を構成する
表面画像の平面領域を抽出する平面領域抽出手段と、前記撮影手段が配置された位置と前記周囲の情景に含ま
れる前記対象物体の位置との間隔を入手する対象距離入
手手段と、前記撮影手段における光が集束する焦点距離を入手する
焦点距離入手手段と、前記対象物体の形状及び寸法の情報を入手する形状・寸
法入手手段と、前記間隔と、前記焦点距離と、前記対象物体の形状及び
寸法とを基に、透視変換により、前記平面領域抽出手段
により抽出された前記平面領域の幾何歪みを補正する補
正手段とを有することを特徴とする画像歪み補正処理装
置。
【請求項２８】光を集束させ、周囲の情景を一つの画
像データとして取り込む撮影手段と、該撮影手段より取り込まれた前記画像データから、前記
対象物体の色彩の差および構成により生じる綾線を抽出
する綾線抽出手段と、前記綾線により囲まれた領域の内、対象物体を構成する
表面画像の平面領域を抽出する平面領域抽出手段と、前記撮影手段における光が集束する焦点距離を入手する
焦点距離入手手段と、前記対象物体の形状及び寸法の情報を入手する形状・寸
法入手手段と、前記綾線抽出手段により抽出された前記綾線の内、前記
周囲の情景において平行となる綾線を少なくとも１組選
択する平行線選択手段と、前記平行線選択手段により選択された前記綾線の内、前
記画像データにおいて該綾線の接線が平行となる前記綾
線上の２点を算出する平行点算出手段と、前記平行点算出手段により算出された前記２点間の距離
を算出する２点間距離算出手段と、前記２点間距離算出手段により算出された前記２点間の
距離と、前記焦点距離入手手段により入手した前記焦点
距離と、前記形状・寸法入手手段により入手した前記対
象物体の前記寸法とにより、前記撮影手段が配置された
位置と前記周囲の情景に含まれる前記対象物体の位置と
の間隔を算出する対象距離算出手段と、前記間隔と、前記焦点距離と、前記対象物体の形状及び
寸法とを基に、透視変換により、前記平面領域抽出手段
により抽出された前記平面領域の幾何歪みを補正する補
正手段とを有することを特徴とする画像歪み補正処理装
置。
【請求項２９】前記平面抽出手段により抽出した前記
対象物体の前記平面領域を有する平面上の位置を２次元
直交座標系で表すことにより、前記平面領域を２次元座
標で表す２次元表記手段と、前記２次元直交座標系の前記平面を３次元直交座標によ
り表すことにより、前記平面領域を３次元直交座標によ
り表す３次元変換手段とをさらに有することを特徴とす
る請求項２６から２８のいずれかに記載の画像歪み補正
処理装置。
【請求項３０】前記補正手段は、前記画像データの撮
像面における点を、該点と該点が前記対象物体において
対応する点とを結ぶ直線が、所定の平面に交わる点に変
換することを特徴とする請求項２６から２９のいずれか
に記載の画像歪み補正処理装置。
【請求項３１】前記所定の平面は、前記撮像面の中心
と、前記周囲の情景の中心とを結んだ直線に垂直に交わ
る平面であることを特徴とする請求項３０記載の画像歪
み補正処理装置。
【請求項３２】前記補正手段により補正された前記平
面領域を、前記形状・寸法入手手段により入手した前記
対象物体の形状に対応して記憶する記憶手段をさらに有
することを特徴とする請求項２７から３１のいずれかに
記載の画像歪み補正処理装置。
【請求項３３】前記記憶手段は、前記３次元変更手段
により表記された３次元直交座標を、前記形状・寸法手
段により入手した前記対象物体の形状に対応して記憶す
ることを特徴とする請求項３２記載の画像歪み補正処理
装置。
【請求項３４】前記記憶手段は、前記平面領域と前記
対象物体の前記形状との対応をＨＴＭＬ形式のファイル
に保存して記憶することを特徴とする請求項３２または
３３記載の画像歪み補正処理装置。
【請求項３５】前記平面領域抽出手段は、前記周囲の
情景において平面領域を有する物体を前記対象物体とし
て選択し、該対象物体の前記平面領域が前記画像データ
の内、どの領域と対応するかを算出することで、前記平
面領域を抽出することを特徴とする請求項２６から３４
のいずれかに記載の画像歪み補正処理装置。
【請求項３６】前記画像データは、前記周囲の情景を
広角に撮影した画像データであることを特徴とする請求
項２６から３５のいずれかに記載の画像歪み補正処理装
置。
【請求項３７】前記画像データは、前記周囲の情景を
所定の軸方向に広角に撮影した画像データであることを
特徴とする請求項２６から３６のいずれかに記載の画像
歪み補正処理装置。
【請求項３８】前記所定の軸は、水平方向であること
を特徴とする請求項３７記載の画像歪み補正処理装置。
【請求項３９】前記画像データは、円筒型の撮像面に
前記対象物体の写像を陰影することで取り込まれた画像
データであることを特徴とする請求項２６から３８のい
ずれかに記載の画像歪み補正処理装置。
【請求項４０】前記画像データは、複数の平面を連結
した撮像面に前記対象物体の写像を陰影することで取り
込まれた画像データであることを特徴とする請求項２６
から３９のいずれかに記載の画像歪み補正処理装置。
【請求項４１】前記画像データが、前記円筒型の撮像
面を用いて撮影されたものであるか、前記複数の平面を
連結した撮像面を用いて撮影されたものであるかを判別
する撮像面判別手段をさらに有し、前記補正手段は、前記撮像面判定手段により判別された
撮像面に応じて、補正を行うことを特徴とする請求項２
６から４０のいずれかに記載の画像歪み補正処理装置。
【請求項４２】前記平面領域は、長方形平面領域であ
り、該長方形平面領域は、前記所定の軸と平行な一組の線を
有することを特徴とする請求項２７から４１のいずれか
に記載の画像歪み補正処理装置。
【請求項４３】前記撮影位置と前記周囲の情景に含ま
れる前記対象物体の位置との前記間隔は予めユーザによ
り記憶手段に記憶されていることを特徴とする請求項２
６または２７または２９から４２のいずれかに記載の画
像歪み補正処理装置。
【請求項４４】前記対象物体の前記形状及び寸法の情
報は、ＣＡＤシステムで設計された幾何形状情報である
ことを特徴とする請求項２６から４３のいずれかに記載
の画像歪み補正処理装置。
【請求項４５】前記対象物体の前記形状及び寸法の情
報は、設計図面を基にした幾何形状情報であることを特
徴とする請求項２６から４３のいずれかに記載の画像歪
み補正処理装置。
【請求項４６】前記対象物体の前記形状及び寸法の情
報は、ユーザにより測定された前記対象物体の幾何形状
情報であることを特徴とする請求項２６から４３のいず
れかに記載の画像歪み補正処理装置。
【請求項４７】前記撮影位置と前記対象物体との前記
間隔は、予めユーザにより記憶手段に記憶されているこ
とを特徴とする請求項２６または２７または２９から４
６のいずれかに記載の画像歪み補正処理装置。
【請求項４８】前記撮影時の前記焦点距離は、予めユ
ーザにより記憶手段に記憶されていることを特徴とする
請求項２６から４７のいずれかに記載の画像歪み補正処
理装置。
【請求項４９】前記対象物体の形状及び寸法の情報
は、予めユーザにより記憶手段に記憶されていることを
特徴とする請求項２６から４８のいずれかに記載の画像
歪み補正処理装置。
【請求項５０】光を集束させて撮影された一つの画像
データ内、対象物体を構成する表面画像の平面領域を抽
出する平面領域抽出処理と、前記平面領域の幾何歪みを、撮影位置と対象物体との間
隔と、撮影時の焦点距離と、対象物体の形状及び寸法と
を基に、透視変換により補正する補正処理とを実行させ
るためのプログラムを記録した記録媒体。
【請求項５１】光を集束させ、周囲の情景を一つの画
像データとして取り込む撮影処理と、該撮影処理より取り込まれた前記画像データから、前記
対象物体の色彩の差および構成により生じる綾線を抽出
する綾線抽出処理と、前記綾線により囲まれた領域の内、対象物体を構成する
表面画像の平面領域を抽出する平面領域抽出処理と、前記撮影処理が配置された位置と前記周囲の情景に含ま
れる前記対象物体の位置との間隔を入手する対象距離入
手処理と、前記撮影処理における光が集束する焦点距離を入手する
焦点距離入手処理と、前記対象物体の形状及び寸法の情報を入手する形状・寸
法入手処理と、前記間隔と、前記焦点距離と、前記対象物体の形状及び
寸法とを基に、透視変換により、前記平面領域抽出処理
により抽出された前記平面領域の幾何歪みを補正する補
正処理とを実行させるためのプログラムを記録した記録
媒体。
【請求項５２】光を集束させ、周囲の情景を一つの画
像データとして取り込む撮影処理と、該撮影処理より取り込まれた前記画像データから、前記
対象物体の色彩の差および構成により生じる綾線を抽出
する綾線抽出処理と、前記綾線により囲まれた領域の内、対象物体を構成する
表面画像の平面領域を抽出する平面領域抽出処理と、前記撮影処理における光が集束する焦点距離を入手する
焦点距離入手処理と、前記対象物体の形状及び寸法の情報を入手する形状・寸
法入手処理と、前記綾線抽出処理により抽出された前記綾線の内、前記
周囲の情景において平行となる綾線を少なくとも１組選
択する平行線選択処理と、前記平行線選択処理により選択された前記綾線の内、前
記画像データにおいて該綾線の接線が平行となる前記綾
線上の２点を算出する平行点算出処理と、前記平行点算出処理により算出された前記２点間の距離
を算出する２点間距離算出処理と、前記２点間距離算出処理により算出された前記２点間の
距離と、前記焦点距離入手処理により入手した前記焦点
距離と、前記形状・寸法入手処理により入手した前記対
象物体の前記寸法とにより、前記撮影処理が配置された
位置と前記周囲の情景に含まれる前記対象物体の位置と
の間隔を算出する対象距離算出処理と、前記間隔と、前記焦点距離と、前記対象物体の形状及び
寸法とを基に、透視変換により、前記平面領域抽出処理
により抽出された前記平面領域の幾何歪みを補正する補
正処理とを実行させるためのプログラムを記録した記録
媒体。
【請求項５３】光を集束させ、周囲の情景を一つの画
像データとして取り込む撮影処理と、該撮影処理より取り込まれた前記画像データから、前記
対象物体の色彩の差および構成により生じる綾線を抽出
する綾線抽出処理と、前記綾線により囲まれた領域の内、対象物体を構成する
表面画像の平面領域を抽出する平面領域抽出処理と、前記撮影処理が配置された位置と前記周囲の情景に含ま
れる前記対象物体の位置との間隔を入手する対象距離入
手処理と、前記撮影処理における光が集束する焦点距離を入手する
焦点距離入手処理と、前記対象物体の形状及び寸法の情報を入手する形状・寸
法入手処理と、前記間隔と、前記焦点距離と、前記対象物体の形状及び
寸法とを基に、透視変換により、前記平面領域抽出処理
により抽出された前記平面領域の幾何歪みを補正する補
正処理と、前記平面抽出処理により抽出した前記対象物体の前記平
面領域を有する平面上の位置を２次元直交座標系で表す
ことにより、前記平面領域を２次元座標で表す２次元表
記処理と、前記２次元直交座標系の前記平面を３次元直交座標によ
り表すことにより、前記平面領域を３次元直交座標によ
り表す３次元変換処理とを実行させるためのプログラム
を記録した記録媒体。
【請求項５４】光を集束させ、周囲の情景を一つの画
像データとして取り込む撮影処理と、該撮影処理より取り込まれた前記画像データから、前記
対象物体の色彩の差および構成により生じる綾線を抽出
する綾線抽出処理と、前記綾線により囲まれた領域の内、対象物体を構成する
表面画像の平面領域を抽出する平面領域抽出処理と、前記撮影処理における光が集束する焦点距離を入手する
焦点距離入手処理と、前記対象物体の形状及び寸法の情報を入手する形状・寸
法入手処理と、前記綾線抽出処理により抽出された前記綾線の内、前記
周囲の情景において平行となる綾線を少なくとも１組選
択する平行線選択処理と、前記平行線選択処理により選択された前記綾線の内、前
記画像データにおいて該綾線の接線が平行となる前記綾
線上の２点を算出する平行点算出処理と、前記平行点算出処理により算出された前記２点間の距離
を算出する２点間距離算出処理と、前記２点間距離算出処理により算出された前記２点間の
距離と、前記焦点距離入手処理により入手した前記焦点
距離と、前記形状・寸法入手処理により入手した前記対
象物体の前記寸法とにより、前記撮影処理が配置された
位置と前記周囲の情景に含まれる前記対象物体の位置と
の間隔を算出する対象距離算出処理と、前記平面抽出処理により抽出した前記対象物体の前記平
面領域を有する平面上の位置を２次元直交座標系で表す
ことにより、前記平面領域を２次元座標で表す２次元表
記処理と、前記間隔と、前記焦点距離と、前記対象物体の形状及び
寸法とを基に、透視変換により、前記平面領域抽出処理
により抽出された前記平面領域の幾何歪みを補正する補
正処理と、前記２次元直交座標系の前記平面を３次元直交座標によ
り表すことにより、前記平面領域を３次元直交座標によ
り表す３次元変換処理とを実行させるためのプログラム
を記録した記録媒体。
【請求項５５】前記補正処理は、前記画像データの撮
像面における点を、該点と該点が前記対象物体において
対応する点とを結ぶ直線が、所定の平面に交わる点に変
換することを特徴とする請求項５０から５４のいずれか
に記載のプログラムを記録した記録媒体。
【請求項５６】前記所定の平面は、前記撮像面の中心
と、前記周囲の情景の中心とを結んだ直線に垂直に交わ
る平面であることを特徴とする請求項５５記載のプログ
ラムを記録した記録媒体。
【請求項５７】前記補正処理により補正された前記平
面領域を、前記形状・寸法入手処理により入手した前記
対象物体の形状に対応して記憶する記憶処理をさらに実
行させることを特徴とする請求項５１から５６のいずれ
かに記載のプログラムを記録した記録媒体。
【請求項５８】前記記憶処理は、前記３次元変更処理
により表記された３次元直交座標を、前記形状・寸法処
理により入手した前記対象物体の形状に対応して記憶す
ることを特徴とする請求項５７記載のプログラムを記録
した記録媒体。
【請求項５９】前記記憶処理は、前記平面領域と前記
対象物体の前記形状との対応をＨＴＭＬ形式のファイル
に保存して記憶することを特徴とする請求項５７または
５８記載のプログラムを記録した記録媒体。
【請求項６０】前記平面領域抽出処理は、前記周囲の
情景において平面領域を有する物体を前記対象物体とし
て選択し、該対象物体の前記平面領域が前記画像データ
の内、どの領域と対応するかを算出することで、前記平
面領域を抽出することを特徴とする請求項５０から５９
のいずれかに記載のプログラムを記録した記録媒体。
【請求項６１】前記画像データは、前記周囲の情景を
広角に撮影した画像データであることを特徴とする請求
項５０から６０のいずれかに記載のプログラムを記録し
た記録媒体。
【請求項６２】前記画像データは、前記周囲の情景を
所定の軸方向に広角に撮影した画像データであることを
特徴とする請求項５０から６１のいずれかに記載のプロ
グラムを記録した記録媒体。
【請求項６３】前記所定の軸は、水平方向であること
を特徴とする請求項６２記載のプログラムを記録した記
録媒体。
【請求項６４】前記画像データは、円筒型の撮像面に
前記対象物体の写像を陰影することで取り込まれた画像
データであることを特徴とする請求項５０から６３のい
ずれかに記載のプログラムを記録した記録媒体。
【請求項６５】前記画像データは、複数の平面を連結
した撮像面に前記対象物体の写像を陰影することで取り
込まれた画像データであることを特徴とする請求項５０
から６３のいずれかに記載のプログラムを記録した記録
媒体。
【請求項６６】前記画像データが、前記円筒型の撮像
面を用いて撮影されたものであるか、前記複数の平面を
連結した撮像面を用いて撮影されたものであるかを判別
する撮像面判別処理をさらに有し、前記補正処理は、前記撮像面判定処理により判別された
撮像面に応じて、補正を行うことを特徴とする請求項５
０から６５のいずれかに記載のプログラムを記録した記
録媒体。
【請求項６７】前記平面領域は、長方形平面領域であ
り、該長方形平面領域は、前記所定の軸と平行な一組の線を
有することを特徴とする請求項５１から６６のいずれか
に記載のプログラムを記録した記録媒体。
【請求項６８】前記撮影位置と前記周囲の情景に含ま
れる前記対象物体の位置との前記間隔は予めユーザによ
り記憶部に記憶されていることを特徴とする請求項５０
または５１または５３または５５から６７のいずれかに
記載のプログラムを記録した記録媒体。
【請求項６９】前記対象物体の前記形状及び寸法の情
報は、ＣＡＤシステムで設計された幾何形状情報である
ことを特徴とする請求項５０から６８のいずれかに記載
のプログラムを記録した記録媒体。
【請求項７０】前記対象物体の前記形状及び寸法の情
報は、設計図面を基にした幾何形状情報であることを特
徴とする請求項５０から６８のいずれかに記載のプログ
ラムを記録した記録媒体。
【請求項７１】前記対象物体の前記形状及び寸法の情
報は、ユーザにより測定された前記対象物体の幾何形状
情報であることを特徴とする請求項５０から６８のいず
れかに記載のプログラムを記録した記録媒体。
【請求項７２】前記撮影位置と前記対象物体との前記
間隔は、予めユーザにより記憶部に記憶されていること
を特徴とする請求項５０または５１または５３または５
５から７１のいずれかに記載のプログラムを記録した記
録媒体。
【請求項７３】前記撮影時の前記焦点距離は、予めユ
ーザにより記憶部に記憶されていることを特徴とする請
求項５０から７２のいずれかに記載のプログラムを記録
した記録媒体。
【請求項７４】前記対象物体の形状及び寸法の情報
は、予めユーザにより記憶部に記憶されていることを特
徴とする請求項５０から７３のいずれかに記載のプログ
ラムを記録した記録媒体。