JP2002057879A - 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 撮影条件によらず簡易に適正な画像を得るこ
とができる画像処理装置と画像処理方法及び該方法を実
現するためのプログラムを記録した記録媒体を提供す
る。 【解決手段】 被写体を撮影することにより得られる画
像の歪みを補正する画像処理装置であって、上記画像か
ら抽出された対向する少なくとも二組の線分をそれぞれ
外挿することによって得られる少なくとも二つの交点を
用いて算出された変換行列により、上記画像を構成する
各点を座標変換する画像歪み補正部４０を備えたことを
特徴とする画像処理装置を提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置と画
像処理方法及びコンピュータ記録媒体に関し、さらに詳
しくは、撮像状態によらず適正な画像を得るための画像
処理装置と画像処理方法、及び該方法を実現するための
プログラムを記録した記録媒体に関するものである。

【０００２】

【従来の技術】コンピュータネットワークの急速な進歩
と共にビジネスのあり方も多様化し、あらゆる局面で重
要な情報を素早く取得する必要が生じている。それに伴
い、至る所で携帯型の入力装置を駆使してビジネスに必
要な文書情報を簡便かつ高精細に入力することへの要求
が高まっている。特に、デジタルスチルカメラの急速な
普及及びその高解像化に伴い、撮影した画像に加工処理
を施すことにより、仕事や娯楽に有効な電子情報として
活用しようという応用例も見られるようになった。

【０００３】代表的な第一の応用例としては、Ａ４紙面
や大型のポスター等の被写体面を撮影するとき、撮像面
と被写体面が平行でない状態で撮影した場合には、画像
の歪み（これを「あおり歪み」ともいう。）が生じる
が、これを補正することによって取得した文書画像情報
の判読性を向上させる技術がある。そして、このような
技術に関しては特開平３−９４３８３号公報において、
既知の想定された固定形状内に入力画像を配置して該固
定形状の歪み方を調べることにより、本来の被写体面上
での形状に合致させるための変換パラメータを発見し、
あおり歪みを補正するという技術が開示されている。

【０００４】しかしながら、この技術では撮影対象を形
状が既に知られた固定図形内に配置させる必要があり、
また該固定図形に対するデータを予め得ておく必要もあ
る。

【０００５】また、特開平５−１０１２２１号公報にお
いては、被写体面に直交格子を導入して各格子点の空間
座標を求め、撮像面に設けられた座標系に直交変換を施
して射影することにより、画像歪みを補正するという技
術が開示されている。しかしながら、このような技術に
おいては、上記各格子点の２次元座標を手動で入力する
必要があるため、簡便な操作により被写体面を撮影する
のは困難である。

【０００６】また、特開平６−１９７２６１号公報にお
いては、被写体像の輪郭を検出して得られた輪郭情報か
らあおり歪みに対する補正量を算出した上で補正処理を
行い、該補正処理後の画像に対して最大補間量分を間引
くような画像処理を行うことにより、画質を均一にする
という技術が開示されている。しかしながら、上記のよ
うな処理においては被写体の縦横比を考慮することな
く、例えば台形の被写体像を横方向に引き伸ばして長方
形に変換するので、得られる被写体像は本来の被写体と
相似でない図形に変形されるという問題がある。

【０００７】また、特開平９−２８９６００号公報にお
いては、カメラの撮像面と被写体面とのなす傾斜角を入
力する角度設定手段と、被写体までの距離を測定する測
距手段とを備え、角度設定手段へ傾斜角を入力した状態
で被写体を撮影することにより、上記傾斜角と測距手段
で検出された被写体距離に基づいて被写体を正面から見
た画像に補正するという技術が開示されている。しかし
ながら、このような技術において上記傾斜角を正確に手
動で入力するのは非常に困難であり、その結果高い精度
で画像のあおり歪みを補正することは困難となる。

【０００８】また、特開平１１−９８４８５号公報にお
いては、回転軸に固定されたカメラの方向に関する情報
に基づいて、撮影対象の幾何形状が正しく再現されるよ
うに画像のあおり歪みを補正するという技術が開示され
ている。しかし、この技術においてはカメラを回転軸に
固定する必要があるため装置規模が増大し、利用者によ
る撮影の自由度が低下するという問題がある。

【０００９】また、特開平１１−２３８１２３号公報に
おいては、撮像により得られた画像が表示されるディス
プレイ画面上で、画像要素及び画像要素間の関係を指示
することにより、該画像のあおり歪みを補正する方法等
が開示されている。しかし、この方法では被写体面の法
線ベクトルと底辺とにより作られる平面と、撮像板の底
辺とが平行である状態において被写体を撮影した場合以
外には、あおり歪みを正確に補正することができず、限
定された撮影条件下でのみしか該方法を適用できないと
いう問題がある。

【００１０】また、第二の応用例としては、携帯可能な
画像入力装置で新聞紙等の大面積の紙面情報やパネルや
壁に描かれた絵柄等を分割撮影して、得られた複数枚の
画像を貼り合わせることにより１枚の合成画像を作成す
るものがある。すなわち、ＣＣＤ（Charge Coupled Dev
ice）に代表される撮像素子の画素数が増加するに伴
い、デジタルカメラの解像度は近年向上しているが、上
記のように細かいパターンを有する被写体、すなわち高
い周波数成分を含む被写体を撮影して電子化するにはま
だまだ解像度が不足する。従って、画像を貼り合わせる
ことにより擬似的に高精細画像を作成して、デジタルカ
メラの解像度不足を補うというアプローチがなされてい
る。

【００１１】このような応用例は、被写体が平面状とみ
なせる場合にアフィン変換や射影変換のような幾何補正
式を用いて、被写体の一部分を分割撮影した画像を貼り
合わせる技術であり、各分割画像の被写体像を基準とな
る画像における被写体の見え方に変換して貼り合わせる
というものである。なお、このような技術の概要は文献
『コンピュータビジョン−技術評論と将来展望−』（松
山隆司ほか、新技術コミュニケーションズ）に記載され
ている。

【００１２】しかしながら、このような応用例におい
て、基準となる画像において被写体像にあおり歪みが生
じていた場合には、貼り合わせた合成画像においてもあ
おり歪みが含まれてしまうという問題がある。この問題
について図１を参照しつつ説明する。なお、図中ｆは撮
影装置に含まれた光学系の焦点距離を示す。

【００１３】図１に示されるように、例えば被写体面１
を位置Ｐ１と位置Ｐ２から撮影することによって得られ
た二つの画像を合成する場合を考える。ここで、位置Ｐ
２から撮影して得られた分割画像７は、位置Ｐ１からの
撮影において基準とされる画像面３を引き伸ばした面に
写像すると被写体像５となる。従って図１に示されるよ
うに、分割画像７は被写体像５として、画像面３上にお
いて位置Ｐ１から撮影された画像と合成される。そし
て、このようにして得られた合成画像は、基準となる画
像面が拡大される広画角の光学系を用いて被写体面１を
撮影した画像と等価なものとなる。

【００１４】従って、上記のように作成された合成画像
では、被写体に対する遠近効果が通常の撮影で得られる
画像よりも大きくなるため、より大きなあおり歪みが生
じやすいという問題がある。

【００１５】

【発明が解決しようとする課題】本発明は、上述の問題
を解消するためになされたもので、撮影条件によらず簡
易に適正な画像を得ることができる画像処理装置と画像
処理方法及び該方法を実現するためのプログラムを記録
した記録媒体を提供することを目的とする。

【００１６】

【課題を解決するための手段】上記の目的は、被写体を
撮影することにより得られる画像の歪みを補正する画像
処理装置であって、画像から抽出された対向する少なく
とも二組の線分をそれぞれ外挿することによって得られ
る少なくとも二つの交点を用いて算出された変換行列に
より、画像を構成する各点を座標変換する画像補正手段
を備えたことを特徴とする画像処理装置を提供すること
により達成される。このような手段によれば、様々な撮
影条件において撮影されることにより生じた画像の歪み
を、簡易な構成を有する画像処理装置により補正するこ
とができる。

【００１７】また、本発明の目的は、被写体を撮影する
ことにより得られる画像の歪みを補正する画像処理装置
であって、画像から抽出された少なくとも二組の線分を
それぞれ外挿することによって得られた少なくとも二つ
の消失点を用いて算出された変換行列により、画像を構
成する各点を座標変換する画像補正手段を備えたことを
特徴とする画像処理装置を提供することにより達成され
る。このような手段によれば、様々な撮影条件において
撮影されることにより生じた画像の歪みを、簡易な構成
を有する画像処理装置により確実に補正することができ
る。

【００１８】また、ここで画像補正手段は、被写体を撮
影した光学系の画像パラメータ及び消失点を用いること
によって、変換行列を算出するものとすれば、補正後の
画像を被写体の表面に描かれた原像と相似なものとする
ことができる。

【００１９】また、画像補正手段は、被写体を部分的に
撮影することにより得られた複数の画像がつなぎ合わさ
れることにより生成された合成画像を入力する場合に
は、合成画像の作成の際に基準とされた画像を撮影した
光学系の画像パラメータ及び消失点を用いることによ
り、変換行列を算出するものとすることができる。この
ような手段によれば、あおり歪みが生じ易い合成画像に
対して、簡易な構成を有する画像処理装置により該歪み
を補正することができる。なお、上記画像パラメータ
は、光学系における焦点距離を含むものとすることがで
きる。

【００２０】また、画像補正手段は、少なくとも二組の
線分が被写体上でなす角度及び消失点を用いて変換行列
を算出するものとすれば、被写体を撮影した光学系の焦
点距離が未知の場合においても、該歪みを高精度に補正
することができる。

【００２１】また、画像補正手段は、一組の線分におけ
る座標変換後の方向がユーザにより指定された場合に
は、方向に応じて変換行列を算出するものとすることが
できる。このような手段によれば、歪みが補正された画
像の向きを画像面内において自由に変更することができ
る。

【００２２】また、本発明の目的は、被写体を撮影する
ことにより得られる画像の歪みを補正する画像処理方法
であって、画像から抽出された対向する少なくとも二組
の線分をそれぞれ外挿することによって得られる少なく
とも二つの交点を算出するステップと、少なくとも二つ
の交点を用いて変換行列を求めるステップと、画像を構
成する各点を変換行列により座標変換するステップとを
有することを特徴とする画像処理方法を提供することに
より達成される。このような手段によれば、様々な撮影
条件において撮影されることにより生じた画像の歪み
を、簡易な画像処理により補正することができる。

【００２３】また、本発明の目的は、被写体を撮影する
ことにより得られる画像の歪みを補正する画像処理方法
であって、画像から抽出された少なくとも二組の線分を
それぞれ外挿することによって少なくとも二つの消失点
を算出する第一のステップと、少なくとも二つの消失点
を用いて変換行列を求める第二のステップと、変換行列
により、画像を構成する各点を座標変換する第三のステ
ップとを有することを特徴とする画像処理方法を提供す
ることにより達成される。このような手段によれば、様
々な撮影条件において撮影されることにより生じた画像
の歪みを、簡易な画像処理により確実に補正することが
できる。

【００２４】また、第二のステップでは、被写体を撮影
した光学系の画像パラメータ及び消失点を用いることに
よって、変換行列を算出することとすれば、容易に補正
後の画像を被写体の表面に描かれた原像と相似なものと
することができる。

【００２５】また、被写体を部分的に撮影することによ
り得られた複数の画像がつなぎ合わされることにより生
成された合成画像を画像処理する場合には、第二のステ
ップにおいて、合成画像の作成の際に基準とされた画像
を撮影した光学系の画像パラメータ及び消失点を用いる
ことにより変換行列を算出することとすれば、あおり歪
みが生じ易い合成画像に対して、簡易な画像処理により
該歪みを補正することができる。なお、上記画像パラメ
ータは、光学系における焦点距離を含むものとすること
ができる。

【００２６】また、第二のステップでは、少なくとも二
組の線分が被写体上でなす角度及び消失点を用いて変換
行列を算出することとすれば、被写体を撮影した光学系
の焦点距離が未知の場合においても、該歪みを高精度に
補正することができる。

【００２７】また、一組の線分における座標変換後の方
向がユーザにより指定された場合には、第二のステップ
において、方向に応じて変換行列を算出することとすれ
ば、歪みが補正された画像の向きを画像面内において容
易に変更することができる。

【００２８】また、本発明の目的は、被写体を撮影する
ことにより得られる画像の歪みをコンピュータによる画
像処理により補正するためのプログラムを記録したコン
ピュータ読み取り可能な記録媒体であって、プログラム
は、コンピュータに対して、画像から抽出された対向す
る少なくとも二組の線分をそれぞれ外挿することによっ
て得られる少なくとも二つの交点を算出させ、少なくと
も二つの交点を用いて変換行列を求めさせ、画像を構成
する各点を変換行列により座標変換させることを特徴と
するコンピュータ読み取り可能な記録媒体を提供するこ
とにより達成される。このような手段によれば、上記プ
ログラムをコンピュータに実行させることによって、様
々な撮影条件において撮影されることにより生じた画像
の歪みを、簡易な画像処理により補正することができ
る。

【００２９】また、本発明の目的は、被写体を撮影する
ことにより得られる画像の歪みをコンピュータによる画
像処理により補正するためのプログラムを記録したコン
ピュータ読み取り可能な記録媒体であって、プログラム
は、コンピュータに対して、画像から抽出された少なく
とも二組の線分をそれぞれ外挿することによって少なく
とも二つの消失点を算出させ、少なくとも二つの消失点
を用いて変換行列を求めさせ、変換行列により、画像を
構成する各点を座標変換させることを特徴とするコンピ
ュータ読み取り可能な記録媒体を提供することにより達
成される。このような手段によれば、上記プログラムを
コンピュータに実行させることによって、様々な撮影条
件において撮影されることにより生じた画像の歪みを、
簡易な画像処理により確実に補正することができる。

【００３０】

【発明の実施の形態】以下において、本発明の実施の形
態を図面を参照して詳しく説明する。なお、図中同一符
号は同一又は相当部分を示す。

【００３１】一般的に、被写体面においては、互いに向
かい合う境界線の組や、同一方向に描かれた罫線の組、
あるいは互いに平行な向きに並んでいる文字列の組等の
ように、相互に平行な直線状パターンが存在することが
多い。以下においては、このような被写体面における平
行な直線状パターンの組を「平行パターン対」と呼ぶこ
とにする。

【００３２】また、上記平行パターン対は、縦及び横方
向の両方向に存在することが多い。すなわち、一の被写
体面において２組の平行パターン対が存在することが頻
繁にある。ここで、この２組の平行パターン対を画像に
投影した場合の歪み方と、被写体面と撮像面の相対的な
向きとの間には、ある代数的な関係が成立する。従っ
て、平行パターン対を画像に投影して形成される像（以
下「画像パターン対」と呼ぶ）を２組以上入力又は検出
することができれば、被写体面と撮像面の相対的な向き
を計算により求め、それに基づいてあおり歪み補正を行
うことができる。

【００３３】本発明は、このような原理に基づいて上記
目的を達成するものである。すなわち、本発明の実施の
形態に係る画像処理装置２によれば、例えば図２（ａ）
に示されるように、「ＡＢＣ」という文字が書かれた被
写体面１を該被写体面１に対して傾いた方向から撮影し
た場合であっても、あおり歪みを有する画像４ではな
く、図２（ｂ）に示される歪みが補正された画像６を得
ることができる。なお以下においては、説明を簡単にす
るために、撮影する平面状の被写体の形状は矩形である
と仮定する。

【００３４】図３は、本発明の実施の形態に係る画像処
理装置の基本構成を示すブロック図である。図３に示さ
れるように、本実施の形態に係る画像処理装置は、中央
演算処理装置（ＣＰＵ）１１と、同期型ダイナミックラ
ンダムアクセスメモリ（ＳＤＲＡＭ）１２と、ハードデ
ィスクドライブ（ＨＤＤ）１３と、入力インタフェース
（入力Ｉ／Ｆ）１４と、電源１５と、表示インタフェー
ス（表示Ｉ／Ｆ）１６と、記録装置１７と、外部インタ
フェース（外部Ｉ／Ｆ）１８と、ディスプレイ１９と、
バスＢＵＳとを備える。

【００３５】ここで、ＣＰＵ１１と、ＳＤＲＡＭ１２
と、ＨＤＤ１３と、入力Ｉ／Ｆ１４と、電源１５と、表
示Ｉ／Ｆ１６と、記録装置１７と、外部Ｉ／Ｆ１８は、
共にバスＢＵＳに接続される。また、ディスプレイ１９
は表示Ｉ／Ｆ１６に接続される。

【００３６】上記において、入力Ｉ／Ｆ１４は、マウス
等のポインティングデバイスやキーボード、ボタンなど
からなり、ディスプレイ１９はＣＲＴなどからなる。ま
た、記録装置１７はＣＤ−ＲＷ（Compact Disk ReWrita
ble）ドライブ等により構成され、外部Ｉ／Ｆ１８はデ
ジタルカメラやプリンタ等の外部機器やインターネット
などの電気通信回線に対して、有線又は無線接続するた
めに使用される。

【００３７】また、ＳＤＲＡＭ１２はＣＰＵ１１の作業
領域として利用され、以下に説明する画像処理方法を実
行するための処理プログラムや、その他の制御プログラ
ムなどの固定情報が記憶される。そして、該処理プログ
ラムは例えば記録装置１７を介してＳＤＲＡＭ１２にロ
ードされ、又はＨＤＤ１３に一旦保存された後であって
必要なときにＳＤＲＡＭ１２にロードされ、あるいは外
部Ｉ／Ｆ１８に接続された電気通信回線を介してＳＤＲ
ＡＭ１２にロードされる。

【００３８】一方、画像処理の対象とされる画像信号
は、記録装置１７又は外部Ｉ／Ｆ１８に接続されたデジ
タルカメラなどのデバイス若しくは電気通信回線から供
給される。

【００３９】図４は、本発明の実施の形態に係るデジタ
ルカメラの構成を示すブロック図である。図４に示され
るように、本実施の形態に係るデジタルカメラは、ＣＰ
Ｕ１１と、ＳＤＲＡＭ１２と、入力インタフェース（入
力Ｉ／Ｆ）１４と、電源１５と、表示インタフェース
（表示Ｉ／Ｆ）１６と、記録装置１７と、外部インタフ
ェース（外部Ｉ／Ｆ）１８と、ディスプレイ１９と、読
み出し専用メモリ（ＲＯＭ）２０と、レンズ２１と、絞
り機構２２と、シャッタ２３と、光電変換素子２４と、
駆動部２５と、前処理回路２６と、モータ駆動部２７
と、液晶ディスプレイ（ＬＣＤ）２８とを備える。

【００４０】ここで、ＣＰＵ１１とＳＤＲＡＭ１２、入
力Ｉ／Ｆ１４、電源１５、表示Ｉ／Ｆ１６、記録装置１
７、外部Ｉ／Ｆ１８、ＲＯＭ２０、前処理回路２６、及
びモータ駆動部２７はバスＢＵＳに接続され、レンズ２
１と絞り機構２２及びシャッタ２３はモータ駆動部２７
に接続される。また、光電変換素子２４及び前処理回路
２６は共に駆動部２５に接続され、ＬＣＤ２８は表示Ｉ
／Ｆ１６に接続される。

【００４１】このような構成を有するデジタルカメラに
おいては、入力Ｉ／Ｆ１４はペン等のポインティングデ
バイスやカメラ本体に設置されたボタン等からなり、光
電変換素子２４はＣＣＤ等からなる。

【００４２】また、駆動部２５は光電変換素子２４を制
御すると共に、光電変換素子２４により得られた画像信
号に対して、プリアンプやＡＧＣ（Auto Gain Contro
l）回路等により増幅やクランプ等のアナログ信号処理
を施し、アナログ−デジタル（Ａ／Ｄ）変換器により該
変換を実行する。また、前処理回路２６は、駆動部２５
で生成されたデジタル信号に対して自動ホワイトバラン
ス（Automatic White Balance −ＡＷＢ）や、エッジ強
調、γ補正等の前処理を施すと共に、画像圧縮／伸長処
理を実行する。

【００４３】また、モータ駆動部２７は被写体の撮像に
際し、フォーカスやズーム、アイリス、シャッタースピ
ード等を制御するため、レンズ２１や絞り機構２２、シ
ャッター２３を駆動する。そして、ＲＯＭ２０はＣＰＵ
１１の作業領域として利用されると共に、以下に説明す
る画像処理方法を実行するための処理プログラムを記憶
する。また、ＳＤＲＡＭ１２はＣＰＵ１１の作業領域と
して利用されると共に、以下に説明する画像処理方法を
実行するための処理プログラムやその他の制御プログラ
ムなどの固定情報を記憶する。ここで、該処理プログラ
ムは、例えばＲＯＭ２０に予め格納され、又は記録装置
１７を介してＳＤＲＡＭ１２にロードされ、又は外部Ｉ
／Ｆ１８に接続された電気通信回線を介してＳＤＲＡＭ
１２にロードされる。一方、上記制御プログラムは、例
えばＲＯＭ２０に予め格納される。

【００４４】以下において、本実施の形態に係る画像処
理装置と画像処理方法についてより詳しく説明する。 ［実施の形態１］図５は、本発明の実施の形態１に係る
画像処理装置の構成を示すブロック図である。図５に示
されるように、実施の形態１に係る画像処理装置は、撮
像部３１と、信号処理部３２と、メモリ制御部３３と、
主制御部３４と、フレームメモリ３５と、インタフェー
ス（Ｉ／Ｆ）３６と、表示部３７と、外部記憶部３８
と、平行パターン検出部３９と、画像歪み補正部４０と
を備える。

【００４５】ここで、撮像部３１は信号処理部３２に接
続され、信号処理部３２はメモリ制御部３３と主制御部
３４及びインタフェース３６に接続され、フレームメモ
リ３５はメモリ制御部３３に接続される。また、平行バ
ターン検出部３９は主制御部３４とメモリ制御部３３及
びフレームメモリ３５に接続され、画像歪み補正部４０
は平行パターン検出部３９とフレームメモリ３５に接続
される。

【００４６】また、表示部３７及び外部記憶部３８はイ
ンタフェース３６に接続される。以下において、図５に
示された実施の形態１に係る画像処理装置と図３及び図
４に示された実施の形態との対応関係について説明す
る。

【００４７】図５に示された撮像部３１には図４に示さ
れたレンズ２１と絞り機構２２、シャッタ２３、光電変
換素子２４、駆動部２５、及び前処理回路２６が含ま
れ、信号処理部３２及びメモリ制御部３３はＣＰＵ１１
により構成される。また、主制御部３４はＣＰＵ１１と
ＲＯＭ２０により構成され、フレームメモリ３５はＳＤ
ＲＡＭ１２により構成される。そして、インタフェース
３６は表示Ｉ／Ｆ１６と外部Ｉ／Ｆ１８を含み、表示部
３７はディスプレイ１９又はＬＣＤ２８により構成され
る。

【００４８】また、外部記憶部３８はＨＤＤ１３又は記
録装置１７により構成され、より具体的にはＣＤ−ＲＷ
や光磁気ディスクなどが使用できるが、モデムカード等
を利用することにより電気通信回線を介して画像信号を
直接遠隔地の記録媒体に送信できるようにしても良い。

【００４９】また、平行パターン検出部３９及び画像歪
み補正部４０は、ＣＰＵ１１と入力Ｉ／Ｆ１４により構
成される。

【００５０】そして、上記のような構成を有する画像処
理装置において、信号処理部３２は撮像部３１で撮像さ
れ又はインタフェース３６を介して外部から入力された
画像に対して所定の処理を施す。また、主制御部３４は
画像処理装置を構成する各部を集中的に制御し、フレー
ムメモリ３５はメモリ制御部３３の命令により画像信号
を蓄積する。また、表示部３７はインタフェース３６を
介して供給された画像信号を表示し、外部記憶部３８は
インタフェース３６を介して画像信号等の種々の信号を
読み書きする。

【００５１】以下において、図５に示された各部の動作
を具体的に説明する。まず信号処理部３２は供給された
画像信号に対して圧縮や伸長、色分解、ホワイトバラン
ス調整、γ補正等の種々の画像処理を施す。また、メモ
リ制御部３３は信号処理部３２において処理された画像
信号をフレームメモリ３５に格納したり、その逆にフレ
ームメモリ３５に格納された画像信号を読み出す。そし
て、この場合にはフレームメモリ３５から読み出された
画像信号は、信号処理部３２において圧縮などが施され
たのちインタフェース３６を介して外部記憶部３８に保
存される。

【００５２】また、外部記憶部３８に記憶された画像信
号を読み出す場合は、まずインタフェース３６を介して
信号処理部３２に画像信号が供給され、信号処理部３２
において画像伸長が施される。一方、外部記憶部３８及
びフレームメモリ３５から読み出された画像信号を表示
する場合は、まず読み出された該信号が信号処理部３２
においてデジタル−アナログ変換（Ｄ／Ａ変換）され、
増幅などの信号処理がなされる。そして、該処理がなさ
れた信号は、インタフェース３６を介して表示部３７に
送信される。

【００５３】また、平行パターン検出部３９は、被写体
面における平行パターン対の投影像である画像パターン
対を、少なくとも二組入力または検出するが、この動作
については後に詳しく説明する。また、画像歪み補正部
４０は、フレームメモリ３５に記憶された画像における
被写体像のあおり歪みを補正するが、この動作について
も後に詳しく説明する。

【００５４】次に、図５に示された画像処理装置におけ
る動作を、図６に示されたフローチャートを参照しつつ
説明する。まず、ステップＳ１において、信号処理部３
２は撮像部３１により撮影された被写体面の画像、ある
いは予め別途撮影されインタフェース３６を介して供給
された画像を入力する。

【００５５】そして、ステップＳ２において、平行パタ
ーン検出部３９は、被写体面上における平行パターン対
の画像への投影像である画像パターン対を入力又は検出
する。なお、各画像パターン対は２つの線状パターンに
より構成されている。

【００５６】以下において、平行パターン検出部３９に
ついて詳しく説明する。図７は、図５に示された平行パ
ターン検出部の構成及び動作を説明する図である。図７
に示されるように、平行パターン検出部３９は表示部３
７の表面に設置された透明タッチパネル３９１と、画像
パターン対を指定するポインティングデバイス３９２に
より構成される。

【００５７】そして、表示部３７において「平行パター
ン入力」という文字がオーバレイ表示されると、ユーザ
は表示部３７に表示された画像上に存在する線状パター
ンを指定することにより、画像パターン対を二組入力す
る。具体的には、表示部３７において、ユーザに対し一
組目の画像パターン対を入力するよう指示されると、該
ユーザはポインティングデバイス３９２を用いて第一の
線状パターンの始点位置を指定する。すると、表示部３
７に十字型のポインタ及び「１−１」という字が表示さ
れ、第一の線状パターンの始点が入力されたことがユー
ザに通知される。

【００５８】続いて、第一の線状パターンの終点を指定
すると、表示部３７上に十字型のポインタ及び「１−
２」という字が表示され、第一の線状パターンの終点が
入力されたことがユーザに通知される。

【００５９】これにより、図７に示されるように、「１
−１」及び「１−２」と表示された二つのポインタを結
ぶ直線３９３ａが、上記第一の線状パターンとして平行
パターン検出部３９に記憶される。同様に、ユーザは第
二の線状パターンの始点と終点をポインティングデバイ
ス３９２で指定することにより、「２−１」及び「２−
２」と表示された二つのポインタを結ぶ直線３９３ｂ
が、上記第二の線状パターンとして平行パターン検出部
３９に記憶される。

【００６０】以上より、第一及び第二の線状パターンか
らなる一組の画像パターン対の平行パターン検出部３９
に対する入力が完了される。そして、同様な動作によ
り、二組目以降の画像パターン対が平行パターン検出部
３９に入力される。

【００６１】また、図５に示された平行パターン検出部
３９は、以下のように文字列上の一点をユーザが指定す
ることによって、該文字列を構成する線状パターンを順
次記憶するものとしても良い。すなわち、このような平
行パターン検出部３９は、図８に示されるように、ユー
ザがポインティングデバイス３９２により表示部３７に
示された文字列などの線状パターン付近を指定したと
き、該指定された点付近の線状パターンを自動検出して
第一の線状パターンを示す直線３９３ａを表示する。な
おこのとき、図８に示されるように、直線３９３ａの周
辺に「１」という数字が表示され、第一の線状パターン
の入力が完了したことがユーザに通知される。

【００６２】ここで、線状パターンの自動検出方法につ
いて簡単に説明する。線状パターンが直線である場合に
は、例えば画像にソベル（Sobel）フィルタ等の微分オ
ペレータを施す。これにより、微分値がしきい値より大
きな部分は白色、小さな部分は黒色で示されるエッジ画
像を生成し、該エッジ画像において、指定された点付近
のエッジセグメントを統合することにより該直線が自動
検出される。

【００６３】そして、線状パターンが文字列である場合
には、例えば特許第２８９５１２２号公報に示されるよ
うな矩形の局所的統合処理によって、指定された点付近
の行又は列を切り出し、文字列を自動検出することがで
きる。

【００６４】また、図８に示されるように、ユーザが第
二の線状パターン付近の点をポインティングデバイス３
９２により指定すると、第二の線状パターンを示す直線
３９３ｂ及び「２」という数字が表示され、第二の線状
パターンが入力されたことがユーザに通知される。そし
て、以上のような動作により、一組目の画像パターン対
の入力が完了される。なお、同様な動作を繰り返すこと
により、二組以上の画像パターン対が平行パターン検出
部３９に入力される。

【００６５】次に、画像歪み補正部４０は、図６に示さ
れたステップＳ３において、信号処理部３２に供給され
た画像のあおり歪みを補正するためのあおり歪み補正パ
ラメータを算出し、ステップＳ４において該パラメータ
を用いてあおり歪みを補正した画像（以下「歪み補正画
像」ともいう）を生成する。

【００６６】以下において、図５に示された画像歪み補
正部４０の構成及び動作について詳しく説明する。画像
歪み補正部４０は、平行パターン検出部３９に入力さ
れ、あるいは検出された二組の画像パターン対に基づい
て、該画像のあおり歪みを補正する。ここで、該画像の
あおり歪みを補正するためには、各々の画像パターン対
を構成する互いの線状パターンがなす角度に基づいて、
該画像上において局所的な拡大や縮小を施す方法もある
が、ここでは射影変換を利用して該あおり歪みを補正す
る例について説明する。

【００６７】図９は、図５に示された画像歪み補正部４
０の構成を示すブロック図である。図９に示されるよう
に、画像歪み補正部４０は消失点検出部４０１と、射影
変換部４０２と、座標変換部４０３とを含む。ここで、
消失点検出部４０１は平行パターン検出部３９及びフレ
ームメモリ３５に接続され、射影変換部４０２は消失点
検出部４０１に接続される。また、座標変換部４０３は
射影変換部４０２に接続される。

【００６８】以下においては、図５に示された撮像部３
１の光学系が図１０に示されるように、焦点距離をｆと
する中心射影モデル（又は透視変換モデル）で近似され
ると仮定して図９に示された各部の動作を説明する。な
お、「中心射影モデル」とは、図１０に示されるよう
に、画像中心ＣＩを有する画像面３に対象点ＰＯの画像
を形成する場合、光学中心ｏと対象点ＰＯを結ぶ直線が
画像面３と交わる点Ｑ（ｘ，ｙ）を対象点ＰＯの像とす
るモデルをいう。なお、該点Ｑは視線ベクトルＥＶによ
り表現される。

【００６９】図９に示された消失点検出部４０１は、平
行パターン検出部３９で得られた二組の画像パターン対
におけるそれぞれの交点を検出する。なお、消失点検出
部４０１には、フレームメモリ３５から画像パラメータ
が供給される。ここで、「画像パラメータ」とは、図１
０に示された画像面３と光軸（ｚ軸）とが交差する点
（画像中心ＣＩ）の座標や焦点距離ｆ等といった画像撮
影時における撮像部３１の光学的なパラメータを指称す
る。

【００７０】一方、撮像部３１の光学系が上記のように
中心射影モデルである場合、実空間中の平行線は画像面
内では一点で交わるという定理が成り立ち、該交点は
「消失点」と呼ばれている。

【００７１】そして、例えば図１１（ａ）に示されるよ
うな点Ｐ_１及び点Ｐ_２、点Ｑ_２、点Ｑ_１に囲まれた矩形
の被写体を画像処理装置２によって斜め方向から撮影す
ることによって、図１１（ｂ）に示されるような対応す
る点ｐ_１及び点ｐ_２、点ｑ_２、点ｑ_１に囲まれる画像が
得られた場合について説明する。

【００７２】この場合、図１１（ａ）に示されるよう
に、実空間においては、点Ｐ_１と点Ｐ _２を結ぶ直線と、
点Ｑ_１と点Ｑ_２を結ぶ直線、及び点Ｐ_１と点Ｑ_１を結ぶ
直線と、点Ｐ_２と点Ｑ_２を結ぶ直線とはそれぞれ互いに
平行である。

【００７３】しかしながら、図１１（ｂ）に示されるよ
うに、点ｐ_１と点ｐ_２を結ぶ直線と、点ｑ_１と点ｑ_２を
結ぶ直線は消失点Ｖ１で交わり、点ｐ_１と点ｑ_１を結ぶ
直線と、点ｐ_２と点ｑ_２を結ぶ直線とは消失点Ｖ２にお
いて交わる。なお、上記消失点の座標は、画像バターン
対を構成する２つの線状パターンについてそれぞれ直線
方程式を求め、求められた二つの直線方程式を連立させ
て解く等の一般的な方法によって得ることができる。

【００７４】また、図９に示された射影変換部４０２
は、消失点検出部４０１により得られた二つの消失点の
座標、及び消失点検出部４０１から供給された画像パラ
メータにより、被写体像におけるあおり歪みを補正する
ための射影変換を求めるものである。そして、該射影変
換では、次の式（１）により点（ｘ，ｙ）が点（ｘ’，
ｙ’）に写像される。

【００７５】

【数１】 ここで、上記の式（１）における９つの未知数ｂ_１から
ｂ_９を以下の行列Ｂとしてまとめることができる。

【００７６】

【数２】 なお、上記行列Ｂを射影変換行列と呼ぶこととする。そ
して、この射影変換行列Ｂを用いると、上記式（１）に
より示された射影変換は次の式（３）により表すことが
できる。

【００７７】

【数３】 なお、上記式（３）においてｓは、左辺の第三要素を１
に正規化するための定数を示す。ここで、上記式（１）
及び式（３）から明らかなように、行列Ｂはスケール倍
の自由度を有しているため、実質的な自由度は８とな
る。以下においては、射影幾何学に基づき被写体像のあ
おり歪みを補正する射影変換行列を求める手順を詳しく
説明する。

【００７８】射影幾何学においては、画像面上の点
（ｘ，ｙ）に定数ｚを付け加えた３次元ベクトル（ｘ，
ｙ，ｚ）を計算に用いると便利なことが知られている。
以下においては、この３次元ベクトルを拡張ベクトルと
呼ぶことにする。そして特に、定数ｚの値が焦点距離ｆ
に一致する場合は、拡張ベクトルが画像面上の点（ｘ，
ｙ）に対応する視線の向きを示す。そこで、以下におい
ては画像面上の点（ｘ，ｙ）に焦点距離ｆを付加した３
次元ベクトル（ｘ，ｙ，ｆ）を視線ベクトルと呼ぶこと
とする。

【００７９】ここで、図１１（ｂ）に示された消失点Ｖ
１及び消失点Ｖ２の視線ベクトルを、それぞれ以下の式
（４）及び式（５）とおく。

【００８０】

【数４】 そして、射影幾何学においては、拡張ベクトルの第三要
素ｚが焦点距離ｆである場合に限り、空間中で方向ベク
トルがｍである直線は、画像面上において視線ベクトル
がｍである消失点を持つという定理が成り立つ。すなわ
ち、消失点Ｖ１を持つ画像パターン対に対応する平行パ
ターン対の空間中の方向は視線ベクトルｖ_１で表され、
消失点Ｖ２を持つ画像パターン対に対応する平行パター
ン対の空間中の方向は視線ベクトルｖ_２で表される。従
って、被写体面の向きは視線ベクトルｖ_１及び視線ベク
トルｖ_２の両方に直交し、次の式（６）により示される
ベクトルｎにより表すことができる。

【００８１】

【数５】 なお、式（６）においてＮはベクトル（ｖ_１×ｖ_２）を
単位ベクトルに正規化する作用素であり、任意のベクト
ルｖに対して以下の式（７）に示される演算を施すもの
である。

【００８２】

【数６】 なお、式（７）において｜ｖ｜はベクトルｖのノルムを
示す。

【００８３】次に、あおり歪みを補正する射影変換行列
Ｂの算出手順を詳しく説明する。ここで、本実施の形態
では撮像部３１における光軸の向きと被写体面の向きと
の関係に基づいて、あおり歪みを補正するパラメータを
計算する。具体的には、図１２に示されるように、上記
式（６）により算出されたベクトルｎを単位法線ベクト
ルとする平面、すなわち被写体面に平行な平面を被投影
面１０１として、該被投影面１０１に向かってあおり歪
みを含んだ被写体像を持つ画像面１００を投影（射影変
換）することにより歪み補正画像１０２を生成する。

【００８４】以下において、あおり歪みを補正するパラ
メータの計算方法を説明する。まず、図１３に示される
ように、撮像部３１の光軸をなすｚ軸を被投影面１０１
の単位法線ベクトルｎに一致させる座標変換を表す回転
行列Ｒを求める。この場合、次の式（８）に示された関
係が成立する。

【００８５】

【数７】 そして、上記式（８）を満たす回転行列Ｒは多数存在す
るが、ここでは回転行列Ｒを次の式（９）により定義す
る。

【００８６】

【数８】 但し、行列Ｒ_ｘ及び行列Ｒ_ｙは次の式（１０）により示
される。

【００８７】

【数９】 ここで、上記式（９）及び式（１０）により示された回
転行列は、図１４に示されるように、以下の順序でｘｙ
ｚ座標系を回転させることにより、ｘ’ｙ’ｚ’座標系
に変換する演算に相当する。すなわち、最初にｘｙｚ座
標系をｙ軸周りに角度βだけ回転させる。そして、この
ような回転により得られた座標系をｘ_１ｙ_１ｚ_１座標系
とするとき、このｘ_１ｙ_１ｚ_１座標系をｘ_１軸周りに角
度αだけ回転する。

【００８８】ここで、ベクトルｎを次の式（１１）のよ
うに表す。

【００８９】

【数１０】 そして、上記の式（８）及び式（９）を用いると、回転
角は次式のように導出される。

【００９０】

【数１１】 ここで、求められた回転角を式（９）及び式（１０）に
代入することによって、行列Ｒを一意に定めることがで
きる。

【００９１】次に、上記のような手順により求められた
回転行列Ｒを用いて、画像面上の任意の点（ｘ，ｙ，
ｆ）を被投影面上の点（ｘ’，ｙ’，ｚ’）に座標変換
する。そして、この座標変換は次式（１４）により示さ
れる射影変換により表すことができる。

【００９２】

【数１２】 ここで、ｋは撮像部３１の光学中心ｏから被投影面１０
１までの距離を示す拡大係数であるため、ｋは作成され
る歪み補正画像の大きさを表す係数を意味する。また、
ｓは射影変換後のベクトルのｚ’座標をｋにするための
定数である。そして、以上の手順で式（３）の行列Ｂを
以下の式（１５）により示される行列とすることによ
り、あおり歪みを補正するための射影変換行列Ｂを求め
ることができる。

【００９３】

【数１３】 そして、図９に示された座標変換部４０３は、射影変換
部４０２により算出された射影変換行列Ｂを基に、被写
体像を座標変換して歪み補正画像を作成する。ここで、
より具体的には、射影変換後の点（ｘ’，ｙ’）に対応
する変換前の点（ｘ，ｙ）を式（３）により計算し、計
算された座標（ｘ，ｙ）の近傍における画素値を基に、
歪み補正画像を構成する点（ｘ’，ｙ’）における画素
値を補間演算により決定する。

【００９４】なお、該補間演算は、双一次補間法やＢ−
スプライン補間法などの方法を用いて行うことができ
る。

【００９５】また、上記において消失点が無限遠点とな
る場合、すなわち画像パターン対を構成する２つの線状
パターンが平行となる場合には、線状パターンの画像面
上での向きが（ｍ_ｘ，ｍ_ｙ）であるとき、消失点の視線
ベクトルを第三要素として０を加えた（ｍ_ｘ，ｍ_ｙ，
０）とすればよい。

【００９６】また、焦点距離ｆが未知である場合でも、
適当な値ｆ’を用いて点（ｘ，ｙ）に対し拡張ベクトル
（ｘ，ｙ，ｆ’）を生成し、上記手順を実行することに
よって、被写体像のあおり歪みを補正することができ
る。但し、この場合は実空間中における方向ベクトルと
画像面上の消失点との間に成立する上記定理は成立しな
いため、実際には元の被写体面の縦横比が一致しない歪
み補正画像が得られる。従って、焦点距離及び画像中心
などの画像パラメータを用いて視線ベクトル（ｘ，ｙ，
ｆ）を生成することにより、元の被写体面に相似な被写
体像を持つ歪み補正画像を得ることができる。

【００９７】以上より、本発明の実施の形態１に係る画
像処理装置及び画像処理方法によれば、二組の画像パタ
ーン対を用いて被写体面の向きを求めることにより、あ
らゆる撮影条件下で撮影された被写体像であっても、簡
易に該被写体像のあおり歪みを補正して適正な画像を得
ることができる。また、上記画像パラメータを利用する
ことにより、被写体面に相似であると共にあおり歪みが
補正された画像を生成することもできる。

【００９８】さらには、該あおり歪みの補正において上
記のような射影変換を用いることにより、少ない処理コ
ストで信頼性の高い該補正を実現することができる。 ［実施の形態２］図１５は、本発明の実施の形態２に係
る画像処理装置の構成を示すブロック図である。図１５
に示されるように、実施の形態２に係る画像処理装置
は、図５に示された実施の形態１に係る画像処理装置と
同様な構成を有するが、インタフェース３６には予め生
成された合成画像が外部から入力されると共に、撮像部
３１を備えていない点で相違するものである。

【００９９】すなわち、本実施の形態２に係る画像処理
装置は、合成画像に対してあおり歪みを補正するもので
ある。ここで上記合成画像は、図１６（ａ）に示される
ように、被写体面１０の一部を画像処理装置２００によ
って複数の視点Ｄ１〜Ｄｎから分割的に撮影し、該撮影
により得られた複数の画像４ａ，４ｂ，４ｎを貼り合わ
せることによって生成されるものである。

【０１００】より具体的には、図１６（ｂ）に示される
ように、ある一つの画像例えば画像４ｎを基準として、
分割された各画像４ａ，４ｂをこの画像４ｎに対して貼
り合わせることにより合成画像４１が生成される。そし
て、本実施の形態２に係る画像処理装置２００において
は、該合成画像４１のあおり歪みが補正され、図１６
（ｃ）に示された歪み補正画像６０が得られる。

【０１０１】以下において、本実施の形態２に係る画像
処理装置の動作を、図１７のフローチャートを参照しつ
つ説明する。まず、ステップＳ１において、インタフェ
ース３６を介して予め生成された合成画像を入力し、フ
レームメモリ３５に記憶する。そして、該合成画像の入
力が終了すると、平行パターン検出部３９はステップＳ
２において、被写体面における平行パターン対の投影像
である画像パターン対を二組入力または検出する。

【０１０２】次に、画像歪み補正部４０は、ステップＳ
３において、入力された合成画像のあおり歪みを補正す
るためのあおり歪み補正パラメータを算出し、ステップ
Ｓ４において該パラメータを用いてあおり歪みを補正し
た合成画像を生成する。

【０１０３】ここで、上記実施の形態１に係る画像処理
方法と同様な方法によって、合成画像におけるあおり歪
みを補正する場合、該合成画像の画像パラメータが既知
である必要があるが、該合成画像の画像パラメータを知
ることは可能である。例えば、被写体面の一部分をそれ
ぞれ撮影した分割画像を、射影変換を用いて貼り合わせ
ることにより合成画像を生成する場合には、各分割画像
を基準となる画像に整合するよう変換して貼り合わせ
る。

【０１０４】そして、このような方法により生成された
合成画像は、上記基準となる画像を撮影した時の画像面
を拡大する広画角の光学系を用いて、被写体面を撮影す
ることにより得られる画像と等価なものとなる。すなわ
ち、合成画像の焦点距離及び画像中心は、貼り合わせの
基準となる画像の焦点距離及び画像中心とそれぞれ一致
することとなる。

【０１０５】従って、貼り合わせの基準となる画像の画
像パラメータが既知ならば、合成画像の焦点距離及び画
像中心を得ることができ、上記実施の形態１に係る画像
処理方法を適用することによって、合成画像における被
写体像のあおり歪みを補正することが可能である。

【０１０６】以上より、本発明の実施の形態２に係る画
像処理装置及び画像処理方法によれば、二組の画像パタ
ーン対を入力又は検出することによって、分割画像を貼
り合わせるためあおり歪みが目立ち易い合成画像のあお
り歪みを補正し、適正な合成画像を得ることができる。

【０１０７】また、本実施の形態２に係る画像処理装置
及び画像処理方法によれば、画像パラメータを利用する
ことによって、被写体面に相似であると共に歪み補正が
施された被写体像を生成することができる。そしてさら
には、あおり歪み補正に射影変換を用いることによっ
て、少ない処理コストで信頼性の高いあおり歪み補正を
実現することができる。 ［実施の形態３］本発明の実施の形態３に係る画像処理
装置は、図５に示された実施の形態１に係る画像処理装
置と同様な構成を有するが、画像歪み補正部４０の機能
が相違するものである。

【０１０８】すなわち、本実施の形態３に係る画像処理
装置は、被写体面において既知の角度で交わる２組以上
の平行パターン対の投影像である画像パターン対を入力
または検出する。ここで、入力した画像パターン対に対
応する２組の平行パターン対が被写体面上でなす角度が
既知である場合には、焦点距離ｆが未知でも被写体面に
相似であると共に歪み補正がなされた被写体像を生成す
ることができる。

【０１０９】以下においては、被写体面における２組の
平行パターン対のなす角度がψであると仮定して、本実
施の形態を説明する。

【０１１０】図１８は、本発明の実施の形態３に係る画
像処理方法を示すフローチャートである。図１８に示さ
れるように、まずステップＳ１においては、ユーザは撮
像部により被写体面を撮像し、又は予め撮影された画像
を外部から入力する。次に、ステップＳ２において、平
行パターン検出部は被写体面においてなす角度がψであ
る平行パターン対の投影像である画像パターン対を検出
すると共に、インタフェースを介して上記角度ψを外部
から入力する。なお、上記角度ψとしては、一例として
９０度とすることができる。

【０１１１】そして、画像歪み補正部は、ステップＳ３
においてあおり歪み補正パラメータを算出し、ステップ
Ｓ４において算出された該パラメータを利用してあおり
歪みを補正した画像を作成する。

【０１１２】以下において、本実施の形態３に係る画像
歪み補正部の動作について説明する。なお、本実施の形
態３に係る画像歪み補正部は、図９に示された実施の形
態１に係る画像歪み補正部４０と同様な構成を有する。

【０１１３】まず、消失点検出部は、平行パターン検出
部で得られた二組の画像パターン対における各消失点を
検出する。なお、消失点の座標は、上記実施の形態１に
おいて説明された方法により求めることができる。

【０１１４】また、射影変換部は、消失点検出部により
求められた二組の消失点の座標及び上記角度ψに基づ
き、被写体像におけるあおり歪みを補正するための射影
変換行列Ｂを求める。ここで、消失点検出部が検出した
二つの消失点の拡張ベクトルを、それぞれ以下の式（１
６）及び式（１７）とおく。

【０１１５】

【数１４】 なお、上記式（１６）及び式（１７）におけるｚは、定
数を意味する。

【０１１６】ここで、二つの消失点に対応する拡張ベク
トルｖ_１’，ｖ_２’のなす角度はψであるとわかってい
るため、空間中における方向ベクトルと画面上における
消失点との関係についての上記定理により、上記拡張ベ
クトルｖ_１’，ｖ_２’の第三要素ｚが焦点距離ｆである
場合に限り、次式（１８）が成立する。

【０１１７】

【数１５】 すなわち、上記式（１８）を解くことにより、焦点距離
ｆを計算することができる。

【０１１８】以上のような方法により、既知の角度ψで
交わる平行パターン対の投影像である画像パターン対を
入力することによって、焦点距離ｆを計算することがで
きる。そして、このように求められた焦点距離ｆと上記
式（４）乃至式（１５）を用いて、上記実施の形態１と
同様な方法により、あおり歪みを補正するための射影変
換行列Ｂを求めることができる。

【０１１９】また、座標変換部は、上記射影変換部によ
り算出された射影変換行列Ｂを基に、画像を座標変換し
て歪み補正画像を作成する。具体的には、射影変換後の
座標（ｘ’，ｙ’）に対応する変換前の座標（ｘ，ｙ）
を式（３）に基づいて計算し、計算された座標（ｘ，
ｙ）の近傍における画素値を基に座標（ｘ’，ｙ’）に
おける画素値を補間演算により決定する。なお、この補
間演算は、双一次補間法やＢ−スプライン補間法などの
既存の方法を用いて行うことができる。

【０１２０】また、ほとんどの被写体面においては、縦
及び横方向の境界線や縦罫線及び横罫線など、少なくと
も二組の平行パターン対が互いに直交しているため、上
記平行パターン検出部においては、互いに直交している
平行パターン対の投影像である画像パターン対を検出す
るようにしても良い。なお、この場合には、式（１８）
において角度ψに９０度を代入して焦点距離ｆを求めれ
ばよいが、該焦点距離ｆは次式（１９）により求められ
る。

【０１２１】

【数１６】 すなわち、上記式（１９）によれば、式（１８）による
計算よりも遥かに簡単に焦点距離ｆを求めることができ
る。そしてさらに、互いに直交している平行パターン対
に対応する画像パターン対を入力するよう予め設定する
こととすれば、上記角度ψを別途入力する必要がなくな
り、利便性を一層高めることができる。

【０１２２】なお、上記において、いずれか一方の消失
点が無限遠点となる場合には、焦点距離ｆを計算するこ
とはできない。このとき、上記実施の形態１と同様に、
焦点距離ｆが未知の場合でも、適当な値ｆ’を用いて点
（ｘ，ｙ）より拡張ベクトル（ｘ，ｙ，ｆ’）を生成し
て上記手順を実行することができるが、この場合にはあ
おり歪みを補正することはできるものの、実際の被写体
面と縦横比が一致しない画像が生成される。

【０１２３】以上より、本発明の実施の形態３に係る画
像処理装置及び画像処理方法によれば、平行パターン対
のなす角度が既知の画像パターン対を二組用いることに
より、いずれか一方の消失点が無限遠点でない限り、撮
影時の焦点距離が未知であっても、被写体面に相似であ
ると共に歪み補正がなされた被写体像を生成することが
できる。 ［実施の形態４］本発明の実施の形態４に係る画像処理
装置は、図５に示された上記実施の形態１に係る画像処
理装置と同様な構成を有するが、画像歪み補正部４０の
機能が相違するものである。以下においては、該相違点
について詳しく説明する。

【０１２４】本実施の形態４に係る画像処理装置は、あ
おり歪みを補正した画像における被写体像の傾きを補正
することを特徴とする。例えば、上記実施の形態１にお
いては、式（１４）に示された回転行列Ｒを用いて座標
変換することにより、画像のあおり歪みを補正すると説
明したが、この座標変換は被写体面の法線ベクトルを回
転軸とする１軸周りの自由度を残している。すなわち、
図１９（ａ）に示されるように、画像処理装置２が被写
体面１に対して傾いている場合などには、撮影時の撮像
部３１の姿勢により、画像面３内で被写体像が傾いた歪
み補正画像が得られることがある。

【０１２５】従って、本実施の形態に係る画像処理装置
は、図１９（ｂ）に示されるように、画像処理装置２が
被写体面１に対して傾いていない状態で撮影されたとき
に得られる歪み補正画像、すなわち画像面内３で被写体
像が傾いていない補正画像を得ることを目的とするもの
である。

【０１２６】以下において、本実施の形態４に係る画像
処理装置の動作を、図２０に示されたフローチャートを
参照しつつ説明する。まず、ステップＳ１において、信
号処理部３２は撮像部３１により撮影された被写体面の
画像を入力する。

【０１２７】そして、ステップＳ２において、平行パタ
ーン検出部３９は、被写体面上における平行パターン対
の画像への投影像である画像パターン対を入力又は検出
する。なお、各画像パターン対は２つの線状パターンに
より構成されている。

【０１２８】次に、ステップＳ３において、ステップＳ
２で入力された画像パターン対のうち一の画像パターン
対に対して、あおり歪み補正後の向きを指定する。そし
て、以下に詳しく説明する画像歪み補正部４１は、ステ
ップＳ４において、ステップＳ２において入力された画
像パターン対と、ステップＳ３で指定された上記向きと
に基づいて、撮影した画像のあおり歪みを補正するパラ
メータを算出する。またステップＳ５では、画像歪み補
正部４１は、ステップＳ４で算出されたパラメータを用
いてあおり歪みを補正した画像を作成する。

【０１２９】以下において、本実施の形態４に係る画像
歪み補正部４１について詳しく説明する。図２１は、本
実施の形態４に係る画像歪み補正部４１の構成を示すブ
ロック図である。図２１に示されるように、この画像歪
み補正部４１は消失点検出部４０１と、射影変換部４０
２と、座標変換部４０３と、向き指定部４０４とを備え
る。ここで、消失点検出部４０１は平行パターン検出部
３９に接続され、射影変換部４０２は消失点検出部４０
１に接続される。また、座標変換部４０３は射影変換部
４０２に接続され、向き指定部４０４は射影変換部４０
２に接続される。

【０１３０】上記のような構成を有する画像歪み補正部
４１においては、消失点検出部４０１は平行パターン検
出部３９で得られた二組の画像パターン対においてそれ
ぞれ消失点を検出する。そして、射影変換部４０２は、
消失点検出部４０１から供給された二つの消失点の座標
に基づき、被写体におけるあおり歪みを補正するための
射影変換行列Ｂを求める。また、座標変換部４０３は、
射影変換部４０２により算出された射影変換行列Ｂを基
に、画像を座標変換して歪み補正画像を作成する。

【０１３１】また、向き指定部４０４は、図２２に示さ
れるように、表示部３７の表面に設置された透明タッチ
パネル４０４ａと、入力された画像パターン対のうち一
つの画像パターン対に対してあおり歪み補正後の向きを
指定するポインティングデバイス４０４ｂとにより構成
される。

【０１３２】ここで例えば、図２２（ａ）に示されるよ
うに、画像パターン対を入力した後、表示部３７におい
て「向き指定」という文字がオーバレイ表示される。す
ると、ユーザはポインティングデバイス４０４ｂによ
り、表示部３７上で入力した画像パターン対のうち一つ
の画像パターン対に対して、あおり歪みを補正した後の
画像における該画像パターンの向きを入力する。

【０１３３】すなわち、例えば図２２（ｂ）に示される
ように、第一の画像パターン対を構成する直線３９３ａ
及び直線３９３ｂに対し、あおり歪み補正後に横方向
（水平方向）を向くように指定すると、該画像パターン
対はそれぞれ直線３９３ｃ及び直線３９３ｄのように横
方向（水平方向）を向くように補正される。

【０１３４】以下において、このような画像処理を実行
するときの動作を説明する。まず、撮像部３１の光軸
（ｚ軸）を被投影面の単位法線ベクトルｎに一致させる
座標変換を示す回転行列Ｒは、上記式（８）で与えられ
る。次に、第一の画像パターン対の消失点に対応する単
位視線ベクトルをｖ_１とおくと、ｖ_１を横方向すなわち
単位ベクトル［１，０，０］^Ｔ に変換する座標変換
は、回転行列Ｒを用いて以下の式（２０）により示され
る。

【０１３５】

【数１７】 ここで、回転行列Ｒは直交行列なので、同一直線上にな
い変換前後のベクトルが二組与えられれば一意に求めら
れ、式（８）及び式（２０）により以下の式（２１）が
求められる。

【０１３６】

【数１８】 但し、ｕはｎとｖ_１の両方に直交する単位ベクトルであ
り、次式（２２）で表される。

【０１３７】

【数１９】 これは、式（８）から式（１３）による計算において残
された回転行列Ｒの１軸周りの自由度が、一つの画像パ
ターン対における補正後の向きを規定することにより拘
束されることを意味する。そして、以上の計算によって
求められた回転行列Ｒを式（１５）に代入することによ
り、あおり歪みを補正する射影変換行列Ｂが求められ
る。

【０１３８】また、座標変換部４０３は、射影変換部４
０２により算出された射影変換行列Ｂを基に、画像を座
標変換して歪み補正画像を生成する。具体的には、射影
変換後の座標（ｘ’，ｙ’）に対応する変換前の座標
（ｘ，ｙ）を式（３）に基づいて計算し、計算された座
標（ｘ、ｙ）の近傍における画素値を基に座標（ｘ’，
ｙ’）における画素値を補間演算により決定する。な
お、該補間演算は、双一次補間法やＢ−スプライン補間
法などの既存の方法を用いて行えばよい。

【０１３９】以上より、本実施の形態４に係る画像処理
装置及び画像処理方法によれば、上記実施の形態１と同
様な効果を得ることができると共に、さらに、あおり歪
みが補正された画像の画像面内における傾きを任意に変
更することができるため、一層見た目の良い画像を得る
ことができる。

【０１４０】また、例えば、得られた該画像に対して文
字認識処理などを行う場合においては、該認識精度が向
上するため、文書情報の取得から符号化までの後処理コ
ストを大幅に減らすこともできる。 ［実施の形態５］本発明の実施の形態５に係る画像処理
装置は、図５に示された上記実施の形態１に係る画像処
理装置と同様な構成を有するが、画像歪み補正部４０の
機能が相違するものである。以下においては、該相違点
について詳しく説明する。

【０１４１】また、本実施の形態５に係る画像処理装置
は、上記実施の形態４と同様に、あおり歪みを補正した
画像における被写体像の傾きを補正することを特徴とす
る。

【０１４２】以下において、本実施の形態５に係る画像
処理装置の動作を図２３のフローチャートを参照しつつ
説明する。まず、ステップＳ１において、信号処理部３
２は撮像部３１により撮影された被写体面の画像、ある
いは予め撮影された画像を入力する。そして、ステップ
Ｓ２において、平行パターン検出部３９は、被写体面内
における二つの平行パターン対の画像への投影像である
二組の画像パターン対を入力又は検出する。なお、各画
像パターン対は２つの線状パターンにより構成されてい
る。

【０１４３】次に、以下に詳しく説明する画像歪み補正
部４２は、ステップＳ３において、撮影した画像のあお
り歪みを補正するパラメータを算出し、ステップＳ４で
該算出されたパラメータを用いてあおり歪みを補正した
画像を作成する。そして、ステップＳ５において、歪み
補正がなされた画像における被写体像の画面内における
傾きを補正する。

【０１４４】以下において、本実施の形態５に係る画像
歪み補正部４２について詳しく説明する。図２４は、本
実施の形態５に係る画像歪み補正部４２の構成を示すブ
ロック図である。図２１に示されるように、この画像歪
み補正部４２は消失点検出部４０１と、射影変換部４０
２と、座標変換部４０３と、傾き補正部４０５とを備え
る。ここで、消失点検出部４０１は平行パターン検出部
３９に接続され、射影変換部４０２は消失点検出部４０
１に接続される。また、座標変換部４０３は射影変換部
４０２に接続され、傾き補正部４０５は座標変換部４０
３に接続される。

【０１４５】上記のような構成を有する画像歪み補正部
４２においては、消失点検出部４０１は平行パターン検
出部３９で得られた二組の画像パターン対においてそれ
ぞれ消失点を検出する。そして、射影変換部４０２は、
消失点検出部４０１から供給された二つの消失点の座標
に基づき、被写体におけるあおり歪みを補正するための
射影変換行列Ｂを求める。また、座標変換部４０３は、
射影変換部４０２により算出された射影変換行列Ｂを基
に、画像を座標変換して歪み補正画像を作成する。

【０１４６】また、傾き補正部４０５は、図２５に示さ
れるように、表示部３７の表面に設置された透明タッチ
パネル４０５ａと、傾きを補正する角度を入力するポイ
ンティングデバイス４０５ｂにより構成され、歪み補正
画像の画像面内における傾きを補正するための座標変換
を求めるものである。例えば、本実施の形態に係る画像
処理装置の筐体に配設されたスイッチ（図示していな
い）を押して、傾き補正モードを起動すると、図２５に
示されるように、表示部３７の透明タッチパネル４０５
ａ上において「傾き補正」という文字がオーバレイ表示
される。すると、ユーザはポインティングデバイス４０
５ｂにより表示部３７上で円弧を描き、被写体像の傾き
を補正する回転の方向及び回転の大きさをゼスチャ入力
する。

【０１４７】そして、このようにして入力された回転角
をθとすると、次式（２３）により歪み補正画像におけ
る点（ｘ’，ｙ’）から点（ｘ’’，ｙ’’）への合同
変換を算出する。

【０１４８】

【数２０】 但し、点（ｘ_０’，ｙ_０’）は回転の中心となる座標で
あり、通常は画像中心が回転中心座標として選択され
る。

【０１４９】そして、傾き補正部４０５の算出結果は座
標変換部４０３に出力され、式（２３）の合同変換式を
基に、歪み補正画像における被写体像の傾きを補正した
画像を作成する。具体的には、射影変換後の座標
（ｘ’’，ｙ’’）に対応する変換前の座標（ｘ’，
ｙ’）を式（２３）に基づいて計算し、計算された座標
（ｘ’、ｙ’）の近傍における画素値を基に座標
（ｘ’’，ｙ’’）における画素値を補間演算により決
定する。なお、該補間演算は、双一次補間法やＢ−スプ
ライン補間法などの既存の方法を用いて行えばよい。

【０１５０】以上より、本実施の形態５に係る画像処理
装置及び画像処理方法によっても、上記実施の形態４と
同様な効果を得ることができる。 ［実施の形態６］本発明の実施の形態６に係る画像処理
装置は、図５に示された上記実施の形態１に係る画像処
理装置と同様な構成を有するが、画像歪み補正部４０の
機能が相違するものである。以下においては、該相違点
について詳しく説明する。

【０１５１】ここで、本実施の形態６に係る画像処理装
置は、さらにあおり歪みを補正した画像の大きさを該補
正前の画像の大きさと概ね等しくすることを特徴とする
ものである。

【０１５２】以下において、本実施の形態６に係る画像
処理装置の動作を図２６のフローチャートを参照しつつ
説明する。まず、ステップＳ１において、信号処理部３
２は撮像部３１により撮影された被写体面の画像、ある
いは予め撮影された画像を入力する。そして、ステップ
Ｓ２において、平行パターン検出部３９は、被写体面内
における二つの平行パターン対の画像への投影像である
二組の画像パターン対を入力又は検出する。なお、各画
像パターン対は２つの線状パターンにより構成されてい
る。

【０１５３】次に、以下に詳しく説明する画像歪み補正
部４３は、ステップＳ３において、撮影した画像のあお
り歪みを補正するパラメータを算出し、ステップＳ４
で、あおり歪みを補正した画像の大きさを該補正前の大
きさとほぼ同じにするための拡大係数ｋを計算する。そ
してさらに、ステップＳ５において、画像歪み補正部４
３は、該算出されたパラメータ及び拡大係数ｋを用いて
あおり歪みを補正した画像を作成する。

【０１５４】以下において、本実施の形態６に係る画像
歪み補正部４３について詳しく説明する。図２７は、本
実施の形態６に係る画像歪み補正部４３の構成を示すブ
ロック図である。図２７に示されるように、この画像歪
み補正部４３は消失点検出部４０１と、射影変換部４０
２と、座標変換部４０３と、画像正規化部４０６とを備
える。ここで、消失点検出部４０１は平行パターン検出
部３９に接続され、射影変換部４０２は消失点検出部４
０１に接続される。また、座標変換部４０３は射影変換
部４０２に接続され、画像正規化部４０６は消失点検出
部４０１と座標変換部４０３との間に射影変換部４０２
と並列に接続される。

【０１５５】上記のような構成を有する画像歪み補正部
４３においては、消失点検出部４０１は平行パターン検
出部３９で得られた二組の画像パターン対においてそれ
ぞれ消失点を検出する。そして、射影変換部４０２は、
消失点検出部４０１から供給された二つの消失点の座標
に基づき、被写体におけるあおり歪みを補正するための
射影変換行列Ｂを求める。また、座標変換部４０３は、
射影変換部４０２により算出された射影変換行列Ｂを基
に、画像を座標変換して歪み補正画像を作成する。

【０１５６】また、画像正規化部４０５は、式（１４）
において、あおり歪みを補正した画像を補正前とほぼ同
じ大きさとするための拡大係数ｋの値を求める。ここで
拡大係数ｋは、図２８に示されるように、撮像部３１の
光学中心ｏと被写体面に平行な被投影面１０１との距離
を表し、作成される歪み補正画像の大きさを規定する。

【０１５７】そこで、図２８に示されるように、焦点距
離ｆ、及び撮像部３１の光軸（ｚ軸）と被投影面１０１
の法線ベクトルとのなす角φを用いて、拡大係数ｋを次
式（２４）により算出される値とする。

【０１５８】

【数２１】 これにより、あおり歪みを補正した画像１０４の大きさ
は、図２８に示された斜線部で示されるように、補正前
の画像１０３の大きさと概ね等しくなる。ここで、撮像
部３１の光軸（ｚ軸）の単位ベクトルと、式（８）によ
り示された被投影面１０１の法線ベクトルｎを用いて、
以下の式（２５）で示される関係が成立する。

【０１５９】

【数２２】 これにより、上記式（２４）は次式（２６）のように変
形される。

【０１６０】

【数２３】 従って、上記式（２６）により算出された拡大係数ｋを
用いて式（１４）により示される座標変換を行うことに
より、あおり歪み補正前後の画像の大きさをほぼ同じに
することができる。

【０１６１】なお、上記拡大係数ｋの算出方法は、式
（２６）を用いる方法に限定されるものでない。すなわ
ち例えば、あおり歪み補正前の画像における図２９
（ａ）に示された点Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４に対し、一
旦ｋを１と置いて式（１４）に示された座標変換を施す
ことにより、図２９（ｂ）に示されたあおり歪み補正後
の点Ｐ_１’，Ｐ_２’，Ｐ_３’，Ｐ_４’をそれぞれ計算す
る。次に、該点Ｐ_１’，Ｐ_２’，Ｐ_３’，Ｐ_４’に囲ま
れた外接矩形の面積Ｓ’を求める。ここで、あおり歪み
補正前の画像における点Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４により
囲まれた矩形の面積をＳとすると、上記拡大係数ｋは次
式（２７）によっても算出することができる。

【０１６２】

【数２４】 以上より、本実施の形態６に係る画像処理装置及び画像
処理方法によれば、上記実施の形態１と同様な効果を得
ることができると共に、さらに、あおり歪みを補正した
画像を所望の大きさにすることができる。 ［実施の形態７］本発明の実施の形態７に係る画像処理
装置は、図５に示された上記実施の形態１に係る画像処
理装置と同様な構成を有するが、画像歪み補正部４０の
機能が相違するものである。以下においては、該相違点
について詳しく説明する。

【０１６３】ここで、本実施の形態７に係る画像処理装
置についても、上記実施の形態６と同様に、あおり歪み
を補正した画像の大きさを該補正前の画像の大きさと概
ね等しくすることができることを特徴とするものであ
る。

【０１６４】そして、本実施の形態７に係る画像処理装
置は、上記実施の形態６に係る画像処理装置と同様に動
作するが、図２６に示されたステップＳ４においては、
ユーザが画像歪み補正部に対して、あおり歪みを補正し
た画像の大きさを設定する。これにより、ステップＳ５
において、本実施の形態７に係るあおり歪み補正部４４
は、ステップＳ３において算出されたあおり歪み補正パ
ラメータと上記のようにユーザによって設定された大き
さとにより、あおり歪みを補正した画像を生成する。

【０１６５】以下において、本実施の形態７に係る画像
歪み補正部４４について詳しく説明する。図３０は、本
実施の形態７に係る画像歪み補正部４４の構成を示すブ
ロック図である。図３０に示されるように、この画像歪
み補正部４４は消失点検出部４０１と、射影変換部４０
２と、座標変換部４０３と、画像サイズ設定部４０７と
を備える。ここで、消失点検出部４０１は平行パターン
検出部３９に接続され、射影変換部４０２は消失点検出
部４０１に接続される。また、座標変換部４０３は射影
変換部４０２に接続され、画像サイズ設定部４０７は消
失点検出部４０１と座標変換部４０３との間に射影変換
部４０２と並列に接続される。

【０１６６】上記において、画像サイズ設定部４０７
は、図３１に示されるように、表示部３７の表面に設置
された透明タッチパネル４０７ａと、あおり歪み補正前
後の画像の拡大倍率を設定するポインティングデバイス
４０７ｂにより構成される。

【０１６７】ここで、例えば本実施の形態６に係る画像
処理装置の筐体に配設されたスイッチを押すことによ
り、画像サイズ設定モードを起動すると、図３１に示さ
れるように表示部３７において「画像サイズ設定」とい
う文字がオーバレイ表示される。すると、ユーザはポイ
ンティングデバイス４０７ｂを用いて表示部３７上に表
された倍率を選択することにより、歪み補正がなされた
画像の倍率が入力される。

【０１６８】このとき、該入力された倍率をｇとする
と、上記実施の形態５に係る画像処理方法と同様に、式
（１４）の拡大係数ｋを次式（２８）により算出する。

【０１６９】

【数２５】 従って、式（２８）により算出された拡大係数ｋの値を
用いて式（１４）の座標変換を行うことにより、所望の
大きさの歪み補正画像を得ることができる。なお、拡大
係数ｋの計算方法は、式（２８）による計算に限定され
るものではなく、式（２７）のｋの値に基づいて以下の
式（２９）により算出することもできる。

【０１７０】

【数２６】 以上より、本発明の実施の形態７に係る画像処理装置及
び画像処理方法によっても、上記実施の形態６と同様な
効果を得ることができる。

【０１７１】なお、上記全ての実施の形態に係る画像処
理方法は、コンピュータプログラムにより記述できる。
従って、該プログラムを例えばＣＤ−ＲＯＭ１７１やフ
ロッピー（登録商標）ディスク等のコンピュータ読み取
り可能な記録媒体に記録して、図３２（ａ）に示される
ようにコンピュータＰＣに装着することにより、該プロ
グラムをコンピュータＰＣに実行させることにより容易
に該画像処理を実現することができる。

【０１７２】また、図３２（ｂ）に示されるように、上
記全ての実施の形態に係る画像処理装置は、デジタルカ
メラ２ａとして一つの筐体に収容してもよく、この場合
には上記プログラムが記録されたフロッピーディスク１
７２等の小型記録媒体を該デジタルカメラ２ａに装着し
て、該プログラムを該デジタルカメラ２ａ自身に実行さ
せることにより、該デジタルカメラ２ａに上記画像処理
の機能を持たせることができる。

【０１７３】

【発明の効果】上述の如く、本発明に係る画像処理によ
れば、様々な撮影条件において撮影されることにより生
じた画像の歪みを簡易に補正することができるため、適
正な画像を容易に得ることができる。

【０１７４】また、少なくとも二つの消失点を用いて変
換行列を求めることとすれば、様々な撮影条件において
撮影されることにより生じた画像の歪みを簡易な画像処
理により確実に補正することができるため、精度の高い
適正な画像を得ることができる。

【０１７５】また、光学系の画像パラメータ及び消失点
を用いることによって変換行列を算出することとすれ
ば、容易に補正後の画像を被写体の表面に描かれた原像
と相似なものとすることができるため、より高精度な補
正を実現することができる。

【０１７６】また、合成画像を画像処理する場合には、
合成画像の作成の際に基準とされた画像を撮影した光学
系の画像パラメータ及び消失点を用いることにより変換
行列を算出することとすれば、あおり歪みが生じ易い合
成画像に対しても、簡易な画像処理により該歪みを補正
することができる。

【０１７７】また、少なくとも二組の線分が被写体上で
なす角度及び消失点を用いて変換行列を算出することと
すれば、被写体を撮影した光学系の焦点距離が未知の場
合においても該歪みを高精度に補正することができるた
め、該焦点距離を得るための装置及び動作が不用とな
り、より簡易に適正な画像を得ることができる。

【０１７８】また、一組の平行な線分における座標変換
後の方向がユーザにより指定された場合には、該方向に
応じて変換行列を算出することとすれば、歪みが補正さ
れた画像の向きを画像面内において容易に変更すること
ができるため、一層見た目の良い画像を得ることがで
き、また、得られた画像に対する後処理コストを低減す
ることもできる。

【図面の簡単な説明】

【図１】合成画像を得る際の従来からの問題を説明する
図である。

【図２】本発明の実施の形態に係る画像処理装置の動作
を説明する図である。

【図３】本発明の実施の形態に係る画像処理装置の基本
構成を示すブロック図である。

【図４】本発明の実施の形態に係るデジタルカメラの構
成を示すブロック図である。

【図５】本発明の実施の形態１に係る画像処理装置の構
成を示すブロック図である。

【図６】図５に示された画像処理装置の動作を示すフロ
ーチャートである。

【図７】図５に示された平行パターン検出部の構成及び
動作を説明する図である。

【図８】図５に示された平行パターン検出部の他の動作
を説明する図である。

【図９】図５に示された画像歪み補正部の構成を示すブ
ロック図である。

【図１０】図５に示された撮像部の光学系を説明する図
である。

【図１１】図９に示された消失点検出部の動作を説明す
る図である。

【図１２】図５に示された画像歪み補正部によるパラメ
ータ算出動作を説明する第一の図である。

【図１３】図５に示された画像歪み補正部によるパラメ
ータ算出動作を説明する第二の図である。

【図１４】図５に示された画像歪み補正部によるパラメ
ータ算出動作を説明する第三の図である。

【図１５】本発明の実施の形態２に係る画像処理装置の
構成を示すブロック図である。

【図１６】本発明の実施の形態２に係る画像処理装置の
動作を説明する図である。

【図１７】図１５に示された画像処理装置の動作を示す
フローチャートである。

【図１８】本発明の実施の形態３に係る画像処理装置の
動作を示すフローチャートである。

【図１９】本発明の実施の形態４に係る画像処理装置の
動作を説明する図である。

【図２０】本発明の実施の形態４に係る画像処理装置の
動作を示すフローチャートである。

【図２１】本発明の実施の形態４に係る画像歪み補正部
の構成を示すブロック図である。

【図２２】図２１に示された向き指定部の構成及び動作
を説明する図である。

【図２３】本発明の実施の形態５に係る画像処理装置の
動作を示すフローチャートである。

【図２４】本発明の実施の形態５に係る画像歪み補正部
の構成を示すブロック図である。

【図２５】図２４に示された傾き補正部の構成及び動作
を説明する図である。

【図２６】本発明の実施の形態６に係る画像処理装置の
動作を説明するフローチャートである。

【図２７】本発明の実施の形態６に係る画像歪み補正部
の構成を示すブロック図である。

【図２８】図２７に示された画像歪み補正部の動作を説
明する第一の図である。

【図２９】図２７に示された画像歪み補正部の動作を説
明する第二の図である。

【図３０】本発明の実施の形態７に係る画像歪み補正部
の構成を示すブロック図である。

【図３１】図３０に示された画像サイズ設定部の構成及
び動作を説明する図である。

【図３２】本発明に係る他の実施の形態を説明する図で
ある。

【符号の説明】

１，１０ 被写体面 ２，２００ 画像処理装置 ２ａ デジタルカメラ ３，１００ 画像面 ４，４ａ〜４ｎ，６，４１，６０，１０３，１０４ 画
像 ５ 被写体像 ７ 分割画像 １１ 中央演算処理装置（ＣＰＵ） １２ 同期型ダイナミックランダムアクセスメモリ（Ｓ
ＤＲＡＭ） １３ ハードディスクドライブ（ＨＤＤ） １４ 入力インタフェース（入力Ｉ／Ｆ） １５ 電源 １６ 表示インタフェース（表示Ｉ／Ｆ） １７ 記録装置 １８ 外部インタフェース（外部Ｉ／Ｆ） １９ ディスプレイ ２０ 読み出し専用メモリ（ＲＯＭ） ２１ レンズ ２２ 絞り機構 ２３ シャッタ ２４ 光電変換素子 ２５ 駆動部 ２６ 前処理回路 ２７ モータ駆動部 ２８ 液晶ディスプレイ（ＬＣＤ） ３１ 撮像部 ３２ 信号処理部 ３３ メモリ制御部 ３４ 主制御部 ３５ フレームメモリ ３６ インタフェース（Ｉ／Ｆ） ３７ 表示部 ３８ 外部記憶部 ３９ 平行パターン検出部 ４０，４１，４２，４３，４４ 画像歪み補正部 １０１ 被投影面 １０２ 歪み補正画像 １７１ ＣＤ−ＲＯＭ １７２ フロッピーディスク ３９０ ポインタ ３９１，４０４ａ，４０５ａ，４０７ａ 透明タッチパ
ネル ３９２，４０４ｂ，４０５ｂ，４０７ｂ ポインティン
グデバイス ３９３ａ〜３９３ｄ 直線 ４０１ 消失点検出部 ４０２ 射影変換部 ４０３ 座標変換部 ４０４ 向き指定部 ４０５ 傾き補正部 ４０６ 画像正規化部 ４０７ 画像サイズ設定部 ＢＵＳ バス ＰＯ 対象点 ＣＩ 画像中心 ＥＶ 視線ベクトル ｖ１，ｖ２ 消失点 Ｄ１〜Ｄｎ 視点 Ｐ１，Ｐ２ 位置 ＰＣ コンピュータ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 青木 伸 東京都大田区中馬込１丁目３番６号 株式 会社リコー内 Ｆターム(参考） 5B057 BA02 CA12 CA16 CB12 CB16 CD12 5C022 AA13 AC31 AC42 AC54 AC69 AC74 5C023 AA02 AA03 AA10 AA11 AA37 BA02 BA11 CA02 CA03 DA02 DA04 DA08 5C076 AA19 AA23 BA07

Claims (16)

【特許請求の範囲】
1. 【請求項１】 被写体を撮影することにより得られる画
   像の歪みを補正する画像処理装置であって、 前記画像から抽出された対向する少なくとも二組の線分
   をそれぞれ外挿することによって得られる少なくとも二
   つの交点を用いて算出された変換行列により、前記画像
   を構成する各点を座標変換する画像補正手段を備えたこ
   とを特徴とする画像処理装置。
2. 【請求項２】 被写体を撮影することにより得られる画
   像の歪みを補正する画像処理装置であって、 前記画像から抽出された少なくとも二組の線分をそれぞ
   れ外挿することによって得られた少なくとも二つの消失
   点を用いて算出された変換行列により、前記画像を構成
   する各点を座標変換する画像補正手段を備えたことを特
   徴とする画像処理装置。
3. 【請求項３】 前記画像補正手段は、前記被写体を撮影
   した光学系の画像パラメータ及び前記消失点を用いるこ
   とによって、前記変換行列を算出する請求項２に記載の
   画像処理装置。
4. 【請求項４】 前記画像補正手段は、前記被写体を部分
   的に撮影することにより得られた複数の画像がつなぎ合
   わされることにより生成された合成画像を入力する場合
   には、前記合成画像の作成の際に基準とされた画像を撮
   影した光学系の画像パラメータ及び前記消失点を用いる
   ことにより、前記変換行列を算出する請求項２に記載の
   画像処理装置。
5. 【請求項５】 前記画像パラメータは、前記光学系にお
   ける焦点距離を含む請求項３又は請求項４に記載の画像
   処理装置。
6. 【請求項６】 前記画像補正手段は、前記少なくとも二
   組の線分が前記被写体上でなす角度及び前記消失点を用
   いて前記変換行列を算出する請求項２に記載の画像処理
   装置。
7. 【請求項７】 前記画像補正手段は、一組の前記線分に
   おける前記座標変換後の方向がユーザにより指定された
   場合には、前記方向に応じて前記変換行列を算出する請
   求項２に記載の画像処理装置。
8. 【請求項８】 被写体を撮影することにより得られる画
   像の歪みを補正する画像処理方法であって、 前記画像から抽出された対向する少なくとも二組の線分
   をそれぞれ外挿することによって得られる少なくとも二
   つの交点を算出するステップと、 前記少なくとも二つの交点を用いて変換行列を求めるス
   テップと、 前記画像を構成する各点を前記変換行列により座標変換
   するステップとを有することを特徴とする画像処理方
   法。
9. 【請求項９】 被写体を撮影することにより得られる画
   像の歪みを補正する画像処理方法であって、 前記画像から抽出された少なくとも二組の線分をそれぞ
   れ外挿することによって少なくとも二つの消失点を算出
   する第一のステップと、 前記少なくとも二つの消失点を用いて変換行列を求める
   第二のステップと、 前記変換行列により、前記画像を構成する各点を座標変
   換する第三のステップとを有することを特徴とする画像
   処理方法。
10. 【請求項１０】 前記第二のステップでは、前記被写体
    を撮影した光学系の画像パラメータ及び前記消失点を用
    いることによって、前記変換行列を算出する請求項９に
    記載の画像処理方法。
11. 【請求項１１】 前記被写体を部分的に撮影することに
    より得られた複数の画像がつなぎ合わされることにより
    生成された合成画像を画像処理する場合には、前記第二
    のステップにおいて、前記合成画像の作成の際に基準と
    された画像を撮影した光学系の画像パラメータ及び前記
    消失点を用いることにより、前記変換行列を算出する請
    求項９に記載の画像処理方法。
12. 【請求項１２】 前記画像パラメータは、前記光学系に
    おける焦点距離を含む請求項１０又は請求項１１に記載
    の画像処理方法。
13. 【請求項１３】 前記第二のステップでは、前記少なく
    とも二組の線分が前記被写体上でなす角度及び前記消失
    点を用いて前記変換行列を算出する請求項９に記載の画
    像処理方法。
14. 【請求項１４】 一組の前記線分における前記座標変換
    後の方向がユーザにより指定された場合には、前記第二
    のステップにおいて、前記方向に応じて前記変換行列を
    算出する請求項９に記載の画像処理方法。
15. 【請求項１５】 被写体を撮影することにより得られる
    画像の歪みをコンピュータによる画像処理により補正す
    るためのプログラムを記録したコンピュータ読み取り可
    能な記録媒体であって、前記プログラムは、 前記コンピュータに対して、前記画像から抽出された対
    向する少なくとも二組の線分をそれぞれ外挿することに
    よって得られる少なくとも二つの交点を算出させ、 前記少なくとも二つの交点を用いて変換行列を求めさ
    せ、 前記画像を構成する各点を前記変換行列により座標変換
    させることを特徴とするコンピュータ読み取り可能な記
    録媒体。
16. 【請求項１６】 被写体を撮影することにより得られる
    画像の歪みをコンピュータによる画像処理により補正す
    るためのプログラムを記録したコンピュータ読み取り可
    能な記録媒体であって、前記プログラムは、 前記コンピュータに対して、前記画像から抽出された少
    なくとも二組の線分をそれぞれ外挿することによって少
    なくとも二つの消失点を算出させ、 前記少なくとも二つの消失点を用いて変換行列を求めさ
    せ、 前記変換行列により、前記画像を構成する各点を座標変
    換させることを特徴とするコンピュータ読み取り可能な
    記録媒体。