JP2001177716A

JP2001177716A - 画像処理方法と画像処理装置

Info

Publication number: JP2001177716A
Application number: JP35982199A
Authority: JP
Inventors: Norihiko Murata; 憲彦村田; Takashi Kitaguchi; 貴史北口; Shin Aoki; 青木　　伸
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1999-12-17
Filing date: 1999-12-17
Publication date: 2001-06-29

Abstract

(57)【要約】【課題】簡易に適正な画像を得ることができる画像処
理方法と画像処理装置を提供する。【解決手段】被写体を斜めから撮影したために生じる
画像の歪みを補正する画像処理装置２であって、被写体
の形状を特定する第一の代表点を決定する形状入力部２
０と、画像内における被写体像の領域を特定する第二の
代表点を決定する被写体検出部２１と、第一の代表点と
第二の代表点との間の写像を特定し該写像に応じて上記
歪みを補正する画像歪み補正部２２とを備えたことを特
徴とする画像処理装置２を提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理方法と画像
処理装置に関し、さらに詳しくは、撮影状態によらず適
正な画像を得るための画像処理方法と画像処理装置に関
するものである。

【０００２】

【従来の技術】コンピュータネットワークの急速な進歩
と共にビジネスのあり方も多様化し、あらゆる局面で重
要な情報を素早く取得する必要が生じている。それに伴
い、至る所で携帯型の入力装置を駆使してビジネスに必
要な商品や文書情報を簡便かつ高精細に入力することへ
の要求が高まっている。特に、デジタルスチルカメラの
急速な普及及びその高解像化に伴い、撮影した画像に加
工処理を施すことにより、仕事や娯楽に有効な電子情報
として活用しようという応用例も見られるようになっ
た。

【０００３】代表的な第一の応用例としては、Ａ４紙面
や大型のポスター等の被写体面を撮影するとき、撮像面
と被写体面が平行でない状態で撮影した場合には、画像
の歪み（これを「あおり歪み」ともいう。）が生じる
が、これを補正することによって取得した文書画像情報
の判読性を向上させる技術がある。そして、このような
技術に関しては特開平３−９４３８３号公報において、
既知の想定された固定形状内に入力画像を配置して該固
定形状の歪み方を調べることにより、本来の被写体面上
での形状に合致させるための変換パラメータを発見し、
あおり歪みを補正するという技術が開示されている。

【０００４】しかしながら、この技術では撮影対象を形
状が既に知られた固定図形内に配置させる必要があり、
また該固定図形に対するデータを予め得ておく必要もあ
る。また、特開平５−１０１２２１号公報においては、
被写体面に直交格子を導入して各格子点の空間座標を求
め、撮像面に設けられた座標系に直交変換を施して射影
することにより、画像歪みを補正するという技術が開示
されている。しかしながら、このような技術において
は、上記各格子点の２次元座標を手動で入力する必要が
あるため、簡便な操作により被写体面を撮影するのは困
難である。

【０００５】また、特開平６−１９７２６１号公報にお
いては、被写体像の輪郭を検出して得られた輪郭情報か
らあおり歪みに対する補正量を算出した上で補正処理を
行い、該補正処理後の画像に対して最大補間量分を間引
くような画像処理を行うことにより、画質を均一にする
という技術が開示されている。しかしながら、上記のよ
うな処理においては被写体の縦横比を考慮することな
く、例えば台形の被写体像を横方向に引き伸ばして長方
形に変換するので、得られる被写体像は本来の被写体と
相似でない図形に変形されるという問題がある。

【０００６】また、特開平９−２８９６００号公報にお
いては、カメラの撮像面と被写体面とのなす傾斜角を入
力する角度設定手段と、被写体までの距離を測定する測
距手段とを備え、角度設定手段へ傾斜角を入力した状態
で被写体を撮影することにより、上記傾斜角と測距手段
で検出された被写体距離に基づいて被写体を正面から見
た画像に補正するという技術が開示されている。しかし
ながら、このような技術において上記傾斜角を正確に手
動で入力するのは非常に困難であり、その結果高い精度
で画像のあおり歪みを補正することは困難となる。

【０００７】また、特開平１１−９８４８５号公報にお
いては、回転軸に固定されたカメラの方向に関する情報
に基づいて、撮影対象の幾何形状が正しく再現されるよ
うに画像のあおり歪みを補正するという技術が開示され
ている。しかし、この技術においてはカメラを回転軸に
固定する必要があるため装置規模が増大し、利用者によ
る撮影の自由度が低下するという問題がある。

【０００８】また、第二の応用例としては、携帯可能な
画像入力装置で新聞紙等の大面積の紙面情報やパネルや
壁に描かれた絵柄等を分割撮影して、得られた複数枚の
画像を貼り合わせることにより１枚の合成画像を作成す
るものがある。すなわち、ＣＣＤ（Charge Coupled Dev
ice ）に代表される撮像素子の画素数増加に伴い、デジ
タルカメラの解像度は近年向上しているが、上記のよう
に細かいパターンを有する被写体、すなわち高い周波数
成分を含む被写体を撮影して電子化するにはまだまだ解
像度が不足する。従って、画像を貼り合わせることによ
り擬似的に高精細画像を作成して、デジタルカメラの解
像度不足を補うというアプローチがなされている。

【０００９】このような応用例は、被写体が平面状とみ
なせる場合にアフィン変換や射影変換のような幾何補正
式を用いて、被写体の一部分を分割撮影した画像を貼り
合わせる技術であり、各分割画像の被写体像を基準とな
る画像における被写体の見え方に変換して貼り合わせる
というものである。なお、このような技術の概要は文献
『コンピュータビジョン−技術評論と将来展望−』（松
山隆司ほか、新技術コミュニケーションズ）に記載され
ている。

【００１０】しかしながら、このような応用例におい
て、基準となる画像において被写体像にあおり歪みが生
じていた場合には、貼り合わせた合成画像においてもあ
おり歪みが含まれてしまうという問題がある。この問題
について図１を参照しつつ説明する。なお、図中ｆは撮
影装置に含まれた光学系の焦点距離を示す。図１に示さ
れるように、例えば被写体面１を位置Ｐ１と位置Ｐ２か
ら撮影し、得られた二つの画像を合成する場合を考え
る。ここで、位置Ｐ２から撮影して得られた分割画像７
は、位置Ｐ１からの撮影において基準となる画像面３を
引き伸ばした面に写像すると被写体像５となる。従って
図１に示されるように、分割画像７は被写体像５とし
て、画像面３上において位置Ｐ１から撮影された画像に
合成される。そして、このようにして得られた合成画像
は、基準となる画像面が拡大される広画角の光学系を用
いて被写体面１を撮影した画像と等価なものとなる。従
って、合成画像においては被写体までの距離による影響
が通常の撮影により得られる画像よりも大きいため、よ
り大きなあおり歪みが生じやすいという問題がある。

【００１１】

【発明が解決しようとする課題】本発明は上述の問題を
解消するためになされたもので、簡易に適正な画像を得
ることができる画像処理方法と画像処理装置を提供する
ことを目的とする。

【００１２】

【課題を解決するための手段】上記の目的は、被写体を
斜めから撮影したために生じる画像の歪みを補正する画
像処理方法であって、被写体の形状を特定する第一の代
表点と画像内における被写体の像の領域を特定する第二
の代表点との間の写像を特定する第一のステップと、第
一のステップで得られた写像に応じて上記歪みを補正す
る第二のステップとを有することを特徴とする画像処理
方法を提供することにより達成される。このような手段
によれば、被写体の形状を特定する第一の代表点と被写
体の像の領域を特定する第二の代表点を特定するだけ
で、適正な被写体像を得ることができる。

【００１３】ここで、上記画像は、被写体の一部を撮影
することにより得られた複数の部分画像を合成した画像
であってもよい。そして、このような手段によれば、あ
おり歪みが目立ちやすい合成画像に対して、簡便な操作
によりあおり歪みを補正することができる。また、被写
体の代表的形状が予め記憶され、第一のステップにおい
ては、選択された代表的形状に応じて第一の代表点が決
定することができる。このような手段によれば、第一の
代表点を容易に決定することができる。

【００１４】また、被写体の像は矩形であり、第二の代
表点は、被写体の像の四隅における頂点とすることがで
きる。このような手段によれば、被写体像の領域が正確
に特定される。ここで、上記写像は射影変換とすること
ができる。そして、このような手段によればあおり歪み
を補正した画像を低コストで得ることができる。また、
上記歪みが補正された画像を所望の大きさにする第三の
ステップをさらに備えることにより、該補正がなされた
画像を保存するために必要な記憶容量と解像度を所望の
値にすることができる。ここで、上記第三のステップに
おいては、歪みが補正された画像の大きさを上記被写体
の像の大きさと等しくすることができる。このような手
段によれば、上記解像度を損なうことなく上記記憶容量
を低減することができる。

【００１５】また、本発明の目的は、被写体を斜めから
撮影したために生じる画像の歪みを補正する画像処理装
置であって、被写体の形状を特定する第一の代表点を決
定する形状決定手段と、画像内における被写体の像の領
域を特定する第二の代表点を決定する被写体像決定手段
と、第一の代表点と第二の代表点との間の写像を特定
し、上記写像に応じて歪みを補正する補正手段とを備え
たことを特徴とする画像処理装置を提供することにより
達成される。ここで、上記画像は、被写体の一部を撮影
することにより得られた複数の部分画像を合成した画像
であるとすることができる。

【００１６】また、形状決定手段は、被写体の代表的形
状を予め記憶すると共に、選択された代表的形状に応じ
て第一の代表点を決定するものとすることができる。ま
た、上記被写体の像は矩形であり、被写体像決定手段
は、第二の代表点として被写体の像の四隅における頂点
の座標を決定するものとすることができる。また、補正
手段は、第一の代表点と第二の代表点との間の射影変換
を特定し、さらには歪みが補正された画像を所望の大き
さにするものとすることができる。ここで、補正手段
は、歪みが補正された画像の大きさをさらに被写体の像
の大きさと等しくするものであってもよい。

【００１７】

【発明の実施の形態】以下において、本発明の実施の形
態を図面を参照して詳しく説明する。なお、図中同一符
号は同一または相当部分を示す。［実施の形態１］図２は、本発明の実施の形態１に係る
画像処理装置２の動作を説明する図である。図２（ａ）
に示されるように、「ＡＢＣ」という文字が書かれた被
写体面１が画像処理装置２により破線で示された方向か
ら撮影される。このとき、画像処理装置２の撮像面は被
写体面１に対して傾いているため、撮影によってあおり
歪みを有する画像４が得られる。ここで、上記画像４に
対し以下に詳述するような処理を施して、被写体像のあ
おり歪みを補正した画像（以下「歪み補正画像」ともい
う。）６が得られる。なお、説明を簡単にするために、
撮影する平面状の被写体の形状は矩形であると仮定す
る。

【００１８】図３は、本発明の実施の形態１に係る画像
処理装置２の構成を示す図である。図３に示されるよう
に、画像処理装置２は撮像部１１と、信号処理部１２
と、メモリ制御部１３と、主制御部１４と、フレームメ
モリ１５と、インタフェース１６と、表示部１７と、外
部記憶部１８と、撮影モード設定部１９と、形状入力部
２０と、被写体検出部２１と、画像歪み補正部２２とを
備える。そして、撮像部１１はレンズ１１１と、絞り１
１２と、シャッター１１３と、光電変換素子１１４と、
前処理部１１５とを含む。

【００１９】ここで、信号処理部１２は、前処理部１１
５とメモリ制御部１３、主制御部１４及びインタフェー
ス１６に接続される。また、メモリ制御部１３はさらに
フレームメモリ１５と形状入力部２０に接続される。主
制御部１４はさらに、メモリ制御部１３と撮影モード設
定部１９及び形状入力部２０に接続される。またフレー
ムメモリ１５は、メモリ制御部１３と被写体検出部２１
及び画像歪み補正部２２に接続される。また、インタフ
ェース１６はさらに表示部１７及び外部記憶部１８に接
続される。そして、形状入力部２０はさらに画像歪み補
正部２２に接続される。また、被写体検出部２１はさら
に画像歪み補正部２２に接続される。

【００２０】一方、撮像部１１においては、レンズ１１
１と絞り１１２、シャッター１１３、光電変換素子１１
４が光軸上でこの順に配置され、光電変換素子１１４は
前処理部１１５に接続される。上記において、撮影モー
ド設定部１９により撮影モードが切り替えられ、形状入
力部２０へ撮影した被写体の形状が入力される。また、
被写体検出部２１は撮影した画像において被写体の領域
を検出し、画像歪み補正部２２は撮影した画像における
あおり歪みを補正する。なお、上記形状の入力や被写体
の領域検出、あおり歪みの補正については、後において
詳しく説明する。

【００２１】また、撮像部１１の光電変換素子１１４に
は例えばＣＣＤが使用される。また、前処理部１１５に
はプリアンプや自動利得制御回路（Auto Gain Control
−AGC ）等からなるアナログ信号処理部やアナログ−デ
ジタル変換器（Ａ／Ｄ変換器）が備えられ、光電変換素
子１１４より出力されたアナログ映像信号に対して、増
幅やクランプ等の前処理が施された後、上記アナログ映
像信号がデジタル映像信号に変換される。

【００２２】また、信号処理部１２はデジタル信号処理
プロセッサ（DSP プロセッサ）等により構成され、撮像
部１１において得られたデジタル映像信号に対して色分
解、ホワイトバランス調整、γ補正など種々の画像処理
を施す。また、メモリ制御部１３はこのようにして処理
された画像信号をフレームメモリ１５へ格納したり、逆
にフレームメモリ１５に格納された画像信号を読み出
す。また、主制御部１４はマイコンなどにより構成され
る。また、フレームメモリ１５は少なくとも２枚の画像
を格納し、一般的にはVRAM、SRAM、DRAM等の半導体メモ
リが使用される。

【００２３】ここで、フレームメモリ１５から読み出さ
れた画像信号は、信号処理部１２において画像圧縮等の
信号処理が施された後、インタフェース１６を介して外
部記憶部１８に保存される。この外部記憶部１８はイン
タフェース１６を介して供給される画像信号などの種々
の信号を読み書きし、ＩＣメモリカードや光磁気ディス
ク等により構成される。ここで外部記憶部１８として、
モデムカードやＩＳＤＮカードが使用されれば、ネット
ワークを経由して画像信号を直接遠隔地の記録媒体に送
信することもできる。

【００２４】また、逆に外部記憶部１８に記録された画
像信号の読み出しは、インタフェース１６を介して信号
処理部１２へ画像信号が送信され、信号処理部１２にお
いて画像伸長が施されることによって行われる。一方、
外部記憶部１８及びフレームメモリ１５から読み出され
た画像信号の表示は、信号処理部１２において画像信号
に対してデジタル−アナログ変換（Ｄ／Ａ変換）や増幅
などの信号処理を施した後、インタフェース１６を介し
て表示部１７に送信することにより行われる。ここで表
示部１７は、インタフェース１６を介して供給された画
像信号に応じて画像を表示し、例えば画像処理装置２の
筐体に設置された液晶表示装置より構成される。

【００２５】次に、上記のような構成を有する画像処理
装置の動作を図４のフローチャートを参照しつつ説明す
る。まず最初に撮影モードの選択を行う。ここで、上記
撮影モードは通常のスナップ写真を撮影する通常モード
と、撮影した画像のあおり歪みを補正した画像を生成す
るあおり補正モードよりなる。そして、この撮影モード
の選択はユーザが撮影モード設定部１９にモードを設定
することによりなされる。なお、撮影モード設定部１９
は画像処理装置２の本体に設けられたプッシュボタンや
各種スイッチ等のハードウェアにより構成される。但
し、本体とは別個に設けられたハードウェア又はソフト
ウェア等で構成しても良い。

【００２６】そして図４に示されるように、ステップＳ
１においてあおり補正モードを選択するか否か判断さ
れ、あおり補正モードが選択されず通常モードが選択さ
れると、ステップＳ１０へ進みユーザにより所望の被写
体のスナップ写真が撮影される。一方、ステップＳ１に
おいてあおり補正モードが選択されると、ステップＳ２
へ進む。そして、ユーザは撮像部１１により被写体面を
撮影し、画像処理装置２には被写体像が取り込まれる。
次に、撮影が終了するとあおり歪みを補正した画像を生
成する動作に入る。そこで、まずステップＳ３におい
て、撮影した被写体面の形状（例えばＡ４判など）が入
力される。ここで被写体面の形状入力は、形状入力部２
０に対して行われる。以下において、形状入力部２０の
構成と動作を詳しく説明する。

【００２７】図５は、図３に示された形状入力部２０の
レイアウトを示す図である。図５に示されるように、形
状入力部２０には表示部１７の表示を上下左右へスクロ
ールするためのスクロールキー２０１と、決定キー２０
２が設けられる。そして、被写体面の撮影が終了する
と、表示部１７において「被写体形状入力」という文字
と共に、例えば「Ａ判タテ」や「新聞見開き」等の被写
体の代表的形状がオーバーレイ表示され、これらが選択
可能とされる。

【００２８】なお、ビジネスや日常生活において頻繁に
使用するＡ判紙面やＢ判紙面及び新聞紙は、仕上がり寸
法が規格化されており、被写体面の縦横比が既知であ
る。そこで、上記のように、縦横比が既知でかつ使用頻
度が高い被写体面の代表的形状に関しては縦横比を予め
メニュー形式で登録しておき、上下方向のスクロールキ
ーを用いることにより選択可能とすれば、形状の入力を
容易に行うことができるため、使い勝手がよく好適とな
る。

【００２９】また被写体面の形状が、予めメニューに登
録されていない非定型の矩形である場合には、上下方向
のスクロールキーで図５に示される「その他」を選択
し、縦方向の長さ及び横方向の長さをそれぞれ数値入力
すればよい。そして、この数値入力の際には、縦方向の
長さ入力と横方向の長さ入力の移動は左右方向のスクロ
ールキーで、また数値の増減は上下方向のスクロールキ
ーを押すことにより行えばよい。

【００３０】以上のように被写体形状を表すメニューを
選択し、あるいは被写体の縦横比を入力した後、決定キ
ー２０２を押すと表示部１７に表示されている被写体形
状が設定される。このようにして被写体面の形状入力が
終了すると、図４に示されたステップＳ４へ進み、撮影
した画像における被写体の領域を検出する。この検出は
被写体検出部２１により行われる。以下において、被写
体検出部２１の構成および動作について詳しく説明す
る。

【００３１】被写体検出部２１は、撮影した画像におい
て被写体が占める領域を検出する処理を行い、例えば文
献『画像の処理と認識』（安居院猛・長尾智晴共著、昭
晃堂）に記載されているように、（ａ）領域成長法や領
域分割法のように画像上でクラスタリングを行う方法、
（ｂ）ヒストグラムによる領域分割など、特徴空間上で
クラスタリングを行う方法、（ｃ）輪郭線追跡などの画
像中のエッジを用いる方法、（ｄ）テクスチャ解析、な
どの領域分割方法を適用することができる。

【００３２】但し、被写体面が矩形である場合には、画
像上での被写体の四隅の頂点座標が決まれば、被写体の
領域を一意に決定することが可能である。この場合、被
写体検出部２１は図６に示されるように、入力部２１０
と、入力部２１０に接続されたコーナー検出部２１３と
を含む。そして、入力部２１０には上下左右へ画面をス
クロールするためのスクロールキー２１１と、決定キー
２１２とが含まれる。なお、スクロールキー２１１及び
決定キー２１２は、形状入力部２０におけるスクロール
キー２０１や決定キー２０２を兼用しても良い。

【００３３】被写体面の形状入力が終了すると、表示部
１７において「被写体の四隅を指定」という文字がオー
バーレイ表示され、表示された画像中の被写体面の四隅
を入力することがユーザに求められる。そこで、ユーザ
はスクロールキー２１１を操作して表示部１７に表示さ
れたポインタ２３を動かし、ポインタ２３が被写体領域
２４の端部付近に来た時に決定キー２１２を押すことに
より、被写体の第一の頂点座標（ｘ１' ，ｙ１' ）が確
定される。

【００３４】すると、図６に示されるように確定された
頂点付近に「１」という文字がオーバレイ表示され、第
一の頂点座標が入力されたことが示される。続いて、第
二の頂点座標の入力が指示され、その頂点座標が確定さ
れると確定された頂点付近に「２」という文字がオーバ
レイ表示され、第二の頂点座標が入力されたことが示さ
れる。このような作業を頂点毎に４回行うことにより、
被写体の四隅の大まかな座標が手動入力される。

【００３５】次に、コーナー検出部２１３は入力部２１
０において手動入力された上記４つの頂点座標に基づ
き、被写体の四隅の正確な座標を算出する。以下におい
て、コーナー検出部２１３のより具体的な動作を、図７
を参照しつつ説明する。なお、図７は被写体領域２４の
頂点付近の画像を拡大して示したものである。図７に示
されるように、コーナー検出部２１３は、スクロールキ
ー２１１及び決定キー２１２を用いて手動入力された頂
点座標（ｘ１' ，ｙ１' ）を中心とした（２Ｎ＋１）×
（２Ｐ＋１）個の探索点を設定し、この探索範囲内で真
の頂点座標（ｘ１，ｙ１）を自動検出する。

【００３６】一般的には、撮影した画像において被写体
の四隅と背景との間にはコーナーと呼ばれる特徴のある
濃度パターンが観察される。よって、該濃度パターンの
座標を検出することにより被写体像の正確な頂点座標
（ｘ１，ｙ１）が得られる。より具体的には、例えばヘ
ッセ行列（Hessian ）を用いて検出することができる。
ここで、ヘッセ行列とは次のような行列である。

【００３７】

【数１】

【００３８】ここで、Ｉ_xxとＩ_yyはそれぞれ画素値Ｉの
ｘ方向とｙ方向の２次微分であり、Ｉ_xyは画素値Ｉをｘ
方向とｙ方向にそれぞれ１回ずつ偏微分したときの微分
係数である。いま画像に対して、ｘ，ｙを水平方向、画
素値Ｉを高さ方向とする曲面とみなすと、ヘッセ行列の
行列式｜Ｈ｜は曲面の各点における曲率を表すので、｜
Ｈ｜の極大点を見つけることにより曲率が最大の点、す
なわちコーナーを検出することができる。このようにし
て、被写体の頂点座標を検出することができ、画像にお
ける被写体の領域を検出することができる。なお、以上
のデータ処理は汎用のマイコンで行うことができる。

【００３９】また、被写体検出部２１の構成及び動作は
上記の説明に限られるものではなく、例えば頂点座標を
手動入力するインタフェースを、スクロールキー２１１
及び決定キー２１２の代わりにタブレットで構成し、ペ
ンなどのポインティングデバイスを用いて表示部１７上
を指示することにより頂点座標を入力するようにしても
よい。

【００４０】また、コーナー検出部２１３における頂点
座標の検出方法も上記のような方法に限られず、例えば
行列式｜Ｈ｜よりガウス曲率ｒを次式

【００４１】

【数２】

【００４２】により求め、ｒの極大点を頂点座標とする
などの方法も採用できる。なお、上記の式（２）におい
てＩ_xは画素値Ｉのｘ方向の１次微分、Ｉ_yは画素値Ｉ
のｙ方向の１次微分をそれぞれ示す。またさらに被写体
検出部２１は、頂点座標を手動入力するための入力部
（インタフェース）２１０と頂点座標を自動検出するコ
ーナー検出部２１３の双方を含まず、いずれか一方だけ
を含むように構成してもよい。

【００４３】以上のような画像中における被写体の領域
検出が終了すると、図４に示されたステップＳ５におい
て、撮影した画像のあおり歪みを補正するパラメータを
算出し、ステップＳ６において上記パラメータを用いて
あおり歪みを補正した画像を生成する。そして、このス
テップＳ５及びステップＳ６における動作は、図３に示
される画像歪み補正部２２により行われる。以下におい
て、この画像歪み補正部２２の構成及び動作について詳
しく説明する。

【００４４】画像歪み補正部２２は、上記形状入力部２
０に入力された被写体の形状と、上記被写体検出部２１
により検出された画像における被写体の領域とに基づ
き、撮影した画像のあおり歪みを補正する。そして、例
えば被写体の縦横比が既知である場合に、撮影した被写
体像のあおり歪みを補正するには、画像上で局所的な拡
大・縮小処理を施すなどの方法もあるが、ここでは射影
変換を利用して画像のあおり歪みを補正する例を説明す
る。

【００４５】図８は、画像歪み補正部２２の構成を示す
図である。図８に示されるように、画像歪み補正部２２
はフレームメモリ１５と形状入力部２０及び被写体検出
部２１に接続された射影変換部２２１と、射影変換部２
２１に接続された座標変換部２２２とを含む。ここで、
射影変換部２２１は形状入力部２１により入力された被
写体の形状と、被写体検出部２１により検出された画像
における被写体の領域との間で成立する射影変換行列を
算出するものである。そして、この射影変換行列の算出
手順を以下に詳述する。

【００４６】ここで射影変換とは、次式に基づいて点
（ｘ，ｙ）を点（Ｘ，Ｙ）へ写像する変換をいう。

【００４７】

【数３】

【００４８】そして、上記の式（３）における８つの未
知数ｂ₁〜ｂ₈は次の行列

【００４９】

【数４】

【００５０】と行列Ｂとしてまとめられ、これが射影変
換行列と呼ばれる。ここで、式（３）においては一つの
座標に対して二つの方程式が成立するので、８つの未知
数を持つ射影変換行列Ｂを求めるには、変換前の座標と
変換後の座標における対応が４点以上において得られれ
ばよい。さらに一例として、図９（ｂ）に示された第一
の代表点としての点Ｑ₁から点Ｑ₄によって囲まれる被
写体領域２５を、図９（ａ）に示された第二の代表点と
しての点Ｐ₁から点Ｐ₄によって囲まれる被写体領域２
４のあおり歪みを補正することによって得る場合につい
て説明する。ここで、上記点Ｐ_iと点Ｑ_i（ｉ＝１〜
４）は、上記被写体検出部２１へ被写体の頂点座標を手
動入力する際に例えば左上から左下、さらに右下から右
上等と入力する順番が予め決められ、あるいは点Ｐ₁〜
点Ｐ₄の座標値より点Ｑ₁〜点Ｑ₄との対応関係が自動
的に判定されるなどの方法により対応づけられる。そし
て、点Ｑ₁から点Ｑ₄の座標値は例えば以下の手順で設
定することができる。

【００５１】まず最初に、図９（ｂ）に示されるよう
に、変換後の被写体領域２５における左上の頂点
（Ｑ₁）を画像原点（０，０）に一致させる。そして次
に、あおり歪み補正後の被写体領域２５の大きさを予め
Ｓ画素と定める。このとき、形状入力部２０へ被写体の
縦横比としてａ：ｂが入力されているとすれば、点Ｑ₂
は（０，（ａＳ／ｂ）^1/2）、点Ｑ₃は（（ｂＳ／ａ）
^1/2，（ａＳ／ｂ）^1/2）、点Ｑ₄は（（ｂＳ／ａ）
^1/2，０）とそれぞれ算出される。従って、点Ｐ₁〜点
Ｐ ₄の座標と点Ｑ₁〜点Ｑ₄の座標との対応関係が得ら
れるため、上記の式（３）により射影変換行列Ｂを一意
に求めることができる。

【００５２】そして、図８に示された座標変換部２２２
は、上記のように射影変換部２２１により算出された射
影変換行列Ｂを基に、撮影した画像を座標変換して歪み
補正画像６を作成する。より具体的には、座標変換後の
座標（Ｘ，Ｙ）に対応する変換前の座標（ｘ，ｙ）を式
（３）に基づいて計算し、計算された座標（ｘ，ｙ）の
近傍における画素値を基に、補間演算により座標（Ｘ，
Ｙ）における画素値を決定する。なお、上記補間演算
は、双一次補間法やＢ−スプライン補間法などの既存の
方法を用いて行えばよい。

【００５３】以上のように、本発明の実施の形態１に係
る画像処理装置２によれば、被写体の形状に関する情報
を外部から得ると共に、被写体像の領域を検出すること
によって、被写体面に相似の被写体像が映された歪み補
正画像を得ることができる。また、あおり歪みの補正に
射影変換を用いることにより、少ない処理コストで信頼
性の高いあおり歪みの補正を実現することができる。［実施の形態２］本発明の実施の形態２に係る画像処理
装置は、上記実施の形態１における撮影された画像の代
わりに、合成画像に対してあおり歪みを補正するもので
ある。ここで上記合成画像は、図１０（ａ）に示される
ように、被写体面１０の一部を画像処理装置２００によ
って複数の視点Ｄ１〜Ｄｎから分割的に撮影し、該撮影
により得られた複数の画像４ａ，４ｂ，４ｎを貼り合わ
せることによって生成されるものである。

【００５４】より具体的には、図１０（ｂ）に示される
ように、ある一つの画像例えば画像４ｎを基準として、
分割された各画像４ａ，４ｂをこの画像４ｎに対して貼
り合わせることにより合成画像４０が生成される。そし
て、本実施の形態２に係る画像処理装置２００において
は、該合成画像４０のあおり歪みが補正され、図１０
（ｃ）に示された歪み補正画像６０が得られる。

【００５５】図１１は、本発明の実施の形態２に係る画
像処理装置の構成を示す図である。図１１に示されるよ
うに、本実施の形態に係る画像処理装置２００は、図３
に示された実施の形態１に係る画像処理装置２と同様な
構成を有するが、撮像部１１及び撮影モード設定部１９
を備えず、インタフェース１６０へ上記合成画像が供給
され、フレームメモリ１５へ格納される点で相違するも
のである。

【００５６】以下において、本実施の形態２に係る画像
処理装置２００の動作を、図１２に示されたフローチャ
ートを参照しつつ説明する。まず最初にステップＳ１に
おいて、インタフェース１６０へ上記合成画像を入力
し、フレームメモリ１５へ格納する。次に、ステップＳ
２において撮影対象とされた被写体面の形状（例えばＡ
４判など）が上記実施の形態１の場合と同様に入力され
る。ここで被写体面の形状入力は、形状入力部２０に対
して行われる。

【００５７】そして、ステップＳ３において入力した合
成画像における被写体の領域を検出する。なお、この検
出は被写体検出部２１によって上記実施の形態１の場合
と同様に行われる。次にステップＳ４においては、ステ
ップＳ２で入力された被写体面の形状と上記ステップＳ
３で検出された被写体領域とを利用して、合成画像にお
けるあおり歪みを補正するためのパラメータを上記実施
の形態１の場合と同様な方法で算出し、ステップＳ５に
おいて上記パラメータを用いてあおり歪みを補正した合
成画像を生成する。そして、このステップＳ４及びステ
ップＳ５における動作は、図１１に示された画像歪み補
正部２２により行われる。

【００５８】一般に、被写体を上記のように分割的に撮
影することにより得られた画像を貼り合わせた合成画像
においては、高い解像度を持つ被写体像が得られる反
面、あおり歪みが目立ちやすいという問題がある。しか
しながら、本実施の形態２に係る画像処理装置２００に
よれば、上記実施の形態１の場合と同様に被写体の形状
が入力され、合成画像における被写体領域を検出するこ
とにより、被写体面と相似な被写体像を含み、あおり歪
みが補正された高精細な合成画像を簡便に得ることがで
きる。［実施の形態３］本発明の実施の形態３に係る画像処理
装置は、上記実施の形態に係る画像処理装置と同様にあ
おり歪みを補正すると共に、該補正後の画像が所望の大
きさとなるように該補正前の画像を拡大又は縮小するも
のである。

【００５９】そして、本実施の形態３に係る画像処理装
置は、上記実施の形態に係る画像処理装置と同様な構成
を有するが、画像歪み補正部の構成が相違する。なお、
該構成の相違については後述する。以下において、本実
施の形態３に係る画像処理装置の動作を図１３のフロー
チャートを参照しつつ説明する。ステップＳ１において
あおり補正モードを選択するか否か判断され、あおり補
正モードが選択されず通常モードが選択されると、ステ
ップＳ１０へ進みユーザにより所望の被写体のスナップ
写真が撮影される。

【００６０】一方、ステップＳ１においてあおり補正モ
ードが選択されると、ステップＳ２へ進む。そして、ユ
ーザにより被写体面が撮影され、または合成画像が供給
されることによって画像処理装置に被写体像が入力され
る。次に、ステップＳ３において、被写体面の形状（例
えばＡ４判など）が入力される。ここで被写体面の形状
入力は、形状入力部２０に対して行われる。

【００６１】そして、被写体面の形状入力が終了する
と、ステップＳ４へ進み、入力された画像における被写
体の領域を上記の実施の形態における場合と同様に検出
する。この検出は被写体検出部２１により行われる。次
にステップＳ５において、あおり歪み補正後の画像につ
いて所望のサイズが入力され、該サイズとするための変
倍係数ｓを算出する。

【００６２】そして、ステップＳ６においては、入力さ
れた画像のあおり歪みを補正するパラメータを算出し、
ステップＳ７において上記パラメータを用いてあおり歪
みを補正した画像を生成する。そして、上記ステップＳ
５からステップＳ７における動作は、以下に説明する画
像歪み補正部２２Ａにより行われる。以下において、本
実施の形態３に係る画像歪み補正部の構成と動作をより
詳しく説明する。図１４は、本発明の実施の形態３に係
る画像歪み補正部の構成を示す図である。図１４に示さ
れるように、画像歪み補正部２２Ａはフレームメモリ及
び形状入力部に接続された射影変換部２２１と、入力端
が形状入力部及び被写体検出部に接続され、出力端が射
影変換部２２１に接続された画像サイズ設定部２２３
と、射影変換部２２１に接続された座標変換部２２２と
を含む。

【００６３】ここで、画像サイズ設定部２２３はあおり
歪みを補正した画像をユーザの所望の大きさとするため
の最適な変倍係数ｓを決定する。以下にこの画像サイズ
設定部２２３の動作を、図１５を参照しつつ説明する。
図１５に示されるように、表示部１７において、最終的
に必要とされる画像の歪み補正画像に対する倍率ｋの一
覧が表示される。ここで、ユーザは所望の倍率ｋをカー
ソルキーやボタン（図示せず）で選択する。なおここ
で、上記倍率ｋはあおり歪み補正後における被写体像領
域の該補正前の被写体像領域に対する比で定義される。

【００６４】例えば、図１５に示されるように、ユーザ
が表示部１７を見て倍率５０％を選択した場合には、被
写体検出部２１が検出した補正前の被写体領域の面積を
０．５倍した大きさの歪み補正画像を作成するよう設定
され、倍率ｋが０．５とされる。次に、あおり歪み補正
前の被写体領域の面積Ｓを計算する手順を、図１６を参
照しつつ説明する。図１６に示されるように、被写体検
出部２１により検出された被写体領域において、頂点の
座標を反時計回りにＰ₁からＰ₄と表し、それらの位置
ベクトルをＶ₁〜Ｖ₄で表すと、被写体領域の面積Ｓは
次式により計算される。

【００６５】

【数５】

【００６６】上記において、｜Ｖ_i×Ｖ_j｜はベクトル
の外積を示し、その値はＶ_i，Ｖ_jの始点を一致させて
作った平行四辺形の符号付き面積を表す。そして次に、
設定された倍率ｋと被写体領域の面積Ｓ及び被写体の形
状を用いて、変倍係数ｓを計算する。例えば、上記形状
入力部２０において入力された被写体の形状が縦横比
ａ：ｂの矩形であるとすると、変倍係数ｓは次式により
計算される。

【００６７】

【数６】

【００６８】また、射影変換部２２１の動作は上記実施
の形態１の場合と同様である。すなわち射影変換部２２
１は、図１７に示されるように、撮影された画像４にお
いて点Ｐ₁から点Ｐ₄に囲まれた被写体領域を、歪み補
正された点Ｑ₁から点Ｑ₄で囲まれる被写体領域に変換
するための射影変換行列Ｂを算出する。ここで、点Ｑ ₁
から点Ｑ₄の座標は上記の式（６）により算出された変
倍係数ｓを用いて、それぞれ点Ｑ₁の座標が（０，
０）、点Ｑ₂の座標が（０，ｓａ）、点Ｑ₃の座標が
（ｓｂ，ｓａ）、点Ｑ₄の座標が（ｓｂ，０）とされ
る。

【００６９】なお、座標変換部２２２の動作も上記実施
の形態１に係る座標変換部の動作と同様であり、上記射
影変換部２２１により求められた射影変換行列Ｂを基
に、入力された画像を座標変換して歪み補正画像を作成
する。以上のように、本実施の形態３に係る画像処理装
置によれば、画像サイズ設定部２２３をさらに備えるこ
とにより、所望の大きさの歪み補正画像を生成すること
ができる。

【００７０】なお、上記においてユーザは、倍率ｋとし
て１を選択することにより、あおり歪みを補正した被写
体像の大きさを該補正前の被写体像の大きさと概ね等し
くすることができるため、必要とされる記憶容量が低減
され、かつ入力された被写体像に対して解像度が劣らな
い歪み補正画像を得ることができる。また、このような
機能を実現するためには、図１８に示されるように、図
１４に示された画像サイズ設定部２２３の代わりに上記
倍率ｋを常に１とする画像正規化部２２４を備えるよう
にしても良い。

【００７１】

【発明の効果】上述の如く、被写体の形状を特定する第
一の代表点と画像内における被写体の像の領域を特定す
る第二の代表点との間の写像を特定し、該写像に応じて
歪みを補正すれば、第一の代表点と第二の代表点を特定
するだけで適正な被写体像を得ることができるため、適
正な画像を得るための画像処理を簡易化することができ
る。

【００７２】ここで、上記画像は、被写体の一部を撮影
することにより得られた複数の部分画像を合成した画像
であれば、あおり歪みが目立ちやすい合成画像に対し、
簡便な操作によってあおり歪みを補正することができ
る。また、予め記憶された代表的形状に応じて第一の代
表点を決定することとすれば、第一の代表点を容易に決
定することができるため、画像処理の高速化を図ること
ができる。

【００７３】また、被写体の像は矩形であり、第二の代
表点を被写体像の四隅における頂点とすれば、被写体像
の領域が正確に特定されるため、動作の信頼性を高める
ことができる。ここで、上記写像を射影変換とすること
により、あおり歪みを補正した画像を低コストで得るこ
とができる。また、上記歪みが補正された画像を所望の
大きさにする第三のステップをさらに備えることによ
り、該補正がなされた画像を保存するために必要な記憶
容量と解像度を所望の値にすることができ、歪みが補正
された画像の大きさを上記被写体の像の大きさと等しく
すれば、上記解像度を損なうことなく上記記憶容量を低
減することができる。

【図面の簡単な説明】

【図１】合成画像を得る際の従来からの問題を説明する
図である。

【図２】本発明の実施の形態１に係る画像処理装置の動
作を説明する図である。

【図３】本発明の実施の形態１に係る画像処理装置の構
成を示す図である。

【図４】本発明の実施の形態１に係る画像処理装置の動
作を示すフローチャートである。

【図５】図３に示された形状入力部のレイアウトを示す
図である。

【図６】図３に示された被写体検出部のレイアウトを示
す図である。

【図７】コーナー検出部の動作を説明する図である。

【図８】図３に示された画像歪み補正部の構成を示す図
である。

【図９】図８に示された画像歪み補正部の動作を説明す
る図である。

【図１０】本発明の実施の形態２に係る画像処理装置の
動作を説明する図である。

【図１１】本発明の実施の形態２に係る画像処理装置の
構成を示す図である。

【図１２】本発明の実施の形態２に係る画像処理装置の
動作を示すフローチャートである。

【図１３】本発明の実施の形態３に係る画像処理装置の
動作を示すフローチャートである。

【図１４】本発明の実施の形態３に係る画像歪み補正部
の構成を示す図である。

【図１５】図１４に示された画像サイズ設定部の動作を
説明する第一の図である。

【図１６】図１４に示された画像サイズ設定部の動作を
説明する第二の図である。

【図１７】図１４に示された画像歪み補正部の動作を説
明する図である。

【図１８】本発明の実施の形態３に係る画像歪み補正部
の他の構成を示す図である。

【符号の説明】

１，１０被写体面２，２００画像処理装置３画像面４，４ａ，４ｂ，４ｎ画像５被写体像６，６０歪み補正画像７分割画像１１撮像部１２信号処理部１３メモリ制御部１４主制御部１５フレームメモリ１６，１６０インタフェース１７表示部１８外部記憶部１９撮影モード設定部２０形状入力部２１被写体検出部２２，２２Ａ，２２Ｂ画像歪み補正部２３ポインタ２４，２５，２６被写体領域４０合成画像１１１レンズ１１２絞り１１３シャッター１１４光電変換素子１１５前処理部２０１，２１１スクロールキー２０２，２１２決定キー２１０入力部２１３コーナー検出部２２１射影変換部２２２座標変換部２２３画像サイズ設定部２２４画像正規化部Ｄ１，Ｄ２，Ｄｎ視点

───────────────────────────────────────────────────── フロントページの続き (72)発明者青木伸東京都大田区中馬込１丁目３番６号株式会社リコー内Ｆターム(参考） 5B057 AA11 BA02 BA24 BA26 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CD05 CD12 CH18 DA07 DA08 DA16 DB02 DB06 DB09 DC05 DC09 5C023 AA10 AA37 AA38 BA02 DA04 5C076 AA21 AA22 AA23 BA06 CA02 CB01

Claims

【特許請求の範囲】

【請求項１】被写体を斜めから撮影したために生じる
画像の歪みを補正する画像処理方法であって、前記被写体の形状を特定する第一の代表点と前記画像内
における前記被写体の像の領域を特定する第二の代表点
との間の写像を特定する第一のステップと、前記第一のステップで得られた前記写像に応じて前記歪
みを補正する第二のステップとを有することを特徴とす
る画像処理方法。
【請求項２】前記画像は、前記被写体の一部を撮影す
ることにより得られた複数の部分画像を合成した画像で
ある請求項１に記載の画像処理方法。
【請求項３】前記被写体の代表的形状が予め記憶さ
れ、前記第一のステップにおいては、選択された前記代表的
形状に応じて前記第一の代表点が決定される請求項１に
記載の画像処理方法。
【請求項４】前記被写体の像は矩形であり、前記第二の代表点は、前記被写体の像の四隅における頂
点とされる請求項１に記載の画像処理方法。
【請求項５】前記写像は、射影変換である請求項１に
記載の画像処理方法。
【請求項６】前記歪みが補正された画像を所望の大き
さにする第三のステップをさらに備えた請求項１に記載
の画像処理方法。
【請求項７】前記第三のステップにおいては、前記歪
みが補正された画像の大きさを前記被写体の像の大きさ
と等しくする請求項６に記載の画像処理方法。
【請求項８】被写体を斜めから撮影したために生じる
画像の歪みを補正する画像処理装置であって、前記被写体の形状を特定する第一の代表点を決定する形
状決定手段と、前記画像内における前記被写体の像の領域を特定する第
二の代表点を決定する被写体像決定手段と、前記第一の代表点と前記第二の代表点との間の写像を特
定し、前記写像に応じて前記歪みを補正する補正手段と
を備えたことを特徴とする画像処理装置。
【請求項９】前記画像は、前記被写体の一部を撮影す
ることにより得られた複数の部分画像を合成した画像で
ある請求項８に記載の画像処理装置。
【請求項１０】前記形状決定手段は、前記被写体の代
表的形状を予め記憶すると共に、選択された前記代表的
形状に応じて前記第一の代表点を決定する請求項８に記
載の画像処理装置。
【請求項１１】前記被写体の像は矩形であり、前記被写体像決定手段は、前記第二の代表点として前記
被写体の像の四隅における頂点の座標を決定する請求項
８に記載の画像処理装置。
【請求項１２】前記補正手段は、前記第一の代表点と
前記第二の代表点との間の射影変換を特定する請求項８
に記載の画像処理装置。
【請求項１３】前記補正手段は、前記歪みが補正され
た画像をさらに所望の大きさにする請求項８に記載の画
像処理装置。
【請求項１４】前記補正手段は、前記歪みが補正され
た画像の大きさをさらに前記被写体の像の大きさと等し
くする請求項８に記載の画像処理装置。