JP2005267457A - 画像処理装置、撮影装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】レンズ特性による歪曲ひずみの補正を簡易に行えるようにする。
【解決手段】デジタルカメラ１は、撮影によって得られた撮影画像から、原稿２を含む原稿画像を取得する。デジタルカメラ１は、この原稿画像を縮小し、縮小した縮小画像に対してレンズ特性による歪曲ひずみの補正を行う。このように、デジタルカメラ１が縮小画像に対して歪曲補正を行うことにより、歪曲補正の際の演算数が低減され、歪曲補正が簡易になる。また、デジタルカメラ１は、補正された縮小画像からエッジ２値画像、原稿２の輪郭による四角形を取得して原稿画像を切り出し、縮小前の元画像を取得して、アフィン変換によって関連付けされた射影変換画像を取得する。デジタルカメラ１は、射影変換画像の画素位置から、アフィンパラメータにより元画像の画素位置を求め、さらに、縮小画像に対して行った歪曲補正の関係式を用いて、歪曲補正前の画像の画素位置を求める。
【選択図】図１

Description

本発明は、画像処理装置、撮影装置、画像処理方法及びプログラムに関するものである。

デジタルカメラの発達と蓄積型メモリの低価格化に伴い、デジタルカメラを単なる風景や人の撮影だけに用いるのではなく、紙面文書や名刺などの書類、また、会議での筆記された黒板等に表示されたものを撮影し、これらの画像をパーソナルコンピュータ等にデジタル的に保存し、管理をおこなう応用が考えられつつある。

このようなデジタルカメラを用いて用紙を斜めから撮影を行った場合、用紙の四角形が台形に歪んでしまう。このため、この台形歪みを補正するようにした撮影システムがある（例えば、特許文献１参照）。
特開２００１−１３４７５１号公報（第５頁、図１）

また、レンズにマクロレンズ、広角レンズ等を用いた場合、これらのレンズ特性から、用紙の形状は、図１３に示すように樽型に歪んでしまう。品質の良い画像を取得するためには、このような歪曲歪みを補正する必要がある。

このようなレンズ特性による歪曲歪みを補正する歪曲補正の方法としては、種々の方法が考えられる。例えば、通常、この歪みはレンズ設計時に決まる歪曲歪みであるので、予め、歪曲ひずみのない理想画像の画素座標と歪曲ひずみを有する画像の画素座標との関係から、理想画像の画素座標点に対応する歪曲ひずみを有する画像の画素座標の対応点を求め、その画素データを周辺画素の値から補間等を行って求める方法がある。

しかし、この方法では、画像の切り出し及び射影補正においても、画素補間等を行うことになり、補間演算を２度行わなければならない。このため、画像の劣化が大きくなる。また、レンズ特性による歪曲ひずみの場合、各画素毎に補正を行わなければならないので、補正のための演算数が多くなり、処理に時間を要することになる。

本発明は、このような従来の問題点に鑑みてなされたもので、画像の歪曲補正を簡易に行うことが可能な画像処理装置、撮影装置、画像処理方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る画像処理装置は、
画像処理の対象となる処理前画像に対して画像処理を行う画像処理装置において、
前記処理前画像を縮小して、前記処理前画像の縮小画像を取得する縮小画像取得部と、
前記縮小画像取得部が取得した縮小画像の歪曲補正を行う歪曲補正部と、
前記歪曲補正部が歪曲補正を行うことによって得られた補正縮小画像の輪郭を取得し、取得した前記輪郭から前記補正縮小画像の形状を取得する形状取得部と、
前記形状取得部が取得した前記補正縮小画像の形状から、前記歪曲補正後の画像の形状と前記処理前画像から想定される理想画像の形状との対応関係を示す射影パラメータを取得する射影パラメータ取得部と、
前記射影パラメータ取得部が取得した射影パラメータを用いて、前記処理前画像の画像変換を行う画像変換部と、を備えたことを特徴とする。

前記画像変換部は、前記理想画像の各画素位置から、前記射影パラメータ取得部が取得した射影パラメータを用いて、歪曲補正された画像の対応する各画素位置を求め、さらに、求めた歪曲補正された画像の各画素位置に対して、前記歪曲補正部の歪曲補正に対応する補正を行うことにより、歪曲補正前の画像の対応する各画素位置を求めて前記画像変換を行うようにしてもよい。

本発明の第２の観点に係る撮影装置は、
撮影対象を撮影する撮影装置において、
前記撮影対象を撮影することによって得られた撮影画像から前記撮影対象の撮影対象画像を取得し、縮小して前記撮影対象画像の縮小画像を取得する縮小画像取得部と、
前記縮小画像取得部が取得した縮小画像の歪曲補正を行う歪曲補正部と、
前記歪曲補正部が歪曲補正を行うことによって得られた補正縮小画像の輪郭を取得し、取得した前記輪郭から前記補正縮小画像の形状を取得する形状取得部と、
前記形状取得部が取得した前記補正縮小画像の形状から、歪曲補正後の撮影対象画像の形状と前記撮影対象の想定される正面画像の形状との対応関係を示す射影パラメータを取得する射影パラメータ取得部と、
前記射影パラメータ取得部が取得した射影パラメータを用いて、前記撮影対象画像の画像変換を行う画像変換部と、を備えたことを特徴とする。

前記画像変換部は、前記正面画像の各画素位置から、前記射影パラメータ取得部が取得した射影パラメータを用いて、歪曲補正された撮影対象画像の対応する各画素位置を求め、さらに、歪曲補正された撮影対象画像の各画素位置に対して、前記歪曲補正部が行った歪曲補正に対応する補正を行うことにより、歪曲補正前の撮影対象画像の対応する各画素位置を求めて前記画像変換を行うようにしてもよい。

前記画像を表示する表示部を備え、
前記縮小画像取得部は、前記表示部が表示する画像の表示サイズに対応させて、前記撮影対象の画像を縮小するようにしてもよい。

前記撮影画像と前記画像処理部が画像変換した画像とを記憶する記憶部を備えてもよい。

本発明の第３の観点に係る画像処理方法は、
画像処理の対象となる処理前画像を縮小して、前記処理前画像の縮小画像を取得するステップと、
前記取得した縮小画像の歪曲補正を行うステップと、
前記歪曲補正を行うことによって得られた補正縮小画像の輪郭を取得し、取得した前記輪郭から前記補正縮小画像の形状を取得するステップと、
前記取得した補正縮小画像の形状から、前記歪曲補正後の画像の形状と前記処理前画像から想定される理想画像の形状との対応関係を示す射影パラメータを取得するステップと、
前記取得した射影パラメータを用いて、前記処理前画像の画像変換を行うステップと、を備えたことを特徴とする。

本発明の第４の観点に係るプログラムは、
コンピュータに、
画像処理の対象となる処理前画像を縮小して、前記処理前画像の縮小画像を取得する手順、
前記取得した縮小画像の歪曲補正を行う手順、
前記歪曲補正を行うことによって得られた補正縮小画像の輪郭を取得し、取得した前記輪郭から前記補正縮小画像の形状を取得する手順、
前記取得した補正縮小画像の形状から、前記歪曲補正後の画像の形状と前記処理前画像から想定される理想画像の形状との対応関係を示す射影パラメータを取得する手順、
前記取得した射影パラメータを用いて、前記処理前画像の画像変換を行う手順、
を実行させるためのものである。

本発明によれば、画像の歪み補正を簡易に行うことができる。

以下、本発明の実施形態に係る撮影装置を、図面を参照して説明する。
尚、実施形態では、撮影装置をデジタルカメラとして説明する。

本実施形態に係るデジタルカメラ１の構成を図１に示す。
本実施形態に係るデジタルカメラ１は、撮影対象物として、原稿２の用紙に記載された原稿内容を撮影し、撮影によって得られた図２（ａ）に示すような撮影画像から、撮影対象画像である原稿２を含む原稿画像の台形歪みを補正し、あたかも正面から撮影したような図２（ｂ）に示すような理想画像を生成するものである。デジタルカメラ１は、撮影レンズ部１１と、液晶モニタ１２と、シャッタボタン１３と、を備える。

撮影レンズ部１１は、光を集光するレンズ等を備え、原稿２等からの光を集光するものである。

液晶モニタ１２は、撮影レンズ部１１を介して内部に取り込まれた画像を映し出すためのものである。シャッタボタン１３は、原稿２を撮影するときに押下するものである。尚、デジタルカメラ１は、この他にも、電源スイッチ、モードスイッチ、画像調整キー等（図示せず）を備える。

電源スイッチは、電源をオン、オフするためのものである。モードスイッチは、撮影を行うための撮影モード、撮影した画像を再生するための再生モードを設定するためのスイッチである。画像調整キーは、画像処理を行うときに操作するキーである。

このデジタルカメラ１は、図３に示すように、光学レンズ装置２１と、イメージセンサ２２と、メモリ２３と、表示装置２４と、画像処理装置２５と、操作部２６と、コンピュータインタフェース部２７と、外部記憶ＩＯ装置２８と、プログラムコード記憶装置２９と、を備えて構成される。

光学レンズ装置２１は、撮影レンズ部１１とその駆動部とを備えたものであり、イメージセンサ２２上に、原稿２からの光を集光させて像を結像させる。

イメージセンサ２２は、結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ等によって構成される。イメージセンサ２２は、ＣＰＵ３０によって制御され、シャッタボタン１３が押下されなければ、プレビュー用の解像度の低いデジタルの画像データを生成し、この画像データを秒３０枚程度の間隔で、定期的にメモリ２３に送出する。また、イメージセンサ２２は、シャッタボタン１３が押下されると、解像度の高い画像データを生成し、生成した画像データをメモリ２３に送出する。

メモリ２３は、イメージセンサ２２からの低解像度のプレビュー画像、高解像度の画像データ又は画像処理装置２５が画像処理する元画像のデータ、処理後の画像データを一時記憶するものである。メモリ２３は、一時記憶した画像データを表示装置２４又は画像処理装置２５に送り出す。

表示装置２４は、液晶モニタ１２を備え、液晶モニタ１２に画像を表示させるためのものである。表示装置２４は、メモリ２３が一時記憶した低解像度のプレビュー画像又は解像度の高い画像を液晶モニタ１２に表示する。

画像処理装置２５は、メモリ２３に一時記憶された画像データに対して、画像データの圧縮、画像の台形ひずみ、歪曲ひずみの補正、画像変換等の画像処理を行うためのものである。

画像処理装置２５は、図２（ａ）に示すような台形ひずみを有する画像に対して画像処理を施すことにより、この画像を、図２（ｂ）に示すようなあたかも正面から撮影したような画像を生成する。

画像処理装置２５は、原稿画像の台形ひずみを補正するため、歪んだ原稿画像から原稿画像の輪郭を形成する四角形を切り取り、原稿画像の射影変換を行う。画像処理装置２５は、このような画像処理を行うことにより原稿２の想定される正面画像を取得する。

さらに具体的には、画像処理装置２５は、ＣＰＵ３０に制御されて、主に、以下の画像処理等を行う。
（１）撮影画像からの輪郭取得処理
撮影画像からの輪郭取得処理は、撮影によって得られた撮影画像から、原稿２の用紙の輪郭に対応する原稿画像の輪郭を取得する処理である。
光学レンズ装置２１にマクロレンズや広角レンズなどを用いて、原稿２を近接撮影した場合、撮影レンズ部１１の歪曲収差により原稿画像は、樽型に歪んでしまう。画像処理装置２５は、このような歪曲ひずみを有する画像であっても、歪曲補正を行って正確な原稿画像の輪郭を取得する。この撮影画像からの輪郭取得処理の詳細については、後述する。

（２）画像変換処理（切り抜き、射影補正）
この画像変換処理は、画像の切り抜き、射影補正等を含む処理である。切り抜き処理は、撮影画像から撮影対象である原稿画像の輪郭（四角形）を切り抜く処理である。
射影補正処理は、原稿画像の台形ひずみを補正するため、切り抜いた原稿画像をアフィン変換を用いて射影変換する処理である。アフィン変換は、画像の空間変換に幅広く応用されているものである。また、画像変換装置２５は、この射影補正の際、歪曲補正に対応する補正を行って、歪曲ひずみを有する原稿画像の対応点を求める。

（３）画像の鮮明化処理
画像の鮮明化処理は、画像変換処理が行われた画像に対して、輝度引き伸ばし、カラー補正等を行って、視認性の優れた画像を取得する処理である。

画像処理装置２５は、画像の鮮明化処理を行うため、画像変換処理が行われた画像から、画像効果補正用パラメータを抽出する。この画像効果補正用パラメータは、輝度ヒストグラムの最大値、最小値、ピーク値、色差ヒストグラムのピーク値、平均値といった画像効果処理に必要な変数である。画像処理装置２５は、抽出した画像効果補正用パラメータを、画像が鮮明化されるような値に変換することにより画像の鮮明化処理を行う。

（４）画像の圧縮
画像の圧縮処理は、鮮明化処理が行われた画像データを圧縮する処理である。

操作部２６は、電源スイッチのオン、オフ、シャッタボタン１３の押下等、ユーザの操作情報を取得するものである。操作部２６は、取得した操作情報をＣＰＵ３０に送信する。

コンピュータインタフェース部２７は、デジタルカメラ１がコンピュータ（図示せず）に接続されたときに、ＵＳＢのストアレジクラスドライバとして動作するものである。これにより、コンピュータは、デジタルカメラ１に接続されると、メモリカード３１をコンピュータの外部記憶装置として取り扱う。

外部記憶ＩＯ装置２８は、メモリカード３１との間で、画像データ等の入出力を行うものである。メモリカード３１は、外部記憶ＩＯ装置２８から供給された画像データ等を記憶するものである。

プログラムコード記憶装置２９は、ＣＰＵ３０が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。

ＣＰＵ３０は、プログラムコード記憶装置２９に格納されているプログラムに従って、システム全体を制御するものである。尚、メモリ２３は、ＣＰＵ３０の作業メモリとしても用いられる。

操作部２６のスイッチ、キーが押下されることにより、操作部２６から操作情報が送信されると、ＣＰＵ３０は、この操作情報に基づいて、イメージセンサ２２、メモリ２３、表示装置２４，画像処理装置２５等を制御する。

具体的には、ＣＰＵ３０は、操作部２６からの操作情報に基づいて、モードスイッチにより撮影モードに設定されて、シャッタボタン１３が半押しされると、各部を撮影モードに設定する。この状態で、ＣＰＵ３０は、イメージセンサ２２をプレビューモードに設定し、シャッタボタン１３がさらに押下されれば、解像度の高い撮影対象画像を読み込む高解像度モードに設定する。また、ＣＰＵ３０は、モードが再生モードに設定されると、各部を再生モードに設定する。

また、ＣＰＵ３０は、操作部２６から画像調整キーが押下された旨の操作情報が送信されると、画像を調整するように画像処理装置２５等を制御する。

また、ＣＰＵ３０は、外部記憶ＩＯ装置２８を介してメモリカード３１に、プレビュー画像、高解像度の画像のデータを記録したり、メモリカード３１から、記録された画像データを読み出したりする。ＣＰＵ３０は、メモリカード３１には、例えば、ＪＰＥＧフォーマットで圧縮した画像データを記録する。

ＣＰＵ３０は、メモリ２３に画像データを一時記憶する際、プレビュー画像、高解像度の画像データを異なる記憶領域に記録する。また、ＣＰＵ３０は、メモリカード３１には、画像データを画像ファイルに分けて記録し、記録する際、画像データに関するヘッダ情報も画像ファイルのヘッダ情報記憶領域に記録する。

次に実施形態に係るデジタルカメラ１の動作を説明する。
ユーザがデジタルカメラ１の電源をオン（投入）すると、ＣＰＵ３０はプログラムコード記憶装置２９に記憶されているプログラムのデータを取得する。ユーザがモードスイッチによりモードを撮影モードにして、シャッタボタン１３を押下すると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０はこの操作情報を受信し、ＣＰＵ３０、画像処理装置２５等は、図４に示すフローチャートに従って撮影処理を実行する。

ＣＰＵ３０は、イメージセンサ２２をプレビューモードに設定する（ステップＳ１１）。
ＣＰＵ３０は、操作部２６から送信された操作情報に基づいてシャッタボタン１３が押下されたか否かを判定する（ステップＳ１２）。

シャッタボタン１３が押下されたと判定した場合（ステップＳ１２においてＹｅｓ）、ＣＰＵ３０は、プレビューモードから高解像度モードに切り替えてイメージセンサ２２を制御する（ステップＳ１３）。

ＣＰＵ３０は、イメージセンサ２２が生成した高解像度の撮影対象画像のデータを、メモリ２３上のプレビュー画像とは異なる記憶領域に記録する（ステップＳ１４）。

ＣＰＵ３０は画像データの読み込みが終了したか否かを判定する（ステップＳ１５）。
読み込みが終了していないと判定した場合（ステップＳ１５においてＮｏ）、ＣＰＵ３０は、引き続き、画像データの読み込みを行うようにイメージセンサ２２を制御する。

画像データをすべて読み込んで画像送信も終了したと判定した場合（ステップＳ１５においてＹｅｓ）、ＣＰＵ３０は、この撮影画像（高解像度画像）から、低解像度のプレビュー画像を生成し、メモリ２３のプレビュー画像用の記憶領域上に、プレビュー画像のデータを書き込む（ステップＳ１６）。

ＣＰＵ３０は、撮影画像の圧縮データを作成するように画像処理装置２５を制御し、画像処理装置２５は、この圧縮データを作成する（ステップＳ１７）。
ＣＰＵ３０は、この圧縮データを、外部記憶ＩＯ装置２８を介してメモリカード３１に記録し、この圧縮データを保存する（ステップＳ１８）。

次に、画像処理装置２５は、ＣＰＵ３０の制御の下、後述するフローチャートに従って、撮影画像から、撮影対象である原稿画像の輪郭を取得する（ステップＳ１９）。

ＣＰＵ３０、画像処理装置２５は、撮影対象の輪郭を取得できたか否かを判定する（ステップＳ２０）。
取得できたと判定した場合（ステップＳ２０においてＹｅｓ）、画像処理装置２５は、取得した撮影対象の輪郭に基づいて射影変換画像を作成する（ステップＳ２１）。

操作部２６の画像調整キーが押下されると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０は、操作部２６からの操作情報を画像処理装置２５に送信し、画像処理装置２５は、送信された操作情報に従って、画像変換の調整処理を行う（ステップＳ２２）。

画像処理装置２５は、鮮明化処理用の画像効果補正用パラメータを抽出し（ステップＳ２３）、変換画像の鮮明化処理を行う（ステップＳ２４）。

画像処理装置２５は、鮮明化処理が行われた画像データに対して、圧縮処理を行い、変換画像の圧縮データを作成する（ステップＳ２５）。

画像処理装置２５は、作成された変換画像の圧縮データをメモリカード３１に記録する（ステップＳ２６）。

一方、射影パラメータを抽出することができなかったと判定した場合（ステップＳ２０においてＮｏ）、ＣＰＵ３０は、警告処理を行う（ステップＳ２７）。

ＣＰＵ３０等は、このようにして撮影処理を終了させる。尚、ユーザが撮影処理を終了させる旨のキー操作を行わない限り、ＣＰＵ３０等は、この撮影処理を繰り返し実行する。

次に、画像処理装置２５が行う画像処理について説明する。
（１）撮影画像からの輪郭抽出処理（図４のステップＳ１９の処理）
画像処理装置２５は、撮影画像から、撮影対象の輪郭を取得するため、まず、撮影によって得られた撮影画像から縮小画像を生成し、生成した縮小画像からエッジ２値画像を取得する。このように、撮影対象の画像そのものではなく、これを縮小した縮小画像を用いて撮影対象の輪郭を取得するのは、この輪郭の取得の精度はさほど高くなくてもよく、縮小画像を用いた方が処理を軽減することができるためである。

撮影画像は、図５（ａ）に示すように、一般には、撮影レンズ部１１のレンズ特性により歪曲した画像になる。画像処理装置２５は、輪郭抽出の検出精度を向上させるため、この図５（ａ）に示すような歪曲した撮影画像の歪曲補正を行いつつ、撮影画像の縮小を行い、図５（ｂ）に示すような歪曲補正が行われた縮小画像を取得する。

そして、画像処理装置２５は、図５（ｂ）に示すような縮小画像から、図５（ｃ）に示すような撮影対象の輪郭を示すエッジ２値画像を取得する。画像処理装置２５は、このように、縮小画像の取得に際し、入力画像の歪曲補正を併せて行う。この歪曲補正を行いつつ、縮小画像を取得する考え方について説明する。

撮影レンズ部１１を介してイメージセンサ２２に入力された入力画像をＰ（x,y）、その画像サイズをｘmax,ｙmaxとして、入力画像の１／Ｋの縮小画像Ｑ（m,n）を作成するものとする。

入力画像Ｐ（x,y）に対応する歪曲ひずみのない座標系を（x’,y'）として、座標系（x’,y'）と縮小画像Ｑ（m,n）との関係は次の数１によって表される。

本実施形態において、入力画像Ｐ（x,y）と座標系（x’,y'）とは、次の数２によって表されるものとする。

この数１，数２に、ｍ＝０〜ｘmax/K、ｎ＝０〜ｙmax/Kを、順次、代入することによって縮小画像Ｑが取得される。尚、縮小画像におけるこの演算の演算数は、元画像に対して１／（Ｋ＾２）になる。

図５（ｃ）に示すようなエッジ２値画像を取得するには、図５（ｂ）に示すような歪曲補正した縮小画像に対して、例えば、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いればよい。このＲｏｂｅｒｔｓフィルタとは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１、Δ２を取得し、平均化することによって、画像のエッジを検出するフィルタである。このＲｏｂｅｒｔｓフィルタによる変換は、次の数３によって表される。

この数３によって変換された画像は、次の数４に従って２値化される。

尚、閾値V_threshは、予め設定された値であり、画像処理装置２５は、この閾値V_threshを記憶する。

さらに、撮影画像から、撮影対象の輪郭を取得するためには、取得したエッジ２値画像から、撮影対象の輪郭を形成する直線を取得する。画像処理装置２５は、ハフ変換を用いてこの直線を取得する。

ハフ変換とは、図６（ａ）に示すような直線Ｌを示す（Ｘ，Ｙ）座標の画像データを、画像の中心を通る傾きθである投影面に投影し、この投影面のρ軸上に投影ヒストグラムを生成するような変換手法である。言い換えると、ハフ変換とは、図６（ａ）に示すようなＸ−Ｙ平面上の直線を構成する点を、次の数５によって表される図６（ｂ）に示すようなρ-θ平面上に投票し、ρ−θ座標系の投票数に変換する変換手法である。

この直線Ｌが、図７（ａ）に示すように歪曲している場合、ｓ１軸、ｓ２軸、ｓ３軸上に投票すると、その投影ヒストグラムは、図７（ｂ）〜（ｄ）に示すような分布を示す。尚、ｓ１，ｓ３軸は、ｓ２軸の角度θ１を基準にして、（Ｘ，Ｙ）座標系の原点を中心に、それぞれ、角度＋δ、−δだけ傾斜した軸とする。

図７（ｂ）〜（ｄ）に示すように、本来の直線Ｌによって、ｓ２軸上の投票数がピークになるはずが、ｓ２軸上のピーク値は、ｓ１軸、ｓ３軸上のピーク値よりも低くなる。画像処理装置２５は、θ＋δまたはθ−δのピークを検出して間違った原稿画像の輪郭を示す四角形候補を選択してしまう。本実施の形態では前述したように縮小画像を作る際に歪曲補正をおこなったので図７（ａ）のように歪曲することがなく、このように間違った原稿輪郭を抽出することがない。

この原稿画像の四角形候補選択処理の内容について説明する。
原稿画像の四角形候補を選択するには、前述のハフ変換によって検出されたピーク値に基づいて直線を求め、求められた直線を組み合わせて四角形候補を作成する。

前述のハフ変換により、各点の座標（ｘ、ｙ）において角度θを０から３６０°まで変化させた場合、同一直線はρ-θ平面では一点で表される。このため、投票数の多いρ-θ座標を直線と判断することができる。この際、投票数は、直線上のピクセル数になるため、直線の長さとみなすことができる。したがって、投票数の極端に少ないρ-θ座標は、短い直線を表し、直線の候補から除外することができる。

ハフ変換を行う際、調査対象の点、角度θの数を少なくして処理速度を向上させることができる。ハフ変換を用いる手法では、調査対象の点、角度θが多くなるに従って、処理速度が低下する。この処理速度の低下を回避するため、エッジ検出時、調査対象の座標をＸ、Ｙ軸方向の双方に、データを一定間隔で間引くことにより、エッジ画像を縮小する。これにより、調査対象を減らすことができる。

さらに、以下の方法により調査角度を減らすことができる。
調査対象であるエッジ画像において画像中心を原点とした座標系で考えると、ρはマイナスの値も取ることになるため、角度θを０°≦θ＜１８０°の範囲で測定すれば、ρは残りの１８０°≦θ＜０°の範囲で負になる。

しかし、撮影対象の中心が画像の中心近辺に位置する場合、実際に撮影される撮影対象（四角形）の各辺は、上下左右に存在することになる。この場合、ρ-θ平面上の投票数を０°≦θ＜１８０°の範囲で調査するよりは、図８（ａ）及び図８（ｂ）に示すように、以下の数６で表される範囲で測定した方が、より効率的である。

また、ρの値が正の値か負の値かによって、辺の上下、または辺の左右を特定することが可能である。このように、撮影対象の中心が画像の中心近辺に位置する場合、輪郭を構成する辺をより効率的に選択することが可能となる。

このようにハフ変換によって検出された直線のなかから、撮影対象の画像の輪郭の四角形を形成する直線が特定される。

一般的には、撮影画像の中で最外郭の四角形が撮影対象の輪郭として特定されてもよい。従って、上下左右辺をρの絶対値｜ρ｜の最大のもの同士に特定することで、前述の最大の領域を特定することが可能となる。また、｜ρ｜を大きさの順に並べることによって、この順位が直線候補の優先順位に決定される。

四角形の４つの直線が選択されれば、次にその交点を求めることができる。ρ−θ系で表される直線を（ｘ、ｙ）座標系の直線に変換することによって、四角形の４つの直線が直交するｘｙ座標が算出される。

さらに、得られた座標は縮小画像の座標（m,n）であるので、この座標値をＫ倍すれば元画像の座標（x，y）に対応する。このように得られた四角形の４点の頂点座標を（x0,y0），（x1,y1），（x2,y2），（x3,y3）とする。

このような考え方に基づき、画像処理装置２５は、図９に示すフローチャートに従って、撮影対象の輪郭取得処理を実行する。
画像処理装置２５は、撮影画像から、前述の数１，数２に、ｍ＝０〜ｘmax/K、ｎ＝０〜ｙmax/Kを、順次、代入することによって縮小画像Ｑを取得する（ステップＳ３１）。

画像処理装置２５は、数３によって表されるＲｏｂｅｒｔｓフィルタを用いて演算を行い、さらに数４に従って縮小画像の２値化を行ってエッジ２値画像を取得する（ステップＳ３２）。

画像処理装置２５は、数５に従って、取得したエッジ２値画像のハフ変換を行い、エッジ２値画像を形成する直線を検出する（ステップＳ３３）。

画像処理装置２５は、検出した直線を組み合わせて四角形候補を選択する（ステップＳ３４）。画像処理装置２５は、図１０に示すフローチャートに従って、この四角形候補選択処理を実行する。

即ち、画像処理装置２５は、４５°≦θ＜１３５°における投票が多い座標を、上下の辺を形成する直線の候補として複数取得する（ステップＳ４１）。

同様に、画像処理装置２５は、１３５°≦θ＜２２５°における投票が多い座標を、左右の辺を形成する直線の候補として複数取得する（ステップＳ４２）。

画像処理装置２５は、Ｘ軸方向の候補、Ｙ軸方向の候補のうち、ρの値の＋−が異なり、大きいものから順に優先度をセットする（ステップＳ４３）。

画像処理装置２５は、ρが最大となる上下左右辺を最優先候補として選択する（ステップＳ４４）。
画像処理装置２５は、このように選択した四角形候補の頂点座標を記録する（図９のステップＳ３５）。このようにして、四角形候補が選択される。

（２）画像変換処理（図４のステップＳ２１の処理）
まず、射影変換について説明する。
図１１に示すように、ｐ（x,y）、Ｐ（u,v）を、それぞれ、切り出しと射影補正を行う射影変換前の元画像、射影変換後の射影変換画像とすると、元画像ｐ（x,y）と射影変換画像Ｐ（u,v）とは、アフィン変換式によって関連付けされる。尚、図１１において、（x,y）は、元画像ｐ（x,y）の画素位置、（u,v）は、射影変換画像Ｐ（u,v）の画素位置を示す。

画像処理装置２５は、原稿画像の四角形候補選択処理によって取得した原稿画像の四角形候補の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）を、アフィン変換の一般式の行列の要素に対応させてアフィンパラメータを取得する。

求めたい射影変換画像Ｐ（u,v）から元画像ｐ（x,y）へのアフィン変換は次の数７によって与えられる。

数７において、アフィンパラメータは、次の数８によって表される。

但し、α，βは、次の数９によって表される。

この数７〜数９に基づいて、元の画像ｐ（x,y）から射影変換画像Ｐ（u,v）を求めることができる。さらに、画像処理装置２５は、切り出しと射影変換に加えて歪曲補正を行う。この方法について説明する。

歪曲補正を行うには、まず、射影変換画像Ｐ（u,v）の画素位置に対応する元画像ｐ（x,y）の画素位置を求める。ここで、射影変換画像Ｐ（u,v）を求める場合、図１１に示すように、アフィン変換Ａｆを用いて元画像ｐ（x,y）の画素位置（x,y）に対応する射影変換画像Ｐ（u,v）の画素位置（u,v）を求めるのではなく、アフィン変換Ａｆの逆変換Ａを用いて射影変換画像Ｐ（u,v）の画素位置（u,v）に対応する元画像ｐ（x,y）の画素位置（x,y）を求める方が都合がよい。

射影変換画像Ｐ（u,v）の各画素位置（u,v）に対応する元画像ｐ（x,y）の画素位置（x,y）を求めるには、数８によって表されるアフィンパラメータを用いる。但し、この画素位置（x,y）は、歪曲ひずみがない画像、言い換えると歪曲補正が行われた画像の画素位置であるため、計算上、元画像ｐ（x,y）を画像ｐ１（x',y'）に置き換え、歪曲補正前の画像をｐ（x,y）とする。この置き換えに従い、数７は、次の数１０に示すように書き換えられる。

画像ｐ１（x',y'）と歪曲補正前の画像ｐ（x,y）とは、数２の関係式によって関連付けられている。従って、数２の関係式を用いて、縮小画像を生成するときに行われた歪曲補正に対応する補正を行いつつ、画像ｐ１（x',y'）の各座標位置（x',y'）から対応する歪曲補正前の画像ｐ（x,y）の各座標位置（x,y）を求めることができる。

尚、このように求めた射影変換画像Ｐ（u,v）の各画素にたいする元画像の対応点ｐ（x,y）の画素値x,yは、整数になるとは限らない。このため、補間方法としてバイリニア法を用いればよい。バイリニア法による補間方法は、次の数１１によって表されるように、一方の画像（画像Ｐ）の座標点（u,v）と対応する元画像他方の画像（射影変換画像ｐ）の座標点（x,y）の画素値を、周辺４点p（X,Y）,p（X+1,Y）,p（X,Y+1）,p（X+1,Y+1）の画素値から他方の画像の座標点（u,v）の画素値を求める方法である。

このような考え方に基づき、画像処理装置２５は、図１２に示すフローチャートに従って、アフィン変換による射影変換処理を実行する。尚、射影変換画像Ｐ（u,v）の画素位置（u,v）を示す座標ｕ，ｖは、それぞれ、０≦ｕ≦ｕmax，０≦ｖ≦ｖmaxとする。
画像処理装置２５は、射影変換画像Ｐ（u,v）の座標ｕを０に初期化する（ステップＳ５１）。

画像処理装置２５は、射影変換画像Ｐ（u,v）の座標ｖを０に初期化する（ステップＳ５２）。
画像処理装置２５は、数１０に射影変換画像Ｐ（u,v）の画素位置（u,v）を代入し、画像ｐ１（x',y'）の画素位置（x',y'）を求める（ステップＳ５３）。

画像処理装置２５は、求めた画像ｐ１の画素位置（x',y'）に対して、数２に従って補正を行い、歪曲補正前の画像ｐ（x,y）の画素位置（x,y）を求める（ステップＳ５４）。

画像処理装置２５は、射影変換画像Ｐ（u,v）と画像ｐ（x,y）とから、数１１に従って、バイリニア法による補間を行い、射影変換画像Ｐ（u,v）の画素値を求める（ステップＳ５４）。
画像処理装置２５は、画像Ｐ（u,v）の座標ｖを１つだけインクリメントする（ステップＳ５６）。

画像処理装置２５は、画像Ｐ（u,v）の座標ｖと最大値ｖmaxとを比較して、射影変換画像Ｐ（u,v）の座標ｖが最大値ｖmax以上になったか否かを判定する（ステップＳ５７）。

座標ｖが最大値ｖmax未満であると判定した場合（ステップＳ５７においてＮｏ）、画像処理装置２５は、ステップＳ５３〜Ｓ５６を再度実行する。

ステップＳ５３〜Ｓ５６の処理を繰り返すことにより、座標ｖが最大値ｖmaxに達したと判定した場合（ステップＳ５７においてＹｅｓ）、画像処理装置２５は、射影変換画像Ｐ（u,v）の座標ｕを１つだけインクリメントする（ステップＳ５８）。

画像処理装置２５は、座標ｕと最大値ｕmaxとを比較し、座標ｕが最大値ｕmax以上になったか否かを判定する（ステップＳ５９）。
座標ｕが最大値ｕmax未満であると判定した場合（ステップＳ５９においてＮｏ）、画像処理装置２５は、再度、ステップＳ５２〜Ｓ５８の処理を実行する。

ステップ５２〜Ｓ５８の処理を繰り返すことにより、座標ｕが最大値ｕmaxに達したと判定した場合（ステップ５９においてＹｅｓ）、画像処理装置２５は、この画像変換処理を終了させる。

このようにして、射影変換画像Ｐ（u,v）の画素値を求めることができれば、歪曲補正前の画像ｐ（x,y）から射影変換画像Ｐ（u,v）を求めることができる。

以上説明したように、本実施形態によれば、元画像全体に対して歪曲補正を行うのではなく、原稿画像の輪郭を取得するための縮小画像作成時に歪曲補正を行うようにした。従って、歪曲補正演算が少なくなり、演算時間を短縮することができる。

例えば、デジタルカメラ１に入力された画像を１／Ｋに縮小して縮小画像を生成する場合、その歪曲補正の演算数は、１／（Ｋ＾２）となり、極めて少なくなる。

また、アフィン変換による射影変換処理を実行する際に、歪曲補正に対応する補正により、歪曲補正前の画像ｐ（x,y）と射影変換画像Ｐ（u,v）との対応関係を求めるようにしたので、歪曲補正前の画像ｐ（x,y）から、射影変換画像Ｐ（u,v）を正確に求めることができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、画像処理装置２５は、デジタルカメラ１の入力画像を縮小するのではなく、表示画像に併せて画像を縮小するようにしてもよい。例えば、デジタルカメラ１の入力画像が４００万画素の画像サイズであっても、コンピュータ用の表示画像が（１０２４×７６８＝８０万画素）であれば、画像処理装置２５は、コンピュータ用の表示画像の画像サイズに併せ、８０万画素の画像を１／Ｋに縮小することができる。このようにすれば、歪曲補正は、縮小画像に対して行われるため、４００万画素の画像を１／Ｋに縮小する場合に比較して、歪曲補正の演算数を、さらに約１／５に低減することができる。また、Ａ４（２９７×２１０ｍｍ）の用紙を撮影する場合においてでも、通常、輪郭抽出精度は１、２ｍｍの分解能もあれば充分である。よって縮小画像は３２０×２４０画像を用いてもこの精度は十分に達成できる。この場合は１／５２も低減できることになる。

本実施形態では、デジタルカメラ１に画像処理装置２５を備えるようにした。しかし、撮影装置として、デジタルカメラ１の他にコンピュータを備え、コンピュータに上記機能を有する画像処理装置２５を備え、コンピュータとデジタルカメラとが接続されように構成してもよい。このようにすれば、デジタルカメラ１には、汎用のものを用いることができる。

さらに、本実施形態の画像処理装置２５は、必ずしも撮影装置に用いられるとは限らず、本実施形態の画像処理装置２５の機能をコンピュータに備え、デジタルカメラ１がなくても、コンピュータに、歪曲補正、台形補正を行うべき画像を記憶し、コンピュータが記憶したこの画像に対して上記画像処理を行うように構成されることもできる。

また、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これをコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。そして、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の本実施形態に係るデジタルカメラの構成を示す説明図である。 図１に示すデジタルカメラの機能を説明するための図であり、（ａ）は歪んだ撮影画像を示す図であり、（ｂ）はあたかも正面から撮影したような補正後の画像を示す。 図１に示すデジタルカメラの構成を示すブロック図である。 図１に示すデジタルカメラの撮影処理を示すフローチャートである。 図２に示す画像処理装置が実行する撮影対象の輪郭取得処理の説明図であり、（ａ）は、撮影レンズ部の歪曲収差により樽型に歪んだ原稿画像を示し、（ｂ）は、歪曲補正が行われた縮小画像を示し、（ｃ）は、エッジ２値画像を示す。 ハフ変換の説明図である。 歪曲した直線に対するハフ変換の説明図であり、（ａ）は、歪曲した直線に対するハフ変換を示し、（ｂ）〜（ｄ）は、それぞれ、（ａ）に示すｓ１、ｓ２，ｓ３軸への投影ヒストグラムを示す。 ハフ変換において調査角度を低減させる手法の説明図である。 図３に示す画像処理装置が実行する撮影対象の輪郭取得処理の内容を示すフローチャートである。 図３に示す画像処理装置が実行する四角形候補選択処理の内容を示すフローチャートである。 アフィン変換の説明図である。 図３に示す画像処理装置が実行するアフィン変換による射影変換処理の内容を示すフローチャートである。 歪曲した画像を示す説明図である。

符号の説明

１・・・デジタルカメラ、２・・・原稿、１１・・・撮影レンズ部、１２・・・液晶モニタ、１３・・・シャッタボタン、２１・・・光学レンズ装置、２２・・・イメージセンサ、２３・・・メモリ、２４・・・表示装置、２５・・・画像処理装置、３０・・・ＣＰＵ、３１・・・メモリカード

Claims (8)

1. 画像処理の対象となる処理前画像に対して画像処理を行う画像処理装置において、
   前記処理前画像を縮小して、前記処理前画像の縮小画像を取得する縮小画像取得部と、
   前記縮小画像取得部が取得した縮小画像の歪曲補正を行う歪曲補正部と、
   前記歪曲補正部が歪曲補正を行うことによって得られた補正縮小画像の輪郭を取得し、取得した前記輪郭から前記補正縮小画像の形状を取得する形状取得部と、
   前記形状取得部が取得した前記補正縮小画像の形状から、前記歪曲補正後の画像の形状と前記処理前画像から想定される理想画像の形状との対応関係を示す射影パラメータを取得する射影パラメータ取得部と、
   前記射影パラメータ取得部が取得した射影パラメータを用いて、前記処理前画像の画像変換を行う画像変換部と、を備えた、
   ことを特徴とする画像処理装置。
2. 前記画像変換部は、前記理想画像の各画素位置から、前記射影パラメータ取得部が取得した射影パラメータを用いて、歪曲補正された画像の対応する各画素位置を求め、さらに、求めた歪曲補正された画像の各画素位置に対して、前記歪曲補正部の歪曲補正に対応する補正を行うことにより、歪曲補正前の画像の対応する各画素位置を求めて前記画像変換を行う、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 撮影対象を撮影する撮影装置において、
   前記撮影対象を撮影することによって得られた撮影画像から前記撮影対象の撮影対象画像を取得し、縮小して前記撮影対象画像の縮小画像を取得する縮小画像取得部と、
   前記縮小画像取得部が取得した縮小画像の歪曲補正を行う歪曲補正部と、
   前記歪曲補正部が歪曲補正を行うことによって得られた補正縮小画像の輪郭を取得し、取得した前記輪郭から前記補正縮小画像の形状を取得する形状取得部と、
   前記形状取得部が取得した前記補正縮小画像の形状から、歪曲補正後の撮影対象画像の形状と前記撮影対象の想定される正面画像の形状との対応関係を示す射影パラメータを取得する射影パラメータ取得部と、
   前記射影パラメータ取得部が取得した射影パラメータを用いて、前記撮影対象画像の画像変換を行う画像変換部と、を備えた、
   ことを特徴とする撮影装置。
4. 前記画像変換部は、前記正面画像の各画素位置から、前記射影パラメータ取得部が取得した射影パラメータを用いて、歪曲補正された撮影対象画像の対応する各画素位置を求め、さらに、歪曲補正された撮影対象画像の各画素位置に対して、前記歪曲補正部が行った歪曲補正に対応する補正を行うことにより、歪曲補正前の撮影対象画像の対応する各画素位置を求めて前記画像変換を行う、
   ことを特徴とする請求項３に記載の撮影装置。
5. 前記画像を表示する表示部を備え、
   前記縮小画像取得部は、前記表示部が表示する画像の表示サイズに対応させて、前記撮影対象の画像を縮小する、
   ことを特徴とする請求項３又は４に記載の撮影装置。
6. 前記撮影画像と前記画像処理部が画像変換した画像とを記憶する記憶部を備えた、
   ことを特徴とする請求項３乃至５のいずれか１項に記載の撮影装置。
7. 画像処理の対象となる処理前画像を縮小して、前記処理前画像の縮小画像を取得するステップと、
   前記取得した縮小画像の歪曲補正を行うステップと、
   前記歪曲補正を行うことによって得られた補正縮小画像の輪郭を取得し、取得した前記輪郭から前記補正縮小画像の形状を取得するステップと、
   前記取得した補正縮小画像の形状から、前記歪曲補正後の画像の形状と前記処理前画像から想定される理想画像の形状との対応関係を示す射影パラメータを取得するステップと、
   前記取得した射影パラメータを用いて、前記処理前画像の画像変換を行うステップと、を備えた、
   ことを特徴とする画像処理方法。
8. コンピュータに、
   画像処理の対象となる処理前画像を縮小して、前記処理前画像の縮小画像を取得する手順、
   前記取得した縮小画像の歪曲補正を行う手順、
   前記歪曲補正を行うことによって得られた補正縮小画像の輪郭を取得し、取得した前記輪郭から前記補正縮小画像の形状を取得する手順、
   前記取得した補正縮小画像の形状から、前記歪曲補正後の画像の形状と前記処理前画像から想定される理想画像の形状との対応関係を示す射影パラメータを取得する手順、
   前記取得した射影パラメータを用いて、前記処理前画像の画像変換を行う手順、
   を実行させるためのプログラム。
   

Images