JP2007180872A - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】葉書の表裏面を撮影して管理しやすいようにデータ化する。
【解決手段】デジタルカメラ１は、シャッターが押下されて葉書２の表裏を撮影する。デジタルカメラ１は、葉書２の画像の輪郭を検出し、操作者の指示により、斜め撮影補正を行う。そして、デジタルカメラ１は、切手や料金に関する記載が行われる領域を判別することにより、この葉書２が縦書又は横書に使用されているかを判別する。デジタルカメラ１は、この判別結果に基づいて、葉書２の表裏の画像を合成する。
【選択図】図１

Description

本発明は、画像処理装置、撮像装置、画像処理方法及びプログラムに関するものである。

近年、データの管理上デジタルでデータ化した方が検索も管理も容易であるため、様々な文書のデータ化が進んでいる。一般家庭等に存在する葉書等も例外ではない。この葉書のデータ化には、フラットベッドスキャナを用いるのが一般的である（例えば、特許文献１参照）。
特開平１０−２９４８５４号公報（第４頁、図１）

しかし、このフラットベッドスキャナは、近年、撮影用として普及しているデジタルカメラと比較して、まだ、一般用途向きではなく、その普及率は低い。

そこで、このデジタルカメラを使用して葉書をデータ化することも考えられるものの、デジタルカメラを使用した場合、葉書の画像が歪んだり、葉書の表裏面の画像を個別に管理しなければならず、葉書のデータ化にデジタルカメラを用いることには、まだ、多くの問題がある。

本発明は、このような従来の問題点に鑑みてなされたもので、文書の表裏面を撮影して管理しやすいようにデータ化することが可能な画像処理装置、撮像装置、画像処理方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る画像処理装置は、
撮影によって得られた文書の表面画像と裏面画像とに対して、それぞれの形状を前記文書に対応する形状に補正する撮影画像補正部と、
前記撮影画像補正部によって補正された表面画像と裏面画像とを合成する画像合成部と、を備えたことを特徴とする。

前記文書は、表面又は裏面に文字が記載されるとともに、予め表面の設定された領域に予め設定された識別印が記載された定型文書であって、
前記撮影画像補正部は、形状を補正した画像に基づいて、前記定型文書に記載された文字を認識し、文字認識率に基づいて前記定型文書の向きを判別し、判別結果に基づいて前記定型文書の画像の向きを整えて予め前記表面の設定された領域を判別し、判別した領域に前記識別印を検出したときは、前記撮影によって得られた撮影画像が前記定型文書の表面画像と判定し、前記判別した領域に前記識別印が検出されなかったときは、前記撮影画像が前記定型文書の裏面画像と判定し、
前記画像合成部は、前記撮影画像補正部が判定した前記定型文書の前記表面画像と前記裏面画像とを合成するようにしてもよい。

前記撮影画像補正部は、前記文書の表面画像と裏面画像とから、それぞれ、２値エッジ画像を取得し、取得した２値エッジ画像の輪郭を取得し、取得した輪郭から、画像の頂点座標を取得し、取得した頂点座標を用いて、前記画像の形状を前記文書に対応する形状に射影変換することにより、それぞれの画像の形状を前記文書に対応する形状に補正するようにしてもよい。

本発明の第２の観点に係る撮像装置は、
文書の表面と裏面とをそれぞれ撮影する撮影部と、
前記撮影部の撮影によって得られた文書の画像に対して画像処理を行う画像処理部と、を備え、
前記画像処理部は、
前記撮影によって得られた文書の表面画像と裏面画像とに対して、それぞれの形状を前記文書に対応する形状に補正する撮影画像補正部と、
前記撮影画像補正部によって補正された表面画像と裏面画像とを合成する画像合成部と、を備えたことを特徴とする。

本発明の第３の観点に係る画像処理方法は、
撮影によって得られた文書の表面画像と裏面画像とに対して、それぞれの形状を前記文書に対応する形状に補正する撮影画像補正ステップと、
前記補正された表面画像と裏面画像とを合成する画像合成ステップと、を備えたことを特徴とする。

前記文書は、表面又は裏面に文字が記載されるとともに、予め表面の設定された領域に予め設定された識別印が記載された定型文書であって、
前記撮影画像補正ステップは、形状を補正した画像に基づいて、前記定型文書に記載された文字を認識し、文字認識率に基づいて前記定型文書の向きを判別し、判別結果に基づいて前記定型文書の画像の向きを整えて予め前記表面の設定された領域を判別し、判別した領域に前記識別印を検出したときは、前記撮影によって得られた撮影画像が前記定型文書の表面画像と判定し、前記判別した領域に前記識別印が検出されなかったときは、前記撮影画像が前記定型文書の裏面画像と判定するステップであってもよい。

本発明の第３の観点に係るプログラムは、
コンピュータに、
撮影によって得られた文書の表面画像と裏面画像とに対して、それぞれの形状を前記文書に対応する形状に補正する手順、
前記補正された表面画像と裏面画像とを合成する手順、
を実行させるためのものである。

本発明によれば、文書の表面画像と裏面画像とを撮影して管理しやすいようにデータ化することができる。

以下、本発明の実施形態に係る撮像装置を図面を参照して説明する。尚、本実施形態では、撮像装置をデジタルカメラとして説明する。
本実施形態に係るデジタルカメラ１の構成を図１に示す。
本実施形態に係るデジタルカメラ１は、図１に示すように、葉書２の表（おもて）面、裏面を撮影する。この葉書２は定型文書である。即ち、葉書２は、長辺と短辺との矩形の形状を有し、葉書２の表面の予め設定された領域に、識別印としての切手や料金に関する記載がある。
この記載として、局では直径２０〜３０mmの円形又は縦横それぞれ２０〜３０mmの四角形のスタンプが押印される。

この葉書２は、縦書きで使用される場合と横書きで使用される場合とがある。切手や料金に関する記載の領域は、予め設定されており、縦書きで使用される場合、この領域は、葉書２の左上に存在し、横書きで使用される場合、この領域は、葉書２の右上に存在する。

本実施形態に係るデジタルカメラ１は、このような葉書２の撮影画像から、表面、裏面の輪郭を取得し、葉書２の両画像に対してそれぞれ斜め撮影補正を行い、葉書２の表裏の画像を１つの画像に合成して保存するように構成されている。

デジタルカメラ１は、このような処理を行うことにより、スキャナもコンピュータも用いることなく葉書２の内容をデータ化する。かかるデジタルカメラ１は、図２に示すように、画像データ生成部１０と、データ処理部２０と、ユーザインタフェース部３０と、からなる。

画像データ生成部１０は、光学レンズ装置１１と、イメージセンサ１２と、から構成され、葉書２を撮影して、葉書２の内容をデジタルデータ化するものである。

このデジタルカメラ１は、高解像度画像撮影と低解像度画像撮影（プレビュー撮影）が可能なものである。低解像度画像撮影は、画像解像度がＸＧＡ（１０２４×７６８ドット）程度で解像度は低いものの、画像を３０ｆｐｓ（フレーム/秒）の速さで動画撮影と画像読み出しが可能となる撮影である。

高解像度画像撮影は、例えば、撮影可能な最大画素数、例えば、デジタルカメラ１が４００万画素のカメラである場合、その４００万画素の解像度で画像撮影行う撮影である。画像データ生成部１０は、高解像度画像撮影、低解像度画像撮影を行う。

光学レンズ装置１１は、葉書２を撮影するために、光を集光するレンズなどで構成されたものであり、焦点、露出、ホワイトバランス等のカメラ設定パラメータを調整するための周辺回路を備える。

イメージセンサ１２は、光学レンズ装置１１が光を集光することによって結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ（Charge Coupled Device;電荷結合素子）等によって構成される。

ユーザインタフェース部３０は、表示部３１と、操作部３２と、ＰＣインタフェース装置３３と、外部記憶部３４と、からなる。

表示部３１は、画像を表示するためのものであり、液晶モニタ等を備える。表示部３１は、データ処理部２０のメモリ２１から、画像データを読み出して、葉書２のプレビュー画像、２値エッジ画像、葉書２の画像から取得した葉書２の輪郭等を表示する。

操作部３２は、操作者の操作情報を取得するためのものであり、デジタルカメラ１の機能を制御するためのスイッチ、キーとして、電源スイッチと、シャッターと、補正キーと、カーソルキーと、決定キーと、を備える（図示せず）。

電源スイッチは、デジタルカメラ１の電源をオン（ＯＮ）、オフ（ＯＦＦ）するためのものである。

シャッターは、撮影時に押下するスイッチである。補正キーは、葉書２の画像に対する斜め撮影補正を指示するためのキーである。

カーソルキーは、写真、メニュー等の選択を行うためのキーであり、合成された葉書２の向きの修正を指示する場合に、この向きを選択するキーとしても用いられる。決定キーは、選択した指示を決定させるためのキーである。

操作部３２は、操作者がこれらのスイッチ、キーを操作すると、この操作情報をデータ処理部２０のＣＰＵ２５に供給する。

ＰＣインタフェース装置３３は、画像データ等を、ＵＳＢ（Universal Serial Bus）規格のデータに変換し、ＵＳＢケーブル等を介してコンピュータ（図示せず）に送信するとともに、コンピュータからのデータ、信号を受信するためのものである。
外部記憶部３４は、合成された葉書２の画像を保存するためのものである。

データ処理部２０は、画像データ生成部１０から、画像データを取得して、プロジェクタ４に出力するための画像の処理を行うものである。データ処理部２０は、メモリ２１と、ビデオ出力装置２２と、画像処理装置２３と、プログラムコード記憶装置２４と、ＣＰＵ２５と、から構成される。

メモリ２１は、画像データ、各種閾値等を記憶するものである。メモリ２１は、これらのデータが書き込まれる領域として、図３に示すように、センサ画像記憶領域２１ａと、処理画像記憶領域２１ｂと、表示画像記憶領域２１ｃと、作業データ記憶領域２１ｄと、閾値記憶領域２１ｅと、を有する。

センサ画像記憶領域２１ａは、イメージセンサ１２が取り込んだ画像データを、撮影する毎に一時記憶するための領域である。イメージセンサ１２は、画像データをセンサ画像記憶領域２１ａに記憶する。

処理画像記憶領域２１ｂは、画像処理装置２３の処理に必要な画像データを記憶するための領域である。表示画像記憶領域２１ｃは、表示用の出力画像の画像を記憶するための領域である。作業データ記憶領域２１ｄは、座標データ等を記憶するための領域である。閾値記憶領域２１ｅは、各種判定に用いる閾値を記憶するための領域である。

図２に戻り、ビデオ出力装置２２は、ＣＰＵ２５に制御され、メモリ２１の表示画像記憶領域２１ｃに記憶された画像データに基づいてＲＧＢ信号を生成するものである。ビデオ出力装置２２は、ビデオ映像ケーブルを介してプロジェクタ（図示せず）に接続されると、生成したＲＧＢ信号をプロジェクタに出力する。尚、ビデオ出力装置２２は、ＲＧＢ信号をコンピュータに送り出すように構成されてもよい。

画像処理装置２３は、ＣＰＵ２５に制御されて、画像データに対して画像処理を行うためのものである。画像処理装置２３は、デジタルカメラ１の機能を実現するため、以下の画像処理を行う。

（１）輪郭取得処理
（２）斜め撮影補正処理
（３）表裏及び上下検出処理
（４）画像合成処理

以下、（１）〜（４）の処理について説明する。
（１）輪郭取得処理
輪郭取得処理は、葉書２の画像の輪郭を取得する処理である。葉書２の画像の輪郭を取得するため、画像処理装置２３は、まず、図４（ａ）に示すような葉書２のプレビュー画像から、エッジの検出を行い、図４（ｂ）に示すような２値エッジ画像を作成する。

画像処理装置２３は、このように生成した二値化画像から、例えば、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いる。このＲｏｂｅｒｔｓフィルタとは、２つの４近傍ピクセルの重み付けを行って２つのフィルタΔ１、Δ２を取得し、平均化することによって、画像のエッジを検出するフィルタである。

ある着目した座標（x,y）の画素値ｆ(x,y）にＲｏｂｅｒｔｓフィルタを適用すると、変換後の画素値ｇ(x,y）は、次の数１によって表される。

画像処理装置２３は、このようにして得られた画素値ｇ（x,y）を予め設定された閾値を用いて２値化する。閾値は、固定的に設定されてもよいし、可変閾値方等の方法で求められたものであってもよい。この閾値は、メモリ２１の閾値記憶領域２１ｅに予め記憶される。

画像処理装置２３は、数１に従って求めたエッジ画像ｇ（x,y）に、次の数２の演算を施すことにより、エッジ２値画像ｈ（x,y）を取得する。

画像処理装置２３は、生成したエッジ画像に対して、ハフ変換を行い、葉書２の輪郭を形成する直線を検出する。

ハフ変換とは、図５（ａ）に示すようなＸ−Ｙ平面上の直線を構成する点を、次の数３によって表される図５（ｂ）に示すようなρ-θ平面上に投票して、ρ-θ平面上の投票数に変換する変換手法である。

各点の座標（ｘ、ｙ）において角度θを０から３６０°まで変化させた場合、同一直線はρ-θ平面では一点で表される。このため、投票数の多いρ-θ座標を直線と判断することができる。この際、投票数は、直線上のピクセル数になるため、直線の長さとみなすことができる。したがって、投票数の極端に少ないρ-θ座標は、短い直線を表し、直線の候補から除外される。

調査対象であるエッジ画像において画像中心を原点とした座標系で考えると、ρはマイナスの値も取ることになるため、角度θを０°≦θ＜１８０°の範囲で測定すれば、ρは残りの−１８０°≦θ＜０°の範囲で負になる。

しかし、撮影対象の中心が画像の中心近辺に位置する場合、実際に撮影される撮影対象（四角形）の各辺は、上下左右に存在することになる。この場合、ρ-θ平面上の投票数を０°≦θ＜１８０°の範囲で調査するよりは、以下の数４で表される範囲で測定した方が、より効率的である。

調査角度の制限とρの値が正の値か負の値かによって、辺の上下、または辺の左右を特定することが可能である。
その際、ρの絶対値は中心からの距離である。投票数の多い直線候補の中から一番中心からの距離ρの絶対値が大きいものが葉書２の画像の輪郭といえる。但し、交点つまり頂点は画像内のみに存在するものとする。

（２）斜め撮影補正処理
斜め撮影補正処理は、画像の切り抜きと射影補正等を行う処理である。切り抜き処理は、抽出した四角形の輪郭に基づいて、撮影画像から葉書２の表面画像と裏面画像を切り抜く処理である。通常、切り抜いた葉書２の画像は歪んだものになる。

射影補正処理は、切り取った葉書２の画像を射影変換して、画像の歪みを補正する処理である。画像処理装置２３は、この歪みを補正するため、画像の空間変換に幅広く応用されているアフィン変換を用いる。

画像処理装置２３は、葉書２等の画像から抽出した輪郭（４つの頂点）から、射影補正画像とのアフィン変換の関係を示すアフィンパラメータＡを算出し、この変換Ａを用いて、求める射影補正画像の各画素Ｐ（u,v）に対応する元画像の画素点ｐ（x,y）を求める。

次に、このアフィン変換についての基本的な考え方（実現方法）を説明する。
画像の空間変換にアフィン変換が幅広く応用されている。本実施形態では、３次元のカメラパラメータを用いずに２次元アフィン変換を用いて射影変換を行う。

変換前の座標(u,v）の点は、移動、拡大縮小、回転などの変換が行われることによって変換後の座標(x,y)になる。変換前の座標(u,v）と変換後の座標(x,y)とは、次の数５によって関係付けられる。射影変換もこのアフィン変換により行われる。

最終的な座標(x,y)は、次の数６によって算出される。

数６は、射影変換するための式であり、座標(x,y)は、z'の値に従い、０に向かって縮退する。即ち、z'に含まれるパラメータが射影に影響を及ぼすことになる。このパラメータはａ13，ａ23，ａ33である。また、他のパラメータは、パラメータａ33で正規化されることができるので、ａ33を１としてもよい。

図６は、カメラ部１１が四角形の撮影対象（葉書２）を撮影した場合、撮影画像上の四角形と実際の撮影対象の形状との関係について説明するための図である。図中に各頂点の座標を示す。

図６において、Ｕ−Ｖ−Ｗ座標系は、デジタルカメラ１が撮影して得られた画像の３次元座標系である。Ａ（Ａu,Ａv,Ａw）ベクトルとＢ（Ｂu,Ｂv,Ｂw）ベクトルとは、３次元座標系Ｕ−Ｖ−Ｗにおいて、撮影対象物をベクトルで表したものである。また、Ｓ（Ｓu,Ｓv,Ｓw）ベクトルは、３次元座標系Ｕ−Ｖ−Ｗの原点と撮影対象物との距離を示す。

図６に示す撮影画像の仮想投影スクリーンは、デジタルカメラ１が映し出した画像を、仮想的に示したものである。スクリーン上の座標系を（x,y）とすると、このスクリーン上に投影される画像がデジタルカメラ１が撮影した画像となる。

投影スクリーンは、Ｗ軸上から距離ｆだけ離れて垂直に位置するものとする。撮影対象物上の任意の点Ｐ（u,v,w）と原点とを直線で結び、その直線と投影スクリーンと交差する点があるものとして、その交点のＸ−Ｙ座標をｐ(x,y）とする。このとき、座標ｐは、射影変換より次の数７によって表される。

数７より、図６に示すように４つの頂点Ｐ0，Ｐ1，Ｐ2，Ｐ3と投影スクリーンへの投影点ｐ0，ｐ1，ｐ2，ｐ3との関係から、次の数８に示す関係が求められる。

このとき、射影係数α、βは次の数９によって表される。

次に、射影変換について説明する。撮影対象上の任意の点Ｐ=(x,y)は、Ｓ，Ａ，Ｂベクトルを用いて、次の数１０によって表される。

この数１０に、数８の関係式を代入すると、座標ｘとｙとは、次の数１１によって表される。

この関係を、アフィン変換の式（数５）に当てはめると、座標（x',y',z'）は、次の数１２によって表される。

この数１２にｍ，ｎを代入することにより、撮影画像の対応点（x,y）が求められる。対応点（x,y）は、整数値とは限らないので、画像補間法などを用いて画素の値を求めればよい。

上記ｍ，ｎは、予め補正画像ｐ(u,v)を出力する画像サイズ（0≦u＜umax, 0≦v＜vmax）を与えて、その画像サイズに合わせて画像を調整する方法により求めることが考えられる。この方法によれば、ｍ，ｎは次の数１３によって表される。

しかし、作成される補正画像の縦横比と撮影対象の縦横比とは一致しない。ここで、補正画像ｐ（u,v）とｍ、ｎの値との関係は、数７、８から、次の数１４によって表される。

カメラパラメータであるレンズの焦点距離ｆが既知であれば、数１４に従って、縦横比ｋを求めることができる。従って、補正画像ｐ（u,v）の画像サイズを（0≦u＜umax, 0≦v＜vmax）であるとすると、次の数１５に従ってｍ、ｎを求めることにより、撮影対象と同じ縦横比ｋを得ることができる。

尚、カメラが固定焦点である場合、レンズの焦点距離ｆの値を、予め得ることができる。ズームレンズ等が存在する場合には、レンズの焦点距離ｆの値は、レンズのズーム倍率によって変化する。この場合、そのズーム倍率とレンズの焦点距離ｆとの関係を示すテーブルを予め作成して記憶し、ズーム倍率に基づいて焦点距離ｆを読み出し、数１４，１５に従って、射影変換を行う。

斜め撮影補正は、（１）輪郭検出によって算出された４点（x0,y0），（x1,y1），（x2,y2），（x3,y3）を使用して、（２）これらの座標を数９、数１２に代入することにより行われ、補正後の座標（m,n）から元画像における座標（x',y'）が算出される。

画像サイズは、数１３、１４、１５を利用して仮定した画像サイズに対して数１２を用いて演算を行うことにより算出される。

（３）表裏及び上下検出処理
画像処理装置２３は、葉書２の表裏及び上限の検出を行う。本実施形態において、画像処理装置２３は、文字認識を行うことにより葉書２の上下を検出する。画像処理装置２３は、斜め撮影補正後の画像に対して、上下左右方向から文字認識を行い、最も認識率の高い方向が正しい向きとなる。

この認識率として、具体的に、表面には、住所、「〜様」、「〜殿」等、特定の文字があり、予め、操作者によって、葉書２に記載されているこれらの特定の文字の文字数が入力され、デジタルカメラ１は、メモリ２１の作業データ記憶領域に記憶される。画像処理装置２３は、認識した文字の中に、これらの特定の文字がいくるあるか、その数を判別することにより認識率を求める。

画像処理装置２３は、葉書２の上下を検出すると、その上下を認識した上で、葉書２の裏表を検出する。前述のように、葉書２の表面には、切手や料金に関する記載が行われる領域が存在する。画像処理装置２３は、この領域の有無を判別することにより、葉書２の表裏の検出を行う。

また、局印は、前述の通り、円の場合、直径が２０〜３０mmであり、四角形の場合、縦、横が、それぞれ、２０〜３０mmである。画像処理装置２３は、局印が押下される領域を、例えば、３５×７０mmに設定する。

この領域は、図７（ａ）に示すように短辺が上の場合は左上、図７（ｂ）に示すように長辺が上の場合には右上に存在する。画像処理装置２３は、この領域内に、この条件に当てはまる有効画素があるか否かを、円又は四角形の中心をずらしながら検索する。

但し、画像処理装置２３は、ハフ変換の方法を用いて局印を検出するようにしてもよい。この場合、画像処理装置２３は、撮影画像から葉書２の領域の斜め撮影補正後の画像に対してハフ変換の方法を用いることにより、局印の矩形を検出する。

また、画像処理装置２３は、直線検出のハフ変換の数３の代わりに数１６を用いて、局印の円の検出を行う。

ここで、図８に示すように、半径がｒであり、中心点がＰ（x_p,y_p）である円上に存在する座標上の点を（x_i,y_i）とする。

図８に示す直交座標上の同一円は３次元空間（x_p,y_p,r）では、１点で表される。このため、投票数の多い３次元空間上の点（x_p,y_p,r）と判断することができる。

矩形又は円が画像中の指定領域内に検出された場合、画像処理装置２３は、この面を宛名書きのある表面と判定する。

（４）画像合成処理
画像合成処理は、葉書２の表裏の２枚の画像を合成する処理である。画像処理装置２３は、図８に示すように、表面の画像を左側、裏面の画像を右側に配置し、葉書２が図９（ａ）に示すように縦長に使用されている場合には、図９（ｂ）に示すように、葉書２の表面と裏面との長辺を対応させて合成する。

また、画像処理装置２３は、葉書２が図１０（ａ）に示すように横長に使用されている場合には、図１０（ｂ）に示すように、葉書２の表面と裏面との短辺を対応させて合成する。

画像処理装置２３は、このようにして、葉書２の表面と裏面との合成を行い、１枚の画像データを生成する。
以上が画像処理装置２３の（１）〜（４）の処理の説明である。

図２に戻り、プログラムコード記憶装置２４は、ＣＰＵ２５が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。

ＣＰＵ２５は、プログラムコード記憶装置２４に格納されているプログラムに従って、各部を制御する。

具体的には、ＣＰＵ２５は、後述するカメラ基本処理を実行し、まず、カメラ部１１の撮影条件の初期化を行う。撮影条件には、カメラ部１１のフォーカス、シャッター速度（露光時間）、絞りなどの露出、ホワイトバランス、ＩＳＯ感度などが含まれる。ＣＰＵ２５は、オートフォーカス測定、測光などを行って撮影が最適になる条件を探して、その条件となるように画像データ生成部１０の初期化を行う。

また、ＣＰＵ２５は、メモリ２１の初期化、通信、画像処理等に用いるデータの初期化等を行う。

また、ＣＰＵ２５は、ユーザインタフェース部３０の操作部３２から操作情報が供給されると、この操作情報に従って各部を制御する。

即ち、操作部３２から、シャッターボタンが押下された旨の操作情報が供給されると、ＣＰＵ２５は、低解像度画像撮影を行うように画像データ生成部１０を制御する。

ＣＰＵ２５は、イメージセンサ１２が取り込んだ画像データをメモリ２１のセンサ画像記憶領域２１ａに記憶するように、イメージセンサ１２、メモリ２１を制御する。

ＣＰＵ２５は、メモリ２１の各記憶領域に記憶された画像として、低解像度のプレビュー画像、斜め撮影補正処理、表裏及び上下検出処理が行われた画像、葉書２の画像の向きを修正した画像、葉書２の表裏の画像を合成した画像、保存画像を表示するように、ユーザインタフェース部３０の表示部３１を制御する。

また、操作部３２から、補正キーが押下された旨の操作情報が供給されると、ＣＰＵ２５は、画像処理装置２３に斜め撮影補正処理、表裏及び上下検出処理を実行するように指示する。

また、操作部３２から、画像を保存する旨の決定キーが押下された旨の操作情報が供給されると、ＣＰＵ２５は、この画像データをユーザインタフェース部３０の外部記憶部３４に記憶する。

ＣＰＵ２５は、葉書２を表裏の２枚の画像を撮影したか否かの判定を行う。このため、ＣＰＵ２５は、カウンタを備え、画像データ生成部１０の撮影回数をカウントする。ＣＰＵ２５は、このカウンタのカウント値をメモリ２１の作業データ記憶領域２１ｄに記憶する。
そして、ＣＰＵ２５は、このカウント値が２になると、葉書２の表裏を撮影したと判定し、画像処理装置２３に画像合成処理を実行するように指示する。

次に本実施形態に係るデジタルカメラ１の動作を説明する。
操作者がデジタルカメラ１の電源をＯＮすると、デジタルカメラ１のＣＰＵ２５は、プログラムコード記憶装置２４からプログラムコードを読み出してカメラ基本処理を実行する。

このカメラ基本投影処理の内容を図１１及び図１２に示すフローチャートに従って説明する。
ＣＰＵ２５は、光学レンズ装置１１の周辺回路を制御して、光学レンズ装置１１の焦点、ズームレンズ位置、絞りなどのカメラ設定と、ビデオ出力装置２２等の初期化と、を行う（ステップＳ１１）。

ＣＰＵ２５は、メモリ２１の初期化、通信、画像処理等に用いるデータの初期化を行う（ステップＳ１２）。

ＣＰＵ２５は、表示部３１にプレビュー画像を表示させ、操作者がシャッターを押下した旨の操作情報が供給されるまで、待機する（ステップＳ１３）。

操作者がシャッターを押下すると、操作部３２はＣＰＵ２５に、この操作情報を供給し、ＣＰＵ２５は、画像生成部に撮影を行うように制御する（ステップＳ１４）。

ＣＰＵ２５は、画像処理装置２３に輪郭取得処理を行うように指示する（ステップＳ１５）。

画像処理装置２３は、ＣＰＵ２５に制御され、図１３に示すフローチャートに従って輪郭取得処理を実行する。

画像処理装置２３は、数１，２に従い、２値エッジ画像を作成する（ステップＳ４１）。
画像処理装置２３は、直線を検出するため、数３を用いてハフ変換を行う（ステップＳ４２）。

画像処理装置２３は、４５°≦θ２２５°の範囲で、ρが＋，−それぞれにおいて、投票が多い座標を輪郭取得候補として、その座標を複数取得する（ステップＳ４３）。このとき、ρが＋である候補は上辺に対応し、ρが−である候補は下辺に対応する。

画像処理装置２３は、投票の多い順に投票テーブルを作成する（ステップＳ４４）。
画像処理装置２３は、取得した複数の候補のうち、上下左右それぞれで中心からの距離が最大の座標から順番に並び替える（ステップＳ４５）。

画像処理装置２３は、上下左右の辺候補の交点を算出し、算出した交点を輪郭の４頂点とする（ステップＳ４６）。
画像処理装置２３は、頂点が葉書２の画像内か否かを判定する（ステップＳ４７）。
頂点が葉書２の画像内ではないと判定した場合（ステップＳ４７においてＮｏ）、画像処理装置２３は、次の候補を選択する（ステップＳ４８）。

４頂点が葉書２の画像内であると判定した場合（ステップＳ４７においてＹｅｓ）、画像処理装置２３は、全候補について、葉書２の画像内の輪郭の４頂点を算出できたか否かを判定する（ステップＳ４９）。

算出できなかったと判定した場合（ステップＳ４９においてＮｏ）、画像処理装置２３は、再度、ステップＳ４６〜Ｓ４８を実行する。

算出できたと判定した場合（ステップＳ４９においてＹｅｓ）、画像処理装置２３は、輪郭候補のすべての４頂点の座標をメモリ２１の作業データ記憶領域２１ｄに記憶する（ステップＳ５０）。

画像処理装置２３がこのように輪郭取得処理を実行すると、ＣＰＵ２５は、操作者が補正対象を選択できるように、輪郭候補のプレビュー画像を表示部３１に表示させる（図１１のステップＳ１６）。

ＣＰＵ２５は、輪郭線を表示するように表示部３１を制御する（ステップＳ１７）。
操作者が輪郭を指定すると、操作部３２は、この操作情報をＣＰＵ２５に供給し、ＣＰＵ２５は、指定された輪郭を選択する（ステップＳ１８）。

ＣＰＵ２５は、操作部３２からの操作情報に基づいて、輪郭を補正するか否かを判定する（ステップＳ１９）。

ＣＰＵ２５は、補正ボタンが押下された旨の操作情報が供給された場合、輪郭を補正すると判定する（ステップＳ１９においてＹｅｓ）。この場合、ＣＰＵ２５は、画像処理装置２３に、斜め撮影補正処理を実行するように指示する（ステップＳ２０）。

画像処理装置２３は、数１４により算出した補正後の縦横比と頂点間の距離に基づいて補正後の画像サイズを算出する。画像処理装置２３は、数１２に従って補正後の座標に基づいて元画像の座標を算出することにより、斜め撮影補正処理を実行する。

ＣＰＵ２５は、画像処理装置２３が斜め撮影補正処理を実行すると、画像処理装置２３に、表裏及び上下の検出処理を実行するように指示する（ステップＳ２１）。

画像処理装置２３は、図１４に示すフローチャートに従って、表裏及び上下検出処理を実行する。

画像処理装置２３は、斜め撮影補正処理を行った補正画像に対して上下左右をそれぞれ画像の上側として文字認識を行い、それぞれの認識率をｒ_U，ｒ_D，ｒ_L，ｒ_Rとする（ステップＳ６１）。

画像処理装置２３は、上下左右から文字認識を行った結果の認識率ｒ_U，ｒ_D，ｒ_L，ｒ_Rのうちで、最も高かったものを取得する（ステップＳ６２）。

画像処理装置２３は、葉書２の画像の向きを、最も高い認識率の方向に設定する（ステップＳ６３）。
画像処理装置２３は、葉書２の画像の縦横比及び向きに基づいて、葉書２を縦長の方向に使用しているか否かを判定する（ステップＳ６４）。
葉書２を縦長の方向に使用していると判定した場合（ステップＳ６４においてＹｅｓ）、画像処理装置２３は、葉書２の画像の左上の範囲内に、矩形又は円が存在すると判定する。この場合、画像処理装置２３は、この範囲内に存在する矩形又は円を、ハフ変換を用いて検出する（ステップＳ６５）。

一方、葉書２を横長の方向に使用していると判定した場合（ステップＳ６４においてＮｏ）、画像処理装置２３は、葉書２の画像の右上の範囲内に矩形又は円が存在していると判定する。この場合、画像処理装置２３は、この範囲内に存在する矩形又は円を、ハフ変換を用いて検出する（ステップＳ６６）。

画像処理装置２３は、この範囲内で矩形又は円が検出されたか否かを判定する（ステップＳ６７）。

この範囲内で矩形又は円が検出された場合（ステップＳ６７においてＹｅｓ）、画像処理装置２３は、葉書２の面を表と判定する（ステップＳ６８）。

一方、この範囲内で矩形又は円が検出されたなかった場合（ステップＳ６７においてＮｏ）、画像処理装置２３は、葉書２の面を裏と判定する（ステップＳ６９）。

画像処理装置２３がこのような上下及び表裏検出処理を実行すると、ＣＰＵ２５は、葉書２の画像を、最も高い認識率と判定した方向に向きを設定して表示するように、表示部３１を制御する（図１１のステップＳ２２）。

ＣＰＵ２５は、操作部３２から操作情報に基づいて、操作者から葉書２の画像の向きを修正する旨の指示があったか否かを判定する（ステップＳ２３）。

向きを修正する旨の指示がなかったと判定した場合（ステップＳ２３においてＮｏ）、ＣＰＵ２５は、ステップＳ２５に進む。

向きを修正する旨の指示があったと判定した場合（ステップＳ２３においてＹｅｓ）、ＣＰＵ２５は、葉書２の画像の向きを指定された向きに回転するように画像処理装置２３に指示する。画像処理装置２３は、指示された方向に葉書２の画像を回転する。そして、ＣＰＵ２５は、画像処理装置２３が回転した画像を表示するように表示部３１を制御する（ステップＳ２４）。

ＣＰＵ２５は、撮影枚数が２枚か否かを判定する（ステップＳ２５）。
撮影枚数が２枚ではないと判定した場合（ステップＳ２５においてＮｏ）、ＣＰＵ２５は、再度、ステップＳ１４〜Ｓ２４を実行する。

撮影枚数が２枚と判定した場合（ステップＳ２５においてＹｅｓ）、ＣＰＵ２５は、画像処理装置２３に、画像合成処理を実行するように指示する（ステップＳ２６）。

ＣＰＵ２５は、画像処理装置２３が合成した画像を表示するように表示部３１を制御する（ステップＳ２７）。

ＣＰＵ２５は、操作部３２から供給された操作情報に基づいて、配置修正の指示があったか否かの判定を行う（ステップＳ２８）。

配置修正の指示がなかったと判定した場合（ステップＳ２８においてＮｏ）、ＣＰＵ２５は、ステップＳ３０に進む。
配置修正の指示があったと判定した場合（ステップＳ２８においてＹｅｓ）、ＣＰＵ２５は、画像の配置を修正する（ステップＳ２９）。

ＣＰＵ２５は、保存する画像を表示するように表示部３１を制御する（ステップＳ３０）。

ＣＰＵ２５は、外部記憶部３４に、この画像を保存し（ステップＳ３１）、ステップＳ１４に戻り、操作者にシャッターが押下された旨の操作情報が供給されるまで待機する。

以上説明したように、本実施形態によれば、デジタルカメラ１は、葉書２を撮影して、その画像の輪郭を取得し、斜め撮影補正を行い、表裏面の画像を合成するようにした。

従って、フラットベットスキャナ、コンピュータ等を用いることなく、葉書２の内容を管理しやすいようにデータ化することができる。

また、葉書２の裏表及び上下を判別し、予め決まったフォーマットで表面と裏面とを合成することにより、撮影順序や撮影方向を設定する操作者の手間を省くことができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施の形態に限られるものではない。
例えば、上記実施の形態では、文書を葉書２として説明した。しかし、文書は葉書２に限られるものではなく、例えば、封書、名刺等であってもよい。

上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、撮影装置を、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態に係るデジタルカメラの外観を示す図である。 図１にデジタルカメラの構成を示すブロック図である。 図２に示すメモリの各記憶領域を示すブロック図である。 葉書の画像を示す図であり、（ａ）は葉書のプレビュー画像、（ｂ）は、２値エッジ画像、（ｃ）は輪郭候補を表示した画像を示す。 ハフ変換を説明するための図である。 射影パラメータの抽出とアフィン変換の基本的な考え方を説明するための図である。 葉書の切手や料金に関する記載が行われる領域を示す図であり、（ａ）は、短辺が上の場合、（ｂ）は、長辺が上の場合の領域を示す。 円の検出を行う場合のハフ変換を説明するための図である。 縦長に使用されている葉書の画像合成処理を示す図である。 横長に使用されている葉書の画像合成処理を示す図である。 図１のデジタルカメラが実行するカメラ基本処理（その１）を示すフローチャートである。 図１のデジタルカメラが実行するカメラ基本処理（その２）を示すフローチャートである。 図１のデジタルカメラが実行する輪郭取得処理を示すフローチャートである。 図１のデジタルカメラが実行する表裏及び上下検出処理を示すフローチャートである。

符号の説明

１・・・デジタルカメラ、２・・・葉書、１２・・・イメージセンサ、２１・・・メモリ、２３・・・画像処理装置、２５・・・ＣＰＵ、３１・・・表示部、３２・・・操作部

Claims (7)

1. 撮影によって得られた文書の表面画像と裏面画像とに対して、それぞれの形状を前記文書に対応する形状に補正する撮影画像補正部と、
   前記撮影画像補正部によって補正された表面画像と裏面画像とを合成する画像合成部と、を備えた、
   ことを特徴とする画像処理装置。
2. 前記文書は、表面又は裏面に文字が記載されるとともに、予め表面の設定された領域に予め設定された識別印が記載された定型文書であって、
   前記撮影画像補正部は、形状を補正した画像に基づいて、前記定型文書に記載された文字を認識し、文字認識率に基づいて前記定型文書の向きを判別し、判別結果に基づいて前記定型文書の画像の向きを整えて予め前記表面の設定された領域を判別し、判別した領域に前記識別印を検出したときは、前記撮影によって得られた撮影画像が前記定型文書の表面画像と判定し、前記判別した領域に前記識別印が検出されなかったときは、前記撮影画像が前記定型文書の裏面画像と判定し、
   前記画像合成部は、前記撮影画像補正部が判定した前記定型文書の前記表面画像と前記裏面画像とを合成する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影画像補正部は、前記文書の表面画像と裏面画像とから、それぞれ、２値エッジ画像を取得し、取得した２値エッジ画像の輪郭を取得し、取得した輪郭から、画像の頂点座標を取得し、取得した頂点座標を用いて、前記画像の形状を前記文書に対応する形状に射影変換することにより、それぞれの画像の形状を前記文書に対応する形状に補正する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 文書の表面と裏面とをそれぞれ撮影する撮影部と、
   前記撮影部の撮影によって得られた文書の画像に対して画像処理を行う画像処理部と、を備え、
   前記画像処理部は、
   前記撮影によって得られた文書の表面画像と裏面画像とに対して、それぞれの形状を前記文書に対応する形状に補正する撮影画像補正部と、
   前記撮影画像補正部によって補正された表面画像と裏面画像とを合成する画像合成部と、を備えた、
   ことを特徴とする撮像装置。
5. 撮影によって得られた文書の表面画像と裏面画像とに対して、それぞれの形状を前記文書に対応する形状に補正する撮影画像補正ステップと、
   前記補正された表面画像と裏面画像とを合成する画像合成ステップと、を備えた、
   ことを特徴とする画像処理方法。
6. 前記文書は、表面又は裏面に文字が記載されるとともに、予め表面の設定された領域に予め設定された識別印が記載された定型文書であって、
   前記撮影画像補正ステップは、形状を補正した画像に基づいて、前記定型文書に記載された文字を認識し、文字認識率に基づいて前記定型文書の向きを判別し、判別結果に基づいて前記定型文書の画像の向きを整えて予め前記表面の設定された領域を判別し、判別した領域に前記識別印を検出したときは、前記撮影によって得られた撮影画像が前記定型文書の表面画像と判定し、前記判別した領域に前記識別印が検出されなかったときは、前記撮影画像が前記定型文書の裏面画像と判定するステップである、
   ことを特徴とする請求項５に記載の画像処理方法。
7. コンピュータに、
   撮影によって得られた文書の表面画像と裏面画像とに対して、それぞれの形状を前記文書に対応する形状に補正する手順、
   前記補正された表面画像と裏面画像とを合成する手順、
   を実行させるためのプログラム。

Images