JP2003288588A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 撮影した画像の撮影位置や種類を問わず、自
動的に擬似的な正面画像を得ることのできる画像処理装
置及び方法を提供する。 【解決手段】 デジタルカメラ等で取得した画像（変換
元画像）の文字行（文字の連なり）を検出し、この文字
行の分布に基づいて変換元画像の透視歪みを検出する。
検出された透視歪みに基づいて、変換元画像の変換元四
辺形領域４１を変換先画像の変換先矩形領域４２に変換
するための逆透視変換行列を算出する。この逆透視変換
行列に基づいて、変換元画像を補正して変換先画像とす
る。この変換先画像内の文字を文字認識し、文字認識結
果の良否に基づき前記逆透視変換行列の採用の適否が判
定される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルカメラな
どの画像入力機器により光学的に取得された被写体の画
像から、擬似的な正面画像を取得し、文字認識処理を行
う画像処理装置、画像処理方法に関する。

【０００２】

【従来の技術】近年のデジタル機器の発展により、例え
ば展示会会場などに展示される展示パネルや掲示された
ポスター、看板などに書かれた文字を、デジタルカメラ
などで撮影し、その画像にＯＣＲをかけて文字認識し、
テキストデータとして記録する、ということが可能とな
っている。このように文字を撮影しようとする場合に
は、できる限り正面から撮影するのが望ましい。斜め方
向から撮影した画像では、撮影した画像内の文字に透視
歪み（射影歪み）が発生し、文字認識に用いる辞書デー
タとの類似度が低下してしまい、結果として文字認識率
が低下してしまうためである。

【０００３】しかし、展示会会場などでは、被写体とし
てのパネルが高所や遠方に設けられていたり、近くにあ
っても人込みがあったりすることにより、正面から撮影
することが困難な場合がある。このため、斜め方向から
撮影した画像を補正し、擬似的な正面画像を取得する方
法が提案されている。例えば、特開平9−289611号公報
には、撮影の際に被写体面と撮像面とがなす角度と被写
体までの距離を測定し、その後擬似的な正面画像に自動
的に変換するデジタルカメラが提案されている。

【０００４】しかし、この装置では、撮像面と被写体面
が水平方向にずれた場合に生じる台形に歪んだ矩形領域
に補正対象が限定されるため、撮影時にガイドに従って
撮像面と被写体面との垂直方向の傾きを合わせる必要が
生じる。別の提案として、特開2000−293627号公報に
は、複数枚の撮影画像の中から最も正面で撮影された画
像を選択し、逆透視変換により補正することで擬似的な
正面画像を取得する技術が開示されている。

【０００５】

【発明が解決しようとする課題】しかし、この手法で
は、複数枚の撮影が常に必要になり利用者の負担が増加
する他、これらの方法は被写体においてパネルなどの矩
形の領域を定義するための線分が存在する場合のみに処
理が制限されてしまうという問題がある。このように、
従来の装置においては、斜め方向から撮影した画像につ
いて、垂直方向、水平方向の両方向同時に撮影位置がず
れている場合や、画面内にパネルなどの矩形の領域を定
義する線分が存在しない場合には、自動的に擬似的な正
面画像を得ることが出来ないという問題があった。

【０００６】この発明は、上記のような従来技術の問題
を解消するためになされたものであり、撮影した画像の
撮影位置や種類を問わず、自動的に擬似的な正面画像を
得ることのできる画像処理装置及び方法を提供すること
を目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、本出願の第１の発明に係る画像処理装置は、光学的
に取得された画像を変換元画像として入力する画像入力
手段と、入力された変換元画像から文字行を抽出する文
字行抽出手段と、前記文字行の分布から変換元画像の透
視歪みを検出する透視歪み検出手段と、前記透視歪みを
補正して変換先画像を生成するための逆透視変換行列を
算出する逆透視変換行列算出手段と、前記逆透視変換行
列を用いて前記変換元画像を補正して前記変換先画像と
する補正手段と、前記変換先画像に含まれる文字を文字
認識する文字認識手段と、前記変換先画像と文字認識結
果とを関連付けて構造化する構造化手段と、構造化した
データを記憶する記憶手段とを備えたことを特徴とす
る。

【０００８】この第１の発明によると、画像入力手段よ
り入力された変換元画像から文字行が文字行抽出手段に
より抽出される。この文字行の分布から変換元画像の透
視歪みが検出される。検出された透視歪みに基づいて逆
透視変換行列が逆透視変換行列算出手段において算出さ
れ、この逆透視変換行列に基づいて前記変換元画像が補
正されて変換先画像とされる。この変換画像中に含まれ
る文字が、文字認識手段において文字認識され、この文
字認識結果と変換先画像とが構造化手段において関連付
けて構造化され、この構造化したデータが記憶手段に記
憶される。文字行の分布に基づいて透視歪みが検出され
るため、変換元画像が、垂直方向、水平方向の両方向同
時に撮影位置がずれている場合であっても、擬似的な正
面画像を得ることができ、また、パネルなどの矩形領域
を定義する線分が存在しない場合であっても、自動的に
擬似的な正面画像を得ることが出来る。

【０００９】前記透視歪み検出手段は、前記文字行抽出
手段により抽出された１つの文字行又は一対の文字行の
領域を示す変換元四辺形領域を推定する変換元四辺形領
域推定手段と、この変換元四辺形領域を用いて変換先画
像の矩形領域を推定する変換先矩形領域推定手段とを備
え、前記逆透視変換行列算出手段は、変換元四辺形領域
と変換先矩形領域とを用いて前記逆透視変換行列を算出
するようにすることができる。また、前記第１の発明に
おいて、前記逆透視変換行列算出手段により算出された
前記逆透視変換行列を評価し、該逆透視変換行列の採用
の可否を判定する逆透視変換行列評価手段を備えるよう
にすることもできる。この逆透視変換行列評価手段は、
前記文字認識手段による文字認識結果に基づき前記逆透
視変換行列を評価するように構成することもできる。ま
た、この逆透視変換行列評価手段は、前記変換先画像に
おける白画素の分布状況に基づき前記逆透視変換行列を
評価するように構成することもできる。

【００１０】前記第１の発明において、前記文字行抽出
手段は、入力された変換元画像を二値化処理する二値化
処理手段と、二値化された画像から文字矩形を抽出する
文字矩形抽出手段と、予め設定された結合条件に従って
隣接する前記文字矩形同士を連結する文字矩形連結手段
と、文字矩形を連結してなる連結文字矩形から連結誤り
部分を検出して該連結誤り部分を棄却する連結誤り部分
棄却手段と、前記連結文字矩形を統合する連結文字矩形
統合手段とを備えるようにすることができる。また、前
記第１の発明において、前記変換元画像と前記変換先画
像を表示する画像表示手段と、オペレータに画像表示手
段に表示された画像に基づいて前記変換元四辺形領域を
手動で補正させる手動補正手段とを更に備えるようにす
ることもできる。

【００１１】上記目的を達成するため、本出願の第２の
発明に係る画像処理方法は、光学的に取得された画像を
変換元画像として入力する画像入力ステップと、入力さ
れた変換元画像から文字行を抽出する文字行抽出ステッ
プと、前記文字行の分布から変換元画像の透視歪みを検
出する透視歪み検出ステップと、前記透視歪みを補正し
て変換先画像を生成するための逆透視変換行列を算出す
る逆透視変換行列算出ステップと、前記逆透視変換行列
を用いて前記変換元画像を補正して前記変換先画像とす
る補正ステップと、前記変換先画像に含まれる文字を文
字認識する文字認識ステップと、前記変換先画像と文字
認識結果とを関連付けて構造化する構造化ステップと、
構造化したデータを記憶する記憶ステップとを備えたこ
とを特徴とする。

【００１２】

【発明の実施の形態】〔第１の実施の形態〕次に、本発
明の第１の実施の形態に係る画像処理装置を、図面に基
づいて説明する。 （全体構成）図１は、本実施の形態に係る画像処理装置
のハードウエア構成を示すブロック図である。本実施の
形態に係る画像処理装置は、例えば、通常のパーソナル
コンピュータ（ＰＣ）に本実施の形態に係るコンピュー
タプログラムを読み込むことにより構成することができ
る。すなわち、本実施の形態に係る画像処理装置１は、
ＣＰＵ１１により全体の制御がなされるように構成され
る。ＣＰＵ１１は、ＲＯＭ１２に格納されたコンピュー
タプログラムに従って後述する各種のデータ処理を行
う。ＲＯＭ１２には、コンピュータプログラムの他、各
種データ処理を行うためのテーブル等が記憶される。

【００１３】また、ＲＡＭ１３は、ＲＯＭ１２に格納さ
れたプログラムをロードしたり、データ処理を行うため
の作業領域を提供したりするための記憶装置である。ハ
ードディスクドライブ（ＨＤＤ）１４は、ＲＡＭ１３の
代替記憶装置として機能する他、補正された画像データ
等を記憶する記憶部として機能する記憶装置であり、Ｉ
／Ｆ１９を介してＣＰＵと接続されている。

【００１４】画像処理装置１は、デジタルカメラ等の画
像入力装置からの画像データを入力するためのインター
フェース（Ｉ／Ｆ）１６を備えており、また、この画像
データを記憶するための画像メモリ１７を備えている。
また、画像処理装置１は、表示制御部１８と、表示部１
９とを備えている。表示部１９は、例えばＣＲＴや液晶
ディスプレイなどであり、表示制御部１８は、画像デー
タをＣＰＵ１１からの命令に基づき処理して、表示部１
９にデジタルカメラの撮影画像等を表示させる。

【００１５】（ソフトウエア構成）図２は、図１に示す
ハードウエア構成をソフトウエア上の機能別にブロック
図として示したものである。すなわち、画像処理装置１
は、画像入力部３１、文字行抽出部３２、透視歪み検出
部３３、画像補正部３４、文字認識部３５、画像構造化
部３６、構造化データ記憶部３７とから大略構成され
る。画像入力部３１は、デジタルカメラ等からの画像デ
ータを画像処理装置１に入力するための部分であり、イ
ンターフェース１６、画像メモリ１７がこの役割を果た
している。この入力された画像データが、後述するよう
に画像補正部３４で補正されて、これにより斜め方向か
ら撮影された画像が擬似的な正面画像に変換される。以
下では、この変換前の画像を「変換元画像」と、変換後
の画像を「変換先画像」と称する。

【００１６】文字行抽出部３２以降の機能は、ＣＰＵ１
１及びＲＯＭ１２に格納されたプログラムにより達成さ
れるものである。文字行抽出部３２は、画像入力部３１
により入力された変換元画像データの中から、文字の連
なりとしての文字行を抽出する部分である。

【００１７】透視歪み検出部３３は、文字行抽出部３２
で抽出した文字行の分布状況に基づいて透視歪みを検出
し、この透視歪みを補正する逆透視変換行列Ｈを算出す
る部分である。画像補正部３４は、算出された逆透視変
換行列により、画像入力部で入力された変換元画像を補
正して、これを変換先画像とする。文字認識部３５は、
この変換先画像に対して公知の文字認識装置を用いて文
字認識を行う部分である。

【００１８】画像構造化部３６は、変換先画像と文字認
識結果とを関連付けて構造化した構造化データを作成す
る部分である。変換先画像を、擬似正面画像内の文字を
文字認識した結果と関連付けて、構造化し記憶すること
で、画像内の文字情報の活用や画像の検索などが容易に
なる。構造化データ記憶部３６は、この構造化データを
記憶する部分であり、例えばＲＡＭ１３がこの役割を果
たす。

【００１９】（文字行抽出部３２）図３は、文字行抽出
部３２の処理動作を示すフローチャートである。最初に
Ｓ１で、公知の二値化処理手法を用いて、入力された画
像を白と黒の二値のデータへと変換する。以降、この二
値化データを入力画像とする。続くＳ２では、黒連結成
分の抽出処理を行う。ここで黒連結成分とは、連結され
た複数の黒画素の塊のことである。例えば、平仮名の
「こ」からは、第１画（上の横棒）と第２画（下の横
棒）により２つの黒連結成分が抽出される、平仮名の
「め」からは、第１画と第２画とが一体化されているの
で、１つの黒連結成分だけが抽出される。次にＳ３に
て、文字矩形の抽出を行う。ここで文字矩形とは、黒連
結成分のまとまりに外接する矩形のことである。図４
は、このＳ３における文字矩形の抽出の手順の詳細を示
したものである。最初に、Ｓ２で抽出された黒連結成分
の外接矩形を抽出する（Ｓ３−１）。次に、この外接矩
形の併合処理を行う（Ｓ３−２）。すなわち、２つの外
接矩形が一定の併合条件を満たすときには、両外接矩形
を併合して新しい外接矩形を生成する。併合条件として
は、１つの外接矩形が別の外接矩形を内包する、２つの
文字矩形が一定の割合以上交差している、などの条件を
用いる。こうして併合された外接矩形が文字矩形として
扱われる。図５は、Ｓ３で抽出される文字矩形の１例を
示している。

【００２０】Ｓ３の文字矩形の抽出が完了すると、次は
Ｓ４において文字行の抽出処理が行われる。すなわち、
Ｓ３で抽出された文字矩形のうち、直線状に並んでいる
と判定されるものを連結して、この連結されたものを文
字行として抽出するものである。この文字行の抽出処理
の手順の詳細を図６に示す。まず、Ｓ４−１において、
文字矩形を連結する。各文字矩形の中心位置同士の距離
を求め、特定の閾値内にある文字矩形を順に連結してい
く。このとき、他の保持矩形と連結済みの文字矩形とは
連結しないものとする。

【００２１】続いて、Ｓ４−１における連結手順におい
て、連結の誤りが生じた部分（連結誤り部分）の棄却処
理を行う（Ｓ４−２）。例えば、図７（ａ）のように、
別の行の文字矩形に誤って連結することが生じ得る。こ
の処理では、ある文字矩形の中心点Ｃiと、この文字矩
形とＳ４−１で連結された前後の文字矩形の中心点Ｃi-
1、Ｃi+1とがある場合、線分ＣiＣi-1 と線分ＣiＣi+1
とがなす角度θiを求め、一定の範囲を外れた角度で連
結している部分を連結誤り部分として棄却する（図７
（ｂ））。

【００２２】次に、Ｓ４−３において、このＳ４−２で
の棄却により不連続となった文字矩形の連結部（連結文
字矩形）を統合処理する。統合処理に際しては、一定の
結合条件を設定しておき、この結合条件に基づき、連結
文字矩形同士を結合させていく。結合条件としては、例
えば、連結文字矩形同士の傾きの差が閾値以下である
こと、一方の連結文字矩形の端にある文字矩形と、も
う一方の連結文字矩形の端にある文字矩形とを結ぶ線分
の傾きと、各連結文字矩形の傾きとの差が閾値以下であ
る、などの条件を組み合わせて用いる。このようにし
て、図８（ａ）に示すような不連続な連結文字矩形同士
が、同図（ｂ）に示すように統合される。こうして文字
行の抽出が完了する。なお、各文字行は、文字行を構成
する各文字矩形の４隅及び中心点の座標、大きさ（縦
幅、横幅）、文字行の長さ、傾きなどの属性を持つ。ま
た文字行の傾きに基づいて、縦書きの文書か横書きの文
書かが判定される。例えば、文字行の傾きが所定の閾値
以上である場合には縦書きと、所定の閾値未満の場合に
は横書きと判定し、このデータも文字行の属性として記
憶される。

【００２３】（透視歪み検出部３３）図９は、透視歪み
検出部３３の機能を更に詳細に示す機能ブロック図であ
る。透視歪み検出部３３は、変換元四辺形領域推定部３
３ａ、変換先矩形領域推定部３３ｂ、逆透視変換行列算
出部３３ｃ、逆透視変換行列評価部３３ｄとを備えてい
る。変換元四辺形領域３３ａは、透視的に歪んだ変換元
画像において、文字を囲う四辺形領域を推定する。詳細
な推定の手順は後述する。この以下では、この推定され
た四辺形領域を「変換元四辺形領域」と称する。

【００２４】変換先矩形領域推定部３３ｂは、変換元四
辺形領域推定部３３ａにおいて推定された変換元四辺形
領域に基づいて、この変換元四辺形領域に対応する変換
先画像内の矩形領域を推定する部分である。詳細な推定
の手順は後述する。以下では、この推定された矩形領域
を、「変換先矩形領域」と称する。

【００２５】逆透視変換行列算出部３３ｃは、変換元四
辺形領域を変換先矩形領域に変換するための逆透視変換
行列Ｈを算出する部分である。逆透視変換行列Ｈの算出
方法の概要を図１０に基づいて説明する。逆透視変換行
列Ｈと、変換元四辺形領域４１中の画素Ｐ（ｘ、ｙ）
と、変換先矩形領域４２中の画素Ｐ´（ｘ´、ｙ´）と
の関係は、以下の式により表わされる。

【００２６】

【数１】

【００２７】この逆透視変換行列のパラメータｃ１−ｃ
８を、例えば図１０に示すような変換元四辺形領域４１
の四隅の座標Ｐ１（ｘ１、ｙ１）〜Ｐ４（ｘ４、ｙ
４）、変換先矩形領域４２の四隅の座標Ｐ１´（ｘ１
´、ｙ１´）〜Ｐ４´（Ｘ４´、ｙ４´）を式（１．
１）に代入することで得られる連立方程式を解くことに
より算出することができる。なお、逆透視変換について
は、「テレビジョン画像工学ハンドブック」（テレビジ
ョン学会編、オーム社）の４６２頁に詳述されている。

【００２８】逆透視変換行列評価部３３ｄは、逆透視変
換行列算出部３３ｃで算出された逆透視変換行列によ
り、正しく透視歪みの補正ができるか否かを評価値を用
いて評価する部分である。評価の結果が評価値を満たし
ていれば、その逆透視変換行列を採用し、評価値を満た
さない場合には、この評価の結果に基づき、再度変換元
四辺形領域推定部３３ａにより、新たな変換元四辺形領
域を推定し、評価値を満たす逆透視変換行列が得られる
まで繰り返す。詳細な手順は後述する。（変換元四辺形
領域推定部３３ａ）

【００２９】次に、変換元四辺形領域推定部３３ａにお
ける変換元四辺形領域の推定処理の詳細を、図１１に基
づいて説明する。まず、変換元四辺形領域１１ａを設定
する際の基準となる基準文字行を選択する（Ｓ３３
１）。文字行抽出部３２で抽出された文字行の集合の中
から、横書きの属性を持つ任意の２つの文字行をピック
アップし、この２つの文字行を基準文字行として評価値
Ｖを計算する。この評価値Ｖは、文字行の長さの平均を
Ｌ、文字行同士の間隔をＩ、文字行に含まれる文字矩形
の高さの分散をＨ、文字行内の各文字矩形において、近
接する文字矩形の中心を結んだ線分のなす角度の平均を
Ａとした場合、次の式で表わされる。

【００３０】

【数２】Ｖ＝（ｗ１＊Ｌ＋ｗ２＊Ｉ）／（ｗ３＊Ｈ＋ｗ
４＊Ａ） （ただし、ｗ１−ｗ４は重み係数）

【００３１】この評価値Ｖは、Ｌ、Ｉが大きくなるほ
ど、大きくなる。この評価値Ｖを、すべての文字行の組
合せに対して計算し、評価値Ｖが最大となるような一対
の文字行を選択する。なお、評価値Ｖが特定の閾値以上
となる一対の文字行が存在しない場合には、文字行の長
さなどを基づいて１つだけ文字行を選択し、これを基準
文字行とする。

【００３２】Ｓ３３１で基準文字行が選択されると、次
は変換元四辺形領域の上辺、下辺の推定手順に移行する
（Ｓ３３２）。この手順は、基準文字行が一対の文字行
の場合と、１つの文字行である場合とで、処理方法が異
なっている。基準文字行が一対の文字行の場合には、図
１２に示すように、一対の文字行４３，４４のそれぞれ
に近似する直線ＬＯ，ＬＵを、Ｈｏｕｇｈ変換や最小自
乗法などの公知の手法により求める。基準文字行が１つ
の文字行である場合には、図１３に示すように、基準文
字行としての当該１つの文字行の上方、下方に接する直
線を求め、これをＬＵ，ＬＯとする。

【００３３】続くＳ３３３では、変換元四辺形領域の左
辺ＬＬ，右辺ＬＲを推定する。図１４は、この左辺Ｌ
Ｌ、右辺ＬＲの推定処理の詳細を示すフローチャートで
ある。この手順は、基準文字行が２つの場合でも（図１
２）１つの場合でも（図１３）略同一であるので、ここ
では、基準文字行が２つであるものとして説明する。こ
のステップでは、図１５に示すように、左辺ＬＬ、右辺
ＬＲを、回転基準点ＰＬ（ｘＬ、ｙＬ）、ＰＲ（ｘＲ、
ｙＲ）を中心に回転させることにより設定している。具
体的には、まず、回転基準点ＰＬ、ＰＲの有無を確認し
（Ｓ３３３−１）、無い場合には、回転基準点ＰＬ、Ｐ
Ｒを定義する（Ｓ３３３−２）。

【００３４】ＰＬ、ＰＲの定義は、以下のようにして行
う。まず、画像の縦方向に平行な２本の直線ＬＬＯ、Ｌ
ＲＯを定義する。直線ＬＬＯ、ＬＲＯは、基準文字行が
２つあるときは、基準文字行のいずれか１つに接するよ
うに定義される。次に、この直線ＬＬＯ，ＬＲＯと、直
線ＬＯ，ＬＵとの交点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ
２、ｙ２）、Ｐ３（ｘ３、ｙ３）、Ｐ４（ｘ４、ｙ４）
を求める。そして、この交点Ｐ１とＰ４の中点、交点Ｐ
２とＰ３の中点をそれぞれＰＬ（ｘＬ、ｙＬ）、ＰＲ
（ｘＲ、ｙＲ）として定義する。

【００３５】次に、直線ＬＬ、ＬＲを、回転基準点Ｐ
Ｌ，ＰＲを中心に回転させて（Ｓ３３３−３）これによ
り、直線ＬＬ、ＬＲが画面縦方向（具体的には直線ＬＬ
Ｏ，ＬＲＯ）と為す角度θＬ、θＲを変化させて、交点
Ｐ１〜Ｐ４を更新する。これにより、左辺ＬＬ、ＬＲが
決定される。

【００３６】（変換先矩形領域推定部３３ｂ）次に、変
換先矩形領域推定部３３ｂの機能を、図１６に示すフロ
ーチャートに基づいて説明する。まず、変換元四辺形領
域の各辺の長さｈ１、ｈ２（縦方向の辺の長さ、図１０
参照）、ｗ１、ｗ２（横方向の辺の長さ、図１０参照）
を計算する（Ｓ３３４）。次に、変換元四辺形領域の縦
横比ｗ／ｈを計算する（Ｓ３３５）。

【００３７】続いて、変換先矩形領域の幅ｗ´、高さｈ
´（図１０参照）を推定し、その縦横比ｗ´／ｈ´を計
算する（Ｓ３３６）。ｗ´、ｈ´の推定は、次のように
して行われる。max(ｗ１、ｗ２)＞max（ｈ１，ｈ２）の
ときは、ｗ´、ｈ´は次の式により推定される。

【００３８】

【数２】ｗ´＝max（ｗ１、ｗ２） ｈ´＝max（ｈ１，ｈ２）×（min（ｗ１、ｗ２）／max
（ｗ１、ｗ２））

【００３９】一方、max(ｗ１、ｗ２)＜max（ｈ１，ｈ
２）のときは、ｗ´、ｈ´は次の式により推定される。

【数３】ｗ´＝max（ｗ１、ｗ２）×（min（ｈ１、ｈ
２）／max（ｈ１、ｈ２）） ｈ´＝max（ｈ１，ｈ２）

【００４０】次に、変換後矩形領域の四隅の座標Ｐ１´
（ｘ１´、ｙ１´）、Ｐ２´（ｘ２´、ｙ２´）、Ｐ３
´（ｘ３´、ｙ３´）、Ｐ４´（ｘ４´、ｙ４´）を、
以下のようにして決定する。 Ｐ１´（ｘ１´、ｙ１´）＝（ｘ１、ｙ１） Ｐ２´（ｘ２´、ｙ２´）＝（ｘ１＋ｗ´、ｙ１） Ｐ３´（ｘ３´、ｙ３´）＝（ｘ１＋ｗ´、ｙ１＋ｈ
´） Ｐ４´（ｘ４´、ｙ４´）＝（ｘ１、ｙ１＋ｈ´）

【００４１】（逆透視変換行列算出部３３ｃ）こうして
変換元四辺形領域、変換先矩形領域が推定されると、逆
透視変換行列算出部３３ｃは、この推定の結果に基づい
て、上述の〔数１〕の要領により、逆透視変換行列Ｈを
算出する。

【００４２】（逆透視変換行列評価部３３ｄ）次に、逆
透視変換行列評価部３３ｄでの処理の詳細を、図１７に
示すフローチャートに基づいて説明する。まず、変換元
画像中の、基準文字行の部分の画像のみを取り出した部
分画像を作成し、これを基準文字行画像とする（Ｓ３３
ｄ−１）。次に、この基準文字行画像を、逆透視変換行
列算出部３３ｃで求めた逆透視変換行列Ｈで逆透視変換
する（３３ｄ−２）。そして、この逆透視変換後の画像
中に含まれる文字に対し、文字認識を実行する（Ｓ３３
ｄ−３）。文字認識処理手法には公知のものを使用する
ことができ、例えば、次のような手順で文字認識を行
い、評価値Ｖを計算することができる。 １．基準文字行画像の黒連結画素全体に外接矩形を検出
する。 ２．この外接矩形を１文字単位で切り分ける。 ３．各文字と文字認識辞書との類似度を計算する。 ４．各文字の類似度を平均したものを評価値Ｖとする。

【００４３】そして、この算出された評価値Ｖを判定
し、最適な値と判断されれば、その逆透視変換行列Ｈを
採択し、画像補正部３４に渡す（Ｓ３３ｄ−６）。評価
基準を満たさない場合には、変換元四辺形領域推定部３
３ａにて、再度四辺形領域の左辺ＬＬ、右辺ＬＲの設定
を行わせる。最適の逆透視変換行列Ｈか否かの判定にお
いては、総当りで処理してその評価値Ｖが最大となる行
列Ｈを選択するようにしてもよいし、公知のアルゴリズ
ムである山登り法などの手法を用いて計算コストを削減
してもよい。

【００４４】上述の図１７では、基準文字行画像に文字
認識を実行し、その結果に基づいて、逆透視変換行列Ｈ
の適否を判断していたが、図１８に示すように、白画素
連結数の計算を行い（Ｓ３３ｄ−３´）、連結数の評価
を示す評価値Ｖ２を算出し（Ｓ３３ｄ−４´）、この評
価値Ｖ２に基づいて逆透視変換行列Ｈの適否を判定する
ようにしてもよい。ここで最大白画素連結数とは、画像
を垂直方向に１列ずつ分割し、各列において連結してい
る白画素数の最大値を表わす。図１８において、Ｓ３３
ｄ−３´、Ｓ３３ｄ−４´以外のステップは図１７と共
通であるので、図１７と同一の符号を付してその説明は
省略する。

【００４５】図１９（ａ）は、正しく透視歪みの補正が
された場合の変換先画像、及び位置と最大白画素連結数
との関係を示すグラフを、同図（ｂ）は正しく透視歪み
の補正がされなかった場合の変換先画像、及び位置と最
大白画素連結数との関係を示すグラフを示している。図
１９中のグラフに示すように、前者と後者とでは、最大
白画素連結数の分布が異なってくる。このため、画像の
垂直方向の各列における最大白画素連結数の平均及び分
散、又は最大白画素連結数が閾値を超えた列の数などを
用いて評価値Ｖ２を算出する。なお、図１７に示すよう
な文字認識による方法と、図１８に示すような最大白画
素連結数による判断方法とを併用するようにしてもよ
い。

【００４６】〔第２の実施の形態〕次に、本発明の第２
の実施の形態を、図２０に基づいて説明する。図２０
は、この第２の実施の形態のソフトウエア構成を示すブ
ロック図である。第１の実施の形態と同一の部分につい
ては同一の番号を付し、その説明は省略する。この第２
の実施の形態の画像処理装置は、画像入力部３１より入
力された変換元画像の中から、さらに画像を選択する画
像選択部３８を備えており、この画像選択部３８で選択
された画像を、文字行抽出部３２、透視歪み検出部３
３、画像補正部３４の処理の対象とする。そして、この
画像補正部３４により補正された変換先画像、及び補正
前の変換先画像とは、画像表示部３９において表示され
る。

【００４７】また、本実施の形態の画像処理装置は、こ
の画像表示部３９で表示された画像を目視で評価し、補
正誤りを起こした変換先画像に対して手動で透視歪みを
補正する手動補正部４０を備えている。手動補正部とし
ては、変換元画像中の変換元四辺形領域の四隅の座標値
を数値入力するキーボード、マウスなどの入力装置が採
用できる。

【００４８】この手動歪み補正部４０での処理の詳細
を、図２１のフローチャートにより説明する。まず、画
像表示部３９に、画像補正部３４で補正された変換先画
像を表示させ、オペレータに表示された画像を目視させ
る。オペレータは、表示内容に基づき、否かを判定する
（Ｓ１１）。正しいと判定された場合には、その変換先
画像を文字認識部３５へ渡す。一方、目視の結果、正し
く補正されたものでない（補正誤りがある）と判定され
た場合には、その透視歪みの補正を手動歪み補正部４０
により行う。まず、オペレータにより、変換元四辺形領
域の四隅の座標が指定される（Ｓ１２）。この四隅の座
標の指定により、変換元四辺形領域の形状が決定される
ので、次のＳ１３において、この変換元四辺形領域のデ
ータに基づいて、第１の実施の形態で説明したのと同一
の手法により変換先矩形領域が推定され（Ｓ１３）、続
いて逆透視変換行列Ｈが算出される（Ｓ１４）。

【００４９】そして、この算出された逆透視変換行列Ｈ
に基づき画像の補正がなされる（Ｓ１５）。この補正結
果としての変換先画像が画像表示部３９に表示されるの
で、オペレータは、再度この表示画像を目視により判定
し（Ｓ１６）、正しく補正されていると判定される場合
には、その補正結果を文字認識部３５に渡す（Ｓ１
７）。補正されていないと判定される場合には、Ｓ１２
に戻って同様の手順を繰り返す。

【００５０】この第２の実施の形態によれば、デジタル
カメラなどで撮影した画像から認識したい任意の画像を
画像選択部３８により選択して処理するため、入力デー
タの大きさを小さくすることができ、処理時間が短縮化
される。また、もともと歪んでいない変換元画像を無理
に透視歪み補正してしまい、文字認識精度が逆に悪化さ
せてしまうことを防ぐことができる。また、補正誤りの
画像についても簡単な操作により手動で補正し、正しい
補正画像で入力できるため、構造化データ記憶部３７に
格納されるデータの信頼性を向上させることができる。

【００５１】〔第３の実施の形態〕次に、本発明の第３
の実施の形態を、図２２乃至図２６に基づいて説明す
る。本実施の形態では、図２２に示すように、文字行抽
出部３２において、文字矩形の抽出（Ｓ３）の後、文字
行の抽出（Ｓ４）に移行する前に、文字矩形密度が最大
となるような文章領域を抽出し（Ｓ５）、この抽出結果
に基づいて文字行の抽出を行うようにしている点が、第
１の実施の形態（図３参照）と異なる。この文章領域の
抽出処理の詳細を、図２３に基づいて説明する。まず、
Ｓ３で抽出された多数の文字矩形の高さ・幅の平均・分
散を算出する（Ｓ５−１）。次に、この結果に基づい
て、文章領域サイズを設定するとともに（Ｓ５−２）、
文章領域の位置を設定する（Ｓ５−３）。続いて、設定
された文章領域内の文字矩形密度の算出する（Ｓ５−
４）。ここでの密度は、例えば以下のような式により求
められる。 密度＝（文章領域内の文字矩形の面積の和）／（文章領
域の面積） このようにして、この密度が最大となるような文章領域
を選択して終了する（Ｓ５−５）。

【００５２】また、本実施の形態では、透視歪み検出部
３４での処理内容が第１の実施の形態と異なっている。
すなわち、第１の実施の形態では、図９に示すように、
まず変換元四辺形領域、変換先矩形領域を推定し、この
推定結果に基づいて逆透視変換行列Ｈを算出し、この行
列Ｈを逆透視変換行列評価部３３ｄにおいて評価するよ
うにしていた。そして、評価の結果が基準を満たさない
場合に、再度変換元四辺形領域推定部３３ａに戻り、同
じ手順をループ的に繰り返す、ということを行ってい
る。これに対し、本実施の形態では、この逆透視変換行
列の評価やループの手順を行わず、大きく分けて２つの
ステップ（図２５に示すＳ１００、Ｓ２００）により最
適な逆透視変換がなされるようにしている。また、図２
４に示すように、変換先画像の文字間の余白に描くこと
のできる直線（以下、「文字間余白曲線」という）に基
づいて、変換元四辺形領域の適否が判断される。

【００５３】すなわち、図２５に示すように、この実施
の形態では、最初に基準文字行のみに基づいて推定され
る「初期変換元四辺形領域」を推定する（Ｓ２１）。こ
の初期変換元四辺形推定領域の推定手順を図２６で更に
詳細に説明する。まず、初期変換元四辺形領域を設定す
る際の基準となる基準文字行を変換元画像上で選択する
（Ｓ２１−１）。次に、この基準文字行に基づいて、初
期変換元四辺形領域の上辺・右辺を推定する（Ｓ２１−
２）。続いて、初期変換元四辺形領域の左辺・右辺を画
面に垂直な線に設定する（Ｓ２１−３）。

【００５４】図２５に戻って、推定された初期変換元四
辺形領域に基づいて、変換先矩形領域を推定し（Ｓ２
２）、次いでこの初期変換元四辺形領域及び変換先矩形
領域に基づき、逆透視変換行列Ｈを算出する（Ｓ２
３）。そして、この行列Ｈにより、実際に変換元画像を
逆透視変換して変換先画像を取得する（Ｓ２４）。そし
て、この変換先画像の文章領域内において、文字間余白
直線（図２４）を推定する（Ｓ２５）。そして、変換先
画像の左側、右側のそれぞれにおいて、文字間余白直線
の傾きの平均値を算出し、この算出値に基づいて、変換
元四辺形領域の左辺、右辺を推定する（Ｓ２６）。こう
して新たに推定された変換元四辺形領域に基づき、新た
な変換先矩形領域を推定し（Ｓ２７）、さらにこの変換
元推定領域、変換先矩形領域に基づき逆透視変換行列Ｈ
も新たに算出され（Ｓ２８）、逆透視変換がなされる
（Ｓ２９）。この図２５に示す手順では、Ｓ１００にお
いてまず変換元四辺形領域の上辺、下辺方向を基準文字
行のみに基づいて確定し、続くＳ２００において、一旦
仮に取得した変換先画像の文字間余白直線を推定するこ
とにより、変換元四辺形領域の左辺、右辺も確定する、
という手順をとっている。このため、同じ手順を何度も
繰り返す必要がなく、短時間で擬似正面画像を得ること
ができる。

【００５５】以上、横書きの文章に関する画像処理の例
を示したが、本発明は縦書きの文章にも適用可能である
ことはいうまでもない。この場合、図１１に示す変換元
四辺形領域の推定の処理は、まず変換元四辺形領域の右
辺、左辺を推定し、その後、変換元四辺形領域の上辺、
下辺を推定することになり、Ｓ３３３がＳ３３２に先行
して実行されることになる。また、上記の実施の形態で
はパーソナルコンピュータ（ＰＣ）を利用して画像処理
装置を構成しているが、ＰＣ以外でも、例えばカメラ付
き携帯電話やＰＤＡなどによっても実現可能である。

【００５６】

【発明の効果】以上説明したように、本発明によれば、
垂直、水平方向の両方向にずれて撮影したような場合で
も、擬似正面画像を自動的に得られることがから、画像
撮影位置の自由性を高めることができる。また、一枚の
撮影画像のみで擬似正面画像に変換できるため、撮影時
の負担を最小限に抑えることが出来る。さらに、パネル
の一部の文章など、画像中に矩形領域を示す明確な線分
が存在しない様々な撮影対象に対して適応することが可
能になる。

【図面の簡単な説明】

【図１】 本発明の第１の実施の形態に係る画像処理装
置のハードウエア構成を示すブロック図である。

【図２】 本発明の第１の実施の形態に係る画像処理装
置の機能を示す機能ブロック図である。

【図３】 図２に示す文字行抽出部３２での処理の詳細
を示すフローチャートである。

【図４】 図３に示すＳ３（文字矩形の抽出）での処理
を更に詳細に示すフローチャートである。

【図５】 図３に示すＳ３（文字矩形の抽出）で抽出さ
れた文字矩形の例を示す。

【図６】 図３に示すＳ４（文字行の抽出）での処理を
更に詳細に示すフローチャートである。

【図７】 図３に示すＳ４（文字行の抽出）における不
連続な文字矩形連結誤り部分の棄却処理を概念的に示し
た図である。

【図８】 図３に示すＳ４（文字行の抽出）における不
連続な連結文字矩形の統合処理を概念的に示した図であ
る。

【図９】 図２に示す透視歪み検出部３３の詳細な構成
を示すブロック図である。

【図１０】 透視歪み検出部３３での処理を概念的に示
した図である。

【図１１】 図９に示す変換元四辺形領域推定部３３ａ
での処理の詳細を示すフローチャートである。

【図１２】 図１１に示すＳ３３２（変換元四辺形領域
の上辺・下辺の推定）の手順を概念的に示した図であ
る。

【図１３】 図１１に示すＳ３３２（変換元四辺形領域
の上辺・下辺の推定）の手順を概念的に示した図であ
る。

【図１４】 図１１に示すＳ３３３（変換元四辺形領域
の左辺・右辺の推定）の手順を更に詳細に示すフローチ
ャートである。

【図１５】 図１５のフローチャートに示す手順を概念
的に示したものである。

【図１６】 図９に示す変換先矩形領域推定部３３ｂで
の処理の詳細を示すフローチャートである。

【図１７】 図９に示す逆透視変換行列評価部３３ｄに
おける処理の詳細の一例を示すフローチャートである。

【図１８】 図９に示す逆透視変換行列評価部３３ｄに
おける処理の詳細の他の例を示すフローチャートである

【図１９】 図１８に関連して、最大白画素連結数の変
化と画像の歪み具合との関連を示す図である。

【図２０】 本発明の第２の実施の形態に係る画像処理
装置のソフトウエア構成を示す機能ブロック図である。

【図２１】 図２０に示す手動歪み補正部４０での処理
の詳細を示すフローチャートである。

【図２２】 本発明の第３の実施の形態に係る画像処理
装置における文字行抽出部３２での処理の詳細を示すフ
ローチャートである。

【図２３】 図２２のＳ５（文章領域抽出）での処理を
更に詳細に示すフローチャートである。

【図２４】 文字間余白直線の一例を概念的に示す。

【図２５】 本発明の第３の実施の形態に係る画像処理
装置におけるデータ処理の手順の詳細を示すフローチャ
ートである。

【図２６】 図２５のＳ２１（初期変換元四辺形領域推
定）の手順の詳細を示すフローチャートである。

【符号の説明】

１１・・・Ｉ／Ｆ、 １２・・・ＲＯＭ、 １３・・・ＲＡＭ、
１４・・・ＨＤＤ、 １５・・・Ｉ／Ｆ、 １６・・・Ｉ／
Ｆ、 １７・・・画像メモリ、 １８・・・表示制御部、１９
・・・表示部、 ２０・・・Ｉ／Ｆ、 ３１・・・画像入力部、
３２・・・文字行抽出部、 ３３・・・透視歪み検出部、
３４・・・画像補正部、 ３５・・・文字認識部、３６・・・画
像構造化部、 ３７・・・構造化データ記憶部、３３ａ・・・
変換元四辺形領域推定部、３３ｂ・・・変換先矩形領域推
定部、 ３３ｃ・・・逆透視変換行列算出部、 ３３ｄ・・・
逆透視変換行列評価部、 ４１・・・変換元四辺形領域、
４２・・・変換先矩形領域、ＬＯ・・・上辺直線、 ＬＵ・・
・下辺直線・・・、 ＬＬ・・・左辺直線、 ＬＲ・・・右辺直線
Ｐ１−Ｐ４・・・交点

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B029 BB02 EE01 5B057 BA02 CA12 CA16 CB12 CB16 CD12

Claims (13)

【特許請求の範囲】
1. 【請求項１】 光学的に取得された画像を変換元画像と
   して入力する画像入力手段と、 入力された変換元画像から文字行を抽出する文字行抽出
   手段と、 前記文字行の分布から変換元画像の透視歪みを検出する
   透視歪み検出手段と、 前記透視歪みを補正して変換先画像を生成するための逆
   透視変換行列を算出する逆透視変換行列算出手段と、 前記逆透視変換行列を用いて前記変換元画像を補正して
   前記変換先画像とする補正手段と、 前記変換先画像に含まれる文字を文字認識する文字認識
   手段と、 前記変換先画像と文字認識結果とを関連付けて構造化す
   る構造化手段と、 構造化したデータを記憶する記憶手段とを備えたことを
   特徴とする画像処理装置。
2. 【請求項２】 前記透視歪み検出手段は、 前記文字行抽出手段により抽出された１つの文字行又は
   一対の文字行の領域を示す変換元四辺形領域を推定する
   変換元四辺形領域推定手段と、 この変換元四辺形領域を用いて変換先画像の矩形領域を
   推定する変換先矩形領域推定手段とを備え、 前記逆透視変換行列算出手段は、変換元四辺形領域と変
   換先矩形領域とを用いて前記逆透視変換行列を算出する
   ようにされた請求項１に記載の画像処理装置。
3. 【請求項３】 前記逆透視変換行列算出手段により算出
   された前記逆透視変換行列を評価し、該逆透視変換行列
   の採用の可否を判定する逆透視変換行列評価手段を備え
   た請求項１に記載の画像処理装置。
4. 【請求項４】 前記逆透視変換行列評価手段は、前記文
   字認識手段で文字認識した文字認識結果に基づき前記逆
   透視変換行列を評価するように構成された請求項３に記
   載の画像処理装置。
5. 【請求項５】 前記逆透視変換行列評価手段は、前記変
   換先画像における白画素の分布状況に基づき前記逆透視
   変換行列を評価するように構成された請求項３に記載の
   画像処理装置。
6. 【請求項６】 前記文字行抽出手段は、入力された変換
   元画像を二値化処理する二値化処理手段と、 二値化された画像から文字矩形を抽出する文字矩形抽出
   手段と、 予め設定された結合条件に従って隣接する前記文字矩形
   同士を連結する文字矩形連結手段と、 文字矩形を連結してなる連結文字矩形から連結誤り部分
   を検出して該連結誤り部分を棄却する連結誤り部分棄却
   手段と、 前記連結文字矩形を統合する連結文字矩形統合手段とを
   備えた請求項１に記載の画像処理装置。
7. 【請求項７】 前記変換元画像と前記変換先画像を表示
   する画像表示手段と、 オペレータに画像表示手段に表示された画像に基づいて
   前記変換元四辺形領域を手動で補正させる手動補正手段
   とを備えた請求項２に記載の画像処理装置。
8. 【請求項８】 光学的に取得された画像を変換元画像と
   して入力する画像入力ステップと、 入力された変換元画像から文字行を抽出する文字行抽出
   ステップと、 前記文字行の分布から変換元画像の透視歪みを検出する
   透視歪み検出ステップと、 前記透視歪みを補正して変換先画像を生成するための逆
   透視変換行列を算出する逆透視変換行列算出ステップ
   と、 前記逆透視変換行列を用いて前記変換元画像を補正して
   前記変換先画像とする補正ステップと、 前記変換先画像に含まれる文字を文字認識する文字認識
   ステップと、 前記変換先画像と文字認識結果とを関連付けて構造化す
   る構造化ステップと、 構造化したデータを記憶する記憶ステップとを備えたこ
   とを特徴とする画像処理方法。
9. 【請求項９】 前記透視歪み検出ステップは、 前記文字行抽出ステップで抽出された１つの文字行又は
   一対の文字行の領域を示す変換元四辺形領域を推定する
   変換元四辺形領域推定ステップと、 この変換元四辺形領域を用いて変換先画像の矩形領域を
   推定する変換先矩形領域推定ステップとを備え、 前記逆透視変換行列算出ステップは、変換元四辺形領域
   と変換先矩形領域とを用いて前記逆透視変換行列を算出
   するようにされた請求項８に記載の画像処理方法。
10. 【請求項１０】 前記逆透視変換行列算出ステップにお
    いて算出された前記逆透視変換行列を評価し、該逆透視
    変換行列の採用の可否を判定する逆透視変換行列評価ス
    テップを備えた請求項８に記載の画像処理方法。
11. 【請求項１１】 前記逆透視変換行列評価ステップは、
    前記文字認識ステップでの文字認識結果に基づき前記逆
    透視変換行列を評価するように構成された請求項９に記
    載の画像処理方法。
12. 【請求項１２】 前記逆透視変換行列評価ステップは、
    前記変換先画像における白画素の分布状況に基づき前記
    逆透視変換行列を評価するように構成された請求項９に
    記載の画像処理方法。
13. 【請求項１３】 前記文字行抽出ステップは、入力され
    た変換元画像を二値化処理する二値化処理ステップと、 二値化された画像から文字矩形を抽出する文字矩形抽出
    ステップと、 予め設定された結合条件に従って隣接する前記文字矩形
    同士を連結する文字矩形連結ステップと、 文字矩形を連結してなる連結文字矩形から連結誤り部分
    を検出して該連結誤り部分を棄却する連結誤り部分棄却
    ステップと、 前記連結文字矩形を統合する連結文字矩形統合ステップ
    とを備えた請求項８に記載の画像処理方法。