JP2008225964A - 画像処理装置、読み順設定方法及びプログラム - Google Patents
画像処理装置、読み順設定方法及びプログラム Download PDFInfo
- Publication number
- JP2008225964A JP2008225964A JP2007064710A JP2007064710A JP2008225964A JP 2008225964 A JP2008225964 A JP 2008225964A JP 2007064710 A JP2007064710 A JP 2007064710A JP 2007064710 A JP2007064710 A JP 2007064710A JP 2008225964 A JP2008225964 A JP 2008225964A
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- reading order
- correction
- image area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Character Input (AREA)
- Document Processing Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】 文書画像に設定される画像領域の修正に伴う読み順の変更作業を簡略化し、画像領域・読み順設定の利用性を高める。
【解決手段】 スキャナ入力された文書画像に対し、例えば、ＯＣＲの前処理として、処理対象の領域を所定の識別条件に従い分け、画像領域を設定、各領域に読み順を設定する。ユーザが設定領域の修正を指示すると、装置のソフトウェア処理で領域の修正に伴う読み順の順番を振り直す。領域を統合する修正をする場合、新規作成領域と重なる修正前の複数の領域を探索し（Ｓ３０３，３０４）、検出される複数の領域の重なり面積の最も大きい領域に付与されていた読み順を新規統合領域の読み順として引き継ぐ。従来読み順の修正に手間の掛かるユーザ操作を必要としてが、本願発明の自動処理により、解消される。
【選択図】 図１３
【解決手段】 スキャナ入力された文書画像に対し、例えば、ＯＣＲの前処理として、処理対象の領域を所定の識別条件に従い分け、画像領域を設定、各領域に読み順を設定する。ユーザが設定領域の修正を指示すると、装置のソフトウェア処理で領域の修正に伴う読み順の順番を振り直す。領域を統合する修正をする場合、新規作成領域と重なる修正前の複数の領域を探索し（Ｓ３０３，３０４）、検出される複数の領域の重なり面積の最も大きい領域に付与されていた読み順を新規統合領域の読み順として引き継ぐ。従来読み順の修正に手間の掛かるユーザ操作を必要としてが、本願発明の自動処理により、解消される。
【選択図】 図１３
Description
本発明は、画像処理装置に関し、詳細には、文字認識（ＯＣＲ）装置の前処理等として行われる処理対象の画像領域の抽出及び画像領域への読み順の設定機能を備えた画像処理装置、読み順設定方法及び前記読み順設定機能を実現するためのコンピュータプログラムに関する。
従来から、文書を電子データに変換する際、スキャナ等により入力した文書画像は、その画像種類に応じて文字領域、図表領域、写真領域などに領域分けをする。これは、画像種類の異なる領域にそれぞれに適した画像処理を用いることを可能にすること、或いは画像種類に対応する利用法を実現するためである。文書画像の領域識別に関しては、画素の連結成分矩形を分類し、ボトムアップ的に統合して文字領域とその他の領域を抽出する方法を開示した、下記特許文献１を例示することができる。
また、文字領域の抽出に関しては、領域内の文字を電子化データへ変換する文字認識（ＯＣＲ）の前処理として、処理対象の領域を特定するために必要なプロセスとしても用いられる。さらに、ＯＣＲによる認識結果は、言語で表現された文書内容を理解するためにも利用される。このような利用性を考慮すると、文書の構成、即ち文章のつながりを把握することも必要になる。
このため、この前処理では、ＯＣＲの対象となる文字領域の抽出とともに、抽出した複数の文字領域に読み順を付与して、ＯＣＲ以降の文書情報の利用性を低下させないようにしている。なお、複数の文字領域に付与した読み順は、ＯＣＲへの利用に限られるものではない。
文字領域への読み順の付与に関しては、各領域の勢力範囲という考え方で各領域の親子関係、兄弟関係を定義し、ツリー構造を作って読み順を決定する方法を開示した、下記特許文献２を例示することができる。
また、文字領域の抽出に関しては、領域内の文字を電子化データへ変換する文字認識（ＯＣＲ）の前処理として、処理対象の領域を特定するために必要なプロセスとしても用いられる。さらに、ＯＣＲによる認識結果は、言語で表現された文書内容を理解するためにも利用される。このような利用性を考慮すると、文書の構成、即ち文章のつながりを把握することも必要になる。
このため、この前処理では、ＯＣＲの対象となる文字領域の抽出とともに、抽出した複数の文字領域に読み順を付与して、ＯＣＲ以降の文書情報の利用性を低下させないようにしている。なお、複数の文字領域に付与した読み順は、ＯＣＲへの利用に限られるものではない。
文字領域への読み順の付与に関しては、各領域の勢力範囲という考え方で各領域の親子関係、兄弟関係を定義し、ツリー構造を作って読み順を決定する方法を開示した、下記特許文献２を例示することができる。
既存のＯＣＲソフトウェアには、上記のような方法を駆使した領域識別及び読み順設定を行う機能が組み込まれている。ただ、これらの機能に用いる認識系の技術は、どうしても100％の精度を出すのが難しく、画像のかすれ、つぶれ、ノイズやレイアウトが特殊な場合などの要因から、現状では、期待できる精度が出せない場合が多々ある。
こうしたときに、このＯＣＲソフトウェアの例では、全部認識してから認識した文字列を編集し、その結果をもとに、領域を修正するということも可能であるが、こうした修正なしで、抽出した領域そのものをコンテンツとして使用するような場合は、領域の修正を手動で行うのが最も望ましい。
自動で抽出した領域の大きさなどを手動で修正する、といった状況におけるユースケースを考えたときに、ＧＵＩ（Graphical User Interface）を利用した編集ツールを用いるのが便利であり、既存のＯＣＲソフトウェアでは、こういった機能を持っている。
特許第３２７８４７１号公報
特許第３２６９９１８号公報
こうしたときに、このＯＣＲソフトウェアの例では、全部認識してから認識した文字列を編集し、その結果をもとに、領域を修正するということも可能であるが、こうした修正なしで、抽出した領域そのものをコンテンツとして使用するような場合は、領域の修正を手動で行うのが最も望ましい。
自動で抽出した領域の大きさなどを手動で修正する、といった状況におけるユースケースを考えたときに、ＧＵＩ（Graphical User Interface）を利用した編集ツールを用いるのが便利であり、既存のＯＣＲソフトウェアでは、こういった機能を持っている。
ところで、既存のＯＣＲソフトウェアにより実現できる手動で行う修正は、領域の変更、削除及び新規作成の操作を組み合わせた、次の例に示すような作業手順により行われる。
即ち、望ましくは１領域にすべき領域が、複数に分割されているような場合は、普通、分割された領域をそれぞれ削除し、削除した領域を含む１領域を新たに作成するという手順で修正が行われる。この場合には、もちろん、分割された領域のうち一つを削除してしまい、残っている領域のサイズを変更して、削除した領域を含ませる、という手順でも可能で、およそ、これら２様の方法で行われる。なお、このような修正を「統合」ともいう。
また、望ましくは複数に分割すべき領域が、１領域に含まれている、上記統合と逆の場合は、先ずこの分割すべき領域の設定を削除してから、新たに２つの領域を作成するという方法が１つ。そして、分割すべき領域のサイズを縮めるとともに、縮めることによって設定が解除された領域に新たに付与する領域を作成するという方法のおよそ、２様の方法で行うことが可能である。なお、このような修正を「分割」ともいう。
上記した修正手順で、領域を新たに付加するという操作を行うと、付加された領域に対する読み順は、これまでに付けられた読み順の後の連番が振られる。
また、領域を削除するという操作を行うと、その結果として、領域に付与された読み順のデータも連動して変更される。この読み順の変更は、普通、削除された領域が最初からなかったものとされて読み順は、連番を振りなおす、という方法で行われる。
即ち、望ましくは１領域にすべき領域が、複数に分割されているような場合は、普通、分割された領域をそれぞれ削除し、削除した領域を含む１領域を新たに作成するという手順で修正が行われる。この場合には、もちろん、分割された領域のうち一つを削除してしまい、残っている領域のサイズを変更して、削除した領域を含ませる、という手順でも可能で、およそ、これら２様の方法で行われる。なお、このような修正を「統合」ともいう。
また、望ましくは複数に分割すべき領域が、１領域に含まれている、上記統合と逆の場合は、先ずこの分割すべき領域の設定を削除してから、新たに２つの領域を作成するという方法が１つ。そして、分割すべき領域のサイズを縮めるとともに、縮めることによって設定が解除された領域に新たに付与する領域を作成するという方法のおよそ、２様の方法で行うことが可能である。なお、このような修正を「分割」ともいう。
上記した修正手順で、領域を新たに付加するという操作を行うと、付加された領域に対する読み順は、これまでに付けられた読み順の後の連番が振られる。
また、領域を削除するという操作を行うと、その結果として、領域に付与された読み順のデータも連動して変更される。この読み順の変更は、普通、削除された領域が最初からなかったものとされて読み順は、連番を振りなおす、という方法で行われる。
ここで、従来のＯＣＲソフトウェアにより領域修正時に行われる読み順の付与について、領域修正が分割により行われる場合を例に、図１５〜２０を参照して説明する。
図１５〜１８は、分割すべき領域のサイズを縮めるとともに、縮めることによって設定が解除された領域に新たに付加する領域を作成する方法による例を示す。
領域を修正する際、先ず、図１５に示すように、ＧＵＩ画面２０に文書画像２１が表示される。この文書画像には、入力文書画像に対し領域の抽出処理がソフトウェアの予定する通り行われ、その結果として、領域を示す枠と各領域枠に対応して読み順の番号が付与されている。
ユーザは、この画面で編集ツールを用いることによって、修正を要求する入力操作を行うことができる。
この例では、図１６に示すように、文書画像２１中の読み順５を付けた領域のサイズを縮める。この後、図１７に示すように、読み順５の領域を縮めることによって設定が解除された領域に、新たに付加する領域を作成する。このとき、作成された新規領域には、ＯＣＲソフトにより自動で読み順が付与される。この例の場合、これまでに付けられた読み順１〜１０までを変更することなく、新規領域には、これまでに付けられた読み順１〜１０の後の連番として、１１が振られる。
図１５〜１８は、分割すべき領域のサイズを縮めるとともに、縮めることによって設定が解除された領域に新たに付加する領域を作成する方法による例を示す。
領域を修正する際、先ず、図１５に示すように、ＧＵＩ画面２０に文書画像２１が表示される。この文書画像には、入力文書画像に対し領域の抽出処理がソフトウェアの予定する通り行われ、その結果として、領域を示す枠と各領域枠に対応して読み順の番号が付与されている。
ユーザは、この画面で編集ツールを用いることによって、修正を要求する入力操作を行うことができる。
この例では、図１６に示すように、文書画像２１中の読み順５を付けた領域のサイズを縮める。この後、図１７に示すように、読み順５の領域を縮めることによって設定が解除された領域に、新たに付加する領域を作成する。このとき、作成された新規領域には、ＯＣＲソフトにより自動で読み順が付与される。この例の場合、これまでに付けられた読み順１〜１０までを変更することなく、新規領域には、これまでに付けられた読み順１〜１０の後の連番として、１１が振られる。
ここで、分割した領域同士は、同じ文字領域である等の理由から、読み順５が振られた領域の次の領域として、連番である読み順６を振ることが望ましいとすると、新規領域に振られた読み順１１を読み順６にスイッチする必要がある。
この読み順の変更は、ユーザ操作によって行うので、図１８に示すように、読み順の番号（図示の例では、読み順１１）の表示箇所に設けたキーを操作することにより、プルダウンで読み順１〜１１チェックボックス２１ｃが表示されるので、読み順６へのチェックにて、スイッチすることができる。
この読み順のスイッチは、読み順６が設定されている次の連番とダブルので、降順に次々に読み順のスイッチを行う必要がある。
つまり、新規領域を作成したときに、自動で付けられた読み順を変更すると、変更した読み順以降の連番を付けた読み順を降順に一つずつ変更するスイッチ操作を行わなければならず、変更操作に手間が掛かってしまう。
この読み順の変更は、ユーザ操作によって行うので、図１８に示すように、読み順の番号（図示の例では、読み順１１）の表示箇所に設けたキーを操作することにより、プルダウンで読み順１〜１１チェックボックス２１ｃが表示されるので、読み順６へのチェックにて、スイッチすることができる。
この読み順のスイッチは、読み順６が設定されている次の連番とダブルので、降順に次々に読み順のスイッチを行う必要がある。
つまり、新規領域を作成したときに、自動で付けられた読み順を変更すると、変更した読み順以降の連番を付けた読み順を降順に一つずつ変更するスイッチ操作を行わなければならず、変更操作に手間が掛かってしまう。
また、図１９，２０は、分割すべき領域を１領域に含む設定を先ず削除し、削除後に新たに各分割領域を作成する方法による例を示す。
この領域修正の際、先ず、図１９に示すように、ＧＵＩ画面２０に文書画像２１が表示される。この文書画像には、入力文書画像に対し領域の抽出処理が予定通り行われ、その結果として、領域を示す枠が付加されている。なお、同図には表示していないが、各領域枠に対応して読み順の番号が付与され、管理されている。
ユーザは、この画面で編集ツールを用いることによって、修正を要求する入力操作を行うことができる。
この例では、領域ｄ（図１９）を分割するので、先ずこの領域ｄを削除する指示を行う。削除した後、図２０（Ａ）に示すように、削除された領域に、新たに付加する領域ｄ１，ｄ２を作成する。このとき、作成された新規領域ｄ１，ｄ２には、ＯＣＲソフトにより自動で読み順が付与される。この例の場合、これまでに付けられた読み順を変更することなく、新規領域ｄ１，ｄ２には、これまでに付けられた読み順１〜８の後の連番を付ける。図２０（Ａ）に示す例では、新規領域ｄ１，ｄ２には、読み順９，１０が振られる。
この領域修正の際、先ず、図１９に示すように、ＧＵＩ画面２０に文書画像２１が表示される。この文書画像には、入力文書画像に対し領域の抽出処理が予定通り行われ、その結果として、領域を示す枠が付加されている。なお、同図には表示していないが、各領域枠に対応して読み順の番号が付与され、管理されている。
ユーザは、この画面で編集ツールを用いることによって、修正を要求する入力操作を行うことができる。
この例では、領域ｄ（図１９）を分割するので、先ずこの領域ｄを削除する指示を行う。削除した後、図２０（Ａ）に示すように、削除された領域に、新たに付加する領域ｄ１，ｄ２を作成する。このとき、作成された新規領域ｄ１，ｄ２には、ＯＣＲソフトにより自動で読み順が付与される。この例の場合、これまでに付けられた読み順を変更することなく、新規領域ｄ１，ｄ２には、これまでに付けられた読み順１〜８の後の連番を付ける。図２０（Ａ）に示す例では、新規領域ｄ１，ｄ２には、読み順９，１０が振られる。
ここで、新規領域ｄ１，ｄ２は、同じ文字領域である等の理由から、読み順３が振られた領域の次の領域として、連番である読み順４，５を振ることが望ましいとすると、新規領域に振られた読み順を振りなおす必要がある。
この読み順の変更は変更要求に応じて行うように、ユーザによる変更操作を案内する画面表示に従って行われる（図２０（Ｂ）の拡大図参照）。図２０（Ｂ）に示した読取順序変更の画面表示におけるメッセージに示すように、変更操作は、領域を１番から順にクリックする必要がある。
つまり、新規領域を作成したときに、自動で付けられた読み順を変更する場合には、読み順１から順番に領域ごとにクリック操作を全部の領域にわたって行わなければならず、変更操作に手間が掛かってしまう。
本発明は、文書画像の処理に係る従来技術の上記した問題に鑑みてなされたもので、その目的は、画像種類を分けるために文書画像に設定される画像領域を修正する際、修正に伴って行われる読み順の変更作業を簡略化し、画像領域への読み順機能の利用性の向上、延いては処理対象の画像領域の設定機能の有効性を高めることにある。
この読み順の変更は変更要求に応じて行うように、ユーザによる変更操作を案内する画面表示に従って行われる（図２０（Ｂ）の拡大図参照）。図２０（Ｂ）に示した読取順序変更の画面表示におけるメッセージに示すように、変更操作は、領域を１番から順にクリックする必要がある。
つまり、新規領域を作成したときに、自動で付けられた読み順を変更する場合には、読み順１から順番に領域ごとにクリック操作を全部の領域にわたって行わなければならず、変更操作に手間が掛かってしまう。
本発明は、文書画像の処理に係る従来技術の上記した問題に鑑みてなされたもので、その目的は、画像種類を分けるために文書画像に設定される画像領域を修正する際、修正に伴って行われる読み順の変更作業を簡略化し、画像領域への読み順機能の利用性の向上、延いては処理対象の画像領域の設定機能の有効性を高めることにある。
請求項１の発明は、入力画像を保存する記憶手段と、入力画像の中から処理対象の画像領域を分割、抽出する画像領域抽出手段と、入力画像を処理する画像処理手段と、前記画像領域抽出手段により抽出された複数領域の画像を前記画像処理手段で処理する際、前記記憶手段から処理対象画像を読み出す読み順を各画像領域に対し付与する読み順付与手段と、ユーザインターフェースを介して、前記画像領域抽出手段で抽出された画像領域に対する修正要求を受け付ける修正要求受理手段と、前記修正要求受理手段で受け取った修正要求に応じて新規に作成される画像領域と修正によって削除されることになる画像領域との間に重なりがあることを条件に、削除される画像領域に付与されていた読み順に連なる順番を新規画像領域に付与する読み順修正手段を有する画像処理装置である。
請求項２の発明は、請求項１に記載された画像処理装置において、前記読み順修正手段は、修正後に削除される画像領域の行方向を認識する行方向認識手段と、前記画像領域間の重なりが、修正後に削除される１画像領域と領域を分け合った複数の新規画像領域との重なりによるものである場合に、前記行方向認識手段により得られた行方向に対する複数の新規画像領域の位置関係に基づいて、削除される画像領域に付与されていた読み順に連なる順番を付与する画像領域を決定する手段を備えたことを特徴とする。
請求項３の発明は、請求項１に記載された画像処理装置において、前記読み順修正手段は、新規に作成される画像領域と修正後に削除される画像領域との間における重なりの大きさを検出する重なり面積検出手段と、前記画像領域間の重なりが、修正後に削除される複数の画像領域と１新規画像領域との重なりによるものである場合に、前記重なり面積検出手段により得られた修正後に削除される複数の画像領域各々の重なり面積に基づいて、新規に作成される１画像領域の読み順を付与する画像領域を決定する手段を備えたことを特徴とする。
請求項４の発明は、請求項１乃至３のいずれかに記載された画像処理装置において、ユーザインターフェースに、前記読み順修正手段による修正結果を反映した画像領域に対応して付与された読み順の表示を行う表示手段と、修正後の画像領域に対する再修正の要求及び修正後の読み順の設定変更を要求するための操作手段を備えたことを特徴とする。
請求項５の発明は、入力画像の中から処理対象の画像領域を分割、抽出する画像領域抽出工程と、前記画像領域抽出工程によって抽出された複数の画像領域の画像を処理する際、入力画像を保存した記憶手段から処理対象画像を読み出す読み順を各画像領域に対し付与する読み順付与工程と、ユーザインターフェースを介して、前記画像領域抽出工程で抽出された画像領域に対する修正要求を受け付ける修正要求受理工程と、前記修正要求受理工程で受け取った修正要求に応じて新規に作成される画像領域と修正によって削除されることになる画像領域との間に重なりがあることを条件に、削除される画像領域に付与されていた読み順に連なる順番を新規画像領域に付与する読み順修正工程と、を有する読み順設定方法である。
請求項６の発明は、請求項５に記載された読み順設定方法において、前記読み順修正工程は、修正後に削除される画像領域の行方向を認識する行方向認識工程と、前記画像領域間の重なりが、修正後に削除される１画像領域と領域を分け合った複数の新規画像領域との重なりによるものである場合に、前記行方向認識工程により得られた行方向に対する複数の新規画像領域の位置関係に基づいて、削除される画像領域に付与されていた読み順に連なる順番を付与する画像領域を決定する工程を有することを特徴とする。
請求項７の発明は、請求項５に記載された読み順設定方法において、前記読み順修正工程は、新規に作成される画像領域と修正後に削除される画像領域との間における重なりの大きさを検出する重なり面積検出工程と、前記画像領域間の重なりが、修正後に削除される複数の画像領域と１新規画像領域との重なりによるものである場合に、前記重なり面積検出工程により得られた修正後に削除される複数の画像領域各々の重なり面積に基づいて、新規に作成される１画像領域の読み順を付与する画像領域を決定する工程を有することを特徴とする。
請求項８の発明は、請求項５乃至７のいずれかに記載された読み順設定方法において、前記読み順修正工程による修正結果を反映した画像領域に対応して付与された読み順の表示を行う表示工程と、修正後の画像領域に対する再修正の要求及び修正後の読み順の設定変更の要求を受け付ける受理工程を行うことにより、ユーザとのインターフェースを図るようにしたことを特徴とする。
請求項９の発明は、請求項５乃至７のいずれかに記載された読み順設定方法における、画像領域抽出工程、読み順付与工程、修正要求受理工程、読み順修正工程の各工程を画像処理装置のコンピュータに実行させるためのプログラムである。
請求項１０の発明は、請求項９に記載されたプログラムにおいて、請求項８に記載された表示工程及び受理工程を実行させるためのプログラムを連係させたことを特徴とする。
請求項２の発明は、請求項１に記載された画像処理装置において、前記読み順修正手段は、修正後に削除される画像領域の行方向を認識する行方向認識手段と、前記画像領域間の重なりが、修正後に削除される１画像領域と領域を分け合った複数の新規画像領域との重なりによるものである場合に、前記行方向認識手段により得られた行方向に対する複数の新規画像領域の位置関係に基づいて、削除される画像領域に付与されていた読み順に連なる順番を付与する画像領域を決定する手段を備えたことを特徴とする。
請求項３の発明は、請求項１に記載された画像処理装置において、前記読み順修正手段は、新規に作成される画像領域と修正後に削除される画像領域との間における重なりの大きさを検出する重なり面積検出手段と、前記画像領域間の重なりが、修正後に削除される複数の画像領域と１新規画像領域との重なりによるものである場合に、前記重なり面積検出手段により得られた修正後に削除される複数の画像領域各々の重なり面積に基づいて、新規に作成される１画像領域の読み順を付与する画像領域を決定する手段を備えたことを特徴とする。
請求項４の発明は、請求項１乃至３のいずれかに記載された画像処理装置において、ユーザインターフェースに、前記読み順修正手段による修正結果を反映した画像領域に対応して付与された読み順の表示を行う表示手段と、修正後の画像領域に対する再修正の要求及び修正後の読み順の設定変更を要求するための操作手段を備えたことを特徴とする。
請求項５の発明は、入力画像の中から処理対象の画像領域を分割、抽出する画像領域抽出工程と、前記画像領域抽出工程によって抽出された複数の画像領域の画像を処理する際、入力画像を保存した記憶手段から処理対象画像を読み出す読み順を各画像領域に対し付与する読み順付与工程と、ユーザインターフェースを介して、前記画像領域抽出工程で抽出された画像領域に対する修正要求を受け付ける修正要求受理工程と、前記修正要求受理工程で受け取った修正要求に応じて新規に作成される画像領域と修正によって削除されることになる画像領域との間に重なりがあることを条件に、削除される画像領域に付与されていた読み順に連なる順番を新規画像領域に付与する読み順修正工程と、を有する読み順設定方法である。
請求項６の発明は、請求項５に記載された読み順設定方法において、前記読み順修正工程は、修正後に削除される画像領域の行方向を認識する行方向認識工程と、前記画像領域間の重なりが、修正後に削除される１画像領域と領域を分け合った複数の新規画像領域との重なりによるものである場合に、前記行方向認識工程により得られた行方向に対する複数の新規画像領域の位置関係に基づいて、削除される画像領域に付与されていた読み順に連なる順番を付与する画像領域を決定する工程を有することを特徴とする。
請求項７の発明は、請求項５に記載された読み順設定方法において、前記読み順修正工程は、新規に作成される画像領域と修正後に削除される画像領域との間における重なりの大きさを検出する重なり面積検出工程と、前記画像領域間の重なりが、修正後に削除される複数の画像領域と１新規画像領域との重なりによるものである場合に、前記重なり面積検出工程により得られた修正後に削除される複数の画像領域各々の重なり面積に基づいて、新規に作成される１画像領域の読み順を付与する画像領域を決定する工程を有することを特徴とする。
請求項８の発明は、請求項５乃至７のいずれかに記載された読み順設定方法において、前記読み順修正工程による修正結果を反映した画像領域に対応して付与された読み順の表示を行う表示工程と、修正後の画像領域に対する再修正の要求及び修正後の読み順の設定変更の要求を受け付ける受理工程を行うことにより、ユーザとのインターフェースを図るようにしたことを特徴とする。
請求項９の発明は、請求項５乃至７のいずれかに記載された読み順設定方法における、画像領域抽出工程、読み順付与工程、修正要求受理工程、読み順修正工程の各工程を画像処理装置のコンピュータに実行させるためのプログラムである。
請求項１０の発明は、請求項９に記載されたプログラムにおいて、請求項８に記載された表示工程及び受理工程を実行させるためのプログラムを連係させたことを特徴とする。
本発明によれば、文書画像に設定される画像領域を修正する際、単純なサイズ拡大に相当する領域の修正、領域の分割修正、領域の統合修正のいずれの修正を行う場合にも、読み順の修正の手間が要らない領域修正を行うことが可能になり、画像領域への読み順機能の利用性の向上、延いては処理対象の画像領域の設定機能の有効性を高めることが可能になる。
また、修正時の領域の重なりなどでは自動で読み順を判別できない場合に限り、ユーザ操作による再設定処理を行うための手段を提供することにより、ユーザの負担を減らすことが可能になる。
また、コンピュータを、領域の修正に伴う読み順設定の自動化を実現する手段として機能させるためのプログラムを使用することによって、本発明を容易に実施することが可能になる。
また、修正時の領域の重なりなどでは自動で読み順を判別できない場合に限り、ユーザ操作による再設定処理を行うための手段を提供することにより、ユーザの負担を減らすことが可能になる。
また、コンピュータを、領域の修正に伴う読み順設定の自動化を実現する手段として機能させるためのプログラムを使用することによって、本発明を容易に実施することが可能になる。
本発明に係る実施形態を添付図に基づいて説明する。
以下に示す実施形態は、文書原稿をスキャナ等で読み取ることにより、文書画像を電子データ化し、入力した後、このデータを様々な形態で利用するために処理する文書画像処理に係る。処理の対象となる文書画像は、文字、図表、写真等の異なる種類の画像が任意にレイアウトされて１画像を構成するものである。
こうした文書画像を処理するに当たって、画像種類によって、文字領域、図表領域、写真領域等の領域を予め識別しておくことによって、それぞれの領域に適した処理法を用いることや、特定の画像領域を検索する、といった利用が開ける。
上記のような意図をもって、入力文書画像の中から処理対象の画像領域を識別、抽出する。なお、画像領域を抽出する方法は、既に実施段階の方法が存在し、ここでは、こうした既存の方法を適用することによって実施することが可能で、例えば、上記『背景技術』の項で述べたように、ＯＣＲの前処理で行われている方法を採用することとする。
ただ、既存の領域抽出方法は、文書画像の多様化の進展もあって、完全にユーザの要求を満足するものは得難い。このため、ＯＣＲソフトウェアにおける一連の処理プロセスで自動抽出され、得られる画像領域、読み順等の情報に対する修正等を行うことを可能にする機能（以下、この機能を「画像領域管理機能」という）を有する。即ち、抽出された画像領域には、入力文書画像を保存する記憶手段から処理すべき画像データを読み出すときの読み順が各画像領域に付与されているので、画像領域を修正する際に、画像領域の変更に伴って、読み順を付けなおし、これらのデータを変更し、管理可能とするために、画像領域管理機能が必要になる。
本発明の要旨は、この画像領域管理機能に係る。従って、以下の実施形態では、この機能を中心に説明する。
以下に示す実施形態は、文書原稿をスキャナ等で読み取ることにより、文書画像を電子データ化し、入力した後、このデータを様々な形態で利用するために処理する文書画像処理に係る。処理の対象となる文書画像は、文字、図表、写真等の異なる種類の画像が任意にレイアウトされて１画像を構成するものである。
こうした文書画像を処理するに当たって、画像種類によって、文字領域、図表領域、写真領域等の領域を予め識別しておくことによって、それぞれの領域に適した処理法を用いることや、特定の画像領域を検索する、といった利用が開ける。
上記のような意図をもって、入力文書画像の中から処理対象の画像領域を識別、抽出する。なお、画像領域を抽出する方法は、既に実施段階の方法が存在し、ここでは、こうした既存の方法を適用することによって実施することが可能で、例えば、上記『背景技術』の項で述べたように、ＯＣＲの前処理で行われている方法を採用することとする。
ただ、既存の領域抽出方法は、文書画像の多様化の進展もあって、完全にユーザの要求を満足するものは得難い。このため、ＯＣＲソフトウェアにおける一連の処理プロセスで自動抽出され、得られる画像領域、読み順等の情報に対する修正等を行うことを可能にする機能（以下、この機能を「画像領域管理機能」という）を有する。即ち、抽出された画像領域には、入力文書画像を保存する記憶手段から処理すべき画像データを読み出すときの読み順が各画像領域に付与されているので、画像領域を修正する際に、画像領域の変更に伴って、読み順を付けなおし、これらのデータを変更し、管理可能とするために、画像領域管理機能が必要になる。
本発明の要旨は、この画像領域管理機能に係る。従って、以下の実施形態では、この機能を中心に説明する。
図１は、本実施形態の文書画像処理装置のハードウェア構成の概要を示す。同図に示す構成は、文書画像をデジタル処理する文書画像処理装置の構成を示すものである。
図１の装置構成において、スキャナ１０１は、文書原稿を読み取ることにより、文書画像を電子データに変換し、入力する装置である。
ＣＰＵ（Central Processing Unit）１０２は、文書画像処理装置全体を制御するコントローラとして機能し、制御下に置くスキャナ１０１，メモリ１０３，ワークエリアＲＡＭ（Random Access Memory）１０４，プログラム格納用のＲＯＭ（Read Only Memory）／ＲＡＭ１０５，ＣＤ（Compact Disc）−ＲＯＭ／ＦＤドライブ１０６，ディスプレイ１０７，ポインティングデバイス１０８，印字装置１０９それぞれをバスで接続する。動作の際、プログラム格納用のＲＯＭ／ＲＡＭ１０５から、又はＣＤ−ＲＯＭ／ＦＤドライブ１０６により駆動される記憶媒体から、それぞれの記憶部に格納された制御プログラムから処理要求に対応するプログラムを読み出し、ワークエリアＲＡＭ１０４を用いて、該プログラムによる処理を実行する。文書画像データに係る処理は、メモリ１０３への文書画像の蓄積、印字装置１０９による出力等のデータ処理、或いはＯＣＲ処理のほか、こうした処理の一環として、後記で詳述する画像領域管理機能に係る処理があり、これらの処理をユーザの処理要求に応じ、それぞれのプログラムを動作させることにより実行する。
メモリ１０３は、入力に伴う処理を行った後の文書画像データを格納し、必要に応じ、ディスプレイ１０７の表示に用い、又印字装置１０９で印字用のデータとして用いるために取り出される。また、メモリ１０３は、文書画像データに付加する情報として、後記で詳述する処理対象の画像領域や読み順のデータを管理情報として保管するために使用される。
図１の装置構成において、スキャナ１０１は、文書原稿を読み取ることにより、文書画像を電子データに変換し、入力する装置である。
ＣＰＵ（Central Processing Unit）１０２は、文書画像処理装置全体を制御するコントローラとして機能し、制御下に置くスキャナ１０１，メモリ１０３，ワークエリアＲＡＭ（Random Access Memory）１０４，プログラム格納用のＲＯＭ（Read Only Memory）／ＲＡＭ１０５，ＣＤ（Compact Disc）−ＲＯＭ／ＦＤドライブ１０６，ディスプレイ１０７，ポインティングデバイス１０８，印字装置１０９それぞれをバスで接続する。動作の際、プログラム格納用のＲＯＭ／ＲＡＭ１０５から、又はＣＤ−ＲＯＭ／ＦＤドライブ１０６により駆動される記憶媒体から、それぞれの記憶部に格納された制御プログラムから処理要求に対応するプログラムを読み出し、ワークエリアＲＡＭ１０４を用いて、該プログラムによる処理を実行する。文書画像データに係る処理は、メモリ１０３への文書画像の蓄積、印字装置１０９による出力等のデータ処理、或いはＯＣＲ処理のほか、こうした処理の一環として、後記で詳述する画像領域管理機能に係る処理があり、これらの処理をユーザの処理要求に応じ、それぞれのプログラムを動作させることにより実行する。
メモリ１０３は、入力に伴う処理を行った後の文書画像データを格納し、必要に応じ、ディスプレイ１０７の表示に用い、又印字装置１０９で印字用のデータとして用いるために取り出される。また、メモリ１０３は、文書画像データに付加する情報として、後記で詳述する処理対象の画像領域や読み順のデータを管理情報として保管するために使用される。
ワークエリアＲＡＭ１０４は、ＣＰＵ１０２がプログラムを実行する際の一時的な記憶場所として使われるメモリで、スキャナ１０１で読み取った文書画像データのほか、処理要求時にＧＵＩを通じて行われるユーザの入力情報等、装置内で生成される各種のデータを一時的に保存する場所としても使われる。
プログラム格納ＲＯＭ／ＲＡＭ１０５は、文書画像処理装置を動作させるプログラムや関連データを記憶するメモリで、ＣＰＵ１０２はここに記憶されているプログラムを読み込んで、動作を実行する。
ＣＤ−ＲＯＭ／ＦＤドライブ１０６は、リムーバブルな記憶媒体であるＣＤ，ＦＤを使用するための駆動装置で、更新プログラムを導入する際などに用いられる。
ディスプレイ１０７は、ポインティングデバイス１０８と連係してＧＵＩの要素としての表示部を提供する。ＧＵＩは、ディスプレイ１０７の画面を通してユーザの処理要求を受け付け、処理結果を画面に出力する、という動作によりユーザとの間のインターフェースとして機能する。本実施形態では、要求に応じて処理された文書画像データを用いることによって、ＧＵＩ画面に文書画像を表示することで、処理結果を知ることを可能にするが、そのほかにも、画像領域管理機能による動作時に、後記で詳述する処理対象の画像領域や読み順のデータを表示することで、設定をチェックし、必要に応じ設定された領域や読み順の修正を行うための入力画面を表示する。
ポインティングデバイス１０８は、マウス、タブレットとペンの組み合わせ等の様々な形態の入力デバイスを使用できる。ディスプレイ１０７の画面上のポインティング操作により、後記で詳述する画像領域管理機能の動作時に、処理対象の画像領域や読み順の設定データの修正要求に係る情報の入力を行う。
印字装置１０９は、印字要求に応じて、記録用紙への印字を行う装置で、処理要求が入力文書画像のプリント出力である場合には、記録用紙への印字を行い、これを処理結果として出力する。
プログラム格納ＲＯＭ／ＲＡＭ１０５は、文書画像処理装置を動作させるプログラムや関連データを記憶するメモリで、ＣＰＵ１０２はここに記憶されているプログラムを読み込んで、動作を実行する。
ＣＤ−ＲＯＭ／ＦＤドライブ１０６は、リムーバブルな記憶媒体であるＣＤ，ＦＤを使用するための駆動装置で、更新プログラムを導入する際などに用いられる。
ディスプレイ１０７は、ポインティングデバイス１０８と連係してＧＵＩの要素としての表示部を提供する。ＧＵＩは、ディスプレイ１０７の画面を通してユーザの処理要求を受け付け、処理結果を画面に出力する、という動作によりユーザとの間のインターフェースとして機能する。本実施形態では、要求に応じて処理された文書画像データを用いることによって、ＧＵＩ画面に文書画像を表示することで、処理結果を知ることを可能にするが、そのほかにも、画像領域管理機能による動作時に、後記で詳述する処理対象の画像領域や読み順のデータを表示することで、設定をチェックし、必要に応じ設定された領域や読み順の修正を行うための入力画面を表示する。
ポインティングデバイス１０８は、マウス、タブレットとペンの組み合わせ等の様々な形態の入力デバイスを使用できる。ディスプレイ１０７の画面上のポインティング操作により、後記で詳述する画像領域管理機能の動作時に、処理対象の画像領域や読み順の設定データの修正要求に係る情報の入力を行う。
印字装置１０９は、印字要求に応じて、記録用紙への印字を行う装置で、処理要求が入力文書画像のプリント出力である場合には、記録用紙への印字を行い、これを処理結果として出力する。
次に、図１にハードウェア構成を示した文書画像処理装置が有する画像領域管理機能に係る実施形態を説明する。なお、以下では、ＯＣＲソフトウェアによる処理プロセスを例にして説明する。
ＯＣＲソフトウェアによる処理では、入力文書画像に対し、処理プロセスにおける前処理として、入力された文書画像に対し、自動で処理対象の画像領域を識別条件に従って分け、画像領域を抽出し、抽出された領域に各々読み順を付与する。なお、画像領域の識別・抽出方法は、本願発明の要旨とするところではないので、この実施形態では、詳細な説明は省く。また、読み順について、説明を付け加えると、読み順は、処理すべき画像データを記憶手段から読み出すときの順番として、抽出された画像領域にそれぞれ付与されるものであるから、文書内容を理解するために必要な文書の構成、即ち画像領域の配列、文章領域のつながり等によって定められる（上記特許文献２、参照）。ここでは、領域抽出とともに自動で行う読み順の付与は、既存のＯＣＲソフトウェアに採用されている方法を用いることとし、詳細な説明は省略する。
ＯＣＲソフトウェアによる処理では、入力文書画像に対し、処理プロセスにおける前処理として、入力された文書画像に対し、自動で処理対象の画像領域を識別条件に従って分け、画像領域を抽出し、抽出された領域に各々読み順を付与する。なお、画像領域の識別・抽出方法は、本願発明の要旨とするところではないので、この実施形態では、詳細な説明は省く。また、読み順について、説明を付け加えると、読み順は、処理すべき画像データを記憶手段から読み出すときの順番として、抽出された画像領域にそれぞれ付与されるものであるから、文書内容を理解するために必要な文書の構成、即ち画像領域の配列、文章領域のつながり等によって定められる（上記特許文献２、参照）。ここでは、領域抽出とともに自動で行う読み順の付与は、既存のＯＣＲソフトウェアに採用されている方法を用いることとし、詳細な説明は省略する。
図２は、画像領域の抽出結果の１例を示すものである。同図は、１枚の文書原稿を読み取り、入力された文書画像１０に対し、画像領域の識別・抽出を行い、得られた各画像領域を枠囲いした領域Ａ１〜Ａ５として示す。ここでは、同図に示すように、５つの領域Ａ１〜Ａ５が抽出されている。従って、抽出された５領域それぞれを後のＯＣＲ処理を行う際に処理単位として利用することができる。なお、同図示の例は、抽出された５つの領域の画像の種類を領域の識別・抽出の条件にしていないが、画像の種類を条件にすれば、さらに細かく処理対象へ適応することが可能になる。
次いで、上記のようにして、抽出された画像領域それぞれには、読み順が既存のソフトウェアを用いて自動で付与する。図２の例では、５つの領域の画像の種類は異ならないので、各領域の位置条件による読み順付与ルールに従い、領域Ａ１〜Ａ５の全画像領域に連続番号で読み順を付与する。
画像領域の抽出と、抽出された領域への読み順付与を行い、得られる情報は、文書画像の管理情報として、例えばテーブル形式で管理される。
図３は、画像領域情報の管理テーブルの１例を示す。同図に示す管理テーブルは、抽出した画像領域Ａ１〜Ａ５のそれぞれに関連付けて、領域の座標として始点の（ｘ，ｙ）座標と終点の（ｘ，ｙ）座標、及び読み順として（１）〜（５）の連続番号を記載する。
次いで、上記のようにして、抽出された画像領域それぞれには、読み順が既存のソフトウェアを用いて自動で付与する。図２の例では、５つの領域の画像の種類は異ならないので、各領域の位置条件による読み順付与ルールに従い、領域Ａ１〜Ａ５の全画像領域に連続番号で読み順を付与する。
画像領域の抽出と、抽出された領域への読み順付与を行い、得られる情報は、文書画像の管理情報として、例えばテーブル形式で管理される。
図３は、画像領域情報の管理テーブルの１例を示す。同図に示す管理テーブルは、抽出した画像領域Ａ１〜Ａ５のそれぞれに関連付けて、領域の座標として始点の（ｘ，ｙ）座標と終点の（ｘ，ｙ）座標、及び読み順として（１）〜（５）の連続番号を記載する。
ＯＣＲソフトウェアは、上記のようにして行うプログラムの処理によって、入力文書画像に対し、画像領域の抽出を経て、領域・読み順の設定処理を行うが、この処理による領域設定に誤りが生じることは避けられない。そこで、設定した画像領域へのユーザの修正要求を受け付け、自動設定の誤りを正すことを可能にする。
画像領域の設定の修正は、ＯＣＲの前処理として領域・読み順の設定処理を自動で行った後、ＧＵＩを通してその処理結果をユーザに示す画面で、ユーザの入力操作により要求を受け付ける、といった方法により、処理を開始させる。
ユーザが手動で行う修正処理は、ＧＵＩを通して編集ツールを用いて行うようにする。即ち、編集ツールによる画像領域の変更、削除及び新規作成の操作を組み合わせた作業手順により、領域の拡張、分割、統合を基本形態とする領域修正を行う。
ここに、修正の形態が領域の統合又は分割である場合には、新規に領域を設定することになるので、当然、読み順に不具合が生じるので、読み順を振りなおす必要がある。このために、従来では、ユーザの入力操作により読み順の設定を変更することを可能にしているが、手間が掛かってしまう。
また、修正の形態が領域の拡張である場合に、その修正が設定された領域の削除を経て行われると、従来の読み順の付与方法では、読み順に不具合が生じ（上記［発明が解決しようとする課題］の記述、参照）、領域の分割又は統合におけると同様に、手間が掛かるという問題が生じる。
そこで、本実施形態では、領域の修正処理によって、設定された領域が削除されても、読み順の不具合ができる限り起きない設定を自動で行えるようにする。
次の「実施形態１」〜「実施形態３」には、領域の拡張、分割、統合にそれぞれ対応して、不具合が起きない読み順の自動設定を可能にする画像領域の修正処理について、実施形態を示す。
画像領域の設定の修正は、ＯＣＲの前処理として領域・読み順の設定処理を自動で行った後、ＧＵＩを通してその処理結果をユーザに示す画面で、ユーザの入力操作により要求を受け付ける、といった方法により、処理を開始させる。
ユーザが手動で行う修正処理は、ＧＵＩを通して編集ツールを用いて行うようにする。即ち、編集ツールによる画像領域の変更、削除及び新規作成の操作を組み合わせた作業手順により、領域の拡張、分割、統合を基本形態とする領域修正を行う。
ここに、修正の形態が領域の統合又は分割である場合には、新規に領域を設定することになるので、当然、読み順に不具合が生じるので、読み順を振りなおす必要がある。このために、従来では、ユーザの入力操作により読み順の設定を変更することを可能にしているが、手間が掛かってしまう。
また、修正の形態が領域の拡張である場合に、その修正が設定された領域の削除を経て行われると、従来の読み順の付与方法では、読み順に不具合が生じ（上記［発明が解決しようとする課題］の記述、参照）、領域の分割又は統合におけると同様に、手間が掛かるという問題が生じる。
そこで、本実施形態では、領域の修正処理によって、設定された領域が削除されても、読み順の不具合ができる限り起きない設定を自動で行えるようにする。
次の「実施形態１」〜「実施形態３」には、領域の拡張、分割、統合にそれぞれ対応して、不具合が起きない読み順の自動設定を可能にする画像領域の修正処理について、実施形態を示す。
「実施形態１」
この実施形態は、設定された画像領域の修正が領域を拡張させる形態で行われる場合に対応可能とするものである。
図４は、本実施形態に係る画像領域・読み順の設定処理を実行するための処理フローを示す。この処理フローは、当該設定処理において、以下の処理例に示すように、画像領域を拡張させる形態で領域の修正が行われる場合に適用し得る。
図４に示す処理フローに従って行う、画像領域・読み順の設定及び修正の処理手順について、図５〜８の処理例を参照して説明する。
図５は、文書原稿をスキャナ１０１により読み取られ、電子データとして入力された文書画像１０を示す。この文書画像に対しＯＣＲの前処理として、処理対象の画像領域を設定する処理を行う。
まず、文書画像１０を識別条件に従って分け、画像領域を抽出（識別）する（ステップＳ１０１）。図６は、抽出結果を示し、入力された原稿の文書画像（図５）をもとに抽出した画像領域を枠で囲い、領域Ａ１〜Ａ４として示す。
次いで、抽出された領域Ａ１〜Ａ４に読み順を付与する（ステップＳ１０２）。読み順は、画像領域の配列等をもとに定められた所定の規則に従って付与される。図６の例における付与結果は、同図中の各領域に対応して付された読み順（１）〜（４）にて示す。
領域・読み順の設定処理を行った後の結果は、図６の文書画像１０として、ＧＵＩの画面を通してユーザに示され（ステップＳ１０３）、このＧＵＩ画面からユーザの操作により領域の修正要求が行われ、この要求に応えて領域修正処理（ステップＳ１０４）を開始する。
この実施形態は、設定された画像領域の修正が領域を拡張させる形態で行われる場合に対応可能とするものである。
図４は、本実施形態に係る画像領域・読み順の設定処理を実行するための処理フローを示す。この処理フローは、当該設定処理において、以下の処理例に示すように、画像領域を拡張させる形態で領域の修正が行われる場合に適用し得る。
図４に示す処理フローに従って行う、画像領域・読み順の設定及び修正の処理手順について、図５〜８の処理例を参照して説明する。
図５は、文書原稿をスキャナ１０１により読み取られ、電子データとして入力された文書画像１０を示す。この文書画像に対しＯＣＲの前処理として、処理対象の画像領域を設定する処理を行う。
まず、文書画像１０を識別条件に従って分け、画像領域を抽出（識別）する（ステップＳ１０１）。図６は、抽出結果を示し、入力された原稿の文書画像（図５）をもとに抽出した画像領域を枠で囲い、領域Ａ１〜Ａ４として示す。
次いで、抽出された領域Ａ１〜Ａ４に読み順を付与する（ステップＳ１０２）。読み順は、画像領域の配列等をもとに定められた所定の規則に従って付与される。図６の例における付与結果は、同図中の各領域に対応して付された読み順（１）〜（４）にて示す。
領域・読み順の設定処理を行った後の結果は、図６の文書画像１０として、ＧＵＩの画面を通してユーザに示され（ステップＳ１０３）、このＧＵＩ画面からユーザの操作により領域の修正要求が行われ、この要求に応えて領域修正処理（ステップＳ１０４）を開始する。
領域の修正要求は、編集ツールによる画像領域の変更、削除及び新規作成の操作を組み合わせた作業手順を伴う。
例えば、図６の文書画像における領域Ａ３を拡張する場合、ユーザによってこの領域Ａ３を削除する操作がなされると、この操作を受ける装置側では、一旦領域Ａ３を囲っていた枠を除いた図７の画面を表示することにより、この操作を受け付けた旨を知らせる。なお領域Ａ３の削除を受け、この領域の設定データを消去するが、後述する読み順の自動変更の処理に必要な情報であるから、一時的に領域Ａ３の位置及び読み順のデータをメモリに保存しておく。また、このとき、領域Ａ３の削除を受け、この領域の読み順（３）も消去するので、読み順（３）以降の読み順が変更される。なお、同図では、変更予定の領域に該当する領域Ａ４へ、一旦、読み順（３’）を付けている。
上記のように、領域Ａ３を削除した後、削除された領域Ａ３を含む形で、領域を設定し直すことによって、図８の領域Ａ３+として、元の領域Ａ３を拡張した領域を指示すると、新たに、同図中の「１．」を領域に加えた枠囲いの領域が確認画面として表示され、実行を指示すると、領域の修正が確定する。
この領域修正に伴い、読み順を改めて定める必要がある。なお、この場合、領域Ａ３+は、削除された領域に新たに作成したので、この領域を読み順（５）とする（図８、参照）。なお、付与された読み順は、次に示す読み順の改定を行うまで、一時的に付与されるものである。
例えば、図６の文書画像における領域Ａ３を拡張する場合、ユーザによってこの領域Ａ３を削除する操作がなされると、この操作を受ける装置側では、一旦領域Ａ３を囲っていた枠を除いた図７の画面を表示することにより、この操作を受け付けた旨を知らせる。なお領域Ａ３の削除を受け、この領域の設定データを消去するが、後述する読み順の自動変更の処理に必要な情報であるから、一時的に領域Ａ３の位置及び読み順のデータをメモリに保存しておく。また、このとき、領域Ａ３の削除を受け、この領域の読み順（３）も消去するので、読み順（３）以降の読み順が変更される。なお、同図では、変更予定の領域に該当する領域Ａ４へ、一旦、読み順（３’）を付けている。
上記のように、領域Ａ３を削除した後、削除された領域Ａ３を含む形で、領域を設定し直すことによって、図８の領域Ａ３+として、元の領域Ａ３を拡張した領域を指示すると、新たに、同図中の「１．」を領域に加えた枠囲いの領域が確認画面として表示され、実行を指示すると、領域の修正が確定する。
この領域修正に伴い、読み順を改めて定める必要がある。なお、この場合、領域Ａ３+は、削除された領域に新たに作成したので、この領域を読み順（５）とする（図８、参照）。なお、付与された読み順は、次に示す読み順の改定を行うまで、一時的に付与されるものである。
本実施形態では、この領域修正に伴う、読み順の改定を装置側で次の決定処理により行う（ステップＳ１０５）。即ち、新規に作成される画像領域と修正前にあった画像領域（削除された領域）との間に重なりがあることを条件に、修正前にあった画像領域に付与されていた読み順を新規画像領域に付与する。
ここに、上記した領域の重なりは、重なりが所定の割合以上あることを条件とし、この条件を満たすか、否かの判断を検出結果として得る検出方法を用いる。この方法で検出した重なり具合により、改定する読み順を決める。つまり、重なりが所定の割合以上ある、ということで、小さなごみ領域による誤検出を回避し、適正な領域のみを対象として検出できる。よって、この検出結果が得られれば、修正前にあった画像領域に付与されていた読み順を新規画像領域に付与する。
ここに、上記した領域の重なりは、重なりが所定の割合以上あることを条件とし、この条件を満たすか、否かの判断を検出結果として得る検出方法を用いる。この方法で検出した重なり具合により、改定する読み順を決める。つまり、重なりが所定の割合以上ある、ということで、小さなごみ領域による誤検出を回避し、適正な領域のみを対象として検出できる。よって、この検出結果が得られれば、修正前にあった画像領域に付与されていた読み順を新規画像領域に付与する。
図６〜８に示した例では、この処理は、図６に示した修正前の文書画像１０に対して設定された領域Ａ３の位置データ（先の手順でメモリに保存）と、新規に作成された図８に示した修正後の文書画像１０に対して設定された領域Ａ３＋の位置データをもとに、これらの領域間の座標の重なりの面積を求め、所定の面積以上の重なりがあるか、否かにより重なり具合の検出結果を得る。
この例では、元の領域Ａ３（図６）を拡張した領域Ａ３+（図８）は、新たに「１．」の領域を加えただけであるから、大部分が重なるので、所定の面積以上の重なりがある、との検出結果を得る。従って、修正前にあった領域Ａ３に付与されていた読み順（３）を新規画像領域Ａ３+に付与する（図８中には、変更を読み順（５）→（３）にて示す）。
また、新規画像領域Ａ３+への読み順（３）の付与に伴い、読み順（３）以降の読み順を付与した領域の読み順が変更される。即ち、領域Ａ４に一旦付与した読み順（３’）を変更して、新規画像領域Ａ３+への読み順（３）の連番である読み順（４）を付与する（図８中には、変更を読み順（３’）→（４）にて示す）。
この後、修正結果として、領域と読み順をＧＵＩ画面に表示し（ステップＳ１０６）、ユーザの確認を経て、この処理フローを終える。
上記のように、単純な領域の拡張、といった領域修正を行う場合にも、領域修正に伴う、読み順の改定を装置側の処理により行うようにしたことで、読み順の修正の手間を掛けずに領域修正を行うことが可能になり、従来法の問題を解消し、画像領域への読み順機能の利用性の向上、延いては処理対象の画像領域の設定機能の有効性を高めることが可能になる。
この例では、元の領域Ａ３（図６）を拡張した領域Ａ３+（図８）は、新たに「１．」の領域を加えただけであるから、大部分が重なるので、所定の面積以上の重なりがある、との検出結果を得る。従って、修正前にあった領域Ａ３に付与されていた読み順（３）を新規画像領域Ａ３+に付与する（図８中には、変更を読み順（５）→（３）にて示す）。
また、新規画像領域Ａ３+への読み順（３）の付与に伴い、読み順（３）以降の読み順を付与した領域の読み順が変更される。即ち、領域Ａ４に一旦付与した読み順（３’）を変更して、新規画像領域Ａ３+への読み順（３）の連番である読み順（４）を付与する（図８中には、変更を読み順（３’）→（４）にて示す）。
この後、修正結果として、領域と読み順をＧＵＩ画面に表示し（ステップＳ１０６）、ユーザの確認を経て、この処理フローを終える。
上記のように、単純な領域の拡張、といった領域修正を行う場合にも、領域修正に伴う、読み順の改定を装置側の処理により行うようにしたことで、読み順の修正の手間を掛けずに領域修正を行うことが可能になり、従来法の問題を解消し、画像領域への読み順機能の利用性の向上、延いては処理対象の画像領域の設定機能の有効性を高めることが可能になる。
「実施形態２」
この実施形態は、設定された画像領域の修正が領域を分割する形態で行われる場合に対応可能とするものである。
図９は、画像領域を分割する形態で領域の修正が行われる場合に適用し得る本実施形態に係る処理フローを示す。なお、ここでは、画像領域を分割する形態で行われる修正処理に絞って説明するので、この処理フローには、修正前に行う画像領域・読み順を設定する処理手順を示していない。画像領域・読み順を設定する処理は、上記の実施形態１に記したと同様に行われる。従って、この処理手順を示した図４のステップＳ１０１〜Ｓ１０３に関する記載を参照することとし、この処理手順については、記載を省略する。
図９に示す処理フローに従って行う、画像領域・読み順の修正処理手順について、図１０に示す処理例を参照して説明する。
図１０（Ａ）は、文書原稿をスキャナ１０１により読み取られ、電子データとして入力された文書画像１０に対しＯＣＲの前処理として、処理対象の画像領域を設定する処理を行った後の文書画像を示す。図１０の（Ａ）には、設定処理の結果が、枠囲いした画像領域Ａ１，Ａ２，・・，Ａｎ，・・として示され、また、各画像領域には、読み順（１），（２），・・，（ｎ），・・が付与されている。
この実施形態は、設定された画像領域の修正が領域を分割する形態で行われる場合に対応可能とするものである。
図９は、画像領域を分割する形態で領域の修正が行われる場合に適用し得る本実施形態に係る処理フローを示す。なお、ここでは、画像領域を分割する形態で行われる修正処理に絞って説明するので、この処理フローには、修正前に行う画像領域・読み順を設定する処理手順を示していない。画像領域・読み順を設定する処理は、上記の実施形態１に記したと同様に行われる。従って、この処理手順を示した図４のステップＳ１０１〜Ｓ１０３に関する記載を参照することとし、この処理手順については、記載を省略する。
図９に示す処理フローに従って行う、画像領域・読み順の修正処理手順について、図１０に示す処理例を参照して説明する。
図１０（Ａ）は、文書原稿をスキャナ１０１により読み取られ、電子データとして入力された文書画像１０に対しＯＣＲの前処理として、処理対象の画像領域を設定する処理を行った後の文書画像を示す。図１０の（Ａ）には、設定処理の結果が、枠囲いした画像領域Ａ１，Ａ２，・・，Ａｎ，・・として示され、また、各画像領域には、読み順（１），（２），・・，（ｎ），・・が付与されている。
この設定結果は、図１０（Ａ）に示すような文書画像１０として、ＧＵＩの画面を通してユーザに示されるので、このＧＵＩ画面からユーザの操作により領域の修正要求が行われ、この要求に応えて図９の領域修正処理のフローを開始する。
領域の修正要求は、編集ツールによる画像領域の変更、削除及び新規作成の操作を組み合わせた作業手順を伴う。
例えば、図１０（Ａ）の文書画像における領域Ａｎを分割する場合、ユーザによってこの領域Ａｎを削除する操作がなされると、この操作を受ける装置側では、領域Ａｎの設定データを消去するが、後述する読み順の自動変更の処理に必要な情報であるから、一時的に領域Ａｎの位置及び読み順のデータをメモリに保存しておく（ステップＳ２０１）。
このように、領域Ａｎを削除した後、削除された領域Ａｎを分け合う形で、２領域を設定し直し、図１０（Ｂ）の領域ＡＸ，領域ＡＸ＋１として、元の領域Ａｎを分割する領域の作成を指示すると、確認画面として、２分割した枠囲いの領域が表示され、ここで実行を指示すると、領域の修正が確定する（ステップＳ２０２）。
この領域修正に伴い、読み順を改めて定める必要がある。なお、この場合、領域ＡＸ，領域ＡＸ＋１は、削除された領域に新たに作成したので、次に示す読み順の改定を行うまで、この文書画像１０の領域に既に付与されている最終番の後の読み順が一時的に付与される。
領域の修正要求は、編集ツールによる画像領域の変更、削除及び新規作成の操作を組み合わせた作業手順を伴う。
例えば、図１０（Ａ）の文書画像における領域Ａｎを分割する場合、ユーザによってこの領域Ａｎを削除する操作がなされると、この操作を受ける装置側では、領域Ａｎの設定データを消去するが、後述する読み順の自動変更の処理に必要な情報であるから、一時的に領域Ａｎの位置及び読み順のデータをメモリに保存しておく（ステップＳ２０１）。
このように、領域Ａｎを削除した後、削除された領域Ａｎを分け合う形で、２領域を設定し直し、図１０（Ｂ）の領域ＡＸ，領域ＡＸ＋１として、元の領域Ａｎを分割する領域の作成を指示すると、確認画面として、２分割した枠囲いの領域が表示され、ここで実行を指示すると、領域の修正が確定する（ステップＳ２０２）。
この領域修正に伴い、読み順を改めて定める必要がある。なお、この場合、領域ＡＸ，領域ＡＸ＋１は、削除された領域に新たに作成したので、次に示す読み順の改定を行うまで、この文書画像１０の領域に既に付与されている最終番の後の読み順が一時的に付与される。
本実施形態では、この領域修正に伴う、読み順の改定を装置側で次の決定処理により行う。即ち、新規に作成される画像領域と修正前にあった画像領域（削除された領域）との間に重なりがあることを条件に、修正前にあった画像領域に付与されていた読み順に連なる順番を新規画像領域に付与する。
ここに、上記した領域の重なりは、重なりが所定の割合以上あることを条件とし、この条件を満たすか、否かの判断を検出結果として得る検出方法を用いる。この方法で検出した重なり具合により、読み順に連なる順番を付与する新規画像領域を特定する。つまり、重なりが所定の割合以上ある、ということで、小さなごみ領域による誤検出を回避し、適正な領域のみを対象として検出できる。この後、特定された領域が複数ある場合に所定の決定方法に従い読み順を決め、修正前にあった画像領域に付与されていた読み順に連なる順番を新規画像領域にそれぞれ付与する。
読み順を決定する方法は、連番を付与する対象として検出された複数の新規画像領域同士の位置関係に基づいて、削除される画像領域に付与されていた読み順に連なる順番を付与する画像領域を定める。ここでは、複数の新規画像領域の行方向をそれぞれ調べ、得られる行方向に対する各領域の位置関係によって先の順番とするか、後の順番とするかの判別、又は判別不能の判断を行い、付与する連番を指定する。
ここに、上記した領域の重なりは、重なりが所定の割合以上あることを条件とし、この条件を満たすか、否かの判断を検出結果として得る検出方法を用いる。この方法で検出した重なり具合により、読み順に連なる順番を付与する新規画像領域を特定する。つまり、重なりが所定の割合以上ある、ということで、小さなごみ領域による誤検出を回避し、適正な領域のみを対象として検出できる。この後、特定された領域が複数ある場合に所定の決定方法に従い読み順を決め、修正前にあった画像領域に付与されていた読み順に連なる順番を新規画像領域にそれぞれ付与する。
読み順を決定する方法は、連番を付与する対象として検出された複数の新規画像領域同士の位置関係に基づいて、削除される画像領域に付与されていた読み順に連なる順番を付与する画像領域を定める。ここでは、複数の新規画像領域の行方向をそれぞれ調べ、得られる行方向に対する各領域の位置関係によって先の順番とするか、後の順番とするかの判別、又は判別不能の判断を行い、付与する連番を指定する。
読み順を決定し、読み順を付与する処理のフローでは、まず、新規画像領域ＡＸ，領域ＡＸ＋１と所定の割合以上の重なりのある修正前にあった領域（先の手順でメモリに保存）を探索する（ステップＳ２０３）。なお、重なりは、比較する領域の位置データをもとに、領域間の座標の重なりの面積を求め、所定の面積以上の重なりがあるか、否かにより重なりの有無を検出する。
探索の結果、領域ＡＸ，領域ＡＸ＋１それぞれと重なる修正前にあった１画像領域（図１０（Ａ）の領域Ａｎ）を見付け、その領域に付与されていた読み順データ（図１０（Ａ）の読み順（ｎ））を取得する（ステップＳ２０４）。なお、ステップＳ２０３，Ｓ２０４の処理は、領域の修正が、画像領域を分割する形態で行われた場合に、その領域を特定し、修正前の読み順データを得るための処理である。
次に、上記のようにして、画像領域を分割する形態で行われる修正領域を特定し、得られた修正前の読み順をもとに、この読み順に連なる順番の読み順を振る処理を行う。つまり、修正前にあった１画像領域（図１０（Ａ）の領域Ａｎ）を分け合って設定された新規画像領域ＡＸ，領域ＡＸ＋１に修正前の読み順に連なる順番の読み順をどのように振るかを判断する。
探索の結果、領域ＡＸ，領域ＡＸ＋１それぞれと重なる修正前にあった１画像領域（図１０（Ａ）の領域Ａｎ）を見付け、その領域に付与されていた読み順データ（図１０（Ａ）の読み順（ｎ））を取得する（ステップＳ２０４）。なお、ステップＳ２０３，Ｓ２０４の処理は、領域の修正が、画像領域を分割する形態で行われた場合に、その領域を特定し、修正前の読み順データを得るための処理である。
次に、上記のようにして、画像領域を分割する形態で行われる修正領域を特定し、得られた修正前の読み順をもとに、この読み順に連なる順番の読み順を振る処理を行う。つまり、修正前にあった１画像領域（図１０（Ａ）の領域Ａｎ）を分け合って設定された新規画像領域ＡＸ，領域ＡＸ＋１に修正前の読み順に連なる順番の読み順をどのように振るかを判断する。
この読み順を振る処理のフローは、画像領域ＡＸ，領域ＡＸ＋１の行方向をそれぞれ調べ（ステップＳ２０５）、得られる行方向に対する各領域の位置関係で読み順の付与法、即ち、修正前の読み順に連なる順番の振り方を判別するようにし、判別結果に従い、読み順のスイッチを行うことにより、読み順の修正を行う（ステップＳ２０６）。
領域の位置関係で読み順を振る方法としては、例えば、次に示す (I) 〜 (III) の条件に応じ、読み順を振る方法をとることができる。
画像領域ＡＸと領域ＡＸ＋１がともに水平行である場合（I）
領域ＡＸが領域ＡＸ+１の上側 → 画像領域ＡＸは領域ＡＸ＋１の１つ前の読み順
領域ＡＸが領域ＡＸ+１の下側 → 画像領域ＡＸは領域ＡＸ＋１の１つ後の読み順
画像領域ＡＸと領域ＡＸ＋１がともに垂直行である場合（II）
領域ＡＸが領域ＡＸ+１の右側 → 画像領域ＡＸは領域ＡＸ＋１の１つ前の読み順
領域ＡＸが領域ＡＸ+１の左側 → 画像領域ＡＸは領域ＡＸ＋１の１つ後の読み順
画像領域ＡＸと領域ＡＸ＋１行方向同士が対角（水平と垂直）である場合（III）
読み順の判別が不能
領域の位置関係で読み順を振る方法としては、例えば、次に示す (I) 〜 (III) の条件に応じ、読み順を振る方法をとることができる。
画像領域ＡＸと領域ＡＸ＋１がともに水平行である場合（I）
領域ＡＸが領域ＡＸ+１の上側 → 画像領域ＡＸは領域ＡＸ＋１の１つ前の読み順
領域ＡＸが領域ＡＸ+１の下側 → 画像領域ＡＸは領域ＡＸ＋１の１つ後の読み順
画像領域ＡＸと領域ＡＸ＋１がともに垂直行である場合（II）
領域ＡＸが領域ＡＸ+１の右側 → 画像領域ＡＸは領域ＡＸ＋１の１つ前の読み順
領域ＡＸが領域ＡＸ+１の左側 → 画像領域ＡＸは領域ＡＸ＋１の１つ後の読み順
画像領域ＡＸと領域ＡＸ＋１行方向同士が対角（水平と垂直）である場合（III）
読み順の判別が不能
分割による領域修正において、分割領域の位置関係で読み順を振る方法として、上記 (I) 〜 (III) の条件に従って行う例を示したが、これらの条件では、読み順を判別できない場合として、次に示す領域修正がある。
領域と読み順の設定処理が予定通りに行われたときに得られる結果が、例えば、図１１に示すレイアウトの領域になるとする。
ところが、何らかの理由で、図１２（Ａ）の領域Ａ２に示すように、図１１の領域Ａ２と領域Ａ５を合わせた領域として設定処理が行われたとする。この場合、図１２（Ｂ）→図１２（Ｃ）に示すように、文書画像１０中の読み順（２）を付けた領域のサイズを縮め領域Ａ２−とし、設定が解除された領域に、新たに領域Ａ６を作成するか、或いは、図１２（Ａ）の領域Ａ２を削除し、削除した領域に新たに２つの領域（領域Ａ２−，領域Ａ６と同じになる）を作成することにより領域を分割する。
この場合、分割した２つの新規領域の間には、行方向に対する各領域の位置関係において、上記 (I) ， (II) において条件とした、上下、左右の違いが生じないので、上記 (I) ， (II) の判別ができない。ただ、この様なケースでは、分割された領域の読み順は連続しないことのほうが多いことは、経験上明らかである。よって、このようなケースの分割領域には、連番を付与することを考慮しなくてもよい。即ち、文書画像１０中の読み順（２）を付けた領域のサイズを縮め領域Ａ２−とした場合には、図１２（Ｃ）に示すように、領域Ａ２−には、元の領域Ａ２に付与された読み順（２）をそのまま引継ぎ、新規に作成した領域Ａ６には、最後の順番の読み順（６）を付与する。また、２つの新規領域を作成する場合には、連番を付ける必要がないので、図１１に示した領域設定時の付与ルールを適用して、同図の読み順を設定するようにすれば良い。
分割された領域の読み順を付与した後、上記の実施形態１に記したと同様に、修正結果として、領域と読み順をＧＵＩ画面に表示し（図４のステップＳ１０６、参照）、ユーザの確認を経て、この処理フローを終える。
上記のように、領域の分割、といった領域修正を行う場合にも、領域修正に伴う読み順の改定を装置側の処理により行うようにしたことで、読み順の修正の手間を掛けずに領域修正を行うことが可能になり、従来法の問題を解消し、画像領域への読み順機能の利用性の向上、延いては処理対象の画像領域の設定機能の有効性を高めることが可能になる。
領域と読み順の設定処理が予定通りに行われたときに得られる結果が、例えば、図１１に示すレイアウトの領域になるとする。
ところが、何らかの理由で、図１２（Ａ）の領域Ａ２に示すように、図１１の領域Ａ２と領域Ａ５を合わせた領域として設定処理が行われたとする。この場合、図１２（Ｂ）→図１２（Ｃ）に示すように、文書画像１０中の読み順（２）を付けた領域のサイズを縮め領域Ａ２−とし、設定が解除された領域に、新たに領域Ａ６を作成するか、或いは、図１２（Ａ）の領域Ａ２を削除し、削除した領域に新たに２つの領域（領域Ａ２−，領域Ａ６と同じになる）を作成することにより領域を分割する。
この場合、分割した２つの新規領域の間には、行方向に対する各領域の位置関係において、上記 (I) ， (II) において条件とした、上下、左右の違いが生じないので、上記 (I) ， (II) の判別ができない。ただ、この様なケースでは、分割された領域の読み順は連続しないことのほうが多いことは、経験上明らかである。よって、このようなケースの分割領域には、連番を付与することを考慮しなくてもよい。即ち、文書画像１０中の読み順（２）を付けた領域のサイズを縮め領域Ａ２−とした場合には、図１２（Ｃ）に示すように、領域Ａ２−には、元の領域Ａ２に付与された読み順（２）をそのまま引継ぎ、新規に作成した領域Ａ６には、最後の順番の読み順（６）を付与する。また、２つの新規領域を作成する場合には、連番を付ける必要がないので、図１１に示した領域設定時の付与ルールを適用して、同図の読み順を設定するようにすれば良い。
分割された領域の読み順を付与した後、上記の実施形態１に記したと同様に、修正結果として、領域と読み順をＧＵＩ画面に表示し（図４のステップＳ１０６、参照）、ユーザの確認を経て、この処理フローを終える。
上記のように、領域の分割、といった領域修正を行う場合にも、領域修正に伴う読み順の改定を装置側の処理により行うようにしたことで、読み順の修正の手間を掛けずに領域修正を行うことが可能になり、従来法の問題を解消し、画像領域への読み順機能の利用性の向上、延いては処理対象の画像領域の設定機能の有効性を高めることが可能になる。
「実施形態３」
この実施形態は、設定された画像領域の修正が領域を統合する形態で行われる場合に対応可能とするものである。
図１３は、画像領域を分割する形態で領域の修正が行われる場合に適用し得る本実施形態に係る処理フローを示す。なお、ここでは、画像領域を統合する形態で行われる修正処理に絞って説明するので、この処理フローには、修正前に行う画像領域・読み順を設定する処理手順を示していない。画像領域・読み順を設定する処理は、上記の実施形態１に記したと同様に行われる。従って、この処理手順を示した図４のステップＳ１０１〜Ｓ１０３に関する記載を参照することとし、この処理手順については、記載を省略する。
図１３に示す処理フローに従って行う画像領域・読み順の修正処理手順について、図１４に示す処理例を参照して説明する。
図１４（Ａ）は、文書原稿をスキャナ１０１により読み取られ、電子データとして入力された文書画像１０に対しＯＣＲの前処理として、処理対象の画像領域を設定する処理を行った後の文書画像を示す。図１４（Ａ）には、設定処理の結果が、枠囲いした画像領域Ａ１，Ａ２，・・，Ａｎ，・・，Ａm，・・として示され、また、各画像領域には、読み順（１），（２），・・，（ｎ），・・（ｍ）・・が付与されている。
この実施形態は、設定された画像領域の修正が領域を統合する形態で行われる場合に対応可能とするものである。
図１３は、画像領域を分割する形態で領域の修正が行われる場合に適用し得る本実施形態に係る処理フローを示す。なお、ここでは、画像領域を統合する形態で行われる修正処理に絞って説明するので、この処理フローには、修正前に行う画像領域・読み順を設定する処理手順を示していない。画像領域・読み順を設定する処理は、上記の実施形態１に記したと同様に行われる。従って、この処理手順を示した図４のステップＳ１０１〜Ｓ１０３に関する記載を参照することとし、この処理手順については、記載を省略する。
図１３に示す処理フローに従って行う画像領域・読み順の修正処理手順について、図１４に示す処理例を参照して説明する。
図１４（Ａ）は、文書原稿をスキャナ１０１により読み取られ、電子データとして入力された文書画像１０に対しＯＣＲの前処理として、処理対象の画像領域を設定する処理を行った後の文書画像を示す。図１４（Ａ）には、設定処理の結果が、枠囲いした画像領域Ａ１，Ａ２，・・，Ａｎ，・・，Ａm，・・として示され、また、各画像領域には、読み順（１），（２），・・，（ｎ），・・（ｍ）・・が付与されている。
この設定結果は、図１４（Ａ）に示すような文書画像１０として、ＧＵＩの画面を通してユーザに示されるので、このＧＵＩ画面からユーザの操作により領域の修正要求が行われ、この要求に応えて図１３の領域修正処理のフローを開始する。
領域の修正要求は、編集ツールによる画像領域の変更、削除及び新規作成の操作を組み合わせた作業手順を伴う。
例えば、図１４（Ａ）の文書画像における領域Ａｎと領域Ａｍを統合する場合、ユーザによってこれらの領域を削除する操作がなされると、この操作を受ける装置側では、領域Ａｎと領域Ａｍの設定データを消去するが、後述する読み順の自動変更の処理に必要な情報であるから、一時的に領域Ａｎと領域Ａｍの位置及び読み順のデータをメモリに保存しておく（ステップＳ３０１）。
このように、領域Ａｎと領域Ａｍを削除した後、削除されたこれらの領域を１つに統合する形で、領域を設定し直し、元の領域（Ａｎ＋Ａｍ）に相当する図１４（Ｂ）の領域ＡＸの作成を指示すると、確認画面として、統合した枠囲いの領域が表示され、ここで実行を指示すると、領域の修正が確定する（ステップＳ３０２）。
この領域修正に伴い、読み順を改めて定める必要がある。なお、この場合、領域ＡＸは、削除された領域に新たに作成したので、次に示す読み順の改定を行うまで、この文書画像１０の領域に既に付与されている最終版の後の読み順が一時的に付与される。
領域の修正要求は、編集ツールによる画像領域の変更、削除及び新規作成の操作を組み合わせた作業手順を伴う。
例えば、図１４（Ａ）の文書画像における領域Ａｎと領域Ａｍを統合する場合、ユーザによってこれらの領域を削除する操作がなされると、この操作を受ける装置側では、領域Ａｎと領域Ａｍの設定データを消去するが、後述する読み順の自動変更の処理に必要な情報であるから、一時的に領域Ａｎと領域Ａｍの位置及び読み順のデータをメモリに保存しておく（ステップＳ３０１）。
このように、領域Ａｎと領域Ａｍを削除した後、削除されたこれらの領域を１つに統合する形で、領域を設定し直し、元の領域（Ａｎ＋Ａｍ）に相当する図１４（Ｂ）の領域ＡＸの作成を指示すると、確認画面として、統合した枠囲いの領域が表示され、ここで実行を指示すると、領域の修正が確定する（ステップＳ３０２）。
この領域修正に伴い、読み順を改めて定める必要がある。なお、この場合、領域ＡＸは、削除された領域に新たに作成したので、次に示す読み順の改定を行うまで、この文書画像１０の領域に既に付与されている最終版の後の読み順が一時的に付与される。
本実施形態では、この領域修正に伴う、読み順の改定を装置側で次の決定処理により行う。即ち、新規に作成される画像領域と修正前にあった画像領域（削除された領域）との間に重なりがあることを条件に、修正前にあった画像領域に付与されていた読み順を新規画像領域に付与する。
ここに、上記した領域の重なりは、重なりが所定の割合以上あることと、統合前の複数の領域の中で重なり面積の最も大きい領域を検出結果として得る検出方法を用いる。この方法で検出した統合前の特定の領域に付与されていた読み順を新規の統合画像領域に付与する読み順とする。つまり、重なりが所定の割合以上あるということで、小さなごみ領域による誤検出を回避し、適正な領域のみを対象として検出し、この後、統合前の複数の領域の中で重なり面積の最も大きい領域を定め、その領域に付与されていた読み順を修正後の新規画像領域に付与する。
ここに、上記した領域の重なりは、重なりが所定の割合以上あることと、統合前の複数の領域の中で重なり面積の最も大きい領域を検出結果として得る検出方法を用いる。この方法で検出した統合前の特定の領域に付与されていた読み順を新規の統合画像領域に付与する読み順とする。つまり、重なりが所定の割合以上あるということで、小さなごみ領域による誤検出を回避し、適正な領域のみを対象として検出し、この後、統合前の複数の領域の中で重なり面積の最も大きい領域を定め、その領域に付与されていた読み順を修正後の新規画像領域に付与する。
この読み順を付与する処理のフローでは、まず、新規に統合した画像領域ＡＸと所定の割合以上の重なりのある、修正前にあった複数の領域（先の手順でメモリに保存）を探索し、該当する領域を特定する（ステップＳ３０３，Ｓ３０４）。なお、重なりは、比較する領域の位置データをもとに、領域間の座標の重なりの面積を求め、所定の面積以上の重なりがあるか、否かにより重なりの有無を検出する。
ここでは、領域を統合したので、領域ＡＸと重なる修正前にあった複数の画像領域（図１４（Ａ）では領域Ａｎ，Ａｍ）が探索される。また、領域を統合する際の操作は、画像領域の変更、削除の操作によって行われることから、統合する領域に重なる領域の探索対象として、削除操作で対応した領域（ステップＳ３０３）と画像領域のサイズ変更操作で対応した領域（ステップＳ３０４）を探索し、重なり領域を見付ける。
探索結果として、統合した１領域に重なる複数の画像領域（図１４（Ａ）では領域Ａｎ，Ａｍ）が得られるので、得た複数の領域の中で最も重なりの大きい領域（図１４（Ａ）では領域Ａｎ）を検出する（ステップＳ３０５）。
次に、検出した最も重なりの大きい領域に対応する読み順として付与されていた順番を統合した領域に付与する（ステップＳ３０６）。図１４の例では、修正前にあった領域Ａｎ（図１０（Ａ））の読み順（ｎ）を統合領域Ａｘ（図１０（Ｂ））の読み順として付与する。
統合された領域の読み順を付与した後、上記実施形態１に記したと同様に、修正結果として、領域と読み順をＧＵＩ画面に表示し（図４のステップＳ１０６、参照）、ユーザの確認を経て、この処理フローを終える。
上記のように、領域の統合といった領域修正を行う場合にも、領域修正に伴う読み順の改定を装置側の処理により行うようにしたことで、読み順の修正の手間を掛けずに領域修正を行うことが可能になり、従来法の問題を解消し、画像領域への読み順機能の利用性の向上、延いては処理対象の画像領域の設定機能の有効性を高めることが可能になる。
ここでは、領域を統合したので、領域ＡＸと重なる修正前にあった複数の画像領域（図１４（Ａ）では領域Ａｎ，Ａｍ）が探索される。また、領域を統合する際の操作は、画像領域の変更、削除の操作によって行われることから、統合する領域に重なる領域の探索対象として、削除操作で対応した領域（ステップＳ３０３）と画像領域のサイズ変更操作で対応した領域（ステップＳ３０４）を探索し、重なり領域を見付ける。
探索結果として、統合した１領域に重なる複数の画像領域（図１４（Ａ）では領域Ａｎ，Ａｍ）が得られるので、得た複数の領域の中で最も重なりの大きい領域（図１４（Ａ）では領域Ａｎ）を検出する（ステップＳ３０５）。
次に、検出した最も重なりの大きい領域に対応する読み順として付与されていた順番を統合した領域に付与する（ステップＳ３０６）。図１４の例では、修正前にあった領域Ａｎ（図１０（Ａ））の読み順（ｎ）を統合領域Ａｘ（図１０（Ｂ））の読み順として付与する。
統合された領域の読み順を付与した後、上記実施形態１に記したと同様に、修正結果として、領域と読み順をＧＵＩ画面に表示し（図４のステップＳ１０６、参照）、ユーザの確認を経て、この処理フローを終える。
上記のように、領域の統合といった領域修正を行う場合にも、領域修正に伴う読み順の改定を装置側の処理により行うようにしたことで、読み順の修正の手間を掛けずに領域修正を行うことが可能になり、従来法の問題を解消し、画像領域への読み順機能の利用性の向上、延いては処理対象の画像領域の設定機能の有効性を高めることが可能になる。
「読み順のマニュアル設定」
領域修正の要求に応じて、修正した領域への読み順を自動で付与することを可能にするが、付与する読み順の決定には、修正前後の領域の重なり具合を調べ、重なりのある領域同士の位置関係、或いは重なりの大きさの関係を判断して決定する方法をとっており、例えば、上記実施形態２に示したように、領域を分割する修正における読み順の付与を分割領域同士の位置関係で、上記 (I) 〜 (III) の条件に従って行うと、条件 (III) のように、読み順を判別できない場合がある。
そこで、上記実施形態２の条件 (III) のように、読み順を判別できない場合、読み順をマニュアルで設定できるようにする。読み順を判別できない、という結果が得られた場合に、例えば、修正した領域を含むこれまでに設定された領域情報を使用して、読み順設定処理を自動でやり直すか、もしくは手動で全部の読み順設定をやり直すか、あるいはこのままでよいか、という３つ或いは２つの選択肢からユーザに選択をさせるＧＵＩ画面を表示する。このＧＵＩ画面へのユーザの選択操作が行われれば、この操作に応じて、各々に必要な処理・動作を実行する。
領域修正の要求に応じて、修正した領域への読み順を自動で付与することを可能にするが、付与する読み順の決定には、修正前後の領域の重なり具合を調べ、重なりのある領域同士の位置関係、或いは重なりの大きさの関係を判断して決定する方法をとっており、例えば、上記実施形態２に示したように、領域を分割する修正における読み順の付与を分割領域同士の位置関係で、上記 (I) 〜 (III) の条件に従って行うと、条件 (III) のように、読み順を判別できない場合がある。
そこで、上記実施形態２の条件 (III) のように、読み順を判別できない場合、読み順をマニュアルで設定できるようにする。読み順を判別できない、という結果が得られた場合に、例えば、修正した領域を含むこれまでに設定された領域情報を使用して、読み順設定処理を自動でやり直すか、もしくは手動で全部の読み順設定をやり直すか、あるいはこのままでよいか、という３つ或いは２つの選択肢からユーザに選択をさせるＧＵＩ画面を表示する。このＧＵＩ画面へのユーザの選択操作が行われれば、この操作に応じて、各々に必要な処理・動作を実行する。
１０１・・・スキャナ、１０２・・・ＣＰＵ、１０３・・・メモリ、１０４・・・ワークエリアＲＡＭ、１０５・・・プログラム格納用のＲＯＭ／ＲＡＭ、１０６・・・ＣＤ−ＲＯＭ／ＦＤドライブ、１０７・・・ディスプレイ、１０８・・・ポインティングデバイス、１０９・・・印字装置。
Claims (10)
- 入力画像を保存する記憶手段と、
入力画像の中から処理対象の画像領域を分割、抽出する画像領域抽出手段と、
入力画像を処理する画像処理手段と、
前記画像領域抽出手段により抽出された複数領域の画像を前記画像処理手段で処理する際、前記記憶手段から処理対象画像を読み出す読み順を各画像領域に対し付与する読み順付与手段と、
ユーザインターフェースを介して、前記画像領域抽出手段で抽出された画像領域に対する修正要求を受け付ける修正要求受理手段と、
前記修正要求受理手段で受け取った修正要求に応じて新規に作成される画像領域と修正によって削除されることになる画像領域との間に重なりがあることを条件に、削除される画像領域に付与されていた読み順に連なる順番を新規画像領域に付与する読み順修正手段を有する画像処理装置。 - 請求項１に記載された画像処理装置において、
前記読み順修正手段は、修正後に削除される画像領域の行方向を認識する行方向認識手段と、
前記画像領域間の重なりが、修正後に削除される１画像領域と領域を分け合った複数の新規画像領域との重なりによるものである場合に、前記行方向認識手段により得られた行方向に対する複数の新規画像領域の位置関係に基づいて、削除される画像領域に付与されていた読み順に連なる順番を付与する画像領域を決定する手段を備えたことを特徴とする画像処理装置。 - 請求項１に記載された画像処理装置において、
前記読み順修正手段は、新規に作成される画像領域と修正後に削除される画像領域との間における重なりの大きさを検出する重なり面積検出手段と、
前記画像領域間の重なりが、修正後に削除される複数の画像領域と１新規画像領域との重なりによるものである場合に、前記重なり面積検出手段により得られた修正後に削除される複数の画像領域各々の重なり面積に基づいて、新規に作成される１画像領域の読み順を付与する画像領域を決定する手段を備えたことを特徴とする画像処理装置。 - 請求項１乃至３のいずれかに記載された画像処理装置において、
ユーザインターフェースに、前記読み順修正手段による修正結果を反映した画像領域に対応して付与された読み順の表示を行う表示手段と、修正後の画像領域に対する再修正の要求及び修正後の読み順の設定変更を要求するための操作手段を備えたことを特徴とする画像処理装置。 - 入力画像の中から処理対象の画像領域を分割、抽出する画像領域抽出工程と、
前記画像領域抽出工程によって抽出された複数の画像領域の画像を処理する際、入力画像を保存した記憶手段から処理対象画像を読み出す読み順を各画像領域に対し付与する読み順付与工程と、
ユーザインターフェースを介して、前記画像領域抽出工程で抽出された画像領域に対する修正要求を受け付ける修正要求受理工程と、
前記修正要求受理工程で受け取った修正要求に応じて新規に作成される画像領域と修正によって削除されることになる画像領域との間に重なりがあることを条件に、削除される画像領域に付与されていた読み順に連なる順番を新規画像領域に付与する読み順修正工程と、
を有する読み順設定方法。 - 請求項５に記載された読み順設定方法において、
前記読み順修正工程は、修正後に削除される画像領域の行方向を認識する行方向認識工程と、
前記画像領域間の重なりが、修正後に削除される１画像領域と領域を分け合った複数の新規画像領域との重なりによるものである場合に、前記行方向認識工程により得られた行方向に対する複数の新規画像領域の位置関係に基づいて、削除される画像領域に付与されていた読み順に連なる順番を付与する画像領域を決定する工程を有することを特徴とする読み順設定方法。 - 請求項５に記載された読み順設定方法において、
前記読み順修正工程は、新規に作成される画像領域と修正後に削除される画像領域との間における重なりの大きさを検出する重なり面積検出工程と、
前記画像領域間の重なりが、修正後に削除される複数の画像領域と１新規画像領域との重なりによるものである場合に、前記重なり面積検出工程により得られた修正後に削除される複数の画像領域各々の重なり面積に基づいて、新規に作成される１画像領域の読み順を付与する画像領域を決定する工程を有することを特徴とする読み順設定方法。 - 請求項５乃至７のいずれかに記載された読み順設定方法において、
前記読み順修正工程による修正結果を反映した画像領域に対応して付与された読み順の表示を行う表示工程と、修正後の画像領域に対する再修正の要求及び修正後の読み順の設定変更の要求を受け付ける受理工程を行うことにより、ユーザとのインターフェースを図るようにしたことを特徴とする読み順設定方法。 - 請求項５乃至７のいずれかに記載された読み順設定方法における、画像領域抽出工程、読み順付与工程、修正要求受理工程、読み順修正工程の各工程を画像処理装置のコンピュータに実行させるためのプログラム。
- 請求項９に記載されたプログラムにおいて、
請求項８に記載された表示工程及び受理工程を実行させるためのプログラムを連係させたことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007064710A JP4756650B2 (ja) | 2007-03-14 | 2007-03-14 | 画像処理装置、読み順設定方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007064710A JP4756650B2 (ja) | 2007-03-14 | 2007-03-14 | 画像処理装置、読み順設定方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008225964A true JP2008225964A (ja) | 2008-09-25 |
| JP4756650B2 JP4756650B2 (ja) | 2011-08-24 |
Family
ID=39844490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007064710A Expired - Fee Related JP4756650B2 (ja) | 2007-03-14 | 2007-03-14 | 画像処理装置、読み順設定方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4756650B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015032116A (ja) * | 2013-08-01 | 2015-02-16 | 富士通株式会社 | 読み順確認装置、読み順確認方法及び読み順確認プログラム |
| US8989494B2 (en) | 2011-06-08 | 2015-03-24 | International Business Machines Corporation | Reading order determination apparatus, method, and program for determining reading order of characters |
| JP2021033433A (ja) * | 2019-08-19 | 2021-03-01 | グローリー株式会社 | 硬貨処理システムおよび硬貨処理装置 |
| US11900644B2 (en) | 2019-10-31 | 2024-02-13 | Rakuten Group, Inc. | Document image analysis apparatus, document image analysis method and program thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07192084A (ja) * | 1993-05-12 | 1995-07-28 | Ricoh Co Ltd | 文書画像処理方法 |
| JPH08185473A (ja) * | 1994-12-28 | 1996-07-16 | Matsushita Electric Ind Co Ltd | 文字認識装置 |
| JPH08237471A (ja) * | 1994-12-21 | 1996-09-13 | Canon Inc | ブロックセレクション処理の検証及び編集システム |
| JPH096901A (ja) * | 1995-06-22 | 1997-01-10 | Oki Electric Ind Co Ltd | 文書読取装置 |
-
2007
- 2007-03-14 JP JP2007064710A patent/JP4756650B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07192084A (ja) * | 1993-05-12 | 1995-07-28 | Ricoh Co Ltd | 文書画像処理方法 |
| JPH08237471A (ja) * | 1994-12-21 | 1996-09-13 | Canon Inc | ブロックセレクション処理の検証及び編集システム |
| JPH08185473A (ja) * | 1994-12-28 | 1996-07-16 | Matsushita Electric Ind Co Ltd | 文字認識装置 |
| JPH096901A (ja) * | 1995-06-22 | 1997-01-10 | Oki Electric Ind Co Ltd | 文書読取装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8989494B2 (en) | 2011-06-08 | 2015-03-24 | International Business Machines Corporation | Reading order determination apparatus, method, and program for determining reading order of characters |
| US9014478B2 (en) | 2011-06-08 | 2015-04-21 | International Business Machines Corporation | Reading order determination apparatus, method, and program for determining reading order of characters |
| JP2015032116A (ja) * | 2013-08-01 | 2015-02-16 | 富士通株式会社 | 読み順確認装置、読み順確認方法及び読み順確認プログラム |
| JP2021033433A (ja) * | 2019-08-19 | 2021-03-01 | グローリー株式会社 | 硬貨処理システムおよび硬貨処理装置 |
| JP7250644B2 (ja) | 2019-08-19 | 2023-04-03 | グローリー株式会社 | 硬貨処理システムおよび硬貨処理装置 |
| US11900644B2 (en) | 2019-10-31 | 2024-02-13 | Rakuten Group, Inc. | Document image analysis apparatus, document image analysis method and program thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4756650B2 (ja) | 2011-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5326859B2 (ja) | 画像処理装置 | |
| JP4100746B2 (ja) | 画像処理装置及び方法 | |
| JP2010061311A (ja) | 情報処理装置並びにコンピューター・プログラム | |
| JP3910196B2 (ja) | シーケンスプログラムの編集装置 | |
| JP4756650B2 (ja) | 画像処理装置、読み順設定方法及びプログラム | |
| JP4730775B2 (ja) | 画像処理装置 | |
| US20050102327A1 (en) | Data file processor, data file processing method and program | |
| JP2009169731A (ja) | マニュアル作成支援システム | |
| JP2009225231A (ja) | 情報処理装置およびプログラム | |
| US9912834B2 (en) | Document camera device and cutout assistance method | |
| JP4357226B2 (ja) | 帳票定義装置、帳票定義方法及び帳票定義プログラム | |
| JP2001273509A (ja) | 文書画像編集装置及び文書画像編集方法 | |
| JP6795770B2 (ja) | 情報処理装置と、その処理方法及びプログラム | |
| JP2018085093A (ja) | 情報処理装置、制御方法、プログラム | |
| KR102442510B1 (ko) | 문서에 대한 저장 파일 형식을 자동으로 지정하는 문서 편집 장치 및 그 동작 방법 | |
| JP2004348428A (ja) | 電子文書における、ヘッダ、フッタの挿入手段 | |
| JP2009157470A (ja) | 電子文書処理装置及びプログラム | |
| JP4756149B2 (ja) | フォトアルバム作成システム及びフォトアルバム作成コンピュータプログラム | |
| JP2008090789A (ja) | 文書管理システム、文書管理方法、文書管理プログラム及びその記憶媒体 | |
| JP2006004050A (ja) | 画像処理装置、画像読み取り装置およびプログラム | |
| JP2006331400A (ja) | 画像編集方法 | |
| JP2007179203A (ja) | 帳票検索装置、帳票検索方法、プログラム及びコンピュータ読み取り可能な記憶媒体 | |
| JP2001051771A (ja) | 画像処理システム及び方法 | |
| JP2007148585A (ja) | 画像処理装置及びプログラム | |
| JP2002245466A (ja) | 画像レイアウト解析システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091118 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110513 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110527 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110527 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4756650 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |