JP2007199919A - 画像処理装置および方法 - Google Patents

Abstract

【課題】 文字認識を行うことなく表示環境に合わせて文書画像表示を行う。
【解決手段】 画像入力装置１０の画像読読取部１１は、原稿の文書を光学的に走査して画素情報を生成する。文字切出部１２は、文字の切り出しを行う。整形情報認識部１３は、段落（改行）、行区切り、句点、読点を認識する。文書画像情報構成部１４は、切り出した各文字の画像セグメントおよび整形情報を含む文書画像情報を構成する。文書画像情報構成部１４は文書画像情報を文書画像情報記憶部１５に記憶する。
【選択図】 図１

Description

この発明は、文書画像を処理する技術に関し、とくに、表示環境に合わせて文書画像表示を適合化できるようにしたものである。

印刷物を画像として表示する場合、表示領域が小さすぎるとその内容を読むことができなくなる。拡大して表示領域をずらしながら表示することも可能であるが、操作性がわるい。印刷物を文字認識技術を用いてデジタル化して表示領域に併せて表示することも可能である（たとえば特許文献１）。しかしながら、文字認識を行うにはかなりの計算量が必要となる。また、印刷物の文字固有の特徴が捨象されてしまう。さらに、手作業で査読・修正を行わなければならない場合もあり、作業が煩雑になる。
特開２０００−０２９９８４公報

この発明は、以上の事情を考慮してなされたものであり、文字認識を用いたデジタル化を行うことなく表示環境に合わせて文書画像表示を行える画像処理技術を提供することを目的としている。

この発明の一側面によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。ここでは、発明を詳細に説明するのに先だって、特許請求の範囲の記載について補充的に説明を行なっておく。

すなわち、この発明の一側面によれば、上述の目的を達成するために、画像処理装置に：文書画像を読み込む手段と；読み込んだ文書画像の部品領域を抽出する手段と；文書画像中の段落を認識する手段と；部品領域の各画像セグメントと、認識した段落の情報とを含む文書画像情報を構成する手段とを設けている。

文書画像情報は、１つのファイルとして構成されても良いし、１組のファイルとして構成されてもよい。例えば、所定のフォーマットの１つのファイルに各画像セグメントおよび段落の情報を含んでも良いし、１つの構成ファイルと複数の画像セグメントのファイルとからなってもよい。

この構成においては、部品領域の各画像セグメントを用いて原画像に対応する画像を表示でき、しかも、段落情報を用いて、表示領域に応じて段落整形を行える。

この構成において、部品領域は、典型的には、１または複数の文字で構成されるが、これに限定されず、単語または単語部分で構成されてもよい。

段落は典型的には改行として認識されるが、これに限定されず、行区切りを含む行または段落整形用の記号を含む。

段落を認識する手段は、段落に代えてまたは段落とともに句読点を認識してもよい。要するに、行や段落を整形する領域またはこれに対応する記号であればどのようなものでもよい。

また、この発明の他の側面によれば、上述の目的を達成するために、画像表示装置に：文書画像の部品領域をなす各画像セグメントと、上記文書画像の段落の情報とを含む文書画像情報を受け取る手段と；上記文書画像情報に基づいて上記各画像セグメントと上記段落の情報に応じて空白を画像メモリに展開する手段と；上記画像メモリに展開された内容に応じて文書画像を表示する手段とを設けるようにしている。

この構成においては、表示領域に応じて文書画像を整形して表示できる。

また、この発明のさらに他の側面によれば、画像表示装置に：文書画像の部品領域を抽出する手段と；文書画像中の段落を認識する手段と；部品領域の各画像セグメントと、認識した段落の情報とを含む文書画像情報を構成する手段と；上記文書画像情報に基づいて上記各画像セグメントと上記段落の情報に応じて空白を画像メモリに展開する手段と；上記画像メモリに展開された内容に応じて文書画像を表示する手段とを設けている。

この構成においても、表示領域に応じて文書画像を整形して表示できる。元の文書画像は画像読取装置から取得しても良いし、外部から通信または放送により取得しても良い。

なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。

この発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。

この発明によれば、表示領域に応じて文書画像を整形して表示できる。

以下、この発明の実施例について説明する。

この実施例では画像処理システムを画像入力装置および画像表示装置から構成する。画像入力装置は、文書を光学的に読み取って文字ごとの画像セグメントおよび段落等の整形情報を含む文書画像情報を生成するものである。画像表示装置は、画像入力装置により生成された文書画像情報を用いて、固有の表示領域に適合した態様で文書画像を表示するものである。

図１は、この発明の実施例の画像処理システムの画像入力装置１０を示しており、この図において、画像入力装置１０は、画像読取部１１、文字切出部１２、整形情報認識部１３、文書画像情報構成部１４、文書画像情報記憶部１５等を含んで構成されている。画像読読取部１１は、原稿の文書を光学的に走査して画素情報を生成するものである。文字切出部１２は、例えば、文書の文字の並びの行方向・列方向のプロファイル（文字がその射影）を用いて文字の切り出しを行う。これは通常の文字認識の前処理に慣用的に行われるものであるが、他の任意の手法を採用できる。整形情報認識部１３は、段落（改行）、行区切り、句点、読点を認識するものである。段落は、後続の領域に所定の大きさのブランク（空白）があることにより認識できる。段落は典型的には改行であるが、行区切りでもよい。行の並び方に応じて改行および行区切りを区別しても良い。句点および読点は、切り出した領域の縦横のプロフィールから認識することができるが、これに限定されない。文書画像情報構成部１４は、切り出した各文字の画像セグメントおよび整形情報を含む文書画像情報を構成する。文書画像情報の構成例については後に説明する。文書画像情報構成部１４は文書画像情報を文書画像情報記憶部１５に記憶する。なお、画像読取部１１で読み取った原画像の情報を原画像記憶部１６に一時記憶しても良い。画像読取部１１の代わりに、またはこれに加えて原画像入力部（図示しない）を設けて外部から原画像を受け取って処理するようにしても良い。

図２は、この実施例の画像処理システムの画像表示装置２０を示しており、この図において、画像表示装置２０は、文書画像情報入力部２１、画像展開部２２、画像メモリ２３および表示装置２４等を含んで構成されている。文書画像情報入力部２１は、図１の画像入力装置１０により構成された文書画像情報を入力するものである。入力された文書画像情報は文書画像情報記憶部２５に一時記憶されても良い。画像展開部２２は文書画像情報の各文字の画像セグメントおよび整形情報を用いて画像メモリ２３のメモリ領域にビット画像を展開していく。文書画像情報が圧縮されているときには画像展開部２２または他の機能ブロックが伸長を行う。画像メモリ２３は、表示装置２４の表示サイズに応じたメモリ領域を保持して展開画像を一時記憶する。表示装置２４は、液晶表示装置、その他の表示手法の表示装置からなるものであり、画像メモリ２３に展開されたビット画像を用いて表示を行う。

図３は、この実施例の画像処理の概要を示しており、この図において、原稿は例えば（ａ）に示すようなものであり、「こんにちは」のあとに段落を設けられている。図１の画像入力装置１０は、（ａ）に示すような原稿を光学的に読み込んで、文字の切り出しと整形情報を認識取得する。この例では、「こ」、「ん」、「に」、「ち」、および「は」を切り出して対応する画像セグメントを取得し、さらに「こんにちは」のあとにブランクがあることを認識して整形情報として改行を抽出する。この結果、文書画像情報は（ｂ）に示すような情報を含み、これが、文書画像情報記憶部１５に記憶される。

文書画像情報は、１つのファイルで構成されても良いし、複数のファイルの組み合わせて構成されても良い。

図４（ａ）は、所定のフォーマットを用いて１つのファイルで構成する例を示しており、この例では、文書画像情報のファイルはヘッダ、整形情報および連結画像を含んで形成される。ヘッダは、ファイルのタイプ、文字の画像セグメントのサイズ、圧縮の有無等を記述している。整形情報は、改行、行区切り、句点、読点等の整形情報のタイプおよび位置（例えば先頭からの文字位置）等を含んでいる。連結画像は、藻序ごとの画像セグメントを順番に連結させたものであるが、これに限定されない。各セグメントのサイズを固定とすれば、バイト位置で各文字の画像を抽出できる。なお、区切りコード（ビットパターン）を用いて文字の画像を区切るようにしても良い。改行の後の空白文字は省略しても良いし、そのまま画像として連結させても良い（ただし、表示装置２４において空白文字が行末で折り返した後は、空白は削除する）。

図４（ｂ）は、ヘッダおよび統合情報からなる統合ファイルと部品画像（文字の画像セグメント）のファイルとからなる文書画像情報を示す。ヘッダは文書画像情報のタイプ等を表す。統合情報は、整形情報（改行、行区切り、句点、読点等）や部品画像の配置を記述するものである。例えば、マークアップ文書中に整形情報と部品画像のファイル名とを記述して、この記述に従い部品情報を取り出し、さらに整形を行ない、画像を貼り付け表示できるようにしてもよい。

図３（ｃ）は、画像表示装置２０により表示例を示している。この例では横幅が狭い表示装置２４を用いているのでそれに応じて頻繁に折り返しがあるが、それに加えて整形情報（段落）を用いて適宜に段落の整形を行える。

図３の例では、段落による整形を説明したが、句点、読点の整形情報を用いて禁則処理を反映した表示を行える。この場合、句点および読点を前の文字の領域に組みこんで表示するが、それに限定されず、禁則処理を行う行の各文字幅を少しずつ削減するようにしても良い。すこしずつ削減して切り込むことにより最後の文字位置に句点または読点を表示できる。

なお、図１の画像入力装置１０は、各機能ブロックに対応して、画像読取ステップ、文字きりだしステップ、整形情報認識ステップ、文書画像情報構成ステップおよび文書画像情報記憶ステップを行う。この処理はコンピュータプログラムにより実行されても良い。

また図２の画像表示装置２０は、各機能ブロックに対応して、文書画像情報入力ステップ、画像展開ステップ、画像表示ステップを行う。この処理もコンピュータブロックにより実行されても良い。

図５は画像処理システムの変形例を示しており、この図において図１および図２に対応する箇所には対応する符号を付した。この例では、１つの画像処理装置３０が文書画像情報の生成および表示を行う。この画像処理装置３０は、例えば、携帯型の表示装置（携帯電話機等）として実現しても良い。

図５では、原画像入力部３１または画像読取部１１から原画像を入手し、これを文書画像情報に変換する。そして表示装置２４に表示する。

この変形例では、比較的サイズの大きい画像を整形情報付きで切り出して表示装置（例えば比較的小さな表示領域）のサイズに適合して比較的小さな表示領域に流し込み表示を行える。また、画像または画像セグメントを拡大・縮小して、その大きさで表示領域に流し込み表示してもよい。

なお、この発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。例えば上述の例では、原画像の文字の並び方向と表示の文字の並び方向とが同一であったが、表示時にその方向（縦を横に、横を縦に、左右を逆に、上下を逆に）を指定して変更しても良い。また、原画像から文書画像情報を生成するときに、文字の向きの指定を行っても良い。この場合、原画像に合わせ得ても良いし、それとは異なるものに設定しても良い。文字の向きの指定は例えば、ヘッダに含ませることができるが、これに限定されない。また、文字情報に加えて、イメージ情報を表示処理できるようにしてもよいし、イメージ情報を削除するようにしても良い。イメージは、図４（ａ）、（ｂ）において文字の情報と同じに扱うことができる。この場合、例えば図６のように表示される。イメージについては所定の大きさに拡大縮小してもよく、そのような指示を文書画像情報に含ませても良い。

この発明の実施例の画像処理システムの画像入力装置の構成を示すブロック図である。 上述実施例の画像処理システムの画像表示装置の構成を示すブロック図である。 上述実施例の画像処理例を模式的に説明する図である。 上述実施例の文書画像情報のファイル構成の例を説明する図である。 上述実施例の変形例を説明するブロック図である。 上述実施例の変形例の画像展開の例を説明する図である。

符号の説明

１０ 画像入力装置
１１ 画像読取部
１１ 画像読読取部
１２ 文字切出部
１３ 整形情報認識部
１４ 文書画像情報構成部
１５ 文書画像情報記憶部
１６ 原画像記憶部
２０ 画像表示装置
２１ 文書画像情報入力部
２２ 画像展開部
２３ 画像メモリ
２４ 表示装置
２５ 文書画像情報記憶部
３０ 画像処理装置
３１ 原画像入力部

Claims (10)

1. 文書画像を読み込む手段と、
   読み込んだ文書画像の部品領域を抽出する手段と、
   文書画像中の段落を認識する手段と、
   部品領域の各画像セグメントと、認識した段落の情報とを含む文書画像情報を構成する手段とを有することを特徴とする画像処理装置。
2. 部品領域は１または複数の文字で構成される請求項１記載の画像処理装置。
3. 部品領域は単語または単語部分で構成される請求項１記載の画像処理装置。
4. 段落は改行として認識される請求項１〜３のいずれかに記載の画像処理装置。
5. 段落を認識する手段は、段落に代えてまたは段落とともに句読点を認識する請求項１〜４に記載のいずれかに記載の画像処理装置。
6. 文書画像の部品領域をなす各画像セグメントと、上記文書画像の段落の情報とを含む文書画像情報を受け取る手段と、
   上記文書画像情報に基づいて上記各画像セグメントと上記段落の情報に応じて空白を画像メモリに展開する手段と、
   上記画像メモリに展開された内容に応じて文書画像を表示する手段とを有することを特徴とする画像表示装置。
7. 文書画像の部品領域を抽出する手段と、
   文書画像中の段落を認識する手段と、
   部品領域の各画像セグメントと、認識した段落の情報とを含む文書画像情報を構成する手段と、
   上記文書画像情報に基づいて上記各画像セグメントと上記段落の情報に応じて空白を画像メモリに展開する手段と、
   上記画像メモリに展開された内容に応じて文書画像を表示する手段とを有することを特徴とする画像表示装置。
8. 読み込み手段が文書画像を読み込むステップと、
   部品領域抽出手段が、読み込んだ文書画像の部品領域を抽出するステップと、
   認識手段が段落を認識するステップと、
   文書画像情報構成手段が、部品領域の各画像セグメントと、認識した段落の情報との組み合わせから文書画像情報を構成するステップとを有することを特徴とする画像処理方法。
9. 読み込み手段が文書画像を読み込むステップと、
   部品領域抽出手段が、読み込んだ文書画像の部品領域を抽出するステップと、
   認識手段が段落を認識するステップと、
   文書画像情報構成手段が、部品領域の各画像セグメントと、認識した段落の情報とを含む文書画像情報を構成するステップとをコンピュータに実行させるために用いられることを特徴とする画像処理用コンピュータプログラム。
10. 抽出手段が文書画像の部品領域を抽出するステップと、
    認識手段が文書画像中の段落を認識するステップと、
    文書画像情報構成手段が、部品領域の各画像セグメントと、認識した段落の情報とを含む文書画像情報を構成するステップと、
    展開手段が、上記文書画像情報に基づいて上記各画像セグメントと上記段落の情報に応じて空白を画像メモリに展開するステップと、
    表示手段が、上記画像メモリに展開された内容に応じて文書画像を表示するステップとをコンピュータに実行させるために用いられることを特徴とする画像表示用コンピュータプログラム。

Images