JP2005259017A - 画像処理装置、画像処理用プログラム及び記憶媒体 - Google Patents

Abstract

【課題】 画質を維持しつつ検索可能な高圧縮なデータを作成する。
【解決手段】 ２値画像から文字部分を抽出し（Ｓ３）、文字部分以外の画素が白画素に置き換えられた２値文字画像を生成し（Ｓ４）、多値画像中の文字部分の画素が背景色で埋められた非文字多値画像を生成し（Ｓ７）、文字部分を構成する色からなる２値文字画像を生成する（Ｓ６）。加えて、多値画像と決定した各色からなる２値文字画像との少なくとも一方に対して文字認識処理を行い、文字コードを取得する（Ｓ１０）。そして、非文字多値画像と決定した各色からなる２値文字画像とを各々符号化して文字コードとともにファイルする（Ｓ１１）。これにより、画質を維持しつつ検索可能な高圧縮なデータを作成することができる。
【選択図】 図２

Description

本発明は、画像処理装置、画像処理用プログラム及び記憶媒体に関する。

カラー画像を高圧縮化する方法としては、文字、線画だけの画像を分離するとともに、文字、線画を除いた画像を作成し、これらの画像にそれぞれ符号化処理を行う文字分離符号化方法（特許文献１参照）、複数色で像形成する領域と単色で像形成する領域とで像形成のための線密度を切り替える方法（特許文献２参照）、線画部を表す２値のパターンデータと補間画像が置換されたカラー多値画像データとを異なる方法で符号化する方法（特許文献３参照）、入力画像の全画素の中から情報量の低い領域の画素を抽出し、同じ色として抽出した画素の値を同じ値に変換する方法（特許文献４参照）等が提案されている。これらの特許文献１〜４に提案されている方法によれば、ファイルサイズを小さくすることができる。

ところが、特許文献１〜４に提案されている方法によれば、文字認識結果を有していないために、文字検索を行うことができなかった。

そこで、特許文献５においては、文字認識結果を画像に貼り付けることにより、文字検索を可能にしている。

特許第２６１１０１２号公報 特公平０６−８３３５５号公報 特許第２８７７４４８号公報 特開２００３−５１９５８公報 特開２００１−３５８９２５公報

しかしながら、特許文献５において提案されている方法によれば、文字認識の認識精度は１００％ではなく、誤認識があった場合にオリジナルの画像情報すべてを再現できないという問題がある。

本発明は、画質を維持しつつ検索可能な高圧縮なデータを作成することを目的とする。

請求項１記載の発明の画像処理装置は、処理対象画像である多値画像を取得する手段と、前記多値画像に基づき生成された２値画像を取得する手段と、前記２値画像から文字部分を抽出し、当該文字部分以外の画素を白画素に置き換えた２値文字画像を生成する手段と、前記多値画像中の前記文字部分の画素を背景色で埋めた非文字多値画像を生成する手段と、前記文字部分を構成する色を決定する手段と、決定した各色からなる前記２値文字画像を生成する手段と、前記多値画像と決定した各色からなる前記２値文字画像との少なくとも一方に対して文字認識処理を行い、文字コードを取得する手段と、前記非文字多値画像と決定した各色からなる前記２値文字画像と前記文字コードとを各々圧縮符号化し、１つのファイルにまとめる手段と、を備える。

したがって、処理対象画像である多値画像とこれに基づく２値画像とが用意され、２値画像から文字部分が抽出され、文字部分以外の画素が白画素に置き換えられた２値文字画像が生成され、多値画像中の文字部分の画素が背景色で埋められた非文字多値画像が生成されるとともに、文字部分を構成する色からなる２値文字画像が生成される。加えて、多値画像と決定した各色からなる２値文字画像との少なくとも一方に対して文字認識処理が行われ、文字コードが取得される。そして、非文字多値画像と決定した各色からなる２値文字画像とが各々符号化されて文字コードとともにファイル化されることにより、文字部分がある場合でも文字部分の画素に関してはその視認性を確保しつつ、処理対象画像となる多値画像の画質をあまり低下させることなく、大幅にファイルサイズ削減を行うことが可能となるとともに、文字コードに基づいて検索をすることが可能になる。

また、色毎の２値文字画像を有していることにより、２値文字画像毎にそれぞれ文字認識処理を行うことで、文字認識精度の向上を図ることが可能になる。

請求項２記載の発明の画像処理装置は、処理対象画像である多値画像を取得する手段と、前記多値画像に基づき生成された２値画像を取得する手段と、前記２値画像から文字部分を抽出し、当該文字部分以外の画素を白画素に置き換えた２値文字画像を生成する手段と、前記多値画像中の前記文字部分の画素を背景色で埋めた非文字多値画像を生成する手段と、前記２値文字画像の前記各文字部分の色情報を生成する手段と、前記多値画像と前記２値文字画像との少なくとも一方に対して文字認識処理を行い、文字コードを取得する手段と、前記非文字多値画像と前記２値文字画像と前記各文字部分の色情報と前記文字コードとを各々圧縮符号化し、１つのファイルにまとめる手段と、を備える。

したがって、処理対象画像である多値画像とこれに基づく２値画像とが用意され、２値画像から文字部分が抽出され、文字部分以外の画素が白画素に置き換えられた２値文字画像が生成され、多値画像中の文字部分の画素が背景色で埋められた非文字多値画像が生成されるとともに、２値文字画像の各文字部分の色情報が生成される。加えて、多値画像と２値文字画像との少なくとも一方に対して文字認識処理が行われ、文字コードが取得される。そして、非文字多値画像と２値文字画像と２値文字画像の各文字部分の色情報とが各々符号化されて文字コードとともにファイル化されることにより、文字部分がある場合でも文字部分の画素に関してはその視認性を確保しつつ、処理対象画像となる多値画像の画質をあまり低下させることなく、大幅にファイルサイズ削減を行うことが可能となるとともに、文字コードに基づいて検索をすることが可能になる。

請求項３記載の発明は、請求項１又は２記載の画像処理装置において、前記文字コードを、透明テキストの形式で画像とは別のレイヤに埋め込む。

したがって、画像の視認性は低下させずに文字コードによる画像検索などを実現することが可能になる。

請求項４記載の発明は、請求項１又は２記載の画像処理装置において、前記文字コードを、その位置座標とともに透明テキストの形式で画像とは別のレイヤに埋め込む。

したがって、画像の視認性は低下させずに文字コードによる画像検索などを実現することが可能になる。また、処理対象画像と同じ座標位置に文字コードを貼り付けることにより、検索の結果、その文字コードをハイライト表示したり、反転表示したりすることで、検索位置をユーザに知らせることが可能となる。

請求項５記載の発明のコンピュータに読取り可能な画像処理用プログラムは、処理対象画像である多値画像を取得する機能と、前記多値画像に基づき生成された２値画像を取得する機能と、前記２値画像から文字部分を抽出し、当該文字部分以外の画素を白画素に置き換えた２値文字画像を生成する機能と、前記多値画像中の前記文字部分の画素を背景色で埋めた非文字多値画像を生成する機能と、前記文字部分を構成する色を決定する機能と、決定した各色からなる前記２値文字画像を生成する機能と、前記多値画像と決定した各色からなる前記２値文字画像との少なくとも一方に対して文字認識処理を行い、文字コードを取得する機能と、前記非文字多値画像と決定した各色からなる前記２値文字画像と前記文字コードとを各々圧縮符号化し、１つのファイルにまとめる機能と、をコンピュータに実行させる。

したがって、処理対象画像である多値画像とこれに基づく２値画像とが用意され、２値画像から文字部分が抽出され、文字部分以外の画素が白画素に置き換えられた２値文字画像が生成され、多値画像中の文字部分の画素が背景色で埋められた非文字多値画像が生成されるとともに、文字部分を構成する色からなる２値文字画像が生成される。加えて、多値画像と決定した各色からなる２値文字画像との少なくとも一方に対して文字認識処理が行われ、文字コードが取得される。そして、非文字多値画像と決定した各色からなる２値文字画像とが各々符号化されて文字コードとともにファイル化されることにより、文字部分がある場合でも文字部分の画素に関してはその視認性を確保しつつ、処理対象画像となる多値画像の画質をあまり低下させることなく、大幅にファイルサイズ削減を行うことが可能となるとともに、文字コードに基づいて検索をすることが可能になる。

また、色毎の２値文字画像を有していることにより、２値文字画像毎にそれぞれ文字認識処理を行うことで、文字認識精度の向上を図ることが可能になる。

請求項６記載の発明のコンピュータに読取り可能な画像処理用プログラムは、処理対象画像である多値画像を取得する機能と、前記多値画像に基づき生成された２値画像を取得する機能と、前記２値画像から文字部分を抽出し、当該文字部分以外の画素を白画素に置き換えた２値文字画像を生成する機能と、前記多値画像中の前記文字部分の画素を背景色で埋めた非文字多値画像を生成する機能と、前記２値文字画像の前記各文字部分の色情報を生成する機能と、前記多値画像と前記２値文字画像との少なくとも一方に対して文字認識処理を行い、文字コードを取得する機能と、前記非文字多値画像と前記２値文字画像と前記各文字部分の色情報と前記文字コードとを各々圧縮符号化し、１つのファイルにまとめる機能と、をコンピュータに実行させる。

したがって、処理対象画像である多値画像とこれに基づく２値画像とが用意され、２値画像から文字部分が抽出され、文字部分以外の画素が白画素に置き換えられた２値文字画像が生成され、多値画像中の文字部分の画素が背景色で埋められた非文字多値画像が生成されるとともに、２値文字画像の各文字部分の色情報が生成される。加えて、多値画像と２値文字画像との少なくとも一方に対して文字認識処理が行われ、文字コードが取得される。そして、非文字多値画像と２値文字画像と２値文字画像の各文字部分の色情報とが各々符号化されて文字コードとともにファイル化されることにより、文字部分がある場合でも文字部分の画素に関してはその視認性を確保しつつ、処理対象画像となる多値画像の画質をあまり低下させることなく、大幅にファイルサイズ削減を行うことが可能となるとともに、文字コードに基づいて検索をすることが可能になる。

請求項７記載の発明は、請求項５又は６記載のコンピュータに読取り可能な画像処理用プログラムにおいて、前記文字コードを、透明テキストの形式で画像とは別のレイヤに埋め込む。

したがって、画像の視認性は低下させずに文字コードによる画像検索などを実現することが可能になる。

請求項８記載の発明は、請求項５又は６記載のコンピュータに読取り可能な画像処理用プログラムにおいて、前記文字コードを、その位置座標とともに透明テキストの形式で画像とは別のレイヤに埋め込む。

したがって、画像の視認性は低下させずに文字コードによる画像検索などを実現することが可能になる。また、処理対象画像と同じ座標位置に文字コードを貼り付けることにより、検索の結果、その文字コードをハイライト表示したり、反転表示したりすることで、検索位置をユーザに知らせることが可能となる。

請求項９記載の発明の記憶媒体は、請求項５ないし８の何れか一記載のコンピュータに読取り可能な画像処理用プログラムを格納した。

したがって、請求項５ないし８の何れか一記載の発明と同様な作用を奏する。

請求項１記載の発明の画像処理装置によれば、処理対象画像である多値画像とこれに基づく２値画像とを用意し、２値画像から文字部分を抽出し、文字部分以外の画素を白画素に置き換えた２値文字画像を生成し、多値画像中の文字部分の画素を背景色で埋めた非文字多値画像を生成するとともに、文字部分を構成する色からなる２値文字画像を生成する。加えて、多値画像と決定した各色からなる２値文字画像との少なくとも一方に対して文字認識処理を行い、文字コードを取得する。そして、非文字多値画像と決定した各色からなる２値文字画像とを各々符号化して文字コードとともにファイル化することにより、文字部分がある場合でも文字部分の画素に関してはその視認性を確保しつつ、処理対象画像となる多値画像の画質をあまり低下させることなく、大幅にファイルサイズ削減を行うことができるとともに、文字コードに基づいて検索をすることができるようになるので、画質を維持しつつ検索可能な高圧縮なデータを作成することができる。また、色毎の２値文字画像を有していることにより、２値文字画像毎にそれぞれ文字認識処理を行うことで、文字認識精度の向上を図ることができる。

請求項２記載の発明の画像処理装置によれば、処理対象画像である多値画像とこれに基づく２値画像とを用意し、２値画像から文字部分を抽出し、文字部分以外の画素を白画素に置き換えた２値文字画像を生成し、多値画像中の文字部分の画素を背景色で埋めた非文字多値画像を生成するとともに、２値文字画像の各文字部分の色情報を生成する。加えて、多値画像と２値文字画像との少なくとも一方に対して文字認識処理を行い、文字コードを取得する。そして、非文字多値画像と２値文字画像と２値文字画像の各文字部分の色情報とを各々符号化して文字コードとともにファイル化することにより、文字部分がある場合でも文字部分の画素に関してはその視認性を確保しつつ、処理対象画像となる多値画像の画質をあまり低下させることなく、大幅にファイルサイズ削減を行うことができるとともに、文字コードに基づいて検索をすることができるようになるので、画質を維持しつつ検索可能な高圧縮なデータを作成することができる。

請求項３記載の発明によれば、請求項１又は２記載の画像処理装置において、前記文字コードを、透明テキストの形式で画像とは別のレイヤに埋め込むことにより、画像の視認性は低下させずに文字コードによる画像検索などを実現することができる。

請求項４記載の発明によれば、請求項１又は２記載の画像処理装置において、前記文字コードを、その位置座標とともに透明テキストの形式で画像とは別のレイヤに埋め込むことにより、画像の視認性は低下させずに文字コードによる画像検索などを実現することができる。また、処理対象画像と同じ座標位置に文字コードを貼り付けることにより、検索の結果、その文字コードをハイライト表示したり、反転表示したりすることで、検索位置をユーザに知らせることができる。

請求項５記載の発明のコンピュータに読取り可能な画像処理用プログラムによれば、処理対象画像である多値画像とこれに基づく２値画像とを用意し、２値画像から文字部分を抽出し、文字部分以外の画素を白画素に置き換えた２値文字画像を生成し、多値画像中の文字部分の画素を背景色で埋めた非文字多値画像を生成するとともに、文字部分を構成する色からなる２値文字画像を生成する。加えて、多値画像と決定した各色からなる２値文字画像との少なくとも一方に対して文字認識処理を行い、文字コードを取得する。そして、非文字多値画像と決定した各色からなる２値文字画像とを各々符号化して文字コードとともにファイル化することにより、文字部分がある場合でも文字部分の画素に関してはその視認性を確保しつつ、処理対象画像となる多値画像の画質をあまり低下させることなく、大幅にファイルサイズ削減を行うことができるとともに、文字コードに基づいて検索をすることができるようになるので、画質を維持しつつ検索可能な高圧縮なデータを作成することができる。また、色毎の２値文字画像を有していることにより、２値文字画像毎にそれぞれ文字認識処理を行うことで、文字認識精度の向上を図ることができる。

請求項６記載の発明のコンピュータに読取り可能な画像処理用プログラムによれば、処理対象画像である多値画像とこれに基づく２値画像とを用意し、２値画像から文字部分を抽出し、文字部分以外の画素を白画素に置き換えた２値文字画像を生成し、多値画像中の文字部分の画素を背景色で埋めた非文字多値画像を生成するとともに、２値文字画像の各文字部分の色情報を生成する。加えて、多値画像と２値文字画像との少なくとも一方に対して文字認識処理を行い、文字コードを取得する。そして、非文字多値画像と２値文字画像と２値文字画像の各文字部分の色情報とを各々符号化して文字コードとともにファイル化することにより、文字部分がある場合でも文字部分の画素に関してはその視認性を確保しつつ、処理対象画像となる多値画像の画質をあまり低下させることなく、大幅にファイルサイズ削減を行うことができるとともに、文字コードに基づいて検索をすることができるようになるので、画質を維持しつつ検索可能な高圧縮なデータを作成することができる。

請求項７記載の発明によれば、請求項５又は６記載のコンピュータに読取り可能な画像処理用プログラムにおいて、前記文字コードを、透明テキストの形式で画像とは別のレイヤに埋め込むことにより、画像の視認性は低下させずに文字コードによる画像検索などを実現することができる。

請求項８記載の発明によれば、請求項５又は６記載のコンピュータに読取り可能な画像処理用プログラムにおいて、前記文字コードを、その位置座標とともに透明テキストの形式で画像とは別のレイヤに埋め込むことにより、画像の視認性は低下させずに文字コードによる画像検索などを実現することができる。また、処理対象画像と同じ座標位置に文字コードを貼り付けることにより、検索の結果、その文字コードをハイライト表示したり、反転表示したりすることで、検索位置をユーザに知らせることができる。

請求項９記載の発明の記憶媒体によれば、請求項５ないし８の何れか一記載のコンピュータに読取り可能な画像処理用プログラムを格納したことにより、請求項５ないし８の何れか一記載の発明と同様な効果を奏する。

本発明の第一の実施の形態を図１ないし図７に基づいて説明する。

図１は、本実施の形態の画像処理装置１の電気的な接続を示すブロック図である。図１に示すように、画像処理装置１は、ＰＣなどのコンピュータであり、各種演算を行い、画像処理装置１の各部を集中的に制御するＣＰＵ（Central Processing Unit）２と、各種のＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）からなるメモリ３とが、バス４で接続されている。

バス４には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置５と、キーボード、マウスなどの入力装置６と、表示装置７と、光ディスクなどの記憶媒体８を読み取る記憶媒体読取装置９と、画像を読み取る画像読取装置１０とが接続され、また、ネットワーク１１と通信を行う所定の通信インターフェイス１２が接続されている。なお、記憶媒体８としては、ＣＤ，ＤＶＤなどの光ディスク、光磁気ディスク、ＦＤなどの各種メディアを用いることができる。また、記憶媒体読取装置９は、具体的には記憶媒体８の種類に応じて光ディスクドライブ装置、光磁気ディスクドライブ装置、ＦＤＤ装置などが用いられる。

画像処理装置１は、本発明の記憶媒体を実施する記憶媒体８から、本発明のプログラムを実施する画像処理プログラム１３を読み取って、磁気記憶装置５にインストールする。これらのプログラムはインターネットなどのネットワーク１１等を介してダウンロードしてインストールするようにしてもよい。このインストールにより、画像処理装置１は、各々後述の所定の処理の実行が可能な状態となる。なお、画像処理プログラム１３は、所定のＯＳ上で動作するものであってもよい。

本実施の形態においては、画像処理プログラム１３を用いることにより、処理対象画像（原画像）としての多値画像を文字の視認性を犠牲にせずに大幅なサイズ削減を実現するとともに、文字コードに基づく検索を可能にする。ここに、処理の概要を示す図２の概略フローチャート及び図３に示す処理の概念図を参照して、本実施の形態の処理の概要を説明する。

まず、イメージスキャナ等の画像読取装置１０を使って図３（ａ）に示すような処理対象画像となる原画像である多値画像（カラー画像）を取得する（ステップＳ１）。そして、このような多値画像を２値化することにより図３（ｂ）に示すような２値画像を生成する（ステップＳ２）。この後、文字部分を抽出する（ステップＳ３）。そして、図３（ｃ）に示すように文字部分だけ残すように、２値画像で文字部分以外の画素を白画素に置き換える白画素化処理を行う（ステップＳ４）。すなわち、２値画像において文字以外の黒画素を消去する。この処理により、文字の位置が画素単位でわかることになる。

続くステップＳ５においては、文字部分の色を決定する。具体的には、文字部分を構成する黒画素の位置にあるカラー画像の画素色をすべて求め、このデータから多く使われている色を数色選んで代表色とする。そして、画素ごと、あるいは連結成分ごとに文字を構成する画素がどの代表色に最も近いかを判断する。

その後、図３（ｄ）に示すように、特定属性を持つ画素（文字部分）が、画素ごと、あるいは連結成分ごとに判断した色を持つ画像を生成する（ステップＳ６）。限られた色のみをもつ多値画像でもよいし、色ごとに１つずつ２値画像をもってもよいが、ここでは２値画像を色ごとに１つずつ持つこととする。

一方、多値画像は、文字部分を背景色で埋めた画像にし、図３（ｅ）に示すように文字部分を消去した画像を生成する（ステップＳ７）。このような背景色で埋めた画像は重要な情報が余りないものと見做し、図３（ｆ）に示すように低解像度化する（ステップＳ８）。

そして、ステップＳ８で生成された文字部分を消去した低解像度画像と、ステップＳ６で生成された文字部分のみからなる色毎の２値画像とから圧縮画像を生成する（ステップＳ９）。たとえば、前者はＪＰＥＧ圧縮、後者はＭＭＲ圧縮を行うとファイルサイズが効率的に小さくなる。

続くステップＳ１０においては、文字認識処理を実行し、文字コードを生成する。文字認識処理は、原画像（カラー画像）または２値文字画像（文字部分のみからなる画像）に対して行われる。原画像（カラー画像）に対して文字認識処理を行うメリットは、処理時間は要するもののより高精度な文字認識処理が可能となる点である。一方、上述した処理によって得られた２値文字画像（文字部分のみからなる画像）に対して文字認識処理を行うと、２値画像に対して文字認識処理を行うことになるため、高速ではあるものの、処理によって得られた２値画像の品質によって得られる結果が低下することがある。そこで、高速に文字認識処理を行いたいか、高精度に文字認識処理を行いたいかで、文字認識処理を行う画像を選択、切り替えするようにすれば良い。さらには、原画像、文字画像、それぞれに文字認識処理を行い、その結果、同じ座標の文字画像の結果で、文字認識結果の文字コードが異なる場合に、より確信度が高いコードを選択するようにすれば、文字認識精度を向上させることが可能である。

なお、本実施の形態においては、色毎の２値文字画像を有しており、２値文字画像毎にそれぞれ文字認識処理を行うことにより、精度が向上する。これは、例えば、雑誌などでは、縦書きと横書きが混在しており、見出し部（例えば、横書き）が他の部分（例えば、縦書き）とは別の色で描かれていることがある。これを文字認識処理した場合、行の抽出に失敗するということがあった。しかし、本実施の形態においては、色毎に別の２値画像が作成されることから、色が異なる見出し部（例えば、横書き）と他の部分（例えば、縦書き）との２つの画像が生成されるので、文字認識精度が向上する。

また、本実施の形態においては、色毎の２値文字画像を有しており、２値文字画像毎にそれぞれ文字認識処理を行うようにしたため、複数回の文字認識処理が必要となり、高速には処理ができない課題がある。そこで、高速に処理を行いたい場合は、色毎の２値文字画像をＯＲ処理して１枚の文字画像として文字認識処理を行うことにより、処理の高速化を図るようにしても良い。

この後、非文字画像（文字部分を消去した画像）と２値文字画像（文字部分のみからなる画像）と文字認識結果の文字コード及びその位置座標とを原画像と同じ位置関係を保ったまま重ね合わせ表示できるようなフォーマット（例えば、ＰＤＦファイル形式）にまとめる（ステップＳ１１）。合成する文字コード及びその位置座標は、透明テキストの形式で画像とは別のレイヤに埋め込むことにより、画像の視認性は低下させずに文字コードによる画像検索などを実現することができる。なお、ここでは、ＰＤＦファイル形式で合成しているが、ＰＤＦファイル形式に限らず、ＪＰＥＧ２０００形式などマルチレイヤ機能を有する方式で合成しても構わないし、複数のファイルで保管してももちろん構わない。

このような処理により、生成された画像ファイルは視認性を低下させずにファイルサイズの大幅な圧縮が可能になるとともに、文字コードに基づいて検索をすることが可能になる。理由は以下のとおりである。ＪＰＥＧ圧縮は画素値の変動が激しい画像については圧縮効率があまり良くないが、ここで述べた方法で文字部分を消去すれば、文字部分の画素値変動がなくなるので効率が良くなる。また、文字部分は色数を大幅に減らしているのでこれも圧縮効率が良くなる。

このような処理手順の詳細を、当該画像処理装置１が画像処理プログラム１３に基づいて実現する機能の機能ブロック図を示す図４を参照して詳細に説明する。

１．処理対象画像としての多値画像とこれに基づく２値画像とを取得
多値画像取得手段２１及び２値画像取得手段２２で、多値画像、２値画像を取得する（ステップＳ１，Ｓ２）。２値画像は多値画像に基づき生成されたものとする。２値化の方法は固定閾値で、閾値より明るい画素を白画素、暗い画素を黒画素とする等の方法をとればよい。また、２値画像と多値画像とは異なる解像度でも構わない。例えば、上述の方法で２値画像を生成した後、間引き処理をして多値画像の解像度を下げ、これを処理対象の多値画像として取得しても良い。さらに、２値画像生成は別の装置で行い、生成された画像ファイルを取得しても構わない。

２．文字領域を取得
文字部分抽出手段２４により、画像上において、文字の存在する位置を求める（ステップＳ３）。多値画像から取得しても２値画像からでも構わない。多値画像から取得する場合は特開２００２−２８８５８９公報、２値画像から取得する場合は特開平６−２００９２号公報等、既に公開されている文字領域抽出技術を用いればよい。本実施の形態では、２値画像に基づき特定の属性を持った画素として文字を構成する画素を取得するものとする。

３．文字以外を白画素に置換
白画素置換手段２５により、２値画像において文字部分以外の画素を白画素に置き換える（ステップＳ４）。

４．文字部分の色を決定
文字部分色決定手段２６により、文字部分の色を決定する（ステップＳ５）。文字を構成する黒画素の位置にある、カラー画像の画素色をすべて求め、このデータから多く使われている色を数色選んで代表色とする。そして、画素ごと、あるいは連結成分ごとに文字を構成する画素がどの代表色に最も近いかを判断する。

５．色画像を生成
色毎文字画像生成手段２７により、特定属性を持つ画素（文字部分）が、画素ごと、あるいは連結成分ごとに判断した色を持つ画像を生成する（ステップＳ６）。限られた色のみをもつ多値画像でもよいし、色ごとに１つずつ２値画像をもってもよいが、ここでは２値画像を色ごとに１つずつ持つこととする。

６．文字無し多値画像生成
文字部分消去画像生成手段２３により、前述の処理３．で残った黒画素部分に対応する、多値画像の文字部分を背景色で埋めて文字がない多値画像を作る（ステップＳ７）。

７．画像符号化
画像符号化手段２８により、文字のない多値画像と文字のみからなる色毎の２値画像を符号化してサイズを圧縮する（ステップＳ９）。このうち、文字のない多値画像は、既に重要な情報はないと見做してＪＰＥＧなどにより高度に非可逆圧縮する。解像度を落としてから圧縮するとさらにサイズは小さくなる。また、文字のみからなる色毎の２値画像は可逆圧縮する。２値画像であれば、ＰＮＧ圧縮やＭＭＲ圧縮など、４値・１６値などの画像であればＰＮＧ圧縮などを用いると良い。

８．文字認識
文字認識手段３０により、原画像（カラー画像）または２値文字画像（文字部分のみからなる画像）に対して文字認識処理を実行し、文字コードを生成する（ステップＳ１０）。文字認識処理は、特にその方法を限定するものでなくてよく、これまで様々な提案が行われている文字認識の方法を用いればよい。ただし、文字認識の結果としては、文字認識結果の文字コードの他に、その位置座標を必要とする。

９．まとめファイル生成
まとめファイル作成手段２９により、圧縮した画像を１つのファイルにまとめる（ステップＳ１１）。重ね合わせて表示できるようなフォーマットのファイルにまとめれば、文字部分の視認性が低下せず、かつ、背景もある程度再現されたファイルサイズの小さいカラー画像とすることができる。

以上の処理の具体例について図５ないし図７を参照しつつ説明する。図５に示す例においては、原画像（カラー画像）は、黄色背景上に赤色文字で「＜方針発表会＞」、黒色文字で「日時 ○月×日」及び「場所 ×××」と記載されている。このような原画像（カラー画像）は、上述した処理により、黄色背景のみの非文字画像ａと、赤色文字の２値文字画像ｂと、黒色文字の２値文字画像ｃとに生成される。

次いで、文字認識処理が実行される。ここでは、原画像（カラー画像）に対して文字認識処理を実行するものとする。文字認識処理は、まず、図６（ａ）に示す原画像（カラー画像）に対して領域識別処理を実行し、文字行を抽出する。図６に示す例では、「＜方針発表会＞」「日時 ○月×日」「場所 ×××」の３つの行が抽出される（図６（ｂ）参照）。なお、領域識別処理は、特許第３２７８４７１号公報の技術などを用いることができる。次に、抽出された文字行内の文字を抽出する。ここでは、２値画像の黒連結成分（黒画素の塊）を文字とする例を示す。図６（ｃ）は、行抽出結果１についての文字抽出結果である。ただし、「会」のように、本来の黒連結成分は複数に分かれている場合でも、縦方向（行方向に対して垂直方向）に重なりのある黒連結成分は統合することにより、図６（ｃ）のような文字の切り出しが可能となる。しかしながら、図６（ｃ）に示すように、「針」は「金」と「十」に分かれてしまう。これについては、文字認識処理のパス選択といわれる処理や言語処理によって、「針」が良いのか「「金」と「十」」が良いのかを選択するようにすれば良い。この結果、「＜方針発表会＞」という正しい文字列と、それぞれの文字座標が得られる（図６（ｄ）参照）。最後に、文字座標に合わせた位置に、文字認識結果の文字コードを貼り付け、文字結果プレーンを作成する（図６（ｅ）参照）。図６（ｅ）に示す例では、「＜方針・・・」という文字コードが見えているが、実際は透明テキストとして貼りこむ（カラーマップを透明として指定する）ために、人間が目では見ることはできない。しかし、パーソナルコンピュータなどで検索を行う場合は、テキストコードが張り付いたプレーンがあるために検索が可能となる。また、原画像と同じ座標位置に文字認識結果を貼り付けることにより、検索の結果、その文字コードをハイライト表示したり、反転表示したりすることで、検索位置をユーザに知らせることが可能となる。

最後に、図７に示すように、背景画像である非文字画像と色毎の２値文字画像と文字認識結果の文字コード及びその位置座標とを原画像と同じ位置関係を保ったまま重ね合わせ表示できるようなフォーマット（例えば、ＰＤＦファイル形式）にまとめる。合成する文字コード及びその位置座標は、透明テキストの形式で画像とは別のレイヤに埋め込むことにより、画像の視認性は低下させずに文字コードによる画像検索などを実現することができる。

ここに、処理対象画像である多値画像とこれに基づく２値画像とが用意され、２値画像から文字部分が抽出され、文字部分以外の画素が白画素に置き換えられた２値文字画像が生成され、多値画像中の文字部分の画素が背景色で埋められた非文字多値画像が生成されるとともに、文字部分を構成する色からなる２値文字画像が生成される。加えて、多値画像と決定した各色からなる２値文字画像との少なくとも一方に対して文字認識処理が行われ、文字コードが取得される。そして、非文字多値画像と決定した各色からなる２値文字画像とが各々符号化されて文字コードとともにファイル化されることにより、文字部分がある場合でも文字部分の画素に関してはその視認性を確保しつつ、処理対象画像となる多値画像の画質をあまり低下させることなく、大幅にファイルサイズ削減を行うことが可能となるとともに、文字コードに基づいて検索をすることが可能になるので、画質を維持しつつ検索可能な高圧縮なデータを作成することができる。

また、色毎の２値文字画像を有していることにより、２値文字画像毎にそれぞれ文字認識処理を行うことで、文字認識精度の向上を図ることが可能になる。

本発明の第二の実施の形態を図８ないし図１２に基づいて説明する。前述の実施の形態で示した部分と同一部分は同一符号を用いて示し、説明も省略する。第一の実施の形態においては、色毎の２値文字画像を有するものとしたが、本実施の形態においては、色毎の２値文字画像を有するのではなく、２値文字画像とは別に各文字の色情報を生成するようにしたものである。

本実施の形態においては、画像処理プログラム１３を用いることにより、処理対象画像（原画像）としての多値画像を文字の視認性を犠牲にせずに大幅なサイズ削減を実現するとともに、文字コードに基づく検索を可能にする。ここに、処理の概要を示す図８の概略フローチャート及び図９に示す処理の概念図を参照して、本実施の形態の処理の概要を説明する。

まず、イメージスキャナ等の画像読取装置１０を使って図９（ａ）に示すような処理対象画像となる原画像である多値画像（カラー画像）を取得する（ステップＳ２１）。そして、このような多値画像を２値化することにより図９（ｂ）に示すような２値画像を生成する（ステップＳ２２）。この後、文字部分を抽出する（ステップＳ２３）。そして、図９（ｃ）に示すように文字だけ残すように、２値画像で文字部分以外の画素を白画素に置き換える白画素化処理を行う（ステップＳ２４）。すなわち、２値画像において文字以外の黒画素を消去する。この処理により、文字の位置が画素単位でわかることになる。

続くステップＳ２５においては、図９（ｄ）に示すように、各文字の色情報を生成する。

一方、多値画像は、文字部分を背景色で埋めた画像にし、図９（ｅ）に示すように文字部分を消去した画像を生成する（ステップＳ２６）。このような背景色で埋めた画像は重要な情報が余りないものと見做し、図９（ｆ）に示すように低解像度化する（ステップＳ２７）。

そして、ステップＳ２７で生成された文字部分を消去した低解像度画像と、ステップＳ２４で生成された文字以外の黒画素を消去した２値文字画像と、ステップＳ２４で生成された文字の色情報とから圧縮画像を生成する（ステップＳ２８）。たとえば、文字部分を消去した低解像度画像はＪＰＥＧ圧縮、文字部分以外の黒画素を消去した２値文字画像はＭＭＲ圧縮、文字の色情報はＪＰＥＧ圧縮を行うとファイルサイズが効率的に小さくなる。

続くステップＳ２９においては、第一の実施の形態のステップＳ１０と同様の文字認識処理を実行し、文字コードを生成する。

この後、非文字画像（文字部分を消去した画像）と２値文字画像（文字部分のみからなる画像）と文字の色情報と文字認識結果の文字コード及びその位置座標とを原画像と同じ位置関係を保ったまま重ね合わせ表示できるようなフォーマット（例えば、ＰＤＦファイル形式）にまとめる（ステップＳ３０）。合成する文字コード及びその位置座標は、透明テキストの形式で画像とは別のレイヤに埋め込むことにより、画像の視認性は低下させずに文字コードによる画像検索などを実現することができる。なお、ここでは、ＰＤＦファイル形式で合成しているが、ＰＤＦファイル形式に限らず、ＪＰＥＧ２０００形式などマルチレイヤ機能を有する方式で合成しても構わないし、複数のファイルで保管してももちろん構わない。

このような処理により、生成された画像ファイルは視認性を低下させずにファイルサイズの大幅な圧縮が可能になるとともに、文字コードに基づいて検索をすることが可能になる。理由は以下のとおりである。ＪＰＥＧ圧縮は画素値の変動が激しい画像については圧縮効率があまり良くないが、ここで述べた方法で文字部分を消去すれば、文字部分の画素値変動がなくなるので効率が良くなる。また、文字部分は色数を大幅に減らしているのでこれも圧縮効率が良くなる。

このような処理手順の詳細を、当該画像処理装置１が画像処理プログラム１３に基づいて実現する機能の機能ブロック図を示す図１０を参照して詳細に説明する。

１．処理対象画像としての多値画像とこれに基づく２値画像とを取得
多値画像取得手段２１及び２値画像取得手段２２で、多値画像、２値画像を取得する（ステップＳ２１，Ｓ２２）。２値画像は多値画像に基づき生成されたものとする。２値化の方法は固定閾値で、閾値より明るい画素を白画素、暗い画素を黒画素とする等の方法をとればよい。また、２値画像と多値画像とは異なる解像度でも構わない。例えば、上述の方法で２値画像を生成した後、間引き処理をして多値画像の解像度を下げ、これを処理対象の多値画像として取得しても良い。さらに、２値画像生成は別の装置で行い、生成された画像ファイルを取得しても構わない。

２．文字領域を取得
文字部分抽出手段２４により、画像上において、文字の存在する位置を求める（ステップＳ２３）。多値画像から取得しても２値画像からでも構わない。多値画像から取得する場合は特開２００２−２８８５８９公報、２値画像から取得する場合は特開平６−２００９２号公報等、既に公開されている文字領域抽出技術を用いればよい。本実施の形態では、２値画像に基づき特定の属性を持った画素として文字を構成する画素を取得するものとする。

３．文字以外を白画素に置換
白画素置換手段２５により、２値画像において文字部分以外の画素を白画素に置き換える（ステップＳ２４）。

４．各文字の色情報を生成
文字色情報生成手段３１により、各文字の色情報を生成する。ここでは、文字画像の色情報を表現する文字色情報コードを生成するものである。

５．文字無し多値画像生成
文字部分消去画像生成手段２３により、前述の処理３．で残った黒画素部分に対応する、多値画像の文字部分を背景色で埋めて文字がない多値画像を作る（ステップＳ２６）。

６．画像符号化
画像符号化手段２８により、文字のない多値画像と文字のみからなる２値文字画像と各文字の色情報を符号化してサイズを圧縮する（ステップＳ２８）。このうち、文字のない多値画像は、既に重要な情報はないと見做してＪＰＥＧなどにより高度に非可逆圧縮する。解像度を落としてから圧縮するとさらにサイズは小さくなる。また、文字のみからなる２値文字画像は可逆圧縮する。２値画像であれば、ＰＮＧ圧縮やＭＭＲ圧縮など、４値・１６値などの画像であればＰＮＧ圧縮などを用いると良い。さらに、各文字の色情報は、ＪＰＥＧなどにより高度に非可逆圧縮する。

７．文字認識
文字認識手段３０により、原画像（カラー画像）または２値文字画像（文字部分のみからなる画像）に対して文字認識処理を実行し、文字コードを生成する（ステップＳ２９）。文字認識処理は、特にその方法を限定するものでなくてよく、これまで様々な提案が行われている文字認識の方法を用いればよい。ただし、文字認識の結果としては、文字認識結果の文字コードの他に、その位置座標を必要とする。

８．まとめファイル生成
まとめファイル作成手段２９により、圧縮した画像を１つのファイルにまとめる（ステップＳ３０）。重ね合わせて表示できるようなフォーマットのファイルにまとめれば、文字部分の視認性が低下せず、かつ、背景もある程度再現されたファイルサイズの小さいカラー画像とすることができる。

以上の処理の具体例について図１１及び図１２を参照しつつ説明する。図１１に示す例においては、原画像（カラー画像）は、黄色背景上に赤色文字で「＜方針発表会＞」、黒色文字で「日時 ○月×日」及び「場所 ×××」と記載されている。このような原画像（カラー画像）は、上述した処理により、黄色背景のみの非文字画像ａと、２値文字画像ｂと、文字色情報ｃとに生成される。

なお、文字認識処理については第一の実施の形態で説明したので、省略する。

最後に、図１２に示すように、背景画像である非文字画像と２値文字画像と文字の色情報と文字認識結果の文字コード及びその位置座標とを原画像と同じ位置関係を保ったまま重ね合わせ表示できるようなフォーマット（例えば、ＰＤＦファイル形式）にまとめる。合成する文字コード及びその位置座標は、透明テキストの形式で画像とは別のレイヤに埋め込むことにより、画像の視認性は低下させずに文字コードによる画像検索などを実現することができる。

ここに、処理対象画像である多値画像とこれに基づく２値画像とが用意され、２値画像から文字部分が抽出され、文字部分以外の画素が白画素に置き換えられた２値文字画像が生成され、多値画像中の文字部分の画素が背景色で埋められた非文字多値画像が生成されるとともに、２値文字画像の各文字部分の色情報が生成される。加えて、多値画像と２値文字画像との少なくとも一方に対して文字認識処理が行われ、文字コードが取得される。そして、非文字多値画像と２値文字画像と２値文字画像の各文字部分の色情報とが各々符号化されて文字コードとともにファイル化されることにより、文字部分がある場合でも文字部分の画素に関してはその視認性を確保しつつ、処理対象画像となる多値画像の画質をあまり低下させることなく、大幅にファイルサイズ削減を行うことが可能となるとともに、文字コードに基づいて検索をすることが可能になるので、画質を維持しつつ検索可能な高圧縮なデータを作成することができる。

本発明の第一の実施の形態の画像処理装置の電気的な接続を示すブロック図である。 処理の概要を示す概略フローチャートである。 処理の概念図である。 画像処理装置の機能ブロック図である。 処理の具体例について示す説明図である。 文字認識処理の具体例について示す説明図である。 合成の具体例について示す説明図である。 本発明の第二の実施の形態の処理の概要を示す概略フローチャートである。 処理の概念図である。 画像処理装置の機能ブロック図である。 処理の具体例について示す説明図である。 合成の具体例について示す説明図である。

符号の説明

１ 画像処理装置
８ 記憶媒体

Claims (9)

1. 処理対象画像である多値画像を取得する手段と、
   前記多値画像に基づき生成された２値画像を取得する手段と、
   前記２値画像から文字部分を抽出し、当該文字部分以外の画素を白画素に置き換えた２値文字画像を生成する手段と、
   前記多値画像中の前記文字部分の画素を背景色で埋めた非文字多値画像を生成する手段と、
   前記文字部分を構成する色を決定する手段と、
   決定した各色からなる前記２値文字画像を生成する手段と、
   前記多値画像と決定した各色からなる前記２値文字画像との少なくとも一方に対して文字認識処理を行い、文字コードを取得する手段と、
   前記非文字多値画像と決定した各色からなる前記２値文字画像と前記文字コードとを各々圧縮符号化し、１つのファイルにまとめる手段と、
   を備える画像処理装置。
2. 処理対象画像である多値画像を取得する手段と、
   前記多値画像に基づき生成された２値画像を取得する手段と、
   前記２値画像から文字部分を抽出し、当該文字部分以外の画素を白画素に置き換えた２値文字画像を生成する手段と、
   前記多値画像中の前記文字部分の画素を背景色で埋めた非文字多値画像を生成する手段と、
   前記２値文字画像の前記各文字部分の色情報を生成する手段と、
   前記多値画像と前記２値文字画像との少なくとも一方に対して文字認識処理を行い、文字コードを取得する手段と、
   前記非文字多値画像と前記２値文字画像と前記各文字部分の色情報と前記文字コードとを各々圧縮符号化し、１つのファイルにまとめる手段と、
   を備える画像処理装置。
3. 前記文字コードを、透明テキストの形式で画像とは別のレイヤに埋め込む、
   請求項１又は２記載の画像処理装置。
4. 前記文字コードを、その位置座標とともに透明テキストの形式で画像とは別のレイヤに埋め込む、
   請求項１又は２記載の画像処理装置。
5. 処理対象画像である多値画像を取得する機能と、
   前記多値画像に基づき生成された２値画像を取得する機能と、
   前記２値画像から文字部分を抽出し、当該文字部分以外の画素を白画素に置き換えた２値文字画像を生成する機能と、
   前記多値画像中の前記文字部分の画素を背景色で埋めた非文字多値画像を生成する機能と、
   前記文字部分を構成する色を決定する機能と、
   決定した各色からなる前記２値文字画像を生成する機能と、
   前記多値画像と決定した各色からなる前記２値文字画像との少なくとも一方に対して文字認識処理を行い、文字コードを取得する機能と、
   前記非文字多値画像と決定した各色からなる前記２値文字画像と前記文字コードとを各々圧縮符号化し、１つのファイルにまとめる機能と、
   をコンピュータに実行させるコンピュータに読取り可能な画像処理用プログラム。
6. 処理対象画像である多値画像を取得する機能と、
   前記多値画像に基づき生成された２値画像を取得する機能と、
   前記２値画像から文字部分を抽出し、当該文字部分以外の画素を白画素に置き換えた２値文字画像を生成する機能と、
   前記多値画像中の前記文字部分の画素を背景色で埋めた非文字多値画像を生成する機能と、
   前記２値文字画像の前記各文字部分の色情報を生成する機能と、
   前記多値画像と前記２値文字画像との少なくとも一方に対して文字認識処理を行い、文字コードを取得する機能と、
   前記非文字多値画像と前記２値文字画像と前記各文字部分の色情報と前記文字コードとを各々圧縮符号化し、１つのファイルにまとめる機能と、
   をコンピュータに実行させるコンピュータに読取り可能な画像処理用プログラム。
7. 前記文字コードを、透明テキストの形式で画像とは別のレイヤに埋め込む、
   請求項５又は６記載のコンピュータに読取り可能な画像処理用プログラム。
8. 前記文字コードを、その位置座標とともに透明テキストの形式で画像とは別のレイヤに埋め込む、
   請求項５又は６記載のコンピュータに読取り可能な画像処理用プログラム。
9. 請求項５ないし８の何れか一記載のコンピュータに読取り可能な画像処理用プログラムを格納した記憶媒体。
   

Images