JP2007025815A - 画像処理方法、画像処理装置、デジタルカメラ及びコンピュータプログラム - Google Patents

Abstract

【課題】 画像を読み込んだ後、領域識別、文字認識をして、自動で出力ファイル形式を判断し、出力ファイル形式のファイルで保存して、必要な情報を残し、ファイルの容量を減少させることを目的とする。
【解決手段】 画像を入力する画像入力手段と、画像入力手段より得られる入力画像から特徴量（テキスト、図、表などの領域）を抽出する画像特徴量抽出手段と、入力画像のある領域を文字認識する文字認識手段と、抽出された画像特徴量と前記文字認識した結果の文字列から、出力ファイル形式を自動で判断する出力ファイル形式判断手段と、入力画像を前記判断された出力ファイル形式に変換するファイル形式変換手段と、変換したファイル形式のファイルを保存するファイル保存手段とからなる。
【選択図】 図１

Description

本発明は画像処理方法、画像処理装置、デジタルカメラ及びコンピュータプログラムに関し、例えば入力画像を領域識別、文字認識し、データ形式を変換するために用いて好適な技術に関する。

画像を読み込んだ場合、画像ファイル形式のファイルで保存されていた。他の形式のファイルに保存する場合は、画像ファイル形式のファイルを指定して他の形式のファイルに変換するか、ファイル形式を予め指定して読み込ませる必要があった。また、デジタルカメラの場合は、他のファイルの指定はできず、画像形式のファイルに保存された。

しかしながら、従来の画像処理方法で、画像を読み込むと画像ファイル形式のファイルで保存され、ファイルの容量が大きくなった。外部のディスクに保存すると、ディスク容量が足りなくなることが多かった。また、他のファイル形式に変換して、保存する場合は、わざわざファイルを指定して、変換、保存をする必要があった。また、画像ファイルは、ＪＰＥＧ形式で保存されることが多いが、ＪＰＥＧで多少のデータの損失がある場合は、小さな文字の認識率が下がるという欠点があった。

本発明は前述の問題点にかんがみ、画像を読み込んだ後、領域識別、文字認識をして、自動で出力ファイル形式を判断し、出力ファイル形式のファイルで保存して、必要な情報を残し、ファイルの容量を減少させることができるようにすることを目的としている。

本発明は、画像を入力する画像入力工程と、前記画像入力手段より得られる入力画像から特徴量を抽出する画像特徴量抽出工程と、前記入力画像のある領域を文字認識する文字認識工程と、前記抽出された画像特徴量と前記文字認識した結果の文字列から出力ファイル形式を自動で判断する出力ファイル形式判断工程と、前記入力画像を前記判断された出力ファイル形式に変換するファイル形式変換工程と、前記変換したファイル形式のファイルを保存するファイル保存工程とを有することを特徴とする画像処理方法等、を提供する。

本発明によれば、画像を読み込んだ後、出力ファイル形式を自動で判断して、出力ファイル形式のファイルに変換してファイルを保存するため、ファイルの容量を減少させる効果がある。

（第１の実施の形態）
次に本発明に係る画像処理装置の一実施形態を図面に基づいて説明する。
図１は、本発明に係る画像処理装置の一実施形態を示すブロック図である。
図１において、画像処理装置は、スキャナ、カメラ、あるいはファイル読み込み装置などの画像入力手段１１を有し、この画像入力手段１１から画像を画像データとして入力する。

画像入力手段１１はバス１７に接続され、バス１７を介して処理を実行するプロセッサ１２に接続されている。バス１７にはさらにキーボード１３、ディスク１４、メモリ１５、出力手段１６が接続されている。

メモリ１５は、プロセッサ１２において処理制御情報を作成する際の一時データ記憶、あるいは画像入力手段１１で読み込んだ画像データ１５ｂを蓄積する。また、変換した出力ファイル形式の出力ファイル１５ａを一時記憶する。また、後述するフローチャートに対応するような処理をコンピュータに実行させるための制御プログラム１５ｃが格納される。

プロセッサ１２は、メモリ１５に格納された制御プログラム１５ｃを実行することにより、画像特徴量抽出手段１２ａ、文字認識手段１２ｂ、出力ファイル形式判定手段１２ｃ、データ変換手段１２ｄ、ファイル保存手段１２ｅとして機能する。

キーボード１３は、出力形式に対応した出力ファイル形式の指定などの指示操作を行い、ディスク１４は、補助記憶装置として機能する。出力ファイル形式に変換したファイルを蓄積する。出力手段１６は、ディスプレイ、プリンタ等であり、入力された画像の表示、出力ファイルの印刷等の各種情報を出力する。

画像入力手段１１で読み取った画像は、画像データ１５ｂとしてメモリ１５に格納される。画像データ１５ｂはプロセッサ１２に設けられた画像処理手段（図示せず。）等により２値化処理されて、画像特徴量抽出手段１２ａに送られる。そして、黒ドットのヒストグラムを取るなどして画像に含まれる領域を識別し、画像データ１５ｂに含まれる領域をテキスト、図、表等に属性分類し、さらに解像度、各領域の位置情報、大きさ情報等を抽出し、メモリ１５およびディスク１４に保存する。

図２は、本実施の形態における入力画像の一例を示す図であり、図３は、本実施の形態における図２の入力画像に対する特徴量抽出結果の一例を示す図である。図３において、３１、３２、３３はテキスト領域、３４は図の領域、３５は罫線、３６は表領域である。

図４は、本実施の形態における出力形式（表形式、カード形式、文書画像形式等）と出力ファイル形式（ＣＳＶファイル、ＲＴＦファイル等）の対応表を示す図である。
図４において、例えば、出力形式が表形式のときは、出力ファイル形式をＣＳＶファイルやＲＴＦファイル、ＴＸＴファイル等の表形式で保存できるファイル形式の１つを設定しておく。図４では、表形式にｃｓｖファイル４１を、カード形式にｖＣＡＲＤファイル４２を、テキスト形式にＴＸＴファイル４３を、文書図形形式にＨＴＭＬファイル４４を、画像形式にＪＰＥＧファイル４５を設定している。また、出力ファイル形式は、予め決めていてもよいし、ユーザが指定できるようにしてもよい。

図５は、本実施の形態における自動で出力ファイル形式を判断する処理の一例を示すフローチャートである。
処理が開始されると、ステップＳ５０１では、画像を入力部（スキャナ、デジタルカメラ等）より読み取って、メモリに転送する。

次に、ステップＳ５０２において、ステップＳ５０１で読み込んだ画像から特徴量（テキスト、図、表などの領域）を抽出する。ここでは、二値化や傾斜補正等の前処理も含んでいる。画像中のテキスト、図、表、罫線などの各領域を取り出し、各領域に関する領域情報（ブロック番号、属性、位置、大きさ等の情報）をメモリに記憶する。

次に、ステップＳ５０３において、抽出した特徴量に表領域があるか否かを判断する。この判断の結果、表領域がある場合は、ステップＳ５０４に進み、ない場合は、ステップＳ５０８に進む。

ステップＳ５０３の判断の結果、表領域がある場合は、ステップＳ５０４において、表領域やテキスト領域を文字認識する。次に、ステップＳ５０５において、ステップＳ５０２で抽出した特徴量に図領域があるか否かを判断する。この判断の結果、図領域がある場合は、ステップＳ５０６において、文書図形形式と判断する。また、ステップＳ５０５の判断の結果、図領域がない場合は、ステップＳ５０７において、表形式と判断する。なお、このステップＳ５０５の処理を省いて、ステップＳ５０４の後に、表形式と判断し、図を省いてファイルに変換する処理にしてもよい。

一方、ステップＳ５０３の判断の結果、表領域がない場合は、ステップＳ５０８において、ステップＳ５０２で抽出した特徴量にテキスト領域があるか否かを判断する。この判断の結果、テキスト領域がある場合は、ステップＳ５０９に進み、ない場合は、ステップＳ５１５において、画像形式と判断する。

ステップＳ５０８の判断の結果、テキスト領域がある場合は、ステップＳ５０９において、テキスト領域を文字認識する。次に、ステップＳ５１０において、文字認識した結果の文字データから、属性を判断する。属性判断は、予めキー文字（ＵＲＬの場合は、ｈｔｔｐ、／／、ｃｏ．ｊｐ、ｃｏｍ、・・・、住所の場合は、都道府県名等）を登録しておき、そのキー文字が文字データに含まれるかどうかを判断する。

次に、ステップＳ５１１において、属性判断した結果にＵＲＬがあるか否かを判断する。この判断の結果、ＵＲＬがある場合は、ステップＳ５１２に進み、ない場合は、ステップＳ５１３の処理へジャンプする。

ステップＳ５１２の判断の結果、ＵＲＬがある場合は、ステップＳ５１２において、ＵＲＬと判断した文字列にハイパーリンクをつける。次に、ステップＳ５１３において、ステップＳ５０２で抽出した特徴量に図領域があるか否かを判断する。この判断の結果、図領域がある場合は、ステップＳ５１４において、文書図形形式と判断する。また、図領域がない場合は、ステップＳ５１６に進む。なお、このステップＳ５１３の処理を省いて、図を省いてファイルに変換する処理にしてもよい。

次に、ステップＳ５１６において、ステップＳ５１０で属性判断した結果に名刺属性（住所、氏名、電話番号等、名刺と判断する属性）が含まれるかどうかを判断する。この判断の結果、名刺属性がある場合は、ステップＳ５１７に進み、ない場合は、ステップＳ５１９において、テキスト形式と判断する。

ステップＳ５１６の判断の結果、名刺属性がある場合は、ステップＳ５１７において、名刺属性が含まれない行の行数がある数値（任意の整数）より少ないかどうかを判断する。この判断の結果、少ない場合は、名刺であると判断し、ステップＳ５１８において、カード形式とする。多い場合は、ステップＳ５１９において、テキスト形式と判断する。

以上のように入力画像から出力形式を判断する。そして、図４に示すような対応表から、判断した出力形式に対応する出力ファイル形式を決め、出力ファイル形式に変換して、メモリまたは補助記憶装置に保存する。そして、処理を終了する。

以上の述べたように、本実施の形態によれば、画像を読み込んだ後、出力ファイル形式を自動で判断して、出力ファイル形式のファイルに変換してファイルを保存するため、ファイルの容量を減少させることができる。

（本発明に係る他の実施の形態）
前述した本発明の実施の形態における画像処理装置を構成する各手段、並びに画像処理方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施の形態では図５に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。

本発明に係る画像処理装置の一実施形態を示すブロック図である。 本実施の形態における入力画像の例を示す図である。 図２の画像を特徴量抽出した結果を示す図である。 本実施の形態における出力形式と出力ファイル形式の対応の例を示す図である。 本実施の形態における出力ファイル形式を自動で判断する処理の一実施形態を示すフローチャートである。

符号の説明

１１ スキャナ、カメラ等の画像入力手段
１２ プロセッサ
１２ａ 画像特徴量抽出手段
１２ｂ 文字認識手段
１２ｃ 出力ファイル形式判定手段
１２ｄ データ変換手段
１２ｅ ファイル保存手段
１３ キーボード
１４ ディスク
１５ メモリ
１６ ディスプレイ、プリンタ等の出力手段

Claims (10)

1. 画像を入力する画像入力工程と、
   前記画像入力工程より得られる入力画像から特徴量を抽出する画像特徴量抽出工程と、
   前記画像入力工程で入力された入力画像のある領域を文字認識する文字認識工程と、
   前記画像特徴量抽出工程で抽出された画像特徴量と前記文字認識工程で文字認識した結果の文字列とから、出力ファイル形式を自動で判断する出力ファイル形式判断工程と、
   前記画像入力工程で入力された入力画像を前記出力ファイル形式判断工程で判断された出力ファイル形式に変換するファイル形式変換工程と、
   前記ファイル形式変換工程で変換したファイル形式のファイルを保存するファイル保存工程とを有することを特徴とする画像処理方法。
2. 前記ファイル形式変換工程は、前記画像特徴量抽出工程で抽出された画像特徴量に表領域がある場合は、表形式ファイルに変換することを特徴とする請求項１に記載の画像処理方法。
3. 前記ファイル形式変換工程は、前記画像特徴量抽出工程で抽出された画像特徴量がテキスト領域の場合は、前記文字認識工程で文字認識した結果の文字列をキー文字で属性を判断する属性判断工程を有し、前記属性判断工程で判断された属性がＵＲＬと判断されたときは、ハイパーリンクに変換することを特徴とする請求項１に記載の画像処理方法。
4. 前記ファイル形式変換工程は、前記画像特徴量抽出工程で抽出された画像特徴量がテキスト領域の場合は、前記文字認識工程で文字認識した結果の文字列を前記属性判断工程で属性を判断し、前記属性に住所、氏名、会社名等が含まれる場合、前記特徴量抽出工程で抽出したテキスト領域の属性に住所、氏名、会社名等を含まない行の行数から、名刺と判断された場合は、カード形式ファイル（ｖＣＡＲＤ等）に変換することを特徴とする請求項３に記載の画像処理方法。
5. 前記ファイル形式変換工程は、前記画像特徴量抽出工程で抽出された画像特徴量がテキスト領域の場合は、前記文字認識工程で文字認識した結果の文字列を前記属性判断工程で属性を判断し、前記属性がどの属性にも属さない場合は、テキスト形式ファイルに変換することを特徴とする請求項３に記載の画像処理方法。
6. 前記ファイル形式変換工程は、文書画像形式に変換することを特徴とする請求項１に記載の画像処理方法。
7. 前記出力ファイル形式を出力形式毎に指定できる指定工程を有することを特徴とする請求項１に記載の画像処理方法。
8. 画像を入力する画像入力手段と、
   前記画像入力手段より得られる入力画像から特徴量を抽出する画像特徴量抽出手段と、
   前記画像特徴量抽出手段で抽出された画像特徴量のテキスト領域を文字認識する文字認識手段と、
   前記画像特徴量抽出手段で抽出された画像特徴量と前記文字認識手段で文字認識した結果とから、出力ファイル形式を自動で判断する出力ファイル形式判断手段と、
   前記画像入力手段で入力された入力画像を前記出力ファイル形式判断手段で判断された出力ファイル形式に変換するファイル形式変換手段と、
   前記ファイル形式変換手段で変換したファイル形式のファイルを保存するファイル保存手段とを有することを特徴とする画像処理装置。
9. 画像を入力する画像入力手段と、
   前記画像入力手段より得られる入力画像から特徴量を抽出する画像特徴量抽出手段と、
   前記画像特徴量抽出手段で抽出された画像特徴量のテキスト領域を文字認識する文字認識手段と、
   前記画像特徴量抽出手段で抽出された画像特徴量と前記文字認識手段で文字認識した結果とから、出力ファイル形式を自動で判断する出力ファイル形式判断手段と、
   前記画像入力手段で入力された入力画像を前記出力ファイル形式判断手段で判断された出力ファイル形式に変換するファイル形式変換手段と、
   前記ファイル形式変換手段で変換したファイル形式のファイルを保存するファイル保存手段とを有することを特徴とするデジタルカメラ。
10. 請求項１に記載の方法の各工程をコンピュータにて実施させることを特徴とするコンピュータプログラム。

Images