JP2004110434A

JP2004110434A - Image processing method and image processing device

Info

Publication number: JP2004110434A
Application number: JP2002272293A
Authority: JP
Inventors: Shinobu Yamamoto; 山本　忍
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-09-18
Filing date: 2002-09-18
Publication date: 2004-04-08
Anticipated expiration: 2022-09-18
Also published as: JP4116377B2

Abstract

<P>PROBLEM TO BE SOLVED: To enable the identification of a photography region which hardly causes an identification error by making effective use of shape information on a region-composing component as well as information on pixel colors to a multivalue image. <P>SOLUTION: A background color is specified to a document image inputted (Step S2), a partial region where colors except the background color are connected is extracted (Step S3), a color matching connection component is extracted from the partial region (Step S4), and the characteristics of the color matching connection component in the partial region are extracted (Step S5). The number of kinds of the colors of the color matching connection components constituting the partial region is found and is compared with a threshold preliminarily fixed. When the number is larger than the threshold, the partial region is determined to be the photography region (Step S6). The photography region can be extracted from the multivalue image simply and precisely by using the number of the colors of the color matching connection components constituting the partial region. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
この発明は、文字、写真、図、表などが混在する文書画像から、特に写真の領域を識別する画像処理方法および画像処理装置に関する。
【０００２】
【従来の技術】
近年、文書画像において、カラーやグレースケールといった多値画像で扱うことが増えてきているため、従来から主に二値の文書画像に対して実行されてきた、領域識別、タイトル文字列の抽出、表処理、ＯＣＲなどの処理においても、多値の画像に対して実行する要望がある。二値の文書画像に対しては、既にさまざまな方法が存在するため、多値の文書画像を上手に二値化すれば、二値画像に対する既存の処理が適用可能と考えられる。
【０００３】
図７は、文書画像を示す図である。文書画像２０上には文字領域２１，表領域２２，図領域（図示せず），写真領域２３など、異なった属性をもつ領域が混在している。これらのうち、文字領域２１，表領域２２，図領域においては、それらを記述するのに用いられている色は少数であることが多い。一つの文字そのものが多色で記述されていたり、表の一つのセルが多色であったりすることはまれである。したがって、これらの領域に関しては、部分的に適切なしきい値を見つけて二値化し、二値画像に対する既存の処理を用いることができる。
【０００４】
しかしながら、写真領域２３においては、写真の内容によっては、画素の色の種類がはるかに多くなる。この写真領域２３を他の領域と同様のしきい値処理で二値化すれば、写真の内容が判別不能になるだけでなく、二値化した後の画像を処理する中で、誤って他の領域に分類してしまうことがあった。
【０００５】
このような、多値画像に対する領域分類の方法として、背景色を抽出し、その他の色で構成される部分領域を罫線、文字の領域と順次分類していき、最終的にどちらにも分類されない残った領域をその他領域とし、この、その他領域を図または写真領域として扱う方法がある（例えば、特許文献１参照。）。
【０００６】
また、特許文献２は、後述する画像の背景色を特定する技術に関するものである。
【０００７】
【特許文献１】
特開２００１−２９７３０３号公報
【特許文献２】
特開２００１−２２２７１７号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、写真領域の中に文字列に似通った形の矩形の並びがあると文字領域と分類されてしまうので、写真を抽出するという目的には向いたものではなかった。
【０００９】
この発明は、上述した従来技術による問題点を解消するため、多値画像に対して画素色の情報に加え、領域を構成する成分の形状情報を有効に利用することにより、識別誤りが少ない写真領域の識別が可能な画像処理方法および画像処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明にかかる画像処理方法は、多値画像として入力された文書画像から写真領域を識別する機能を有した画像処理方法であって、前記文書画像の背景色を特定する背景色特定工程と、前記背景色と異なる色の画素が連結した部分領域を抽出する部分領域抽出工程と、前記抽出した部分領域に隣接した同色の画素の連なりを等色連結成分として抽出する等色連結成分抽出工程と、前記部分領域内における等色連結成分の色の数を抽出する連結成分特徴抽出工程と、前記等色連結成分の色の数に基づき前記部分領域が写真領域であるか否かを識別する写真領域判定工程とを含むことを特徴とする。
【００１１】
また、請求項２の発明にかかる画像処理方法は、請求項１に記載の発明において、前記連結成分特徴抽出工程は、前記部分領域における等色連結成分の数を求め、前記写真領域判定工程は、前記等色連結成分の数を含み前記部分領域が写真領域であるか否かを識別することを特徴とする。
【００１２】
また、請求項３の発明にかかる画像処理方法は、請求項１または２に記載の発明において、前記連結成分特徴抽出工程は、前記部分領域における等色連結成分の外接矩形を求める工程と、複数の外接矩形の重なりを求める工程を含み、前記写真領域判定工程は、前記等色連結成分の外接矩形の重なりを含み前記部分領域が写真領域であるか否かを識別することを特徴とする。
【００１３】
また、請求項４の発明にかかる画像処理方法は、請求項１〜３のいずれか一つに記載の発明において、前記連結成分特徴抽出工程は、前記部分領域の等色連結成分の大きさの分布を求める工程を含み、前記写真領域判定工程は、前記等色連結成分の大きさの分布を含み前記部分領域が写真領域であるか否かを識別することを有することを特徴とする。
【００１４】
また、請求項５の発明にかかる画像処理方法は、請求項１〜４のいずれか一つに記載の発明において、前記写真領域判定工程により写真領域と識別された部分領域に対して、該部分領域を入力画像とみなして前記一連の処理を所定回数実行させる工程を含み、再帰的に写真領域を識別することを特徴とする。
【００１５】
また、請求項６の発明にかかる画像処理方法は、請求項５に記載の発明において、前記再帰的に写真領域を識別するときの実行回数を前記抽出された背景色の領域の大きさに基づき設定することを特徴とする。
【００１６】
また、請求項７の発明にかかる画像処理装置は、多値画像として入力された文書画像から写真領域を識別する機能を有した画像処理装置であって、前記文書画像の背景色を特定する背景色特定手段と、前記背景色と異なる色の画素が連結した部分領域を抽出する部分領域抽出手段と、前記抽出した部分領域に隣接した同色の画素の連なりを等色連結成分として抽出する等色連結成分抽出手段と、前記部分領域内における等色連結成分の色の数を抽出する連結成分特徴抽出手段と、前記等色連結成分の色の数にしたがって前記部分領域が写真領域であるか否かを識別する写真領域判定手段とを備えたことを特徴とする。
【００１７】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる画像処理方法および画像処理装置の好適な実施の形態を詳細に説明する。図１は、本発明の画像処理装置の実施の形態の構成を示すブロック図である。
【００１８】
画像処理装置は、カラースキャナ等の画像入力装置を用いて多値の文書画像を入力する画像入力部１と、入力された多値文書画像の背景色を特定する背景色抽出部２と、背景色と異なる画素が連結した領域を抽出する部分領域抽出部３と、部分領域において隣接した同色の画素の連なりを抽出する等色連結成分抽出部４と、等色連結成分の色や形状などの特徴を抽出する連結成分特徴抽出部５と、得られた連結成分の特徴から部分領域画像が写真領域かどうか判定する写真領域判定部６と、抽出したデータを保存しておくメモリ７と、処理の流れを制御する制御部８からなる。
【００１９】
（実施の形態１）
図２は、実施の形態１による画像処理の流れを示すフローチャートである。まず、画像入力を行い（ステップＳ１）、入力された文書画像に対して背景色を特定する（ステップＳ２）。背景色の特定は、例えば特許文献２に開示されている方法を用いて行える。
【００２０】
次に、背景色以外の画素が連結した部分領域を抽出する（ステップＳ３）。連結した画素の抽出は従来から広く知られた処理であり各種手法を用いることができる。次に、部分領域から等色連結成分を抽出する（ステップＳ４）。等色連結成分は、隣接する画素色が色空間上においてある一定の距離内にあれば同色とみてグループ化する操作を繰り返して得られる。こうして、部分領域内の画素はいずれかの連結成分に属することになる。
【００２１】
そして、この部分領域における等色連結成分の特徴を抽出する（ステップＳ５）。特徴としては、部分領域を構成する等色連結成分の色の種類の数を求める。この色の種類の数を予め定めてあったしきい値と比較し、しきい値よりも大きければ、当該部分領域を写真領域と判定する（ステップＳ６）。しきい値は、実験的に求めておけばよい。
【００２２】
一般に、文字を構成する画素色は１種類、ないしアウトラインや影つき文字であったとしても数種類程度であることが多い。一方、写真は、はるかに多くの種類の画素色で構成されている。また、セルに色がついたような表なども、文字を構成する画素の色よりは多いが、ベタな色の組み合わせであることが多く、写真領域ほど画素色の種類が多くはならない。このように、部分領域を構成する等色連結成分の色の数を用いれば、簡単に高精度で多値画像から写真領域を抽出することができる。
【００２３】
（実施の形態２）
実施の形態２では、実施の形態１で説明した部分領域における等色連結成分の特徴（ステップＳ５）において、等色連結成分の数も求めて写真領域の判定に利用する。一般に、写真領域は、文字や文字の背景に比べ、等色連結成分が細かく分かれることが多い。
【００２４】
例えば、都市部の航空写真などでは、ビルや車ごとに等色連結成分が抽出されると、非常に多くの等色連結成分が存在することになる。これらの各等色連結成分の色の種類が似通っていれば、色の種類の数としては少ないものの等色連結成分の数が膨大になるため、他の領域と区別することができる。このように、部分領域を構成する等色連結成分の数を併せて用いることで、色の種類数が少ないような写真領域でも、簡単に抽出することができる。
【００２５】
（実施の形態３）
実施の形態３では、実施の形態２で説明した部分領域における等色連結成分の特徴（ステップＳ５）において、等色連結成分の外接矩形の重なりに関する特徴も求めて写真領域の判定に利用する。図３は、等色連結成分の外接矩形の分布を説明するための図である。
【００２６】
一般に、図３（ｃ）に示す写真領域は、文字や文字の背景に比べ、等色連結成分の形が矩形状でないことが多い。したがって、図３（ｄ）に示すように隣接した等色連結成分の外接矩形同士は大きく重なり合うことになる。一方、図３（ａ）に示す文字領域においては、文字を構成する等色連結成分は、ある程度重なることがあるが隣り合った文字同士が重なることは殆どないため、図３（ｂ）に示すように外接矩形の重なりは少ない。
【００２７】
図４は、外接矩形の重なり状態を説明するための図である。ただし、文字などの背景に相当する等色連結成分とは必ず重なるため、背景との重なりは排除する必要がある。これは、図４（ａ）に示すように、背景の等色連結成分の外接矩形との重なりが、完全な包含関係となるため、そのような場合を除けばよい。したがって、図４（ｂ）の如く、完全に包含関係にない等色連結成分の外接矩形同士の重なりを調べ、重なり部分の面積の合計と部分領域の面積との比があるしきい値を超えれば写真として他の領域と区別することができる。
【００２８】
このように、部分領域を構成する等色連結成分の外接矩形の重なりを併せて用いることで、色の種類数が少なく、等色連結成分の数も文字領域と似通っているような写真領域でも、簡単に抽出することができる。
【００２９】
（実施の形態４）
実施の形態４では、実施の形態３で説明した部分領域における等色連結成分の特徴（ステップＳ５）において、等色連結成分の大きさの分布に関する特徴も求めて写真領域の判定に利用する。一般に、写真領域は、文字の含まれる領域に比べ、等色連結成分の大きさがバラバラに分布することが多い。例えば、人間の顔写真では、顔の輪郭と目，口，髪，洋服，背景などに分かれるが、それらの大きさは、文字列のようにある範囲に収まるような分布にはならない。
【００３０】
したがって、等色連結成分の外接矩形の面積の分散値を求め、この値があるしきい値を超えれば写真として他の領域と区別することができる。面積の代わりに、外接矩形の長辺もしくは短辺の長さの分散を用いることもできる。このように、部分領域を構成する等色連結成分の大きさの分布を併せて用いることで、色の種類数が少なく、外接矩形同士の重なりが少ないような写真領域でも、簡単に抽出することができる。
【００３１】
（実施の形態５）
図５は、実施の形態５における処理の流れを示すフローチャートである。前述した実施の形態１〜４の処理によりステップＳ６で写真領域が判定した後、判断子（ステップＳ７）では新たに入力された画像とみなして、ステップＳ１に復帰させ、再帰的に写真領域を識別させる。ステップＳ７における再帰処理の回数については、例えば２回などと予め決めておけばよい。これによって、文書画像上で、写真領域が背景と異なる他の領域に包含されているような場合でも、正しく写真領域のみを抽出できるようになる。
【００３２】
（実施の形態６）
図６は、実施の形態６における処理の流れを示すフローチャートである。実施の形態６では、背景色特定後に（ステップＳ２）、再帰処理の実行の判断を行い、求めた背景の画素数と部分領域全体の画素数との比によって決定する（Ｓ１０）。背景色は、部分領域の中で最も多い色として求められるが、その色の画素が少なくなるということは既に背景ではなく、文字や写真の一部を表すとみてよい。したがって、背景色の画素数と部分領域全体の画素数との比があるしきい値よりも小さいときには（ステップＳ１０：Ｙｅｓ）、対象としている部分領域の再帰処理を行わず終了する。再帰処理の回数を一定値ではなく画像によって適応的に変化させることで、適切な回数だけ実行でき、精度よく写真領域を抽出することができる。
【００３３】
以上説明したように、本実施の形態にかかる画像処理方法によれば、多値画像に対して画素色の情報のみならず、領域を構成する成分の形状情報を有効に利用することにより、識別誤りが少ない写真領域の識別が可能となる。
【００３４】
なお、本実施の形態で説明した画像処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。
【００３５】
【発明の効果】
以上説明したように、この発明によれば、多値画像に対して画素色の情報に加え、領域を構成する成分の形状情報を有効に利用することにより、識別誤りが少ない写真領域の識別が可能であるという効果を奏する。この形状情報としては、部分領域の等色連結成分の色の種類数や、部分領域の等色連結成分の数、部分領域の等色連結成分の外接矩形の重なり状態、部分領域の等色連結成分の大きさの分布を用いて行う。
【００３６】
また、再帰的に写真領域を識別したり、画像に応じて再帰的に写真領域を抽出する回数を変化させることによって、写真領域が他の領域に包含されているような場合でも、正しく写真領域のみを抽出できるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の画像処理装置の実施の形態の構成を示すブロック図である。
【図２】実施の形態１による画像処理の流れを示すフローチャートである。
【図３】等色連結成分の外接矩形の分布を説明するための図である。
【図４】外接矩形の重なり状態を説明するための図である。
【図５】実施の形態５における処理の流れを示すフローチャートである。
【図６】実施の形態６における処理の流れを示すフローチャートである。
【図７】文書画像を示す図である。
【符号の説明】
１　画像入力部
２　背景色抽出部
３　部分領域抽出部
４　等色連結成分抽出部
５　連結成分特徴抽出部
６　写真領域判定部
７　メモリ
８　制御部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing method and an image processing apparatus for identifying, in particular, a region of a photograph from a document image in which characters, photographs, figures, and tables are mixed.
[0002]
[Prior art]
In recent years, in document images, the number of multi-valued images such as color and gray scale has been increasing, and thus, region identification, title character string extraction, In processes such as table processing and OCR, there is a demand to execute the processing on multi-valued images. Various methods already exist for the binary document image, and it is considered that if the multi-valued document image is binarized well, the existing processing for the binary image can be applied.
[0003]
FIG. 7 is a diagram illustrating a document image. On the document image 20, areas having different attributes such as a character area 21, a table area 22, a figure area (not shown), and a photograph area 23 are mixed. Of these, in the character area 21, the table area 22, and the figure area, the colors used to describe them are often small. It is rare that one character itself is described in multiple colors or one cell of a table is multicolor. Therefore, for these regions, an appropriate threshold can be partially found and binarized, and the existing processing for the binary image can be used.
[0004]
However, in the photographic area 23, depending on the content of the photographic image, the types of pixel colors are much larger. If the photo area 23 is binarized by the same threshold processing as the other areas, not only the content of the photograph cannot be determined but also the erroneous other processing may occur during the processing of the binarized image. In some cases.
[0005]
As a method of classifying an area for such a multi-valued image, a background color is extracted, and a partial area composed of other colors is sequentially classified as a ruled line and a character area. There is a method of treating the remaining area as another area and treating the other area as a figure or a photograph area (for example, see Patent Document 1).
[0006]
Patent Document 2 relates to a technique for specifying a background color of an image described later.
[0007]
[Patent Document 1]
JP 2001-297303 A [Patent Document 2]
JP 2001-222717 A
[Problems to be solved by the invention]
However, in the above-described conventional technique, if a rectangular area having a shape similar to a character string is included in a photograph area, the rectangular area is classified as a character area, and is not suitable for the purpose of extracting a photograph.
[0009]
The present invention solves the above-described problems of the prior art by effectively utilizing shape information of components constituting an area in addition to pixel color information for a multi-valued image, so that a photo with few identification errors can be reduced. It is an object of the present invention to provide an image processing method and an image processing device capable of identifying an area.
[0010]
[Means for Solving the Problems]
In order to solve the above-mentioned problem and achieve the object, an image processing method according to the present invention is an image processing method having a function of identifying a photographic region from a document image input as a multi-valued image. A background color specifying step of specifying a background color of the document image; a partial area extracting step of extracting a partial area in which pixels of colors different from the background color are connected; and a partial color extracting step of extracting pixels of the same color adjacent to the extracted partial area. A color-matching connected component extraction step of extracting a series as color-matched connected components, a connected component feature extraction step of extracting the number of colors of the color-matched connected components in the partial region, and A photographic area determining step of determining whether the partial area is a photographic area based on the photographic area.
[0011]
Also, in the image processing method according to the second aspect of the present invention, in the first aspect, the connected component feature extracting step determines the number of color-matched connected components in the partial area, and the photographic area determining step includes: , Including the number of the color-matching connected components, and identifying whether the partial region is a photograph region.
[0012]
The image processing method according to a third aspect of the present invention is the image processing method according to the first or second aspect, wherein the connected component feature extracting step includes a step of obtaining a circumscribed rectangle of the same color connected component in the partial region. And determining the overlap of the circumscribing rectangles, and wherein the photograph region determining step includes determining whether or not the partial region is a photographic region including the overlap of the circumscribing rectangles of the color-matching connected components.
[0013]
According to a fourth aspect of the present invention, in the image processing method according to any one of the first to third aspects, the connected component feature extracting step includes the step of: The method further includes a step of obtaining a distribution, and the photographic area determination step includes a step of identifying whether or not the partial area is a photographic area, including a size distribution of the color matching connected components.
[0014]
According to a fifth aspect of the present invention, in the image processing method according to any one of the first to fourth aspects, the partial area identified as a photographic area in the photographic area determination step is applied to the partial area. A step of executing the series of processes a predetermined number of times by regarding the area as an input image, and recursively identifying a photographic area.
[0015]
According to a sixth aspect of the present invention, in the image processing method according to the fifth aspect, the number of executions for recursively identifying a photograph region is determined based on the size of the extracted background color region. It is characterized by setting.
[0016]
An image processing apparatus according to a seventh aspect of the present invention is an image processing apparatus having a function of identifying a photographic area from a document image input as a multi-valued image, wherein a background color of the document image is specified. Color specifying means, partial area extracting means for extracting a partial area in which pixels of colors different from the background color are connected, and color matching for extracting a series of pixels of the same color adjacent to the extracted partial area as color matching connected components Connected component extraction means, connected component feature extraction means for extracting the number of colors of the same color connected components in the partial area, and whether or not the partial area is a photographic area according to the number of colors of the same color connected components And a photograph area determining means for identifying
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Exemplary embodiments of the present invention will be described in detail below with reference to the accompanying drawings. FIG. 1 is a block diagram illustrating a configuration of an embodiment of an image processing apparatus according to the present invention.
[0018]
The image processing apparatus includes an image input unit 1 that inputs a multi-valued document image using an image input device such as a color scanner, a background color extraction unit 2 that specifies a background color of the input multi-valued document image, A partial region extracting unit 3 for extracting a region in which pixels different in color are connected; a color matching component extracting unit 4 for extracting a series of adjacent pixels of the same color in the partial region; A connected component feature extracting unit 5 for extracting a feature, a photographic region determining unit 6 for determining whether a partial region image is a photographic region based on the obtained feature of the connected component, a memory 7 for storing the extracted data, The control unit 8 controls the flow of the data.
[0019]
(Embodiment 1)
FIG. 2 is a flowchart showing a flow of image processing according to the first embodiment. First, an image is input (step S1), and a background color is specified for the input document image (step S2). The specification of the background color can be performed using, for example, a method disclosed in Patent Document 2.
[0020]
Next, a partial region in which pixels other than the background color are connected is extracted (step S3). Extraction of connected pixels is a widely known process, and various methods can be used. Next, color-matching connected components are extracted from the partial area (step S4). If the adjacent pixel colors are within a certain distance in the color space, the color-matched connected components are obtained by repeating the operation of grouping them as the same color. Thus, the pixels in the partial region belong to any of the connected components.
[0021]
Then, the features of the color-matching connected components in this partial area are extracted (step S5). As a feature, the number of types of colors of the same-color connected components constituting the partial area is obtained. The number of color types is compared with a predetermined threshold, and if the number is larger than the threshold, the partial area is determined to be a photographic area (step S6). The threshold value may be determined experimentally.
[0022]
In general, there are many kinds of pixel colors constituting a character, or about several kinds even if it is an outline or a shaded character. Photos, on the other hand, are made up of much more types of pixel colors. Also, tables having cells in colors are more often than solid pixels, although they have more colors than pixels constituting characters, and the types of pixel colors are not as many as in the photograph area. As described above, by using the number of colors of the same-color connected components constituting the partial region, the photographic region can be easily extracted from the multi-valued image with high accuracy.
[0023]
(Embodiment 2)
In the second embodiment, the number of color-matching connected components in the feature of the color-matched connected components in the partial region described in the first embodiment (step S5) is also used for determining the photographic region. In general, a photographic area often has finely divided color-matching components compared to characters or character backgrounds.
[0024]
For example, in an aerial photograph of an urban area or the like, if color-matching connected components are extracted for each building or car, there will be very many color-matching connected components. If the color types of these color-matching connected components are similar, the number of color-matched connected components is enormous although the number of color types is small, so that they can be distinguished from other regions. In this way, by using the number of equal-color connected components constituting the partial region together, it is possible to easily extract even a photographic region in which the number of types of colors is small.
[0025]
(Embodiment 3)
In the third embodiment, in the feature of the color-matched connected component in the partial region described in the embodiment 2 (step S5), the feature related to the overlap of the circumscribed rectangle of the color-matched connected component is also obtained and used for the determination of the photograph region. FIG. 3 is a diagram for explaining the distribution of circumscribed rectangles of color-matching connected components.
[0026]
In general, the photographic region shown in FIG. 3C often has a non-rectangular shape of the color-matching connected component as compared with the character or the background of the character. Therefore, as shown in FIG. 3D, the circumscribed rectangles of adjacent equal-color connected components greatly overlap. On the other hand, in the character area shown in FIG. 3A, the same color connected components constituting the character may overlap to some extent, but the adjacent characters hardly overlap each other. Thus, the overlap of the circumscribed rectangles is small.
[0027]
FIG. 4 is a diagram for explaining an overlapping state of circumscribed rectangles. However, since it always overlaps with a color-matching connected component corresponding to a background such as a character, it is necessary to eliminate the overlap with the background. This may be omitted, as shown in FIG. 4A, since the overlap of the background color-matching connected component with the circumscribed rectangle is a complete inclusion relationship. Therefore, as shown in FIG. 4B, the overlap between the circumscribed rectangles of the equal-color connected components that are not completely included is examined, and the ratio of the total area of the overlapping portions to the area of the partial region exceeds a certain threshold value. For example, it can be distinguished from other areas as a photograph.
[0028]
As described above, by using the overlap of the circumscribed rectangles of the equal color connected components constituting the partial region in combination, even in a photograph region in which the number of types of colors is small and the number of the same color connected components is similar to the character region. , Can be easily extracted.
[0029]
(Embodiment 4)
In the fourth embodiment, in the feature of the color-matching connected component in the partial region described in the embodiment 3 (step S5), a feature related to the distribution of the size of the color-matched connected component is also obtained and used for the determination of the photograph region. In general, the size of the color-matching connected component is often distributed in a photographic region differently than in a region including a character. For example, in a face photograph of a human, the contour of the face is divided into eyes, mouth, hair, clothes, background, and the like, but their sizes do not have a distribution that falls within a certain range like a character string.
[0030]
Therefore, the variance value of the area of the circumscribed rectangle of the color-matching connected component is obtained, and if this value exceeds a certain threshold value, it can be distinguished from other regions as a photograph. Instead of the area, the variance of the length of the long side or the short side of the circumscribed rectangle can be used. As described above, by using the distribution of the sizes of the equal-color connected components constituting the partial region together, it is possible to easily extract even a photographic region in which the number of types of colors is small and the circumscribed rectangles are less overlapped. Can be.
[0031]
(Embodiment 5)
FIG. 5 is a flowchart showing a flow of processing in the fifth embodiment. After the photographic area is determined in step S6 by the processing of the above-described first to fourth embodiments, the discriminator (step S7) regards the image as a newly input image, returns to step S1, and recursively converts the photographic area. Let them be identified. The number of recursive processes in step S7 may be determined in advance, for example, two times. This makes it possible to correctly extract only the photographic region even when the photographic region is included in another region different from the background on the document image.
[0032]
(Embodiment 6)
FIG. 6 is a flowchart showing a flow of processing in the sixth embodiment. In the sixth embodiment, after specifying the background color (step S2), the execution of the recursive process is determined, and the determination is made based on the ratio between the obtained number of pixels of the background and the number of pixels of the entire partial area (S10). The background color is obtained as the largest color in the partial area. However, the fact that the number of pixels of that color is reduced may be regarded as representing not a background but a part of a character or a photograph. Therefore, when the ratio of the number of pixels of the background color to the number of pixels of the entire partial area is smaller than a certain threshold value (step S10: Yes), the process ends without performing the recursive processing of the target partial area. By changing the number of recursive processes adaptively depending on the image instead of a constant value, the recursive process can be executed an appropriate number of times and a photographic region can be extracted with high accuracy.
[0033]
As described above, according to the image processing method according to the present embodiment, not only the information of the pixel color but also the shape information of the component constituting the region is effectively used for the multi-valued image, and the identification is performed. It is possible to identify a photographic region with few errors.
[0034]
The image processing method described in the present embodiment can be realized by executing a prepared program on a computer such as a personal computer or a workstation. This program is recorded on a computer-readable recording medium such as a hard disk, a flexible disk, a CD-ROM, an MO, and a DVD, and is executed by being read from the recording medium by the computer. The program may be a transmission medium that can be distributed via a network such as the Internet.
[0035]
【The invention's effect】
As described above, according to the present invention, in addition to pixel color information for a multi-valued image, the shape information of the components constituting the region is effectively used, so that a photographic region with few identification errors can be identified. This has the effect of being possible. The shape information includes the number of types of colors of the color matching components of the partial area, the number of color matching components of the partial area, the overlapping state of the circumscribed rectangles of the color matching components of the partial area, and the color matching of the partial area. This is performed using the distribution of the component sizes.
[0036]
In addition, by recursively identifying a photo area or changing the number of times a photo area is recursively extracted according to an image, even if the photo area is included in another area, the photo area can be correctly identified. It is possible to extract only the information.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an embodiment of an image processing apparatus according to the present invention.
FIG. 2 is a flowchart showing a flow of image processing according to the first embodiment.
FIG. 3 is a diagram for explaining the distribution of circumscribed rectangles of color-matching connected components.
FIG. 4 is a diagram for explaining an overlapping state of circumscribed rectangles;
FIG. 5 is a flowchart showing a flow of a process according to the fifth embodiment.
FIG. 6 is a flowchart showing a flow of processing according to the sixth embodiment.
FIG. 7 is a diagram showing a document image.
[Explanation of symbols]
REFERENCE SIGNS LIST 1 image input unit 2 background color extraction unit 3 partial region extraction unit 4 color matching connected component extraction unit 5 connected component feature extraction unit 6 photo region determination unit 7 memory 8 control unit

Claims

An image processing method having a function of identifying a photographic region from a document image input as a multi-valued image,
A background color specifying step of specifying a background color of the document image,
A partial region extracting step of extracting a partial region in which pixels of colors different from the background color are connected,
A color-matching connected component extracting step of extracting a series of pixels of the same color adjacent to the extracted partial region as a color-matched connected component,
A connected component feature extraction step of extracting the number of colors of the same color connected components in the partial region,
A photographic region determining step of identifying whether the partial region is a photographic region based on the number of colors of the color matching connected component,
An image processing method comprising:

The connected component feature extraction step determines the number of color-matched connected components in the partial region,
The image processing method according to claim 1, wherein the photographic area determination step includes determining whether the partial area is a photographic area by including the number of the color matching connected components.

The connected component feature extraction step includes a step of obtaining a circumscribed rectangle of the equal-color connected components in the partial area, and a step of obtaining an overlap of a plurality of circumscribed rectangles,
3. The image processing method according to claim 1, wherein the photographic region determination step includes determining whether the partial region is a photographic region, including an overlap of circumscribed rectangles of the equal-color connected components. 4.

The connected component feature extraction step includes a step of obtaining a size distribution of color-matched connected components of the partial region,
4. The photograph area determining step according to claim 1, further comprising identifying whether or not the partial area is a photograph area, including a size distribution of the color matching connected components. The image processing method according to any one of the above.

For the partial region identified as a photograph region in the photograph region determination step, the partial region is regarded as an input image, and the series of processes is executed a predetermined number of times. The image processing method according to any one of claims 1 to 4, wherein:

6. The image processing method according to claim 5, wherein the number of executions for recursively identifying a photograph area is set based on the size of the extracted background color area.

An image processing apparatus having a function of identifying a photographic region from a document image input as a multi-valued image,
Background color specifying means for specifying a background color of the document image,
A partial area extracting means for extracting a partial area in which pixels of colors different from the background color are connected,
Color-matching connected component extracting means for extracting a series of pixels of the same color adjacent to the extracted partial region as color-matched connected components,
Connected component feature extraction means for extracting the number of colors of the same color connected components in the partial region,
A photographic region determining means for identifying whether the partial region is a photographic region according to the number of colors of the color-matching connected components,
An image processing apparatus comprising: