JP2006184415A - Image processor, image processing program, and image processing method - Google Patents
Image processor, image processing program, and image processing method Download PDFInfo
- Publication number
- JP2006184415A JP2006184415A JP2004376155A JP2004376155A JP2006184415A JP 2006184415 A JP2006184415 A JP 2006184415A JP 2004376155 A JP2004376155 A JP 2004376155A JP 2004376155 A JP2004376155 A JP 2004376155A JP 2006184415 A JP2006184415 A JP 2006184415A
- Authority
- JP
- Japan
- Prior art keywords
- image
- character
- screen
- size
- character size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、例えば文字等の幾何情報を含む文書画像を加工して表示する画像処理装置、画像処理プログラム及び画像処理方法に関する。 The present invention relates to an image processing apparatus, an image processing program, and an image processing method for processing and displaying a document image including geometric information such as characters.
スキャナ、デジタルカメラなどの画像入力装置、さらにコンピュータディスプレイ、携帯端末モニタ、電子ブックビューワなどの画像表示装置の多様化が進んでいる。
スキャナなどの入力装置から入力される文書画像に含まれる文字のサイズは、同一の文章を入力しても入力解像度によって変化する。またデジタルカメラや携帯端末内蔵カメラなどの光学式デジタル撮像機では、解像度やカメラと撮影対象間の距離が固定されておらず、多くは被写体が撮像領域一杯に撮影される。
Image input devices such as scanners and digital cameras, and image display devices such as computer displays, portable terminal monitors, and electronic book viewers have been diversified.
The size of characters included in a document image input from an input device such as a scanner varies depending on the input resolution even if the same sentence is input. Further, in an optical digital image pickup device such as a digital camera or a camera with a built-in mobile terminal, the resolution and the distance between the camera and the object to be imaged are not fixed, and in many cases, the object is imaged in the entire image area.
このため、上記光学式デジタル撮像機で文書画像を撮影した場合、画像ごとに文字のサイズが異なったり、マーカーの位置関係が異なるものとなっていた。 For this reason, when a document image is taken with the optical digital image pickup device, the size of characters is different for each image and the positional relationship of markers is different.
上記光学式デジタル撮像機で撮像されたさまざまな解像度の文書画像を、コンピュータや内部プロセッサなどの画像処理装置へ入力し、さまざまな解像度のまま文書画像を混在させて扱う場合、文字の大きさが統一されていないために画面に実際に表示される文字の可読性や視覚性が悪く、可読性や視覚性をよくするためには手動での修正が必要であり、そのための手間がかかるといった問題がある。 When document images of various resolutions captured by the above optical digital imaging device are input to an image processing apparatus such as a computer or an internal processor, and the document images are mixed and handled at various resolutions, the character size is There is a problem that the readability and visibility of characters that are actually displayed on the screen are poor because they are not unified, and manual correction is necessary to improve readability and visibility, and it takes time and effort to do so. .
例えば手動操作で文字の大きさを統一する場合、画像処理装置では、元の画像サイズの等倍に対する比率、あるいは解像度の指定などのように、文書画像中の文字サイズとは関係のない指標で、画像の拡大・縮小の指定が行う必要があり、縮尺指定を表示対象のすべての画像に対して行う必要があった。 For example, when unifying the character size by manual operation, the image processing apparatus uses an index that is not related to the character size in the document image, such as the ratio to the original image size or the resolution designation. Therefore, it is necessary to designate enlargement / reduction of the image, and it is necessary to designate the scale for all the images to be displayed.
一般に、スキャナなどによって読み取られた文書画像は、比較的高解像度で画像処理装置に入力・保存されるが、その文字画像を例えばPDA、携帯電話機等の画面サイズが小さい携帯端末で表示する場合、文字の大きさが大きすぎて多くの情報を一度に表示することができないなどの問題があった。また文書内容の確認ができさえすれば良い程度の文書画像に対しても必要以上に高解像度、高ファイルサイズで画像が保存されることがあった。 In general, a document image read by a scanner or the like is input and stored in an image processing apparatus with a relatively high resolution. However, when displaying the character image on a portable terminal having a small screen size such as a PDA or a mobile phone, There was a problem that the size of characters was too large to display a lot of information at once. In addition, an image may be stored with higher resolution and higher file size than necessary even for a document image that only needs to be confirmed.
この種の先行技術として、ユーザが予め文字サイズを指定しておき、文書画像を見るときに、指定されていた文字サイズで画像を加工して表示する技術が提案されている(例えば特許文献1参照)。
上記先行技術の場合、ユーザが予め手操作で文字の表示サイズを指定する必要があるため、予め設定しておいた一定のサイズでしか文字を表示できず、言語(日本語、英語等)、文字種(フォントの種類等)によっては見難く表示される場合がある。 In the case of the above prior art, since the user needs to manually specify the display size of the character in advance, the character can be displayed only in a predetermined size, and the language (Japanese, English, etc.), Depending on the character type (font type, etc.), it may be difficult to see.
本発明はこのような課題を解決するためになされたものであり、ユーザが画像毎の手動操作による表示サイズ指定等を行うことなく、異なる解像度で得られた文字画像を、文字を読むのに適切な大きさで閲覧することができる画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的としている。 The present invention has been made to solve such a problem, and allows a user to read a character image obtained at a different resolution without specifying a display size by manual operation for each image. An object of the present invention is to provide an image processing apparatus, an image processing program, and an image processing method that can be browsed in an appropriate size.
上記した目的を達成するために、本発明の画像処理装置は、所定表示領域を有する画面を備えた表示手段と、前記画面へ表示する画像を記憶する記憶手段と、前記記憶手段から読み出した画像の構成要素を抽出する画像構成要素抽出手段と、前記画像構成要素抽出手段により画像から抽出された構成要素のレイアウト解析を行い構成要素が画像の中にどのように配置されているかを示すレイアウト情報を得るレイアウト解析手段と、前記レイアウト解析手段により得られたレイアウト情報に基づき前記画像の文字のサイズを推定する幾何情報推定手段と、文字の言語、文字種毎に変換文字サイズを対応させて記憶する変換文字サイズ記憶手段と、前記幾何情報推定手段により推定された文字のサイズに基づいて前記変換文字サイズ記憶手段を参照して前記画像に含まれる文字のサイズが前記変換文字サイズとなるよう前記記憶手段より読み出した画像を縮小または拡大して前記表示手段へ出力する画像処理手段とを具備したことを特徴とする。 In order to achieve the above object, an image processing apparatus of the present invention includes a display unit having a screen having a predetermined display area, a storage unit that stores an image to be displayed on the screen, and an image read from the storage unit. Image component extraction means for extracting the constituent elements of the image, and layout information indicating how the constituent elements are arranged in the image by performing layout analysis of the constituent elements extracted from the image by the image constituent element extraction means The layout analysis means for obtaining the information, the geometric information estimation means for estimating the character size of the image based on the layout information obtained by the layout analysis means, and the converted character size corresponding to each character language and character type and stored. The converted character size storage means, and the converted character size storage means based on the character size estimated by the geometric information estimation means And image processing means for reducing or enlarging the image read from the storage means and outputting to the display means so that the size of characters included in the image becomes the converted character size. .
本発明の画像処理装置は、所定表示領域を有する画面を備えた表示手段と、前記画面へ表示する画像を記憶する記憶手段と、前記記憶手段から読み出した画像の構成要素を抽出する画像構成要素抽出手段と、前記画像構成要素抽出手段により画像から抽出された構成要素のレイアウト解析を行い構成要素が画像の中にどのように配置されているかを示すレイアウト情報を得るレイアウト解析手段と、前記レイアウト解析手段により得られたレイアウト情報に基づき前記画像の文字のサイズを推定し、この推定した文字サイズに基づいて前記画面に表示する文字のサイズが適正となるように前記画像の拡大倍率または縮小倍率を決定する画像拡大・縮小倍率決定手段と、前記画像拡大・縮小倍率決定手段により推定された画像の拡大倍率または縮小倍率を用いて前記画面へ表示する画像を作成する画像作成手段と、前記画像作成手段により作成された画像をその画像の帳票種種類に応じた前記画面上の位置へ配置し前記表示手段へ出力する手段とを具備したことを特徴とする。 An image processing apparatus according to the present invention includes a display unit having a screen having a predetermined display area, a storage unit that stores an image to be displayed on the screen, and an image component that extracts a component of an image read from the storage unit An extraction unit; a layout analysis unit that performs layout analysis of the component extracted from the image by the image component extraction unit and obtains layout information indicating how the component is arranged in the image; and the layout Based on the layout information obtained by the analysis means, the character size of the image is estimated, and based on the estimated character size, the enlargement or reduction magnification of the image is set so that the character size displayed on the screen is appropriate. Image enlargement / reduction magnification determination means for determining the image enlargement / reduction magnification determination means, An image creating means for creating an image to be displayed on the screen using a small magnification, and an image created by the image creating means is arranged at a position on the screen according to the form type of the image to the display means. And means for outputting.
本発明の画像処理プログラムは、所定表示領域を有する画面を備えた表示手段と、前記画面へ表示する画像を記憶する記憶手段とを備えた画像処理装置に処理を実行させる画像処理プログラムであって、前記画像処理装置を、前記記憶手段から読み出した画像の構成要素を抽出する画像構成要素抽出手段と、前記画像構成要素抽出手段により画像から抽出された構成要素のレイアウト解析を行い構成要素が画像の中にどのように配置されているかを示すレイアウト情報を得るレイアウト解析手段と、前記レイアウト解析手段により得られたレイアウト情報に基づき前記画像の文字のサイズを推定する幾何情報推定手段と、文字の言語、文字種毎に変換文字サイズを対応させて記憶する変換文字サイズ記憶手段と、前記幾何情報推定手段により推定された文字のサイズに基づいて前記変換文字サイズ記憶手段を参照して前記画像に含まれる文字のサイズが前記変換文字サイズとなるよう前記記憶手段より読み出した画像を縮小または拡大して前記表示手段へ出力する画像処理手段として機能させることを特徴とする。 An image processing program of the present invention is an image processing program for causing an image processing apparatus including a display unit having a screen having a predetermined display area and a storage unit to store an image to be displayed on the screen to execute the process. The image processing apparatus extracts an image component extracted from the storage unit and extracts a component of the image, and performs a layout analysis of the component extracted from the image by the image component extractor, and the component is an image. Layout analysis means for obtaining layout information indicating how the image is arranged, geometric information estimation means for estimating the character size of the image based on the layout information obtained by the layout analysis means, A conversion character size storage means for storing a conversion character size corresponding to each language and character type; and the geometric information estimation means. Based on the determined character size, the converted character size storage means is referred to, and the image read from the storage means is reduced or enlarged so that the size of the character included in the image becomes the converted character size. And functioning as image processing means for outputting to the means.
本発明の画像処理プログラムは、所定表示領域を有する画面を備えた表示手段と、前記画面へ表示する画像を記憶する記憶手段とを備えた画像処理装置に処理を実行させる画像処理プログラムであって、前記画像処理装置を、前記記憶手段から読み出した画像の構成要素を抽出する画像構成要素抽出手段と、前記画像構成要素抽出手段により画像から抽出された構成要素のレイアウト解析を行い構成要素が画像の中にどのように配置されているかを示すレイアウト情報を得るレイアウト解析手段と、前記レイアウト解析手段により得られたレイアウト情報に基づき前記画像の文字のサイズを推定し、この推定した文字サイズに基づいて前記画面に表示する文字のサイズが適正となるように前記画像の拡大倍率または縮小倍率を決定する画像拡大・縮小倍率決定手段と、前記画像拡大・縮小倍率決定手段により推定された画像の拡大倍率または縮小倍率を用いて前記画面へ表示する画像を作成する画像作成手段と、前記画像作成手段により作成された画像をその画像の種類に応じた前記画面上の位置へ配置し前記表示手段へ出力する手段として機能させることを特徴とする。 An image processing program of the present invention is an image processing program for causing an image processing apparatus including a display unit having a screen having a predetermined display area and a storage unit to store an image to be displayed on the screen to execute the process. The image processing apparatus extracts an image component extracted from the storage unit and extracts a component of the image, and performs a layout analysis of the component extracted from the image by the image component extractor, and the component is an image. Layout analysis means for obtaining layout information indicating how the image is arranged, and estimating the character size of the image based on the layout information obtained by the layout analysis means, and based on the estimated character size The image enlargement magnification or reduction magnification is determined so that the size of characters displayed on the screen is appropriate. Reduction magnification determination means, image creation means for creating an image to be displayed on the screen using the image enlargement magnification or reduction magnification estimated by the image enlargement / reduction magnification determination means, and the image creation means The image is arranged at a position on the screen corresponding to the type of the image, and functions as a means for outputting to the display means.
本発明の画像処理方法は、所定表示領域を有する画面を備えた表示手段と、前記画面へ表示する画像を記憶する記憶手段とを備えた画像処理装置における画像処理方法において、前記記憶手段から読み出した画像の構成要素を抽出するステップと、画像から抽出された構成要素のレイアウト解析を行い構成要素が画像の中にどのように配置されているかを示すレイアウト情報を得るステップと、前記レイアウト情報に基づき前記画像の文字のサイズを推定するステップと、推定した文字のサイズに基づいて画像に含まれる文字のサイズが予め設定された変換文字サイズとなるよう前記記憶手段より読み出した画像を縮小または拡大して前記表示手段へ出力するステップとを有することを特徴とする。 The image processing method of the present invention is an image processing method in an image processing apparatus including a display unit having a screen having a predetermined display area and a storage unit for storing an image to be displayed on the screen. Extracting the constituent elements of the obtained image, performing layout analysis of the constituent elements extracted from the image to obtain layout information indicating how the constituent elements are arranged in the image, and the layout information Estimating the size of characters of the image based on the size of the image, and reducing or enlarging the image read from the storage means so that the size of the character included in the image becomes a preset converted character size based on the estimated size of the character And outputting to the display means.
本発明の画像処理方法は、所定表示領域を有する画面を備えた表示手段と、前記画面へ表示する画像を記憶する記憶手段とを備えた画像処理装置における画像処理方法において、前記記憶手段から読み出した画像の構成要素を抽出するステップと、画像から抽出された構成要素のレイアウト解析を行い構成要素が画像の中にどのように配置されているかを示すレイアウト情報を得るステップと、前記レイアウト情報に基づき前記画像の文字のサイズを推定し、前記画面に表示する文字のサイズが適正となるように前記画像の拡大倍率または縮小倍率を決定するステップと、推定した画像の拡大倍率または縮小倍率を用いて前記画面へ表示する画像を作成するステップと、作成した画像をその画像の種類に応じた前記画面上の位置へ配置し前記表示手段へ出力するステッを有することを特徴とする。 The image processing method of the present invention is an image processing method in an image processing apparatus including a display unit having a screen having a predetermined display area and a storage unit for storing an image to be displayed on the screen. Extracting the constituent elements of the obtained image, performing layout analysis of the constituent elements extracted from the image to obtain layout information indicating how the constituent elements are arranged in the image, and the layout information Based on the estimation of the character size of the image based on the image, and determining the enlargement or reduction magnification of the image so that the size of the character displayed on the screen is appropriate, and using the estimated enlargement or reduction magnification of the image Creating an image to be displayed on the screen, and arranging the created image at a position on the screen according to the type of the image, It characterized by having a step of outputting to the shown section.
本発明では、記憶手段から読み出した画像から抽出した構成要素のレイアウト解析を行うことでレイアウト情報を得て、そのイアウト情報に基づき画像の文字のサイズを推定し、推定した文字のサイズを基に、画像に含まれる文字のサイズが予め設定された変換文字サイズとなるように画像を縮小または拡大して表示手段へ出力するので、記憶手段に記憶された表示対象の画像の解像度が異なる画像であっても表示手段の画面には、ユーザが読み易い大きさの文字が表示されるようになる。 In the present invention, layout information is obtained by performing layout analysis of components extracted from the image read from the storage means, and the character size of the image is estimated based on the out information, and based on the estimated character size. Since the image is reduced or enlarged so that the size of the character included in the image becomes a preset conversion character size, the image is output to the display unit, so that the display target image stored in the storage unit has a different resolution. Even if it exists, the character of a size which a user can read easily will be displayed on the screen of a display means.
また、本発明では、記憶手段から読み出した画像から抽出した構成要素のレイアウト解析を行うことでレイアウト情報を得て、そのレイアウト情報に基づき画像の文字のサイズを推定し、画像の拡大倍率または縮小倍率を決定する。そして決定した画像の拡大倍率または縮小倍率を用いて前記画面へ表示する画像を作成し、作成した画像を、予め設定された画像の種類に応じた画面上の位置へ配置し表示手段へ出力するので、拡大・縮小後の画像が表示手段の表示領域からはみ出す場合でも、画面には、ユーザにとって必要な文字が見易い位置に表示される。 Further, in the present invention, layout information is obtained by performing layout analysis of components extracted from an image read from the storage means, and the character size of the image is estimated based on the layout information, and the enlargement or reduction factor of the image Determine the magnification. Then, an image to be displayed on the screen is created using the determined magnification or reduction magnification of the image, and the created image is arranged at a position on the screen according to a preset image type and output to the display means. Therefore, even when the enlarged / reduced image protrudes from the display area of the display means, the characters necessary for the user are displayed on the screen in an easy-to-see position.
以上説明したように本発明によれば、ユーザが画像毎の手動操作による表示サイズ指定等を行うことなく、異なる解像度で得られた文字画像を、文字を読むのに適切な大きさで閲覧することができる。 As described above, according to the present invention, a user browses a character image obtained at a different resolution in a size suitable for reading a character, without specifying a display size by manual operation for each image. be able to.
以下、本発明の実施の形態を図面を参照して詳細に説明する。
図1は本発明に係る第1実施形態の画像処理装置の構成を示すブロック図、図2は図1の画像処理装置に記憶されている言語・文字種/文字サイズ対応テーブルを示す図である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing the configuration of the image processing apparatus according to the first embodiment of the present invention, and FIG. 2 is a diagram showing a language / character type / character size correspondence table stored in the image processing apparatus of FIG.
図1に示すように、この実施形態の画像処理装置は、画像入力部11、記憶部12、レイアウト解析部13、幾何情報推定部14、言語・文字種推定部15、画像処理部16、画像表示部17、画像出力部18、操作入力部19等を有している。
As shown in FIG. 1, the image processing apparatus according to this embodiment includes an
画像入力部11は、文書画像をデジタルデータとして入力する画像入力手段である。画像入力部11としては、例えばスキャナ、デジタル複合機、デジタルカメラ、携帯端末内蔵カメラなどのような画像入力装置が用いられる。
The
記憶部12は、画像入力部11より入力された文書画像が保存(一次記憶も含む)および読み出される画像記憶手段である。画像記録部12としては、例えば磁気ディスク装置、光学ディスク装置、各種メモリ、ネットワーク上のストレージ、サーバなどが用いられる。
The
記憶部12には、図2に示すように、変換対象の画像に含まれる文字の言語、文字種毎に適正な変換文字サイズを対応させた言語・文字種/文字サイズ対応テーブル20が記憶されている。
As shown in FIG. 2, the
レイアウト解析部13は、記憶部12に記憶されている文書画像を読み出して文書画像の構成要素を抽出する画像構成要素抽出手段として機能する。またレイアウト解析部13は、抽出した文書画像の構成要素のレイアウトを解析することで構成要素が文書画像の中にどのように配置されているかのレイアウト情報(外矩や列等)を得るレイアウト解析部である。
幾何情報推定部14は、上記レイアウト解析部13により抽出されたレイアウト情報を用いて文書の構成要素(文字、記号、マーク、マーカー、印鑑の印影等)の幾何情報(例えば文字の場合は幅、高さ、サイズ等)を推定する幾何情報推定手段である。
The
The geometric
言語・文字種推定部15は、記憶部12に記憶されている言語・文字種/文字サイズ対応テーブル20を参照して文書内で用いられている言語や文字種を推定する言語・文字種推定手段である。
The language / character
画像処理部16は、言語・文字種推定部15により推定された言語や文字種と幾何情報推定部14により推定された幾何情報等を用いて記憶部12より読み出した画像の加工処理を行うことで、ある表示領域の画面に表示する画像を生成し画像表示部17へ出力する。画像の加工処理とは、例えば文書画像の文字を表示画面で見易い大きさにするための画像の縮小処理または拡大処理等である。
すなわち、画像処理部16と言語・文字種推定部15は、幾何情報推定部14により推定された文字のサイズを基に言語・文字種/文字サイズ対応テーブル20を参照して文書画像に含まれる文字のサイズが変換文字サイズとなるよう記憶部12より読み出した画像を縮小または拡大して画像表示部17へ出力する画像処理手段として機能する。
The
That is, the
画像表示部17は、所定の表示領域の画面を備えたLCD、有機EL表示装置、SEDFED等であり、画像処理部16により生成された画像を画面に表示する表示手段である。画像出力部18は画像処理部16により生成された画像を例えばイメージファイルなどファイル形式にして記憶部12等へ記憶したり、外部のプリンタへ出力する画像出力手段である。操作入力部19は利用者からの指示操作を受け付ける入力受付手段である。
The
図3〜図7を参照してこの画像処理装置の動作を説明する。図3はこの画像処理装置の動作を示すフローチャート、図4,5は2つの文書画像が共に日本語の場合、図6,7は2つの文書画像が日本語とアルファベットの場合の画像の例を示す図である。 The operation of this image processing apparatus will be described with reference to FIGS. 3 is a flowchart showing the operation of the image processing apparatus, FIGS. 4 and 5 are examples of images when two document images are both in Japanese, and FIGS. 6 and 7 are examples of images when the two document images are Japanese and alphabet. FIG.
この画像処理装置では、画像入力部11が帳票より読み取った文書画像が記憶部12に記憶される(図3のステップ11:以下ステップをSと称す)。
In this image processing apparatus, the document image read from the form by the
レイアウト解析部13は、処理対象となる文書画像であるイメージデータを記憶部12より読み出してレイアウト解析を実行することで(S12)、イメージデータに含まれる構成要素が画像の中にどのように配置されているかを示すレイアウト情報を抽出する。
The
ここでのレイアウト解析では、文書中の文字外矩や文字列などのレイアウト情報が抽出される。文字外矩は、画像中の連結黒画素成分を検出することにより抽出される。また、文字列は、近傍文字の統合処理を行うことにより抽出される。 In the layout analysis here, layout information such as extra-rectangular rectangles and character strings in the document is extracted. The extra-character rectangle is extracted by detecting a connected black pixel component in the image. Further, the character string is extracted by performing a process of integrating neighboring characters.
続いて、幾何情報推定部14は、レイアウト解析部13により抽出されたレイアウト情報を基に構成要素の幾何情報を推定する(S13)。
この例における幾何情報とは文書に含まれる文字のサイズ(大きさ)等である。文書の文字サイズは、例えば文書中の文字列の文字サイズの平均をとるなどの方法で推定できる。この他、最小の文字行の文字サイズ、文書の本文部の平均文字サイズ、あるいは最頻文字サイズを文書の文字サイズ推定値として用いるなどの方法を用いても良い。また文字サイズは幅と高さそれぞれを推定しても良く、いずれか一方で代表させても良い。
Subsequently, the geometric
The geometric information in this example is the size (size) of characters included in the document. The character size of the document can be estimated by a method such as averaging the character sizes of character strings in the document. In addition, a method may be used in which the character size of the minimum character line, the average character size of the body part of the document, or the mode character size is used as the estimated character size of the document. The character size may be estimated for width and height, or may be represented by either one.
言語・文字種推定部15は、幾何情報推定部14により推定された幾何情報を基にして文書内で用いられている言語や文字種を推定する(S14)。言語や文字種の推定は、例えば文字認識機能(以下OCR機能と称す)を用いることで実現している。OCR機能は、文書画像内の文字画像(イメージデータ)を予め設定されている文字認識用の辞書のイメージデータとマッチングさせて文字コード(テキストデータ)へ変換する機能であり、例えば日本語に対応したOCRソフトウェアであれば、文書中の日本語やアルファベット・数字などの読み取りが可能である。文字認識用の辞書には、文字のイメージデータと文字コード(テキストデータ)が対で記憶されている。文字種によって文字コードの範囲は異なる(文字コード何番から何番まではアルファベット、何番から何番までは、かな、何番から何番までは漢字というように決められている)ため、OCR機能による文字認識結果を解析することで、文書内で用いられている文字の言語や文字種を推定することができる。
The language / character
続いて、画像処理部16は、言語・文字種推定部15により推定された言語や文字種の推定結果を基に、言語・文字種/文字サイズ対応テーブル20を参照して該当画像の拡大率または縮小率を決定する(S15)。
Subsequently, the
例えば入力画像の幅をW、高さをH、推定された文字サイズの幅をEw, 高さをEhとし、変換後の文字サイズの幅と高さがそれぞれTw,Thと予め記憶部12に設定されているものとする。
For example, the width of the input image is W, the height is H, the width of the estimated character size is Ew, the height is Eh, and the width and height of the converted character size are Tw and Th in the
この場合、画像処理部16は、画像の拡大縮小率を、幅方向にTw/Ew、高さ方向にTh/Ehとし、変換元の画像を、幅Tw×W/Ew、高さTh×H/Ehの画像に変換することで、表示画像を作成する(S16)。
In this case, the
ここで、図4〜図7の画像の例を用いてこの画像処理装置の動作を具体的に説明する。図4の例は、横1280ピクセル×縦1024ピクセル(SXGA)サイズの変換元の文書の画像Aと画像Bであり、これら画像A,Bにはサイズの異なる日本語の文字が含まれている。画像Aの文字サイズは、80×80ピクセルと推定され、画像Bの文字サイズは、160×160ピクセルと推定されたものとする。 Here, the operation of the image processing apparatus will be described in detail with reference to examples of images shown in FIGS. The example of FIG. 4 is an image A and an image B of a conversion source document having a size of horizontal 1280 pixels × vertical 1024 pixels (SXGA), and these images A and B include Japanese characters having different sizes. . Assume that the character size of image A is estimated to be 80 × 80 pixels, and the character size of image B is estimated to be 160 × 160 pixels.
また、出力画像の文字サイズ(ターゲット文字サイズ)は、上記言語・文字種/文字サイズ対応テーブル20に、日本語、漢字・かなの場合、20ピクセル(縦20ピクセル×横20ピクセル)と設定されている。
この場合、画像処理部16は、画像Aの縮小率または拡大率を、幅方向にTw/Ew=20/80=1/4、高さも同様で1/4と決定し、画像Bの場合はTw/Ew=20/160=1/8、高さも同様で1/8と決定する。
The character size (target character size) of the output image is set to 20 pixels (vertical 20 pixels × horizontal 20 pixels) in the language / character type / character size correspondence table 20 in the case of Japanese, Kanji / Kana. Yes.
In this case, the
画像処理部16は、このように決定した倍率(縮小率)に基づいて文書画像を縮小処理(画像加工)する。
これにより、図5に示すように、画像Aは320×256ピクセルの大きさの画像A1に変換され、画像Bは160×128ピクセルの大きさの画像B1に変換され、それぞれの画像処理結果の2つの画像A1,B1中の文字サイズはほぼ同一となる。
画像表示部17は、画像処理部16により画像処理(倍率変換)された画像を表示し、画像出力部18は、各種画像や文書ファイルフォーマット書類としてファイル出力する(S17)。
また、図6に示す例は、横1280ピクセル×縦1024ピクセル(SXGA)サイズの変換元の文書の画像Aと画像Bであり、画像Aには日本語の文字が含まれており、画像Bにはアルファベット(英語の文字)が含まれている。画像A,Bに含まれる文字のサイズは共に80×80ピクセルと推定されたものである。
The
As a result, as shown in FIG. 5, the image A is converted to an image A1 having a size of 320 × 256 pixels, and the image B is converted to an image B1 having a size of 160 × 128 pixels. The character sizes in the two images A1 and B1 are almost the same.
The
The example shown in FIG. 6 is an image A and an image B of a conversion source document having a size of 1280 pixels by 1024 pixels (SXGA), and the image A includes Japanese characters. Contains alphabets (English characters). The size of characters included in images A and B is estimated to be 80 × 80 pixels.
出力画像の文字サイズ(ターゲット文字サイズ)は、上記言語・文字種/文字サイズ対応テーブル20に、言語毎に最適な変換文字サイズが設定されている。
例えば文字が日本語、漢字・かなの場合、20ピクセル(縦20ピクセル×横20ピクセル)と設定されており、英語、アルファベットの場合、16ピクセル(縦16ピクセル×横16ピクセル)等と設定されている。
この場合、画像処理部16は、画像Aの縮小率または拡大率を、幅方向にTw/Ew=20/80=1/4、高さも同様で1/4と決定し、画像Bの場合はTw/Ew=16/80=1/5、高さも同様で1/5と決定する。
As the character size (target character size) of the output image, an optimal conversion character size for each language is set in the language / character type / character size correspondence table 20.
For example, when the character is Japanese, Kanji / Kana, it is set as 20 pixels (vertical 20 pixels × horizontal 20 pixels). ing.
In this case, the
画像処理部16は、このように決定した倍率(縮小率)に基づいて文書画像を縮小処理(画像加工)する。
これにより、図7に示すように、画像Aは320×256ピクセルの大きさの画像A1に変換され、画像Bは256×205ピクセルの大きさの画像B1に変換され、それぞれの画像処理結果の2つの画像A1,B1中の文字サイズは、見た目に読み易い違和感のない大きさとなる。
The
As a result, as shown in FIG. 7, the image A is converted into an image A1 having a size of 320 × 256 pixels, and the image B is converted into an image B1 having a size of 256 × 205 pixels. The character size in the two images A1 and B1 is a size that is easy to read and does not feel uncomfortable.
この例では、例えば比較的文字サイズが小さくても読めるアルファベットなどからなる英語文書に対しては文字サイズTを小さくし、画数の多い漢字などを含む日本語の文書に対しては文字サイズTを大きく設定することで、文書の読みやすさ、ファイルサイズ、ディスプレイに表示できる情報量などのバランスを最適に調整することが可能となる。 In this example, the character size T is reduced for an English document such as an alphabet that can be read even if the character size is relatively small, and the character size T is set for a Japanese document including a kanji having a large number of strokes. By setting a large value, it becomes possible to optimally adjust the balance of the readability of the document, the file size, the amount of information that can be displayed on the display, and the like.
拡大・縮小処理の他のバリエーションとしては、入変換後の画像の高さが表示領域の高さと等しくなるように入力画像領域を拡大・縮小したり、表示領域の縦横比(Wv/Hv)が入力画像領域の縦横比(Wi/Hi)よりも大きい場合は、入変換後の画像の高さが表示領域の高さと等しくなるように入力画像領域を拡大・縮小する。
また、表示領域の縦横比(Wv/Hv)が入力画像領域の縦横比(Wi/Hi)より小さい場合のその他のバリエーションとしては、入変換後の画像の高さが表示領域の高さと等しくなるように入力画像領域を拡大・縮小し、表示領域の縦横比(Wv/Hv)が入力画像領域の縦横比(Wi/Hi)よりも大きい場合は入変換後の画像の幅が表示領域の幅と等しくなるように入力画像領域を拡大・縮小する、といったことも可能である。
As other variations of the enlargement / reduction process, the input image area is enlarged / reduced so that the height of the image after input conversion is equal to the height of the display area, or the aspect ratio (Wv / Hv) of the display area is set. When it is larger than the aspect ratio (Wi / Hi) of the input image area, the input image area is enlarged / reduced so that the height of the image after input conversion becomes equal to the height of the display area.
As another variation when the aspect ratio (Wv / Hv) of the display area is smaller than the aspect ratio (Wi / Hi) of the input image area, the height of the image after conversion is equal to the height of the display area. When the input image area is enlarged / reduced as described above and the aspect ratio (Wv / Hv) of the display area is larger than the aspect ratio (Wi / Hi) of the input image area, the width of the image after the input conversion is the width of the display area. It is also possible to enlarge / reduce the input image area so as to be equal to.
画像表示部17は、画像処理部16により画像処理(倍率変換)された画像を表示し、画像出力部18は、各種画像や文書ファイルフォーマット書類としてファイル出力する。
The
このようにこの第1実施形態の画像処理装置によれば、文書画像に対してレイアウト解析、幾何情報推定及び言語・文字種推定を順に行うことによって文書中の文字の言語、文字種、文字サイズなどの幾何情報を推定し、画像処理部16は、推定した幾何情報を基に言語、文字種/文字サイズ対応テーブル20を参照して言語毎に文字が見易い大きさで表示画面に表示される適切なサイズになるよう文書画像を縮小または拡大等の画像処理を行い、表示画面に適切な画像を表示、またはファイル出力を行うので、ユーザによる画像毎の手動操作による表示サイズ指定などの手間なく、文字を見易い大きさで文書画像を表示画面に表示できると共に、文書画像を縮小する場合は、無駄なストレージやメモリの使用を抑制することができる。
As described above, according to the image processing apparatus of the first embodiment, layout analysis, geometric information estimation, and language / character type estimation are sequentially performed on a document image, so that the language, character type, character size, etc. The geometric information is estimated, and the
つまり、手動操作による表示サイズの変更なしに文書画像中に含まれる文字サイズを統一できるので、表示画面における文書画像の可読性、視覚性を向上することができる。また、用途に応じて必要十分な文字サイズの情報を使って画像を縮小することにより、無駄なストレージやメモリの使用を抑制することができる。 In other words, since the character size included in the document image can be unified without changing the display size by manual operation, the readability and visibility of the document image on the display screen can be improved. In addition, use of unnecessary storage and memory can be suppressed by reducing an image using information having a necessary and sufficient character size according to the application.
ユーザが文字を閲覧するのに適切な文字サイズをシステムが言語毎に自動的に推定して文字画像を縮小または拡大して画面に表示することができる。また、言語毎に文字サイズを指定(編集)できる言語・文字種/文字サイズ対応テーブル20を備えているので、設定・変更を自由に行うことができる。
なお、言語・文字種に対応する適当な文字サイズは、システムで決められた値を用いても良く、表示画面の大きさや解像度からシステムが適切なサイズを自動的に設定しても良く、ユーザが操作入力部19から設定しても良い。
The system can automatically estimate a character size appropriate for the user to view the character for each language, and the character image can be reduced or enlarged and displayed on the screen. In addition, since the language / character type / character size correspondence table 20 that can specify (edit) the character size for each language is provided, the setting / change can be performed freely.
The appropriate character size corresponding to the language and character type may be a value determined by the system, or the system may automatically set an appropriate size based on the size and resolution of the display screen. It may be set from the
次に、図8〜図15を参照して本発明に係る第2実施形態の画像処理装置について説明する。図8は本発明に係る第2実施形態の画像処理装置の構成を示すブロック図である。 Next, an image processing apparatus according to a second embodiment of the present invention will be described with reference to FIGS. FIG. 8 is a block diagram showing the configuration of the image processing apparatus according to the second embodiment of the present invention.
図8に示すように、この実施形態の画像処理装置は、画像入力部11、記憶部12、レイアウト解析部13、幾何情報推定部14、拡大・縮小倍率決定部31、画像配置決定部32、画像処理部16、画像表示部17、画像出力部18、操作入力部19等を有している。なお、第1実施形態と同様の構成については同一の符号を付しその説明は省略する。
As shown in FIG. 8, the image processing apparatus of this embodiment includes an
拡大・縮小倍率決定部31は、レイアウト解析部13により得られたレイアウト情報に基づき画像の構成要素の1つである文字のサイズを推定し、画面に表示する文字のサイズが適正となる画像の拡大倍率または縮小倍率を決定する画像拡大・縮小倍率決定手段として機能する。なお、拡大・縮小倍率決定部31に、上記第1実施形態のようにOCR機能を持たせて、幾何情報推定部14により推定された幾何情報を基に文字認識して文字コード(テキストデータ)を得てから、画像に含まれる文書内で用いられている言語や文字種の拡大・縮小倍率を決定してもよい。
The enlargement / reduction
画像配置決定部32は、拡大・縮小倍率決定部31により決定された言語や文字種の拡大・縮小倍率と幾何情報推定部14により推定された幾何情報と予め設定されていた画像の帳票種類情報(文書、名刺等といった帳票種とその帳票において文字列の配置を特定する情報)を用いて、画像処理部16により生成された画像の文字を画面のどの位置に配置するかを決定し、画像の配置処理を実行する画像処理手段である。画像の配置処理とは、例えば文書画像の文字を表示画面で見易い位置にするため、画像の中で文字が始まる位置を画面内のどこにどの程度の大きさで表示するかを決定する処理である。つまり画像配置決定部36は、生成された画像の文字を画面の表示領域にどのように配置するかを決定する。
The image
画像表示部17は、画像処理部16により生成された画像を画面に表示する表示手段である。画像出力部18は画像処理部16により生成された画像を例えばイメージファイルなどファイル形式にして記憶部12等へ記憶したり、外部のプリンタへ出力する画像出力手段である。
The
以下、図9〜図15を参照してこの画像処理装置の動作を説明する。図9はこの画像処理装置の動作を示すフローチャート、図10は画像の拡大・縮小倍率を決定する処理を示すフローチャートである。 The operation of this image processing apparatus will be described below with reference to FIGS. FIG. 9 is a flowchart showing the operation of the image processing apparatus, and FIG. 10 is a flowchart showing a process for determining the enlargement / reduction magnification of the image.
この画像処理装置では、画像入力部11が帳票より読み取った文書画像が記憶部12に記憶される(図9のS21)。
In this image processing apparatus, the document image read from the form by the
レイアウト解析部13は、処理対象となる文書画像であるイメージデータを記憶部12より読み出してレイアウト解析を実行することで(S22)、レイアウト情報を抽出する。
The
ここでのレイアウト解析では、文書中の文字外矩や文字列などのレイアウト情報が抽出される。文字外矩は、画像中の連結黒画素成分を検出することにより抽出される。また、文字列は、近傍文字の統合処理を行うことにより抽出される。 In the layout analysis here, layout information such as extra-rectangular rectangles and character strings in the document is extracted. The extra-character rectangle is extracted by detecting a connected black pixel component in the image. Further, the character string is extracted by performing a process of integrating neighboring characters.
続いて、幾何情報推定部14は、レイアウト解析部13により抽出されたレイアウト情報を基に構成要素の幾何情報を推定する(S23)。
この例における幾何情報とは文書に含まれる文字のサイズである。文書の文字サイズは、例えば文書中の文字列の文字サイズの平均をとるなどの方法で推定できる。この他、最小の文字行の文字サイズ、文書の本文部の平均文字サイズ、あるいは最頻文字サイズを文書の文字サイズ推定値として用いるなどの方法を用いても良い。また文字サイズは幅と高さそれぞれを推定しても良く、いずれか一方で代表させても良い。
Subsequently, the geometric
The geometric information in this example is the size of characters included in the document. The character size of the document can be estimated by a method such as averaging the character sizes of character strings in the document. In addition, a method may be used in which the character size of the minimum character line, the average character size of the body part of the document, or the mode character size is used as the estimated character size of the document. The character size may be estimated for width and height, or may be represented by either one.
続いて、拡大・縮小倍率決定部32は、幾何情報推定部14により推定された幾何情報(記号や文字のサイズ等)を基に言語・文字種/文字サイズ対応テーブル20を参照して画像全体として拡大率または縮小率を決定する(S24)。
Subsequently, the enlargement / reduction
一例として、入力画像あるいは入力画像内で表示したい部分領域(以下入力画像領域と称す)の縦横比を保持したまま、変換後の画像の幅が表示領域の幅と等しくなるように入力画像領域を拡大または縮小する場合の例を説明する。 As an example, the input image area is set so that the width of the converted image is equal to the width of the display area while maintaining the aspect ratio of the input image or a partial area to be displayed in the input image (hereinafter referred to as the input image area). An example of enlargement or reduction will be described.
入力画像領域の幅をWi、高さをHi、表示領域の幅をWv、高さをHv、推定された入力画像領域での文字サイズをE、変換画像での許容最大文字サイズをTmax、変換画像での許容最小文字サイズをTmin(Tmin <= Tmax)、変換画像を表示領域に内接させた場合の変換画像での文字サイズをTfit、変換画像での文字サイズをT、決定された拡大縮小率をRとすると、画像処理後の画像幅が表示領域の幅と等しくなる拡大縮小率は、Wv/Wiであり、その際のTfitはE×Wv/Wiである。 The width of the input image area is Wi, the height is Hi, the width of the display area is Wv, the height is Hv, the character size in the estimated input image area is E, the maximum allowable character size in the converted image is Tmax, and conversion The minimum allowable character size in the image is Tmin (Tmin ≤ Tmax), the character size in the converted image when the converted image is inscribed in the display area is Tfit, the character size in the converted image is T, and the determined enlargement When the reduction ratio is R, the enlargement / reduction ratio at which the image width after image processing is equal to the width of the display area is Wv / Wi, and Tfit at that time is E × Wv / Wi.
ここで、図10を参照して、上記S24の拡大縮小率決定処理について詳細に説明する。
拡大・縮小倍率決定部32は、以下のフローチャート(図10)の処理を実行して拡大縮小率Rを決定する。
拡大・縮小倍率決定部32は、まずTfitを計算する(Tfit=E×Wv/Wi)(S31)。
Here, with reference to FIG. 10, the enlargement / reduction ratio determination process in S24 will be described in detail.
The enlargement / reduction
The enlargement / reduction
拡大・縮小倍率決定部32は、TfitとTmaxとを比較する(S32)。
この比較の結果、TfitがTmaxより大きい場合(S32のY)、拡大・縮小倍率決定部32は、Tの値としてTmaxを用いてRをTmax/Eとする(S33)。
また、比較の結果、TfitがTmaxより小さく(S32のN)、かつTfitがTminよりも大きい場合(S34のN)、拡大・縮小倍率決定部32は、拡大縮小率RをWv/Wiとする(S35)。
The enlargement / reduction
If Tfit is greater than Tmax as a result of this comparison (Y in S32), the enlargement / reduction
As a result of comparison, when Tfit is smaller than Tmax (N in S32) and Tfit is larger than Tmin (N in S34), the enlargement / reduction
一方、比較の結果、TfitがTminより小さい場合(S34のY)、拡大・縮小倍率決定部32は、Tの値としてTminを用いてRをTmin/Eとする(S36)。
On the other hand, if Tfit is smaller than Tmin as a result of comparison (Y in S34), the enlargement / reduction
ここで、具体的な画像の例で、拡大・縮小倍率を決定することについて説明する。
表示対象の複数の入力画像が、それぞれ640×480ピクセル、640×480ピクセル、1280×1024ピクセルというように少なくとも1つが異なる解像度の3つの画像A,B,Cである場合の例を図11に示す。画像A,B,Cでは、アルファベットの文字の大きさも異なる。
Here, the determination of the enlargement / reduction magnification will be described using a specific image example.
FIG. 11 shows an example in which the plurality of input images to be displayed are three images A, B, and C having at least one different resolution such as 640 × 480 pixels, 640 × 480 pixels, and 1280 × 1024 pixels, respectively. Show. In the images A, B, and C, the size of alphabet characters is also different.
このように横640ピクセル×縦480ピクセル(VGA)サイズの画像Aと横640ピクセル×縦480ピクセル(VGA)サイズの画像Bと、横1280ピクセル×縦1024ピクセル(SXGA)サイズの画像Cが変換元の文書画像、つまり入力画像であり、これら入力画像に含まれる文字のサイズは、幾何情報推定部14によって、それぞれ80×80ピクセル、40×40ピクセル、40×40ピクセルと推定されたものとする。
Tmax、Tminはそれぞれ32,12ピクセル、表示デバイスの解像度は、幅320ピクセル×高さ240ピクセルとする。
Thus, an image A having a size of 640 pixels × 480 pixels (VGA), an image B having a size of 640 pixels × 480 pixels (VGA), and an image C having a size of 1280 pixels × 1024 pixels (SXGA) are converted. Original document images, that is, input images, and the sizes of characters included in these input images are estimated as 80 × 80 pixels, 40 × 40 pixels, and 40 × 40 pixels, respectively, by the geometric
Tmax and Tmin are 32 and 12 pixels, respectively, and the resolution of the display device is 320 pixels wide by 240 pixels high.
図12に、変換対象の画像A,B,Cを、画像表示部17の表示領域に内接させた場合の変換後の画像の文字サイズTfitと拡大縮小率Rの関係を示す。
(画像A)
画像Aの幅は、640ピクセル×高さは480ピクセルであり、画像中の文字サイズは80ピクセルと推定されている。よって変換後の画像の文字サイズTfitは、Tfit=E×Wv/Wi=80×320/640=40より、40ピクセルとなる。
このとき変換後の画像の文字サイズTfitは、Tfit > Tmax であるので、拡大縮小率Rは、R=Tmax/E=32/80=0.4より、0.4となる。
FIG. 12 shows the relationship between the character size Tfit and the enlargement / reduction ratio R of the image after conversion when the images A, B, and C to be converted are inscribed in the display area of the
(Image A)
The width of the image A is 640 pixels × height is 480 pixels, and the character size in the image is estimated to be 80 pixels. Therefore, the character size Tfit of the image after conversion is 40 pixels from Tfit = E × Wv / Wi = 80 × 320/640 = 40.
At this time, since the character size Tfit of the converted image is Tfit> Tmax, the enlargement / reduction ratio R is 0.4 from R = Tmax / E = 32/80 = 0.4.
(画像B)
画像Bの幅は、640ピクセル×高さは480ピクセルであり、画像中の文字サイズは40ピクセルと推定されている。よって変換後の画像の文字サイズTfitはTfit=E×Wv/Wi=40×320/640=40より、40ピクセルとなる。
このとき変換後の画像の文字サイズTfitは、Tmin <= Tfit <= Tmax であるので、拡大縮小率Rは、R=Wv/Wi=320/640=0.5より、0.5となる。
(Image B)
The width of the image B is 640 pixels × height is 480 pixels, and the character size in the image is estimated to be 40 pixels. Therefore, the character size Tfit of the converted image is 40 pixels from Tfit = E × Wv / Wi = 40 × 320/640 = 40.
At this time, since the character size Tfit of the image after conversion is Tmin <= Tfit <= Tmax, the enlargement / reduction ratio R is 0.5 from R = Wv / Wi = 320/640 = 0.5.
(画像C)
画像Cの幅は、1280ピクセル×高さは1024ピクセルであり、画像中の文字サイズは40ピクセルと推定されている。よって変換後の画像の文字サイズTfitはTfit=E×Wv/Wi=40×320/1280=10より、10ピクセルとなる。
このとき変換後の画像の文字サイズTfitは、Tmin > Tfitであるので、拡大縮小率Rは、R=Tmin/E=12/40=0.3より、0.3となる。
(Image C)
The width of the image C is 1280 pixels × height is 1024 pixels, and the character size in the image is estimated to be 40 pixels. Therefore, the character size Tfit of the converted image is 10 pixels from Tfit = E × Wv / Wi = 40 × 320/1280 = 10.
At this time, since the character size Tfit of the converted image is Tmin> Tfit, the enlargement / reduction ratio R is 0.3 from R = Tmin / E = 12/40 = 0.3.
続いて、画像処理部16は、拡大・縮小倍率決定部32により決定された倍率で画像の拡大縮小処理を行う(S25)。
この画像処理の結果、元々640×480ピクセルというサイズであった画像Aの幅256(640×0.4)、高さ192(480×0.4)の画像A1に変換される。
元々640×480ピクセルというサイズであった画像Bの幅320(640×0.5)、高さ240(480×0.5)の画像B1に変換される。
元々1280×1024ピクセルというサイズであった画像Cの幅384(1280x0.3)、高さ308(1024×0.3)の画像C1に変換される。
Subsequently, the
As a result of this image processing, the image A is converted into an image A1 having a width of 256 (640 × 0.4) and a height of 192 (480 × 0.4), which was originally 640 × 480 pixels.
The image B is originally converted to an image B1 having a size of 640 × 480 pixels and a width 320 (640 × 0.5) and a height 240 (480 × 0.5) of the image B.
The image C is originally converted to an image C1 having a width 384 (1280 × 0.3) and a height 308 (1024 × 0.3), which is a size of 1280 × 1024 pixels.
続いて、画像配置決定部32は、画像処理部16により作成された画像をどのような配置で表示領域に表示するかを決定する(S26)。
図10の拡大縮小率決定処理において、TfitがTmaxより大きい場合は、画像サイズが表示領域よりも小さくなるため、画像配置決定部32は、図13の画像A1のように、画像領域の中心が、表示領域の中心の位置にくるように画像を配置する。
TfitがTmaxより小さくTminよりも大きい場合は、画像サイズが表示と等しくなるため、画像配置決定部32は、図13の画像B1に示すように、画像の左上が表示領域の左上にくるように画像を配置する。
TfitがTminより小さい場合は、画像サイズが表示領域よりも大きくなるため、図13の画像C1のように、単純に画像領域の中心を表示領域の中心に配置するだけでは、画像に含まれる情報(画像領域)が一部表示されない場合が生じる。
Subsequently, the image
In the enlargement / reduction ratio determination process of FIG. 10, when Tfit is larger than Tmax, the image size is smaller than the display area. Therefore, the image
When Tfit is smaller than Tmax and larger than Tmin, the image size becomes equal to the display. Therefore, as shown in the image B1 in FIG. 13, the image
When Tfit is smaller than Tmin, the image size is larger than the display area. Therefore, as shown in the image C1 in FIG. 13, the information included in the image is simply arranged at the center of the display area. There is a case where a part of (image area) is not displayed.
そこで、画像サイズが表示領域よりも大きい場合、画像配置決定部32は、キー、ボタン、マウス、タッチパネルなどの入力装置による指示で画像をスクロールさせることで、画面からはみ出して隠れていた画像領域を表示し、これにより、ユーザは、小さい画面でも画像領域全体を見ることができる。
つまり、画像配置決定部32は、レイアウト解析の結果や入力される文書画像の種類に関する知識、情報を用いることで文書内容をより多く表示できるような画像の初期配置を決定する。
Therefore, when the image size is larger than the display area, the image
That is, the image
例えば文書画像の場合、レイアウト解析部13によるレイアウト解析の結果として、文書中の文字の位置を判別できるので、画像配置決定部32は、その文字の位置情報を用いて、図14に示すように、文書の始まり(☆印の位置)がちょうど画面の表示領域の左上端にくるように配置を決定する。
For example, in the case of a document image, the position of the character in the document can be determined as a result of the layout analysis by the
また、入力画像が予め名刺画像等と帳票種が分かっているような場合、名刺表示用の画像配置設定情報を記憶部12に記憶しておくことで、画像配置決定部32は、図15に示すように、名刺画像に含まれる名前が最もよく分かるように名前の始まり(☆印の位置)を表示領域の左端に配置する。
名前文字列の位置は、レイアウト解析部13によりレイアウト解析された結果として得られる文字列配置情報や名前辞書等から得られる情報を画像配置決定部32が用いて推定する。
In addition, when the input image is a business card image or the like and the form type is known in advance, the image
The position of the name character string is estimated by the image
続いて、画像表示部17は、画像処理部16により画像処理(倍率変換)された画像を表示し、画像出力部18は、各種画像や文書ファイルフォーマット書類としてファイル出力する(S27)。
Subsequently, the
このようにこの第2実施形態の画像処理装置によれば、画像の表示領域である画面を最大限に生かしつつ、ユーザが読み易いサイズに文字の大きさを適正化した文書画像や名刺画像を画面に表示するので、ユーザは、手操作で画像の大きさを調整することなく画面で文書や名刺の文字を読むことができる。 As described above, according to the image processing apparatus of the second embodiment, a document image or a business card image in which the size of characters is optimized to a size that is easy for the user to read while making the most of the screen that is the display area of the image. Since it is displayed on the screen, the user can read text on a document or a business card on the screen without manually adjusting the size of the image.
また、用途に応じ必要十分な文字サイズに画像を縮小させることにより、無駄なストレージやメモリの使用を抑制することができる。
さらに、画像サイズが表示領域サイズより大きい場合、レイアウト解析結果を用いて初期配置を最適なものとすることで、ユーザの入力を最小限に抑えることができる。
In addition, useless storage and memory usage can be suppressed by reducing the image to a necessary and sufficient character size according to the application.
Further, when the image size is larger than the display area size, the user can be minimized by using the layout analysis result to optimize the initial arrangement.
なお、本発明は上記実施形態のみに限定されるものではない。
文字サイズを自動的に設定する方法としては、例えば言語、文字種に応じて表示に適した文字サイズとなるよう文字サイズを変更するという方法がある。
また、この他、表示するディスプレイの特性(主に解像度とサイズ)などから適切な文字サイズを自動推定する(例えば携帯端末の画面とPCのディスプレイでは最適なサイズは異なる)という方法もある。
In addition, this invention is not limited only to the said embodiment.
As a method of automatically setting the character size, for example, there is a method of changing the character size so that the character size is suitable for display according to the language and character type.
In addition, there is also a method of automatically estimating an appropriate character size from the characteristics (mainly resolution and size) of the display to be displayed (for example, the optimal size is different between the screen of the mobile terminal and the display of the PC).
11…画像入力部、12…記憶部、13…レイアウト解析部、14…幾何情報推定部、15…言語・文字種推定部、16…画像処理部、17…画像表示部、18…画像出力部、19…操作入力部、20…言語・文字種/文字サイズ対応テーブル、31…拡大・縮小倍率決定部、32…画像配置決定部
DESCRIPTION OF
Claims (6)
前記画面へ表示する画像を記憶する記憶手段と、
前記記憶手段から読み出した画像の構成要素を抽出する画像構成要素抽出手段と、
前記画像構成要素抽出手段により画像から抽出された構成要素のレイアウト解析を行い構成要素が画像の中にどのように配置されているかを示すレイアウト情報を得るレイアウト解析手段と、
前記レイアウト解析手段により得られたレイアウト情報に基づき前記画像の文字のサイズを推定する幾何情報推定手段と、
文字の言語、文字種毎に変換文字サイズを対応させて記憶する変換文字サイズ記憶手段と、
前記幾何情報推定手段により推定された文字のサイズに基づいて前記変換文字サイズ記憶手段を参照して前記画像に含まれる文字のサイズが前記変換文字サイズとなるよう前記記憶手段より読み出した画像を縮小または拡大して前記表示手段へ出力する画像処理手段と
を具備したことを特徴とする画像処理装置。 Display means comprising a screen having a predetermined display area;
Storage means for storing an image to be displayed on the screen;
Image component extraction means for extracting image components read from the storage means;
Layout analysis means for performing layout analysis of the component extracted from the image by the image component extraction means to obtain layout information indicating how the component is arranged in the image;
Geometric information estimation means for estimating the character size of the image based on the layout information obtained by the layout analysis means;
A conversion character size storage means for storing a conversion character size corresponding to each language and character type;
Based on the character size estimated by the geometric information estimation unit, the converted character size storage unit is referred to reduce the image read from the storage unit so that the character size included in the image becomes the converted character size. Or an image processing unit that enlarges and outputs the image processing unit to the display unit.
前記画面へ表示する画像を記憶する記憶手段と、
前記記憶手段から読み出した画像の構成要素を抽出する画像構成要素抽出手段と、
前記画像構成要素抽出手段により画像から抽出された構成要素のレイアウト解析を行い構成要素が画像の中にどのように配置されているかを示すレイアウト情報を得るレイアウト解析手段と、
前記レイアウト解析手段により得られたレイアウト情報に基づき前記画像の文字のサイズを推定し、この推定した文字サイズに基づいて前記画面に表示する文字のサイズが適正となるように前記画像の拡大倍率または縮小倍率を決定する画像拡大・縮小倍率決定手段と、
前記画像拡大・縮小倍率決定手段により推定された画像の拡大倍率または縮小倍率を用いて前記画面へ表示する画像を作成する画像作成手段と、
前記画像作成手段により作成された画像をその画像の種類に応じた前記画面上の位置へ配置し前記表示手段へ出力する手段と
を具備したことを特徴とする画像処理装置。 Display means comprising a screen having a predetermined display area;
Storage means for storing an image to be displayed on the screen;
Image component extraction means for extracting image components read from the storage means;
Layout analysis means for performing layout analysis of the component extracted from the image by the image component extraction means and obtaining layout information indicating how the component is arranged in the image;
Based on the layout information obtained by the layout analysis means, the character size of the image is estimated, and based on the estimated character size, the enlargement factor of the image or the size of the character displayed on the screen is appropriate. Image enlargement / reduction magnification determination means for determining a reduction magnification;
Image creating means for creating an image to be displayed on the screen using the magnification or reduction magnification of the image estimated by the image magnification / reduction magnification determining means;
An image processing apparatus comprising: means for arranging an image created by the image creating means at a position on the screen according to a type of the image and outputting the image to the display means.
前記画像処理装置を、
前記記憶手段から読み出した画像の構成要素を抽出する画像構成要素抽出手段と、
前記画像構成要素抽出手段により画像から抽出された構成要素のレイアウト解析を行い構成要素が画像の中にどのように配置されているかを示すレイアウト情報を得るレイアウト解析手段と、
前記レイアウト解析手段により得られたレイアウト情報に基づき前記画像の文字のサイズを推定する幾何情報推定手段と、
文字の言語、文字種毎に変換文字サイズを対応させて記憶する変換文字サイズ記憶手段と、
前記幾何情報推定手段により推定された文字のサイズに基づいて前記変換文字サイズ記憶手段を参照して前記画像に含まれる文字のサイズが前記変換文字サイズとなるよう前記記憶手段より読み出した画像を縮小または拡大して前記表示手段へ出力する画像処理手段として機能させることを特徴とする画像処理プログラム。 An image processing program for causing an image processing apparatus to include a display unit having a screen having a predetermined display area and a storage unit to store an image to be displayed on the screen,
The image processing apparatus;
Image component extraction means for extracting image components read from the storage means;
Layout analysis means for performing layout analysis of the component extracted from the image by the image component extraction means and obtaining layout information indicating how the component is arranged in the image;
Geometric information estimation means for estimating the character size of the image based on the layout information obtained by the layout analysis means;
A conversion character size storage means for storing a conversion character size corresponding to each character language and character type;
Based on the character size estimated by the geometric information estimation means, the converted character size storage means is referred to reduce the image read from the storage means so that the size of the character included in the image becomes the converted character size. Alternatively, an image processing program that functions as an image processing unit that enlarges and outputs the image to the display unit.
前記画像処理装置を、
前記記憶手段から読み出した画像の構成要素を抽出する画像構成要素抽出手段と、
前記画像構成要素抽出手段により画像から抽出された構成要素のレイアウト解析を行い構成要素が画像の中にどのように配置されているかを示すレイアウト情報を得るレイアウト解析手段と、
前記レイアウト解析手段により得られたレイアウト情報に基づき前記画像の文字のサイズを推定し、この推定した文字サイズに基づいて前記画面に表示する文字のサイズが適正となるように前記画像の拡大倍率または縮小倍率を決定する画像拡大・縮小倍率決定手段と、
前記画像拡大・縮小倍率決定手段により推定された画像の拡大倍率または縮小倍率を用いて前記画面へ表示する画像を作成する画像作成手段と、
前記画像作成手段により作成された画像をその画像の種類に応じた前記画面上の位置へ配置し前記表示手段へ出力する手段
として機能させることを特徴とする画像処理プログラム。 An image processing program for causing an image processing apparatus to include a display unit having a screen having a predetermined display area and a storage unit to store an image to be displayed on the screen,
The image processing apparatus;
Image component extraction means for extracting image components read from the storage means;
Layout analysis means for performing layout analysis of the component extracted from the image by the image component extraction means to obtain layout information indicating how the component is arranged in the image;
Based on the layout information obtained by the layout analysis means, the character size of the image is estimated, and based on the estimated character size, the enlargement factor of the image or the size of the character displayed on the screen is appropriate. Image enlargement / reduction magnification determination means for determining a reduction magnification;
Image creating means for creating an image to be displayed on the screen using the image enlargement or reduction magnification estimated by the image enlargement / reduction magnification determining means;
An image processing program for causing an image created by the image creating means to be arranged at a position on the screen according to a type of the image and to function as a means for outputting to the display means.
前記記憶手段から読み出した画像の構成要素を抽出するステップと、
画像から抽出された構成要素のレイアウト解析を行い構成要素が画像の中にどのように配置されているかを示すレイアウト情報を得るステップと、
前記レイアウト情報に基づき前記画像の文字のサイズを推定するステップと、
推定した文字のサイズに基づいて画像に含まれる文字のサイズが予め設定された変換文字サイズとなるよう前記記憶手段より読み出した画像を縮小または拡大して前記表示手段へ出力するステップと
を有することを特徴とする画像処理方法。 In an image processing method in an image processing apparatus, comprising: a display unit including a screen having a predetermined display area; and a storage unit that stores an image to be displayed on the screen.
Extracting the components of the image read from the storage means;
Performing layout analysis of components extracted from the image to obtain layout information indicating how the components are arranged in the image;
Estimating the size of characters of the image based on the layout information;
And a step of reducing or enlarging the image read from the storage unit and outputting to the display unit so that the size of the character included in the image becomes a preset converted character size based on the estimated character size. An image processing method characterized by the above.
前記記憶手段から読み出した画像の構成要素を抽出するステップと、
画像から抽出された構成要素のレイアウト解析を行い構成要素が画像の中にどのように配置されているかを示すレイアウト情報を得るステップと、
前記レイアウト情報に基づき前記画像の文字のサイズを推定し、前記画面に表示する文字のサイズが適正となるように前記画像の拡大倍率または縮小倍率を決定するステップと、
推定した画像の拡大倍率または縮小倍率を用いて前記画面へ表示する画像を作成するステップと、
作成した画像をその画像の種類に応じた前記画面上の位置へ配置し前記表示手段へ出力するステップと
を有することを特徴とする画像処理方法。 In an image processing method in an image processing apparatus, comprising: a display unit including a screen having a predetermined display area; and a storage unit that stores an image to be displayed on the screen.
Extracting the components of the image read from the storage means;
Performing layout analysis of components extracted from the image to obtain layout information indicating how the components are arranged in the image;
Estimating the character size of the image based on the layout information, and determining the enlargement or reduction factor of the image so that the character size displayed on the screen is appropriate;
Creating an image to be displayed on the screen using the estimated magnification or reduction of the image;
And a step of arranging the created image at a position on the screen corresponding to the type of the image and outputting the image to the display means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004376155A JP4177325B2 (en) | 2004-12-27 | 2004-12-27 | Image processing apparatus, image processing program, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004376155A JP4177325B2 (en) | 2004-12-27 | 2004-12-27 | Image processing apparatus, image processing program, and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006184415A true JP2006184415A (en) | 2006-07-13 |
JP4177325B2 JP4177325B2 (en) | 2008-11-05 |
Family
ID=36737600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004376155A Active JP4177325B2 (en) | 2004-12-27 | 2004-12-27 | Image processing apparatus, image processing program, and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4177325B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008124975A (en) * | 2006-11-15 | 2008-05-29 | Fuji Xerox Co Ltd | Image data creating apparatus, image output device, and program |
JP2010160210A (en) * | 2009-01-06 | 2010-07-22 | Sharp Corp | Data display apparatus, data display method, computer program therefor, and recording medium with the computer program recorded thereon |
JP2010261975A (en) * | 2009-04-28 | 2010-11-18 | Casio Computer Co Ltd | Image display, server device, and program |
JP2011095962A (en) * | 2009-10-29 | 2011-05-12 | Samsung Electronics Co Ltd | Information processor, information processing method and program |
JP2013156450A (en) * | 2012-01-30 | 2013-08-15 | Ricoh Co Ltd | Screen creation device, screen creation system, and screen creation program |
JP2014099089A (en) * | 2012-11-15 | 2014-05-29 | Ricoh Co Ltd | Display control device, display control method, and display control program |
JP2014236352A (en) * | 2013-05-31 | 2014-12-15 | 富士通株式会社 | Image data processing device and image data processing program |
JP2016004157A (en) * | 2014-06-17 | 2016-01-12 | カシオ計算機株式会社 | Image display device, image display method, and program |
JP2020086339A (en) * | 2018-11-30 | 2020-06-04 | 株式会社リコー | Display device and display method |
-
2004
- 2004-12-27 JP JP2004376155A patent/JP4177325B2/en active Active
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008124975A (en) * | 2006-11-15 | 2008-05-29 | Fuji Xerox Co Ltd | Image data creating apparatus, image output device, and program |
JP2010160210A (en) * | 2009-01-06 | 2010-07-22 | Sharp Corp | Data display apparatus, data display method, computer program therefor, and recording medium with the computer program recorded thereon |
JP2010261975A (en) * | 2009-04-28 | 2010-11-18 | Casio Computer Co Ltd | Image display, server device, and program |
JP2011095962A (en) * | 2009-10-29 | 2011-05-12 | Samsung Electronics Co Ltd | Information processor, information processing method and program |
JP2013156450A (en) * | 2012-01-30 | 2013-08-15 | Ricoh Co Ltd | Screen creation device, screen creation system, and screen creation program |
US9286652B2 (en) | 2012-01-30 | 2016-03-15 | Ricoh Company, Limited | Screen generating apparatus, screen generating system, and screen generating method |
JP2014099089A (en) * | 2012-11-15 | 2014-05-29 | Ricoh Co Ltd | Display control device, display control method, and display control program |
JP2014236352A (en) * | 2013-05-31 | 2014-12-15 | 富士通株式会社 | Image data processing device and image data processing program |
JP2016004157A (en) * | 2014-06-17 | 2016-01-12 | カシオ計算機株式会社 | Image display device, image display method, and program |
JP2020086339A (en) * | 2018-11-30 | 2020-06-04 | 株式会社リコー | Display device and display method |
JP7247554B2 (en) | 2018-11-30 | 2023-03-29 | 株式会社リコー | Display device and display method |
Also Published As
Publication number | Publication date |
---|---|
JP4177325B2 (en) | 2008-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9922400B2 (en) | Image display apparatus and image display method | |
US7853873B2 (en) | Data processing apparatus, data processing method, and computer program for generating electronic data from a paper document | |
US10650489B2 (en) | Image display apparatus, control method therefor, and storage medium | |
US10296559B2 (en) | Display apparatus, control method therefor, and storage medium | |
CN107133615B (en) | Information processing apparatus, information processing method, and computer program | |
US20080095447A1 (en) | Retrieval System and Retrieval Method | |
US10013147B2 (en) | Image display apparatus | |
US8897594B2 (en) | Image reader, mobile terminal apparatus, and non-transitory computer readable medium | |
KR101018310B1 (en) | Electronic document producing device, electronic document producing method and storage medium | |
JP5256956B2 (en) | Image processing apparatus, image display system, and program | |
JP5789719B2 (en) | Method and apparatus for determining the display mode of an electronic document | |
JP4443194B2 (en) | Processing object selection method in portable terminal character recognition and portable terminal | |
JP2007241356A (en) | Image processor and image processing program | |
JP4177325B2 (en) | Image processing apparatus, image processing program, and image processing method | |
JP2008234147A (en) | Document image display device, document image display method, and document image display program | |
US7738737B2 (en) | Image processing apparatus and image processing method | |
US20100149557A1 (en) | Image processing apparatus and image processing method | |
JP4474231B2 (en) | Document link information acquisition system | |
JP2007011529A (en) | Method for determining character recognition position in ocr processing | |
CN110110291B (en) | Document display control method, device, equipment and medium | |
JP2017208655A (en) | Information processing system, information processing method and program | |
JP4501731B2 (en) | Image processing device | |
JP2005055973A (en) | Personal digital assistant | |
JP5353299B2 (en) | Image search system, image search device, and image search method | |
US8340434B2 (en) | Image processing apparatus, image processing system and computer readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080821 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4177325 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |