JP2006238289A - Method of magnifying display data - Google Patents
Method of magnifying display data Download PDFInfo
- Publication number
- JP2006238289A JP2006238289A JP2005052889A JP2005052889A JP2006238289A JP 2006238289 A JP2006238289 A JP 2006238289A JP 2005052889 A JP2005052889 A JP 2005052889A JP 2005052889 A JP2005052889 A JP 2005052889A JP 2006238289 A JP2006238289 A JP 2006238289A
- Authority
- JP
- Japan
- Prior art keywords
- character
- display
- image
- scaling
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Control Or Security For Electrophotography (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、CRT,液晶ディスプレイ,プラズマディスプレイ,LED面配列ディスプレイ,ELディスプレイなどの2次元表示装置による、文書,写真,図面など書画の画面表示における、書画情報の変倍方法に関する。本発明は、パソコン,操作ボード,操作端末,携帯端末,2次元ディスプレイ付きの携帯電話など、文書および画像など書画を画面表示する2次元表示装置に、書画を表示する機器に実施できる。 The present invention relates to a method for scaling document information in a screen display of a document, photograph, drawing or the like by a two-dimensional display device such as a CRT, a liquid crystal display, a plasma display, an LED surface display, or an EL display. The present invention can be implemented in a device that displays a document on a two-dimensional display device that displays a document such as a document and an image on a screen, such as a personal computer, an operation board, an operation terminal, a portable terminal, and a mobile phone with a two-dimensional display.
特許文献1には、デジタルカメラからカラー画像データを取り込み、スキャナで原稿画像を読みとって、読み取った画像に、MRC処理でデジタルカメラのカラー画像を合成して通信回線に送出するファクシミリ装置が記載されている。
特許文献2には、原稿サイズが用紙サイズに入らないときには、縦,横両方向ともに用紙サイズに入る縮小率を算出して、該縮小率で縦方向および横方向に等比変倍してコピーを取る複写装置が記載されている。
In
特許文献3には、所定データ形式のコンテンツを内部表現データ形式に変換し、それを画像表示又はプリンタ出力に適する出力表現データに変換するデジタルドキュメント処理が記載されている。入力データ形式がHTML,XML,PDF,DOC,RM,VRML,SGMLのいずれの形式かを同定する処理に言及がある。
ところで、書画の2次元ディスプレイ表示では、画面サイズが小さい場合、または表示文書(またはコンテンツ)が大きくて1画面に収まらない場合、文書をスクロールして見ることになるが縦,横の両方向のスクロールが必要になるなど操作が煩雑になる。また、どこを読んでいるのか把握しにくいなどの問題がある。そのため、スクロールが発生しないように文書を縮小して表示させた場合には文字が小さくなりすぎ読みにくくなる。 By the way, in the two-dimensional display of a document, when the screen size is small or the displayed document (or content) is too large to fit on one screen, the document is scrolled and viewed, but both vertical and horizontal scrolling is performed. Operation becomes complicated. Another problem is that it is difficult to understand where you are reading. Therefore, when the document is reduced and displayed so that scrolling does not occur, the characters become too small and difficult to read.
そこでよく行なわれるのは、例えば縦長の文書ならば、横幅だけ画面サイズに一致(フィット)するように表示させておいて縦方向のみスクロールして読む方法である。この方法では、ほどほどの縮小倍率で文字の可読性を残しつつ、スクロールが縦方向のみになり操作性が向上する。縦方向の縮小倍率を多少大きくすると文字が読みやすくなり、スクロールが縦方向のみになるため操作も容易になり、現在どこを表示しているかも判別しやすい。しかし、そのような方法でも携帯端末など画面サイズが極端に小さい場合や、文書サイズ自体が大きい場合には限界がある。また、携帯端末などでは、極端に画面サイズが小さいため、Webホームページの表示などにおいては、携帯端末専用のページを別途用意するなどが行なわれている。 Therefore, for example, in the case of a vertically long document, for example, a method of scrolling and reading only in the vertical direction is displayed in such a manner that the horizontal size matches (fits) the screen size. In this method, the scrollability is only in the vertical direction while improving the operability while leaving the readability of characters at a moderate reduction ratio. If the reduction ratio in the vertical direction is slightly increased, it becomes easier to read the characters, and since the scroll is only in the vertical direction, the operation becomes easy and it is easy to determine where the current display is. However, even such a method has a limit when the screen size is extremely small, such as a portable terminal, or when the document size itself is large. In addition, since the screen size is extremely small in a mobile terminal or the like, a dedicated page for the mobile terminal is separately prepared for displaying a Web homepage or the like.
スクロール操作を容易にするために、例えば横方向にフィットするような倍率で表示し縦方向にのみスクロールさせる場合、大きな文書、複雑な文書などでは十分な表示サイズが得られず文字が解読しにくい場合がある。これを解消するために倍率を大きくすると、横方向にもスクロール操作が必要になり操作性が悪化する。携帯端末向けに別のホームページを準備する場合は、同じ内容の表示でも2つの管理が必要になる。または携帯端末向けに簡素化した内容のページを準備しなければならないなど、受信ドキュメントの管理やドキュメント送信の負担が大きい。 In order to facilitate scrolling operations, for example, when displaying at a magnification that fits in the horizontal direction and scrolling only in the vertical direction, sufficient display size is not obtained for large documents, complex documents, etc., and characters are difficult to decipher There is a case. If the magnification is increased in order to eliminate this, a scroll operation is required in the horizontal direction, and the operability is deteriorated. When preparing another homepage for a portable terminal, two managements are required even if the same contents are displayed. Or, the burden of managing received documents and sending documents is large, such as having to prepare pages with simplified contents for mobile terminals.
本発明は、限られた画面サイズでも文章の読みやすさを実現することを目的とする。 An object of the present invention is to realize readability of a sentence even with a limited screen size.
(1)書画情報が表わす画像を2次元表示面に表示するにおいて、イメージデータは、それが表わす書画を文字/背景分離またはレイアウト解析処理により、文字領域とそれ以外の背景に分離し、さらに文字領域にはOCR(Optical Character Reader)処理または文字矩形解析処理を行なうことにより1文字のサイズを計測し、その文字サイズから表示倍率を自動計算し、前記イメージデータが表す画像の前記2次元表示面の2次元方向の少なくとも一方の方向を、前記表示倍率で変倍処理する、表示データの変倍方法。 (1) When an image represented by document information is displayed on a two-dimensional display surface, the image data is separated into a character area and other background by character / background separation or layout analysis processing, In the area, the size of one character is measured by performing OCR (Optical Character Reader) processing or character rectangle analysis processing, the display magnification is automatically calculated from the character size, and the two-dimensional display surface of the image represented by the image data A scaling method for display data, wherein scaling processing is performed on at least one of the two-dimensional directions at the display magnification.
これにより、縦横比固定の縮小では読みにくくなるような縮小倍率でも読みやすい文字表示を実現する。例えば、入力データがイメージデータ(図6の(c))の場合には、図6の(g)文字/背景分離において図6の(m)前景(文字)部イメージとそれ以外(図6の(n)背景イメージ)に分離する。分離は、図6の(o)レイアウト解析部によるドット分布解析による行の抽出、または図6の(p)OCR処理部において文字認識し文字とそれ以外の切り分けを行なう。文字領域が定まったら図6の(s)文字サイズ検出部において1文字の矩形サイズを計測する。その後図6の(u)最適サイズ判定部において、文字が読める最低の倍率を計算する。判定は、例えば日本語漢字を表現するには最低限24×48dot(ドット)は必要などの情報を元に行なう。この最低サイズはユーザーの視力や表示装置の特性などにより経験的な値で書き換えるものとする。この処理により、最適な表示倍率を自動算出する。 As a result, it is possible to realize a character display that is easy to read even at a reduction magnification that is difficult to read by reduction with a fixed aspect ratio. For example, when the input data is image data ((c) in FIG. 6), in (g) character / background separation in FIG. 6, (m) foreground (character) portion image in FIG. (N) background image). Separation is performed by (o) extracting lines by dot distribution analysis by the layout analysis unit in FIG. 6 or (p) OCR processing unit in FIG. When the character area is determined, the rectangular size of one character is measured in the (s) character size detector in FIG. Thereafter, the lowest magnification at which characters can be read is calculated in the (u) optimum size determination unit in FIG. The determination is made based on information that, for example, at least 24 × 48 dots (dots) are necessary to express Japanese kanji. This minimum size is rewritten with an empirical value depending on the user's visual acuity and the characteristics of the display device. By this process, the optimum display magnification is automatically calculated.
(2)書画情報が表わす画像を2次元表示面に表示するにおいて、背景/写真部分,文字部分が分離されて保存された画像ファイル(MRC,PDF)は、文字部分/写真部分を判別し、さらに文字部分にはOCR処理または文字矩形解析処理を行なうことにより1文字のサイズを計測し、その文字サイズから表示倍率を自動計算し、前記画像ファイルのデータが表す画像の前記2次元表示面の2次元方向の少なくとも一方の方向を、前記表示倍率で変倍処理する、表示データの変倍方法。 (2) When displaying the image represented by the document information on the two-dimensional display surface, the image file (MRC, PDF) in which the background / photo part and the character part are separated and stored is discriminated from the character part / photo part, Further, the character portion is subjected to OCR processing or character rectangle analysis processing to measure the size of one character, the display magnification is automatically calculated from the character size, and the two-dimensional display surface of the image represented by the image file data is displayed. A scaling method for display data, wherein scaling processing is performed on at least one of the two-dimensional directions at the display magnification.
入力がMRC(Mixed Raster Contect:ITU-T T.44またはISO/IEC 16485:2000)および高圧縮PDF(Portable Document Form)のようにあらかじめ、背景/写真部分・文字部分が分離されて保存された画像ファイルにおいては、独自に文字/背景分離またはレイアウト解析機能を持たなくても、文字部分/写真部分を判別し、効果的な文書表示を行う。例えば、入力データがMRC(図6の(b))の場合には、MRC自体が文字部と背景部に分離されて保管されているため、この情報をそのまま使用する。文字/背景分離処理の必要がなくなり、シンプルな構成で済み、処理時間短縮にも寄与する。 The input / background / photo / text part was separated and saved in advance, like MRC (Mixed Raster Contect: ITU-T T.44 or ISO / IEC 16485: 2000) and high compression PDF (Portable Document Form). In an image file, even if it does not have a character / background separation or layout analysis function uniquely, it distinguishes a character portion / photograph portion and performs effective document display. For example, when the input data is MRC ((b) in FIG. 6), the MRC itself is separated and stored in the character part and the background part, so this information is used as it is. There is no need for character / background separation processing, a simple configuration is required, and the processing time is reduced.
(3)書画情報が表わす画像を2次元表示面に表示するにおいて、
イメージデータは、それが表わす書画を文字/背景分離またはレイアウト解析処理により、文字領域とそれ以外の背景に分離し、さらに文字領域にはOCR処理または文字矩形解析処理を行なうことにより1文字のサイズを計測し、その文字サイズから表示倍率を自動計算し、前記イメージデータが表す画像の前記2次元表示面の2次元方向の少なくとも一方の方向を、前記表示倍率で変倍処理し、
背景/写真部分,文字部分が分離されて保存された画像ファイル(MRC,PDF)は、文字部分/写真部分を判別し、さらに文字部分にはOCR処理または文字矩形解析処理を行なうことにより1文字のサイズを計測し、その文字サイズから表示倍率を自動計算して、前記画像ファイルのデータが表す画像の前記2次元表示面の2次元方向の少なくとも一方の方向を、前記表示倍率で変倍処理する、表示データの変倍方法。
(3) In displaying the image represented by the document information on the two-dimensional display surface,
The image data is separated into a character area and other background by character / background separation or layout analysis processing, and the character data is subjected to OCR processing or character rectangle analysis processing for the size of one character. , And automatically calculating a display magnification from the character size, scaling at least one direction of the two-dimensional direction of the two-dimensional display surface of the image represented by the image data with the display magnification,
An image file (MRC, PDF) in which the background / photo part and character part are separated and stored is discriminated from the character part / photo part, and the character part is subjected to OCR processing or character rectangle analysis processing for one character. The display magnification is automatically calculated from the character size, and at least one of the two-dimensional directions of the two-dimensional display surface of the image represented by the data of the image file is scaled by the display magnification. The scaling method of display data.
(4)前記変倍処理に適合しない書画情報は、該書画情報を処理するアプリケーションを制御して書画情報を前記変倍処理に適合するものに変換し、そして前記変倍処理を行う、上記(1)乃至(3)のいずれか1つに記載の、表示データの変倍方法。 (4) The document information that does not conform to the scaling process controls an application that processes the document information, converts the document information into a document that conforms to the scaling process, and performs the scaling process. 1) A method for scaling display data according to any one of (3).
他アプリケーションのデータを表示する場合にはアプリケーション自体が本発明による表示機能を持つ必要があるが、アプリケーション側に本発明の機能がなくても同様の表示を、本実施態様の表示機能を用いて行うことができる。例えば、図6の(h)外部アプリケーション制御部により図6の(i)外部アプリケーションを制御し、図6の(j)印刷ドライバまたはPaste(貼付け)制御部により印刷経由,クリップボード経由、またはOLE(Object Linking and Embedding)オートメーション制御(ActiveX Control)などにより一度イメージデータに変換する。その後変倍処理する。 When displaying data of another application, the application itself needs to have the display function according to the present invention. Even if the application side does not have the function of the present invention, the same display can be performed using the display function of this embodiment. It can be carried out. For example, (h) the external application control unit in FIG. 6 controls the (i) external application in FIG. 6, and (j) the print driver or the paste control unit in FIG. 6 performs printing, via the clipboard, or OLE ( Object Linking and Embedding) Once converted to image data by automation control (ActiveX Control). After that, scaling processing is performed.
(5)文書のレイアウト情報を解析し書画内の写真,図の領域を検出し、写真,図は縦横比一定になるように変倍し、その他の書画情報を前記変倍処理により変倍する、上記(1)乃至(4)のいずれか1つに記載の、表示データの変倍方法。これにより写真,図など縦横比が変わると内容が正確に伝わりにくいものを、正しく表示できる。例えば、図8の(a)のように間延びすることなく、図8の(b)のように写真部分のみは縦横比固定倍率で表示することができる。図6の(a)HTMLのように最初から文字/写真などが構造化されているデータの場合には、図6の(f)構造解析部において、文字と重ならないイメージ部分を抽出する。イメージデータの場合には図6の(o)レイアウト解析部、図6の(q)写真抽出部により、写真および図の位置を特定する。表示する時点で図6の(w)写真表示位置制御部において適切な表示位置や倍率を算出して図8の(b)の表示を実現する。 (5) Analyzing document layout information to detect photographs and diagrams in the document, scaling the photos and diagrams so that the aspect ratio is constant, and scaling other document information by the scaling process. The method for scaling display data according to any one of (1) to (4) above. As a result, it is possible to correctly display a photograph, a figure, or the like whose contents are difficult to convey accurately when the aspect ratio changes. For example, it is possible to display only a photograph part at a fixed aspect ratio as shown in FIG. 8B without extending as shown in FIG. In the case of data in which characters / photos and the like are structured from the beginning as in (a) HTML of FIG. 6, an image portion that does not overlap with characters is extracted in (f) structure analysis unit of FIG. 6. In the case of image data, the position of a photograph and a figure is specified by (o) layout analysis unit in FIG. 6 and (q) photo extraction unit in FIG. At the time of display, the (w) photo display position control unit in FIG. 6 calculates an appropriate display position and magnification to realize the display in FIG.
(6)写真,図は、他の書画情報とは別フィールド(レイヤー)に分離して表示する、上記(5)に記載の、表示データの変倍方法。これにより、ユーザーが任意の大きさに変更したり、表示位置を自由に移動できる。写真がより小さく表示される傾向にある場合は、写真部分は別レイヤーで表示するので、ユーザーが任意のサイズで任意の表示位置に表示できる。例えば、図9に示すように写真部分選択時には移動,リサイズ(サイズ変更)つまみを表示し、任意の位置への移動,リサイズを可能にした。また移動後も元の写真位置が分かりやすいように元の位置にモノクロ表示する。 (6) The display data scaling method according to (5) above, wherein the photograph and figure are displayed separately in a field (layer) separate from other document information. Thereby, a user can change to arbitrary magnitude | sizes or can move a display position freely. If the photo tends to be displayed smaller, the photo portion is displayed in a separate layer, so that the user can display it at any size and at any display position. For example, as shown in FIG. 9, a move / resize (size change) knob is displayed at the time of selecting a photo portion, and movement to an arbitrary position and resize are made possible. Also, after moving, the original photo position is displayed in monochrome so that it can be easily understood.
(7)書画を文字,写真,表などの領域抽出によりブロック単位に分割し、そのブロックごとに表示する、上記(1)乃至(5)のいずれか1つに記載の、表示データの変倍方法。これにより、片方のみのスクロールで操作性を良く、縮小倍率も高くなることから文字の見易さを向上させることができる。画面サイズが小さい、または文書自体が精細なためさらに大きな倍率でなければ十分に文字を読むことができない場合において、例えば、図6に示すように文書コンテンツをブロック単位に分割し、適切な順番で順に表示する。図6の(o)レイアウト解析部,図6の(q)写真抽出部によりブロック単位に分割し、図6の(x)ブロック順序推論部により適切な順番にレイアウトしなおして連結表示する。これにより一方向のみのスクロールでも文書の内容を効率よく閲覧できる。もしブロックの表示順番に誤りがある場合には、ユーザーが任意に再生順番を変更可能である。 (7) The display data scaling described in any one of (1) to (5) above, wherein the document is divided into blocks by extracting areas such as characters, photographs, and tables and displayed for each block. Method. Thereby, the operability is improved by scrolling only one side, and the reduction magnification is also increased, so that the legibility of characters can be improved. When the screen size is small or the document itself is fine and characters cannot be read sufficiently unless the magnification is larger, for example, the document content is divided into blocks as shown in FIG. Display in order. 6 is divided into blocks by (o) layout analysis unit and (q) photo extraction unit of FIG. 6, and is re-laid out in an appropriate order by (x) block order inference unit of FIG. As a result, the contents of the document can be browsed efficiently even by scrolling in only one direction. If there is an error in the block display order, the user can arbitrarily change the playback order.
(8)ブロック間の繋がりを明示する情報を変倍下表示データに加える、上記(7)に記載の、表示データの変倍方法。文書レイアウトが変更され、ユーザーがどこを表示しているのか見失う可能性がある場合があるが、本実施態様では例えば、図11の方法1で表示画面中にブロックごとに前後の関係を表すマークを表示する。例えば次矢印が右を向いていれば、次にスクロールされ表示される部分は本来右側に位置していたブロックであることを表す。前矢印も同様で、左側を向いている場合はスクロールして戻る場合は左方向のブロックを表示することを意味する。また、図11の方法2のように、メイン画面とは別に全体表示ウィンドウを表示し、ブロック再生順番を表示させるとともに現在の表示位置を示す。
(8) The display data scaling method described in (7) above, wherein information that clearly indicates the connection between blocks is added to the display data under magnification. The document layout may be changed, and there is a possibility that the user may lose sight of what is displayed. In this embodiment, for example, a mark representing the relationship between each block on the display screen in
(9)文字領域の文字情報を解析して文字ブロックの再生順番を決定して前記ブロック間の繋がりを明示する情報を生成する、上記(8)に記載の、表示データの変倍方法。例えば、図12に示すように文字ブロックの再生順番が不明な場合、あらかじめ図6の(p)OCR処理部において文字認識を行い抽出されたTEXT情報を元に、図6の(r)文章構文解析部によりブロック同士の文書のつながりの確からしさを判定する。または、文字のレイアウトや文字の大きさの変化、および図6の(t)章・項目タイトル抽出部で抽出された章や項目タイトルなどからブロックの順番を図6の(x)ブロック順序推定部において推測する。例えば、ブロックの最後が「。」で終わった場合には、次のブロックは文章の始まり(インデント)や章や項目の始まりである可能性が高いということなどから推測する。 (9) The display data scaling method according to (8), wherein character information in the character area is analyzed to determine the reproduction order of the character blocks, and information that clearly indicates the connection between the blocks is generated. For example, when the reproduction order of the character blocks is unknown as shown in FIG. 12, (r) sentence syntax shown in FIG. 6 based on the TEXT information extracted by performing character recognition in advance in (p) OCR processing section of FIG. The analysis unit determines the probability of the document connection between the blocks. Alternatively, (x) block order estimation unit in FIG. 6 determines the block order from the character layout, the change in character size, and the chapter and item title extracted by the chapter / item title extraction unit in FIG. Guess at. For example, if the end of a block ends with “.”, The next block is inferred from the possibility that the beginning of a sentence (indent) or the beginning of a chapter or item is highly likely.
(10)文字領域が前記2次元表示面の2次元方向の前記一方の方向で設定領域に収らない時は、該文字領域内の文字行を抽出し行単位に改行し文字利用域画像を再配置する、上記(1)乃至(9)のいずれか1つに記載の、表示データの変倍方法。すなわち、文章を画面内に収まるようにし読みやすく、片方向スクロールで操作性の良い表示を行う。これは、文字領域1ブロックのサイズが大きく十分な表示倍率が得られない場合の回避方法である。図13に示すように行を抽出し、行単位に分割する。その後1行を任意の位置(文字が分断されない場所)で2分割し後半を次の行へ折り返す。これにより十分な文字サイズでの表示を実現できる。 (10) When the character area does not fit in the setting area in the two-dimensional direction of the two-dimensional display surface, the character area in the character area is extracted and a line break is performed for each line to generate a character use area image. The display data scaling method according to any one of (1) to (9), wherein rearrangement is performed. In other words, it is easy to read the text so that it fits within the screen, and a display with good operability is provided by one-way scrolling. This is a method for avoiding a case where the size of one block of the character area is large and a sufficient display magnification cannot be obtained. As shown in FIG. 13, lines are extracted and divided into lines. Then, one line is divided into two at an arbitrary position (a place where characters are not divided), and the latter half is folded to the next line. Thereby, display with sufficient character size is realizable.
(11)表示対象の書画情報がJPEG(Joint Photographic Experts Group)の場合は、直流成分および低周波成分のみを伸張することにより横n/8倍,縦m/8倍、n,mは整数、の任意縦横比の変倍を行う、上記(1)乃至(3)のいずれか1つに記載の、表示データの変倍方法。任意の縦横比の縮小画像を取得する方法であり、入力画像がJPEGおよびJPEG2000の場合に効果がある。JPEG圧縮では、8×8pixel(画素)のブロック単位で圧縮処理している。処理内部ではこれを周波数成分に分解して処理する。このとき画像のおおまかな特徴は低周波成分、画像の細かな特徴は高周波成分に分離される。例えば最も低周波の成分(=直流成分)のみを伸張し取り出すと1/8倍の特徴が凝縮された画像が取得できることが知られている。本実施態様はこれを応用し、任意の縦横比の縮小画像(例えば横1/8倍、縦2/8倍の画像)を高速に画質の良い画像を取得し表示する。本方法の特徴の1つは、JPEG伸張の演算数を大幅に減らすことができるため高速に目的の画像を取得できることである。通常ならば、JPEGを元の大きさに伸張した後にスムージング縮小しなければならないが、JPEG伸張時に処理すれば直接縮小画像が取得できるだけでなくJPEG伸張の演算時間を大幅に削減できる。本方法のもうひとつの特徴は、高品質な縮小画像が得られることである。JPEGのDCT(Discrete Cosine Transform)変換により周波数成分に分解された特徴を利用するため画像の特徴を捉えており、スムージング縮小したような高品質な画像が得られる。これらの特徴を生かして、本発明の目的である読みやすい文字表示を、よりたやすく実現できる。 (11) When the document information to be displayed is JPEG (Joint Photographic Experts Group), by expanding only the DC component and the low frequency component, the horizontal n / 8 times, the vertical m / 8 times, and n and m are integers. The method for scaling display data according to any one of (1) to (3), wherein scaling of an arbitrary aspect ratio is performed. This is a method for acquiring a reduced image having an arbitrary aspect ratio, and is effective when the input image is JPEG or JPEG2000. In JPEG compression, compression processing is performed in units of 8 × 8 pixel (pixel) blocks. In the processing, this is decomposed into frequency components and processed. At this time, the rough feature of the image is separated into a low frequency component, and the fine feature of the image is separated into a high frequency component. For example, it is known that if only the lowest frequency component (= DC component) is expanded and extracted, an image in which features of 1/8 times are condensed can be acquired. This embodiment applies this, and obtains and displays a high-quality image at a high speed as a reduced image having an arbitrary aspect ratio (for example, an image having a width of 1/8 times and a height of 2/8 times). One of the features of this method is that the target image can be acquired at high speed because the number of operations for JPEG decompression can be greatly reduced. Normally, smoothing reduction must be performed after JPEG is expanded to its original size, but if it is processed during JPEG expansion, not only can a reduced image be obtained directly, but also the calculation time for JPEG expansion can be greatly reduced. Another feature of this method is that a high-quality reduced image can be obtained. Since the features decomposed into frequency components by DCT (Discrete Cosine Transform) conversion of JPEG are used, the features of the image are captured, and a high-quality image that is smoothed and reduced can be obtained. Taking advantage of these features, the easy-to-read character display that is the object of the present invention can be realized more easily.
JPEG2000の場合も同様であり、JPEG2000では元々任意解像度の画像を簡単に取得できるようにタイリング(Tiling)処理されている。これを利用して、横方向の処理タイリング数と縦方向の処理タイリング数を制御することにより任意の縦横比の高画質な縮小画像を高速に取得する。 The same applies to the case of JPEG2000. In JPEG2000, a tiling process is originally performed so that an image of an arbitrary resolution can be easily acquired. By utilizing this, the number of processing tiles in the horizontal direction and the number of process tiles in the vertical direction are controlled to obtain a high-quality reduced image having an arbitrary aspect ratio at high speed.
本発明の他の目的および特徴は、図面を参照した以下の実施例の説明より明らかになろう。 Other objects and features of the present invention will become apparent from the following description of embodiments with reference to the drawings.
図1に、本発明の第1実施例のパソコンPCから印刷指示を受けるフルカラーデジタル複合機能複写機MF1の外観を示す。このフルカラー複写機MF1は、大略で、自動原稿送り装置(ADF)120と、操作ボード10と、カラースキャナ100と、カラープリンタ200の各ユニットで構成されている。なお、操作ボード10と、ADF120付きのカラースキャナ100は、プリンタ200から分離可能なユニットであり、カラースキャナ100は、動力機器ドライバやセンサ入力およびコントローラを有する制御ボードを有して、エンジンコントローラ(CPU301:図2)と直接または間接に通信を行いタイミング制御されて原稿画像の読取りを行う。
FIG. 1 shows the external appearance of a full-color digital multi-function copier MF1 that receives a print instruction from the personal computer PC according to the first embodiment of the present invention. The full-color copying machine MF1 is roughly constituted by units of an automatic document feeder (ADF) 120, an
スキャナ100およびプリンタ200ならびに画像入出力装置(302:図2)を含むエンジン(300:図2)を接続したコントローラボード(400:図2)には、パソコンPCが接続したLAN(Local Area Network)が接続されており、ファクシミリコントロールユニット(FCU 417:図2)には、電話回線PN(ファクシミリ通信回線)に接続された交換器PBXが接続されている。
A controller board (400: FIG. 2) to which a
図2に、図1の複合機能複写機MF1の画像処理システムの構成を示す。複合機能複写機MF1は、原稿画像読取りおよびカラー印刷を行うエンジン300,コントローラボード400および操作ボード10を含む。エンジン300は、画像読取りおよび印刷のプロセスを制御するCPU301,上述のカラースキャナ100,上述のプリンタ200、および、ASIC(Application Specific IC)で構成した画像入出力処理302を備えている。
FIG. 2 shows the configuration of the image processing system of the multifunction copying machine MF1 shown in FIG. The multi-function copier MF1 includes an
スキャナ100の読取りユニット110にはCPU,ROMおよびRAMがあり、該CPUが該ROMに格納されたプログラムを該RAMに書き込んで実行する事で、スキャナ100の全体の制御を行っている。また、プロセス制御用のCPU301と通信線を介して接続されおり、コマンド及びデータの送受信により指令された動作を行う。読取りユニット110内のCPUは、フィラーセンサ(原稿検知センサ),基点センサ,圧板スイッチ,冷却ファン等の検知及びON/OFFの制御をする。読取りユニット110内において、スキャナモータドライバが、CPUからのPWM出力によりドライブされ励磁パルスシーケンスを発生し原稿走査駆動用のパルスモータを駆動する。
The
原稿画像は、ランプレギュレータによって通電されるハロゲンランプ102(図2)の光量出力により照明されて、原稿の反射光すなわち光信号は、複数ミラー103〜105及びレンズ106を通りR,GおよびB読取り用の3個のラインセンサを含むCCD107に結像される。3ラインCCD107は、各RGBの各画素のアナログの画像信号をAFE111に出力する。AFE111は、画像信号を増幅し画像データにデジタル変換しそしてシェーディング補正する画像信号処理手段である。 The document image is illuminated by the light output of the halogen lamp 102 (FIG. 2) energized by the lamp regulator, and the reflected light of the document, that is, the optical signal, passes through the plurality of mirrors 103 to 105 and the lens 106 to read R, G, and B. The image is formed on a CCD 107 including three line sensors. The 3-line CCD 107 outputs an analog image signal of each RGB pixel to the AFE 111. The AFE 111 is an image signal processing unit that amplifies an image signal, digitally converts it into image data, and performs shading correction.
コントローラボード400は、CPU402と、ASICで構成された書画蓄積制御403と、ハードディスク装置(以下ではHDDと表記)401と、ローカルメモリ(MEM−C)406と、システムメモリ(MEM−P)409と、ノースブリッジ(以下、NBと記す)408と、サウスブリッジ(以下、SBと記す)415と、NIC410(Network Interface Card)と、USBデバイス411と、IEEE1394デバイス412と、セントロニクスデバイス413他を含む。操作ボード10は、コントローラボード400の書画蓄積制御403に接続されている。ファクシミリコントロールユニット(FCU)417も、書画蓄積制御403にPCIバスで接続されている。
The controller board 400 includes a
CPU402は、NIC410を介してLANに接続されたパソコンあるいはインターネットを介する他のパソコンPCと書画情報の送受信を行うことができる。また、USB411,IEEE1394 412,セントロニクス413を用いてパソコンPC,プリンタ,デジタルカメラ等と通信することができる。
The
SB415と、NIC410と、USBデバイス411と、IEEE1394デバイス412と、セントロニクスデバイス413と、MLB414は、NB408にPCIバスで接続されている。このように、MLB414は、エンジン300にPCIバスを介して接続する基板である。そして、MLB414は、外部から入力された書画データをイメージデータ(画像データ)に変換し、変換された画像データをエンジン300に出力する。
The
コントローラボード400の書画蓄積制御403にローカルメモリ406、HDD401などが接続されると共に、CPU402と書画蓄積制御403とがCPUチップセットのNB408を介して接続されている。書画蓄積制御403とNB408とは、AGP(Accelerated Graphics Port)を介して接続されている。
The
CPU402は、複合機能複写機MF1の全体制御を行うものである。NB408は、CPU402、システムメモリ409、SB415および書画蓄積制御403を接続するためのブリッジである。システムメモリ409は、複合機能複写機MF1の描画用メモリなどとして用いるメモリである。SB415は、NB408とPCIバス、周辺デバイスとを接続するためのブリッジであり、SB415には外付けROMおよびSDメモリカード(以下ではSDカード)の読み書きをするカードIF418が接続されている。このカードIF418には、SDカード読み書き装置(カードリーダ)が接続されており、カードリーダに装着されるSDカードのデータを読み取ることができ、またSDカードにデータを書込むことができる。
The
ローカルメモリ406はコピー用画像バッファ、符号バッファとして用いるメモリである。HDD401は、画像データの蓄積,文書データの蓄積,プログラムの蓄積,フォントデータの蓄積,フォームの蓄積,LUT(Look Up Table)の蓄積などを行うためのメモリである。また、操作ボード10は、ユーザーからの入力操作を受け付けると共に、ユーザーに向けた表示を行う操作部である。
The
図2には、スキャナ100およびプリンタ200と画像入出力処理302との間でやり取りする画像データの流れを示す。画像入出力処理302には、カラー原稿スキャナ100が原稿画像を読み取って発生するR,G,B画像データのそれぞれに対して読取りγ補正,MTF補正等を行うスキャナ画像処理303があり、また、R,G,B画像データをプリンタ200の、C,M,Y,K各色書込みの画像表現特性に合ったc,m,y,k記録色データ(印刷データ)に変換するプリンタ画像処理304があり、更に、書画蓄積制御403に原稿読取り画像データRGBを出力し、書画蓄積制御403が出力する画像データRGBをプリンタ画像処理304に与える画像処理I/F(Interface circuit)305がある。
FIG. 2 shows a flow of image data exchanged between the
白黒コピーのときには、スキャナ画像処理303からG画象データが画像処理I/F305に出力され、画像処理I/F305がG画像データをプリンタ画像処理304に出力し、プリンタ画像処理304がG画像データをk記録色データに変換し、必要に応じて変倍,画像加工を、そしてプリンタγ変換および階調処理をして、プリンタ200のC書込みユニット212に出力する。書込みユニット212は、画像処理304が出力するk記録色データによって、プリンタ200の、静電潜像形成用の光学走査ユニットのレーザ発光ダイオードに通電する電流を変調又はオン,オフする。
In the case of monochrome copying, the G image data is output from the
カラーコピーのときは、スキャナ画像処理303が出力するRGB画像データが、画像処理I/F305および画像蓄積制御403を介して、ローカルメモリ406又はHDD401に一時蓄積又はHDD401に登録され、そして読み出されて、コピーまたは印刷に用いられ、あるいは外部に送出される。
For color copying, RGB image data output by the
プリンタ200による登録画像データ、又は、外部から受信した画像データの印刷のときには、画像蓄積制御403および画像処理I/F305を介して画像データがプリンタ画像処理304に与えられる。プリンタ画像処理304は、画像データをcmyk記録色データに変換してから、必要に応じて変倍,画像加工を、そしてプリンタγ変換および階調処理をして、書込みユニット212に出力する。
When printing registered image data by the
図3に示す様に、操作ボード10には、液晶タッチパネル11のほかに、テンキー15,クリア/ストップキー16,スタートキー17,初期設定キー18,モード切換えキー19,テスト印刷キー20,電源キー21がある。また、図示は省略したが、液晶タッチパネル11の左側には、URL,メール文,ファイル名,フォルダ名等の入力,設定用ならびに短縮登録用の、平仮名を付記したアルファベットキーボードがある。
As shown in FIG. 3, in addition to the liquid crystal touch panel 11, the
電源キー21は、省エネモード(休止モード又は低電力モード)から画像印刷が可能なスタンバイモードに、またその逆への切換えを指示するための操作キーである。省エネモードが設定されている時に電源キー21が一回押されると、省エネモードからスタンバイモードに切換る。スタンバイモードであるときに電源キー21が一回押されると、スタンバイモードから休止モードに切換る。テスト印刷キー20は、設定されている印刷部数に関わらず1部だけを印刷し、印刷結果を確認するためのキーである。
The
初期設定キー18を押す事で、機械の初期状態を任意にカスタマイズする事が可能である。省エネモードへの移行時間を設定したり、機械が収納している用紙サイズを設定したり、コピー機能のリセットキーを押したときに設定される状態を任意に設定可能である。初期設定キ−18が操作されると、各種初期値を設定するための「初期値設定」機能ならびに「ID設定」機能,「著作権登録/設定」機能および「使用実績の出力」機能等を指定するための選択ボタンが表示される。
By pressing the
液晶タッチパネル11には、各種機能キーならびにエンジン300およびコントローラボード400の動作状態を示すメッセージなどが表示される。液晶タッチパネル11には、「コピー」機能,「スキャナ」機能,「プリント」機能,「ファクシミリ」機能,「蓄積」機能,「編集」機能,「登録」機能およびその他の機能の選択用および実行中を表わす機能選択キー14が表示される。機能選択キー14で指定された機能に定まった入出力画面が表示され、例えば「複写」機能が指定されているときには、図3に示すように、機能キーならびに部数及び画像形成装置の状態を示すメッセージ12,13が表示される。機能キー12の中には、印刷色指定キー「黒(BK)」,「フルカラー」,「自動色選択」,「青(C)」,「赤(M)」および「黄(Y)」指定キーがある。オペレータが液晶タッチパネル11に表示されたキーにタッチすると、操作ボード10はオペレータ入力として読み込み、選択された機能を示すキーを、指定中を表す灰色に反転表示する。また、機能の詳細を指定しなければならない場合(例えばページ印字の種類等)はキーにタッチする事で詳細機能の設定画面がポップアップ表示される。このように、液晶タッチパネル11は、ドット表示器を使用している為、その時の最適な表示をグラフィカルに行う事が可能である。
On the liquid crystal touch panel 11, various function keys and messages indicating the operation states of the
図4には、操作ボード10の回路ブロックを示す。操作ボード10の電気制御系の主体は、コントローラボード400のCPU402とコミュニケーションし、操作ボード10の入力を読取り、操作ボード10上の表示を制御するCPU 1,このCPU 1の制御プログラムが格納されているROM 2,制御時にデータの一時格納等を行うためのRAM 3,液晶タッチパネル11の描画データを格納するVRAM 7,このVRAM 7に接続され液晶タッチパネル11の描画タイミング制御およびタッチ入力検知等を行う液晶表示コントローラ(LCDC)6,時刻データを発生する時計IC 5等がある。LCDC 6には、CFLの光源をバックライト9として有する液晶タッチパネル11が接続される。CPU 1には更に、CFLバックライト9を駆動するインバータ8,操作キー群15〜21のキーマトリクス,表示LEDのLEDマトリクスおよびそれらのLEDを駆動するLEDドライバ等が接続されている。また、CPU 1が接続されたデータバスには、画像処理モード記憶用の不揮発RAM(NVRAM)4が接続されている。
FIG. 4 shows a circuit block of the
操作ボード10のCPU 1は、操作ボード10に対するユーザの操作に対応して、置数キーの押下の読込みと入力数字データの生成,スタートキーの押下の読込みと、スタート指示のコントローラボード400への転送,用紙サイズの切換え入力の読取りなど、通常の複写機の操作読取りおよび表示出力の制御を行う。
The
ROM2には、CPU1の動作プログラムの他に、水平および垂直方向に複数画素でなる画素ブロックの、各画素の発光/非発光を指示するオン/オフ信号の分布と該画素ブロックの表示階調を表現する、それぞれが異なった階調を表現する複数の発光パターンデータでなるパターングループを、格納している。ROM2に格納されているパターングループは、操作ボード10に動作電圧が加わったときの初期化において、CPU1が、RAM3のメモリ領域に割り付けたパターンレジスタに書込み、その後の階調表示に使用する。表示データ(階調データ)はVRAM7に書込まれて、LCD11のラスター表示の同期信号に同期して、LCDC6によってVRAM7から読出されてパターンレジスタの画素ブロックデータの読出しアドレスに用いられる。パターンレジスタから読み出された画素ブロックデータは、LCD11のラスター表示の同期信号に合わせて、LCDC6からLCD11に出力される。
In the
図5に、複写機MF1に接続されたパソコンPCにインストールされ、本発明を実施するアプリケーションプログラムに従った、パソコンPCの「表示アプリケーション」(DCA)のデータ処理の概要を示し、図6には、該「表示アプリケーション」(DCA)のデータ処理機能をブロック区分で示し、図5と図6の、対応する処理ステップと処理ブロックには、同一のアルファベット記号を付した。「表示アプリケーション」(DCA)は、表示すべき画像が表示面上の設定領域より広く、画像を縮小する場合、文字領域は文字の識別が可能な倍率として、縮小表示における情報の欠落を最小限に抑え文字の可読性を保つものである。これにより、縦横比固定の縮小では読みにくくなるような縮小倍率でも読みやすい文字表示を実現する。さらには、ブロック単位で表示を行うことにより十分な表示サイズを確保する。それでも文字ブロックのサイズが大きく表示領域が不十分な場合には、行抽出し行単位に折り返しを行なうことによりスクロール方向は1方向のまま表示文字サイズを大きくし文章の読み易くする。 FIG. 5 shows an outline of data processing of the “display application” (DCA) of the personal computer PC according to the application program installed in the personal computer PC connected to the copying machine MF1 and implementing the present invention. The data processing function of the “display application” (DCA) is shown in block sections, and corresponding processing steps and processing blocks in FIGS. 5 and 6 are given the same alphabetic symbols. In the “display application” (DCA), when the image to be displayed is wider than the set area on the display surface and the image is reduced, the character area is set to a magnification that can identify the character, and information loss in the reduced display is minimized. This keeps the character readable. As a result, it is possible to realize a character display that is easy to read even at a reduction magnification that is difficult to read by reduction with a fixed aspect ratio. Furthermore, a sufficient display size is secured by performing display in units of blocks. If the size of the character block is still large and the display area is insufficient, line extraction is performed and folding is performed on a line-by-line basis, thereby increasing the display character size while keeping the scroll direction in one direction to make the text easier to read.
複写機MF1に接続されたパソコンPCのドキュメントメモリには、MF1のスキャナ100で読取った画像(イメージデータ),LANまたはインターネット通信で受信した書画情報,ファクシミリ受信の書画情報,パソコンPCで生成又は編集した書画情報が保存され、ユーザーが指定した書画ファイルが開かれて、表示アプリケーション(DCA)によって表示データに展開されて、パソコンPCのディスプレイに表示される。ユーザーは、ドキュメントメモリにある画像ファイルのプリントアウトを、パソコンPCの操作ボードから、複合機能複写機MF1に指示することができる。また、原稿スキャナ100およびADFを使用する原稿画像読み取りを指示することができ、さらには、ファクシミリ送信を指示することができる。
In the document memory of the personal computer PC connected to the copier MF1, images (image data) read by the
パソコンPCは、ユーザーが指定した書画ファイルを、図5の表示データ入力(e)(図6の(e)入力制御部)で開いて、該ファイル内の画像データのデータ形式を参照して、データ形式対応の処理に進む。 The personal computer PC opens the document file designated by the user with the display data input (e) in FIG. 5 ((e) input control unit in FIG. 6), and refers to the data format of the image data in the file. Proceed to processing corresponding to the data format.
書画ファイルのデータが、イメージデータの場合には、文字/背景分離またはレイアウト解析処理により、文字部分とそれ以外の背景に分離する。さらに文字領域にOCR処理または文字矩形解析処理を行なうことにより1文字のサイズを計測し、その文字サイズから可読性を損なわない倍率を自動計算し、表示倍率を自動的に決定する。すなわち、入力データがイメージデータ(図6の(c))の場合には、図6の(g)文字/背景分離において図6の(m)前景(文字)部イメージとそれ以外(図6の(n)背景イメージ)に分離する。分離は、図6の(o)レイアウト解析部によるドット分布解析による行の抽出、または図6の(p)OCR処理部において文字認識し文字とそれ以外の切り分けを行なう。文字領域が定まったら図6の(s)文字サイズ検出部において1文字の矩形サイズを計測する。その後図6の(u)最適サイズ判定部において、文字が読める最低の倍率を計算する。判定は、例えば日本語漢字を表現するには最低限24×48dotは必要などの情報を元に行なう。この最低サイズはユーザーの視力や表示装置の特性などにより経験的な値で書き換えるものとする。この処理により、最適な表示倍率を自動算出する。 When the data of the document file is image data, it is separated into a character portion and other background by character / background separation or layout analysis processing. Further, the size of one character is measured by performing OCR processing or character rectangle analysis processing on the character area, and a magnification that does not impair readability is automatically calculated from the character size, and the display magnification is automatically determined. That is, when the input data is image data ((c) in FIG. 6), in (g) character / background separation in FIG. 6, (m) foreground (character) portion image in FIG. (N) background image). Separation is performed by (o) extracting lines by dot distribution analysis by the layout analysis unit in FIG. 6 or (p) OCR processing unit in FIG. When the character area is determined, the rectangular size of one character is measured in the (s) character size detector in FIG. Thereafter, the lowest magnification at which characters can be read is calculated in the (u) optimum size determination unit in FIG. The determination is made based on information that, for example, at least 24 × 48 dots are necessary to express Japanese kanji. This minimum size is rewritten with an empirical value depending on the user's visual acuity and the characteristics of the display device. By this process, the optimum display magnification is automatically calculated.
書画ファイルのデータがMRCおよび高圧縮PDFのようにあらかじめ、背景/写真部分・文字部分が分離されて保存された画像ファイルの場合には、文字部分/写真部分を判別し、表示倍率を効果的に自動算出する。すなわち、入力データがMRC(図5の(b))の場合には、MRC自体が文字部と背景部に分離されて保管されているため、この情報をそのまま使用して、その文字部については、入力データがイメージの場合と同様に、図6の(p)OCR処理部において文字認識し、図6の(s)文字サイズ検出部において1文字の矩形サイズを計測する。その後図6の(u)最適サイズ判定部において、文字が読める最低の倍率を計算する。判定は、例えば日本語漢字を表現するには最低限24×48dotは必要などの情報を元に行なう。この最低サイズはユーザーの視力や表示装置の特性などにより経験的な値で書き換えるものとする。この処理により、最適な表示倍率を自動算出する。 If the document file data is an image file in which the background / photo part / character part is separated and saved in advance, such as MRC and high-compression PDF, the character part / photo part is distinguished, and the display magnification is effective. Calculate automatically. That is, when the input data is MRC ((b) of FIG. 5), since the MRC itself is separated and stored in the character part and the background part, this information is used as it is, and the character part is As in the case where the input data is an image, the (p) OCR processing unit in FIG. 6 recognizes characters, and the (s) character size detection unit in FIG. 6 measures the rectangular size of one character. Thereafter, the lowest magnification at which characters can be read is calculated in the (u) optimum size determination unit in FIG. The determination is made based on information that, for example, at least 24 × 48 dots are necessary to express Japanese kanji. This minimum size is rewritten with an empirical value depending on the user's visual acuity and the characteristics of the display device. By this process, the optimum display magnification is automatically calculated.
書画ファイルのデータが、他アプリケーションで表示するものまたは他アプリケーションで作成したものであった場合には、図6の(h)外部アプリケーション制御部により図6の(i)外部アプリケーションを制御し、図6の(j)印刷ドライバまたはPaste(貼付け)制御部により、印刷ドライバ経由,クリップボード経由またはOLEオートメーション制御により一度イメージデータに変換する。その後、上述の、ユーザー指定の書画ファイルがイメージデータであった場合と同様に、文字部分とそれ以外の背景の分離以下表示倍率の算出を実行する。 When the document file data is displayed by another application or created by another application, the external application control unit shown in FIG. 6 (h) controls the external application shown in FIG. 6 (j) The image data is once converted into image data via the print driver, via the clipboard, or via OLE automation control by the print driver or paste control unit. Thereafter, similarly to the case where the user-specified document file is image data, the display magnification is calculated after the separation of the character portion and the other background.
図6の(a)HTMLのように最初から文字/写真などが構造化されているデータの場合には、図6の(f)構造解析部において、文字と重ならないイメージ部分を抽出する。イメージデータの場合には図6の(o)レイアウト解析部、図6の(q)写真抽出部により、写真および図の位置を特定する。表示する時点で図6の(w)写真表示位置制御部において写真・図は縦横比一定になるように表示する適切な表示位置や倍率を算出して図8の(b)の表示を実現する。すなわち、写真や図が混じった文書において、文字領域のような縦横比が異なる倍率で表示すると、図8の(a)のように写真も間延びしてしまい好ましくない。そこで図8の(b)のように写真部分のみは縦横比固定倍率で表示する。これにより写真,図など縦横比が変わると内容が正確に伝わりにくいものを、正しく表示できる。 In the case of data in which characters / photos and the like are structured from the beginning as in (a) HTML of FIG. 6, an image portion that does not overlap with characters is extracted in (f) structure analysis unit of FIG. 6. In the case of image data, the position of a photograph and a figure is specified by (o) layout analysis unit in FIG. 6 and (q) photo extraction unit in FIG. At the time of display, the (w) photo display position control unit in FIG. 6 calculates an appropriate display position and magnification so that the photographs and figures are displayed in a constant aspect ratio, thereby realizing the display in FIG. . That is, in a document in which photographs and drawings are mixed, if the display is performed at a magnification with different aspect ratios such as a character area, the photographs are also undesirably elongated as shown in FIG. Therefore, as shown in FIG. 8B, only the photo portion is displayed at a fixed aspect ratio. As a result, it is possible to correctly display a photograph, a figure, or the like whose contents are difficult to convey accurately when the aspect ratio changes.
図6の(w)写真表示位置制御部は更に、写真・図などを別フィールド(レイヤー)で表示する。図9に示すように写真部分選択時には移動,リサイズつまみを表示し、任意の位置への移動,リサイズを可能にしている。また移動後も元の写真位置が分かりやすいように元の位置にモノクロ表示する。 The (w) photo display position control unit in FIG. 6 further displays the photos / drawings in another field (layer). As shown in FIG. 9, when a photograph part is selected, a move / resize knob is displayed to enable movement and resize to an arbitrary position. Also, after moving, the original photo position is displayed in monochrome so that it can be easily understood.
画面サイズが小さい、または文書自体が精細なためさらに大きな倍率でなければ十分に文字を読むことができない場合、ユーザーが操作ボード又はマウス入力によってブロック分割を指示すると、図6の(o)レイアウト解析部および図6の(q)写真抽出部が、文字,写真,表などの領域抽出により、図10に示すように画像をブロック単位に分割し、図6の(x)ブロック順序推論部が適切な順番にレイアウトしなおして、図11に示すように、適切な順番で順に表示する。これにより一方向のみのスクロールでも文書の内容を効率よく閲覧できる。もしブロックの表示順番に誤りがある場合には、ユーザーが操作ボード又はマウス入力により、任意に再生順番を変更可能である。ブロックの表示順番にしたがって連続して表示するので、2次元(x,y)表示面の一方の方向(x又はy)のみのスクロールで表示を確認できるので表示の操作性が良く、縮小倍率も高くなる(低縮小率となる)ことから文字の見易さを向上させることができる。 When the screen size is small or the document itself is fine and characters cannot be read sufficiently unless the magnification is larger, if the user instructs block division by the operation board or mouse input, (o) layout analysis in FIG. 6 and (q) the photo extraction unit in FIG. 6 divides the image into blocks as shown in FIG. 10 by extracting areas such as characters, photos, and tables, and the (x) block order inference unit in FIG. As shown in FIG. 11, the images are displayed in order in an appropriate order. As a result, the contents of the document can be browsed efficiently even by scrolling in only one direction. If there is an error in the display order of the blocks, the user can arbitrarily change the playback order by an operation board or mouse input. Since the blocks are displayed continuously according to the display order of the blocks, the display can be confirmed by scrolling only in one direction (x or y) on the two-dimensional (x, y) display surface, so the display operability is good and the reduction magnification is also high. Since it becomes higher (lower reduction ratio), it is possible to improve the legibility of characters.
上記、図6の(x)ブロック順序推論部は、順番の表示に、ブロック間のつながりが分かるように矢印マーク表示や方向表示を付加する。図11に示すように、図11の方法1では表示画面中にブロックごとに前後の関係を表すマークを表示する。例えば次矢印が右を向いていれば、次にスクロールされ表示される部分は本来右側に位置していたブロックであることを表す。前矢印も同様で、左側を向いている場合はスクロールして戻る場合は左方向のブロックを表示することを意味する。また、図11の方法2では、メイン画面とは別に全体表示ウィンドウを表示し、ブロック再生順番を表示させるとともに現在の表示位置を分かるようにする。
The (x) block order inference unit in FIG. 6 adds an arrow mark display and a direction display to the order display so that the connection between the blocks can be understood. As shown in FIG. 11, in the
図12に示すように文字ブロックの再生順番が不明な場合、あらかじめ図6の(p)OCR処理部において文字認識を行い抽出された文字情報を元に、図6の(r)文章構文解析部によりブロック同士の文書のつながりの確からしさを判定する。また、文字のレイアウトや文字の大きさの変化、および図6の(t)章,項目タイトル抽出部で抽出された章や項目タイトルなどからブロックの順番を図6の(x)ブロック順序推定部において推測する。例えば、ブロックの最後が「。」で終わった場合には、次のブロックは文章の始まり(インデント)や章や項目の始まりである可能性が高いということなどから推測する。 As shown in FIG. 12, when the reproduction order of the character blocks is unknown, (r) the sentence syntax analysis unit in FIG. 6 based on the character information extracted by performing character recognition in advance in the (p) OCR processing unit in FIG. Thus, the probability of the connection of the documents between the blocks is determined. 6 (x) block order estimation unit in FIG. 6 shows the order of blocks based on the character layout and the change in character size and the chapters and item titles extracted by the chapter (t) and item title extraction unit in FIG. Guess at. For example, if the end of a block ends with “.”, The next block is inferred from the possibility that the beginning of a sentence (indent) or the beginning of a chapter or item is highly likely.
図13に示したように1ブロックのサイズが大きく十分な表示倍率が得られない場合には、図6の(x)ブロック順序数論部および(y)文字表示位置制御部で、図13に示すように行を抽出し、行単位に分割する。その後1行を任意の位置(文字が分断されない場所)で2分割し後半を次の行へ折り返す。これにより十分な文字サイズを実現可能となる。すなわち、行を抽出し行単位に改行しイメージをレイアウトし直すことにより、文章を画面内に収まるようにし読みやすく、片方向スクロールで操作性の良い表示とする。 If the size of one block is large and sufficient display magnification cannot be obtained as shown in FIG. 13, the (x) block order number theory unit and (y) character display position control unit in FIG. Extract lines as shown and divide into lines. Then, one line is divided into two at an arbitrary position (a place where characters are not divided), and the latter half is folded to the next line. Thereby, a sufficient character size can be realized. In other words, by extracting lines, making line breaks in units of lines, and re-laying out the image, the text fits within the screen and is easy to read, and the display is easy to operate with one-way scrolling.
書画ファイルのデータがJPEGの場合、直流成分および低周波成分のみを伸張することによりヨコn/8倍・タテm/8倍の任意縦横比の文字が読みやすい縮小画像二編間する。JPEG圧縮では、8×8pixelのブロック単位で圧縮処理されている。内部ではこれを周波数成分に分解して処理される。このとき画像のおおまかな特徴は低周波成分、画像の細かな特徴は高周波成分に分離される。例えば最も低周波の成分(=直流成分)のみを伸張し取り出すと1/8倍の特徴が凝縮された画像が取得できることが知られている。 When the data of the document file is JPEG, only the DC component and the low frequency component are expanded, so that two reduced reduced images that are easy to read characters having an arbitrary aspect ratio of horizontal n / 8 times and vertical m / 8 times are read. In JPEG compression, compression processing is performed in units of 8 × 8 pixel blocks. Internally, this is decomposed into frequency components and processed. At this time, the rough features of the image are separated into low-frequency components, and the fine features of the image are separated into high-frequency components. For example, it is known that if only the lowest frequency component (= DC component) is expanded and extracted, an image in which features of 1/8 times are condensed can be acquired.
これを応用して、図6の(g)文字/背景分離部では、図5にやや詳細に示すように、JPEGデータの場合には、表示サイズを判定して、任意の縦横比の縮小画像(例えば横1/8倍、縦2/8倍の画像)として画像を展開し表示する。これにより、JPEG伸張の演算数を大幅に減らすことができるため高速に目的の縮小倍率の画像を展開できる。通常ならば、JPEGを元の大きさに伸張した後にスムージング縮小しなければならないが、JPEG画像伸張時に処理すれば直接縮小画像が取得できるだけでなくJPEG伸張の演算時間を大幅に削減できる。また、JPEGのDCT変換により周波数成分に分解された特徴を利用するため、画像の特徴を捉えており、スムージング縮小したような高品質な画像が得られる。読みやすい文字をよりたやすく表示できる。一表示例を図14に示す。 By applying this, the character / background separation unit in FIG. 6 determines the display size in the case of JPEG data as shown in FIG. 5 in some detail, and reduces the image with an arbitrary aspect ratio. The image is developed and displayed as (for example, an image of 1/8 horizontal and 2/8 vertical). As a result, the number of operations for JPEG decompression can be greatly reduced, so that an image with a desired reduction magnification can be developed at high speed. Normally, smoothing reduction must be performed after JPEG is expanded to its original size, but if it is processed at the time of JPEG image expansion, it is possible not only to obtain a reduced image directly but also to greatly reduce the calculation time of JPEG expansion. In addition, since the feature decomposed into frequency components by JPEG DCT conversion is used, the feature of the image is captured, and a high-quality image that is smoothed and reduced can be obtained. Easy-to-read characters can be displayed more easily. One display example is shown in FIG.
JPEG2000の場合も同様であり、JPEG2000では元々任意解像度の画像を簡単に取得できるようにタイリング処理されている。これを利用して、横方向の処理タイリング数と縦方向の処理タイリング数を制御することにより任意の縦横比の高画質な縮小画像を高速に取得する。 The same applies to the case of JPEG 2000. In JPEG 2000, tiling processing is originally performed so that an image with an arbitrary resolution can be easily acquired. By utilizing this, the number of processing tiles in the horizontal direction and the number of process tiles in the vertical direction are controlled to obtain a high-quality reduced image having an arbitrary aspect ratio at high speed.
図6の(z)表示制御部において最大表示サイズを求め、図6の(v)変倍処理部で片方向のみの変倍処理を行い表示させる。図7がその一例であり、縦横比固定縮小では文字が小さくなりすぎで読みにくいが、片方向にのみ縮小することにより文字の読み易さを保ちつつ画面サイズに合わせて縮小できることがわかる。 The maximum display size is obtained in the display control unit (z) in FIG. 6, and the magnification processing unit (v) in FIG. FIG. 7 shows an example, and it can be seen that, with fixed aspect ratio reduction, characters become too small and difficult to read, but by reducing in only one direction, the characters can be reduced according to the screen size while maintaining readability.
なお、上述の実施形態は、パソコンPCにて実施してパソコンのディスプレイに表示する画像サイズを制御するものであるが、本発明は、他の機器、たとえば操作ボード,操作端末,携帯端末,2次元ディスプレイ付きの携帯電話など、文書および画像など書画を画面表示する2次元表示装置例えばCRT,液晶ディスプレイ,プラズマディスプレイ,LED面配列ディスプレイ,ELディスプレイ、に書画を表示する機器に同様に実施できる。 Although the above-described embodiment is implemented by a personal computer PC and controls the image size displayed on the display of the personal computer, the present invention can be applied to other devices such as operation boards, operation terminals, portable terminals, 2 The present invention can be similarly applied to a device that displays a document on a two-dimensional display device such as a CRT, a liquid crystal display, a plasma display, an LED surface array display, and an EL display, such as a cellular phone with a three-dimensional display.
Claims (13)
イメージデータは、それが表わす書画を文字/背景分離またはレイアウト解析処理により、文字領域とそれ以外の背景に分離し、さらに文字領域にはOCR処理または文字矩形解析処理を行なうことにより1文字のサイズを計測し、その文字サイズから表示倍率を自動計算し、前記イメージデータが表す画像の前記2次元表示面の2次元方向の少なくとも一方の方向を、前記表示倍率で変倍処理し、
背景/写真部分,文字部分が分離されて保存された画像ファイルは、文字部分/写真部分を判別し、さらに文字部分にはOCR処理または文字矩形解析処理を行なうことにより1文字のサイズを計測し、その文字サイズから表示倍率を自動計算して、前記画像ファイルのデータが表す画像の前記2次元表示面の2次元方向の少なくとも一方の方向を、前記表示倍率で変倍処理する、
表示データの変倍方法。 In displaying the image represented by the document information on the two-dimensional display surface,
The image data is separated into a character area and other background by character / background separation or layout analysis processing, and the character data is subjected to OCR processing or character rectangle analysis processing for the size of one character. , And automatically calculating a display magnification from the character size, scaling at least one direction of the two-dimensional direction of the two-dimensional display surface of the image represented by the image data with the display magnification,
The image file in which the background / photo part and the character part are separated and stored is distinguished from the character part / photo part, and the character part is subjected to OCR processing or character rectangle analysis processing to measure the size of one character. The display magnification is automatically calculated from the character size, and at least one direction of the two-dimensional direction of the two-dimensional display surface of the image represented by the data of the image file is scaled at the display magnification.
A scaling method for display data.
A storage medium on which the program according to claim 12 is recorded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005052889A JP2006238289A (en) | 2005-02-28 | 2005-02-28 | Method of magnifying display data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005052889A JP2006238289A (en) | 2005-02-28 | 2005-02-28 | Method of magnifying display data |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006238289A true JP2006238289A (en) | 2006-09-07 |
Family
ID=37045417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005052889A Pending JP2006238289A (en) | 2005-02-28 | 2005-02-28 | Method of magnifying display data |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006238289A (en) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008191481A (en) * | 2007-02-06 | 2008-08-21 | Fujitsu Ltd | Display device, input display device, display program, and input display program |
JP2009065640A (en) * | 2007-08-10 | 2009-03-26 | Sharp Corp | Image forming device, image formation method, image formation program, and computer-readable recording medium with recording image forming program stored |
JP2009251915A (en) * | 2008-04-04 | 2009-10-29 | Canon Inc | Document processing apparatus and document processing method |
JP2010074292A (en) * | 2008-09-16 | 2010-04-02 | Fuji Xerox Co Ltd | Image processor, image display system, and program |
CN101867684A (en) * | 2009-04-07 | 2010-10-20 | 夏普株式会社 | Image processing apparatus, image processing system, image processing apparatus control method |
JP2010261975A (en) * | 2009-04-28 | 2010-11-18 | Casio Computer Co Ltd | Image display, server device, and program |
JP2011186754A (en) * | 2010-03-08 | 2011-09-22 | Sharp Corp | Display data generating device, display data generating system, display data generating method, program, and recording medium |
US8068239B2 (en) | 2007-08-03 | 2011-11-29 | Canon Kabushiki Kaisha | Image forming apparatus with adaptive automatic layout function |
CN102782707A (en) * | 2010-03-11 | 2012-11-14 | 微软公司 | Resolution adjustment of an image that includes text undergoing an OCR process |
US8910038B2 (en) | 2008-04-04 | 2014-12-09 | Canon Kabushiki Kaisha | Apparatus and method for image separation, layout, and templating |
JP2015166813A (en) * | 2014-03-04 | 2015-09-24 | シャープ株式会社 | Image forming apparatus, image forming system, and image forming method |
JP2017107290A (en) * | 2015-12-07 | 2017-06-15 | コニカミノルタ株式会社 | Display system, display terminal, display method, and display program |
JP2017211644A (en) * | 2016-05-20 | 2017-11-30 | 株式会社半導体エネルギー研究所 | Circuit, display system, and electronic device |
JP2019078842A (en) * | 2017-10-23 | 2019-05-23 | 富士ゼロックス株式会社 | Information processing apparatus and program |
US11907023B2 (en) | 2021-04-23 | 2024-02-20 | Ricoh Company, Ltd. | Information processing system, information processing apparatus, terminal device, and display method |
-
2005
- 2005-02-28 JP JP2005052889A patent/JP2006238289A/en active Pending
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008191481A (en) * | 2007-02-06 | 2008-08-21 | Fujitsu Ltd | Display device, input display device, display program, and input display program |
US8068239B2 (en) | 2007-08-03 | 2011-11-29 | Canon Kabushiki Kaisha | Image forming apparatus with adaptive automatic layout function |
JP2009065640A (en) * | 2007-08-10 | 2009-03-26 | Sharp Corp | Image forming device, image formation method, image formation program, and computer-readable recording medium with recording image forming program stored |
JP2009251915A (en) * | 2008-04-04 | 2009-10-29 | Canon Inc | Document processing apparatus and document processing method |
US8910038B2 (en) | 2008-04-04 | 2014-12-09 | Canon Kabushiki Kaisha | Apparatus and method for image separation, layout, and templating |
JP2010074292A (en) * | 2008-09-16 | 2010-04-02 | Fuji Xerox Co Ltd | Image processor, image display system, and program |
US8279237B2 (en) | 2008-09-16 | 2012-10-02 | Fuji Xerox Co., Ltd. | Image processing device, image display system, image processing method and program storage medium |
CN101867684A (en) * | 2009-04-07 | 2010-10-20 | 夏普株式会社 | Image processing apparatus, image processing system, image processing apparatus control method |
JP2010261975A (en) * | 2009-04-28 | 2010-11-18 | Casio Computer Co Ltd | Image display, server device, and program |
JP2011186754A (en) * | 2010-03-08 | 2011-09-22 | Sharp Corp | Display data generating device, display data generating system, display data generating method, program, and recording medium |
CN102782707A (en) * | 2010-03-11 | 2012-11-14 | 微软公司 | Resolution adjustment of an image that includes text undergoing an OCR process |
JP2015166813A (en) * | 2014-03-04 | 2015-09-24 | シャープ株式会社 | Image forming apparatus, image forming system, and image forming method |
JP2017107290A (en) * | 2015-12-07 | 2017-06-15 | コニカミノルタ株式会社 | Display system, display terminal, display method, and display program |
JP2017211644A (en) * | 2016-05-20 | 2017-11-30 | 株式会社半導体エネルギー研究所 | Circuit, display system, and electronic device |
JP7109887B2 (en) | 2016-05-20 | 2022-08-01 | 株式会社半導体エネルギー研究所 | display system |
JP2019078842A (en) * | 2017-10-23 | 2019-05-23 | 富士ゼロックス株式会社 | Information processing apparatus and program |
JP7047325B2 (en) | 2017-10-23 | 2022-04-05 | 富士フイルムビジネスイノベーション株式会社 | Information processing equipment and programs |
US11907023B2 (en) | 2021-04-23 | 2024-02-20 | Ricoh Company, Ltd. | Information processing system, information processing apparatus, terminal device, and display method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006238289A (en) | Method of magnifying display data | |
US8542953B2 (en) | Image processing apparatus and image processing method | |
JP7034730B2 (en) | Devices, methods, and programs for setting information related to scanned images | |
CN110536040B (en) | Image processing apparatus for performing multi-cropping processing, method of generating image, and medium | |
US9723177B2 (en) | Image processing system, image processing apparatus, and image forming apparatus | |
US20060187475A1 (en) | Image processing system and image processing apparatus | |
JP5972578B2 (en) | Image processing apparatus, image forming apparatus, program, and recording medium | |
JP2008193682A (en) | Image processor, and image processing method | |
US8724165B2 (en) | Image data generating device, image data generating method, and computer-readable storage medium for generating monochrome image data and color image data | |
EP2403228B1 (en) | Image scanning apparatus, computer readable medium, and image storing method | |
JP2011019179A (en) | Image processing apparatus, image processing method and program | |
JP2008288912A (en) | Image processor and image forming apparatus | |
US8064652B2 (en) | Image processing apparatus and control method for printing image sized according to determined face area | |
JP2009296150A (en) | Image processor, image conversion method and computer program | |
JP2007282215A (en) | Apparatus and method for image processing | |
JP2011135320A (en) | Image processing method, image processing apparatus, and program | |
US20060274390A1 (en) | Image processing device, image processing method, and image processing program product allowing reproduction of information lost in printing | |
JP4710672B2 (en) | Character color discrimination device, character color discrimination method, and computer program | |
JP2013077933A (en) | Image processing device | |
JP7063063B2 (en) | Programs and information processing equipment for information processing equipment | |
JP2007194713A (en) | Image processing apparatus, system, and method, and program | |
JP2011077669A (en) | Document reader with preview function | |
JP4467019B2 (en) | Image processing device | |
JP6560942B2 (en) | Image forming apparatus, control method therefor, and control program | |
JPH11224259A (en) | Processor and method for image processing and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090304 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090330 |