JP2001216292A

JP2001216292A - レイアウト画像編集装置及びレイアウト画像編集方法

Info

Publication number: JP2001216292A
Application number: JP2000022653A
Authority: JP
Inventors: Katsumi Kato; 克己加藤; Yoshiaki Kurosawa; 由明黒沢
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-01-31
Filing date: 2000-01-31
Publication date: 2001-08-10

Abstract

(57)【要約】【課題】本発明は、レイアウト認識技術により得られた
レイアウト構成要素に関する情報に基づき、文章領域の
拡大縮小を行なう際に、ユーザの指示に従い任意のサイ
ズ変更を可能にして、編集作業が円滑に効率よく行え
る、柔軟な文書作成を可能にしたレイアウト画像編集装
置及びレイアウト画像編集方法を提供することを課題と
する。【解決手段】表示管理部１４は、レイアウト解析部１
３より得られるレイアウト情報と文書画像データとをも
とに、文字列の編集操作が可能で、かつ文章ブロックを
任意に拡大縮小できる編集用の表示画像データを生成す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、レイアウト認識技
術を利用した、例えば、デジタル複写機、文書情報を扱
うコンピュータシステム等に適用して好適なレイアウト
画像編集装置及びレイアウト画像編集方法に関する。

【０００２】また本発明は、文書が記録された紙面上を
スキャナ等により走査して得た文書画像データを入力
し、その内容を表示画面上で編集可能にオペレータに提
示する機能を備えたシステムに適用して好適なレイアウ
ト画像編集装置及びレイアウト画像編集方法に関する。

【０００３】

【従来の技術】紙面上の各種文書を画像データとして電
子化することにより、従来、複数の紙面上の文書を切り
貼りして新しい文書を作成していた編集作業を、コンピ
ュータ上で容易に行うことのできるようにした紙文書の
編集技術が種々開発されている。

【０００４】この際の編集機能の一つとして、レイアウ
トの変更に伴い、文章部分の領域サイズを拡大縮小する
編集作業に関して様々な試みがなされている。

【０００５】前処理として画像認識技術等を適用しない
場合には、画像中の文章部分を利用者が自分で領域選択
を行ない、かつサイズ指定することによって、画素単位
での画像の拡大／縮小処理が行なわれていた。この際、
画素の拡大縮小に伴う画像の劣化を軽減するために、平
滑化などの画像補正処理が行なわれる場合もある。

【０００６】しかしながら、このように文書画像を一般
の画像データとして編集操作する場合、文章部分に相当
する領域を正確に指定し選択するには微妙な操作が必要
であり、ユーザにかかる操作負担が大きいという問題が
生じる。このため前処理として画像認識技術等を用い、
ユーザ操作を省力化することが求められていた。

【０００７】文書画像に画像認識技術等の前処理を施す
場合には、まずレイアウト認識技術により文書のレイア
ウト構成要素を抽出し、文章と判定される部分があれ
ば、更に文字認識技術により文章部分が文字コード化さ
れ、コード化された文字情報に対して、文字サイズの変
更や、行間、文間変更等の編集操作を行なうことによっ
て、拡大縮小機能が実現される。

【０００８】しかしながら、現状の文字認識技術に於い
ては、文字を誤認識する可能性を含み、しかも一般的な
文書画像中に含まれる文字数が非常に多いことから、誤
認識した部分を必ずしもユーザが発見できるとは限ら
ず、従って文章内容を大幅に書き変える様な場合を除い
て、文字認識まで行なうことは不要であり、レイアウト
構成要素の抽出まで行なえば十分と考えられる。

【０００９】文字認識までは行なわずに、レイアウト認
識技術で文書画像のレイアウト構成要素を抽出した段階
の文書画像に対し、特開平６−１８７３３３「文書作成
装置」のように、指定したレイアウトフォーマット用に
予め設定された文字サイズに抽出した構成要素部分の画
像サイズを変更したり、特開平３−１２２７７３「画像
形成装置」のように、指定した貼り込み先の領域の状態
に合わせて、文章領域の画像を整形して貼り付ける事例
も存在した。しかしながら、これらの事例では予め決め
られたフォーマットに合わせて、貼り付ける画像を整形
するに止まるもので、文章領域の画像を貼り付けた後
に、ユーザが任意に、サイズを指定して、試行錯誤しな
がら拡大縮小指定する等の編集作業を行うことはでき
ず、従って編集作業の面で柔軟性に欠けるという問題が
あった。

【００１０】

【発明が解決しようとする課題】上述したように従来で
は、レイアウト認識技術で文書画像のレイアウト構成要
素を抽出した段階の文書画像に対し、文章領域の画像を
貼り付けた後に、ユーザが任意にサイズを指定して試行
錯誤しながら拡大縮小指定する等の編集作業を行うこと
ができず、従って編集作業の面で柔軟性に欠けるという
問題があった。

【００１１】本発明は上記実情に鑑みなされたもので、
レイアウト認識技術により得られたレイアウト構成要素
に関する情報に基づき、文章領域の拡大縮小を行なう際
に、ユーザの指示に従い任意のサイズ変更を可能にし
て、編集作業が円滑に効率よく行える、柔軟な文書作成
を可能にしたレイアウト画像編集装置及びレイアウト画
像編集方法を提供することを目的とする。

【００１２】また本発明は、オペレータの指示に従い文
書画像中に含まれる文章領域のサイズ変更を行なう際
に、レイアウト認識技術によるレイアウト情報を有効に
用いて、指定サイズに応じた画質劣化の少ない文書画像
を生成できるレイアウト画像編集装置及びレイアウト画
像編集方法を提供することを目的とする。

【００１３】また本発明は、紙面上を走査して得た文書
画像に対しても、ワードプロセッサと同様の既存文書へ
の文字列の編集操作が可能となるレイアウト画像編集装
置及びレイアウト画像編集方法を提供することを目的と
する。

【００１４】

【課題を解決するための手段】本発明は、紙文書を文書
画像データとして入力する画像入力部、あるいは既に入
力済みの文書画像データを格納しておく画像記録部と、
上記画像入力部あるいは画像記録部より得られる画像デ
ータのレイアウトを解析するレイアウト解析部と、レイ
アウト情報と文書画像データから表示用データを生成す
る表示管理部と、この表示管理部で生成された画像デー
タに従う画像を領域指定可能に表示する表示部と、ユー
ザ入力を受け付ける入力部と、ユーザの指示に基づいて
レイアウト情報および画像を更新する画像処理部とを具
備してなるレイアウト画像編集機能を備えたシステムに
於いて、ユーザ操作に従い文章部分の任意のサイズ変更
を可能とするものである。

【００１５】このサイズ変更機能として、この発明で
は、複数段組で構成された文章部分のサイズ変更機能、
領域変更指示に合わせて文字画像を再配置するサイズ変
更機能、及び文字列操作指示に合わせた文字画像に更新
するサイズ変更機能を実現する。

【００１６】上記文書画像データに於いて、複数段組で
構成された文章部分を選択し、その部分のサイズ変更を
行なう場合は、ユーザにより指示された変更すべきサイ
ズに基づいて、行間、文字間距離に加え、段組間距離を
調整しつつ、ビットマップ画像からなる文字画像のサイ
ズを拡大縮小することによって、文字画像の品質を保持
したサイズ変更処理を可能にする。

【００１７】また、上記文書画像データに於いて、文章
部分を選択し、その領域サイズの変更を行なう場合は、
選択された文章領域に関するレイアウト情報（行間、文
字間距離等）を用いて、指定サイズに応じ一行辺りの文
字数を計算することにより、選択領域中の文字画像を再
配置することが可能となる。

【００１８】また、上記文書画像データに於いて、文章
部分を選択し、文字列操作を行なう場合は、選択された
文章領域に関するレイアウト情報を利用することによっ
て、入力された文字列操作指示に合わせた文字画像に更
新することが可能となる。

【００１９】即ち、本発明は、文書が記録された紙面上
を走査して得た文書画像データのレイアウトを解析する
レイアウト解析部と、上記レイアウト解析部より得られ
るレイアウト情報と上記文書画像データから表示用デー
タを生成する表示管理部と、上記表示管理部で生成され
た表示用データを表示する表示部と、ユーザ入力の受け
付けを行う操作入力部と、上記操作入力部より上記文書
画像データ中の複数段組で構成された文章部分の画像サ
イズ変更指示が入力された際に上記入力された変更サイ
ズ情報に基づいて文章部分のビットマップ画像を拡大縮
小処理する処理手段とを備えてなるレイアウト画像編集
装置であって、上記処理手段に、上記入力されたサイズ
情報に基づき上記文章部分のビットマップ画像を拡大縮
小処理する際、行間、文字間に加え、段組間距離を調整
して、上記文章部分の画像サイズを上記指示入力に従い
可変する手段を有し、当該手段により文章部の画像サイ
ズを任意に変更可能にしたことを特徴とする。

【００２０】また、本発明は、文書が記録された紙面上
を走査して得た文書画像データのレイアウトを解析する
レイアウト解析部と、上記レイアウト解析部より得られ
るレイアウト情報と上記文書画像データから表示用デー
タを生成する表示管理部と、上記表示管理部で生成され
た表示用データを表示する表示部と、ユーザ入力の受け
付けを行う操作入力部とを備えてなるレイアウト画像編
集装置に於いて、上記操作入力部の操作入力により上記
表示部に表示された編集対象となる文書画像から文章部
分の領域サイズが指定された際に、当該指定領域のレイ
アウト情報に基づき、指定領域サイズに応じた文字位置
に文字画像を再配置する手段と、上記再配置に伴いレイ
アウト情報を更新する手段とを有し、レイアウト構成要
素の文章部分の画像をユーザの指示に従い任意の領域サ
イズへ変更可能にしたことを特徴とする。

【００２１】また本発明は、文書が記録された紙面上を
走査して得た文書画像データのレイアウトを解析するレ
イアウト解析部と、上記レイアウト解析部より得られる
レイアウト情報と上記文書画像データから表示用データ
を生成する表示管理部と、上記表示管理部で生成された
表示用データを表示する表示部と、ユーザ入力の受け付
けを行う操作入力部とを備えてなるレイアウト画像編集
装置に於いて、操作入力部から入力される文字列操作指
示と、編集対象となる文章領域のレイアウト情報とに基
づき、文字画像を再配置する手段と、上記再配置に従い
該当するレイアウト情報を更新する手段とを有して、レ
イアウト構成要素の文章部分の画像をユーザ入力に従い
任意に文字列編集可能にしたことを特徴とする。

【００２２】また本発明は、紙面に記録された情報を取
り込んで編集処理するレイアウト画像編集方法であっ
て、文書が記録された紙面上を走査して得た文書画像か
ら、複数段組で構成された文章部分の画像サイズ変更が
指示されたとき、上記指示されたサイズ情報に従い上記
文章部分のビットマップ画像を拡大縮小する際に、上記
文章部分の行間、文字間に加え段組間の各距離を調整し
て、画像サイズを変更することにより、レイアウト構成
要素の文章部分の画像をユーザの指示に従い任意の領域
サイズへ変更可能にしたことを特徴とする。

【００２３】また本発明は、紙面に記録された情報を取
り込んで編集処理するレイアウト画像編集方法であっ
て、文書が記録された紙面上を走査して得た文書画像デ
ータのレイアウトを解析してレイアウト情報を取得し当
該レイアウト情報を保持して、ユーザの操作入力により
編集対象となる文書画像から文章部分の領域サイズが指
定された際に、当該指定領域のレイアウト情報を用いて
指定領域サイズに応じた文字位置に文字画像を再配置
し、当該再配置に伴いレイアウト情報を更新して、レイ
アウト構成要素の文章部分の画像をユーザの指示に従い
任意の領域サイズへ変更可能にしたことを特徴とする。

【００２４】また本発明は、紙面に記録された情報を取
り込んで編集処理するレイアウト画像編集方法であっ
て、文書が記録された紙面上を走査して得た文書画像デ
ータのレイアウトを解析してレイアウト情報を取得し当
該レイアウト情報を保持して、ユーザの操作入力により
文字列操作が指示された際に、編集対象となる文章領域
のレイアウト情報を用いて文字画像を再配置し、当該再
配置に伴い該当するレイアウト情報を更新して、レイア
ウト構成要素の文章部分の画像をユーザ入力に従い任意
に文字列編集可能にしたことを特徴とする。

【００２５】上記したような本発明の編集機能をもつこ
とにより、レイアウト認識技術により得られたレイアウ
ト構成要素に関する情報に基づき、文章領域の拡大縮小
を行なう際に、ユーザの指示に従う任意のサイズ変更を
可能にして、編集作業を円滑に効率よく行うことができ
るとともに柔軟な文書作成が可能となる。また、オペレ
ータの指示に従い文書画像中に含まれる文章領域のサイ
ズ変更を行なう際に、レイアウト認識技術によるレイア
ウト情報を有効に用いて、指定サイズに応じた画質劣化
の少ない文書画像を生成できる。また、紙面上を走査し
て得た文書画像に対しても、ワードプロセッサと同様の
既存文書への文字列の編集操作が可能となる。

【００２６】

【発明の実施の形態】以下、図面を参照して本発明の一
実施形態を説明する。

【００２７】図１は本発明の実施形態によるレイアウト
画像編集装置の構成を示すブロック図である。

【００２８】図に於いて、１１は紙面（Ｐ）上の文書画
像を入力する画像入力部であり、例えば図２に示すよう
な、文章、図等を含む各種の文書が記録された紙面
（Ｐ）上を走査して、紙面（Ｐ）上の文書画像を読み込
み、文書画像データとして出力する。１２は上記したよ
うな文書画像を保存し編集対象となる文書画像データを
出力する画像記録部である。

【００２９】１３は文書画像データのレイアウトを解析
するレイアウト解析部であり、上記画像入力部１１ある
いは画像記録部１２より出力された編集対象となる文書
画像データのレイアウトを解析する。この解析されたレ
イアウト情報は文書画像データと対応付けされて図示し
ない記憶装置に記憶され、後述する編集処理に用いられ
る。

【００３０】１４は編集対象となる表示用データを生成
する表示管理部であり、上記レイアウト解析部１３より
得られるレイアウト情報と上記文書画像データとをもと
にレイアウト画像編集のための表示用画像データを生成
し、操作入力部１６の入力指示に従い画像の編集処理を
実行する。

【００３１】１５は上記表示管理部１４で生成された表
示用データを表示出力する表示部であり、１６はユーザ
入力の受け付けを行う操作入力部である。

【００３２】上記構成に於いて、画像入力部１１または
画像記録部１２より出力された編集対象となる文書画像
データはレイアウト解析部１３に入力され、レイアウト
解析されて、編集操作に必要なレイアウト情報が生成さ
れる。

【００３３】ここで、レイアウト解析とは、文書画像デ
ータの中から、タイトル部分や文章の段落、図や表な
ど、一纏まりの構成要素として見做せる単位で抽出し、
その位置やサイズを求めるとともに、各構成要素の種類
を認識し、更に関連する情報を抽出することを言う。構
成要素が文章部分であれば、各行の位置や長さ、高さ、
行に含まれる文字単位の位置、大きさなども含む。構成
要素が表であれば、行や列の数、各欄の位置やサイズか
らなり、欄の内容が文字列であれば、文章部分と同様に
文字単位の位置、大きさの抽出を行なう。この際の編集
対象となる文書の原画像（文書画像データ）とレイアウ
ト情報とをもとに生成された文書の表示例を図２に示
し、レイアウト情報の例を図３に示している。

【００３４】図２は上記実施形態に於いて、文書の原画
像（文書画像データ）とレイアウト情報とをもとに生成
した編集対象となる文書画像の表示例を示したもので、
図中、２１〜２６は、レイアウト解析により得られた文
書画像２０の構成要素である。

【００３５】上記構成要素のうち、２１は文書のタイト
ル、２２，２３は本文の文章部分、２４は表、２５，２
６は図である。尚、上記各構成要素の領域範囲を示す矩
形はユーザが不要と判断して指示すれば表示しなくても
よい。また、文章部分については、行２７や文字単位２
８の範囲領域を追加表示してもよい。

【００３６】図３は上記実施形態に於けるレイアウト情
報の一例を示したもので、図中、「ｂｌｏｃｋ＿ｉｄ」
は文書データ上でのブロックの通し番号、「ｂｌｏｃｋ
＿ｔｙｐｅ」はブロックの種類（文章、表、図等、及び
縦書き、横書き等）、「ｂｌｏｃｋ＿ｐｏｓ（ｘ，
ｙ）」はブロックの領域の起点（左上の座標）、「ｂｌ
ｏｃｋ＿ｓｉｚｅ（ｘ，ｙ）」はブロックの領域のサイ
ズ（左上の座標）、「ｔｘｔ＿ｉｄ」は文章部分の通し
番号、「ｌｉｎｅ＿ｎｕｍ」は文章部分の行の数、「ｌ
ｉｎｅ＿ｉｄ（＝１）」は行の通し番号、「ｌｉｎｅ＿
ｐｏｓ（ｘ，ｙ）」は行の位置、「ｌｉｎｅ＿ｓｉｚｅ
（ｘ，ｙ）」は行のサイズ、「ｃｈａｒ＿ｎｕｍ」は行
に含まれる文字数、「ｃｈａｒ＿ｉｄ」は文字の通し番
号、「ｃｈａｒ＿ｐｏｓ（ｘ，ｙ）」は文字の位置、
「ｃｈａｒ＿ｓｉｚｅ（ｘ，ｙ）」は文字のサイズであ
る。

【００３７】ここでは各レイアウト項目につき、共通部
分のデータ３１があり、更にレイアウト項目（ブロッ
ク）の種類に固有のデータが続く。この図３に示す例で
は、レイアウト項目の内容が文章（文章部３２）と表
（表部３３）である場合について示している。また、文
章部分が複数段から構成される場合のレイアウト情報例
を図６に示している。

【００３８】上記図２に示すような編集対象となる文書
画像が表示部１５に表示され、その表示された画面に基
づいて、レイアウト構成要素のサイズ変更を行ないたい
場合は、ユーザが操作入力部１６から変更したい構成要
素を指定し、希望サイズを入力することにより、表示管
理部１４が上記入力内容に従う指定サイズの画像にサイ
ズ変更を行なう。

【００３９】図４は上記実施形態に於いて、文章ブロッ
クが選択されてサイズ変更が指示された際の基本的な処
理の流れを示すフローチャートである。

【００４０】図５は上記実施形態に於いて、複数段から
なる文章ブロックをサイズ変更する際の操作例を示す図
である。

【００４１】図６は上記実施形態に於いて、図５に示す
ような複数段組構成の文章を一つの文章ブロックとして
扱う場合のレイアウト情報を示す図である。図中、「ｂ
ｌｏｃｋ＿ｉｄ」は文書データでのブロックの通し番
号、「ｂｌｏｃｋ＿ｔｙｐｅ」はブロックの種類（文
章、表、図等、及び縦書き、横書き等）、「ｂｌｏｃｋ
＿ｐｏｓ（ｘ，ｙ）」はブロックの領域の起点（左上の
座標）、「ｂｌｏｃｋ＿ｓｉｚｅ（ｘ，ｙ）」はブロッ
クの領域のサイズ、「ｔｘｔ＿ｉｄ」は文章ブロックの
通し番号、「ｄａｎ＿ｎｕｍ」はブロックに含まれる段
の数、「ｄａｎ＿ｉｄ（＝１）」はブロックに含まれる
段の通し番号、「ｌｉｎｅ＿ｎｕｍ」はｄａｎ＿ｉｄで
示される段に含まれる行の数、「ｌｉｎｅ＿ｉｄ（＝
１）」は行の通し番号、「ｌｉｎｅ＿ｐｏｓ（ｘ，
ｙ）」は行の起点位置（領域の左上の座標）、「ｌｉｎ
ｅ＿ｓｉｚｅ（ｘ，ｙ）」は行のサイズ、「ｃｈａｒ＿
ｎｕｍ」は行に含まれる文字数、「ｃｈａｒ＿ｉｄ」は
文字の通し番号、「ｃｈａｒ＿ｐｏｓ（ｘ，ｙ）」は文
字の起点位置、「ｃｈａｒ＿ｓｉｚｅ（ｘ，ｙ）」は文
字のサイズである。

【００４２】図７乃至図９はそれぞれ上記実施形態に於
ける、文章ブロックの領域サイズ変更処理手順を示すフ
ローチャートであり、ここでは、文章ブロックが選択さ
れ、領域サイズ変更が指示された際に、その文章ブロッ
クの行間、文字間距離を保ったまま文字画像を再配置す
ることにより、指定された領域サイズに合った画像を生
成する処理の流れを示している。

【００４３】図１０乃至図１２はそれぞれ上記実施形態
に於ける、文章ブロックの文字列操作処理手順を示すフ
ローチャートであり、操作入力部１６から入力された文
字列操作内容に基づき文書画像を加工する。ここで、文
字列操作とは、一般的な文章編集を指し、具体的には一
文字を含む文字列の追加、削除、改行位置の変更などを
指す。尚、図１２に示す文字の削除処理は説明の便宜
上、一文字単位の削除例のみを例にとって示している
が、例えば指定範囲の文字列単位等、複数文字を含めた
文字単位で処理してもよい。

【００４４】ここで上記各図を参照して本発明の実施形
態に於ける動作を説明する。

【００４５】先ず、文章ブロックが選択されてサイズ変
更が指示された際の処理について図１乃至図６を参照し
て説明する。

【００４６】このサイズ変更処理では、編集対象として
表示された文書画像から、複数段組で構成された文章部
分の画像サイズ変更が指示されたとき、指示されたサイ
ズ情報に従い上記文章部分のビットマップ画像を拡大縮
小する際に、上記文章部分の行間、文字間に加え、段組
間の各距離を調整して、画像サイズを変更する。

【００４７】表示部１５に表示された編集対象となる文
書画像からサイズ変更の処理対象となる文章ブロックが
操作入力部１６の操作指示により選択されることによ
り、図４に示す処理手順に従うサイズ変更処理が実行さ
れる。

【００４８】ここでは、先ず、上記選択された文章ブロ
ックの行情報を取り出し、その行の太さ（横書きであれ
ば行の高さ、縦書きであれば行の幅）を合計する（図４
ステップＳ１１）。これは、行間距離を「０」としたと
きの、文章ブロックの行に垂直方向のサイズに相当す
る。

【００４９】次に、各行の行方向の文字サイズ（横書き
であれば文字幅、縦書きであれば文字の高さ）を合計
し、最大値を求める（図４ステップＳ１２）。これは、
文字間距離を「０」としたときの、文章ブロックの行方
向サイズに相当する。

【００５０】この二つのサイズは、文字画像を行間、文
字間距離「０」で詰めて並べた場合のサイズであり、行
間、文字間を調整するだけではこれ以上サイズを小さく
することはできない。このサイズを以後、ブロックの基
本サイズと呼ぶ。

【００５１】次に、ブロックの基本サイズに対し、ユー
ザが指定したサイズの比の値を求める（図４ステップＳ
１３）。

【００５２】このサイズの比の値を「１」と比較し、基
本サイズ側を基準とした場合に、比の値が「１」より大
きくなれば拡大となり、「１」より小さくなれば縮小と
なる（図４ステップＳ１４）。この比の値は、縦横両方
について計算する。

【００５３】本発明に於いては、拡大縮小による画質の
劣化を抑えるため、画素単位の拡大縮小は必要な場合に
のみ行なうものとし、拡大縮小する場合にも整数倍拡
大、整数倍縮小に限定することを特徴とする。

【００５４】したがって、ここで得られた比の値が
「１」より大きければ、それを越えない最大の整数
（例：比の値が２．６であれば、「２」）にし（図４ス
テップＳ１５）、「１」より小さい場合は、それを越え
ない整数の逆数（例：比の値が「０．４２」であれば、
「１／３」）に比の値を置き換えて（図４ステップＳ１
６）、画像の拡大縮小に用いる。

【００５５】この二つの比の値により、文字画像を拡大
するか、縮小するか、あるいは拡大縮小を行わない、と
いった判別が行なわれる（図４ステップＳ１７）。

【００５６】ここで縦横方向共に「１」より大きければ
拡大し（図４ステップＳ１８）、一方のみでも「１」よ
り小さければ縮小する（図４ステップＳ１９）。それ以
外の、両方とも「１」、あるいは一方が「１」で他方が
「１」より大な場合は、サイズ変更は行なわない（図４
ステップＳ２０）。

【００５７】画素を定数倍拡大する場合、画像にジャギ
ーが目立つことが考えられるので、平滑化処理を行なっ
てスムージングしてもよい（図４ステップＳ２１）。

【００５８】画像の拡大縮小処理により得られた画像に
関して、基本サイズ（行間、文字間距離を「０」とした
ブロックサイズ）を求め、ユーザの指定サイズと比較す
る（図４ステップＳ２２）。このとき、拡大縮小処理は
指定サイズよりも小さめに行なっているはずなので、必
ず指定サイズの方が大きいはずである。

【００５９】そこで、基本サイズと指定サイズの差に合
わせて、行間、文字間距離を設定して文字画像を配置す
れば、指定サイズに合わせた文章ブロックを生成するこ
とができる。

【００６０】具体的には、行方向のサイズ差は文字間距
離により調整するので、指示された文章ブロック中の行
から最も文字数の多い行を探し、その文字数から「１」
を引いた数で割れば、サイズに合った平均文字間距離が
得られる（図４ステップＳ２３）。

【００６１】同様に、行に垂直方向のサイズ差は行間距
離により調整するので、行数から「１」を引いた数で割
れば、サイズに合った平均行間距離が得られる（図４ス
テップＳ２４）。

【００６２】この得られた文字間、行間距離に合わせて
文字画像を再配置することによって、指定されたサイズ
に合わせた文章ブロックの画像を生成することができる
（図４ステップＳ２５）。

【００６３】上記した例では、指定サイズが基本サイズ
のほぼ定数倍であった場合、行間距離、文字間距離が
「０」に近くなり、文章として非常に読み難くなってし
まう可能性がある。したがって、基本サイズを定義する
場合に、文字間距離、行間距離の最小値を設定しておい
てもよい。

【００６４】図５は、本発明の実施形態に於ける複数段
からなる文章ブロックをサイズ変更する場合の例を示し
ている。このような複数段文章を一つの文章ブロックと
して扱う場合のレイアウト情報を図６に示す。

【００６５】このレイアウト情報では、個々の段の存在
が認識され、各段が文章ブロックに含まれる段数情報お
よび段毎の行情報から構成される。

【００６６】このような複数段からなる文章ブロックの
サイズ変更を行なう場合、上記図４に示した基本的な処
理を段毎に行ない、各段の基本サイズ（行間、文字間を
最小値としたサイズ）を合成してブロック全体の基本サ
イズを求めることが必要となる。

【００６７】行方向に沿った基本サイズは、各段の基本
サイズを加算し、行に垂直な方向の基本サイズ各段のう
ち、最も長いサイズを採用する。これは文章が横書きで
段が縦に並んでいる場合（図５に符号５１で示す様式）
であっても、文章が縦書きで縦に並んでいる場合（図５
に符号５２で示す様式）であっても共通である。

【００６８】ブロック全体の基本サイズを得た後は、上
記した図４の基本処理と同様に、ユーザ指定サイズとの
比の値に基づき整数倍拡大あるいは整数倍縮小、あるい
はサイズ変更しないかの判定を行ない、文字画像を生成
する。

【００６９】得られた文字画像の配置を指定サイズに合
わせた配置において、複数段で構成された文章ブロック
の場合、行間、文字間距離調整に加えて、段間距離の調
整が必要となる。

【００７０】段間距離を十分取らない場合、段と段の切
れ目が判別し難くなるので、段間調整を文字間調整より
も先に行ない、段間距離を確保した後、平均文字間距離
の計算を行なうものとする。

【００７１】この際、段間距離の最小値あるいは最適値
を定義しておき（例えば平均文字幅で三文字分等）、指
定サイズと基本サイズの差から、その値を減らし、残っ
た値から平均文字間距離を求める。

【００７２】これにより、複数段からなる文書ブロック
の画像をユーザの任意の指定サイズに合わせて生成する
ことができる。

【００７３】上記したように、文書画像データに於い
て、複数段組で構成された文章部分を選択し、その部分
のサイズ変更を行なう場合に、ユーザにより指示された
変更すべきサイズに基づいて、行間、文字間距離に加
え、段組間距離を調整しつつ、ビットマップ画像からな
る文字画像のサイズを拡大縮小することによって、文字
画像の品質を保持したサイズ変更処理が可能となる。

【００７４】次に、領域変更指示に合わせて文字画像を
再配置するサイズ変更機能について図７乃至図９に示す
フローチャートを参照して説明する。

【００７５】このサイズ変更では、文章ブロックが選択
され、領域サイズ変更が指示された際に、その文章ブロ
ックの行間、文字間距離を保ったまま文字画像を再配置
することにより、指定された領域サイズに合った画像を
生成する。

【００７６】ここでは、先ず、選択された文章ブロック
の行情報を取り出し、各行が見出し行または、段落の最
終行であるか否かを予め判定しておく（図７ステップＳ
３１）。

【００７７】この判定法の例としては、・文章ブロックの元サイズに比べ「２」文字以上短い行・前後の行との行間距離が、平均行間距離に比べ大きい・前後の行との平均文字サイズが異なるなどが挙げられる。

【００７８】次に、指定サイズと、文章ブロックの元サ
イズを比較し、サイズ変更により、行の長さが長くなる
か、短くなるかを判定する（図７ステップＳ３２）。

【００７９】ここで、サイズ変更により各行が長くなる
場合について説明する。一般に、指定サイズに応じた文
章画像を得るためには、行が長くなった分、次の行から
文字画像を移動して継ぎ足さなくてはならないが、例外
として、その行が見出し行であったり、段落の最終行で
ある様な場合には、仮に指定サイズよりも短い行であっ
ても、継ぎ足す必要はない。

【００８０】そこで、まず各行が見出し行または段落最
終行であるかを判定し（図７ステップＳ３３）、見出し
行または段落最終行であれば、その行の文字画像は変更
せずに（図７ステップＳ３４）、次の行へ進む（図７ス
テップＳ３６）。また、次の行がなければ処理を終了す
る（図７ステップＳ３５）。

【００８１】上記見出し行または段落最終行であるか否
かの判定（図７ステップＳ３３）に於いて、見出し行ま
たは段落最終行でない場合は、以降の処理に於いて、現
在、処理対象とする行と、次の行とで新たな文字画像を
生成し、次の行がなければ処理を終了する（図８ステッ
プＳ３７）。

【００８２】次の行から文字を移動しようとする際、次
の行が見出し行である場合も、接続には不適であり、接
続処理は行なわない（図８ステップＳ３８）。

【００８３】上記次行が見出し行であるか否かの判定
（図８ステップＳ３８）に於いて、次行が見出し行でな
いと判定された場合は、次の行からの文字画像の移動が
行なわれる。

【００８４】この際は、まず、各行の文字サイズ情報か
ら、現在処理対象中の行に、次の行から何文字移動させ
れば、指定サイズ内に収まる最大文字数となるかを求め
る（図８ステップＳ３９）。

【００８５】ここで、次の行からの文字移動だけで十分
であるか否かを判定し（図８ステップＳ４０）、十分で
あるならば、その文字を現在行に追加する（図８ステッ
プＳ４４）。

【００８６】また、次の行だけでは十分でなく、更にそ
の次の行が存在するならば（図８ステップＳ４１）、足
りない分を、更に次の行から得るために上記図８ステッ
プＳ３７の処理に戻り、更に次の行から文字の移動を試
みる。ここで、その行が見出し行であれば（図８ステッ
プＳ３８）、それ以上、次の行には進まず、それまでに
現在行への追加する文字があれば（図８ステップＳ４
３）、それらの文字を追加する（図８ステップＳ４
４）。

【００８７】現在行への文字追加が終わったならば、取
り出した文字数分、各行を短くする（図８ステップＳ４
５）。この際、文字数が「０」となった行が存在すれば
（図８ステップＳ４６）、その行は存在しないものとし
て削除し、それ以降の行を繰り上げる（図８ステップＳ
４７）。

【００８８】文字移動の終了後、次の行が存在すれば、
編集対象の行を次の行に変更し（図７ステップＳ３５，
Ｓ３６）、次の行が存在しなくなるまで上記処理を繰り
返し実行する。

【００８９】続いて、サイズ変更により各行が短くなる
場合について説明する。

【００９０】この際は、まず、編集対象行が指定サイズ
よりも小さいか否かを判定し（図９ステップＳ４９）、
指定サイズよりも小さい場合は変更せずに次の行に進む
（図９ステップＳ５８，Ｓ５７）。

【００９１】また、指定サイズよりも行の方が大きい場
合は、何文字減らせば指定サイズに収まるかを求め（図
８ステップＳ５０）、減らす分の文字情報を取り出す
（図９ステップＳ５１）。

【００９２】そして次の行が存在するか否かを判定し
（図９ステップＳ５２）、存在しなければ、取り出した
情報で最終行を構成して終了する（図９ステップＳ５
６）。

【００９３】次の行が存在する場合でも、それが見出し
行であれば（図９ステップＳ５３）、現在行からの繰り
下がり文字を先頭に追加できないので、次の行以降を一
行繰り下げ、現在の行から取り出した文字情報で次の行
を構成する（図９ステップＳ５５）。

【００９４】また、次の行が見出し行でなければ、取り
出した文字情報を次の行の先頭に追加する（図９ステッ
プＳ５４）。

【００９５】現在行からの文字情報の移動が終了し、次
の行が存在するならば、編集対象行を次の行に移し（図
９ステップＳ５７）、上記した図９ステップＳ４９以降
の処理を、次の行が無くなるまで繰り返し実行する（図
８ステップＳ８９）。

【００９６】上記文書画像データに於いて、文章部分を
選択し、その領域サイズの変更を行なう場合は、選択さ
れた文章領域に関するレイアウト情報（行間、文字間距
離等）を用いて、指定サイズに応じ一行辺りの文字数を
計算することにより、選択領域中の文字画像を再配置す
ることが可能となる。

【００９７】次に、ユーザの操作入力により文字列操作
が指示された際に、編集対象となる文章領域のレイアウ
ト情報を用いて文字画像を再配置し、当該再配置に伴い
該当するレイアウト情報を更新して、レイアウト構成要
素の文章部分の画像をユーザ入力に従い任意に文字列編
集可能にした文字列編集処理を図１０乃至図１２を参照
して説明する。

【００９８】この文字列編集処理では、ユーザの操作入
力により文字列操作が指示された際に、編集対象となる
文章領域のレイアウト情報を用いて文字画像を再配置
し、当該再配置に伴い該当するレイアウト情報を更新し
て、レイアウト構成要素の文章部分の画像をユーザ入力
に従い任意に文字列編集可能にする。

【００９９】ここでは、操作入力部１６から入力され
た、文字列操作内容に基づき、文書画像を加工する。こ
こで、文字列操作とは、一般的な文章編集を指し、文字
列（一文字を含む）またはの追加、削除、改行位置の変
更などを指す。

【０１００】この文字列操作に於いては、見出し行に文
字列を追加、削除する場合、次行を含めた行間の接続関
係が、通常の文章行の場合とは異なることから、上述し
たサイズ変更処理の場合と同様に、選択された文章ブロ
ックの行情報を取り出し、各行が見出し行または、段落
の最終行であるか否かを予め判定しておく（図１０ステ
ップＳ６０）。

【０１０１】操作入力部１６から入力された文字列操作
内容が、追加位置指定である際（図１０ステップＳ６
１）は、その際のユーザの指定位置に編集対象となる文
章ブロックが存在することを確認して（図１０ステップ
Ｓ６２）、当該文章ブロック内の上記指定位置に最も近
い行と、当該行内の文字の切れ目位置を求める（図１０
ステップＳ６３）。

【０１０２】更に、その行のレイアウト情報から、平均
文字サイズ、フォントの種類等を取得し、当該ブロック
の追加文字列画像生成が終了するまで保持する（図１０
ステップＳ６４）。

【０１０３】また、操作入力部１６から入力された文字
列操作内容が、追加文字入力指定である際（図１０ステ
ップＳ６５）は、追加する文字の入力位置が既に指定さ
れていることを確認して（図１０ステップＳ６６）、そ
の位置に追加する文字列（一文字を含む）の入力文字コ
ードと、上記保持した文章ブロックの文字に関するレイ
アウト情報とに従い文字列画像を生成し（図１０ステッ
プＳ６７，Ｓ６８）、更に当該文字列画像に応じた文字
情報（文字サイズ、フォント種等）を生成して（図１０
ステップＳ６９）、これらの情報を保持する。

【０１０４】続いて文字列追加する行の文字列画像を追
加位置で分割（分断）し（図１１ステップＳ７１）、其
処に上記生成された文字列画像を挿入する（図１１ステ
ップＳ７２）。

【０１０５】上記文字列追加された行について、追加後
の行の長さが、当該文字列追加された文章ブロックのサ
イズを越えるか否かを判断し（図１１ステップＳ７
３）、文章ブロックのサイズを越えなければ、追加位置
へ追加文字列を挿入して当該行の文字列情報を更新し処
理を終了する（図１１ステップＳ７４）。

【０１０６】また、文章ブロックのサイズを越える際
は、何文字分、ブロックサイズを越えるか（溢れるか）
調べて、その越えた分だけ、文字列画像を分割する（図
１１ステップＳ７５）。

【０１０７】そして上記文章ブロックに次行が存在する
か否かを調べ（図１１ステップＳ７６）、次行が存在す
る際は、更にその行が見出し行または段落の先頭である
か否かを調べる（図１１ステップＳ７７）。

【０１０８】ここで、次行が見出し行または段落の先頭
でないときは、当該次行の先頭位置に上記越えた分の文
字列を追加挿入する（図１１ステップＳ７９）。

【０１０９】また、次行が見出し行または段落の先頭で
あるときは、次行以降を一行繰り下げて上記越えた文字
列により次行を生成する（図１１ステップＳ７８）。

【０１１０】また、次行が存在しない場合は、上記越え
た文字列により次行を生成する（図１１ステップＳ８
０）。

【０１１１】上記越えた文字列分の追加挿入処理に伴
い、追加行と、その次の行の文字列を更新処理した後
（図１１ステップＳ８１）、更に続く行についても（図
１１ステップＳ８２）上記した図１１ステップＳ７３以
降の処理を繰り返し実行する。

【０１１２】また、操作入力部１６から入力された文字
列操作内容が、削除指定である際（図１０ステップＳ７
０）は、指定位置の文字列画像を消去し（図１２ステッ
プＳ９１）、消去した文字列画像分だけ、その行中の文
字列画像を詰める（図１２ステップＳ９２）。

【０１１３】そして次行が存在しなければ、上記文字列
消去に伴い当該行の文字列情報を更新して処理を終了す
る（図１２ステップＳ９６）。

【０１１４】また、次行が存在する場合は、その行が見
出し行であるか否かを調べ（図１２ステップＳ９４）、
見出し行であれば、次の行からの文字画像の移動は行な
わず、上記文字列消去に伴い当該行の文字列情報を更新
して処理を終了する（図１２ステップＳ９６）。

【０１１５】また、次行が見出し行でない際（通常の行
である際）は、次行の先頭（後続）文字列を現在行の行
末に追加（移動）すると、ブロックサイズを越えるか
（行方向に溢れが生じるか）否かを調べ（図１２ステッ
プＳ９５）、ブロックサイズを越えてしまう際は上記文
字列消去に伴い当該行の文字列情報を更新して処理を終
了する（図１２ステップＳ９６）。

【０１１６】また、次行の先頭（後続）文字列を現在行
の行末に追加（移動）しても、ブロックサイズを越えな
い際は、次行の後続文字列を現在行の行末に追加（移
動）して、次行を詰め（図１２ステップＳ９７）、当該
行の文字列情報を更新して（図１２ステップＳ９８）、
更に続く行についても（図１１ステップＳ９９）上記し
た図１２ステップＳ９３以降の処理を繰り返し実行す
る。

【０１１７】尚、上記した文字画像の削除処理は、操作
入力部１６から削除指示がある度に一文字ずつ行なって
もよいし、削除する文字列の先頭位置と終端位置が指定
された時に一括して行なってもよい。

【０１１８】上記したように、ある行に文字を追加し、
行の長さがその文章ブロックのサイズを越える場合、そ
れが通常の行であれば、ブロックサイズを越えた分の文
字は、次の行の先頭に接続される。しかし、文字を追加
した行が見出し行であれば、ブロックサイズを越えた分
の文字は次の行に接続されず、単独の行として挿入され
ることになる。逆に、ある行の文字を削除する場合、そ
の行の長さは文章ブロックのサイズよりも、削除した文
字数のサイズ分小さくなる。その行が通常の行であれ
ば、次の行から削除された文字のサイズ分、繰り上げて
行の長さを文章ブロックのサイズに揃える必要がある。
しかし、その行が見出し行であり、次の行が通常の行で
ある場合には、次の行から文字を繰り上げる必要はな
い。このように、文字列操作の対象とする文字行が、見
出し行であるか否かによって、処理内容を変化させる。
ここで、各行が見出し行であるか否かを判定する方法の
例として、・文章ブロックの元サイズに比べ２文字以上短い行・前後の行との行間距離が、平均行間距離に比べ大きい・前後の行との平均文字サイズが異なるなどが挙げられる。

【０１１９】次に、改行位置の変更処理について説明す
る。この際は、先ず操作入力部１６により、ユーザ指定
による改行位置が指定され、その指定行のレイアウト情
報から各文字の位置情報を取得して、ユーザ指定位置付
近に存在する文字の切れ目位置を新たな改行位置とす
る。

【０１２０】ここで、改行位置以降の文字画像は次の行
へ繰り下げ処理されるが、その処理は文字追加時と同様
の処理を次行が存在しなくなるまで繰り返せばよい。

【０１２１】上記したような処理により、オペレータが
文書画像中に含まれる文章領域、表領域のサイズ変更を
行なう際に、レイアウト認識技術を用いたレイアウト情
報を用いることにより、画質の劣化の少ない文書画像を
指定サイズに応じて構成することができる。更に、上記
文書画像に対して、従来の文字コードで文章を管理する
ワードプロセッサに於ける文字列の追加、削除、改行位
置の変更などの処理と同様の編集処理が可能になる。

【０１２２】

【発明の効果】以上詳記したように本発明によれば、レ
イアウト認識技術により得られたレイアウト構成要素に
関する情報に基づき、文章領域の拡大縮小を行なう際
に、ユーザの指示に従い任意のサイズ変更を可能にし
て、編集作業が円滑に効率よく行える、柔軟な文書作成
を可能にしたレイアウト画像編集装置及びレイアウト画
像編集方法が提供できる。

【０１２３】また本発明によれば、オペレータの指示に
従い文書画像中に含まれる文章領域のサイズ変更を行な
う際に、レイアウト認識技術によるレイアウト情報を有
効に用いて、指定サイズに応じた画質劣化の少ない文書
画像を生成できるレイアウト画像編集装置及びレイアウ
ト画像編集方法が提供できる。

【０１２４】また本発明によれば、紙面上を走査して得
た文書画像に対しても、ワードプロセッサと同様の既存
文書への文字列の編集操作が可能となるレイアウト画像
編集装置及びレイアウト画像編集方法が提供できる。

【図面の簡単な説明】

【図１】本発明の実施形態によるレイアウト画像編集装
置の構成を示すブロック図。

【図２】上記実施形態に於いて、文書の原画像（文書画
像データ）とレイアウト情報とをもとに生成した編集対
象となる文書画像の表示例を示す図。

【図３】上記実施形態に於けるレイアウト情報の一例を
示す図。

【図４】上記実施形態に於いて、文章ブロックが選択さ
れてサイズ変更が指示された際の基本的な処理の流れを
示すフローチャート。

【図５】上記実施形態に於いて、複数段からなる文章ブ
ロックをサイズ変更する際の操作例を示す図。

【図６】上記実施形態に於いて、図５に示すような複数
段組構成の文章を一つの文章ブロックとして扱う場合の
レイアウト情報を示す図。

【図７】上記実施形態に於ける、文章ブロックの領域サ
イズ変更処理手順を示すフローチャート。

【図８】上記実施形態に於ける、文章ブロックの領域サ
イズ変更処理手順を示すフローチャート。

【図９】上記実施形態に於ける、文章ブロックの領域サ
イズ変更処理手順を示すフローチャート。

【図１０】上記実施形態に於ける、文章ブロックの文字
列操作処理手順を示すフローチャート。

【図１１】上記実施形態に於ける、文章ブロックの文字
列操作処理手順を示すフローチャート。

【図１２】上記実施形態に於ける、文章ブロックの文字
列操作処理手順を示すフローチャート。

【符号の説明】

１１…画像入力部１２…画像記録部１３…レイアウト解析部１４…表示管理部１５…表示部１６…操作入力部

Claims

【特許請求の範囲】

【請求項１】文書画像データのレイアウトを解析する
レイアウト解析手段と、前記レイアウト解析手段より得
られるレイアウト情報と前記文書画像データから表示用
データを生成して表示する表示手段と、ユーザ入力の受
け付けを行う操作入力手段と、前記操作入力手段より前
記文書画像データ中の複数段組で構成された文章部分の
画像サイズ変更指示が入力された際に前記入力された変
更サイズ情報に基づき表示画像データの行間、文字間、
段組間距離を調整して前記文章部分を拡大縮小処理する
処理手段とを具備してなることを特徴とするレイアウト
画像編集装置。
【請求項２】文書が記録された紙面上を走査して得た
文書画像データのレイアウトを解析するレイアウト解析
部と、前記レイアウト解析部より得られるレイアウト情
報と前記文書画像データから表示用データを生成する表
示管理部と、前記表示管理部で生成された表示用データ
を表示する表示部と、ユーザ入力の受け付けを行う操作
入力部とを備えてなるレイアウト画像編集装置に於い
て、前記操作入力部の操作入力により前記表示部に表示され
た編集対象となる文書画像から文章部分の領域サイズが
指定された際に、当該指定領域のレイアウト情報に基づ
き、指定領域サイズに応じた行あたりの文字数に文字画
像を再配置する手段と、前記再配置に伴いレイアウト情
報を更新する手段とを有し、レイアウト構成要素の文章
部分の画像をユーザの指示に従い任意の領域サイズに変
更可能にしたことを特徴とするレイアウト画像編集装
置。
【請求項３】文書が記録された紙面上を走査して得た
文書画像データのレイアウトを解析するレイアウト解析
部と、前記レイアウト解析部より得られるレイアウト情
報と前記文書画像データから表示用データを生成する表
示管理部と、前記表示管理部で生成された表示用データ
を表示する表示部と、ユーザ入力の受け付けを行う操作
入力部とを備えてなるレイアウト画像編集装置に於い
て、操作入力部から入力される文字列操作指示と、編集対象
となる文章領域のレイアウト情報とに基づき、文字画像
を再配置する手段と、前記再配置に従い該当するレイア
ウト情報を更新する手段とを有して、レイアウト構成要
素の文章部分の画像をユーザ入力に従い任意に文字列編
集可能にしたことを特徴とするレイアウト画像編集装
置。
【請求項４】文書が記録された紙面上を走査して得た
文書画像から、複数段組で構成された文章部分の画像サ
イズ変更が指示されたとき、前記指示されたサイズ情報
に従い前記文章部分のビットマップ画像を拡大縮小する
際に、前記文章部分の行間、文字間に加え段組間の各距
離を調整して、画像サイズを変更することを特徴とする
レイアウト画像編集方法。
【請求項５】文書が記録された紙面上を走査して得た
文書画像データのレイアウトを解析してレイアウト情報
を取得し当該レイアウト情報を保持して、ユーザの操作
入力により編集対象となる文書画像から文章部分の領域
サイズが指定された際に、当該指定領域のレイアウト情
報を用いて指定領域サイズに応じた文字位置に文字画像
を再配置し、当該再配置に伴いレイアウト情報を更新し
て、レイアウト構成要素の文章部分の画像をユーザの指
示に従い任意の領域サイズへ変更可能にしたことを特徴
とするレイアウト画像編集方法。
【請求項６】文書が記録された紙面上を走査して得た
文書画像データのレイアウトを解析してレイアウト情報
を取得し当該レイアウト情報を保持して、ユーザの操作
入力により文字列操作が指示された際に、編集対象とな
る文章領域のレイアウト情報を用いて文字画像を再配置
し、当該再配置に伴い該当するレイアウト情報を更新し
て、レイアウト構成要素の文章部分の画像をユーザ入力
に従い任意に文字列編集可能にしたことを特徴とするレ
イアウト画像編集方法。
【請求項７】文字の拡大縮小処理は、整数倍単位を基
本に行うことを特徴とする請求項４記載のレイアウト画
像編集方法。