JP2001273509A - 文書画像編集装置及び文書画像編集方法 - Google Patents

Abstract

(57)【要約】 【課題】レイアウト認識技術により得られたレイアウト
構成要素に関する情報に基づき、文章領域中の任意文字
列に対する編集を行なう際に、ユーザの指示に従った任
意の編集操作を可能とし、編集作業を円滑に効率よく行
う。 【解決手段】文書画像データのレイアウト構成を解析す
るレイアウト解析部13と、得られたレイアウト情報と上
記文書画像データから表示用データを生成して表示する
表示管理部16及び表示部17と、ユーザ入力の受付けを行
なう操作入力部15と、文書画像データ中の複数ブロック
で構成された文章部分中の任意文字列範囲が指定された
際にその指定された文字列範囲を他の文字列と区分して
表示させ、区分表示した文字列範囲に対して操作入力部
15により編集の指示入力がなされた場合にその編集処理
を実行する画像処理部14とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、レイアウト認識技
術を利用した、例えば、デジタル複写機、文書情報を扱
うコンピュータシステム等に適用して好適な文書画像編
集装置及び文書画像編集方法に関する。

【０００２】また本発明は、文書が記録された紙面上を
スキャナ等により走査して得た文書画像データを入力
し、その内容を表示画面上で編集可能にオペレータに提
示する機能を備えたシステムに適用して好適な文書画像
編集装置及び文書画像編集方法に関する。

【０００３】

【従来の技術】紙面上の各種文書を画像データとして電
子化することにより、従来、複数の紙面上の文書を切り
貼りして新しい文書を作成していた編集作業を、コンピ
ュータ上で容易に行うことのできるようにした紙文書の
編集技術が種々開発されている。

【０００４】この際の基本的な編集機能として、文章部
分の任意の領域を削除し、あるいは他の領域に移動また
はコピーすることが考えられる。

【０００５】しかしながら、このように文書画像を一般
の画像データとして編集操作する場合、文章部分に相当
する領域を正確に指定し選択するには微妙な操作が必要
であり、ユーザにかかる操作負担が大きいという問題が
生じる。このため前処理として画像認識技術等を用い、
ユーザ操作を省力化することが求められていた。

【０００６】文書画像に画像認識技術等の前処理を施す
場合には、まずレイアウト認識技術により文書のレイア
ウト構成要素を抽出し、文章と判定される部分があれ
ば、さらに文字認識技術により文章部分が文字コード化
され、コード化された文字情報に対して、編集内容を指
定することで削除や移動、コピー等の編集操作を行なう
ことが実現される。

【０００７】しかしながら、現状の文字認識技術におい
ては、文字を誤認識する可能性を含み、しかも一般的な
文書画像中に含まれる文字数が非常に多いことから、誤
認識した部分を必ずしもユーザが発見できるとは限ら
ず、したがって文章内容を大幅に書き変えるような場合
を除いて、文字認識まで行なうことは不要であり、レイ
アウト構成要素の抽出まで行なえば十分と考えられる。

【０００８】文字認識までは行なわずに、レイアウト認
識技術で文書画像のレイアウト構成要素を抽出した段階
の文書画像に対し、特開平６−１８７３３３「文書作成
装置」のように、指定したレイアウトフォーマット用に
予め設定された文字サイズに抽出した構成要素部分の画
像サイズを変更したり、特開平３−１２２７７３「画像
形成装置」のように、指定した貼り込み先の領域の状態
に合わせて、文章領域の画像を整形して貼り付ける事例
も存在した。

【０００９】しかしながら、これらの事例では予め決め
られたフォーマットに合わせて、貼り付ける画像を整形
するに止まるもので、文章領域の画像を貼り付けた後
に、ユーザが任意に編集作業を行なうことはできず、し
たがって編集作業の面では柔軟性に欠けるという不具合
があった。

【００１０】

【発明が解決しようとする課題】上述したように従来で
は、レイアウト認識技術で文書画像のレイアウト構成要
素を抽出した段階の文書画像に対し、文章領域の画像を
貼り付けた後に、ユーザが任意に文字列を削除、移動あ
るいはコピーするような編集作業を行なうことができ
ず、したがって編集作業の面で柔軟性に欠けるという不
具合があった。

【００１１】本発明は上記実情に鑑みなされたもので、
レイアウト認識技術により得られたレイアウト構成要素
に関する情報に基づき、文章領域中の任意文字列に対す
る編集を行なう際に、ユーザの指示にしたがった任意の
編集操作を可能にして、編集作業が円滑に効率よく行な
える、柔軟な文書作成を可能にした文書画像編集装置及
び文書画像編集方法を提供することを目的とする。

【００１２】また本発明は、オペレータの指示にしたが
って文書画像中に含まれる文章領域の編集を行なう際
に、レイアウト認識技術によるレイアウト情報を有効に
用いて、よりわかりやすい表示形態で編集作業を実行す
ることが可能な文書画像編集装置及び文書画像編集方法
を提供することを目的とする。

【００１３】また本発明は、文書画像に含まれる文章領
域中のレイアウト認識の誤りを訂正し、任意文字列範囲
を指定した上でその指定範囲の文字認識を行なうこと
で、より高い認識率を得て誤認識を極力排除し、認識結
果を有効に編集に活用することが可能となる文書画像編
集装置及び文書画像編集方法を提供することを目的とす
る。

【００１４】

【課題を解決するための手段】請求項１記載の発明は、
文書画像データのレイアウト構成を解析するレイアウト
解析手段と、このレイアウト解析手段より得られるレイ
アウト情報と上記文書画像データから表示用データを生
成して表示する表示手段と、ユーザ入力の受付けを行な
う操作入力手段と、この操作入力手段より上記文書画像
データ中の複数ブロックで構成された文章部分中の任意
文字列範囲が指定された際にその指定された文字列範囲
を他の文字列と区分して表示する表示制御手段と、この
表示制御手段で区分して表示した文字列範囲に対して上
記操作入力手段より編集の指示入力がなされた場合にそ
の編集処理を実行する編集処理手段とを具備したことを
特徴とする。

【００１５】このような構成とすれば、レイアウト認識
技術により得られたレイアウト構成要素に関する情報に
基づき、文章領域中の任意文字列に対する編集を行なう
際に、より見やすい状態としてユーザの指示にしたがっ
た任意の編集操作を可能として、編集作業を円滑に効率
よく行なうことができる。

【００１６】請求項２記載の発明は、上記請求項１記載
の発明において、上記表示手段は、上記レイアウト解析
手段で得られるレイアウト情報に基づいて上記文書画像
データをブロック、行及び文字の各単位でそれぞれ識別
可能に表示し、且つ選択可能とすることを特徴とする。

【００１７】このような構成とすれば、上記請求項１記
載の発明の作用に加えて、文書画像データの構成がより
見やすい状態で表示されるため、編集の範囲や位置の確
認及び指定が容易となる。

【００１８】請求項３記載の発明は、上記請求項１記載
の発明において、上記レイアウト解析手段は、上記操作
入力手段により上記レイアウト解析手段で得た文書画像
データのレイアウト情報をブロック、行または文字のい
ずれかの単位で分割または統合するべく指示入力がなさ
れた場合に、その指示入力に従ってレイアウト情報を修
正することを特徴とする。

【００１９】このような構成とすれば、上記請求項１記
載の発明の作用に加えて、レイアウト解析で得られた文
書画像に対する修正操作をより容易に行なうことができ
る。

【００２０】請求項４記載の発明は、上記請求項１記載
の発明において、上記レイアウト解析手段がレイアウト
構成を解析するための文書画像データを格納しておく画
像格納手段をさらに具備し、この画像格納手段は、文書
画像データを画像ブロック毎にファイル化して格納する
ことを特徴とする。

【００２１】このような構成とすれば、上記請求項１記
載の発明の作用に加えて、文書画像データを構成する各
画像ブロック毎に独立したファイルとして格納するため
に、編集作業で内容に変化を生じた画像ブロックに対応
するファイルのみ格納されているデータを書換えるよう
にすればよいので、文書画像データの取扱いが容易とな
る。

【００２２】請求項５記載の発明は、上記請求項１記載
の発明において、上記レイアウト解析手段がレイアウト
構成を解析するための文書画像データを格納しておく画
像格納手段をさらに具備し、この画像格納手段は、文書
画像データに添付する添付画像データを合わせて格納
し、上記操作入力手段での選択入力により文書画像デー
タに対する添付画像データの出力の有無を設定すること
を特徴とする。

【００２３】このような構成とすれば、上記請求項１記
載の発明の作用に加えて、例えば文書画像データに対す
る添削画像等を添付画像データとして合わせて格納し、
必要に応じて文書画像データのみを出力するか、添付画
像データを合わせて出力するかを選択することが可能と
なる。

【００２４】請求項６記載の発明は、文書画像データか
ら表示用データを生成して表示する表示手段と、ユーザ
入力の受付けを行なう操作入力手段と、この操作入力手
段より上記表示手段で表示される文書画像の任意領域が
指定された際にその指定された領域中の文書画像の文字
認識を行なう文字認識手段と、この文字認識手段で得た
文字認識結果を上記操作入力手段での編集の指示入力に
応じて文書画像中の任意の位置で編集処理する編集処理
手段とを具備したことを特徴とする。

【００２５】このような構成とすれば、ポインティング
デバイス等により文書画像データの任意領域を指定した
上でその領域内の文書画像による文字認識を実行させ、
得た認識結果を用いて編集動作に移行することができる
ため、認識結果と画像ブロックを同様に扱うことが可能
となる。

【００２６】請求項７記載の発明は、文書画像データの
レイアウト構成を解析するレイアウト解析手段と、この
レイアウト解析手段より得られるレイアウト情報と上記
文書画像データから表示用データを生成して表示する表
示手段と、ユーザ入力の受付けを行なう操作入力手段
と、この操作入力手段より上記文書画像データ中の複数
ブロックで構成された文章部分中の任意文字列範囲が指
定された際にその指定された文字列範囲を他の文字列と
区分して表示する第１の表示制御手段と、この第１の表
示制御手段で区分して表示した文字列範囲に対して文字
認識処理を行なう文字認識手段と、この文字認識手段で
得た文字認識結果を上記指定された文字列範囲に代えて
表示させる第２の表示制御手段とを具備したことを特徴
とする。

【００２７】このような構成とすれば、レイアウト認識
技術によるレイアウト情報を有効に用いて、文書画像に
含まれる文章領域中の任意文字列範囲を指定した上でそ
の指定範囲の文字認識を行なうことで、より高い認識率
を得て誤認識を極力排除し、認識結果を有効に編集に活
用することが可能となる。

【００２８】請求項８記載の発明は、上記請求項７記載
の発明において、上記レイアウト解析手段は、上記操作
入力手段により上記レイアウト解析手段で得た文書画像
データのレイアウト情報をブロック、行または文字のい
ずれかの単位で分割または統合するべく指示入力がなさ
れた場合に、その指示入力に従ってレイアウト情報を修
正することを特徴とする。

【００２９】このような構成とすれば、上記請求項７記
載の発明の作用に加えて、レイアウト情報を修正した上
でそれに基づいた任意の文字列による文字認識を行なわ
せることができるため、文字の認識率をより向上させる
ことが可能となる。

【００３０】請求項９記載の発明は、文書画像データの
レイアウト構成を解析し、解析して得たレイアウト情報
と上記文書画像データから表示用データを生成して表示
する際、上記文書画像データ中の複数ブロックで構成さ
れた文章部分中の任意文字列範囲が指定されるとその指
定された文字列範囲を他の文字列と区分して表示し、区
分して表示した文字列範囲に対して編集の指示入力がな
されるとその編集処理を実行することを特徴とする。

【００３１】このような方法とすれば、レイアウト認識
技術により得られたレイアウト構成要素に関する情報に
基づき、文章領域中の任意文字列に対する編集を行なう
際に、より見やすい状態としてユーザの指示にしたがっ
た任意の編集操作を可能として、編集作業を円滑に効率
よく行なわせることができる。

【００３２】請求項１０記載の発明は、文書画像データ
から表示用データを生成して表示する際、表示される文
書画像の任意領域が指定されるとその指定された領域中
の文書画像の文字認識を行ない、得た文字認識結果を用
い、編集の指示入力に応じて文書画像中の任意の位置で
編集処理することを特徴とする。

【００３３】このような方法とすれば、ポインティング
デバイス等により文書画像データの任意領域を指定した
上でその領域内の文書画像による文字認識を実行させ、
得た認識結果を用いて編集動作に移行させることができ
るため、認識結果と画像ブロックを同様に扱うことが可
能となる。

【００３４】請求項１１記載の発明は、文書画像データ
のレイアウト構成を解析し、解析して得たレイアウト情
報と上記文書画像データから表示用データを生成して表
示する際、上記文書画像データ中の複数ブロックで構成
された文章部分中の任意文字列範囲が指定されるとその
指定された文字列範囲を他の文字列と区分して表示し、
区分して表示した文字列範囲に対して文字認識処理を行
ない、得た文字認識結果を上記指定された文字列範囲に
代えて表示させることを特徴とする。

【００３５】このような方法とすれば、レイアウト認識
技術によるレイアウト情報を有効に用いて、文書画像に
含まれる文章領域中の任意文字列範囲を指定した上でそ
の指定範囲の文字認識を行なわせることで、より高い認
識率を得て誤認識を極力排除し、認識結果を有効に編集
に活用させることが可能となる。

【００３６】

【発明の実施の形態】（第１の実施の形態） ＜第１の実施の形態の構成＞以下図面を参照して本発明
の第１の実施の形態について説明する。

【００３７】図１は同実施の形態に係る文書画像編集装
置の構成を示すもので、１１は紙面Ｐ上の文書画像を走
査して入力するイメージスキャナでなる画像入力部であ
り、例えば図２（Ａ）に示すような、文章、写真等を含
む各種の文書が記録された紙面Ｐ上を走査して、紙面Ｐ
上の文書画像を読込み、文書画像データとして出力す
る。

【００３８】１２は上記したような文書画像データを保
存、格納した上で、編集対象となる文書画像データを出
力する画像格納部である。

【００３９】１３は文書画像データのレイアウト解析を
行なうレイアウト解析部であり、上記画像格納部１２よ
り出力された編集対象となる文書画像データのレイアウ
トを解析し、レイアウト構成要素を出力する。

【００４０】ここで、レイアウト解析技術は文書画像理
解分野で知られている既存の技術であり、レイアウト構
成要素とは、文字の位置サイズ情報、行の位置サイズ情
報、複数行からなるパラグラフに相当する文章ブロック
の位置サイズ情報などの情報の他、写真、図、テキスト
などの領域の位置サイズ情報、種類などからなるもの
で、その領域をさらに細かく分類し、タイトル、著者
名、日付け、ヘッダー、フッターなどの分類情報を含む
ことも可能である。

【００４１】なお、上記位置サイズ情報とは、位置とサ
イズが互いに関係しており、例えば、矩形の左端と右端
の位置座標の差が横方向のサイズであるので、その意味
で、特に位置とサイズを区別せず、これらの情報を位置
サイズ情報と呼称するものとする。

【００４２】１４は、レイアウト解析部１３の出力する
レイアウト構成要素と原画像を用いて表示管理部１６で
表示画面を構成させる画像処理部であり、例えばレイア
ウト解析で得られたブロックを取出して表示するように
表示管理部１６で画面を構成させる。

【００４３】図２（Ａ）は入力された原画像２０を例示
するもので、２１がテキスト領域、２２が写真領域であ
るとする。この原画像２０に対し、レイアウト解析部１
３で得られるレイアウト解析の結果、図２（Ｂ）に示す
ように表示画面２３上のブロック領域２４が得られるも
ので、これが表示データとして表示管理部１６により作
成され、表示部１７で表示出力される。

【００４４】ここでは、各ブロック領域２４についてそ
れぞれ分かりやすくするために枠を表示している。

【００４５】また、このとき、最初の表示をレイアウト
解析を行なわずに原画像のみを表示するようにし、この
文書画像編集装置のオペレータの指示を操作入力部１５
で受付けて、その後にレイアウト解析を行ない、得られ
たレイアウト構成要素をその後に表示するようにしても
良い。

【００４６】しかるに、このような表示部１７での表示
画面２３を見て上記オペレータは例えばポインティング
デバイスとしてのマウスを備えた操作入力部１５により
操作を行なう。この操作情報は、操作入力部１５から画
像処理部１４に直接入力され、これを受けて画像処理部
１４はあらためて表示画面を作成しなおして、表示管理
部１６により表示を行なわせるように動作するもので、
オペレータは必要に応じて画像の編集作業を行なうべく
操作入力部１５を操作する。

【００４７】そして、オペレータの操作による画像の編
集作業や確認作業が終了すると、当該画像が画像出力部
１８を経由してこの文書画像編集装置の外部に出力され
る。

【００４８】＜第１の実施の形態の動作＞次に上記実施
の形態の動作について説明する。図３は文書画像の入力
から編集、出力に至る全体の処理の流れを示すもので、
その当初には編集対象とする紙面Ｐを画像入力部１１に
より操作して文書画像データの入力を行なう（ステップ
Ａ０１）。

【００４９】図７（１）は紙面Ｐを画像入力部１１で操
作して読み取った入力画像を例示するものである。

【００５０】画像入力部１１で読み取った文書画像デー
タは画像格納部１２に格納された後、レイアウト解析部
１３に読出されて画像処理部１４の制御の下にレイアウ
ト構成要素が解析され（ステップＡ０２）、その解析結
果に基づいて表示管理部１６で表示画面が構成されて
（ステップＡ０３）、表示部１７で表示出力される（ス
テップＡ０４）。

【００５１】図７（２）はそのレイアウト解析結果とし
て得られるレイアウト構成要素のそれぞれについて、各
文字毎の位置と大きさから定まる文字枠を原画像に重ね
て表示部１７で表示される画面を例示したものである。

【００５２】なお、ここでは各文字１つ１つについて切
り出しを行ない、文字単位で枠線で囲むようにして表示
するものとしたが、図９に示すように文字列に対する矩
形の枠を行単位とし、且つ各文字画像の間の空白の中央
に間仕切り線を示すような表示形態であっても良いし、
また、図１０に示すように上記間仕切り線を表示せず、
行単位で枠のみを表示しても良く、その他、どのような
枠を表示するものとしても、また枠を表示しないものと
しても良いものとする。

【００５３】さらに、ここではその処理は行なわない
が、レイアウト解析を行なった後に自動的にその解析結
果の文字画像に対して文字認識を行なうように構成して
も良い。

【００５４】しかして、上記のような表示を行なってい
る状態で、オペレータによる操作入力部１５での編集コ
マンドその他の入力を受付けるもので（ステップＡ０
５）、入力があったと判断した時点で、まずその入力が
なんらかの編集コマンドであるか否かを判断し（ステッ
プＡ０６）、編集コマンドでないと判断した場合には、
さらに文書画像の編集を終了するための入力操作である
か否かを判断する（ステップＡ０７）。

【００５５】ここで、終了するための入力操作であると
判断した場合にはそのままこの文書画像の編集動作を終
了するが、終了するための入力操作ではないと判断した
場合には、その操作の内容に対応した必要な処理を実行
し（ステップＡ０８）、その後に再び上記ステップＡ０
５からの編集コマンドその他の入力を受付けに戻る。

【００５６】また、ステップＡ０６で操作入力されたの
がなんらかの編集コマンドであると判断した場合には、
そのコマンドの内容に対応して、文書画像に対しする編
集処理を実行し（ステップＡ０９）、実行した結果さら
にレイアウト解析が必要であるか否かを判断して（ステ
ップＡ１０）、必要であれば上記ステップＡ０２から、
必要でなければ上記ステップＡ０３からの処理を繰返し
実行する。

【００５７】図４乃至図６は上記ステップＡ０９での返
信処理の詳細な内容を示すサブルーチンであり、その当
初には操作入力部１５のマウスのボタンがクリックさ
れ、且つその時の表示部１７画面でのカーソルの位置が
任意の文字画像を指定している状態となるのを待機する
（ステップＢ０１，Ｂ０２）。

【００５８】図７（３）は上記図７（２）の表示画面か
らカーソルＣが図示する位置に移動された状態を示すも
ので、この状態でマウスのボタンがクリックされると、
上記ステップＢ０１，Ｂ０２でこれが判断され、当該位
置にある文字画像「ま」を指定文字列の開始点として設
定し、他の文字画像とは異なる色で区分表示する（ステ
ップＢ０３）。

【００５９】その後、マウスのボタンのクリックが解除
されるか、あるいはカーソルＣで指示される文字画像が
移動するのを待機するもので（ステップＢ０４，Ｂ０
５）、カーソルＣで指示される文字画像が移動したと判
断した場合には、その移動した位置にある文字画像を指
定文字列の終了点として設定した上で（ステップＢ０
６）、指定文字列の開始点から終了点に至る間をすべて
他の文字画像とは異なる色で区分表示し（ステップＢ０
７）、再び上記ステップＢ０４からの処理に戻る。

【００６０】図７（４）は上記図７（３）の表示画面か
らマウスのボタンをクリックしたままドラッグし、カー
ソルＣが次行の文字画像「く」まで移動させた場合の表
示状態を例示するもので、これにより図中に３１で示す
指定文字列「まぼろしのごとく」がオペレータによって
指示されたものとして他の文字画像とは異なる色で区分
表示されることとなる。

【００６１】なお、ここでは指定された文字列の文字画
像を他の文字画像と色を変えることで区分表示するもの
としたが、これに限らず、オペレータにどれが修正対象
の文字列画像であるかが分かり易く表示されるのであれ
ば、当該文字列を構成する個々の文字画像の矩形の形
状、色の濃度、あるいは文字フォント等を組合わせて他
の区分表示するものとしても良い。

【００６２】その後、ステップＢ０４でマウスのボタン
のクリックが解除されたと判断すると、その時点で他の
文字画像とは異なる色で区分表示されている開始点から
終了点に至る間の指定文字列画像をあらためて修正対象
として設定した上で（ステップＢ０８）、再び操作入力
部１５のマウスのボタンがクリックされるのを待機する
（ステップＢ０９）。

【００６３】そして、マウスのボタンがクリックされた
と判断すると、次にその時点で表示部１７画面でのカー
ソルＣの位置が任意の文字画像を指定しているか否かを
判断する（ステップＢ１０）。

【００６４】カーソルＣの位置が文字画像であった場
合、上記指定文字列を削除して他の文字列を修正対象と
して指定することとなるので、上記ステップＢ０３に戻
って当該位置にある文字画像を指定文字列の開始点とし
て設定し、他の文字画像とは異なる色で区分表示し、そ
の後上記と同様に指定文字列画像の終了点までの新たな
設定を行なう。

【００６５】また、上記ステップＢ１０でカーソルＣの
位置が文字画像ではなかった場合には、指定文字列に対
する修正の内容が指示されたこととなるので、マウスの
ボタンのクリックが解除されるのを待機し（ステップＢ
１１）、クリックが解除されると、そのカーソルＣの位
置が「削除」を指示するボタンの位置であるか否かを判
断する（ステップＢ１２）。

【００６６】「削除」を指示するボタンの位置であった
場合、その指示通り修正対象となっている文字列画像を
消去する（ステップＢ１４）。

【００６７】次いで、消去した文字列画像の先頭位置を
「Ｓ1 」、同文字列画像の最後尾に続く位置を「Ｅ1 」
とし（ステップＢ１５）、変数ｋに１を代入した上で
（ステップＢ１６）、「Ｅｋ」で示される位置の文字画
像を「Ｓｋ」で示される文字画像の位置まで移動し、元
の「Ｅｋ」で示される位置の文字画像を消去する（ステ
ップＢ１７）。

【００６８】その後、「Ｓｋ」が「Ｅ1 」に達するか、
「Ｅｋ」で示される位置がレイアウト構成上、最終文字
画像であったか、あるいは段落の終わりを示す文字画像
であったか否かを、行末以前スペースがあることや、行
頭にスペースのあることから判断し（ステップＢ１
８）、そうでなければ上記変数ｋの値を「＋１」更新設
定して（ステップＢ１９）、上記ステップＢ１７からの
処理を繰返し実行する。

【００６９】こうして、修正対象としての文字列画像を
消去してから、その後に続く文字画像を順次前に詰める
処理を実行していく。

【００７０】図８（１）は上記図７（４）で示した状態
から文字列３１が削除され、それに続く「なり」の文字
列３２が後処理として前に移動した状態を示す。

【００７１】この図８（１）の状態で上記ステップＢ１
８では「Ｅｋ」で示される位置がレイアウト構成上、段
落の終わりを示す文字画像であると判断し、次に「Ｓ
ｋ」で示される文字画像の位置と「Ｅｋ」で示される位
置の次の文字画像との間に空白行が存在するか否かを判
断する（ステップＢ２０）。

【００７２】ここで、図８（１）に示す如く上記削除の
修正による後処理として空白行３３が存在すると判断し
た場合にのみ、その空白行３３をなくすべく、レイアウ
ト解析結果として得られた行ピッチを用いて、後に続く
文字画像を上にずらすようにして、行を詰める処理を実
行する（ステップＢ２１）。図８（２）はこうして空白
行の行詰めを行なった結果を示す。その後、再び次の編
集に備えて上記ステップＢ０１からの処理に戻る。

【００７３】また、上記ステップＢ１２でカーソルＣの
位置が「削除」を指示するボタンの位置ではないと判断
した場合には、次いでカーソルＣの位置が「移動」を指
示するボタンの位置であるか否かを判断する（ステップ
Ｂ１３）。

【００７４】「移動」を指示するボタンの位置でもない
と判断した場合、上記ステップＢ０９〜Ｂ１１でマウス
のボタンをクリックしたことによる操作はＮＯＰ（無
効）として、再び上記ステップＢ０９からの処理に戻
る。

【００７５】しかして、ステップＢ１３でクリック操作
が「移動」を指示するボタンの位置であると判断した場
合には、次に移動先の位置を指定するためのクリック操
作がなされるのを待機し（ステップＢ２２）、次にその
クリック操作が終えたことを確認した上で（ステップＢ
２３）、その時点でカーソルＣで指定された位置が文字
画像であるか否かを判断する（ステップＢ２４）。

【００７６】文字画像でなかった場合、移動先がわから
ず、文字列の移動を行なうことができないので、その操
作はＮＯＰ（無効）として、再び上記ステップＢ２２か
らの処理に戻る。

【００７７】また、文字画像であった場合には、当該文
字画像位置を移動先の挿入位置として設定した上で（ス
テップＢ２５）、まず修正対象となっている文字列画像
を消去し（ステップＢ２６）、次いで、消去した文字列
画像の最後尾から続けて、修正対象文字数分先の位置を
「Ｅ1 」、同最後尾の文字画像位置を「Ｓ1 」とし（ス
テップＢ２７）、変数ｋに１を代入した上で（ステップ
Ｂ２８）、「Ｓｋ」で示される位置の文字画像を「Ｅ
ｋ」で示される文字画像の位置まで移動し、元の「Ｓ
ｋ」で示される位置の文字画像を消去する（ステップＢ
２９）。

【００７８】その後、「Ｓｋ」で示される位置が上記ス
テップＢ２５で設定した挿入先の位置となったか否かを
判断し（ステップＢ３０）、そうでなければ上記変数ｋ
の値を「＋１」更新設定して（ステップＢ３１）、上記
ステップＢ２９からの処理を繰返し実行する。

【００７９】こうして、修正対象としての文字列画像を
消去してから、その後に続く挿入先位置までの間の文字
画像を順次前に詰める処理を実行していく。

【００８０】そして、上記ステップＢ３０で「Ｓｋ」で
示される位置が上記ステップＢ２５で設定した挿入先の
位置となったと判断すると、その「Ｓｋ」で示される位
置から順に上記修正対象としての文字列画像を貼り付け
るべく配置設定し（ステップＢ３２）、以上で再び次の
編集に備えて上記ステップＢ０１からの処理に戻る。

【００８１】図８（３）は上記図７（４）で示した場合
と同様に指定文字列３１として「まぼろしのごとく」を
他の文字画像とは異なる色で区分表示した上で、さらに
移動先としてカーソルＣで図示する位置を指定している
状態を示すものである。

【００８２】このような移動を実行することにより、図
８（４）に示す如く指定文字列３１が上記図８（３）に
おいてカーソルＣで示した位置に挿入配置される。

【００８３】なお、上記実施の形態の動作に加えて、修
正対象となる文字列画像の画像情報などを一時画像処理
部１４が所定のメモリ空間にバッファリングしておき、
編集処理としての移動を、パーソナルコンピュータでコ
ピー＆ペーストと称される２つの操作に分けて実行する
ものとしても良い。この場合も上記で説明したのと同様
の方法で修正を行なうことが可能となる。

【００８４】また、移動処理は表示されている画面内に
限って行なうだけではなく、文書画像のブロックやペー
ジを飛び越えて行なうことも当然可能である。ブロック
外に移動することもでき、この場合はレイアウト情報に
基づいてその位置に移動すべき文字画像を各々貼り付け
ることによって移動を実行する。その画像をあらためて
１つのブロックとして登録する。この際には、横書の場
合であればブロックの横幅を指定することによって自動
的に改行を行なって文字画像を配置するものとする。

【００８５】＜第１の実施の形態の他の動作１＞次に上
記実施の形態の動作時の文書画像中の任意の範囲を指定
する場合の表示形態について、他の動作１として説明す
る。図１１はレイアウト解析部１３により得られる結果
を例示するもので、図中の４１がブロック枠であり、こ
のブロック枠４１中に行枠４２が配置されることとな
る。これらは原画像と重ね合わせて表示するが、原画像
だけ表示して、枠４１，４２は表示しないような構成と
しても良い。

【００８６】しかるに、ブロック枠４１の矩形内部でオ
ペレータが操作入力部１５のマウスのクリックなど何ら
かの指示操作を行なうことにより、当該ブロックが選択
されたものと見なす。

【００８７】この際、ブロック枠４１や、表示されてい
る原画像の当該ブロック部分の表示方法を他の部分と異
ならせるように表示制御することで、選択されたブロッ
クをオペレータが容易に識別できるように表示する。

【００８８】さらに、カーソルＣを行枠４２の付近に移
動させ、マウスのクリックなどなんらかの指示操作を行
なうことにより、当該行が選択されたものと見なす。当
該行も、原画像の当該部分や行枠４２の表示方法を他の
部分と異ならせるように表示制御することで、選択され
た行をオペレータが容易に識別できるように表示する。

【００８９】また、カーソルＣが行枠４２内にある時
は、カーソルＣの表示形状を枠４２外にある時と変える
ことで、枠４２内の文字位置を指定するモードになって
いることオペレータに知らせるものとする。この状態
で、前に記載した文字列範囲の開始点と終了点をクリッ
ク操作するなどの手段により任意の文字列を選択できる
ようにする。

【００９０】ブロックの指定を行なう時にブロック枠４
１の付近でカーソルＣを位置させてマウスのボタンをク
リックすることにより、当該ブロックが選択されるよう
に構成しても良い。この時、ブロック内部や行枠４２付
近にカーソルが移動した時にはブロックではなく行を指
定するモード状態となっていることをオペレータに知ら
せるように、カーソルＣの表示形状を変更するように構
成するようにしても良い。

【００９１】このような表示形態及び範囲の指定形態を
採ることにより、これまでのようにブロックと行と文字
の選択を混在した状況で行なわなければならない場合で
も、操作が複雑で取り扱いが困難になるという不具合を
生じることなく、上記のようにブロックの指定をブロッ
ク枠４１付近でのクリック操作により、また行の指定を
行枠４２付近でのクリック操作によりそれぞれ行なうよ
うに設定することにより、ブロック、行と文字の指定の
操作を視覚的にもはっきり区別して実行することがで
き、より操作が容易となり、オペレータの負担を軽減し
て、編集動作の効率を向上することができる。

【００９２】＜第１の実施の形態の他の動作２＞次に上
記実施の形態の動作時の特にレイアウト解析結果に対す
る修正動作について、他の動作２として説明する。図１
２（Ａ）はレイアウト構成要素の修正、追加操作を例示
するもので、５１はブロックとして指定したいテキスト
領域であるが、レイアウト解析では抽出できなかったも
のとする。このテキスト領域５１に対して、これを囲む
領域５２をオペレータが操作入力部１５のマウス等を操
作して指定することによってテキスト領域を決定する。
この指定された領域内で、余白部分を除くようにして図
１２（Ｂ）に示すようなテキスト領域５１を囲む枠５３
を決定し、これをブロックエリアとして登録するものと
する。

【００９３】これは例えば、１つのブロックであるとい
う制限の基でブロック抽出を上記領域５２の指定に基づ
いてやり直させることができる。

【００９４】これに対し、オペレータが指定した領域５
２をそのままブロックとして登録するようにもできるよ
うにしても良く、その場合は、どちらでブロックの修正
を行なうかのモードをオペレータが選べるように構成す
る。

【００９５】また、上記では元来テキスト領域５１に対
応するブロックは登録されていないものとして説明した
が、すでにレイアウト解析の結果、間違えたブロックが
登録されている場合には、その部分を消去して新たなブ
ロックを登録することで、ブロックの統合、分割ができ
るようにするものとしても良い。

【００９６】図１３はこのようなブロックの統合、分割
を行なう場合を例示するもので、図１３（Ａ）では複数
のブロック５４，５５を指定して統合を指示することに
よって新たなブロック５６を作成するものである。

【００９７】また、図１３（Ｂ）では、１つのブロック
５７を指定し、複数、例えば２つの新たなブロック５
８，５９を指定して分割を指示することにより、ブロッ
クの分割ができるようにしている。

【００９８】また、図１４は複数の行を統合して１つの
行にする場合を例示するもので、ここでは２つの行６
２，６３を領域６１で囲むように操作入力部１５のマウ
ス等により指示し、さらに統合を指示することによっ
て、統合を実行している。

【００９９】なお、領域６１により囲むような指示を行
なわず、単に複数の行をそれぞれポイント指定するよう
にしても良いし、さらには行の抽出を、前記指定に基づ
いて１つの行であるという制限の基でやり直すようにし
ても良い。

【０１００】図１５は１つの行６４を複数、例えば２つ
に分割する場合を例示するもので、オペレータの指示に
よって行の分割モードとすることで、変形したカーソル
６５を表示させ、行分割モードであることをオペレータ
に示す。この時に、カーソル６５に合わせて分割位置を
破線６６のようにして示しても良い。そのような表示状
態で、カーソル６５及び破線６６が所望の位置となるよ
うに操作入力部１５のマウスを移動操作してから、マウ
スのボタンをクリックすると、その位置で行を分割して
新たな複数の行を登録し、元の行の情報を削除するよう
にする。

【０１０１】また、指示された位置がすくなくとも行間
の切れ目（余白）にあることを前提にして、レイアウト
解析部１３で行抽出をやり直すように構成しても良い。

【０１０２】さらに、オペレータが指定した領域をその
まま行として登録するものとしても良いし、または再度
行の抽出を行なうものとしても良く、その場合、どちら
で行の修正を行なうかを示すモードをオペレータが設定
指定するように構成する。

【０１０３】このモード指定方法は行修正に限らずブロ
ックの修正を行なう場合でも適用できる。

【０１０４】図１６は複数の文字画像を統合して１つの
文字画像にする場合を例示するもので、ここでは２つの
文字画像７２，７３を領域７１で囲むように操作入力部
１５のマウス等により指示し、さらに統合を指示するこ
とによって、統合を実行している。

【０１０５】なお、領域７１により囲むような指示を行
なわず、単に複数の文字画像をそれぞれポイント指定す
るようにしても良いし、さらには文字画像の抽出を、前
記指定に基づいて１つの文字画像であるという制限の基
でやり直すようにしても良い。

【０１０６】図１７は１つの文字画像７４を複数、例え
ば２つに分割する場合を例示するもので、オペレータの
指示によって文字画像の分割モードとすることで、変形
したカーソル７５を表示させ、文字分割モードであるこ
とをオペレータに示す。この時に、カーソル７５に合わ
せて分割位置を破線６６のようにして示しても良い。そ
のような表示状態で、カーソル７５及び破線７６が所望
の位置となるように操作入力部１５のマウスを移動操作
してから、マウスのボタンをクリックすると、その位置
で文字画像を分割して新たな複数の文字画像を登録し、
元の文字画像の情報を削除するようにする。

【０１０７】また、指示された位置がすくなくとも文字
画像間の切れ目（余白）にあることを前提にして、レイ
アウト解析部１３で文字画像抽出をやり直すように構成
しても良い。

【０１０８】さらに、オペレータが指定した領域をその
まま文字画像として登録するものとしても良いし、また
は再度文字画像の抽出を行なうものとしても良く、その
場合、どちらで文字画像の修正を行なうかを示すモード
をオペレータが設定指定するように構成する。

【０１０９】さらに、続く図１８乃至図２０は文字領域
の他の修正処理を例示するものである。

【０１１０】ここでは、文字画像の領域を矩形で表すこ
とはしておらず、文字画像の領域間に線を入れて表示し
ている。

【０１１１】図１８（１）において８１は行を示す枠
で、８２はその中で文字領域間の線であるが、ここでは
あえて間違ったレイアウト解析の結果を例示している。

【０１１２】操作入力部１５を操作してのオペレータの
指示により、この線８２を指定することができ、これに
よって線の形状、色、濃度などを変更して新たな線８３
とすることで、当該線８２が選択されていることを図１
８（２）に示すようにオペレータに知らせる。

【０１１３】次に図１８（３）に示すようにオペレータ
の操作によりこの選択された線８３を左右に動かし、適
切な位置でオペレータが確定の指示を出すものとする。
この位置によって文字領域間の切れ目としてレイアウト
構成要素の情報を更新する。

【０１１４】またさらに、その位置が少なくとも切れ目
であることを前提に文字の切り出しを再度行ない、新た
に得られた位置を文字画像領域間の切れ目として登録し
ても良い。

【０１１５】このように、オペレータが操作入力部１５
で指定した領域をそのまま文字画像の領域として登録す
ることもできるようにして、再度文字の切り出しを行な
っても良く、その場合、どちらで文字領域の修正を行な
うかをモードをオペレータが選択できるようにするもの
とする。

【０１１６】図１９は２つの文字画像を分離する場合の
表示形態を例示するもので、この場合には操作入力部１
５によるオペレータの分割指示によって、表示されるカ
ーソル８４の形状を変更し、文字画像の分割モードであ
ることを知らせるものとする。この場合、文字画像の領
域の分割を適切な位置で確定できるように装置を構成す
るものとする。

【０１１７】図２０は複数の文字画像の領域を統合する
場合の表示形態を例示するもので、この場合には余分な
文字画像の領域間の線８５を上記図１８で説明した場合
と同様な手法で指示し、さらに編集内容として削除を指
定することによって、この線８５を削除し、結果として
この線８５に隣り合う２つの文字領域を統合することが
できるものである。

【０１１８】＜第１の実施の形態の他の動作３＞次に上
記実施の形態の動作時の特にレイアウト解析結果に対す
る画像格納部１２での格納動作について、他の動作３と
して説明する。ここで画像格納部１２に格納された原画
像をレイアウト解析部１３が読出してレイアウト解析
し、その結果得られるレイアウト構成要素に基づいて画
像処理部１４が各レイアウト構成要素、具体的には各構
成要素としてのブロック、行、文字画像の単位毎に対応
する画像データを原画像から切り出し、階層構造化して
フォルダ化、ファイル化して画像格納部１２に再度格納
し直す構成とする。

【０１１９】この時、すべてのレイアウト構成要素の画
像データを格納する必要はなく、必要な画像だけでも良
い。たとえば、文字画像領域毎に画像データをファイル
化するのであれば、行、ブロックをそれぞれその上位の
フォルダとすることで、行の画像データを別途ファイル
化して保持する必要はない。

【０１２０】表示部１７で表示するための表示画面を構
成する際には、上記レイアウト構成要素の画像データを
用いて全体の画像を作成するようにする。

【０１２１】こうすることによって、レイアウト構成要
素の移動、削除、変形を行なった時に消えてしまう部分
などをもとに戻す処理などが簡単にできるようになる。

【０１２２】＜第１の実施の形態の他の動作４＞次に上
記実施の形態の動作時の特にレイアウト解析結果に対す
る画像格納部１２での格納動作について、他の動作４と
して説明する。ここでは、紙面Ｐを原画像としてレイア
ウト解析部１３で得たレイアウト構成要素の画像データ
に加えて、例えば添削の画像や注釈の画像などを、原画
像に対して一時的に重ね合わせて表示するための一時表
示用構成要素として加えて画像格納部１２に格納させる
ものとする。

【０１２３】しかるに、この画像格納部１２に格納して
いる画像データを例えば画像出力部１８により外部機器
に出力する時は、この一時表示用構成要素を用いずに原
画像から得たレイアウト構成要素の画像データのみによ
り出力画像を生成し、出力するものとする。

【０１２４】一方、この画像格納部１２に格納している
画像データを例えば表示部１７で表示させる時は、この
一時表示用構成要素を原画像のレイアウト構成要素の画
像データに加えて表示してもよいし、あるいは原画像の
レイアウト構成要素の画像データのみ、あるいは一時表
示用構成要素の画像データのみを選択的に表示してもよ
いものとする。

【０１２５】これらの選択操作は操作入力部１５を用い
てオペレータの指示によって決められるものとする。

【０１２６】一時表示用構成要素は、任意のレイアウト
構成要素の画像データに対してオペレータが指示するこ
とによってそのレイアウト構成要素を一時表示用構成要
素として定義するように変更設定しても良いし、オペレ
ータの操作により、原画像とは別に文字や図形を画像と
して生成して、それを一時表示用構成要素としても良
い。また、ある一時表示用構成要素に対してオペレータ
が指示することにより、これをレイアウト構成要素に転
換するようにもできるものとする。

【０１２７】さらに、レイアウト構成要素の画像データ
の一部にフラグを設定し、そのフラッグのオン／オフを
変更設定することによって、一時表示用構成要素である
ことを示すような構成にしても良い。

【０１２８】しかるに、上記一時表示用構成要素の画像
データは、表示する際に原画像のレイアウト構成要素の
画像データとは色や濃度を変えるなどの処理を施して区
分表示すると、より一層その違いがわかりやすくなるの
で、一時表示用構成要素の画像データは、レイアウト構
成要素の画像データを仮に消去する操作や、付箋、マー
キングなどとして用いることができ、より多彩な表示画
像を構成することかできるものである。

【０１２９】さらに、一時表示用構成要素として複数種
類の一時表示用構成要素を用意して用途ごとに区分表示
して、それらを使い分けられるように構成するものとし
ても良い。

【０１３０】（第２の実施の形態） ＜第２の実施の形態の構成＞以下図面を参照して本発明
の第２の実施の形態について説明する。

【０１３１】図２１は同実施の形態に係る文書画像編集
装置の構成を示すもので、９１は紙面Ｐ上の文書画像を
走査して入力するイメージスキャナでなる画像入力部で
あり、各種の文書が記録された紙面Ｐ上を走査して、紙
面Ｐ上の文書画像を読込み、文書画像データとして出力
する。

【０１３２】９２は上記したような文書画像データを保
存、格納し、必要に応じて出力する格納部である。

【０１３３】９３は画像格納部９２から読出した文書画
像データのレイアウト解析を行なうレイアウト解析部で
あり、上記格納部９２より出力された編集対象となる文
書画像データのレイアウトを解析し、レイアウト構成要
素を出力する。

【０１３４】ここで、レイアウト解析技術は文書画像理
解分野で知られている既存の技術であり、レイアウト構
成要素とは、文字の位置サイズ情報、行の位置サイズ情
報、複数行からなるパラグラフに相当する文章ブロック
の位置サイズ情報などの情報の他、写真、図、テキスト
などの領域の位置サイズ情報、種類などからなるもの
で、その領域をさらに細かく分類し、タイトル、著者
名、日付け、ヘッダー、フッターなどの分類情報を含む
ことも可能である。

【０１３５】なお、上記位置サイズ情報とは、位置とサ
イズが互いに関係しており、例えば、矩形の左端と右端
の位置座標の差が横方向のサイズであるので、その意味
で、特に位置とサイズを区別せず、これらの情報を位置
サイズ情報と呼称するものとする。

【０１３６】また、９４はレイアウト解析部９３の出力
するレイアウト構成要素と原画像とを用いて文字認識を
行なう文字認識部であり、文字認識の結果得られた文字
コードを出力する。

【０１３７】９５は、格納部９２に格納される原画像
と、レイアウト解析部９３の出力するレイアウト構成要
素、あるいは文字認識部９４で得られた文字コードデー
タを用いて表示管理部９６で表示画面を構成させる文書
処理部であり、表示管理部９６で構成させた画面を表示
部９７で表示出力させる。

【０１３８】しかるに、表示部９７での表示画面を見て
この文書画像編集装置のオペレータは例えばポインティ
ングデバイスとしてのマウスを備えた操作入力部９８に
より操作を行なう。この操作情報は、操作入力部９８か
ら上記文書処理部９５に直接入力され、これを受けて文
書処理部９５はあらためて表示画面を作成しなおして、
表示管理部９６により表示部９７での表示を行なわせる
ように動作するもので、オペレータは必要に応じて画像
の編集作業を行なうべく操作入力部９８を操作する。

【０１３９】そして、オペレータの操作による画像の編
集作業や文字認識処理、確認作業等が終了すると、当該
文書のデータが出力部９９を経由してこの文書画像編集
装置の外部に出力される。

【０１４０】＜第２の実施の形態の動作＞次に上記実施
の形態の動作について説明する。紙面Ｐから入力された
原画像の画像データは、格納部９２に格納された後、ま
ず直接表示管理部９６に読み出されて表示データが作成
され、表示部９７で表示される。

【０１４１】この表示画像に対して、オペレータが読取
る画像の領域を操作入力部９８でのポインティグデバイ
スなどで指示する。指示された領域に対応する画像デー
タは格納部９２からレイアウト解析部９３に読出され、
ここでレイアウト解析がなされるもので、解析の結果得
られたレイアウト構成要素は格納部９２に格納される。

【０１４２】次いで、この格納部９２に格納されレイア
ウト構成要素と原画像の画像データとが文字認識部９４
により読出され、文字認識部９４は各文字画像領域毎に
文字認識を行なって、その文字認識結果としての文字コ
ードデータを格納部９２に格納させる。文字認識後、文
書処理部９５は文字認識によって得られた文字コードデ
ータではなく、上記レイアウト解析により得られたレイ
アウト構成要素と原画像データとにより再度表示データ
を作成し、表示管理部９６により表示部９７に表示させ
るもので、その表示内容に対する文字列の削除、移動、
コピーを含んだ各種編集指定が操作入力部９８でオペレ
ータによりなされると、文書処理部９５はその編集指定
に対応した編集処理を実行し、文書データを作成して格
納部９２に格納する。

【０１４３】しかして、作成された文書データは出力部
９９により外部へ出力される。

【０１４４】上記操作入力部９８での操作に基づいた編
集処理は、一般的なワープロソフト等でキーボードを用
いて文字を入力し、編集する場合と同等の操作性を実現
するものとし、レイアウト解析により得られたレイアウ
ト構成要素と原画像とにより表示される内容に対して、
挿入、移動、コピー等の編集処理を行なう。

【０１４５】このように、ポインティングデバイス等に
より文書画像データの任意領域を指定した上でその領域
内の文書画像による文字認識を実行させ、得た認識結果
を用いて編集動作に移行することができるため、より高
い認識率を得て誤認識を極力排除することができ、認識
結果を有効に編集に活用することが可能となる。

【０１４６】なお、紙面Ｐを走査して画像入力部９１で
入力する画像は、２値画像、濃淡画像、カラー画像いず
れであっても良く、また縮小、拡大など変形を施したも
のであっても良い。

【０１４７】＜第２の実施の形態の他の動作１＞次に上
記実施の形態の他の動作１として、特に領域指示を行な
う場合の表示画面と操作状況とを説明する。

【０１４８】ここでは、読取るべき領域の指定をレイア
ウト解析部９３によるレイアウト解析と文字認識部９４
による文字認識の後に行なうものとして構成した場合の
動作について説明する。

【０１４９】図７（１）は画像入力部９１で入力する紙
面Ｐの原画像を例示するもので、図７（２）はその原画
像をレイアウト解析部９３によりレイアウト解析した場
合の結果として得られる、各文字画像の１つ１つの文字
位置と大きさから定まる文字枠を原画像に重ねて表示し
たものである。

【０１５０】この場合の文字枠は上記図７（２）に示し
た内容ではなく、文字画像と文字画像の間の中央に間仕
切り線を示す図９に示したようなものであっても良く、
さらには文字枠を表示せず、図１０に示したように行枠
のみを表示するものとしてもしても良いし、その他、ど
のような枠を用いるものとしても、あるいは枠自体を表
示しないものとしても良い。

【０１５１】このレイアウト解析を行なった後、図７
（３）に示すように操作入力部９８のポインティングデ
バイスを用いて表示画面上でカーソルＣを表示させるも
ので、ここでは読取対象の文字列画像中の図示する
「ま」の位置までカーソルＣを移動させている状態を示
す。

【０１５２】ここでマウスのボタンをクリックし、その
ままドラッグして次に、図７（４）に示すように読取対
象の文字列画像中の図示する「く」の位置までカーソル
Ｃを移動させ、それからクリックを解除すると、こうし
た位置指定によって文字列「まぼろしのごとくなり」が
選択されたこととなり、他の文字画像と色を変えるなど
して区分表示される。

【０１５３】なお、この区分表示は、いずれもオペレー
タがどれが読取対象として選択した文字列画像であるか
を分かり易くするためであり、他にも矩形内全体や文字
画像の色や濃度、文字の表示フォントを変えるなどの方
法が考えられる。

【０１５４】こうして読取対象として選択した文字列画
像は、矩形領域の並び方から改行位置がある場合にこれ
を推定して各矩形の接続関係を求め、これによってオペ
レータによって指示された先頭文字画像と最後尾の文字
画像から読取対象文字列画像を決めるようにする。

【０１５５】しかるに、こうして選択した読取対象とな
る文字列画像を用いて文字認識部９４で文字認識処理を
実行し、文字認識結果としての文字コードデータを得
て、これを格納部９２に格納する。

【０１５６】文書処理部９５は、この格納部９２に格納
した文字コードデータの列から表示データを作成し、上
記該当する文字画像に代えて編集中の文書に表示させ
る。

【０１５７】このように、レイアウト認識技術によるレ
イアウト情報を有効に用いて、文書画像に含まれる文章
領域中の任意文字列範囲を指定した上でその指定範囲の
文字認識を行なうことで、より高い認識率を得て誤認識
を極力排除することができ、認識結果を有効に編集に活
用することが可能となる。

【０１５８】＜第２の実施の形態の他の動作２＞次に上
記実施の形態の他の動作２を説明する。

【０１５９】紙面Ｐから入力された原画像の画像データ
は、格納部９２に格納された後、格納部９２からレイア
ウト解析部９３に読出され、ここでレイアウト解析がな
されるもので、解析の結果得られたレイアウト構成要素
は格納部９２に格納される。

【０１６０】次いで、この格納部９２に格納されたレイ
アウト構成要素と原画像の画像データとが文字認識部９
４により読出され、文字認識部９４は各文字画像領域毎
に文字認識を行なって、その文字認識結果としての文字
コードデータを格納部９２に格納させる。

【０１６１】文字認識後、文書処理部９５は文字認識に
よって得られた文字コードデータではなく、上記レイア
ウト解析により得られたレイアウト構成要素と原画像デ
ータとにより再度表示データを作成し、表示管理部９６
により表示部９７に表示させるもので、その表示内容に
対する文字列の削除、移動、コピーを含んだ各種編集指
定が操作入力部９８でオペレータによりなされると、文
書処理部９５はその編集指定に対応した編集処理を実行
し、文書データを作成して格納部９２に格納する。

【０１６２】しかして、編集処理によって内容が変更さ
れた部分は必要により再度レイアウト解析部９３によっ
てレイアウト解析され、文字認識部９４で文字認識され
るもので、こうして編集処理がなされ、最終的に得られ
た結果としての文書データが出力部９９により外部へ出
力される。

【０１６３】なお、上記動作においては、文字認識部９
４による文字認識処理を最終的な文字列の編集処理の後
に一括して行なうものとしても良い。

【０１６４】＜第２の実施の形態の他の動作３＞次に上
記実施の形態の他の動作３を説明する。紙面Ｐから入力
された原画像の画像データは、格納部９２に格納された
後、レイアウト解析部９３に読出され、レイアウト解析
が行なわれて、解析の結果得られたレイアウト構成要素
に関する情報は格納部９２に格納される。

【０１６５】上記レイアウト解析により得られたレイア
ウト構成要素と原画像データにより表示データが作成さ
れ、表示管理部９６により表示部９７に表示され、その
表示内容に対し、レイアウト認識で誤ったブロックの領
域、行の領域、文字領域などのレイアウト構成要素があ
れば、オペレータにより操作部９８から訂正操作入力が
行なわれると、文字認識部９４にて訂正されたレイアウ
ト構成要素の情報と原画像に基づいて文字認識が行なわ
れ、その認識結果は格納部９２に格納される。

【０１６６】最終的に得られた文字認識結果としての文
書データは出力部９９により外部に出力される。

【０１６７】なお、上記第１乃至第２の実施の形態にお
いては、いずれも文書画像が横書きであるものとして説
明したが、レイアウト解析により縦書きの文書画像であ
っても同様に適用することができることは勿論である。

【０１６８】その他、本発明は上記各実施の形態に限定
されるものではなく、その要旨を逸脱しない範囲内で種
々変形して実施することが可能であるものとする。

【０１６９】

【発明の効果】請求項１記載の発明によれば、レイアウ
ト認識技術により得られたレイアウト構成要素に関する
情報に基づき、文章領域中の任意文字列に対する編集を
行なう際に、より見やすい状態としてユーザの指示にし
たがった任意の編集操作を可能として、編集作業を円滑
に効率よく行なうことができる。

【０１７０】請求項２記載の発明によれば、上記請求項
１記載の発明の効果に加えて、文書画像データの構成が
より見やすい状態で表示、選択可能であるため、編集の
範囲や位置を確認することが容易となる。

【０１７１】請求項３記載の発明によれば、上記請求項
１記載の発明の効果に加えて、レイアウト解析で得られ
た文書画像に対する修正操作をより容易に行なうことが
できる。

【０１７２】請求項４記載の発明によれば、上記請求項
１記載の発明の効果に加えて、文書画像データを構成す
る各画像ブロック毎に独立したファイルとして格納する
ために、編集作業で内容に変化を生じた画像ブロックに
対応するファイルのみ格納されているデータを書換える
ようにすればよいので、文書画像データの取扱いが容易
となる。

【０１７３】請求項５記載の発明によれば、上記請求項
１記載の発明の効果に加えて、例えば文書画像データに
対する添削画像等を添付画像データとして合わせて格納
し、必要に応じて文書画像データのみを出力するか、添
付画像データを合わせて出力するかを選択することが可
能となる。

【０１７４】請求項６記載の発明によれば、ポインティ
ングデバイス等により文書画像データの任意領域を指定
した上でその領域内の文書画像による文字認識を実行さ
せ、得た認識結果を用いて編集動作に移行することがで
きるため、認識結果を他のレイアウト構成要素と同様に
編集処理することが可能となる。

【０１７５】請求項７記載の発明によれば、レイアウト
認識技術によるレイアウト情報を有効に用いて、文書画
像に含まれる文章領域中の任意文字列範囲を指定した上
でその指定範囲の文字認識を行なうことで、より高い認
識率を得て誤認識を極力排除し、認識結果を有効に編集
に活用することが可能となる。

【０１７６】請求項８記載の発明によれば、上記請求項
７記載の発明の効果に加えて、レイアウト情報を修正し
た上でそれに基づいた任意の文字列による文字認識を行
なわせることができるため、文字の認識率をより向上さ
せることが可能となる。

【０１７７】請求項９記載の発明によれば、レイアウト
認識技術により得られたレイアウト構成要素に関する情
報に基づき、文章領域中の任意文字列に対する編集を行
なう際に、より見やすい状態としてユーザの指示にした
がった任意の編集操作を可能として、編集作業を円滑に
効率よく行なわせることができる。

【０１７８】請求項１０記載の発明によれば、ポインテ
ィングデバイス等により文書画像データの任意領域を指
定した上でその領域内の文書画像による文字認識を実行
させ、得た認識結果を用いて編集動作に移行させること
ができるため、認識結果を他のレイアウト構成要素と同
様に編集処理することが可能となる。

【０１７９】請求項１１記載の発明によれば、レイアウ
ト認識技術によるレイアウト情報を有効に用いて、文書
画像に含まれる文章領域中の任意文字列範囲を指定した
上でその指定範囲の文字認識を行なわせることで、より
高い認識率を得て誤認識を極力排除し、認識結果を有効
に編集に活用させることが可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る文書画像編集
装置の構成を示すブロック図。

【図２】同実施の形態に係る入出力される文書画像デー
タを例示する図。

【図３】同実施の形態に係る文書画像編集全体の処理内
容を示すフローチャート。

【図４】同実施の形態に係る画像編集の詳細な処理内容
を示すフローチャート。

【図５】同実施の形態に係る画像編集の詳細な処理内容
を示すフローチャート。

【図６】同実施の形態に係る画像編集の詳細な処理内容
を示すフローチャート。

【図７】同実施の形態に係る動作時の表示画面を例示す
る図。

【図８】同実施の形態に係る動作時の表示画面を例示す
る図。

【図９】同実施の形態に係るレイアウト解析結果の他の
表示例を示す図。

【図１０】同実施の形態に係るレイアウト解析結果の他
の表示例を示す図。

【図１１】同実施の形態に係る他の動作例１でのレイア
ウト解析結果を例示する図。

【図１２】同実施の形態に係る他の動作例２でのブロッ
ク領域の修正、追加動作を例示する図。

【図１３】同実施の形態に係る他の動作例２でのブロッ
ク領域の統合と分割の修正動作を例示する図。

【図１４】同実施の形態に係る他の動作例２での行領域
の統合の修正動作を例示する図。

【図１５】同実施の形態に係る他の動作例２での行領域
の分割の修正動作を例示する図。

【図１６】同実施の形態に係る他の動作例２での文字画
像領域の統合の修正動作を例示する図。

【図１７】同実施の形態に係る他の動作例２での文字画
像領域の分割の修正動作を例示する図。

【図１８】同実施の形態に係る他の動作例２での文字画
像領域の他の修正動作を例示する図。

【図１９】同実施の形態に係る他の動作例２での文字画
像領域の分割の他の修正動作を例示する図。

【図２０】同実施の形態に係る他の動作例２での文字画
像領域の統合の他の修正動作を例示する図。

【図２１】本発明の第２の実施の形態に係る文書画像編
集装置の構成を示すブロック図。

【符号の説明】

１１…画像入力部 １２…画像格納部 １３…レイアウト解析部 １４…画像処理部 １５…操作入力部 １６…表示管理部 １７…表示部 １８…画像出力部 ２１…テキスト領域 ２２…写真領域 ２３…表示画面 ２４…ブロック領域 ３１…指定文字列 ３２…文字列 ３３…空白行 ４１…ブロック枠 ４２…行枠 ５１…テキスト領域 ５２…領域 ５３…枠 ５４〜５９…ブロック ６１…領域 ６２〜６４…行 ６５…カーソル ６６…（分割位置を表わす）破線 ７１…領域 ７２〜７４…文字画像 ７５…カーソル ７６…（分割位置を表わす）破線 ８１…行枠８１ ８２，８３…文字領域間の線 ８４…カーソル ８５…文字領域間の線 ９１…画像入力部 ９２…格納部 ９３…レイアウト解析部 ９４…文字認識部 ９５…文書処理部 ９６…表示管理部 ９７…表示部 ９８…操作入力部 ９９…出力部 Ｐ…紙面

Claims (11)

【特許請求の範囲】
1. 【請求項１】文書画像データのレイアウト構成を解析す
   るレイアウト解析手段と、 このレイアウト解析手段より得られるレイアウト情報と
   上記文書画像データから表示用データを生成して表示す
   る表示手段と、 ユーザ入力の受付けを行なう操作入力手段と、 この操作入力手段より上記文書画像データ中の複数ブロ
   ックで構成された文章部分中の任意文字列範囲が指定さ
   れた際にその指定された文字列範囲を他の文字列と区分
   して表示する表示制御手段と、 この表示制御手段で区分して表示した文字列範囲に対し
   て上記操作入力手段より編集の指示入力がなされた場合
   にその編集処理を実行する編集処理手段とを具備したこ
   とを特徴とする文書画像編集装置。
2. 【請求項２】上記表示手段は、上記レイアウト解析手段
   で得られるレイアウト情報に基づいて上記文書画像デー
   タをブロック、行及び文字の各単位でそれぞれ識別可能
   に表示し、且つ選択可能とすることを特徴とする請求項
   １記載の文書画像編集装置。
3. 【請求項３】上記レイアウト解析手段は、上記操作入力
   手段により上記レイアウト解析手段で得た文書画像デー
   タのレイアウト情報をブロック、行または文字のいずれ
   かの単位で分割または統合するべく指示入力がなされた
   場合に、その指示入力に従ってレイアウト情報を修正す
   ることを特徴とする請求項１記載の文書画像編集装置。
4. 【請求項４】上記レイアウト解析手段がレイアウト構成
   を解析するための文書画像データを格納しておく画像格
   納手段をさらに具備し、 この画像格納手段は、文書画像データを画像ブロック毎
   にファイル化して格納することを特徴とする請求項１記
   載の文書画像編集装置。
5. 【請求項５】上記レイアウト解析手段がレイアウト構成
   を解析するための文書画像データを格納しておく画像格
   納手段をさらに具備し、 この画像格納手段は、文書画像データに添付する添付画
   像データを合わせて格納し、 上記操作入力手段での選択入力により文書画像データに
   対する添付画像データの出力の有無を設定することを特
   徴とする請求項１記載の文書画像編集装置。
6. 【請求項６】文書画像データから表示用データを生成し
   て表示する表示手段と、 ユーザ入力の受付けを行なう操作入力手段と、 この操作入力手段より上記表示手段で表示される文書画
   像の任意領域が指定された際にその指定された領域中の
   文書画像の文字認識を行なう文字認識手段と、 この文字認識手段で得た文字認識結果を上記操作入力手
   段での編集の指示入力に応じて文書画像中の任意の位置
   で編集処理する編集処理手段とを具備したことを特徴と
   する文書画像編集装置。
7. 【請求項７】文書画像データのレイアウト構成を解析す
   るレイアウト解析手段と、 このレイアウト解析手段より得られるレイアウト情報と
   上記文書画像データから表示用データを生成して表示す
   る表示手段と、 ユーザ入力の受付けを行なう操作入力手段と、 この操作入力手段より上記文書画像データ中の複数ブロ
   ックで構成された文章部分中の任意文字列範囲が指定さ
   れた際にその指定された文字列範囲を他の文字列と区分
   して表示する第１の表示制御手段と、 この第１の表示制御手段で区分して表示した文字列範囲
   に対して文字認識処理を行なう文字認識手段と、 この文字認識手段で得た文字認識結果を上記指定された
   文字列範囲に代えて表示させる第２の表示制御手段とを
   具備したことを特徴とする文書画像編集装置。
8. 【請求項８】上記レイアウト解析手段は、上記操作入力
   手段により上記レイアウト解析手段で得た文書画像デー
   タのレイアウト情報をブロック、行または文字のいずれ
   かの単位で分割または統合するべく指示入力がなされた
   場合に、その指示入力に従ってレイアウト情報を修正す
   ることを特徴とする請求項７記載の文書画像編集装置。
9. 【請求項９】文書画像データのレイアウト構成を解析
   し、解析して得たレイアウト情報と上記文書画像データ
   から表示用データを生成して表示する際、 上記文書画像データ中の複数ブロックで構成された文章
   部分中の任意文字列範囲が指定されるとその指定された
   文字列範囲を他の文字列と区分して表示し、 区分して表示した文字列範囲に対して編集の指示入力が
   なされるとその編集処理を実行することを特徴とする文
   書画像編集方法。
10. 【請求項１０】文書画像データから表示用データを生成
    して表示する際、 表示される文書画像の任意領域が指定されるとその指定
    された領域中の文書画像の文字認識を行ない、 得た文字認識結果を用い、編集の指示入力に応じて文書
    画像中の任意の位置で編集処理することを特徴とする文
    書画像編集方法。
11. 【請求項１１】文書画像データのレイアウト構成を解析
    し、解析して得たレイアウト情報と上記文書画像データ
    から表示用データを生成して表示する際、 上記文書画像データ中の複数ブロックで構成された文章
    部分中の任意文字列範囲が指定されるとその指定された
    文字列範囲を他の文字列と区分して表示し、区分して表
    示した文字列範囲に対して文字認識処理を行ない、 得た文字認識結果を上記指定された文字列範囲に代えて
    表示させることを特徴とする文書画像編集方法。