JP2000163044A

JP2000163044A - 画像表示装置

Info

Publication number: JP2000163044A
Application number: JP10338654A
Authority: JP
Inventors: Masashi Hirozawa; 昌司広沢; Masafumi Yamanoue; 雅文山之上
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1998-11-30
Filing date: 1998-11-30
Publication date: 2000-06-16
Also published as: EP1136980A1; CN1167043C; US6720965B1; CN1328677A; EP1136980A4; KR100396728B1; KR20020003855A; WO2000033289A1

Abstract

(57)【要約】【課題】文書画像データを単純に拡大または縮小する
と表示画面で見にくかった。【解決手段】入力画像格納手段１の入力画像から行分
割領域抽出手段２により行方向に複数の行分割領域を得
て、行分割領域を拡大縮小情報指定手段３により指示さ
れた倍率で、配置決定手段４により行分割領域の並び順
が変わらないように拡大または縮小して位置を決定し、
拡大縮小配置手段５により出力画像格納手段６の出力画
像に配置する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文字や図・写真を
含む文書画像を見やすいように拡大または縮小して出力
する装置に関する。

【０００２】

【従来の技術】文字や図・写真を含む文書画像を表示装
置で拡大または縮小する場合、画像全体を単純に拡大ま
たは縮小する技術が用いられている。また、ワードプロ
セッサやＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅｂ）ブラ
ウザのように、テキストデータを表示画面や印刷用紙の
大きさに応じて行の字数等を変更して文字や画像の再配
置を行ない、表示、印刷する技術も用いられている。

【０００３】一方、画像データからなる文書画像に注目
すれば、特開平９−１６７１３号公報に示されるよう
に、文書画像中の文字領域を非文字領域と区別して抽出
する技術があり、また特開平５−３２８０９９７号公報
に示されているように、画像データから本文行領域を抽
出し、行またはブロック単位で再配置を行なって画像を
出力する技術がある。

【０００４】

【発明が解決しようとする課題】ところで、小説やマン
ガ等の本の各ページをスキャナ等で取り込んだ画像デー
タとしての文書画像を表示装置にページごとに表示させ
て読む際、文字が小さくて読みにくい場合に、この画像
を拡大しようとして単純に拡大すると、表示画面より画
像が大きくなって、文字が欠落してしまうという問題が
ある。

【０００５】また、この欠落した部分を見るため、表示
装置にスクロールバーを設けて、それらを操作すること
により画像全体を見ることが可能となるが、縦または横
方向に操作する必要があり、操作性が悪いという問題が
ある。

【０００６】また、画像の中で例えば文字領域の部分
等、必要な部分のみを拡大または縮小する場合には逐一
拡大または縮小の倍率を指定する必要があり、操作性が
悪いという問題がある。さらに、本のページのレイアウ
トが変わる度に拡大または縮小の倍率を変更する必要が
あり、やはり操作性が悪いという問題がある。

【０００７】また、画像を縮小する場合、例えば縦に長
い画像を表示画面の縦方向に収まるぐらいに単純縮小し
ても、表示画面の横方向が余ってしまい、表示画面が有
効に利用されず、表示装置に表示される情報量が少なく
なるという問題がある。

【０００８】本発明の目的は、上記問題点に鑑み、文字
や図・写真を含む画像データとしての文書画像を見やす
くするために表示画面を拡大または縮小する画像表示装
置を提供するものである。

【０００９】

【課題を解決するための手段】請求項１に記載の画像表
示装置は、所定単位で記憶された入力画像を拡大または
縮小して出力画像上に再配置して表示する画像表示装置
であって、上記入力画像中の行領域を行方向に複数分割
した行分割領域を抽出する行分割領域抽出手段と、上記
抽出された行分割領域を単位として、行分割領域の並び
順を保持したまま拡大または縮小し、上記出力画像上に
再配置する処理手段と、を有することを特徴とする。

【００１０】請求項２に記載の画像表示装置は、請求項
１に記載の画像表示装置において、上記行分割領域抽出
手段が抽出した行分割領域は、文字領域であることを特
徴とする。

【００１１】請求項３に記載の画像表示装置は、請求項
１に記載の画像表示装置において、上記出力画像は所定
単位で記憶され、上記入力画像は順次拡大または縮小さ
れて、上記出力画像に再配置した時に再配置できない行
分割領域を上記出力画像に連続する他の出力画像に再配
置することを特徴とする。

【００１２】請求項４に記載の画像表示装置は、請求項
１に記載の画像表示装置において、上記入力画像の縦あ
るいは横方向の少なくとも一方の寸法と拡大または縮小
の倍率との積が、上記出力画像の縦あるいは横方向の少
なくとも一方の寸法の小整数分の小整数倍になるように
設定されていることを特徴とする。この小整数（小整数
とは、１，２，３，‥の絶対値の比較的小さい整数と定
義）分の小整数倍は、整数倍または整数分の１を含んで
いる。従って、小整数分の小整数は、２／３や３（３／
１）などになる。

【００１３】請求項５に記載の画像表示装置は、請求項
１に記載の画像表示装置において、上記処理手段は、組
版処理を入れて再配置することを特徴とする。

【００１４】請求項６に記載の画像表示装置は、請求項
１に記載の画像表示装置において、上記入力画像は、背
景画像を除去されていることを特徴とする。

【００１５】請求項７に記載の画像表示装置は、請求項
１に記載の画像表示装置において、表示の際の上記入力
画像の所定単位と上記出力画像の所定単位とが等しいこ
とを特徴とする。

【００１６】請求項８に記載の画像表示装置は、請求項
１に記載の画像表示装置において、上記入力画像から図
・写真領域を検出する図領域検出手段と、検出した図・
写真領域を行分割領域と同一の倍率で拡大または縮小さ
れた時に上記出力画像より大きくならないように制限し
た倍率を求める図拡大縮小率算出手段と、を有し、上記
処理手段は、上記制限された倍率で拡大または縮小され
た図・写真領域が拡大または縮小された行分割領域と重
ならないように上記出力画像上に再配置することを特徴
とする。

【００１７】請求項９に記載の画像表示装置は、請求項
１に記載の画像表示装置において、上記入力画像から図
・写真領域を検出する図領域検出手段と、検出した図・
写真領域を拡大または縮小した時に上記出力画像より大
きくなる時に、検出した図・写真領域を拡大または縮小
された時の大きさが収まるよう上記出力画像の大きさを
新たに設定する出力画像サイズ算出手段を有し、上記処
理手段は、新たに設定された出力画像上に拡大または縮
小された図・写真領域と拡大または縮小された行分割領
域とが重ならないように上記出力画像上に再配置するこ
とを特徴とする。

【００１８】請求項１０に記載の画像表示装置は、請求
項１に記載の画像表示装置において、上記入力画像から
本体領域と周辺領域を検出する本体周辺領域検出手段を
有し、上記処理手段は、上記入力画像での本体領域と周
辺領域との相対位置と上記出力画像での本体領域と周辺
領域との相対位置とが変わらないように、上記本体領域
と周辺領域とを再配置することを特徴とする。

【００１９】請求項１１に記載の画像表示装置は、所定
単位で記憶された入力画像を拡大して出力画像上に再配
置して表示する画像表示装置であって、上記入力画像か
ら本体領域を抽出する本体領域抽出手段と、抽出された
本体領域が上記出力画像と同じ大きさになるように拡大
率を求める拡大率算定手段と、複数の上記入力画像で求
めた拡大率から共通の拡大率を算出する拡大率共通化手
段と、上記入力画像を共通の拡大率で拡大し、上記出力
画像上に出力する処理手段と、を有することを特徴とす
る。

【００２０】請求項１２に記載の画像表示装置は、請求
項１または請求項１１のいづれかに記載の画像表示装置
において、上記入力画像と上記出力画像との表示切替え
を指示する切替え手段を有することを特徴とする。

【００２１】

【発明の実施の形態】〔実施の形態１〕図１に、本実施
の形態に係る要部ブロック図を示す。図１において、入
力画像格納手段１は入力画像を格納しておくＩＣメモリ
や磁気メモリなどの記憶手段であり、スキャナーやビデ
オキャプチャーや通信ポートを含んでいてもよい。な
お、この入力画像は、小説やマンガ等の本をスキャナ等
でページ単位で読み取った画像データとしての文書画像
であり、本のページ単位で各画像データが順序付けられ
て格納されている。なお、ページ単位での格納に限ら
ず、見開きページや段組ごと等、所定の単位で格納して
あればよいが、以下の説明ではページ単位ごとに画像デ
ータが格納されているものとして説明する。

【００２２】行分割領域抽出手段２は、入力画像格納手
段１に格納された入力画像をページ単位で行領域を抽出
し、それを複数の行分割領域に分割する。拡大縮小情報
指定手段３は、行分割領域の拡大縮小率と出力画像サイ
ズとを、固定値、計算、またはユーザーによる入力によ
り指定する。配置決定手段４は、行分割領域抽出手段２
からの行分割領域の情報と拡大縮小情報指定手段３から
の拡大縮小率と出力画像サイズの情報とから、各行分割
領域を出力画像上のどの位置にどのくらいの拡大縮小率
で配置するかを計算する。

【００２３】拡大縮小配置手段５は、入力画像格納手段
１から得られる入力画像を拡大または縮小し、配置決定
手段４から得られる出力画像上の位置に配置する。この
ように倍率指定により再配置された画像は、出力画像と
して画像出力画像格納手段６に格納される。以上の構成
により、入力画像がページ単位で再配置処理されて出力
画像に格納される。

【００２４】図２に、図１の構成を内装した本実施の形
態に係る電子ブックビューワとしての表示装置の外観図
を示す。１００はＣＲＴや液晶パネル等のビットマップ
表示可能な表示画面であり、１０１は入力画像格納手段
１の入力画像の表示と出力画像格納手段６の出力画像の
表示とのいづれかを同一の表示画面１００内で切り替え
る切替え手段としてのボタンであり、１０２はページめ
くり手段としてのボタンである。このボタン１０２によ
り、ページ単位で入力画像を順次切り替えることができ
ると共に、出力画像がページ単位であれば、出力画像も
ページ単位で順次切り替えることができる。なお、図２
は、拡大縮小情報指定手段３としてのＧＵＩを用いた倍
率指定のソフトボタンを表示した状態を示している。拡
大縮小情報指定手段３による倍率指定は、キーボードや
ボタンや音声などからの入力でもよく、ハードボタンま
たはソフトボタンを押すと一定刻みで倍率値が増減する
ようなものでも良く、また倍率値の増減に応じて、出力
画像がリアルタイムに変化するようにするのも、視覚的
に分かり易くて良い。また、拡大縮小情報指定手段３に
より出力画像は任意のサイズに変更可能であるが、特に
断らない限り、表示される出力画像は、表示される入力
画像と同一サイズの画像として説明する。また、出力画
像サイズは、通常、ページめくり操作やスクロール操作
の便宜のため、入力画像の縦横いづれか一方の寸法と同
じにしてあるのが望ましい。さらに、図２の装置に、拡
大または縮小後の出力画像を見るためのジョグダイヤル
等のスクロール操作指示手段を設けていてもよい。

【００２５】次に、図１の行分割領域抽出手段２の動作
を図３のフローチャートを用いて説明する。まず、ステ
ップＳ１で画像の縦軸、横軸の投影を取り、ステップＳ
２へ進む。ステップＳ２で、画像中の文字列が縦行かど
うかを判断し、縦行と判断されればステップＳ３へ進
み、縦行でないと判断されればステップＳ６へ進む。ス
テップＳ３とステップＳ６の違いは、縦行か横行かの違
いなので、縦と横を変えるだけで同様の処理になる。ス
テップＳ３以降の処理であるステップＳ４、ステップＳ
５も縦と横を変えるだけでステップＳ７、ステップＳ８
と同様にして処理できる。従って、以降は、ステップＳ
６側だけで説明する。

【００２６】ステップＳ６では、画像中から行領域を抽
出し、ステップＳ７へ進む。ステップＳ７では、各矩形
（各行領域）の中だけで横軸への投影を取り、ステップ
Ｓ８へ進む。ステップＳ８では、行領域を横に複数の領
域に分け、行分割領域抽出手段２を抜ける。

【００２７】図４は図３のステップＳ１を行なった例で
ある。図４において、１０は処理する入力画像、１１は
入力画像１０の濃度値を横軸（以下、ｘ軸とも呼ぶ）に
投影した折れ線グラフ、１２は入力画像１０の濃度値を
縦軸（以下、ｙ軸とも呼ぶ）に投影した折れ線グラフで
ある。グラフ１１では、右方向を投影位置を表すＰｘ
軸、上方向を投影値を表すＶｘ軸、グラフ１２では、下
方向を投影位置を表すＰｙ軸、上方向を投影値を表すＶ
ｙ軸とする。入力画像が二値画像の場合は、黒画素の数
を数えることに当たる。多値画像の場合は、濃度値の和
になる。図３では分かり易いように、投影結果の投影位
置と入力画像１０の投影に使われた画素の位置がｘ軸方
向で揃うように、グラフ１２と入力画像１０を並べて表
現している。グラフ１１も同様に、投影結果の投影位置
と入力画像１０の投影に使われた画素の位置が揃うよう
にしてある。各位置の投影結果を例えば１６ｂｉｔの整
数値で表現するとすると、全投影結果は、１６ｂｉｔ値
を要素とする画像幅の大きさの配列に収められることに
なる。

【００２８】図３のステップＳ２を図５のフローチャー
トを用いて説明する。図５において、ステップＳ１０
で、縦軸への投影が規則的かどうかを判断する。規則的
であるかどうかを判断する方法は色々考えられる。例え
ば、投影結果を周波数解析して、特定周波数の鋭いピー
クが存在するかどうかで判断する方法もある。ここでは
簡単に、まず投影結果を閾値で二値化する。結果は、例
えば、０，０，１，０，０，０，１，１，１，０，０，
０，１，１，１，０，０，０，１，１，１，０，０など
という値を持つ配列になる。ここで０のランレングスと
１のランレングスを調べ、ランレングスの度数分布を調
べる。先の例で言えば、０は、ランレングスが３の度数
が３、ランレングスが２の度数が２であり、１は、ラン
レングスが１の度数が１、ランレングスが３の度数が３
である。ランレングスが閾値Ｔ１より大きく、その度数
が閾値Ｔ２より大きい場合に、規則的であると判断す
る。例えば、Ｔ１を２、Ｔ２を２とすると、先の例は規
則的であると判断される。

【００２９】図５のステップＳ１０で、縦軸への投影が
規則的と判断された場合はステップＳ１１へ向かい、規
則的でないと判断した場合はステップＳ１２に向かう。
ステップＳ１１では横軸への投影が規則的かどうかを判
断する。規則的である場合は、ステップＳ１３に向か
い、規則的でない場合は、結合子Ｐ３に向かう。規則的
であるかどうかは、ステップＳ１０と同様の方法で判断
すれば良い。

【００３０】ステップＳ１３では、縦軸投影の背景濃度
の幅と横軸投影の背景濃度の幅を比べて、縦軸投影の方
が大きいかどうかを判断する。これは先のランレングス
の例で言えば、背景濃度である０のランレングスを比較
することになる。閾値Ｔ１より大きく、その度数が閾値
Ｔ２より大きい、０のランレングスが複数ある場合は、
最も度数の大きいランレングスを比較の対象とする。先
の例で言えば、０のランレングスが３の度数が３、ラン
レングスが２の度数が２だったので、最も度数の多いラ
ンレングス値として３を比較対象として使う。縦と横で
最も度数の大きいランレングス値を比較して、大きいほ
うが幅が大きいと判断する。それ以外は結合子Ｐ２へ進
む。

【００３１】ステップＳ１３で縦軸の方が幅が大きいと
判断されたら、結合子Ｐ３へ進む。ステップＳ１２で
は、横軸への投影が規則的かどうかを判断する。判断手
法は、ステップＳ１１の手法と同様で良い。規則的であ
ると判断された場合は、結合子Ｐ２へ進む、規則的でな
いと判断された場合は、ステップＳ１３に進む。

【００３２】図３のステップＳ６では、ステップＳ２で
縦行でないと判断されているので、横行の領域を入力画
像から抽出すれば良い。図６の上の画像は、図４の一番
上の横行を抽出した例である。行を抽出する手法の例と
して、図３の例の説明で言えば、縦軸への投影結果を二
値化した時、１のランレングスの幅が閾値Ｔ３を越える
部分を行として判断してやれば良い。行と判断された部
分を、図６の上の画像の矩形領域の様に横に切り出せ
ば、行が抽出されたことになる。実際には、画像をコピ
ーするわけではなく、行の領域にあたる矩形の座標情
報、例えば左上角の座標値（ｌｅｆｔ，ｔｏｐ）と大き
さの情報（ｗｉｄｔｈ，ｈｅｉｇｈｔ）が得られれば充
分である。

【００３３】図７は、ｎ個の行がある時に、矩形の座標
情報がメモリ中に格納されている状態を模式的に示した
ものである。図７中の２０、２１は最初の行の左上隅の
座標値（ｌｅｆｔ［０］，ｔｏｐ［０］）を、２２、２
３は大きさの情報（ｗｉｄｔｈ［０］，ｈｅｉｇｈｔ
［０］）を表す。例えば、各値が２バイトで表されてい
るとすると、ｔｏｐ［０］のアドレス値は、ｌｅｆｔ
［０］のアドレス値に２バイトずつ足せば求められる。
ｗｉｄｔｈ［０］，ｈｅｉｇｈｔ［０］も同様にして、
２バイトずつ足していけばアドレス値が得られる。この
場合、１行分の矩形情報は、８バイトで表現される。各
行の矩形情報は、図７の様に並んで格納されているとす
る。例えば、ｒｅｃｔ［０］が１行目の矩形情報のメモ
リ領域の先頭アドレス、ここで言えば２０のｌｅｆｔ
［０］のアドレスを指すとする。すると２行目の矩形情
報のアドレスｒｅｃｔ［１］は、（ｒｅｃｔ［０］＋
８）と表現できる。このようにして、各行の矩形情報に
アクセスできるようになる。得られた矩形の位置情報
は、図３のステップＳ７に送られる。

【００３４】ステップＳ７では、ステップＳ６から得ら
れた各行の矩形の位置情報を使って、各矩形（各行領
域）の中だけで横軸への投影を取る。図６の下の折れ線
グラフは、上の図形の投影を取った例である。投影結果
と矩形情報はステップＳ８に渡される。ステップＳ８で
は、ステップＳ７から得られた投影結果と矩形情報か
ら、行領域を横に複数の領域に分ける。この分け方は色
々な方法がある。例えば、分ける数が決まっている場合
は、行の幅をその数で割り、分割領域の平均の大きさを
求め、行をその平均の大きさで分けていき、仮の分割位
置とする。次に、ステップＳ７の投影結果を二値化し、
分割する位置に最も近い背景濃度０の位置を分割場所と
すれば良い。実際には、分割位置で完全に分けるのでは
なく、背景濃度０の部分は文字などはないと仮定して、
分割領域に含めなくても良い。端の部分も同様に濃度０
の部分は分割領域から除いて良い。高さに関しては、行
領域の高さをそのまま使えば良い。

【００３５】図８（ａ）は、図４の画像の各行を２つに
分割したものである。ここでは、分かり易いように、画
像に重ねて、行分割領域を四角で囲ってある。１行目の
左の分割領域の最後の文字「ボ」と右の行分割領域の最
初の文字の「ウ」の間は、背景領域（濃度０）なので、
行分割領域に含めず、従って左右の行分割領域は接して
いない。４行目の左の行分割領域も、先頭部分が一文字
分下げられているので、その分は行分割領域に含めてい
ない。また、濃度０の部分を除くことで、行分割領域の
幅が０となるものは行分割領域ではないと判断して、除
いてしまってもよい。３行目では行分割領域は一つしか
ないが、これは右側の行分割領域が、背景濃度０の部分
を除いたら幅が０となってしまうので、行分割領域とし
て認めず、従って、この行の行分割領域は１つだけであ
る。

【００３６】なお、図８（ａ）では行領域の分割数を決
めて分割したが、行分割領域の基準幅を決めておいて、
これに最も近い位置で分割するようにする方法もある。
最も近い位置で分割するのは、先に説明した手法と同様
の方法で実現できる。

【００３７】図８（ｂ）は、基準幅を決めて分割した例
である。ここでは、２文字分程度にするため、行分割領
域の高さの倍を基準幅としている。あるいは、分割数や
基準幅を決めず、濃度１のランレングスの最低幅だけを
決めて、それ以上の幅のものを行分割領域とし、それ以
下のものはノイズとして無視するか、周囲の行分割領域
に併合するという方法もある。

【００３８】なお、各行の分割数を決めておけば、入力
画像を整数倍もしくは整数分の１に拡大縮小する時に、
処理を簡単にできる利点がある。つまり、２，３，‥の
分割数に対応させて倍率を２倍，３倍，‥にしておけ
ば、再配置の計算処理が簡単になる。また、基準幅や最
低幅を決めておけば、ノイズ等の除去に有効であり、出
力画像の行幅より整数分の１程度に小さくすれば、再配
置時に、より有効に出力画像を利用して表示できる。

【００３９】図８（ｃ）は、文字領域を抽出してから、
行分割領域を抽出した例である。文字領域を抽出する方
法はいくつかあるが、例えば、背景が白で文字が黒の場
合、まず、入力画像を２値化して、黒画素の連結領域に
対してラベリングする。これは、ラスタで黒画素を探
し、まだラベリングされていない黒画素があったら、そ
の画素にラベリングを行なう（番号をふる）。ここでは
その画素値をラベリングの番号に変えてしてしまうこと
で良い。例えば、背景濃度を０、（未ラベリングの）黒
画素濃度を２５５とすると、最初に発見した画素値２５
５の画素の画素値を１にしてしまう。次にその画素値の
上下左右（あるいは斜めも）に画素値２５５の未ラベリ
ングの黒画素がないかどうかを探す。あればその画素も
ラベリング値にしてしまう。これを繰り返す。周囲にも
う未ラベリングの黒画素がなくなったら、ラベリング値
を一つ上げて２とし、再度、ラスタで未ラベリングの黒
画素を探す。これらを未ラベリングの黒画素が無くなる
まで繰り返すことで、全ての黒画素の連結領域に対して
ラベリングすることができる。次に各連結領域の外接矩
形領域を求める。これは連結領域内の画素位置の最大最
小値を縦、横で求めれば良い。１つの連結領域の情報
は、ラベリング値とその外接矩形領域の左上位置と大き
さで表現でき、処理結果は全ラベリング数のあとに、こ
れをラベリング個数分並べた形で格納すれば良い。格納
構造としては、後述の図１０の１行分の行分割領域情報
と同様になる。なお、この矩形領域の面積が閾値Ｔａ以
下のものは、ノイズと見なして、以下の処理からは除
く。

【００４０】図９（ａ）は、各連結領域の外接矩形領域
を求めた例である。ここでは、分かりやすいように、外
接矩形領域４０〜４７が文字に対して上書きしてある。
各外接矩形領域間で、距離を求め、距離が閾値Ｔｄ以下
のものは、同じ文字領域の一部とみなして、併合してし
まう。距離を求めるには、例えば、縦軸、横軸とも独立
で行なう。矩形ｕのｘ軸方向の範囲をｕ１〜ｕ２（ｕ１
≦ｕ２）、矩形ｖのｘ軸方向の範囲をｖ１〜ｖ２（ｖ１
≦ｖ２）とする。ｕ１＜ｕ２≦ｖ１≦ｖ２の場合は、
（ｖ１−ｕ２）が距離である。ｖ１≦ｕ２≦ｖ２あるい
はｕ１≦ｖ２≦ｕ２の場合は、距離は０である。ｖ１≦
ｖ２≦ｕ１≦ｕ２の場合は、（ｕ１−ｖ２）が距離であ
る。これをｙ軸方向でも行ない、小さい方の距離を矩形
間の距離とする。また、併合とは、画像上のラベリング
値をどちらかに統一し、外接矩形領域を求め直すことを
言う。まず、画像上で統一される方のラベリング値を持
つ画素を探し、統一する方のラベリング値を代入する。
また、先に説明した方法で結果を格納しているなら、統
一した方のラベリング情報の方に新しい外接矩形の位置
と大きさを代入する。統一された方のラベリング情報は
消去するため、その後に続くラベリング情報をずらしな
がらコピーする。最後に先頭に格納してある全ラベリン
グ数を１減らす。なお、１度併合したら、併合した矩形
領域を使って、再び各外接矩形領域間で距離を求める処
理からやり直す。これを併合処理がなくなるまで繰り返
す。一連の処理で最後に残った外接矩形が文字領域であ
る。図９（ｂ）は、外接矩形領域の併合処理を繰り返し
行なった結果である。図９（ａ）の４１、４２、４３が
併合されて４８の文字領域に、図９（ａ）の４６、４７
が併合されて４９の文字領域になっている。

【００４１】文字領域の矩形情報と図４のｘ軸への投影
結果から得られる行領域情報から、行分割領域を得るこ
とは簡単である。行領域が分かれば、それに含まれる文
字領域は、その行に属する文字領域であると言える。行
領域の中での最小分割単位が文字領域なので、あとはそ
れらをどうまとめるかだけである。先に説明した投影だ
けで行なう方法の様に、分割数を決めて行なう方法でも
良いし、行分割領域の基準幅を決めて行なっても良い
し、一定文字数ずつまとめても良いし、あるいは何もま
とめず、文字領域をそのまま行分割領域としても良い。
また、行分割領域を図４の投影結果から求めなくても、
文字領域の矩形間距離で行領域を得る方法もある。

【００４２】ステップＳ８で得られる行分割領域の情報
は、例えば図１０の様にしてメモリ上に格納すれば良
い。図１０において、３０は全行数、３１は最初の行に
存在する行分割領域の数ｓ［０］であり、メモリ空間上
では３０の後にｓ［０］個分だけ行分割領域の領域情報
が格納されている。３２、３３、３４、３５のＬ［０，
０］、Ｔ［０，０］、Ｗ［０，０］、Ｈ［０，０］は、
最初の行の最初の行分割領域情報、すなわち左上隅座標
値（Ｌ［０，０］，Ｔ［０，０］）、大きさ（Ｗ［０，
０］，Ｈ［０，０］）を表す。３５以降は、同様の順で
行分割領域の領域情報が並んでいる。従って、最初の行
の最後の行分割領域情報３７の値は、Ｈ［０，ｓ［０］
−１］となる。３７の次に、メモリ空間上では、次の行
の行分割領域数３８の値ｓ［１］が占める。３８以下は
最初の行と同様に、行分割領域の個数と行分割領域情報
が並んでいる。各行分割領域情報のそれぞれの値が２バ
イトで表され、行分割領域数が１バイトで表されるとす
ると、例えば、２行目の３番目の行分割領域の幅へのポ
インタは、（（ｓ［０］のポインタ）＋（１＋（８×ｓ
［０］））＋（１＋８×２＋２×（３−１）））で計算
できる。このようにして、各行分割領域の情報に、ポイ
ンタ経由でアクセスできる。

【００４３】次に、図１の配置決定手段４の動作を図１
１のフローチャートを用いて説明する。以下説明のた
め、入力画像中の行分割領域を入力行分割領域、配置決
定手段４で配置された行分割領域を出力行分割領域と呼
ぶ。配置決定手段４によって決定された出力行分割領域
情報も図１０で説明したような方法で格納されるとす
る。但し、出力画像が１つに収まらず、複数に渡る場合
もありえるので、出力行分割領域情報は複数確保するこ
とができ、例えばメモリ上に確保する場合、各出力行分
割領域情報のメモリ領域のポインタ値（例えば４バイト
数で表現される）を並べた、いわゆる配列の状態で管理
する。この配列を出力配置配列と呼ぶとする。例えば、
ｎ番目（０から数える）の出力行分割領域情報にアクセ
スしたい場合は、出力配置配列のｎ番目のポインタ値、
すなわち（ｎ×４）から４バイトで表現される値を使っ
てアクセスすれば良い。以降、出力行分割領域情報にア
クセスする時は、特に記さない限り、上記の方法でカレ
ント出力ページの出力行分割領域情報にアクセスすると
する。また、現在、何番目の出力行分割領域情報の配置
を作成しているかを表すカレント出力ページ番号を最初
は０にしておく。出力ページ番号は、倍率指定により得
られるページ番号であり、全出力ページ数は、倍率指定
と再配置の仕方によって決まるが、効率良く再配置でき
た場合は、例えば１ページの入力画像を２倍にすると、
４ページ分のページ番号が付与される。

【００４４】図１１によれば、結合子Ｐ２０を経由し
て、ステップＳ２０で、次の入力行分割領域を得る。こ
れは、現在の行番号値（以下、入力行インデックス値と
呼ぶ）と、その行中の何番目の行分割領域かを示す値
（以下、入力行分割領域インデックス値と呼ぶ）を保持
していれば、図１０で説明した方法でアクセスできる。
まず、入力行分割領域インデックス値に１を足した値
を、現在の行中の行分割領域数と比較し、行分割領域数
を越えるようだったら、次の行の行分割領域を使えば良
い。すなわち、入力行インデックス値を１増やして、入
力行分割領域インデックス値を０にすれば良い。

【００４５】ステップＳ２１は、ステップＳ２０で得ら
れた次の入力行分割領域を、最後に配置した出力行分割
領域の後に配置するのかどうかを判断する。ステップＳ
２１で、次の入力行分割領域を、最後の出力行分割領域
の後に配置するのが適当と判断された場合は、ステップ
Ｓ２５に向かい、適当でないと判断された場合は、ステ
ップＳ２７に向かう。

【００４６】ステップＳ２５では、前の行分割領域が単
語接続文字かどうかを判断する。例えば英文では、長い
英単語が行末に来た時に、適当な場所で英単語を分割
し、前半部分に「−」（ハイフン）をつけて行末に置
き、後半部分は次行に回すことがある。ここでいう単語
接続文字とは、このハイフンのことである。ここの処理
は、行分割領域が文字単位でないと難しいので、もし文
字単位でないならば、ステップＳ２５、Ｓ２６を飛ばし
て、結合子Ｐ２２経由でステップＳ２２にジャンプす
る。もし前の文字（行分割領域）がハイフンで、かつ、
その行の最後の文字であったならば、単語接続文字であ
ると判断し、ステップＳ２６へ向かう。もし単語接続文
字でないと判断したら、結合子Ｐ２２経由でステップＳ
２２に向かう。ハイフンであるかどうかの判断は、文字
認識機能が必要だが、ここでは簡易な処理でも充分であ
る。すなわち、領域の大きさをみて、横幅（文字幅）は
他の行分割領域（文字領域）とほぼ同じだが、高さがほ
とんどなく、行の高さの中心付近に位置するものは、ハ
イフンであると判断してしまえば良い。前の文字の領域
を位置（Ｌｐ，Ｔｐ）、大きさ（Ｗｐ，Ｈｐ）、この現
在判断対象としている文字の領域を位置（Ｌｇ，Ｔ
ｇ）、大きさ（Ｗｇ，Ｈｇ）とした場合、この判断は次
の式をすべて満たすかどうかで表せる。なお、ａｂ
ｓ（）は絶対値を表し、Ｔｗ，Ｔｈ，Ｔｐは閾値であ
る。

【００４７】ａｂｓ（Ｗｇ−Ｗｐ）＜ＴｗＨｇ／Ｈｐ＜Ｔｈａｂｓ（（Ｔｇ＋Ｗｇ／２）−（Ｔｐ＋Ｗｐ／２））＜
ＴｐステップＳ２６では、ステップＳ２５で単語接続文字と
判断されたので、前の文字、すなわちハイフン文字を出
力画像から除いてしまえば、最終的に出力画像上で単語
が接続されることになる。出力行分割領域だけ取り除い
ても、入力行分割領域が残っていると、拡大縮小配置手
段５の処理が面倒になるので、対応する入力行分割領域
も同時に除いてしまった方が良い。入力行分割領域を取
り除くには、該当する行の分割領域数を一つ減らし、該
当する行分割領域の格納領域の場所にその後の情報格納
領域を、一つの行分割領域の格納バイト数分、ずらしな
がら最後までコピーすれば良い。出力行分割領域の方は
作成中なので、単に分割領域数を一つ減らして、分割領
域インデックス値を一つ減らすだけで良い。処理後、結
合子Ｐ２２を経て、ステップＳ２２へ向かう。

【００４８】ステップＳ２２では、ステップＳ２１で適
当であると判断されているので、次の入力行分割領域を
最後の出力行分割領域の後の位置に配置し、結合子Ｐ２
４を経て、ステップＳ２４へ向かう。

【００４９】一方、ステップＳ２７では、この出力行中
の出力行分割領域間の均等再配置を行ない、ステップＳ
２３へ向かう。ステップＳ２３では、入力行分割領域の
配置位置を次の行の最初の位置に設定し、結合子Ｐ２４
を経て、ステップＳ２４へ向かう。ステップＳ２４で
は、入力行分割領域が、最後の行分割領域かどうかを判
断し、最後ならば、配置決定手段４を抜け、最後でない
なら、結合子Ｐ２０を経て、ステップＳ２０へ向かう。

【００５０】次に、図１１のステップＳ２１を図１２の
フローチャートを用いて説明する。ステップＳ３０は、
前の入力行分割領域後に改行されているかどうかを判断
する。改行されていると判断されたら、次の入力行分割
領域は次行の行頭として配置されるので、結合子Ｐ２３
に向かう。改行されてないと判断されたら、結合子Ｐ３
０を経て、ステップＳ３４に向かう。なお、ステップＳ
３０で改行されていると判断された場合は、次行に配置
されるので、入力画像中の改行が出力画像でも保存され
ることになり、組版処理の一種の改行保存が実現でき
る。改行には、文脈上の意味の切れ目など、通常、何ら
かの意味が込められていることが多いので、その効果を
出力画像上でも維持できる利点がある。

【００５１】ステップＳ３４では、行分割領域中の文字
が、禁則文字かどうかを判断する。禁則文字と
は、「。」「、」「？」「！」などの通常、行頭には置
かない文字である。これは行の分割単位が文字単位でな
いと処理が難しいので、文字単位にしてない場合はこの
処理を省いて、ステップＳ３０から直接、ステップＳ３
１にジャンプする。禁則文字かどうかを判別するには、
一般に文字認識機能が必要だが、対象とする文字数が少
ないので、簡単な認識処理でも充分である。例え
ば、「。」や「、」「．」「，」ならば、他の文字領域
に比べて面積が小さく下方に位置しているので、行分割
領域の領域情報がこれにあてはまる場合は、禁則文字と
みなしてしまって良い。「？」や「！」までも認識した
い場合は、「？」や「！」の２値ビットマップを適当な
大きさで予め作成しておき、行分割領域をこの大きさに
拡大縮小して２値化し、ドットの白黒が一致する数を数
える。この数がある閾値を越えるならば、「？」や
「！」であると判断できる。禁則文字であると判断され
た場合は、結合子Ｐ２２へ向かい、そうでないと判断さ
れた場合は、ステップＳ３１へ向かう。これによって、
組版処理の一種の禁則処理が実現できる。

【００５２】ステップＳ３１で、最後の出力行分割領域
の位置を得る。これは前回に配置した出力行分割領域の
位置を保存しておけば良い。次のステップＳ３２で、ス
テップＳ３１で得た最後の出力行分割領域の次の位置を
得る。「次の位置」とは、並んだ行分割領域が連続した
行のように見える位置を指す。図８（ａ）の画像の例で
言えば、「９回目を向かえた今年は」という行分割領域
の次の位置は、右隣の「、ローズボウルで全米」の行分
割領域である。

【００５３】ステップＳ３３で、ステップＳ３２で決め
た位置に次の入力行分割領域を配置したら、出力画像の
大きさからはみでるかどうかを判断する。もしはみでる
と判断されたら、次の行に配置するので、結合子Ｐ２３
に向かう。はみでていないと判断されたら、その位置に
配置するので、結合子Ｐ２２に向かう。

【００５４】次に、図１２のステップＳ３０を図１３の
フローチャートで説明する。結合子Ｐ２１から、ステッ
プＳ４０で注目する入力行分割領域がその行の最後の入
力行分割領域かどうかを判断する。行中の最後の入力行
分割領域でないと判断されたら、その後で改行されてい
ることはないので、結合子Ｐ３０へと向かう。

【００５５】行中の最後の入力行分割領域であると判断
されたら、その後で改行されている可能性があるので、
ステップＳ４１へと向かう。

【００５６】ステップＳ４１では、全ての入力行分割領
域の包含領域の枠を求める。外接四角形を求めると言っ
ても良い。包含する範囲を左上隅のＸ，Ｙ座標値（Ｌ
ｃ，Ｔｃ）と右下のＸ，Ｙ座標値（Ｒｃ，Ｂｃ）とすれ
ば、Ｌｃは全入力行分割領域の左端位置で最も小さい
値、Ｔｃは全入力行分割領域の上端位置で最も小さい
値、Ｒｃは全入力行分割領域の右端位置（左端位置＋
幅）で最も大きい値、Ｂｃは全入力行分割領域の下端位
置（上端位置＋高さ）で最も大きい値、にすれば良い。
ステップＳ４２で、行方向において、注目する入力行分
割領域の末尾と包含領域の枠との間隔が閾値Ｔｒ１以上
空いているかどうかを判断する。行末が大きく空いてい
れば、改行があったと判断できる。例えば、注目する入
力行分割領域の領域情報を左上座標（Ｌ１，Ｔ１）、大
きさを（Ｗ１，Ｈ１）とする。この行が横方向の行だと
すると、（Ｒｃ−（Ｌ１＋Ｗ１）＞Ｔｒ１）が成り立つ
なら、空いていると判断する。Ｔ１は、固定値でも良い
し、横行なら、１文字分なら行の高さＨ１、２文字分な
らＨ１×２と設定しても良い。また、Ｈ１でなく、各
行、各入力行分割領域の高さのメジアンなどを取って、
１文字分としても良い。あるいは、後に説明するよう
に、文字領域まで検出できているなら、その文字の幅や
高さをそのまま使っても良い。閾値Ｔｒ１以上空いてい
ると判断されれば、改行されているとして、結合子Ｐ２
３に向かう。空いていないと判断されれば、ステップＳ
４３に向かう。

【００５７】ステップＳ４３では、次の入力行分割領域
の先頭と包含領域の枠との間隔が閾値Ｔｒ２以上空いて
いるかどうかを判断する。これは段落の最初などの字下
げなどを検出するためで、たまたま前の段落が行末に空
白がないほど行の最後まで文字があったとしても、次の
行で字下げがあれば、改行があったと判断できる。判断
手法はステップＳ４２と同様で、例えば、次の入力行分
割領域の領域情報を左上座標（Ｌ２，Ｔ２）、大きさを
（Ｗ２，Ｈ２）とする。この行が横方向の行だとする
と、Ｌ２−Ｌｃ＞Ｔｒ２が成り立つなら、空いていると
判断する。Ｔｒ２は、Ｔｒ１と同様に決めて良い。空い
ている、すなわち字下げされていると判断された場合
は、改行があったとして、結合子Ｐ２３へ向かい、空い
ていないと判断された場合は、ステップＳ４４へ向か
う。

【００５８】ステップＳ４４では、注目する入力行分割
領域と次の入力行分割領域との行間隔が閾値Ｔｒ３以上
空いているかどうかを判断する。もし閾値Ｔｒ３以上空
いていれば、次の行で字下げはしてないかもしれない
が、段落のまとまりがその行で終っていると思われるの
で、改行があったと判断できる。例えば、注目する入力
行分割領域の左上座標を（Ｌ１，Ｔ１）、大きさを（Ｗ
１，Ｈ１）とし、次の入力行分割領域の左上座標を（Ｌ
２，Ｔ２）、大きさを（Ｗ２，Ｈ２）とする。この行が
横行だとすれば、Ｔ２−（Ｔ１＋Ｈ１）＞Ｔ３が成り立
つならば、改行があったと判断し、結合子Ｐ２３へ進
む。成り立たないならば、改行はなかったと判断し、結
合子Ｐ３０へ進む。Ｔ３は、例えば、２行分の高さ、Ｈ
１×２もしくは、Ｈ２×２とすれば良い。

【００５９】図１２のステップＳ３２で、最後に配置し
た出力行分割領域の次の位置を求めるには、次のように
すれば良い。例えば、最後に配置した出力行分割領域の
左上座標（Ｌ３，Ｔ３）、大きさ（Ｗ３，Ｈ３）とし、
次の入力行分割領域の大きさ（Ｗ４，Ｈ４）で横行であ
るとし、拡大縮小情報指定手段３から得られる縦方向、
横方向の拡大縮小率を（Ｒｘ，Ｒｙ）、行分割領域の間
隔をＩｒとする。このとき、次の入力行分割領域の配置
後の大きさ（Ｗ５，Ｈ５）は、Ｗ５＝Ｗ４×Ｒｘ，Ｈ５
＝Ｈ４×Ｒｙとなり、左上座標（Ｌ５，Ｔ５）は、Ｌ５
＝Ｌ３＋Ｗ３＋Ｉｒ，Ｔ５＝Ｔ３＋（Ｈ３／２）−（Ｈ
４×Ｒｙ／２）と表現できる。ここで、縦位置は行分割
領域の中心位置が合うようにしている。

【００６０】Ｉｒの値は、後述するように、行分割領域
が、文字領域として検出されているなら、文字領域間の
平均的な間隔を算出して、Ｒｘ倍して使っても良い。文
字領域を検出していなくても、図３のステップＳ６で説
明したように、行分割領域中の投影結果を二値化して背
景画素のランレングス値を、文字領域の間隔とみなし
て、隣接する入力行分割領域間の間隔の平均値を用いて
もよい。

【００６１】図１０のステップＳ３３で、次の入力行分
割領域をステップＳ３２で求めた位置に配置するかどう
かを判断する。つまり、横行の場合、ステップＳ３２で
入力行分割領域を配置した時に、右端が出力画像からは
みだすかどうかを見る。入力行分割領域を配置した時の
右端のＸ座標値Ｒ５は、Ｒ５＝Ｌ５＋Ｗ５であり、これ
と出力画像の横幅Ｗｏを比較して、Ｒ５がＷｏより大き
ければ、はみだすと判断して、結合子Ｐ２３へ進み、大
きくない場合は、結合子Ｐ２２へ進む。なお、配置可能
範囲を、出力画像一杯の幅でなく、右側マージン量Ｍｒ
を持たせるとしたら、Ｒ５と（Ｗｏ−Ｍｒ）を比較する
ことになる。

【００６２】図１１のステップＳ２２で、次の入力行分
割領域を最後の出力行分割領域の後の位置に配置するに
は、次の様にすれば良い。横行なら、横方向の配置位置
は、図１２のステップＳ３２で得られているので、それ
を使えば良い。縦方向の配置位置は、ステップＳ３２で
説明したように最後の出力行分割領域と中心を合わせる
ようにしても良いし、最後の出力行分割領域だけでな
く、その行に属する全ての出力行分割領域の縦位置の平
均値やメジアンを使って、中心を合わせるようにしても
良い。出力行分割領域の大きさも、ステップＳ３２で求
めた値、すなわち入力行分割領域の大きさを（Ｒｘ，Ｒ
ｙ）倍した値にしておけば良い。結果は、行分割領域の
情報を図１０のように格納してあるなら、新たに同様の
格納領域を確保して、新たな配置場所が決まった行分割
領域から順に情報を追加格納していけば良い。追加する
時は、その行に含まれる行分割領域数を１増やすように
する。配置場所が次の行の最初になったら、新たな情報
格納領域でも、その行に行分割領域を追加することを終
え、次の行分割領域は次の行の最初の行分割領域として
追加するようにする。

【００６３】次に、図１１のステップＳ２７を図１４を
用いて説明する。以下の説明では、現在の出力行中の出
力行分割領域が対象であり、例として横行の場合を説明
する。ステップＳ８０では、行頭の出力行分割領域の位
置を固定し、行末の出力行分割領域の位置を出力画像の
配置可能範囲一杯に配置するとして、出力行分割領域間
の平均間隔Ｓｅを計算し、ステップＳ８１へ向かう。例
えば、出力行分割領域数がｎ個あり、左端がＬ［ｉ］、
幅がＷ［ｉ］で表現する（ｉ＝０〜ｎ−１）。すると、
平均間隔は次式、Ｓｅ＝（Ｗｏ−Ｍｒ−Ｌ［０］−（Ｗ
［０］＋．．．＋Ｗ［ｎ−１］））／（ｎ−１）で表現
される。

【００６４】ステップＳ８１では、Ｓｅが閾値Ｔｅより
大きければ、Ｓｅを平均間隔として再配置に使うには大
き過ぎると判断し、ステップＳ８２へ向かう。そうでな
い場合は、ステップＳ８４へ向かう。

【００６５】ステップＳ８２では、行頭と行末の出力行
分割領域の位置を固定し、出力行分割領域間の平均間隔
Ｓｍを計算し、ステップＳ８３へ向かう。Ｓｍは次式Ｓ
ｍ＝（Ｌ［ｎ−１］−Ｌ［０］−（Ｗ［０］＋．．．＋
Ｗ［ｎ−１］））／（ｎ−１）で表現される。ステップ
Ｓ８３では、求めたＳｍで出力行分割領域の位置を再配
置し、ステップＳ２３へ向かう。再配置された新しい位
置Ｌ［ｉ］は、次式、Ｌ［ｉ］＝Ｌ［ｉ−１］＋Ｗ［ｉ
−１］＋Ｓｍで求められる（ｉ＝１〜ｎ−１）。ステッ
プＳ８４では、求めたＳｅで出力行分割領域の位置を再
配置し、ステップＳ２３へ向かう。再配置された新しい
位置Ｌ［ｉ］は、次式Ｌ［ｉ］＝Ｌ［ｉ−１］＋Ｗ［ｉ
−１］＋Ｓｅで求められる（ｉ＝１〜ｎ−１）。

【００６６】次に、図１１のステップＳ２３で縦位置を
求める動作を図１５を用いて説明する。。ステップＳ５
０では、平均行間隔Ｌｍを得て、ステップＳ５１に進
む。平均行間隔とは、隣接する行同士の（横行の場合）
上位置の間隔の平均である。従って、平均行間隔Ｌｍ
は、Ｔ［ｄ＋１，０］−Ｔ［ｄ，０］，（ｄ＝０〜ｎ−
２，全部でｎ行とする）の平均値を計算すれば求められ
る。一部の行に大きな文字や図などが含まれている場合
は、単純平均でなく、メジアンを取ることで平均値とし
ても良い。

【００６７】ステップＳ５１では、入力行分割領域と、
前の行の入力行分割領域との上位置の間隔を、ステップ
Ｓ５１で求めた平均行間隔Ｌｍで割った値が、閾値Ｔｍ
以上かどうかを判断する。もし閾値Ｔｍ以上の場合は、
前の行との間に空行があるとして、ステップＳ５２に向
かい、そうでない場合はステップＳ５３に向かう。多く
の場合、閾値Ｔｍは、１．５〜２．０程度にしておけば
良い。

【００６８】ステップＳ５２では、ステップＳ５１で空
行があると判断されているので、例えば横行の場合、
（前の行との間隔×Ｒｙ）を前の行の出力行分割領域の
上位置にプラスした値を、新たな出力行分割領域の上位
置にすれば良い。空行は段落の切れ目など何らかの意味
があることが多い。入力画像中の空行が出力画像におい
ても保存されるので、この処理によって組版処理の一種
の空行保存される。

【００６９】ステップＳ５３では、前の行との間に空行
はないので、例えば横行の場合、Ｌｍ×Ｒｙを前の行の
出力行分割領域の上位置にプラスした値を、新たな出力
行分割領域の上位置にすれば良い。

【００７０】ステップＳ５４では、ステップＳ５２、ス
テップＳ５３で求めた配置位置で、出力行分割領域が出
力画像の配置可能範囲の大きさを越えるかどうかを判断
する。ステップＳ５２、ステップＳ５３で求めた出力行
分割領域の上端位置をＴａ、入力行分割領域の高さをＨ
ａとすると、出力行分割領域の下端Ｂａは、Ｂａ＝Ｔａ
＋Ｈａ×Ｒｙとなり、出力画像の下マージン量をＭｂと
すると、Ｂａ＜Ｗｏ−Ｍｂの時は出力画像の配置可能範
囲を越えていないと判断し結合子Ｐ５０へ進み、それ以
外の時は越えているとして判断し、ステップＳ５５へ進
む。つまり、ステップＳ５４では、カレント出力ページ
にはいるかどうか判断している。

【００７１】ステップＳ５５では、新たな出力画像用の
出力行分割領域の情報を格納する領域を確保し、出力配
置配列に新たに確保した領域のポインタ値を追加し、カ
レント出力ページ番号を１増やし、出力行インデックス
値、入力行分割領域インデックス値を０にする。次に、
出力行分割領域の縦位置を情報領域に記録して、結合子
Ｐ５０へ向かう。縦位置は、最初の行の位置なので、出
力画像の上マージン量Ｍｔにしておけば良い。

【００７２】次に、図１１のステップＳ２３で横位置を
求める動作を図１６を用いて説明する。図１６におい
て、まず図１５の結合子Ｐ５０からステップＳ６０に向
かう。ステップＳ６０では、対象とする入力行分割領域
が、入力画像上で行頭に位置していたかどうかを判断
し、行頭の場合はステップＳ６１へ、行頭でない場合は
ステップＳ６２へ向かう。行頭であるかどうかは、行分
割領域インデックス値が０かどうかをみれば分かる。

【００７３】ステップＳ６１では、ステップＳ６０で行
頭と判断されたので、出力画像上でも行頭となるように
配置し、結合子Ｐ２４へ向かう。入力行分割領域の横位
置をＬｉ、出力画像の左側マージンをＭｌとすると、出
力行分割領域の左端位置は、（Ｌｉ−Ｌｃ）×Ｒｘ＋Ｍ
ｌで表される。

【００７４】ステップＳ６２では、入力行分割領域が配
置される位置の出力行インデックス値が、入力画像の全
行数を越えているかどうかを判断し、越えている場合
は、ステップＳ６３へ向かい、越えていない場合は、ス
テップＳ６４へ向かう。この判断手法は、図１５のステ
ップＳ５０と同様である。

【００７５】ステップＳ６３では、図１３のステップＳ
４１の説明で使った全ての入力行分割領域の包含範囲の
左端位置を、出力行分割領域の横位置として設定し、結
合子Ｐ２４へ向かう。ステップＳ６２で入力画像の行数
を越えていると判断されたので、参考にする行がなく、
ここでは出力画像の左マージン幅Ｍｌを出力行分割領域
の左端位置として使うようにしている。

【００７６】ステップＳ６４では、出力行インデックス
値と同じ行インデックス値の入力行の、行頭の入力行分
割領域が字下げされているかどうかを調べる。字下げさ
れていればステップＳ６６へ進み、字下げされていなけ
ればステップＳ６５へ進む。字下げされているかどうか
の判断は、図１３のステップＳ４３の字下げ検出と同様
にすればよい。

【００７７】ステップＳ６５では、ステップＳ６４で字
下げされていないと判断されており、さらにステップＳ
６０で入力行領域は行頭でないと判断されているので、
出力行インデックス値をＬｎとすると、入力行インデッ
クス値がＬｎの行の最初の入力行分割領域の横位置Ｌ
［Ｌｎ−１，０］を、出力行分割領域の横位置とする。
位置を設定後、結合子Ｐ２４へ向かう。

【００７８】ステップＳ６６では、ステップＳ６０で入
力行分割領域が行頭でないと判断されているが、ステッ
プＳ６４で字下げされていると判断されているので、字
下げされている入力行分割領域の行頭位置は使えず、ス
テップＳ６３と同じく、出力画像の左マージン幅Ｍｌを
出力行分割領域の左端位置として使うようにしている位
置を設定後、結合子Ｐ２４へ向かう。

【００７９】次に、図１の拡大縮小配置手段５を図１７
を用いて説明する。ステップＳ７０では、出力ページ番
号、入力行インデックス値、入力行分割領域インデック
ス値、出力行インデックス値、出力行分割領域インデッ
クス値を０に設定し、結合子Ｐ７０を経て、ステップＳ
７１へ向かう。以降、アクセスする出力行分割領域情報
は、出力配置配列中の出力ページ番号の出力行インデッ
クス番目のものである。

【００８０】ステップＳ７１では、次に処理を行なう入
力行分割領域、出力行分割領域の情報を得て、ステップ
Ｓ７２に向かう。これは入力行インデックス値、入力行
分割領域インデックス値、出力行インデックス値、出力
行分割領域インデックス値を使ってアクセスすれば良
い。

【００８１】ステップＳ７２では、拡大縮小率を得て、
ステップＳ７３に向かう。拡大縮小情報指定手段３で固
定の拡大縮小率になっている場合は、その値をそのまま
使えば良い。なお、後述するように、行分割領域によっ
て拡大縮小率が異なる場合は、出力行分割領域の大きさ
を入力行分割領域の大きさで割り、拡大縮小率を求め
る。入力行分割領域と出力行分割領域の間で矩形の縦横
比が同じなら、幅か高さかいずれかのみ計算すれば良い
が、縦横比が異なる場合は、縦拡大縮小率、横拡大縮小
率をそれぞれ幅、高さの比から計算する必要がある。

【００８２】ステップＳ７３では、拡大縮小された出力
行分割領域の画像を出力画像上に配置し、ステップＳ７
４へ向かう。出力行分割領域の画素を左上から右下へと
ラスタスキャンしながら、画素値を計算して求め、代入
していけば良い。例えば、出力行分割領域が、（Ｌｏ，
Ｔｏ）〜（Ｌｏ＋Ｗｏ，Ｔｏ＋Ｈｏ）の範囲で、入力行
分割領域が、（Ｌｉ，Ｔｉ）〜（Ｌｉ＋Ｗｉ，Ｔｉ＋Ｈ
ｉ）の範囲であるとする。拡大縮小率（Ｒｘ，Ｒｙ）
は、（Ｒｘ，Ｒｙ）＝（Ｗｏ／Ｗｉ，Ｈｏ／Ｈｉ）で求
められる。任意の出力位置（Ｘｏ，Ｙｏ）に対応する入
力位置（Ｘｉ，Ｙｉ）は、Ｘｉ＝Ｌｉ＋（Ｘｏ−Ｌｏ）
／Ｒｘ，Ｙｉ＝Ｔｉ＋（Ｙｏ−Ｔｏ）／Ｒｙで求められ
る。（Ｘｏ，Ｙｏ）の画素値をｆ（Ｘｏ，Ｙｏ）、（Ｘ
ｉ，Ｙｉ）の画素値をｇ（Ｘｉ，Ｙｉ）と表現すれば、
ｆ（Ｘｏ，Ｙｏ）＝ｇ（Ｘｉ，Ｙｉ）によって、出力画
素値が得られる。ＸｏをＬｏ〜Ｌｏ＋Ｗｏ間、ＹｏをＴ
ｏ〜Ｔｏ＋Ｈｏ間で１ずつ独立に動かして、（Ｘｉ，Ｙ
ｉ）を計算し、その画素値を得れば、出力行分割領域の
全ての画素値を得ることができる。しかし、（Ｘｏ，Ｙ
ｏ）が整数値の場合、（Ｘｉ，Ｙｉ）は整数値とは限ら
ないので、小数点以下を四捨五入して整数値にし、最近
傍の入力画素値を使うようにしても良い。あるいは、
（Ｘｉ，Ｙｉ）の小数点以下を切り捨てた整数値を（Ｘ
ｉｉ，Ｙｉｉ）とし、切り捨てられた週数点以下の値を
（Ｘｉｓ，Ｙｉｓ）とすると、ｆ（Ｘｏ，Ｙｏ）＝（１
−Ｙｉｓ）×（（１−Ｘｉｓ）×ｇ（Ｘｉｉ，Ｙｉｉ）
＋Ｘｉｓ×ｇ（Ｘｉｉ＋１，Ｙｉｉ））＋Ｙｉｓ×
（（１−Ｘｉｓ）×ｇ（Ｘｉｉ，Ｙｉｉ＋１）＋Ｘｉｓ
×ｇ（Ｘｉｉ＋１，Ｙｉｉ＋１））によって、補間され
た出力画素値が得られるので、こちらを使っても良い。
一般に補間された画素値の方が滑らかである。

【００８３】入力画素値ｇ（ｘ，ｙ）は、入力画像格納
手段１から得られる入力画像上の位置（ｘ，ｙ）の画素
値から得られる。出力画素値ｆ（ｘ，ｙ）は、出力画像
格納手段６の出力画像上の位置（ｘ，ｙ）の画素へ代入
すれば良い。

【００８４】ステップＳ７４では、現在処理している出
力行分割領域が、現在の出力行分割領域情報中の最後の
行分割領域かどうかを判断する。出力行インデックス値
が（行数−１）と等しく、出力行分割領域インデックス
値がその行の（行分割領域数−１）と等しければ、最後
の行分割領域である。もし最後ならばステップＳ７５に
進み、最後でないならばステップＳ７７に進む。

【００８５】ステップＳ７５では、現在処理している出
力ページ番号が最後のページかどうかを判断する。これ
は、配置決定手段４で使ったカレント出力ページ番号の
最後の値と出力ページ番号が等しければ最後のページで
あると判断できる。もし最後ならば拡大縮小配置手段５
を抜け、最後でないならばステップＳ７６へ向かう。

【００８６】ステップＳ７６では、出力ページ番号を１
増やし、出力画像格納手段６にページ切替え信号を送
り、入力行分割領域を一つ進め、出力行インデックス値
と出力行分割領域インデックス値を０にし、結合子Ｐ７
０に進む。入力行分割領域を一つ進めるには、まず入力
行分割領域インデックス値を１増やし、もし現在の行中
の行分割領域数と等しかったら、入力行インデックス値
を１増やし、入力行分割領域インデックス値を０にす
る。ステップＳ７７では、入力行分割領域と出力行分割
領域を一つ進め、結合子Ｐ７０へ向かう。行分割領域を
一つ進めるやり方はステップＳ７６と同様にすればよ
い。このようにして、拡大縮小配置手段５からアクセス
される出力画像は、ページごとに出力画像格納手段６に
格納される。

【００８７】次に、以上の処理で得られる具体的な出力
画像を図１８乃至図２０を用いて説明する。図１８は、
図８（ａ）の入力行分割領域を配置しなおしたものであ
る。横幅を入力画像の幅、拡大縮小率は２倍にしてある
ので、横幅は入力画像と変わらないが、縦幅は４倍近く
になっている。図１９は、図８（ｂ）の入力行分割領域
を配置しなおしたものである。これは横幅を入力画像の
幅、拡大縮小率は３倍にしてあるので、同様に、横幅は
入力画像と変わらないが、縦幅は９倍近くになってい
る。図２０は、図８（ａ）の入力行分割領域を配置しな
おしたものである。横幅を入力画像の幅、拡大縮小率は
１／２倍にしてあるので、横幅は入力画像と変わらない
が、縦幅は１／４倍近くになっている。

【００８８】さて、以上述べてきた処理をより具体的に
説明する。図２で説明したように、出力画像は入力画像
を表示する表示領域と同一サイズの表示画面に表示され
るものとする。

【００８９】まず、最初に、従来の問題点を再度説明す
る。仮想的に、入力画像が１００×１００の大きさで、
表示画面も１００×１００の大きさとすると、倍率が２
倍の場合、出力画像は２００×２００の大きさになる。
入力画像ＤＩＮ、出力画像ＤＯＵＴ、表示画像ＤＤは、
図２１に示したようになる。ここでは、表示画像ＤＤを
見るには、スクロールバーＢによる縦と横の両スクロー
ル操作が必要になり、操作性が悪い。

【００９０】一方、本願発明においては、上記例におい
ては、入力画像ＤＩＮ、出力画像ＤＯＵＴ、表示画像Ｄ
Ｄは、図２２に示したようになる。ここでは、行分割領
域を２つにして、その分割数倍の２倍に拡大したもの
で、配置計算処理は簡単になっている。また、出力画像
の横幅または縦幅の一方を入力画像の横幅と同じにし
て、出力画像の横幅または縦幅の他方を拡大または縮小
すれば、縦スクロールまたは横スクロールの一方で済
む。つまり、出力画像が１００×４００、または４００
×１００の大きさになる。従って、縦スクロールまたは
横スクロールだけの操作で文章を読むことができ、縦と
横の両スクロールによる操作よりは操作性が向上する。

【００９１】また、図２２では、出力画像が１枚のペー
ジに収納される場合を示したが、通常は、入力画像と出
力画像は同一サイズの１００×１００の場合、縦方向の
長さが足りないので、複数ページ分の出力画像が必要と
なる。このように、出力画像もページ単位となるように
すれば、ページめくりボタンを押すだけで、ページめく
りができるため、スクロール操作よりもさらに操作が簡
単になる。出力画像を整数ページにするため、入力画像
の縦または横の寸法のいづれかの倍率を出力画像の縦ま
たは横の寸法のいづれかの整数倍とする方がページめく
り操作には望ましい。

【００９２】また、入力画像の大きさが１００×１００
で倍率が１／２倍、出力画像の大きさが１００×１００
とする。この場合、入力画像を単純に１／２倍したら、
５０×５０になるが、出力画像は１００×１００なの
で、４つの入力画像で１つの出力画像ができる。出力画
像を整数ページにするため、入力画像の縦または横の寸
法のいづれかの倍率を出力画像の縦または横の寸法のい
づれかの整数分の１倍とする方がページめくり操作には
望ましい。また、この場合、行分割領域を再配置する必
要がなく処理が簡単になる。

【００９３】次に、改行保存の組版処理の例を図２３を
用いて説明する。図２３では、各行を４分割し、１．５
倍に拡大したものである。入力画像ＤＩＮの２行目の改
行が出力画像ＤＯＵＴの上でも保存されている。

【００９４】次に、入力画像から背景除去をする場合に
ついて図２４を用いて説明する。例えば、図２４（ａ）
のように、背景模様として、薄い斜めのストライプが入
力画像に引いてあり、その上に文字が黒で上書きされて
いるとする。この入力画像を２倍に拡大した出力画像は
図２４（ｂ）のようになり、出力画像作成時に、行分割
がうまくいかない、あるいは背景模様がうまくつながら
ないといった問題を生じる。そこで、この問題を解決す
るため、入力画像をそのまま用いるのでなく、予め背景
除去処理した入力画像を用いるのである。背景模様を除
く処理は、単純に行なうならば、例えば、背景模様は文
字などに比べて濃度が薄いと仮定して行なえば良い。ま
ず、入力画像から二値化閾値を得る。これは判別分析法
で求めても良いし、極端な場合、固定値でも良い。最も
単純な方法は、この閾値以下の画素を全て背景濃度（例
えば白など）にしてしまうことである。これらによっ
て、濃度の薄い背景模様は除去できる。このような処理
により、入力画像を図２４（ｃ）のようにしてから、図
２４（ｄ）のような出力画像を得るのである。

【００９５】次に、入力画像に図・写真領域を含む場合
について説明する。この場合のブロック図は、図２５に
示したようになる。図２５は、図１のブロック図に、図
領域検出手段５０と図拡大縮小率算出手段５１とが付加
されたもので、他の符号は図１と同様であるので、説明
を省略する。

【００９６】図領域検出手段５０は、入力画像中の図・
写真領域を検出し、図・写真領域の情報を行分割領域抽
出手段２、図拡大縮小率算出手段５１へ送る。配置決定
手段４で扱いやすくするために、行分割領域抽出手段２
では、図・写真領域も行分割領域として認識し、他の文
字に対応する行分割領域と同様に、図１０と同様な形態
で格納しておく。

【００９７】図拡大縮小率算出手段５１は、拡大縮小情
報指定手段３から指定された出力画像の大きさと拡大縮
小率を得、図領域出検出手段５０で検出した図・写真領
域を拡大または縮小した時に出力画像より大きくならな
いように制限した拡大縮小率を求め、配置決定手段４へ
送る。

【００９８】次に、図領域検出手段５０の動作を図２６
を用いて説明する。図・写真領域を検出するのは、いわ
ゆる像域分離処理と呼ばれ、色々な方法が提案されてい
るが、以下に一例を示す。まず、ステップＳ９０で、ま
ず入力画像を２値化し、ステップＳ９１へ向かう。閾値
は、判別閾値で求めても良いし、画像によっては固定値
でも良い。ステップＳ９１では、二値化された画像に対
して、ラベリングを行ない、それぞれ外接矩形を求め、
近いものは併合し、結合子Ｐ９０を経て、ステップＳ９
２へ向かう。やり方は、行分割領域抽出手段２の処理と
同様の処理で良い。ステップＳ９２では、全外接矩形の
中から文字領域候補を選び、結合子Ｐ９１を経て、ステ
ップＳ９３へ向かう。ステップＳ９３では、全文字領域
候補から文字領域を選び、結合子Ｐ９２を経て、ステッ
プＳ９４へ向かう。ここで、文字候補領域から文字領域
が抽出できたので、図・写真領域を定義できるのだが、
文字領域でないものは全て図・写真領域とするか、文字
領域でも文字候補領域でもないものを図・写真領域とす
るかは判断が分かれる。もし文字領域でも文字候補領域
でもないものを図・写真領域とするならば、このステッ
プＳ９３は必要ない。

【００９９】ステップＳ９４では、距離が近い図・写真
領域を併合し、結合子Ｐ９３を経て、図領域検出手段を
終了する。図・写真領域の情報は、図１０と同様の構造
で１行分の情報として格納すれば良い。

【０１００】さらに、図２６のステップＳ９２を図２７
を用いて詳細に説明する。ステップＳ１００では、最初
の外接矩形領域を選択し、ステップＳ１０１へ向かう。
ステップＳ９１で求めた外接矩形領域情報中の何番目
（０から始める）かを表す外接矩形インデックスｑ０を
保持しておけば良い。最初なので０に設定する。ステッ
プＳ１０１では、ｑ０番目の矩形領域の大きさ（Ｗ６，
Ｈ６）とその縦横比が文字らしいかどうかを判定する。
次式Ｔｗｍｉｎ＜Ｗ６＜ＴｗｍａｘＴｈｍｉｎ＜Ｈ６＜ＴｈｍａｘＴｒｍｉｎ＜Ｗ６／Ｈ６＜Ｔｒｍａｘ（Ｔｗｍｉｎ，Ｔｗｍａｘ，Ｔｈｍｉｎ，Ｔｈｍａｘ，
Ｔｒｍｉｎ，Ｔｒｍａｘは閾値である）を全て満たした
場合は、文字らしいと判定する。文字らしいと判断され
たら、ステップＳ１０２へ進み、文字らしくないと判定
されたら、ステップＳ１０４へ進む。

【０１０１】ステップＳ１０２では、外接矩形インデッ
クスｑ０の矩形を文字候補領域とし、区別できるよう
に、外接矩形情報中のラベリング部分の値を例えば−１
に設定して、ステップＳ１０３へ進む。ステップＳ１０
３では、外接矩形インデックスｑ０が最後かどうかを判
断する。これは、情報格納領域の先頭の外接矩形数（ラ
ベリング数）と（ｑ０＋１）を比較して、同じならば最
後である。最後ならば結合子Ｐ９１へ進み、最後でない
ならステップＳ１０４へ向かう。ステップＳ１０４で
は、外接矩形インデックスｑ０の値を１増やし、ステッ
プＳ１０１へ進む。

【０１０２】さらに、図２６のステップＳ９３を図２８
を用いて詳細に説明する。ステップＳ１１０では、外接
矩形インデックスｑ１を０に設定し、ステップＳ１１１
へ進む。ステップＳ１１１では、ｑ１の矩形が文字候補
領域ならば、ステップＳ１１２へ進み、文字候補領域で
ないならばステップＳ１１７へ進む。文字候補であるか
どうかは、ラベリング値が−１であるかどうかを見れば
分かる。

【０１０３】ステップＳ１１２では、外接矩形インデッ
クスｑ２を０に設定し、ステップＳ１１３へ進む。ステ
ップＳ１１３では、ｑ２の矩形が文字領域か文字候補領
域で、かつｑ１≠ｑ２ならばステップＳ１１４へ進み、
そうでないならばステップＳ１１８へ進む。文字領域か
どうかは、ラベリング値が−２であるかどうかを見れば
分かる。

【０１０４】ステップＳ１１４では、ｑ１の矩形とｑ２
の矩形が、同じような大きさで、隣接しているかどうか
を調べる。隣接しているかどうかは、矩形間の距離が閾
値Ｔｔ以下かどうかで判断すれば良い。矩形間の距離
は、併合処理で定義した距離と同じで良い。同じような
大きさかどうかは、例えば、ｑ１の矩形の大きさを（Ｗ
７，Ｈ７）、ｑ２の矩形の大きさを（Ｗ８，Ｈ８）とす
ると、次式ａｂｓ（Ｗ７／Ｗ８−１）＜Ｔｗｔａｂｓ（Ｈ７／Ｈ８−１）＜Ｔｈｔ（但し、Ｔｗｔ，Ｔｈｔは閾値である）を全て満たすか
どうかを見れば良い。もし上記を満たす文字候補領域が
あればステップＳ１１５へ進み、なければステップＳ１
１８へ進む。

【０１０５】ステップＳ１１５では、ｑ１の矩形とｑ２
の矩形を共に文字領域であるとし、外接矩形情報中のラ
ベリング部分の値を−２に設定して、ステップＳ１１６
へ進む。ステップＳ１１６では、ｑ２が最後かどうかを
判断する。これは、情報格納領域の先頭の外接矩形数
（ラベリング数）と（ｑ２＋１）を比較して、同じなら
ば最後である。最後ならばステップＳ１１７へ進み、最
後でないならステップＳ１１８へ向かう。ステップＳ１
１７では、ｑ１が最後かどうかを判断する。これは、情
報格納領域の先頭の外接矩形数（ラベリング数）と（ｑ
１＋１）を比較して、同じならば最後である。最後なら
ば結合子Ｐ９２へ進み、最後でないならステップＳ１１
９へ向かう。ステップＳ１１８では、ｑ２の値を１増や
し、ステップＳ１１３へ進む。ステップＳ１１９では、
ｑ１の値を１増やし、ステップＳ１１１へ進む。

【０１０６】さらに、図２６のステップＳ９４を図２９
を用いて詳細に説明する。図・写真領域の定義に関して
は、ステップＳ９３の所で述べた通りである。文字領域
以外は図・写真領域と定義するなら、ラベリング値が−
２のもの以外が図・写真領域である。文字領域以外は図
・写真領域と定義するなら、ラベリング値が−２か−１
のもの以外が図・写真領域である。ステップＳ１２０で
は、外接矩形インデックスｑ１を０に設定し、ステップ
Ｓ１２１へ進む。

【０１０７】ステップＳ１２１では、ｑ１の矩形が図・
写真領域ならば、ステップＳ１２２へ進み、図・写真領
域でないならばステップＳ１２７へ進む。ステップＳ１
２２では、外接矩形インデックスｑ２を０に設定し、ス
テップＳ１２３へ進む。ステップＳ１２３では、ｑ２の
矩形が図・写真領域で、かつｑ１≠ｑ２ならばステップ
Ｓ１２４へ進み、そうでないならばステップＳ１２８へ
進む。ステップＳ１２４では、ｑ１の矩形とｑ２の矩形
が、隣接しているかどうかを調べる。隣接しているかど
うかは、矩形間の距離が閾値Ｔｐ以下かどうかで判断す
れば良い。矩形間の距離は、併合処理で定義した距離と
同じで良い。もし距離が近い図・写真領域があればステ
ップＳ１２５へ進み、なければステップＳ１２８へ進
む。

【０１０８】ステップＳ１２５では、ｑ１の図・写真領
域とｑ２の図・写真領域を併合し、ステップＳ１２６へ
進む。併合の仕方は、まずｑ１とｑ２の外接矩形を求
め、その位置と大きさをｑ１の情報として更新させる。
次にｑ２の情報を除去するため、その後に続く矩形情報
をずらしながらコピーする。最後に先頭に格納してある
外接矩形数（ラベリング数）を１減らす。ステップＳ１
２６では、ｑ２が最後かどうかを判断する。これは、情
報格納領域の先頭の外接矩形数（ラベリング数）と（ｑ
２＋１）を比較して、同じならば最後である。最後なら
ばステップＳ１２７へ進み、最後でないならステップＳ
１２８へ向かう。

【０１０９】ステップＳ１２７では、ｑ１が最後かどう
かを判断する。これは、情報格納領域の先頭の外接矩形
数（ラベリング数）と（ｑ１＋１）を比較して、同じな
らば最後である。最後ならば結合子Ｐ９２へ進み、最後
でないならステップＳ１２９へ向かう。ステップＳ１２
８では、ｑ２の値を１増やし、ステップＳ１２３へ進
む。ステップＳ１２９では、ｑ１の値を１増やし、ステ
ップＳ１２１へ進む。

【０１１０】次に、図２５の図拡大縮小率算出手段５１
についてさらに詳細に説明する。図拡大縮小率算出手段
５１は、図領域検出手段５０で検出した図・写真領域を
拡大縮小した時に出力画像より大きくならないように制
限した拡大縮小率を求める。指定された出力画像の大き
さや拡大縮小率は拡大縮小情報指定手段３から得られ
る。出力画像の大きさを（Ｗｏ，Ｈｏ）、上下左右のマ
ージンをＭｔ，Ｍｂ，Ｍｌ，Ｍｒ、図・写真領域の大き
さを（Ｗｐｉｃ，Ｈｐｉｃ）とすると、画像幅一杯に拡
大縮小するには、横倍率Ｒｈ、縦倍率Ｒｖは、次式Ｒｈ＝Ｗｐｉｃ／（Ｗｏ−Ｍｌ−Ｍｒ）Ｒｖ＝Ｈｐｉｃ／（Ｈｏ−Ｍｔ−Ｍｂ）で表される。拡大指定された拡大縮小率が（Ｒｘ，Ｒ
ｙ）であるとする。もし、縦横比が元の図・写真領域と
変わっても構わないならば、制限を行なうには、Ｒｘ＜
Ｒｈの時はＲｈ＝Ｒｘに、Ｒｙ＜Ｒｖの時はＲｖ＝Ｒｙ
とし、図・写真領域の拡大縮小率として、（Ｒｈ，Ｒ
ｖ）を使えば良い。もし、縦横比が元の図・写真領域と
変わらないようにするなら、制限を行なうには、次の手
順になる。

【０１１１】もし、Ｒｈ＞ＲｖならＲｍ＝Ｒｖ、そうで
ないなら、Ｒｍ＝Ｒｈとする。もし、Ｒｘ＞ＲｙならＲ
ｉ＝Ｒｙ、そうでないなら、Ｒｉ＝Ｒｘとする。もし、
Ｒｉ＜ＲｎならＲｎ＝Ｒｉとし、図・写真領域の拡大縮
小率として、（Ｒｎ，Ｒｎ）を使えば良い。得られた拡
大縮小率は、個々の図・写真領域によって異なるので、
個々の領域の情報も拡大縮小率と一緒に格納する必要が
ある。図１０の個々の領域の情報、すなわち左上の座標
値と大きさに加えて、拡大縮小率の部分も加えておけば
良い。

【０１１２】図・写真領域の拡大縮小率は配置決定手段
４へ送られる。図・写真領域は、行分割領域抽出手段２
で行分割領域として登録されているので、配置決定手段
４では図１１以下で説明した手法と同様で良い。但し、
拡大縮小率が文字領域と図・写真領域で違うので、拡大
縮小率を使う場合、それが図・写真領域かどうかを確認
し、もし図・写真領域ならば、図拡大縮小率算出手段５
１から得られた拡大縮小率を使うようにすれば良い。図
・写真領域かどうかを確認するには、行分割領域と図・
写真領域の位置と大きさとを比較して、一致すれば、注
目する行分割領域は図・写真領域であると判断すれば良
い。

【０１１３】以上の処理の具体例を図３０に示す。図３
０では、拡大縮小情報指定手段による入力画像の倍率指
定が２倍であり、各行分割領域は２倍にされるが、その
場合、図・写真領域Ｐを２倍にすると、出力画像（この
場合、入力画像と同一サイズ）からはみでてしまうた
め、出力画像からはみでない倍率を計算して１．５倍に
している。図・写真領域は、通常全体が一覧できる方が
よい場合が多いので、文字領域と倍率を変更する方がよ
い。

【０１１４】次に、入力画像に図・写真領域を含む他の
形態の場合について説明する。この場合のブロック図
は、図３１に示したようになる。図３１は、図１のブロ
ック図に、図領域検出手段５０と出力画像サイズ算出手
段５１とが付加されたもので、他の符号は図１と同様で
あるので、説明を省略する。なお、図領域検出手段５０
も、図２５と同様であるので、説明を省略する。

【０１１５】出力画像サイズ算出手段５２では、図領域
検出手段５０から得られる図・写真領域の大きさを、拡
大縮小情報指定手段３から得られる拡大縮小率で拡大縮
小した大きさと、拡大縮小情報指定手段３から得られる
出力画像の大きさ（以降、旧出力画像サイズと呼ぶ）を
比較する。比較して大きい方の大きさを新しい出力画像
の大きさ（以降、新出力画像サイズと呼ぶ）とする。旧
出力画像サイズは配置決定手段４へ送られ、新出力画像
サイズは、拡大縮小配置手段５へ送られる。配置決定手
段４では、旧出力画像サイズを使って、配置計算され
る。図・写真領域は、基本的に文字の行分割領域と同様
に配置計算されるが、行頭に配置しても旧出力画像サイ
ズをはみだす場合でも、配置不可能とせず、そのまま行
頭に配置させておく。出力画像格納手段６上の出力画像
は、拡大縮小配置手段５での新出力画像サイズで作成さ
れるので、旧出力画像サイズで配置計算しても、拡大縮
小配置手段５で実際に配置される時には、出力画像から
はみだすことはない。つまり、図・写真領域は、新出力
画像サイズで拡大して再配置され、行分割領域の文字部
分は旧出力画像サイズで拡大して再配置されます。

【０１１６】以上の処理の具体例を図３２に示す。図３
２では、拡大縮小情報指定手段による入力画像の倍率指
定が２倍であり、各行と図・写真領域Ｐを２倍にされて
おり、出力画像内に拡大された図・写真領域が収まるよ
うになされ、各行は、入力画像と同一幅で再配置されて
いる。従って、この場合、図・写真領域を見る場合、縦
横の両スクロール操作が必要となりますが、文章は縦方
向のスクロール操作で済みます。

【０１１７】次に、本を本文領域と周辺領域とに分けて
処理する形態の場合について説明する。この場合のブロ
ック図は、図３３に示したようになる。図３３は、図２
５のブロック図に、本体周辺領域検出手段５３が付加さ
れたもので、他の符号は図２５と同様であるので、説明
を省略する。

【０１１８】本体周辺領域検出手段５３は、行分割領域
抽出手段２と図領域検出手段５０から得られる情報か
ら、本体（本文）領域と周辺領域を検出する。この検出
は、位置で判断する方法が簡単である。すなわち、入力
画像中の上下端や隅に位置するものは、ページ番号や章
タイトルなどであるとみなして、周辺領域としてしま
う。上下端の判別は、例えば、上下端から大きさで１０
％の範囲に領域が収まるものは、上下端に位置すると判
断する。隅の場合は、さらに横方向に関しても、端から
１０％に収まるかどうかを判別する。また、１枚の入力
画像からだけでは判別しにくいこともあるので、複数の
入力画像を処理する場合は、前の入力画像の処理結果を
記録しておいて、それと照らし合わせて周辺領域を検出
してもよい。例えば、前の入力画像の行分割領域や図・
写真領域の位置、大きさを記録しておき、次の入力画像
の行分割領域、図・写真領域の位置、大きさと比較す
る。もし、位置や大きさがほとんど変わらない領域があ
り、かつ、それが中心近くでないならば、周辺領域と判
断できる。例えば、位置のずれがＴｐ画素以内、大きさ
の差がＴｒ３％以内、位置が周辺からＴｒ４％以内であ
れば周辺領域と判断する（Ｔｐ，Ｔｒ３，Ｔｒ４は閾
値）。

【０１１９】本体周辺領域検出手段５３で得られた情報
は配置決定手段４へ送られる。配置決定手段４では、本
体周辺領域検出手段５３で周辺と判断された領域は、本
体領域の配置とは別にする。周辺領域は、ページ番号や
章タイトルなどであり、ページ中の相対位置は変わらな
いようにする。例えば、位置（Ｘ９，Ｙ９）、大きさ
（Ｗ９，Ｈ９）の周辺領域があったとし、入力画像の大
きさ（Ｗｉｎ，Ｈｉｎ）、出力画像の大きさが（Ｗｏ，
Ｈｏ）、拡大縮小率（Ｒｘ，Ｒｙ）とすると、出力位置
（Ｘ１０，Ｙ１０）は、Ｘ１０＝（Ｗｏ−Ｘ９×Ｒｘ）
×（Ｘ９／（Ｗｉｎ−Ｗ９）），Ｙ１０＝（Ｈｏ−Ｙ９
×Ｒｙ）×（Ｙ９／（Ｈｉｎ−Ｈ９））で表される。つ
まり、本体領域と本体周辺領域とを区別せずに拡大縮小
を行うと、周辺領域にあるページ番号等が予期せぬ領域
に現れてしまうという不具合をなくすためである。

【０１２０】以上の処理の具体例を図３４に示す。図３
４では、拡大縮小情報指定手段による入力画像の倍率指
定が２倍であり、２分割された各行が本体領域であり、
「１３」というページ番号は周辺領域である。ここで
は、本体領域は再配置されるが、周辺領域は本体領域と
の相対的な位置関係を変化させずに倍率を２倍にしてい
る。なお、周辺領域は本体領域と異なる倍率でも構わな
い。また、図２の切替え手段１０１は、本来、入力画像
全体を一覧したい場合などに切替えるものだが、行分割
処理、再配置処理などが誤っていた時にも、入力画像に
切替えることで、誤りを容易にカバーすることができ
る。

【０１２１】また、入力画像の大きさと拡大縮小率の積
が出力画像の大きさの小整数分の小整数となる時、効率
良い再配置計算を単純にできる利点がある。この分数の
分母は、出力画像上の１行中の固定幅行分割領域数を、
分子は入力画像上の１行中の固定幅行分割領域数を表
す。単なる整数でなく、小整数としたのは、数が大きい
とそれだけの数の行分割領域が作れるとは限らないの
と、行分割領域数が少ない方が再配置計算が単純になる
からである。行分割領域を固定幅にしているのも、再配
置計算が単純になるからである。

【０１２２】例えば、図３４のように、入力画像と出力
画像の横幅が同じで拡大縮小率が２の時、小整数分の小
整数の分母は１で分子が２なので、出力画像上の１行中
の固定幅行分割領域数は１個で、入力画像上の１行中の
固定幅行分割領域が２個となる。つまり、入力画像と出
力画像との行分割領域の数を分数で表現した倍率に対応
させれば、再配置計算が単純になる。次に、図３８のよ
うに、入力画像と出力画像の横幅が同じで拡大縮小率が
２／３の時、小整数分の小整数の分母は３で分子が２な
ので、出力画像上の１行中の固定幅行分割領域数は３個
で、入力画像上の１行中の固定幅行分割領域が２個とな
る。従って、入力画像上の１行中の固定幅行分割領域を
２個とり、出力画像の１行ごとに３個ずつ再配置でき
る。

【０１２３】〔実施の形態２〕実施の形態１では、原則
として入力画像をページごとに処理していたが、本実施
の形態では、入力画像を複数ページで処理する。本実施
の形態に係るブロック図を図３５に示す。図３５におい
て、図１と同一符号については同様であるので説明を省
略する。また、本装置の外観も図２と同様のため、説明
は省略する。

【０１２４】本体領域検出手段６０は、入力画像中の本
体領域を抽出する。本体領域の抽出は、図３３で説明し
たのと同様の手法で、周辺領域を抽出し、その残りを本
体領域とすればよい。但し、行分割領域まで使わなくて
も、行領域だけでも本体領域を求めることはできるの
で、その部分を省いて実現することもできる。本体領域
は、一つの矩形として表され、左上位置と大きさで表現
される。

【０１２５】拡大率算定手段６２は、本体領域抽出手段
６０から得られた本体領域の情報が、入力画像と同じ大
きさになるように拡大率を求める。入力画像の大きさを
Ｗ１０×Ｈ１０、本体領域が位置（Ｘ１１，Ｙ１１）、
大きさが（Ｗ１１，Ｈ１１）とする。横の拡大率Ｒｘ
は、Ｒｘ＝Ｗ１１／Ｗ１０、縦の拡大率Ｒｙは、Ｒｙ＝
Ｈ１１／Ｈ１０で表される。ＲｘとＲｙの値の小さい方
を拡大率Ｒａとする。求めた拡大率Ｒａは、拡大率共通
化手段６２へ送られる。

【０１２６】拡大率共通化手段６２では、拡大率算定手
段６１から得られた複数の入力画像の拡大率から共通の
拡大率を算出する。これは得られた拡大率を配列の形で
格納しておき、平均値もしくはメジアン値などで共通拡
大率を得れば良い。平均値もしくはメジアン値などを計
算する時、すべての入力画像の拡大率を使ってもよい
し、過去数枚分の入力画像の拡大率だけを使っても良
い。最初の数枚の画像では、サンプル数が少ないので、
平均値などが安定しないことがある。その場合、一定枚
数だけ入力画像を予め処理して拡大率を求めて、サンプ
ル数を増やしておき、その後、１枚目から改めて処理す
るようにすると、共通拡大率が安定する利点がある。得
られた共通拡大率は、拡大手段６３へ送られる。

【０１２７】拡大手段６３では、拡大率共通化手段６２
から得られた共通拡大率で、本体領域検出手段６０から
得られた本体領域を拡大して、出力画像に出力する。拡
大は、図１７のステップＳ７３の説明と同様にして実現
できる。

【０１２８】このように拡大率を共通化する利点につい
て図３６で説明する。図３６は、本文領域の拡大率を合
わせずに出力画像一杯に出力した結果であり、図３６
（ａ）は１．４倍、図３６（ｂ）は１．９倍に拡大され
ている。入力画像中でほぼ同じ大きさの文字が出力画像
中で異なる大きさになると、本の各ページの文字が異な
る大きさになり、非常に読みにくいものになってしま
う。そこで、上述した処理を行うことにより、図３７の
ように出力画像が得られるようになり、どの出力画像で
も、同じ大きさの文字になっているため、違和感なく本
をよむことができる。

【０１２９】また、ここでは入力画像中の本文領域のみ
を拡大処理して出力画像に出力して表示しているが、入
力画像全体を求めた拡大率で拡大処理して出力画像に表
示し、拡大した本文領域が表示画面上にちょうど収まる
ような位置に上下左右のスクロール位置を調整して表示
しても良い。この場合、実装上は、単なる拡大表示と組
み合わすだけで良く、また、仮に本文領域抽出処理など
が誤っていたとしても、スクロール位置を調整したり、
拡大率を調整したりすることで、誤りを容易にカバーす
ることができる。また、図２の切替え手段１０１は、本
来、入力画像全体を一覧したい場合などに切替えるもの
だが、行分割処理、再配置処理などが誤っていた時に
も、入力画像に切替えることで、誤りを容易にカバーす
ることができる。

【０１３０】以上、各実施の形態について説明してきた
が、行分割領域の再配置を事前に実行してうまく再配置
できないときに、その再配置を停止したり、ユーザに警
告したり、再配置のヒントを与えたりしてもよい。ま
た、拡大縮小した文字のフォントをスムージングしても
よい。

【０１３１】以上説明した各実施の形態での処理は、プ
ログラムにより実行されるが、このプログラムの全部ま
たは一部を、直接あるいは通信回線を介してフロッピー
ディスクやハードディスク等のコンピュータ読み取り可
能な記録媒体に予め格納しておき、必要に応じてインス
トールして用いてもよい。

【０１３２】

【発明の効果】請求項１に記載の発明によれば、画像デ
ータである入力画像の行領域を複数に分割した行分割領
域を単位に拡大または縮小するため、入力画像中の文章
の順番を崩さず、拡大または縮小された文章を出力画像
領域を有効に利用して再配置することができる。

【０１３３】また、出力画像を本装置の表示の際に一方
向のみとなるように設定しておけば、スクロール操作も
一方向のみでよく、操作性が向上する。

【０１３４】請求項２に記載の発明によれば、再配置の
最小単位として使う行分割領域を文字領域を使って作る
ことで再配置の際に文字を分断してしまったりすること
を防ぎ、また行分割領域の再配置を柔軟にし、空白の少
ない再配置を行なえる。

【０１３５】請求項３に記載の発明によれば、再配置し
て出力画像内に収まらない場合は、連続する別の出力画
像に分けて出力できる。この場合、出力画像が所定単位
で記憶されているため、所定単位ごとの出力画像の切り
替え操作により、表示内容を見ることができ、操作性が
向上する。

【０１３６】請求項４に記載の発明によれば、１行その
ままを行分割領域として扱ったり、１行を設定された倍
率の整数等分するだけで行分割領域として扱え、行分割
領域の抽出処理が簡単になり、また、再配置処理が簡単
になる。

【０１３７】請求項５に記載の発明によれば、組版処理
を入れることで、入力画像中の文書構造を崩さずにで
き、禁則処理によって禁則文字が行頭に来ることを防
げ、行末単語の分割や接続処理によって再配置後も自然
な文章とできる。

【０１３８】請求項６に記載の発明によれば、入力画像
中の背景画像を除去して処理することで、薄い背景模様
などがある入力画像を再配置しても、背景の不連続など
が現れることを防ぐことができる。

【０１３９】請求項７に記載の発明によれば、入力画像
と出力画像とを表示する際にその表示画面の大きさを変
えずに一定にしているので、所定単位ごとの出力画像の
切り替え操作で表示内容を見ることができ、表示画面の
サイズが変わらないため見やすくできる。

【０１４０】請求項８に記載の発明によれば、図・写真
領域を拡大または縮小した画像が出力画像より大きくな
らないようにできるので、行分割領域の倍率を図・写真
領域の倍率と独立に設定でき、行分割領域を所望の倍率
にて拡大または縮小できるようになる。

【０１４１】請求項９に記載の発明によれば、図・写真
領域を拡大または縮小した画像に応じた出力画像にでき
るので、図・写真領域の倍率指定に自由度が増える。ま
た、文字のある行分割領域を見る時は一方向のスクロー
ル操作で済み、図・写真領域を見る時は、異なる方向の
スクロール操作となる。

【０１４２】請求項１０に記載の発明によれば、例え
ば、１つのページの入力画像が複数ページの出力画像に
分かれた時、周辺領域にあるページ番号や章タイトル名
などを出力画像の各ページにそれぞれ配置せずにまとめ
ることができ、ページ番号や章タイトルの重複を防ぐこ
とができ、複数のページの入力画像が１つのページの出
力画像になった時、例えばページ番号や章タイトル名な
どをページごとに保持することができる。

【０１４３】請求項１１に記載の発明によれば、本体領
域を出力画像一杯になるように拡大率を計算し、複数の
入力画像間で拡大率を平均化することで、多少のレイア
ウトの変更があっても、ページ間で拡大率が急激に変化
することを防ぐことができ、拡大画像を見る時に違和感
を減らすことができる。

【０１４４】請求項１２に記載の発明によれば、入力画
像で内容を確認できるため、出力画像作成時のミスを早
期に見つけることができ、操作性が向上する。

【図面の簡単な説明】

【図１】実施の形態１に係る要部ブロック図である。

【図２】実施の形態に係る表示装置の外観図である。

【図３】図１の行分割領域抽出手段２の動作を説明する
フローチャートである。

【図４】画像の縦軸、横軸への投影結果である。

【図５】画像中の文字列が縦行かどうかを判断するフロ
ーチャートである。

【図６】図４の一番上の横行の画像と横軸への投影結果
である。

【図７】矩形に関する情報の格納の様子を模式的に説明
する図である。

【図８】図４の画像の各行を分割する例を示した図であ
る。

【図９】外接矩形領域とその併合処理を説明するための
図である。

【図１０】行分割領域の情報の格納の様子を模式的に説
明する図である。

【図１１】図１の配置決定手段４の動作を説明するフロ
ーチャートである。

【図１２】図１１のステップＳ２１の詳細を説明するフ
ローチャートである。

【図１３】図１２のステップＳ３０の詳細を説明フロー
チャートである。

【図１４】図１１のステップＳ２７の詳細を説明するフ
ローチャートである。

【図１５】図１１のステップＳ２３の縦位置を求める詳
細を説明するフローチャートである。

【図１６】図１１のステップＳ２３の横位置を求める詳
細を説明するフローチャートである。

【図１７】図１の拡大縮小配置手段５の動作を説明する
フローチャートである。

【図１８】図８（ａ）からの出力画像例である。

【図１９】図８（ｂ）からの出力画像例である。

【図２０】図８（ａ）からの他の出力画像例である。

【図２１】単純に画像を拡大した場合の問題点を説明す
るための図である。

【図２２】入力画像と得られる出力画像との関係を示す
図である。

【図２３】組版処理の例である。

【図２４】背景除去処理の例である。

【図２５】実施の形態１に係る他の要部ブロック図であ
る。

【図２６】図領域検出手段５０の動作を説明するフロー
チャートである。

【図２７】図２６のステップＳ９２の詳細を説明するフ
ローチャートである。

【図２８】図２６のステップＳ９３の詳細を説明するフ
ローチャートである。

【図２９】図２６のステップＳ９４の詳細を説明するフ
ローチャートである。

【図３０】図２５の構成により得られる入力画像と出力
画像との関係を示す図である。

【図３１】実施の形態１に係るさらに他の要部ブロック
図である。

【図３２】図３１の構成により得られる入力画像と出力
画像との関係を示す図である。

【図３３】実施の形態１に係るさらに別の要部ブロック
図である。

【図３４】図３３の構成により得られる入力画像と出力
画像との関係を示す図である。

【図３５】実施の形態２に係る要部ブロック図である。

【図３６】図３５の構成を取らなかった場合の問題点を
説明するための図である。

【図３７】図３５の構成により得られる入力画像と出力
画像との関係を示す図である。

【図３８】再配置の計算が簡単になるのを説明するため
の図である。

【符号の説明】

１入力画像格納手段２行分割領域抽出手段３拡大縮小情報指定手段４配置決定手段（処理手段）５拡大縮小配置手段（処理手段）６出力画像格納手段

Claims

【特許請求の範囲】

【請求項１】所定単位で記憶された入力画像を拡大ま
たは縮小して出力画像上に再配置して表示する画像表示
装置であって、上記入力画像中の行領域を行方向に複数分割した行分割
領域を抽出する行分割領域抽出手段と、上記抽出された行分割領域を単位として、行分割領域の
並び順を保持したまま拡大または縮小し、上記出力画像
上に再配置する処理手段と、を有することを特徴とする
画像表示装置。
【請求項２】上記行分割領域抽出手段が抽出した行分
割領域は、文字領域であることを特徴とする請求項１に
記載の画像表示装置。
【請求項３】上記出力画像は所定単位で記憶され、上
記入力画像は順次拡大または縮小されて、上記出力画像
に再配置した時に再配置できない行分割領域を上記出力
画像に連続する他の出力画像に再配置することを特徴と
する請求項１に記載の画像表示装置。
【請求項４】上記入力画像の縦あるいは横方向の少な
くとも一方の寸法と拡大または縮小の倍率との積が、上
記出力画像の縦あるいは横方向の少なくとも一方の寸法
の小整数分の小整数倍になるように設定されていること
を特徴とする請求項１に記載の画像表示装置。
【請求項５】上記処理手段は、組版処理を入れて再配
置することを特徴とする請求項１に記載の画像表示装
置。
【請求項６】上記入力画像は、背景画像を除去されて
いることを特徴とする請求項１に記載の画像表示装置。
【請求項７】表示の際の上記入力画像の所定単位と上
記出力画像の所定単位とが等しいことを特徴とする請求
項１に記載の画像表示装置。
【請求項８】上記入力画像から図・写真領域を検出す
る図領域検出手段と、検出した図・写真領域を行分割領
域と同一の倍率で拡大または縮小された時に上記出力画
像より大きくならないように制限した倍率を求める図拡
大縮小率算出手段と、を有し、上記処理手段は、上記制限された倍率で拡大または縮小
された図・写真領域が拡大または縮小された行分割領域
と重ならないように上記出力画像上に再配置することを
特徴とする請求項１に記載の画像表示装置。
【請求項９】上記入力画像から図・写真領域を検出す
る図領域検出手段と、検出した図・写真領域を拡大また
は縮小した時に上記出力画像より大きくなる時に、検出
した図・写真領域を拡大または縮小された時の大きさが
収まるよう上記出力画像の大きさを新たに設定する出力
画像サイズ算出手段を有し、上記処理手段は、新たに設定された出力画像上に拡大ま
たは縮小された図・写真領域と拡大または縮小された行
分割領域とが重ならないように上記出力画像上に再配置
することを特徴とする請求項１に記載の画像表示装置。
【請求項１０】上記入力画像から本体領域と周辺領域
を検出する本体周辺領域検出手段を有し、上記処理手段は、上記入力画像での本体領域と周辺領域
との相対位置と上記出力画像での本体領域と周辺領域と
の相対位置とが変わらないように、上記本体領域と周辺
領域とを再配置することを特徴とする請求項１に記載の
画像表示装置。
【請求項１１】所定単位で記憶された入力画像を拡大
して出力画像上に再配置して表示する画像表示装置であ
って、上記入力画像から本体領域を抽出する本体領域抽出手段
と、抽出された本体領域が上記出力画像と同じ大きさになる
ように拡大率を求める拡大率算定手段と、複数の上記入力画像で求めた拡大率から共通の拡大率を
算出する拡大率共通化手段と、上記入力画像を共通の拡大率で拡大し、上記出力画像上
に出力する処理手段と、を有することを特徴とする画像
表示装置。
【請求項１２】上記入力画像と上記出力画像との表示
切替えを指示する切替え手段を有することを特徴とする
請求項１または請求項１１のいづれかに記載の画像表示
装置。