JP2000181931A - 自動オーサリング装置および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像ベース電子書籍に対して自動的にリンク
編集を行う。 【解決手段】 書籍構造抽出部２４は、クラスタリング
部２３によるクラスタリング結果に基づいて代表タイト
ル文字列と先頭ページ番号とを求める。リンク先クラス
タ判定部２５は目次ページの「項目文字列」との距離が最
小の代表タイトル文字列と先頭ページ番号とを求める。
目次ページリンク決定部２６は、目次ページの「ページ
番号」が「先頭ページ番号」に合致するかを最も誤認識さ
れ易い数字に変換しつつ文字列間距離を用いて判定し、
リンク先ページ番号を決定する。索引ページリンク決定
部２７は、索引ページの「ページ番号」のページの文字認
識結果中に「項目文字列」が存在するかを上述と同様にし
て判定し、リンク先ページ番号を決定する。こうして、
クラスタリングや文字列間距離や最も誤認識され易い数
字への変換を行なうことによって誤認識を吸収する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像ベース電子
書籍の目次や索引から参照ページへのリンク編集等を自
動的に実行できる自動オーサリング装置に関する。

【０００２】

【従来の技術】近年、(株)ソニーの「電子ブック」や、
ボイジャー(Ｖoyager)社の「電子書籍（ＥxpandＢook)」
等で代表されるような電子書籍の提案が活発化してい
る。しかしながら、上記電子書籍はテキストベースの電
子書籍であるために、(１)電子化されていない既存の紙
書籍のコンテンツ化にはＯＣＲ(光学式文字読み取り装
置)等を用いてテキストデータに変換しなければなら
ず、コンテンツ化には長時間を要する。(２)漫画や写真
雑誌等のテキスト以外のデータが大部分を占める書籍は
コンテンツし難く、コンテンツの種類が一般的な読み物
系よりも辞書系(参照系)へ偏り勝ちである。

【０００３】したがって、既存のテキストベース電子書
籍のタイトル数は、数百オーダーと少なく、且つ、内容
が辞書系に偏っており、その普及率は紙書籍の数％にも
達していないのが現状である。

【０００４】ところが、最近では、上述のようなテキス
トベース電子書籍の欠点を無くすものとして画像ベース
の電子書籍が出現している。この例としては、(株)小学
館の「漫画ＲＯＭ(リード・オンリ・メモリ)」等が上げら
れる。

【０００５】上記画像ベース電子書籍は、 基本的に
は既存の紙書籍をスキャニングするだけの単純作業でコ
ンテンツ作業が行え、短期間に大量のコンテンツ供給が
可能となる。 テキストベースの書籍では不可能であ
った漫画や写真雑誌等のコンテンツ供給が可能となる。
外字や異体字や古文書等のように、文字コード体系
に合っていない文字が存在しても容易に取り込める。
言語(文字コード)に依存しないため海外普及が容易で
ある。等の利点を有し、次世代の電子書籍の形態として
非常に有望なものと考えられている。

【０００６】また、上述のような電子化コンテンツを利
用する技術として、ハイパーテキストに代表されるリン
ク機能(情報と情報とを結合して関連情報間で経路を作
成する機能)がある。このリンク機能の概念を図２４に
示す。図２４においては、文字列や図形や画像等でなる
オブジェクトから他のオブジェクトへのリンクは破線矢
印で示している。また、上記オブジェクトからページへ
のリンクは実線矢印で示されている(但し、コンテンツ
にはページの概念はない)。尚、上記ページは各番号で
示されている。

【０００７】図２４においては、ページ１における第１
行目に存在するオブジェクト(文字列)からは、ページ２
にリンクされている。また、ページ１における第４行目
に存在するオブジェクトからは、ページ５における第５
行目に存在するオブジェクトにリンクされている。ま
た、ページ１における最終行に存在するオブジェクトか
らは、ページ４にリンクされている。そして、上記リン
ク機能とは、ビューア等において、ページ１におけるリ
ンクが張られているオブジェクトをマウス等によって指
定することによって、リンク先のページやオブジェクト
へジャンプする機能である。

【０００８】このようなリンク機能は、既存の紙メディ
アでは不可能な機能であり、電子化コンテンツの大きな
魅力である。その反面、リンク情報を付加する編集(リ
ンク編集)を含む電子書籍の編集(以下、オーサリングと
言う)の際に、上記リンク編集作業を行う必要がある。
したがって、このようなリンク編集を効率的に行えるこ
とが、オーサリング装置には重要な要素となる。

【０００９】従来より、上記リンク編集を自動的に行う
ものとして、特開平６−２２３０６５号公報「電子ドキ
ュメントにおける自動リンク情報作成方法」がある。こ
の自動リンク情報作成方法においては、テキストベース
の電子ドキュメントからリンク対象となるキーワードを
抽出し、文書構成を判定して、これらを基に目次と本文
とのリンク付けを自動的に行うものである。

【００１０】以上のことにより、種々の利点を有して次
世代の電子書籍の形態として非常に有望な上記画像ベー
ス電子書籍に、特開平６−２２３０６５号公報に開示さ
れた自動リンク情報作成方法を適用することによって、
漫画や写真雑誌等のテキスト以外の電子コンテンツのハ
イパーテキスト化が可能になるのである。

【００１１】

【発明が解決しようとする課題】しかしながら、上記従
来の特開平６−２２３０６５号公報に開示された自動リ
ンク情報作成方法は、テキスト(文字コードデータ)を対
象としているために、画像ベース電子書籍に適用する場
合には以下のような問題がある。

【００１２】上述のように、上記従来の自動リンク情報
作成方法はテキストを対象としている。そこで、画像ベ
ース電子書籍に適用する場合には、ＯＣＲを利用して画
像をテキストに変換する手法が考えられる。ところが、
現状のＯＣＲでは、１００％の正解結果を得ることは困
難であり、認識結果には誤認識文字(ＯＣＲが読み取り
間違えた文字)が含まれる。現状の高性能日本語ＯＣＲ
でも認識正解率は９８％程度であり、認識結果に誤認識
文字が２％程度は含まれる。したがって、ＯＣＲを利用
して画像をテキストに変換した画像ベース電子書籍に上
記従来の自動リンク情報作成方法を適用する場合には、
上記誤認識によって、総ての文字が正しい「完全テキス
ト」を前提とした上記従来の自動リンク情報作成方法で
は誤動作が発生するという問題がある。以下、この誤動
作に付いて詳細に説明する。

【００１３】上記特開平６−２２３０６５号公報によれ
ば、上記従来の自動リンク情報作成方法では、文字列
「CONTENTS」の有無によって目次ページを判定し、例え
ばキー文字列「SYSTEM OUTLINE」によって目次ページと
本文ページとのリンク付けを行っている。したがって、
上記ＯＣＲによってテキストに変換する際に、上記文字
列「CONTENTS」の文字「Ｏ(オー)」が「０(ゼロ)」と誤認識
された場合には、目次ページを判定できないことにな
る。同様に、目次ページに在るキー文字列「SYSTEMOUTL
INE」と本文ページに在るキー文字列「SYSTEM OUTLIN
E」との何れか一方でも誤認識されれば、リンク付けが
できないことになる。ページ数「１」を英小文字エル「ｌ」
と誤認識した場合も同様である。

【００１４】尚、上述のような誤動作を解決する方法と
して、上記ＯＣＲの認識結果をオペレータが修正して上
記完全テキストを得る方法も考えられる。ところが、そ
の場合には、本来は不用である上記完全テキストを作成
する処理が必要となる。したがって、上記解決方法は、
上記オーサリング作業の軽減化のために行う自動リンク
編集を行うことを考えると、本末転倒な解決方法である
といえる。

【００１５】そこで、この発明の目的は、画像ベース電
子書籍に対して自動的にリンク編集を行うことができる
自動オーサリング装置を提供することにある。

【００１６】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に係る発明は、画像ベース電子書籍を自動
的にオーサリングする自動オーサリング装置であって、
書籍の各ページの画像を入力する画像入力手段と、文字
認識時の誤認識傾向を距離値に変換して予め作成した距
離テーブルと、上記距離テーブルを用いた動的計画法マ
ッチングによって,文字認識時の誤認識傾向を考慮した
２文字列間の距離を計算する距離計算手段と、上記画像
入力手段から取り込まれた画像データに対して領域分割
を行って,文字領域,写真領域,図形領域を含む領域を抽
出する領域分割手段と、上記領域分割手段によって抽出
された文字領域の画像データに基づいて,文字認識を行
う文字認識手段と、文字列の集合に対して,上記距離計
算手段による２文字列間の距離の算出結果を用いてクラ
スタリングを行って複数のクラスタに分割すると共に,
各クラスタを代表する代表文字列を抽出するクラスタリ
ング手段と、上記書籍全ページのヘッダまたはフッター
の何れか一方の文字列の集合に対する上記クラスタリン
グ手段によるクラスタリング結果を用いて,各クラスタ
に属する文字列に係るページの境界を当該書籍の区切り
とすると共に,各クラスタの代表文字列を上記区切り間
の代表タイトル文字列として書籍構造を抽出する書籍構
造抽出手段を備えて、上記画像入力手段から取り込まれ
た書籍の画像データに基づいて、当該書籍の章または節
等の書籍構造を自動的に抽出することを特徴としてい
る。

【００１７】上記構成によれば、書籍構造抽出手段によ
って、「書籍の「章」や「節」の代表タイトル文字列は該当
する「章」や「節」における「ヘッダ」あるいは「フッター」に
記載されていることが多い」ことを利用して、書籍全ペ
ージのヘッダあるいはフッターの何れか一方の文字列の
集合に対してクラスタリング手段によるクラスタリング
が行われて、当該書籍の章や節等の区切りと上記区切り
間の代表タイトル文字列とでなる書籍構造が自動的に抽
出される。その際に、上記文字列の分類にクラスタリン
グを用いることによって、上記ヘッダあるいはフッター
の文字認識結果における誤認識が吸収される。

【００１８】また、請求項２にかかる発明は、画像ベー
ス電子書籍を自動的にオーサリングする自動オーサリン
グ装置であって、書籍の各ページの画像を入力する画像
入力手段と、文字認識時の誤認識傾向を距離値に変換し
て予め作成した距離テーブルと、上記距離テーブルを用
いた動的計画法マッチングによって,文字認識時の誤認
識傾向を考慮した２文字列間の距離を計算する距離計算
手段と、上記画像入力手段から取り込まれた画像データ
に対して領域分割を行って,文字領域・写真領域・図形領
域を含む領域を抽出する領域分割手段と、上記領域分割
手段によって抽出された文字領域の画像データに基づい
て,文字認識を行う文字認識手段と、文字列の集合に対
して,上記距離計算手段による２文字列間の距離の算出
結果を用いてクラスタリングを行って複数のクラスタに
分割すると共に,各クラスタを代表する代表文字列を抽
出するクラスタリング手段と、上記書籍全ページのヘッ
ダあるいはフッターの何れか一方の文字列の集合に対す
る上記クラスタリング手段によるクラスタリング結果を
用いて,各クラスタに属する文字列に係るページの境界
を当該書籍の区切りとすると共に,各クラスタの代表文
字列を上記区切り間の代表タイトル文字列として書籍構
造を抽出する書籍構造抽出手段と、上記各ページ毎の文
字認識結果に基づいて,上記距離計算手段による文字列
間距離およびキーワードを用いて,予め設定されたルー
ルに従って,目次ページまたは索引ページの判定を行う
リンク元ページ判定手段と、上記目次ページまたは索引
ページの文字認識結果に基づいて,予め設定されたルー
ルに従って,リンク元オブジェクトを項目文字列部とこ
の項目文字列が記載されているページのページ番号文字
列部とに分けて抽出するリンク元オブジェクト抽出手段
と、上記目次ページにおける上記各リンク元オブジェク
トの項目文字列と上記書籍の区切り間の代表タイトル文
字列とに関する上記距離算出手段による距離算出結果に
基づいて,上記リンク元オブジェクトに対応する上記書
籍の区切りを判定するリンク先クラスタ判定手段と、上
記各リンク元オブジェクトのページ番号文字列およびこ
のページ番号文字列が上記距離テーブルを参照して置換
された誤認識し易い数字と,当該リンク元オブジェクト
に対応する上記書籍の区切りの開始ページ番号との比較
結果に基づいて,目次ページに対するリンク付けを行う
目次ページリンク決定手段を備えて、上記画像入力手段
から取り込まれた書籍の画像データに基づいて、各目次
の項目から参照ページへのリンク付けを自動的に行うこ
とを特徴としている。

【００１９】上記構成によれば、リンク先クラスタ判定
手段によってリンク元オブジェクトに対応する上記書籍
の区切りが判定される。その際に、上記リンク元オブジ
ェクトの項目文字列と上記書籍の区切り間の代表タイト
ル文字列との距離を用いることによって、上記項目文字
列の誤認識が吸収される。さらに、目次ページリンク決
定手段によって、上記各リンク元オブジェクトのページ
番号文字列と上記対応する書籍の区切りの開始ページ番
号との比較結果に基づいて上記目次ページに対するリン
ク付けが自動的に行われる。その際に、上記ページ番号
文字列と開始ページ番号とが一致しない場合には上記ペ
ージ番号文字列を誤認識し易い数字に置換して上記比較
を繰り返すことによって、上記ページ番号文字列の誤認
識が吸収される。

【００２０】また、請求項３にかかる発明は、画像ベー
ス電子書籍を自動的にオーサリングする自動オーサリン
グ装置であって、書籍の各ページの画像を入力する画像
入力手段と、文字認識時の誤認識傾向を距離値に変換し
て予め作成した距離テーブルと、上記距離テーブルを用
いた動的計画法マッチングによって,文字認識時の誤認
識傾向を考慮した２文字列間の距離を計算する距離計算
手段と、上記画像入力手段から取り込まれた画像データ
に対して領域分割を行って,文字領域,写真領域,図形領
域を含む領域を抽出する領域分割手段と、上記領域分割
手段によって抽出された文字領域の画像データに基づい
て,文字認識を行う文字認識手段と、上記各ページ毎の
文字認識結果に基づいて,上記距離計算手段による文字
列間距離およびキーワードを用いて,予め設定されたル
ールに従って,目次ページまたは索引ページの判定を行
うリンク元ページ判定手段と、上記目次ページまたは索
引ページの文字認識結果に基づいて,予め設定されたル
ールに従って,リンク元オブジェクトを項目文字列部と
この項目文字列が記載されているページのページ番号文
字列部とに分けて抽出するリンク元オブジェクト抽出手
段と、上記索引ページにおける上記各リンク元オブジェ
クトの項目文字列を検索元文字列とし,上記項目文字列
に対応するページ番号文字列およびこのページ番号文字
列が上記距離テーブルを参照して置換された誤認識し易
い数字をリンク先の注目ページ番号とし,上記注目ペー
ジ番号のページの文字認識結果から上記検索元文字列と
同じ文字数の文字列を順次切り出して検索先文字列と
し,上記検索元文字列と検索先文字列との距離を上記距
離計算手段によって算出し,この算出結果に基づいて索
引ページに対するリンク付けを行う索引ページリンク決
定手段を備えて、上記画像入力手段から取り込まれた書
籍の画像データに基づいて、索引の各項目から参照ペー
ジへのリンク付けを自動的に行うことを特徴としてい
る。

【００２１】上記構成によれば、索引ページリンク決定
手段によって、上記各リンク元オブジェクトの項目文字
列をこの項目文字列に対応するページ番号のページの文
字認識結果中から検索し、この検索結果に基づいて索引
ページに対するリンク付けが自動的に行われる。その際
に、上記文字認識結果から切り出した文字列と項目文字
列との距離を用いることによって、上記項目文字列の誤
認識が吸収される。さらに、上記項目文字列が検索され
ない場合には上記ページ番号文字列を誤認識し易い数字
に置換して上記検索を繰り返すことによって、上記ペー
ジ番号文字列の誤認識が吸収される。

【００２２】また、請求項４に係る発明は、請求項２に
係る発明の自動オーサリング装置において、上記リンク
元オブジェクト抽出手段によって抽出された上記索引ペ
ージにおける上記各リンク元オブジェクトの項目文字列
を検索元文字列とし,上記項目文字列に対応するページ
番号文字列およびこのページ番号文字列が上記距離テー
ブルを参照して置換された誤認識し易い数字をリンク先
の注目ページ番号とし,上記注目ページ番号のページの
文字認識結果から上記検索元文字列と同じ文字数の文字
列を順次切り出して検索先文字列とし,上記検索元文字
列と検索先文字列との距離を上記距離計算手段によって
算出し,この算出結果に基づいて索引ページに対するリ
ンク付けを行う索引ページリンク決定手段を備えて、上
記画像入力手段から取り込まれた書籍の画像データに基
づいて、目次あるいは索引の各項目から参照ページへの
リンク付けを自動的に行うことを特徴としている。

【００２３】上記構成によれば、請求項２に係る発明の
場合と同様に、リンク先クラスタ判定手段によって上記
リンク元オブジェクトに対応する上記書籍の区切りが判
定される際に、上記項目文字列と上記代表タイトル文字
列との距離を用いることによって、上記項目文字列の誤
認識が吸収される。また、目次ページリンク決定手段に
よって目次ページに対するリンク付けが自動的に行われ
る際に、上記ページ番号文字列を誤認識し易い数字に置
換することによって、上記ページ番号文字列の誤認識が
吸収される。

【００２４】さらに、索引ページリンク決定手段によっ
て索引ページに対するリンク付けが自動的に行われる際
に、上記文字認識結果から切り出された文字列と上記項
目文字列との距離を用いることによって、上記項目文字
列の誤認識が吸収される。また、上記ページ番号文字列
を誤認識し易い数字に置換することによって、上記ペー
ジ番号文字列の誤認識が吸収される。

【００２５】また、請求項５に係る発明は、請求項２乃
至請求項４の何れか一つに係る発明の自動オーサリング
装置において、上記リンク元オブジェクト抽出手段は、
上記リンク元ページ判定手段によって目次ページまたは
索引ページであると判定されたページの文字認識結果に
基づいて,各リンク元オブジェクト毎に,上記リンク元オ
ブジェクトを構成する項目文字列の配列方向に直交する
方向への文字長さのヒストグラムを作成するヒストグラ
ム作成手段と、上記ヒストグラムに対して判別分析によ
って二値化閾値を計算する二値化閾値算出手段と、上記
二値化閾値以下の長さを有する文字の連なりを上記リン
ク元オブジェクトにおける項目文字列とページ番号文字
列とを分離するセパレータの候補として抽出し,この抽
出されたセパレータ候補中から上記方向への文字長さの
分散が最小となる連続区間を上記セパレータとして抽出
するセパレータ抽出手段と、上記リンク元オブジェクト
における上記抽出されたセパレータの一側を上記項目文
字列とする一方,他側を上記ページ番号文字列として分
離して抽出するオブジェクト抽出手段を有していること
を特徴としている。

【００２６】上記構成によれば、上記リンク元オブジェ
クト抽出手段によって、「目次や索引では「項目文字列」
と「その項目が記載されているページ番号」とが「…」,
「−」あるいは「空白」等のセパレータを介して同じ列や行
を構成している」ことを利用して、目次ページまたは索
引ページにおける上記項目文字列の配列方向に直交する
方向への文字長さのヒストグラムと二値化閾値とに基づ
いて上記セパレータが抽出される。そして、このセパレ
ータに基づいて、上記項目文字列とページ番号文字列と
が自動的に分離されて抽出される。

【００２７】また、請求項６に係る発明の記録媒体は、
請求項４における上記画像入力手段,距離計算手段,領域
分割手段,文字認識手段,クラスタリング手段,書籍構造
抽出手段,リンク元ページ判定手段,リンク元オブジェク
ト抽出手段,リンク先クラスタ判定手段,目次ページリン
ク決定手段及び索引ページリンク決定手段として、コン
ピュータを機能させて、書籍の画像データに基づいて目
次あるいは索引の各項目から参照ページへのリンク付け
を自動的に行う自動オーサリングプログラムが記録され
ていることを特徴としている。

【００２８】上記構成によれば、請求項４に係る発明の
場合と同様に、上記ヘッダやフッターの文字列,リンク
元オブジェクトの項目文字列およびページ番号文字列の
誤認識を吸収した目次ページあるいは索引ページに対す
るリンク付けが自動的に行われる。

【００２９】

【発明の実施の形態】以下、この発明を図示の実施の形
態により詳細に説明する。図１は、本実施の形態の自動
オーサリング装置におけるブロック図である。主制御部
１は、本自動オーサリング装置の動作を制御し、後に詳
述するような自動オーサリング処理動作を実行する。

【００３０】入力制御部２は、キーボード３やマウス４
から操作者によって入力された入力信号をデータバス５
のデータ形式に変換し、データバス５を介して主制御部
１に送出する。画像入力部６は、スキャナ７で読み取ら
れた画像データをデータバス５のデータ形式に変換し、
データバス５を介してメモリ８のページ画像部２８に送
出する。また、外部記憶装置制御部９は、外部記憶装置
１０の書籍画像ファイル１１に格納されている書籍の画
像データをデータバス５のデータ形式に変換して、デー
タバス５を介してメモリ８のページ画像部２８に送出す
る。尚、書籍コンテンツファイル１２には、自動リンク
付けされた際のリンク情報が格納されている。ＣＲＴ
(陰極線管)制御部１３は、ビデオＲＡＭ(ランダム・アク
セス・メモリ)１５に格納されている表示データをデータ
バス５を介して読み出し、ＣＲＴのデータ形式に変換し
てＣＲＴ１４に表示させる。

【００３１】距離テーブル１６は、文字認識の誤認識傾
向を距離値に変換して予め作成された参照専用のテーブ
ルであり、参照データはデータバス５を介して距離計算
部１７等へ送出される。尚、距離テーブル１６について
は、後に詳細に説明する。距離計算部１７は、２つの文
字列間の距離(類似度)を、距離テーブル１６からの参照
データを用いて動的計画法(ＤＰ)マッチングによって演
算し、演算結果を内部メモリ等に格納する。尚、距離計
算部１７についても、後に詳細に説明する。

【００３２】領域分割部１８は、上記メモリ８のページ
画像部２８に格納された画像データを参照して、文字領
域(縦書き,横書き,ヘッダ,フッター領域)、写真画像領
域、図形画像領域、及び、線分領域を抽出し、メモリ８
の領域分割結果部２９に格納する。尚、上記領域分割
は、例えば特開平４−１０５４８６号公報や特開平４−
１１４５６０号公報等に開示された周知の方法によって
行う。

【００３３】図２は、上記メモリ８のページ画像部２８
に格納された目次ページの画像に対して、上記領域分割
部１８によって領域分割を行った結果の概念を示す。領
域４１a,４１bは、ヘッダ横書き文字領域として抽出さ
れている。また、領域４２,４３は、横書き文字領域と
して抽出されている。また、領域４４,４５は、縦書き
文字領域として抽出されている。また、領域４６は、フ
ッター横書き文字領域として抽出されている。尚、実際
には、領域４１a,４１bの上側に存在する横線部や領域
４５の下部に存在する電話機マーク等も、夫々線分領域
や図形領域として抽出されるのであるが、本実施の形態
は文字領域のみをリンク付けの対象とするのでこれらの
抽出結果は省略している。

【００３４】図３は、上記メモリ８のページ画像部２８
に格納された索引ページの画像に対して、領域分割部１
８によって領域分割を行った結果の概念を示す。領域５
１はヘッダ横書き文字領域として、領域５２,５３は横
書き文字領域として、領域５４はフッター横書き文字領
域として抽出されている。

【００３５】文字認識部１９は、上記メモリ８の領域分
割結果部２９に格納された文字領域情報を用いてページ
画像部２８に格納された画像データに対して、認識辞書
２０を参照して文字認識を行う。そして、得られた認識
結果をメモリ８の認識結果部３０に格納する。尚、上記
文字認識は、例えば「確立モデルによる音声認識」(中川
聖一著、電子情報通信学会、コロナ社、初版昭和６３
年)に記載されているような「部分空間法」や「複合類似
度」等によって行う。その際には、認識辞書２０には主
成分分析によって求められた固有べクトル等が格納され
る。

【００３６】リンク元ページ判定部２１は、上記メモリ
８の認識結果部３０に格納された認識結果と、距離計算
部１７によって演算された文字列間距離とに基づいて、
予め設定されたキーワードおよびルールに従って、注目
ページが目次や索引等のリンク元ページであるか否かを
判断する。そして、判断結果を主制御部１に返す。リン
ク元オブジェクト抽出部２２は、上記メモリ８の書籍構
造結果部３１に格納された書籍構造を参照して得られる
リンク元ページを注目ページとし、メモリ８の認識結果
部３０に格納された注目ページに対応する認識結果を参
照して、注目ページの各行の認識結果をオブジェクト文
字列部とページ番号文字列部とに分けてリンク元オブジ
ェクトとして抽出する。そして、抽出結果をメモリ８の
オブジェクト部３２に格納する。尚、ヒストグラムバッ
ファ部３４には、リンク元オブジェクト抽出中に作成さ
れた文字高さ(幅)のヒストグラムが格納される。

【００３７】クラスタリング部２３は、上記メモリ８の
クラスタリングメモリ部３３に格納されている文字列集
合に対して、距離計算部１７に指令して、例えば上記
「確立モデルによる音声認識」(中川聖一著、電子情報通
信学会、コロナ社、初版昭和６３年)に記載されている
ような「ＫＢＧアルゴリズム(基本的にはｋ−平均法と同
じ)」等によってクラスタリングを行わせる。そして、各
文字列に対するクラスタリング結果と各クラスタの代表
文字列とをクラスタリングメモリ部３３に格納する。

【００３８】書籍構造抽出部２４は、上記メモリ８の領
域分割結果部２９および認識結果部３０の内容を参照し
ながら、書籍全体における各ページのヘッダまたはフッ
ターを抽出してクラスタリングを行う。そして、クラス
タリングメモリ部３３に格納された上記クラスタリング
の結果に基づいて章や節等の書籍構造を抽出し、抽出結
果を書籍構造結果部３１に格納する。

【００３９】リンク先クラスタ判定部２５は、上記距離
計算部１７に指令して、メモリ８のオブジェクト部３２
に格納されている各リンク元オブジェクトのオブジェク
ト文字列と、書籍構造結果部３１に格納された各書籍構
造の情報(章や節等)を代表する代表タイトル文字列との
距離を算出させる。そして、リンク元のオブジェクト文
字に対応するリンク先構造情報の先頭アドレスを求めて
主制御部１に返す。

【００４０】目次ページリンク決定部２６は、上記メモ
リ８のオブジェクト部３２に格納されている当該リンク
元オブジェクトのページ番号文字列の数字と、リンク先
クラスタ判定部２５によって求められた当該リンク元の
オブジェクトに対応するリンク先の章や節の開始ページ
番号との比較を、上記ページ番号文字列の数字を上記距
離テーブル１６に格納された数字の距離値を参照して誤
認識し易い数字に置換しながら一致するまで行い、その
比較結果に基づいて目次ページのリンク付けを自動的に
行う。そして、リンク付け結果のリンク先ページ番号を
メモリ８のオブジェクト部３２に格納する。

【００４１】図４は、こうして目次ページのリンク元オ
ブジェクト(図２に示す目次ページにおける文字列５６
「文字を入力する」)に自動的にリンク付けされた、リン
ク先ページの画像例である。

【００４２】索引ページリンク決定部２７は、上記メモ
リ８のオブジェクト部３２に格納されている当該リンク
元オブジェクトのオブジェクト文字列を、検索元文字列
とする。また、オブジェクト部３２に格納されている当
該リンク元オブジェクトのページ番号文字列を注目ペー
ジ番号とする。また、メモリ８の認識結果部３０に格納
されている上記注目ページ番号のページに関する認識結
果から、順次上記検索元文字列と同じ文字数の文字列を
切り出して検索先文字列とする。そして、上記ページ番
号を上述のようにして誤認識し易い数字に置換しながら
距離計算部１７に指令して上記検索元文字列と検索先文
字列との間の距離を算出させ、この距離が閾値以内であ
れば上記注目ページに検索先文字列が存在すると判定し
て、索引ページとのリンク付けを自動的に行う。そし
て、上記注目ページ番号をリンク先ページ番号としてメ
モリ８のオブジェクト部３２に格納する。

【００４３】図５は、こうして索引ページのリンク元オ
ブジェクト(図３に示す索引ページにおける文字列５７
「カタカナ」)に自動的にリンク付けされた、リンク先ペ
ージの画像例である。

【００４４】図６は、上記距離テーブル１６の概念図で
ある。この距離テーブル１６は、上述したように、文字
認識の誤認識傾向を基に予め作成しておく参照専用テー
ブルであり、その縦横のサイズが認識対象文字数(本実
施の形態における認識対象文字数は４０００であるとす
る)の二次元テーブルである。各行および各列は認識対
象の各文字に対応しており、行及び列で決まる２文字間
の距離値が要素値として格納されている。この距離値の
データサイズは１バイトであり、距離値は０〜２５５ま
での整数値を取る。図６(b)に、図６(a)における数字
「０」行の数字「０」列から文字「Ｒ」列までの距離値の具体
例を示す。図６(b)に関してのみ言えば、数字「０」に最
も距離が近い文字は「Ｏ(距離＝１)」であり、最も距離が
遠い文字は「１(距離＝２５５)」である。その他の文字の
列についても夫々距離値が設定してあり、距離値が小さ
い文字ほど数字「０」に形状が類似しており、誤認識し易
いことを示す。尚、この距離テーブル１６は、予め、大
量の認識評価実験の結果に基づいて作成しておく。

【００４５】図７は、上記距離計算部１７の詳細なブロ
ック図である。距離計算制御部６１は、データバス５を
介して送出されてくる第１文字列データを第１文字列バ
ッファ６２に格納する。同様に、第２文字列データを第
２文字列バッファ６３に格納する。そして、データバス
５を介して主制御部１,クラスタリング部２３,リンク先
クラスタ判定部２５あるいは索引ページリンク決定部２
７から送出されてくる距離計算命令に従って、ＤＰマッ
チング部６５に対して距離計算命令を送る。

【００４６】そうすると、上記ＤＰマッチング部６５
は、上記第１文字列バッファ６２および第２文字列バッ
ファ６３と、距離テーブル１６(図１参照)とを参照し、
下記の式(１)によって距離計算を行う。そして、得られ
た計算結果は距離バッファ６４に格納される。

【数１】

【００４７】尚、上記ＤＰマッチングとは、要素数が異
なる２つのデータ間(本実施の形態の場合は２つの文字
列間)の最適経路による距離を求める演算方式で、古く
から音声認識やオンライン手書き文字認識に採用されて
おり、例えば上記「確立モデルによる音声認識」(中川
聖一著、電子情報通信学会、コロナ社、初版昭和６３
年)に記載されている。こうして、距離バッファ６４に
格納された計算結果は、データバス５および距離計算制
御部６１を介して、データバス５に接続された他のブロ
ックから参照することができるのである。

【００４８】図８は、上記メモリ８のページ画像部２８
の詳細な構成概念図である。このページ画像部２８は、
ヘッダ部６６と画像データ部６７とで構成される。ヘッ
ダ部６６には、横画素数部６８,縦画素数部６９,データ
長部(１画素当たり)７０およびモノクロ/カラー部７１
が設けられている。そして、画像入力部６から又は外部
記憶装置制御部９から画像データを書き込む場合には、
１ページ当たりの画像のサイズやデータ長等の画像情報
がヘッダ部６６に格納される一方、画像データが画像デ
ータ部６７に格納される。こうして、ページ画像部２８
に格納された画像情報および画像データは、データバス
５に接続された他のブロックから参照することができる
のである。

【００４９】図９は、上記メモリ８の領域分割結果部２
９の詳細な構成概念図である。この領域分割結果部２９
は、書籍１冊毎に複数の領域結果部７４に分割されてお
り、各領域結果部７４には、先頭から順に一領域の分割
結果が格納される。また、上記一つの領域結果部７４
は、その領域がどのような種類の領域であるかを示す領
域フラグ部７５と、ページ番号が格納されるページ番号
部７６と、当該ページ内での領域番号が格納される領域
番号部７７と、当該領域の矩形領域に間する開始Ｘ座標
が格納される開始Ｘ座標部７８と、上記矩形領域の開始
Ｙ座標が格納される開始Ｙ座標部７９と、上記矩形領域
の終了Ｘ座標が格納される終了Ｘ座標部８０と、上記矩
形領域の終了Ｙ座標が格納される終了Ｙ座標部８１で構
成されている。尚、領域フラグ部７５〜終了Ｙ座標部８
１には、何れもバイナリデータが格納される。

【００５０】上記領域フラグ部７５に格納されるバイナ
リデータの各ビットは夫々以下のような意味を有してい
る。すなわち、下位ビットから順に、文字領域ビット
(１：文字領域)、写真領域ビット(１：写真領域)、図形
領域ビット(１：図形領域)、線分領域ビット(１：線分
領域)、縦/横ビット(１：横、０：縦)、ヘッダ−フッタ
ービット(１：ヘッダ、０：フッター)の順で構成されて
いる。ここで、上記縦/横ビットは、当該領域が文字領
域あるいは線分領域である場合にセットされ、文字領域
である場合には縦書きか横書きかを示し、線分領域であ
る場合には縦線か横線かを示す。

【００５１】こうして、上記領域分割結果部２９に格納
された領域分割結果は、データバス５に接続された他の
ブロックから参照することができるのである。

【００５２】図１０は、上記メモリ８の認識結果部３０
の詳細な構成概念図である。この認識結果部３０は、領
域分割部１８によって分割された１領域毎に、ヘッダ部
８５と認識結果部８６で構成されている。ヘッダ部８５
は固定長であり、図１０(a)に示すように、領域分割結
果部２９へのポインタ８７と文字数部８８とに分けられ
る。ここで、ポインタ８７には、当該認識結果に係る認
識領域を示す領域分割結果部２９へのポインタであり、
図９における複数の領域結果部７４のうち該当する領域
結果部７４の先頭アドレスが上記ポインタとして格納さ
れる。このポインタによって、認識対象領域に関する図
９に示す各種情報と認識結果とが対応付けられるのであ
る。尚、文字数部８８には、認識結果の文字数が格納さ
れる。

【００５３】また、上記認識結果部８６には該当する領
域の認識結果が格納され、そのサイズは可変長である。
ここで、この認識結果のサイズは、ヘッダ部８５の文字
数部８８を参照することによって分かる。認識結果部８
６は、図１０(b)に示すように、ヘッダ部８５の文字数
部８８に格納された文字数(図１０(b)では「Ｎ」)分の文
字認識結果が格納される結果部８９を有する。１文字分
の結果部８９は、コード部９１と、類似度部９２と、開
始Ｘ座標部９３と、開始Ｙ座標部９４と、終了Ｘ座標部
９５と、終了Ｙ座標部９６で構成されている。そして、
コード部９１には、該当文字の認識結果コードが格納さ
れる。また、類似度部９２には、上述した部分空間法や
複合類似度法によって計算された類似度が格納される。
また、開始Ｘ座標部９３〜終了Ｙ座標部９６には、切り
出し座標が格納される。尚、コード部９１には、認識処
理での行切り出し結果や空白抽出結果に基づいて、行末
を示す改行コードや空白を示すスペースコードも格納さ
れる。そして、コード部９１に上記改行コードやスペー
スコードが格納された場合には、類似度部９２〜終了Ｙ
座標部９６のデータは「０」クリアされる。

【００５４】図１１は、上記メモリ８の書籍構造結果部
３１の詳細な構成概念図である。この書籍構造結果部３
１は、書籍１冊分が複数の構造情報部１００に分割され
ており、各構造情報部１００には先頭から順に構造情報
が格納される。ここで、各構造情報部１００のサイズは
固定長である。また、一つの構造情報部１００は、代表
タイトル文字列部１０１と、文字数部１０２と、開始ペ
ージ番号部１０３と、終了ページ番号部１０４で構成さ
れている。そして、代表タイトル文字列部１０１には、
各ページのヘッダ文字列またはフッター文字列をクラス
タリングすることによって求められた各クラスタの代表
タイトルの文字列が格納される。また、文字数部１０２
には、上記代表タイトル文字列の文字数が格納される。
また、開始ページ番号部１０３には、上記何れかのクラ
スタで表される該当構造の開始ページ番号が格納され
る。また、終了ページ番号部１０４には、該当構造の終
了ページ番号が格納される。

【００５５】図１２は、上記メモリ８のオブジェクト部
３２の詳細な構成概念図である。このオブジェクト部３
２は、書籍１冊分が複数のオブジェクト格納部１０５に
分割されており、各オブジェクト格納部１０５には、先
頭から順にオブジェクト情報が格納される。ここで、各
オブジェクト格納部１０５のサイズは固定長である。ま
た、一つのオブジェクト格納部１０５は、オブジェクト
文字列部１０６と、ページ番号文字列部１０７と、オブ
ジェクト文字列文字数部１０８と、ページ番号文字列文
字数部１０９と、リンク元ページ番号部１１０と、開始
Ｘ座標部１１１と、開始Ｙ座標部１１２と、終了Ｘ座標
部１１３と、終了Ｙ座標部１１４と、目次・索引フラグ
部１１５と、リンク先ページ番号部１１６で構成されて
いる。そして、オブジェクト文字列部１０６およびペー
ジ番号文字列部１０７には、リンク元オブジェクト抽出
部２２で抽出されたオブジェクト文字列とページ番号文
字列とが格納される。また、オブジェクト文字列文字数
部１０８およびページ番号文字列文字数部１０９には、
上記オブジェクト文字列およびページ番号文字列の文字
数が格納される。また、リンク元ページ番号部１１０に
は、該当オブジェクトが存在したページ番号(リンク元
ページ番号)が格納される。また、開始Ｘ座標部１１１
〜終了Ｙ座標部１１４には、該当オブジェクト文字列の
外接矩形座標が格納される。また、目次・索引フラグ部
１１５には、該当オブジェクトが存在するページは目次
ページであるか索引ページであるかが格納される。具体
的には、目次ページである場合には「０(０ｘ００)」が格
納され、索引ページである場合には「１(０ｘ０１)」が格
納される。また、リンク先ページ番号部１１６には、リ
ンク元オブジェクト抽出部２２によって各オブジェクト
が抽出された段階では、初期値(０ｘｆｆ)が格納されて
いる。そして、目次ページリンク決定部２６や索引ペー
ジリンク決定部２７によってリンク先ページ番号が決定
された時点で、この決定されたリンク先ページ番号が格
納される。

【００５６】図１３は、上記メモリ８のクラスタリング
メモリ部３３の詳細な構成概念図である。このクラスタ
リングメモリ部３３は、書籍１冊分が複数のデータ部１
２１に分割されており、各データ部１２１には先頭から
順にデータ(ヘッダ情報またはフッダー情報)が格納され
る。一つのデータ部１２１は、文字列部１２２と、文字
列文字数部１２３と、ページ番号部１２４と、クラスタ
番号部１２５と、クラスタ代表フラグ部１２６で構成さ
れている。ここで、文字列部１２２〜ページ番号部１２
４の値は書籍構造抽出部２４によって設定され、クラス
タ番号部１２５およびクラスタ代表フラグ部１２６には
クラスタリング部２３でクラスタリングされた結果が格
納される。

【００５７】上記構成の自動オーサリング装置は、以下
のように動作する。図１４は、上記主制御部１の制御の
下に行われる自動オーサリング処理動作のフローチャー
トである。

【００５８】ステップＳ1で、書籍１冊分の画像データ
が入力されてメモリ８のページ画像部２８に格納され
る。ここで、上記書籍が紙書籍である場合には、画像入
力部６が制御されて、スキャナ７で読み取られた紙書籍
の画像データがデータバス５を介してメモリ８のページ
画像部２８に送出されて格納される。また、上記書籍の
画像データが外部記憶装置１０に蓄積されている場合に
は、外部記憶装置制御部９が制御されて、外部記憶装置
１０の書籍画像ファイル１１から読み出された所望の画
像データがデータバス５を介してメモリ８のページ画像
部２８に送出されて格納される。

【００５９】ステップＳ2で、上記領域分割部１８が制
御されて、上記ステップＳ1においてページ画像部２８
に格納された画像データに対して領域分割処理が行われ
る。そして、図２や図３のように得られた領域分割結果
の情報が、図９に示すようなフォーマットでメモリ８の
領域分割結果部２９に格納される。

【００６０】ステップＳ3で、上記文字認識部１９が制
御されて、上記ステップＳ2において領域分割されて領
域分割結果部２９に格納された領域分割結果を用いて文
字認識処理が行われる。その場合の文字認識処理は、次
のように行われる。すなわち、図９に示す領域分割結果
部２９の第１領域結果部７４から順に領域フラグ部７５
を参照して文字領域の領域結果部７４を探す。そして、
文字領域の領域結果部７４における開始Ｘ座標部７８〜
終了Ｙ座標部８１から領域座標を求め、この領域座標に
該当する画像データをページ画像部２８から読み出し、
この文字領域の画像データに対して文字認識処理を行う
のである。こうして得られた認識結果は、メモリ８の認
識結果部３０に格納される。

【００６１】以上のステップＳ1〜ステップＳ3までの処
理は、以降の自動リンク付けを行うための前処理であ
り、１冊の書籍分総ての画像データに対して、各ページ
画像毎に順次実行される。したがって、上記ステップＳ
3が終了した時点では、メモリ８の領域分割結果部２９
および認識結果部３０には、１冊の書籍分のデータが保
持されることになる。

【００６２】ステップＳ4で、上記書籍構造抽出部２４,
クラスタリング部２３および距離計算部１７が制御され
て、上記領域分割結果および文字認識結果に基づいて書
籍構造が次のようにして抽出される。すなわち、メモリ
８の領域分割結果部２９および認識結果部３０から、当
該書籍１冊分の全ヘッダ領域または全フッター領域の認
識結果文字列が抽出されて、クラスタリングメモリ部３
３に格納される。そして、この格納された全文字列を母
集団としたクラスタリングが行われて、「章」や「節」等の
単位に上記文字列を分類することによって書籍構造が抽
出されるのである。こうして抽出された書籍構造の代表
タイトル文字列や領域座標等の情報は、メモリ８の書籍
構造結果部３１に格納される。

【００６３】ステップＳ5で、上記リンク元ページ判定
部２１が制御されて、次のようにしてリンク元ページ判
定が行われる。すなわち、メモリ８の認識結果部３０に
格納されているページ画像毎の認識結果を入力データと
し、予め設定されたキーワードとルールとに基づいて、
注目ページが、目次ページ,索引ページおよびそれ以外
のページの何れに属するかが判定されるのである。

【００６４】ステップＳ6で、上記リンク元オブジェク
ト抽出部２２が制御されて、上記注目ページが目次ペー
ジあるいは索引ページである場合(つまりリンク元ペー
ジである場合)には、次のようにしてリンク元オブジェ
クト抽出処理が行われる。すなわち、メモリ８の認識結
果部３０から注目ページの認識結果が読み出される。そ
して、各行毎に「項目(オブジェクト文字列)」と「ページ
番号」とに分離して上記「項目」の切り出し座標およびリ
ンク元のページ番号文字列等と共に抽出され、メモリ８
のオブジェクト部３２に格納される。

【００６５】ステップＳ7で、上記目次ページリンク決
定部２６,索引ページリンク決定部２７,リンク先クラス
タ判定部２５および距離計算部１７が制御されて、次の
ようにして上記ステップＳ6において抽出されたオブジ
ェクトとリンク先ページとのリンク付けが行われる。す
なわち、注目オブジェクトが上記目次ページに在る場合
には、書籍構造結果部３１の各代表タイトル文字列とオ
ブジェクト部３２における注目オブジェクトのオブジェ
クト文字列との距離計算が行われ、計算結果に基づいて
リンク先の「章」や「節」の構造情報(リンク先構造情報)が
得られる。そして、オブジェクト部３２における注目オ
ブジェクトのページ番号文字列部１０７と、距離テーブ
ル１６と、書籍構造結果部３１のリンク先の構造情報部
１００における開始ページ番号部１０３とに基づいて、
後に詳述するようにして、リンク元ページやリンク先ペ
ージのオブジェクトの誤認識を吸収した自動リンク付け
が行われる。

【００６６】これに対して、注目オブジェクトが上記索
引ページに在る場合には、オブジェクト部３２における
注目オブジェクトのページ番号文字列部１０７からペー
ジ番号を読み出して注目ページとし、オブジェクト部３
２における注目ページの認識結果中に注目オブジェクト
が存在するか否かを、認識結果部３０および領域分割結
果部２９の内容と距離計算部１７の計算結果とに基づい
て誤認識を吸収して判定する。そして、存在する場合に
は索引ページ注目オブジェクトと上記注目ページである
リンク先ページとがリンク付けされる。

【００６７】こうして上記目次ページまたは索引ページ
の注目オブジェクトにリンク付けられたリンク先ページ
のページ番号が、オブジェクト部３２のリンク先ページ
番号部１１６に格納される。

【００６８】ステップＳ8で、上記外部記憶装置制御部
９が制御されて、メモリ８のオブジェクト部３２に格納
されているリンク情報(リンク元ページ番号やオブジェ
クト切り出し座標やリンク先ページ番号等)が読み出さ
れ、書籍コンテンツファイル１２のリンク情報形式に変
換されて書籍コンテンツファイル１２に格納される。こ
うして結果出力が行われた後、自動オーサリング処理動
作を終了する。

【００６９】以下、この発明の特徴である書籍構造抽
出,リンク元ページ判定,リン元オブジェクト抽出および
目次ページまたは索引ページの自動リンクに付いて、さ
らに詳細に説明する。

【００７０】図１５は、図１４に示す自動オーサリング
処理動作のフローチャート中の上記ステップＳ4におい
て実行される書籍構造抽出サブルーチンのフローチャー
トを示す。図１４における上記ステップＳ3において１
冊の書籍分総ての画像データに対する文字認識処理が終
了すると書籍構造抽出サブルーチンがスタートする。

【００７１】ここで、上記書籍構造抽出処理動作の説明
に先立って、クラスタリングによる書籍の構造抽出の概
念について説明する。図１６は、ある書籍の全ページの
ヘッダ部における正解文字列とこの正解文字列の文字認
識結果と誤認識結果との一例を示す。

【００７２】現在の文字認識技術では、認識手法や言語
処理方式の発展に伴って以前に比べてその認識率も速度
も飛躍的に向上しているものの、図１６に示すように誤
認識は発生する。特に、形態が類似している類似文字に
おいて誤認識が著しい。尚、図１６に示す例の場合に
は、正解文字列と文字認識結果との文字数に違いは生じ
ていないが、実際に大量の文字の文字認識を行うと、幾
つかの個所では正解文字列と文字認識結果とに文字数の
違いが生ずる。これは、認識対象文字画像データに含ま
れる接触文字や分離文字に対する切り出し処理のエラー
に起因する。そこで、本実施の形態においては、上述の
誤認識は今後も発生し続ける−文字認識では１００％の
認識率はありえない−と想定し、これらの誤認識を吸収
しつつ自動リンク付けを行うのである。

【００７３】本実施の形態において用いるＤＰマッチン
グは、上述したように、要素数の異なる２つのデータ間
(文字数の異なる２つの文字列間)の距離を演算するもの
である。そして、本実施の形態において用いる２文字間
の距離テーブル１６は、採用する認識手法から見た誤認
識のし易さ(特徴空間での文字の類似性)を反映したテー
ブルである。したがって、上記式(１)によって求められ
る２文字列間距離は、当該２文字列間における文字列長
の差異を吸収した最適な２文字列間の距離となるのであ
る。そして、２文字列間の距離が算出できれば、パター
ン認識の分野でよく行われているクラスタリング手法
(例えば、ＬＢＧアルゴリズム,ｋ−平均法あるいはWard
方等)が適用可能となるのである。

【００７４】図１７は、図１６の文字認識結果に対する
クラスタリング結果を二次元平面１３０上に示した図で
ある。クラスタ１３１は文字列「文字を入力する」を代表
文字列とするクラスタであり、クラスタ１３２は文字列
「データを移動・複写する」を代表文字列とするクラスタ
であり、クラスタ１３３は文字列「電話帳を作る」を代表
文字列とするクラスタであり、クラスタ１３４は文字列
「電話帳から探す」を代表文字列とするクラスタである。
ここで、上記文字認識結果の文字列は、上記２文字列間
距離に基づいて各クラスタ毎に「章」や「節」の単位として
分類される。

【００７５】以上が、上記書籍構造抽出処理の概念の説
明である。つまり、上記書籍構造抽出処理によれば、不
完全なテキストをＤＰマッチングと誤認識度合いを反映
した距離テーブル１６とに基づいてクラスタリングを行
なうことによって、各クラスタを構成する文字列が掲載
されたページの集合が、書籍を構成する「章」や「節」の単
位として抽出されるのである。

【００７６】以下、図１５に従って、上記書籍構造抽出
処理動作について説明する。書籍構造抽出処理は、上述
したように、書籍１冊の全ページ画像に対する領域分割
および文字認識が終了すると開始される。

【００７７】ステップＳ11で、上記ヘッダあるいはフッ
ターの何れかが処理対象文字列として選択される。これ
は、メモリ８の認識結果部３０の総ての認識結果におけ
るポインタ８７(図１０参照)で示される領域分割部２９
の該当する領域結果部７４を求め、この領域結果部７４
の領域フラグ部７５における最下位から６ビット目のバ
イナリデータを参照することによってヘッダあるいはフ
ッターに該当する認識結果を識別する。そして、ヘッダ
あるいはフッターに該当する認識結果の文字列長をメモ
リ８の認識結果部３０の該当する文字数部８８から読み
出し、ヘッダに該当する認識結果の文字列長の総和と、
フッターに該当する認識結果の文字列長の総和とを算出
する。その結果、ヘッダおよびフッターのうち文字列長
の総和が大きい方(つまり、情報量の多い方)を、書籍構
造抽出処理の対象文字列とする。以下の説明において
は、便宜上ヘッダーが対象文字列となった場合を想定す
る。

【００７８】ステップＳ12で、各ページのヘッダあるい
はフッターの文字列が抽出されて、メモリ８のクラスタ
リングメモリ部３３に格納される。これは、メモリ８の
認識結果部３０のポインタ８７で示される領域分割部２
９の該当する領域結果部７４の領域フラグ部７５を参照
してヘッダ(対象文字列はヘッダと仮定している)の認識
結果を探し、認識結果部３０におけるヘッダの認識結果
に該当する文字数部８８で示される文字数だけコード部
９１からコード情報を読み出す。そして、メモリ８のク
ラスタリングメモリ部３３における文字列部１２２にコ
ード情報(文字列)を格納し、文字列文字数部１２３に上
記文字数を格納し、ページ番号部１２４には領域分割結
果部２９の該当文字列の領域結果部７４におけるページ
番号部７６の内容を格納することによって行われる。

【００７９】ステップＳ13で、上記ステップＳ12に示す
ようにしてメモリ８のクラスタリングメモリ部３３に格
納された全ヘッダ(または全フッター)の文字列を母集団
として、ＬＢＧアルゴリズムによってクラスタリングが
行われる。その際における２文字列間の距離は、距離計
算部１７によって距離テーブル１６を参照することによ
って求められる。そして、クラスタリングの結果とし
て、各ヘッダ(各フッター)文字列毎に、その文字列が属
するクラスタリング番号がクラスタリングメモリ部３３
のクラスタ番号部１２５に格納される。さらに、その文
字列がそのクラスタの代表文字列である場合には、クラ
スタリングメモリ部３３のクラスタ代表フラグ部１２６
に「１」が格納される。

【００８０】ステップＳ14で、上記ステップＳ13におい
て、メモリ８のクラスタリングメモリ部３３に格納され
たクラスタリング結果から書籍構造が抽出され、メモリ
８の書籍構造結果部３１に出力される。すなわち、各ク
ラスタの代表文字列が代表タイトル文字列部１０１に格
納される。また、代表文字列の文字数が文字数部１０２
に格納される。また、各クラスタを構成するヘッダ文字
列(またはフッター文字列)のページ番号を検索して得ら
れた最小値が開始ページ番号部１０３に格納される一
方、最大値が終了ページ番号１０４に格納されるのであ
る。そうした後に、書籍構造抽出処理を終了して図１４
に示す自動オーサリング処理動作のフローチャートにリ
ターンする。

【００８１】上記書籍構造の抽出結果を、図１６および
図１７を例に具体的に述べれば次の様になる。すなわ
ち、書籍構造結果部３１の第１構造情報部１００には、
代表タイトル文字列「文字を入力する」、開始ページ番号
「１」、終了ページ番号「９」が格納される。また、第２構
造情報部１００には、代表タイトル文字列「データを移
動・複写する」、開始ページ番号「１０」、終了ページ番号
「１７」が格納される。第３構造情報部１００には、代表
タイトル文字列「電話帳を作る」、開始ページ番号「１
８」、終了ページ番号「２２」が格納される。また、第４
構造情報部１００には、代表タイトル文字列「電話帳か
ら探す」、開始ページ番号「２３」、終了ページ番号「２
８」が格納されるのである。

【００８２】上述のようにして得られた書籍構造結果
は、後述する目次ページからの自動リンク付け処理時に
おいて、目次ページの誤認識を吸収するために用いられ
る。

【００８３】このように、各ヘッダ(フッター)の文字列
に対してクラスタリングを行って代表文字列を求めるこ
とによって、図１６及び図１７に示すように、各クラス
タのメンバ文字列中に存在する誤認識結果を吸収して上
記書籍構造を抽出することができるのである。

【００８４】図１８は、図１４に示す自動オーサリング
処理動作のフローチャート中の上記ステップＳ5におい
て実行されるリンク元ページ判定サブルーチンのフロー
チャートである。図１４における上記ステップＳ4にお
いて書籍構造抽出処理が終了するとリンク元ページ判定
サブルーチンがスタートする。

【００８５】ここで、上記リンク元ページ判定部２１に
対する入力データは注目ページ番号であり、上記注目ペ
ージは「目次ページ」,「索引ページ」または「その他のペー
ジ」の何れであるかが出力データである。この入出力デ
ータは、データバス５を介して主制御部１とリンク元ペ
ージ判定部２１との間で通信される。尚、上述したよう
に、上記リンク元ページ判定処理はルールに基づいて行
われるのであるが、その場合のルールは、 ・目次ページや索引ページの行末はリンク先ページ数を
表す数字が多い ・目次ページや索引ページ中の認識結果には目次や索引
を表すキーワードが存在する である。但し、キーワード検索は完全一致検索ではな
く、距離計算部１７によって求めたキーワードと検索文
字列間の距離が閾値以下である場合にはキーワードは存
在すると判定する。これは、文字認識部１９による目次
ページや索引ページの文字列に対する誤認識を吸収する
ためである。

【００８６】ステップＳ21で、上記主制御部１から送出
されてくる「注目ページ」に関する認識結果が走査され
る。これは、メモリ８の領域分割結果部２９と認識結果
部３０とを参照することによって行う。そして、この走
査結果から以下の情報が求められる。(１)全行数に対す
る末尾文字が数字である行数の比率の算出。(２)目次キ
ーワード「目次」,「もくじ」,「Contents」,「コンテンツ」に
対する最小距離文字列の検索とその最小距離の算出。
(３)索引キーワード「索引」,「さくいん」,「Index」,「イ
ンデックス」に対する最小距離文字列の検索とその最小
距離の算出。

【００８７】ここで、上記３つの情報の算出は次の様に
して行う。(１)は、上記注目ページの全行数と末尾文字
が数字である行数とを算出する。そして、末尾文字が数
字である行数の全行数に対する百分率(以下、行末数字
比率と言う)を算出する。(２)は、注目ページに関する
認識結果の各文字を先頭文字として固定して、順次目次
キーワード「目次」,「もくじ」,「Contents」,「コンテンツ」
と同じ文字数となる文字列を切り出す。そして、目次キ
ーワードと切り出し文字列との距離を距離計算部１７に
よって行い、最小距離を求める。(３)は、索引キーワー
ド「索引」,「さくいん」,「Index」,「インデックス」に関して
上記(２)と同じ処理を行って、索引キーワードと切り出
し文字列との最小距離を求める。

【００８８】ステップＳ22で、上記ステップＳ21におけ
る(１)で算出された行末数字比率が８０％以上であるか
否かが判別される。その結果、８０％以上であればステ
ップＳ23に進み、そうでなければステップＳ27に進む。
ステップＳ23で、目次キーワードの存在が判定される。
これは、上記ステップＳ21における(２)で算出された目
次キーワードと切り出し文字列との最小距離が閾値(例
えば「５０」)以下であるか否かによって行われる。そし
て、上記最小距離が閾値以下であれば目次キーワードは
存在すると判定されてステップＳ24に進む。一方、上記
閾値より大きければステップＳ25に進む。ステップＳ24
で、注目ページは目次ページであることを表す値「０(０
ｘ００)」が出力される。そうした後に、リンク元ページ
判定処理を終了して図１４に示す自動オーサリング処理
動作のフローチャートにリターンする。

【００８９】ステップＳ25で、上記索引キーワードの存
在が判定される。これは、上記ステップＳ21における
(３)で算出された索引キーワードと切り出し文字列との
最小距離が閾値(例えば「５０」)以下であるか否かによっ
て行われる。そして、上記最小距離が閾値以下であれば
索引キーワードは存在すると判定されてステップＳ26に
進む。一方、上記閾値より大きければステップＳ27に進
む。ステップＳ26で、注目ページは索引ページであるこ
とを表す値「１(０ｘ０１)」が出力される。そうした後、
リンク元ページ判定処理を終了して図１４に示す自動オ
ーサリング処理動作のフローチャートにリターンする。

【００９０】ステップＳ27で、注目ページはその他のペ
ージであることを表す値「０ｘｆｆ」が出力される。そう
した後、リンク元ページ判定処理を終了して図１４に示
す自動オーサリング処理動作のフローチャートにリター
ンする。

【００９１】図１９は、図１４に示す自動オーサリング
処理動作のフローチャート中の上記ステップＳ6におい
て実行されるリンク元オブジェクト抽出サブルーチンの
フローチャートである。図１４における上記ステップＳ
5においてリンク元ページ判定処理が終了するとリンク
元オブジェクト抽出サブルーチンがスタートする。

【００９２】図２０は、図３に示す索引ページの画像に
おける上から３行目までを抽出した索引の一例を示す。
索引は、項目とページ番号とが何某かのセパレータで分
離されている構成されているのが普通である。図２０
(a)に示す例では、項目とページ番号とがセパレータ
「…」で分離されている。また、図２０(b)に示す例で
は、項目とページ番号とがセパレータ「―」で分離されて
いる。また、図２０(c)に示す例では、項目とページ番
号とがセパレータ「空白」で分離されている。目次ページ
の場合には縦書きが多いが、基本的には索引ページと同
様にセパレートされている。

【００９３】このように、目次ページの場合も索引ペー
ジの場合も、項目文字列方向に直交する方向への幅が項
目文字幅に比べて非常に小さい記号文字または空白の連
続がセパレータとなっているものが殆どである。そこ
で、本実施の形態においては、この特徴を利用して目次
ページあるいは索引ページからのオブジェクト切り出し
を行うのである。尚、以下の説明では、リンク元ページ
は横書きであり、項目および数字は行方向に配列されて
いるものとする。

【００９４】ステップＳ31で、上記リンク元ページ判定
処理によってリンク元ページと判定されたページの認識
結果から、各行単位に、文字高さ(縦書きの場合には文
字幅)のヒストグラムが作成される。このヒストグラム
の作成は、認識結果部３０の開始Ｘ座標部９３〜終了Ｙ
座標部９６の内容を入力データとして各文字の高さ(幅)
を求め、その頻度を算出することによって作成する。こ
うして作成されたヒストグラムは、メモリ８のヒストグ
ラムバッファ部３４に格納される。

【００９５】ステップＳ32で、上記ステップＳ31におい
て作成されたヒストグラムに対して判別分析による二値
化閾値が計算される。尚、上記判別分析アルゴリズム
は、電子情報通信学会論文誌80/4 Vol. J63-D No.「判
別および最小２乗基準に基づく自しきい値選定法」に記
載されている計算方法を用いる。この判別分析法の利点
は、パラメータが不要で且つ最適な閾値を計算できる点
である。

【００９６】図２１は、上記文字高さのヒストグラムお
よび二値化閾値の例を示す。図２１において横軸はサイ
ズ(文字高さを表す画素数)を示し、縦軸は頻度を示す。
図中○印１４１で囲まれた部分は高さが小さい記号文字
(列方向で言えば「…」や「−」)の高頻度部を表し、○印１
４２で囲まれた部分は高さが通常の文字の高頻度部を表
している。そして、高さが小さい記号文字の山と高さが
通常の文字の山との間に、判別分析で求められた二値化
閾値Ａが存在する。そこで、二値化閾値Ａより小さいサ
イズの文字をセパレータ候補であると判定するのであ
る。

【００９７】ところで、文字の大小関係は原稿フォント
によって変動する。そこで、本実施の形態においては、
文字の高さ(幅)のヒストグラムに対して判別分析を行っ
て二値化閾値Ａを算出することによって、文字の大小判
定を動的に行うのである。

【００９８】ステップＳ33で、注目行において、上記セ
パレータ候補は「空白」であるか否かが判別される。その
結果、「空白」であればステップＳ36に進み、そうでなけ
ればステップＳ34に進む。ここで、「空白」の判定は以下
のような判定条件に基づいて行う。すなわち、 (１) 行(列)の中心付近にその行(列)における最大空白
(文字間隔)が存在し、その空白長が行(列)長の２０％以
上である。 (２) 判別分析で求めた二値化閾値Ａ以下の文字高さ
(幅)の平均が、行の高さ(列の幅)の５０％よりも大きい
(小さい記号が存在しない)。 である。そして、上記２つの判定条件のうち何れか１つ
でも満たす場合には、上記セパレータは「空白」であると
判定するのである。

【００９９】ステップＳ34で、上記セパレータは「空白」
ではないので、以下のような仮区間の設定が行われる。
これは、上記ステップＳ32において求められた二値化閾
値Ａ以下の高さ(幅)を有する全文字(記号)を注目行から
抽出し、二値化閾値Ａ以下の高さ(幅)の文字(記号)が連
続する最大区間を抽出し、この最大区間の両端を仮のセ
パレータ開始文字とセパレータ終了文字として設定する
ことによって行う。

【０１００】ステップＳ35で、上記セパレータを抽出す
るセパレータ抽出が行われる。殆どの場合には、上記ス
テップＳ34における仮区間の設定によってセパレータ区
間が抽出される。ところが、切り出すべきオブジェクト
文字列の終了が小文字(ぁ,っ,ゃ,ュ,ョ等)であった場合
にその小文字がセパレータ文字と判定される場合があ
る。そのようなエラーを修正するために本セパレータ抽
出が行われる。これは、上記仮区間の左右両端の文字を
順次１つずつ消去しながら文字高さ(文字幅)の分散を求
め、その分散が最小となり且つ文字列の長さが最大とな
る区間を上記セパレータとして抽出するのである。そし
て、注目行における上記抽出されたセパレータによって
分離された左側(縦書きの場合には上側)の認識結果がオ
ブジェクト文字列(項目文字列)となり、右側(下側)の認
識結果がページ番号文字列となるのである。

【０１０１】ステップＳ36で、空白切り出しが行われ
る。これは、上記セパレータは「空白」であるので、注目
行の中心付近で最大長の「空白」列を上記セパレータとす
ることによって行う。そして、上記セパレータによって
分離された左側(上側)の認識結果がオブジェクト文字列
(項目文字列)となり、右側(下側)の認識結果がページ番
号文字列となる。

【０１０２】ステップＳ37で、上記ステップＳ35におい
て抽出されたセパレータおよび上記ステップＳ36におい
て切り出されたセパレータの情報に基づいて、上記セパ
レータより左右(上下)の認識結果がリンク元オブジェク
トとして抽出される。ステップＳ38で、上記ステップＳ
37において、上述のようにして各行の認識結果から抽出
されたリンク元オブジェクトの情報が、順次出力され
て、メモリ８のオブジェクト部３２における該当するオ
ブジェクト格納部１０５に格納される。そうした後、リ
ンク元オブジェクト抽出処理を終了して図１４に示す自
動オーサリング処理動作のフローチャートにリターンす
る。

【０１０３】上記リンク元オブジェクト抽出結果を、図
２０における文字列「カタカナ」を例に具体的に述べれば
次の様になる。すなわち、オブジェクト部３２の該当オ
ブジェクト格納部１０５におけるオブジェクト文字列部
１０６には抽出オブジェクト「カタカナ」(誤認識文字は
そのまま含んで)が格納される。また、ページ番号文字
列部１０７には抽出オブジェクト「３０」(誤認識文字は
そのまま含んで)が格納される。また、オブジェクト文
字列文字数部１０８には抽出オブジェクト“カタカナ”
の文字数「４」が格納される。また、ページ番号文字列文
字数部１０９には抽出オブジェクト“３０”の文字数
「２」が格納される。また、リンク元ページ番号部１１０
には当該リンク元ページの番号「３５２」(図３の領域５
４を参照)が格納される。また、開始Ｘ座標部１１１〜
終了Ｙ座標部１１４には抽出オブジェクト“カタカナ”
の外接矩形座標が格納される。また、目次・索引フラグ
部１１５には当該リンク元ページは索引ページであるこ
とを示す「１(目次の場合には０)」（図３の領域５１を
参照)が格納される。また、上記リンク先ページ番号部
１１６には、リンクが張られていないことを表す初期値
「０ｘｆｆ」が格納されるのである。

【０１０４】上述したように、上記領域分割処理、文字
認識処理、書籍構造抽出処理、リンク元ページ判定処
理、リンク元オブジェクト抽出処理が順次行われて、目
次ページや索引ページに存在する総てのオブジェクトが
抽出されると、本実施の形態における最も特徴的な自動
リンクサブルーチンが行われるのである。

【０１０５】図２２は、図１４に示す自動オーサリング
処理動作のフローチャート中の上記ステップＳ7におい
て実行される自動リンクサブルーチンのフローチャート
である。図１４における上記ステップＳ6においてリン
ク元オブジェクト抽出処理が終了すると自動リンクサブ
ルーチンがスタートする。

【０１０６】ステップＳ41で、上記抽出された全リンク
元オブジェクトが順に走査されて、注目オブジェクトが
目次ページのオブジェクトであるか索引ページのオブジ
ェクトであるかが判別される。これは、リンク元ページ
判定部２１の判定結果に基づいて、リンク元オブジェク
ト抽出部２２によってオブジェクト部３２に格納された
目次・索引フラグ部１１５の内容を参照し、「０」であれ
ば注目オブジェクトは目次ページのオブジェクトである
と判別する一方、「１」であれば索引ページのオブジェク
トであると判別することで行う。そして、目次ページの
オブジェクトであると判別された場合にはステップＳ42
に進む一方、索引ページのオブジェクトであると判別さ
れた場合にはステップＳ46に進む。

【０１０７】ステップＳ42で、注目オブジェクトに対す
るリンク先構造情報の決定が行われる。これは、リンク
先クラスタ判定部２５によって、注目オブジェクトの文
字列(オブジェクト部３２のオブジェクト文字列部１０
６に格納されている)と、書籍構造結果部３１における
全構造情報部１００の代表タイトル文字列部１０１に格
納された代表タイトル文字列との距離を、距離計算部１
７によって算出する。そして、最小距離を呈する代表タ
イトル文字列に関する書籍構造情報をリンク先構造情報
として決定することによって行う。

【０１０８】上述のようにリンク先の決定にリンク元オ
ブジェクト文字列と代表タイトル文字列との距離を用い
ることによって、リンク元オブジェクト文字列あるいは
代表タイトル文字列に対する誤認識を吸収することがで
きる。例えば、図１６に示すヘッダ情報を有する書籍に
おける目次ページの認識結果および誤認識結果の例を図
２３に示す。このように、文字列の認識には誤認識が付
きまとうため(また、ヘッダ部分の文字列も正確に認識
されるとは限らず)、常に誤認識を考慮した処理が必要
となるのである。

【０１０９】具体的に説明すれば、図１６に示すヘッダ
情報に対するクラスタリング処理結果から得られた代表
タイトル文字列を「文字を入力する」,「データを移動・複
写する」,「電話帳を作る」および「電話帳から探す」(図１
７)とし、同じ書籍における目次ページの認識結果を図
２３とした場合、上記リンク先構造情報の決定処理は、
例えば注目オブジェクトの文字列を「文字を入カする
(「入力」の漢字「力」が片仮名「カ」に誤認識されている)」
と、各代表タイトル文字列を「文字を入力する」,「データ
を移動・複写する」,「電話帳を作る」及び「電話帳から探
す」との距離を計算し、最も距離が近い代表タイトル文
字列「文字を入力する」をリンク先構造情報として決定す
るのである。したがって、注目オブジェクトの文字列に
誤認識文字が含まれていても正しいリンク先構造情報が
得ることができるのである。

【０１１０】ステップＳ43で、リンク付け可能か否かの
判定が行われる。これは、オブジェクト部３２における
注目オブジェクトのオブジェクト格納部１０５における
ページ番号文字列部１０７の内容を数値に変換し、この
数値が、書籍構造結果部３１における上記決定されたリ
ンク先構造情報(書籍構造)の開始ページ番号部１０３の
内容(数値)と合致するか否かが判別することによって行
われる。そして、合致する場合(つまり、リンク付け可
能な場合)にはステップＳ50に進み、そうでなければス
テップＳ44に進む。

【０１１１】ステップＳ44で、ページ番号文字列の置き
換えが行われる。これは、注目オブジェクトのオブジェ
クト格納部１０５におけるページ番号文字列部１０７の
内容を、距離テーブル１６における例えば行がページ番
号文字列部１０７の内容であり例えば列が数字である部
分から要素値(距離)が閾値(例えば「５０」)以内で且つ最
小値を呈する列の数字に置き換えることによって行われ
る。

【０１１２】ステップＳ45で、上記ステップＳ44におけ
るページ番号文字列の置き換えは可能であったか否かが
判別される。これは、要素値(距離)が上記閾値以内であ
る数字が距離テーブル１６に存在したか否かを判別する
ことによって行われる。そして、置き換えが可能であっ
た場合には、上記ステップＳ43に戻って置換された数字
に関してリンク付け可能か否かの判定が行われる。一
方、置き換えが不可能であった場合にはステップＳ50に
進む。

【０１１３】ステップＳ46で、注目ページにおける注目
オブジェクトの検索が行われる。これは、オブジェクト
部３２の注目オブジェクトに係るオブジェクト格納部１
０５におけるページ番号文字列部１０７の内容を数値に
変換して注目ページ番号とする。そして、この注目ペー
ジ番号のページ(注目ページ)に関する認識結果中に注目
オブジェクトの文字列(オブジェクト部３２のオブジェ
クト文字列部１０６の内容)が存在するか否かを判別す
ることによって行われる。この場合の検索は、上記リン
ク元ページ判定処理時における目次キーワードあるいは
索引キーワードの検索時と同様に、距離計算部１７によ
って計算された２文字列の間の距離が閾値以下である文
字列を検索する方式によって行う。こうして、上記注目
ページに関する認識結果や注目オブジェクトの文字列に
含まれる誤認識を吸収するのである。

【０１１４】ステップＳ47で、上記ステップＳ46におけ
る検索結果に基づいて、リンク付け可能か否かの判定が
行われる。これは、上記注目オブジェクトの文字列が上
記注目ページの認識結果内に存在する(正確には、ある
閾値以内の類似度を有する認識結果が存在する)かを判
定することによって行う。そして、リンク付け可能な場
合にはステップＳ50に進み、そうでなければステップＳ
48に進む。

【０１１５】ステップＳ48で、注目オブジェクトのペー
ジ番号文字列に誤認識が在ったとして上記ページ番号文
字列の置き換えが行われる。これは、注目オブジェクト
が目次ページのオブジェクトである場合における上記ス
テップＳ44と同じ処理によって行う。

【０１１６】ステップＳ49で、注目オブジェクトが目次
ページのオブジェクトである場合における上記ステップ
Ｓ45と同じ処理によって、上記ステップＳ48におけるペ
ージ番号文字列の置き換えは可能であったか否かが判別
される。そして、置き換えが可能であった場合には、上
記ステップＳ46に戻って次の注目ページにおける注目オ
ブジェクトの検索が行われる。一方、置き換えが不可能
であった場合にはステップＳ50に進む。

【０１１７】ステップＳ50で、リンク先ページ番号がオ
ブジェクト部３２における注目オブジェクトのリンク先
ページ番号部１１６に出力される。これは、上記ステッ
プS43においてリンク付け可能と判別された場合には、
上記ステップS42において決定されたリンク先構造情報
の開始ページ番号を上記リンク先ページ番号とする。ま
た、上記ステップS47においてリンク付け可能と判別さ
れた場合には、上記ステップS46において得られた注目
ページ番号を上記リンク先ページ番号とする。さらに、
上記ステップS45あるいはステップS49において置き換え
不可能と判定された場合には、エラー値「０ｘｆｆ(＝初
期値)」を上記リンク先ページ番号とすることによって行
われる。そうした後、自動リンク処理を終了して図１４
に示す自動オーサリング処理動作のフローチャートにリ
ターンする。

【０１１８】以上のように、本実施の形態においては、
画像入力部６あるいは外部記憶装置制御部９によって書
籍１冊分の画像データをメモリ８のページ画像部２８に
取り込み、領域分割部１８によって上記画像データに対
して領域分割処理を行い、文字認識部１９によって上記
分割された領域に対して文字認識処理を行う。そうした
後に、１冊の書籍分総てに関する上記領域分割処理およ
び文字認識処理に基づいて以下のようなリンク編集を行
う。その場合のリンク編集は、次の様な書籍が有する特
徴を利用して行う。 (ａ) 目次や索引では「項目文字列」と「その項目が記載さ
れているページ番号」とが、「…」,「−」あるいは「空白」等
のセパレータを介して同じ列や行を構成している。 (ｂ) 目次ページの「項目」は、その書籍の「章」や「節」の
代表タイトル文字列であることが多い。 (ｃ) 書籍の「章」や「節」の代表タイトル文字列は、該当
する「章」や「節」における「ヘッダ」あるいは「フッター」
に記載されている。 (ｄ) 索引ページの「項目文字列」は、対応付けられたペ
ージ番号のページの文字認識結果中に存在する。

【０１１９】すなわち、先ず、書籍構造抽出部２４で、
特徴(ｃ)を利用して、ヘッダあるいはフッターから文字
列を抽出し、クラスタリング部２３によるクラスタリン
グ結果に基づいて代表タイトル文字列とその代表タイト
ル文字列のクラスタに属する先頭ページ番号とを求め
る。次に、リンク元ページ判定部で、特徴(ａ)とルール
とを利用して目次ページおよび索引ページを判定する。
次に、リンク元オブジェクト抽出部２２で、特徴(ａ)を
利用して目次ページおよび索引ページの各行から「項目
文字列」と「ページ番号」とを分離して抽出する。

【０１２０】そして、上記目次ページの場合には、リン
ク先クラスタ判定部２５で、上記特徴(ｂ),(ｃ)を利用
して、目次ページの「項目文字列」との距離が最小の代表
タイトル文字列とその代表タイトル文字列のクラスタに
属する先頭ページ番号とを求める。次に、目次ページリ
ンク決定部２６で、目次ページにおいて「項目文字列」と
対を成す「ページ番号」が上記得られた「該当クラスタの
先頭ページ番号」に合致するかを調べ、合致しない場合
には距離テーブル１６を利用して上記「ページ番号」を最
も誤認識され易い数字に変換して上記合致の判定を行
う。そして、合致する場合に上記「該当クラスタの先頭
ページ番号」をリンク先ページ番号とする。

【０１２１】また、上記索引ページの場合には、上記索
引ページリンク決定部２７で、上記特徴(ｄ)を利用し
て、索引ページの「項目文字列」と対を成す「ページ番号」
のページの文字認識結果中に「項目文字列」が存在するか
を調べ、存在しない場合には距離テーブル１６を利用し
て上記「ページ番号」を最も誤認識され易い数字に変換し
て上記存在の判定を行う。そして、存在する場合に上記
「ページ番号」をリンク先ページ番号とする。

【０１２２】そうした後、上記目次ページリンク決定部
２６および索引ページリンク決定部２７で、上記得られ
たリンク先ページ番号とリンク元ページ番号やリンク元
オブジェクトの切り出し座標等を、外部記憶装置１０の
書籍コンテンツファイル１２に格納するようにしてい
る。

【０１２３】すなわち、本実施の形態によれば、書籍１
冊分の画像データの文字認識結果に基づいて上記書籍構
造抽出部２４で書籍構造を抽出する際に、クラスタリン
グ部２３によってヘッダあるいはフッターの文字列の認
識結果に対してクラスタリングを行うので、ヘッダある
いはフッターの文字列の誤認識を吸収できる。また、目
次ページの「項目文字列」に該当する「代表タイトル文字
列」の検索や索引ページの「項目文字列」に一致する注目
ページ中の認識結果の検索を、完全一致ではなく最小距
離を利用して行うので、「項目文字列」,「代表タイトル文
字列」および「注目ページ中の認識結果」の誤認識を吸収
できる。また、リンク付け可能の判定の際に上記「ペー
ジ番号」を最も誤認識され易い数字に変換しながら上記
判定を行うので、リンク元ページ番号の誤認識を吸収で
きる。したがって、漫画や写真雑誌等の画像ベース電子
書籍に対する自動リンク編集を可能にするのである。

【０１２４】上記自動オーサリング装置においては、自
動オーサリング処理のプログラムを以下の何れかの方法
によって、ＲＯＭ(リード・オンリ・メモリ)またはＲＡＭ
(何れも図示せず)に記憶している。 (ａ) 予め上記ＲＯＭに記憶しておく。 (ｂ) 上記自動オーサリング処理のプログラムの一部ま
たは全部をフロッピーディスクやハードディスク装置等
の記録媒体に格納しておき、必要に応じて上記プログラ
ムを上記ＲＡＭにインストールする。 (ｃ) コンピュータネットワークから上記自動オーサリ
ング処理のプログラムを上記ＲＡＭにインストールす
る。

【０１２５】

【発明の効果】以上より明らかなように、請求項１に係
る発明の自動オーサリング装置は、画像入力手段,距離
テーブル,距離計算手段,領域分割手段,文字認識手段,ク
ラスタリング手段および書籍構造抽出手段を備えて、上
記領域分割手段および文字認識手段で得られた書籍全ペ
ージのヘッダあるいはフッターの何れか一方の文字列の
集合に対して、上記クラスタリング手段によってクラス
タリングを行い、上記書籍構造抽出手段によって、上記
各クラスタに属する文字列に係るページの境界を当該書
籍の章や節等の区切りとすると共に、各クラスタの代表
文字列を上記区切り間の代表タイトル文字列として書籍
構造を抽出するので、画像ベース電子書籍の章や節等の
書籍構造を自動的に抽出できる。したがって、この抽出
された書籍構造を利用して画像ベース電子書籍のハイパ
ーテキスト化が可能になる。

【０１２６】その際に、上記文字列の分類にクラスタリ
ングを用いることによって、上記ヘッダあるいはフッタ
ーの文字認識結果における誤認識を吸収することができ
る。したがって、現在の文字認識精度であっても高い精
度で書籍構造を抽出できる。

【０１２７】また、請求項２に係る発明の自動オーサリ
ング装置は、画像入力手段,距離テーブル,距離計算手
段,領域分割手段,文字認識手段,クラスタリング手段,書
籍構造抽出手段,リンク元ページ判定手段,リンク元オブ
ジェクト抽出手段,リンク先クラスタ判定手段および目
次ページリンク決定手段を備えて、上記リンク元ページ
判定手段によって各ページ毎に目次ページあるいは索引
ページの判定を行い、上記リンク元オブジェクト抽出手
段によって目次ページまたは索引ページからリンク元オ
ブジェクトを項目文字列部とページ番号文字列部とに分
けて抽出し、上記リンク先クラスタ判定手段によって目
次ページにおける各リンク元オブジェクトの項目文字列
に対応する上記書籍の区切りを判定し、上記目次ページ
リンク決定手段によって上記各リンク元オブジェクトの
ページ番号文字列と上記書籍の区切りの開始ページ番号
との比較結果に基づいて目次ページに対するリンク付け
を行うので、画像ベース電子書籍における各目次の項目
から参照ページへのリンク付けを自動的に行うことがで
きる。

【０１２８】その際に、上記書籍構造抽出にクラスタリ
ングを用いることによって、上記ヘッダまたはフッター
の文字認識結果における誤認識を吸収することができ
る。さらに、上記リンク元オブジェクトに対応する上記
書籍の区切りの判定に、上記リンク元オブジェクトの項
目文字列と上記書籍の区切り間の代表タイトル文字列と
の距離を用いることによって、上記項目文字列の誤認識
を吸収できる。さらに、上記各リンク元オブジェクトの
ページ番号文字列と上記書籍の区切りの開始ページ番号
との比較の際に、上記ページ番号文字列と開始ページ番
号とが一致しない場合には上記ページ番号文字列を誤認
識し易い数字に置換して上記比較を繰り返すことによっ
て、上記ページ番号文字列の誤認識を吸収できるのであ
る。

【０１２９】したがって、画像ベース電子書籍をテキス
トベース電子書籍に変換する際における文字認識精度が
現状の９８％程度であっても、目次ページと本文ページ
とのリンク付けを正しく行うことができる。

【０１３０】また、請求項３に係る発明の自動オーサリ
ング装置は、画像入力手段,距離テーブル,距離計算手
段,領域分割手段,文字認識手段,リンク元ページ判定手
段,リンク元オブジェクト抽出手段および索引ページリ
ンク決定手段を備えて、上記索引ページリンク決定手段
によって、上記各リンク元オブジェクトにおけるページ
番号のページの文字認識結果中からの上記項目文字列の
検索結果に基づいて索引ページに対するリンク付けを行
うので、画像ベース電子書籍における各索引の項目から
参照ページへのリンク付けを自動的に行うことができ
る。

【０１３１】その際に、上記書籍構造抽出にクラスタリ
ングを用いることによって、上記ヘッダあるいはフッタ
ーの文字認識結果における誤認識を吸収することができ
る。さらに、上記ページ番号に係る文字認識結果中から
の上記項目文字列の検索に、上記文字認識結果から切り
出した文字列と上記項目文字列との距離を用いることに
よって、上記項目文字列の誤認識を吸収することができ
る。さらに、上記検索の際に上記項目文字列が検索され
ない場合には上記ページ番号文字列を誤認識し易い数字
に置換して上記検索を繰り返すことによって、上記ペー
ジ番号文字列の誤認識を吸収することができるのであ
る。

【０１３２】したがって、画像ベース電子書籍をテキス
トベース電子書籍に変換する際における文字認識精度が
現状の９８％程度であっても、索引ページと本文ページ
とのリンク付けを正しく行うことができる。

【０１３３】また、請求項４に係る発明の自動オーサリ
ング装置は、請求項２に係る発明の自動オーサリング装
置に、請求項３に係る発明における索引ページリンク決
定手段を付加したので、画像ベース電子書籍における各
目次あるいは索引の項目から参照ページへのリンク付け
を自動的に行うことができる。

【０１３４】その際に、請求項２および請求項３に係る
発明の場合と同様に、上記ヘッダあるいはフッターの文
字認識結果における誤認識を吸収し、上記項目文字列に
おける誤認識を吸収し、上記ページ番号文字列の誤認識
を吸収することができるのである。

【０１３５】また、請求項５に係る発明の自動オーサリ
ング装置における上記リンク元オブジェクト抽出手段
は、各リンク元オブジェクト毎に項目文字列の配列方向
に直交する方向への文字長さのヒストグラムを作成する
ヒストグラム作成手段と、上記ヒストグラムに対して判
別分析によって二値化閾値を計算する二値化閾値算出手
段と、上記二値化閾値以下の長さを有する文字の連なり
でなるセパレータ候補中から上記方向への文字長さの分
散が最小となる連続区間を上記セパレータとして抽出す
るセパレータ抽出手段と、上記リンク元オブジェクトに
おける上記抽出されたセパレータの一側を上記項目文字
列とし他側を上記ページ番号文字列として抽出するオブ
ジェクト抽出手段を有しているので、「…」,「−」あるい
は「空白」等のセパレータの特徴を利用して、上記項目文
字列とページ番号文字列とを自動的に分離して抽出でき
る。

【０１３６】また、請求項６に係る発明の記録媒体に
は、請求項４における上記画像入力手段,距離計算手段,
領域分割手段,文字認識手段,クラスタリング手段,書籍
構造抽出手段,リンク元ページ判定手段,リンク元オブジ
ェクト抽出手段,リンク先クラスタ判定手段,目次ページ
リンク決定手段および索引ページリンク決定手段とし
て、コンピュータを機能させて、書籍の画像データに基
づいて目次あるいは索引の各項目から参照ページへのリ
ンク付けを自動的に行う自動オーサリングプログラムが
記録されているので、請求項４に係る発明の場合と同様
に、上記ヘッダあるいはフッターの文字列や上記リンク
元オブジェクトの項目文字列およびページ番号文字列の
誤認識を吸収した目次ページあるいは索引ページに対す
るリンク付けを自動的に行うことができる。

【図面の簡単な説明】

【図１】 この発明の自動オーサリング装置におけるブ
ロック図である。

【図２】 図１における領域分割部による目次ページに
対する領域分割結果の概念図である。

【図３】 図１における領域分割部による索引ページに
対する領域分割結果の概念図である。

【図４】 図２に示す目次ページに対するリンク先ペー
ジの画像例を示す図である。

【図５】 図３に示す索引ページに対するリンク先ペー
ジの画像例を示す図である。

【図６】 図１における距離テーブルの概念図である。

【図７】 図１における距離計算部の詳細なブロック図
である。

【図８】 図１におけるページ画像部の詳細な構成概念
図である。

【図９】 図１における領域分割結果部の詳細な構成概
念図である。

【図１０】 図１における認識結果部の詳細な構成概念
図である。

【図１１】 図１における書籍構造結果部の詳細な構成
概念図である。

【図１２】 図１におけるオブジェクト部の詳細な構成
概念図である。

【図１３】 図１におけるクラスタリングメモリ部の詳
細な構成概念図である。

【図１４】 図１における制御部の制御の下に行われる
自動オーサリング処理動作のフローチャートである。

【図１５】 図１４に示す自動オーサリング処理動作中
において実行される書籍構造抽出サブルーチンのフロー
チャートである。

【図１６】 ある書籍の全ページのヘッダ部における正
解文字列と文字認識結果と誤認識結果の一例を示す図で
ある。

【図１７】 図１６に示す文字認識結果に対するクラス
タリング結果を示す図である。

【図１８】 図１４に示す自動オーサリング処理動作中
において実行されるリンク元ページ判定サブルーチンの
フローチャートである。

【図１９】 図１４に示す自動オーサリング処理動作中
において実行されるリンク元オブジェクト抽出サブルー
チンのフローチャートである。

【図２０】 図３に示す索引ページから抽出した索引の
例を示す図である。

【図２１】 文字高さのヒストグラム及び二値化閾値の
例を示す図である。

【図２２】 図１４に示す自動オーサリング処理動作中
において実行される自動リンクサブルーチンのフローチ
ャートである。

【図２３】 目次ページの認識結果および誤認識結果の
例を示す図である。

【図２４】 リンク機能の概念を示す図である。

【符号の説明】

１…主制御部、 ５…データバス、６…画像入力部、
８…メモリ、９…外部記憶装置制
御部、 １０…外部記憶装置、１１…書籍画像
ファイル、 １２…書籍コンテンツファイ
ル、１６…距離テーブル、 １７…距離
計算部、１８…領域分割部、 １９…
文字認識部、２１…リンク元ページ判定部、 ２
２…リンク元オブジェクト抽出部、２３…クラスタリン
グ部、 ２４…書籍構造抽出部、２５…リン
ク先クラスタ判定部、 ２６…目次ページリンク決
定部、２７…索引ページリンク決定部、 ２８…ペ
ージ画像部、２９…領域分割結果部、 ３
０…認識結果部、３１…書籍構造結果部、
３２…オブジェクト部、３３…クラスタリングメモリ
部、 ３４…ヒストグラムバッファ部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 克彦 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Ｆターム(参考） 5B050 BA10 BA16 DA06 EA04 EA08 EA18 GA08 5B064 AA01 AA07 BA01 CA03 CA08 5B075 ND07 NK02 NK37 NK44 NR03 NR06 NR12 NR20 UU11

Claims (6)

【特許請求の範囲】
1. 【請求項１】 画像ベース電子書籍を自動的にオーサリ
   ングする自動オーサリング装置であって、 書籍の各ページの画像を入力する画像入力手段と、 文字認識時の誤認識傾向を距離値に変換して予め作成し
   た距離テーブルと、 上記距離テーブルを用いた動的計画法マッチングによっ
   て、文字認識時の誤認識傾向を考慮した２文字列間の距
   離を計算する距離計算手段と、 上記画像入力手段から取り込まれた画像データに対して
   領域分割を行って、文字領域,写真領域,図形領域を含む
   領域を抽出する領域分割手段と、 上記領域分割手段によって抽出された文字領域の画像デ
   ータに基づいて、文字認識を行う文字認識手段と、 文字列の集合に対して、上記距離計算手段による２文字
   列間の距離の算出結果を用いてクラスタリングを行って
   複数のクラスタに分割すると共に、各クラスタを代表す
   る代表文字列を抽出するクラスタリング手段と、 上記書籍全ページのヘッダまたはフッターの何れか一方
   の文字列の集合に対する上記クラスタリング手段による
   クラスタリング結果を用いて、各クラスタに属する文字
   列に係るページの境界を当該書籍の区切りとすると共
   に、各クラスタの代表文字列を上記区切り間の代表タイ
   トル文字列として書籍構造を抽出する書籍構造抽出手段
   を備えて、 上記画像入力手段から取り込まれた書籍の画像データに
   基づいて、当該書籍の章あるいは節等の書籍構造を自動
   的に抽出することを特徴とする自動オーサリング装置。
2. 【請求項２】 画像ベース電子書籍を自動的にオーサリ
   ングする自動オーサリング装置であって、 書籍の各ページの画像を入力する画像入力手段と、 文字認識時の誤認識傾向を距離値に変換して予め作成し
   た距離テーブルと、 上記距離テーブルを用いた動的計画法マッチングによっ
   て、文字認識時の誤認識傾向を考慮した２文字列間の距
   離を計算する距離計算手段と、 上記画像入力手段から取り込まれた画像データに対して
   領域分割を行って、文字領域,写真領域,図形領域を含む
   領域を抽出する領域分割手段と、 上記領域分割手段によって抽出された文字領域の画像デ
   ータに基づいて、文字認識を行う文字認識手段と、 文字列の集合に対して、上記距離計算手段による２文字
   列間の距離の算出結果を用いてクラスタリングを行って
   複数のクラスタに分割すると共に、各クラスタを代表す
   る代表文字列を抽出するクラスタリング手段と、 上記書籍全ページのヘッダあるいはフッターの何れか一
   方の文字列の集合に対する上記クラスタリング手段によ
   るクラスタリング結果を用いて、各クラスタに属する文
   字列に係るページの境界を当該書籍の区切りとすると共
   に、各クラスタの代表文字列を上記区切り間の代表タイ
   トル文字列として書籍構造を抽出する書籍構造抽出手段
   と、 上記各ページ毎の文字認識結果に基づいて、上記距離計
   算手段による文字列間距離およびキーワードを用いて、
   予め設定されたルールに従って、目次ページまたは索引
   ページの判定を行うリンク元ページ判定手段と、 上記目次ページまたは索引ページの文字認識結果に基づ
   いて、予め設定されたルールに従って、リンク元オブジ
   ェクトを項目文字列部とこの項目文字列が記載されてい
   るページのページ番号文字列部とに分けて抽出するリン
   ク元オブジェクト抽出手段と、 上記目次ページにおける上記各リンク元オブジェクトの
   項目文字列と上記書籍の区切り間の代表タイトル文字列
   とに間する上記距離算出手段による距離算出結果に基づ
   いて、上記リンク元オブジェクトに対応する上記書籍の
   区切りを判定するリンク先クラスタ判定手段と、 上記各リンク元オブジェクトのページ番号文字列および
   このページ番号文字列が上記距離テーブルを参照して置
   換された誤認識し易い数字と、当該リンク元オブジェク
   トに対応する上記書籍の区切りの開始ページ番号との比
   較結果に基づいて、目次ページに対するリンク付けを行
   う目次ページリンク決定手段を備えて、 上記画像入力手段から取り込まれた書籍の画像データに
   基づいて、各目次の項目から参照ページへのリンク付け
   を自動的に行うことを特徴とする自動オーサリング装
   置。
3. 【請求項３】 画像ベース電子書籍を自動的にオーサリ
   ングする自動オーサリング装置であって、 書籍の各ページの画像を入力する画像入力手段と、 文字認識時の誤認識傾向を距離値に変換して予め作成し
   た距離テーブルと、 上記距離テーブルを用いた動的計画法マッチングによっ
   て、文字認識時の誤認識傾向を考慮した２文字列間の距
   離を計算する距離計算手段と、 上記画像入力手段から取り込まれた画像データに対して
   領域分割を行って、文字領域,写真領域,図形領域を含む
   領域を抽出する領域分割手段と、 上記領域分割手段によって抽出された文字領域の画像デ
   ータに基づいて、文字認識を行う文字認識手段と、 上記各ページ毎の文字認識結果に基づいて、上記距離計
   算手段による文字列間距離およびキーワードを用いて、
   予め設定されたルールに従って、目次ページまたは索引
   ページの判定を行うリンク元ページ判定手段と、 上記目次ページまたは索引ページの文字認識結果に基づ
   いて、予め設定されたルールに従って、リンク元オブジ
   ェクトを項目文字列部とこの項目文字列が記載されてい
   るページのページ番号文字列部とに分けて抽出するリン
   ク元オブジェクト抽出手段と、 上記索引ページにおける上記各リンク元オブジェクトの
   項目文字列を検索元文字列とし、上記項目文字列に対応
   するページ番号文字列およびこのページ番号文字列が上
   記距離テーブルを参照して置換された誤認識し易い数字
   をリンク先の注目ページ番号とし、上記注目ページ番号
   のページの文字認識結果から上記検索元文字列と同じ文
   字数の文字列を順次切り出して検索先文字列とし、上記
   検索元文字列と検索先文字列との距離を上記距離計算手
   段によって算出し、この算出結果に基づいて索引ページ
   に対するリンク付けを行う索引ページリンク決定手段を
   備えて、 上記画像入力手段から取り込まれた書籍の画像データに
   基づいて、索引の各項目から参照ページへのリンク付け
   を自動的に行うことを特徴とする自動オーサリング装
   置。
4. 【請求項４】 請求項２に記載の自動オーサリング装置
   において、 上記リンク元オブジェクト抽出手段によって抽出された
   上記索引ページにおける上記各リンク元オブジェクトの
   項目文字列を検索元文字列とし、上記項目文字列に対応
   するページ番号文字列およびこのページ番号文字列が上
   記距離テーブルを参照して置換された誤認識し易い数字
   をリンク先の注目ページ番号とし、上記注目ページ番号
   のページの文字認識結果から上記検索元文字列と同じ文
   字数の文字列を順次切り出して検索先文字列とし、上記
   検索元文字列と検索先文字列との距離を上記距離計算手
   段によって算出し、この算出結果に基づいて索引ページ
   に対するリンク付けを行う索引ページリンク決定手段を
   備えて、 上記画像入力手段から取り込まれた書籍の画像データに
   基づいて、目次あるいは索引の各項目から参照ページへ
   のリンク付けを自動的に行うことを特徴とする自動オー
   サリング装置。
5. 【請求項５】 請求項２乃至請求項４の何れか一つに記
   載の自動オーサリング装置において、 上記リンク元オブジェクト抽出手段は、 上記リンク元ページ判定手段によって目次ページまたは
   索引ページであると判定されたページの文字認識結果に
   基づいて、各リンク元オブジェクト毎に、上記リンク元
   オブジェクトを構成する項目文字列の配列方向に直交す
   る方向への文字長さのヒストグラムを作成するヒストグ
   ラム作成手段と、 上記ヒストグラムに対して判別分析によって二値化閾値
   を計算する二値化閾値算出手段と、 上記二値化閾値以下の長さを有する文字連なりを上記リ
   ンク元オブジェクトにおける項目文字列とページ番号文
   字列とを分離するセパレータの候補として抽出し、この
   抽出されたセパレータ候補中から上記方向への文字長さ
   の分散が最小となる連続区間を上記セパレータとして抽
   出するセパレータ抽出手段と、 上記リンク元オブジェクトにおける上記抽出されたセパ
   レータの一側を上記項目文字列とする一方、他側を上記
   ページ番号文字列として分離して抽出するオブジェクト
   抽出手段を有していることを特徴とする自動オーサリン
   グ装置。
6. 【請求項６】 請求項４における上記画像入力手段,距
   離計算手段,領域分割手段,文字認識手段,クラスタリン
   グ手段,書籍構造抽出手段,リンク元ページ判定手段,リ
   ンク元オブジェクト抽出手段,リンク先クラスタ判定手
   段,目次ページリンク決定手段および索引ページリンク
   決定手段として、 コンピュータを機能させて、書籍の画像データに基づい
   て目次あるいは索引の各項目から参照ページへのリンク
   付けを自動的に行う自動オーサリングプログラムが記録
   されていることを特徴とする記録媒体。