JP3240899B2 - 文書画像入力装置 - Google Patents
文書画像入力装置Info
- Publication number
- JP3240899B2 JP3240899B2 JP32203295A JP32203295A JP3240899B2 JP 3240899 B2 JP3240899 B2 JP 3240899B2 JP 32203295 A JP32203295 A JP 32203295A JP 32203295 A JP32203295 A JP 32203295A JP 3240899 B2 JP3240899 B2 JP 3240899B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- document
- character
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Character Input (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は、スチルカメラや
ビデオカメラなどに視点制御機構を付加して実現した文
書画像入力装置に関する。
ビデオカメラなどに視点制御機構を付加して実現した文
書画像入力装置に関する。
【０００２】
【従来の技術】装置の撮像範囲を超える領域の文書画像
を獲得する方法として、特開平２−２９７１４８があ
る。特開平２−２９７１４８の発明では、互いに共通な
領域を持つ複数の文書画像において相関を求め、相関が
最大となる位置を画像貼り合わせのための概略位置とし
た後、前記文書画像中の本文文字列や見出し文字列等を
照合して精密な貼り合わせを行い、全体画像を生成す
る。
を獲得する方法として、特開平２−２９７１４８があ
る。特開平２−２９７１４８の発明では、互いに共通な
領域を持つ複数の文書画像において相関を求め、相関が
最大となる位置を画像貼り合わせのための概略位置とし
た後、前記文書画像中の本文文字列や見出し文字列等を
照合して精密な貼り合わせを行い、全体画像を生成す
る。
【０００３】また、文書画像のみではなく、一般の画像
を貼り合わせて大規模画像を獲得する方法として特開平
５−２６０２６４がある。特開平５−２６０２６４の発
明では、２枚の画像において代表点の対応関係を求めて
から画像にアフィン変換を施し、貼り合わせ処理を行っ
て全体画像を構成する。
を貼り合わせて大規模画像を獲得する方法として特開平
５−２６０２６４がある。特開平５−２６０２６４の発
明では、２枚の画像において代表点の対応関係を求めて
から画像にアフィン変換を施し、貼り合わせ処理を行っ
て全体画像を構成する。
【０００４】
【発明が解決しようとする課題】文書においては文章や
図表といった領域間の境界となる背景領域（セパレー
タ）が存在し、そのセパレータで分割して入力を行うと
精密な貼り合わせが不要となり効率的である。しかしな
がら、特開平２−２９７１４８や特開平５−２６０２６
４に記載の発明は、文書全体をセパレータによって部分
領域に分割して、各部分画像を獲得する機構を提供して
いない。ゆえに、これらの発明に基づいて大規模文書画
像の入力装置を構成すると、必要以上に部分画像の撮影
及び対応づけを行わなければならず、膨大な処理時間が
かかるという問題点がある。
図表といった領域間の境界となる背景領域（セパレー
タ）が存在し、そのセパレータで分割して入力を行うと
精密な貼り合わせが不要となり効率的である。しかしな
がら、特開平２−２９７１４８や特開平５−２６０２６
４に記載の発明は、文書全体をセパレータによって部分
領域に分割して、各部分画像を獲得する機構を提供して
いない。ゆえに、これらの発明に基づいて大規模文書画
像の入力装置を構成すると、必要以上に部分画像の撮影
及び対応づけを行わなければならず、膨大な処理時間が
かかるという問題点がある。
【０００５】本発明は、以上のような問題点を解決する
ためになされたものであり、まずセパレータを検出して
部分画像の撮影回数及び位置合わせのための画像間相関
演算回数を少なくし、更に視点制御機構を備えることに
よって自動的に分割入力と貼り合わせを実行して、高精
細文書画像を獲得する入力装置を提供することを目的と
する。
ためになされたものであり、まずセパレータを検出して
部分画像の撮影回数及び位置合わせのための画像間相関
演算回数を少なくし、更に視点制御機構を備えることに
よって自動的に分割入力と貼り合わせを実行して、高精
細文書画像を獲得する入力装置を提供することを目的と
する。
【０００６】
【課題を解決するための手段】上記の目的を達成するた
めに、請求項１に記載の発明は、文書画像を取得する装
置において、画像を取得するための撮像手段と、前記撮
像手段の向き及びズームを制御する視点制御手段と、前
記撮像手段が取得する文書の全体画像からレイアウトを
解析するレイアウト解析手段と、前記レイアウト解析手
段の解析結果に基づき、文書中の文字領域及び図表・写
真領域を複数の順番付けされた小領域に分割する読み取
り領域計画手段と、前記撮像手段によって撮影した小領
域画像の歪みを補正する画像補正手段と、前記画像補正
手段によって補正された小領域画像を読み取り計画に基
づき貼り合わせて、文書全体画像を生成する画像再構成
手段と、前記撮像手段及び前記視点制御手段及び前記レ
イアウト解析手段及び前記画像再構成手段と通信してシ
ステムを制御するシステム制御手段とから構成されるこ
とを特徴とする。
めに、請求項１に記載の発明は、文書画像を取得する装
置において、画像を取得するための撮像手段と、前記撮
像手段の向き及びズームを制御する視点制御手段と、前
記撮像手段が取得する文書の全体画像からレイアウトを
解析するレイアウト解析手段と、前記レイアウト解析手
段の解析結果に基づき、文書中の文字領域及び図表・写
真領域を複数の順番付けされた小領域に分割する読み取
り領域計画手段と、前記撮像手段によって撮影した小領
域画像の歪みを補正する画像補正手段と、前記画像補正
手段によって補正された小領域画像を読み取り計画に基
づき貼り合わせて、文書全体画像を生成する画像再構成
手段と、前記撮像手段及び前記視点制御手段及び前記レ
イアウト解析手段及び前記画像再構成手段と通信してシ
ステムを制御するシステム制御手段とから構成されるこ
とを特徴とする。
【０００７】また、請求項２に記載の発明は、前記読み
取り領域計画手段は、文字領域において、行方向に隣接
した小領域が共通領域を持ち、行方向に直交する行並び
方向に隣接する領域の境界が行間にくるように領域を設
定し、前記画像再構成手段は、文字領域において、小領
域画像の行方向における位置を行方向に隣接する小領域
画像との相関から決定し、行並び方向における位置を前
記読み取り領域計画手段を介して得られるレイアウト解
析結果から決定することを特徴とする。
取り領域計画手段は、文字領域において、行方向に隣接
した小領域が共通領域を持ち、行方向に直交する行並び
方向に隣接する領域の境界が行間にくるように領域を設
定し、前記画像再構成手段は、文字領域において、小領
域画像の行方向における位置を行方向に隣接する小領域
画像との相関から決定し、行並び方向における位置を前
記読み取り領域計画手段を介して得られるレイアウト解
析結果から決定することを特徴とする。
【０００８】請求項３に記載の発明は、前記画像再構成
手段により得られる画像から文字を認識して文字コード
を生成する文字認識手段を備えることを特徴とする。
手段により得られる画像から文字を認識して文字コード
を生成する文字認識手段を備えることを特徴とする。
【０００９】レイアウト解析手段は、文書の全体画像か
ら、文字・図表写真領域や行の位置を抽出する。後段の
処理はここで抽出された領域のみを処理するので、印刷
のない領域については画像の取り込み・貼り合わせを行
う必要がない。読み取り領域計画手段は、抽出された各
領域を小領域に分割する。但し、文字領域では、行方向
に隣り合う小領域は重複領域を有し、且つ行並び方向に
おいては行間に領域の境界がくるように領域を設定し、
図表写真領域では隣接する領域が重複領域を有するよう
に網目状に領域を設定する。そして、撮像手段が撮影し
た各小領域画像を、画像再構成手段が貼り合わせて全体
画像を生成する。このとき文字領域内では、各行の位置
をレイアウト解析結果に基づいて決定し、行方向に隣接
した小領域画像間においてのみ相関演算による正確な貼
り合わせ処理を行う。ゆえに、行並び方向に隣接する画
像間では相関演算が不要となり、高速に全体画像を構成
することができるようになる。図表や写真領域内では、
従来法を用いて貼り合わせを行うので、図表領域などが
混在する文書画像でも高速に高精細の全体画像を生成す
ることができる。
ら、文字・図表写真領域や行の位置を抽出する。後段の
処理はここで抽出された領域のみを処理するので、印刷
のない領域については画像の取り込み・貼り合わせを行
う必要がない。読み取り領域計画手段は、抽出された各
領域を小領域に分割する。但し、文字領域では、行方向
に隣り合う小領域は重複領域を有し、且つ行並び方向に
おいては行間に領域の境界がくるように領域を設定し、
図表写真領域では隣接する領域が重複領域を有するよう
に網目状に領域を設定する。そして、撮像手段が撮影し
た各小領域画像を、画像再構成手段が貼り合わせて全体
画像を生成する。このとき文字領域内では、各行の位置
をレイアウト解析結果に基づいて決定し、行方向に隣接
した小領域画像間においてのみ相関演算による正確な貼
り合わせ処理を行う。ゆえに、行並び方向に隣接する画
像間では相関演算が不要となり、高速に全体画像を構成
することができるようになる。図表や写真領域内では、
従来法を用いて貼り合わせを行うので、図表領域などが
混在する文書画像でも高速に高精細の全体画像を生成す
ることができる。
【００１０】
【発明の実施の形態】以下、図面を参照して本発明の実
施例を詳細に説明する。
施例を詳細に説明する。
【００１１】本発明の実施例を図１に示す。本実施例
は、ＣＣＤカメラから構成される撮像手段１１と、ＣＣ
Ｄカメラを制御する視点制御手段１２と、文書全体を撮
影した画像からレイアウトを解析するレイアウト解析手
段１３と、レイアウト解析手段１３の出力結果から文書
中の文字領域を順序づけられた複数の小領域に分割する
読み取り領域計画手段１４と、撮像手段１１より取得で
きる小領域画像の歪みを補正する画像補正手段１５と、
補正後の小領域画像を貼り合わせて文書全体の高精細画
像を構成する画像再構成手段１６と、システム全体を制
御するシステム制御手段１７から構成される。本実施例
で想定するスタンド型文書画像入力装置の外観を図２に
示す。
は、ＣＣＤカメラから構成される撮像手段１１と、ＣＣ
Ｄカメラを制御する視点制御手段１２と、文書全体を撮
影した画像からレイアウトを解析するレイアウト解析手
段１３と、レイアウト解析手段１３の出力結果から文書
中の文字領域を順序づけられた複数の小領域に分割する
読み取り領域計画手段１４と、撮像手段１１より取得で
きる小領域画像の歪みを補正する画像補正手段１５と、
補正後の小領域画像を貼り合わせて文書全体の高精細画
像を構成する画像再構成手段１６と、システム全体を制
御するシステム制御手段１７から構成される。本実施例
で想定するスタンド型文書画像入力装置の外観を図２に
示す。
【００１２】撮像手段１１はズーム機能を持ったＣＣＤ
カメラから構成される。本手段は、視点制御手段１２よ
り信号を受けてカメラのズームを制御できる。この機能
を使って文書全体の画像を撮影したり、文書の一部を撮
影することができる。
カメラから構成される。本手段は、視点制御手段１２よ
り信号を受けてカメラのズームを制御できる。この機能
を使って文書全体の画像を撮影したり、文書の一部を撮
影することができる。
【００１３】視点制御手段１２は撮像手段１１を固定す
る雲台であり、カメラをパン・チルトさせる機能、及び
撮像手段１１にズーム信号を送信しカメラのズームを制
御する機能を有する。
る雲台であり、カメラをパン・チルトさせる機能、及び
撮像手段１１にズーム信号を送信しカメラのズームを制
御する機能を有する。
【００１４】レイアウト解析手段１３の説明を図３を用
いて行う。本手段は、撮像手段１１がとらえた文書全体
の画像３１から、文書のレイアウトを解析する。レイア
ウト情報としては、文字・図表写真領域や行の位置を抽
出する。図３の例では、３つの文字領域： 文字領域３２ 左上点（Ｘ１、Ｙ０） 右下点（Ｘ３、Ｙ１） 文字領域３３ 左上点（Ｘ０、Ｙ２） 右下点（Ｘ４、Ｙｍ） 文字領域３４ 左上点（Ｘ０、Ｙｎ） 右下点（Ｘ４、Ｙｚ） と各領域における行の位置： 行３５ 左上点（Ｘ１、Ｙ０） 右下点（Ｘ３、Ｙ１） 行３６ 左上点（Ｘ０、Ｙ２） 右下点（Ｘ４、Ｙ３） ・・・・・・・・・・・・・・・・・ 行３７ 左上点（Ｘ０、Ｙ（ｚ−１）） 右下点（Ｘ２、Ｙｚ） が抽出される。
いて行う。本手段は、撮像手段１１がとらえた文書全体
の画像３１から、文書のレイアウトを解析する。レイア
ウト情報としては、文字・図表写真領域や行の位置を抽
出する。図３の例では、３つの文字領域： 文字領域３２ 左上点（Ｘ１、Ｙ０） 右下点（Ｘ３、Ｙ１） 文字領域３３ 左上点（Ｘ０、Ｙ２） 右下点（Ｘ４、Ｙｍ） 文字領域３４ 左上点（Ｘ０、Ｙｎ） 右下点（Ｘ４、Ｙｚ） と各領域における行の位置： 行３５ 左上点（Ｘ１、Ｙ０） 右下点（Ｘ３、Ｙ１） 行３６ 左上点（Ｘ０、Ｙ２） 右下点（Ｘ４、Ｙ３） ・・・・・・・・・・・・・・・・・ 行３７ 左上点（Ｘ０、Ｙ（ｚ−１）） 右下点（Ｘ２、Ｙｚ） が抽出される。
【００１５】読み取り領域計画手段１４の動作を図４を
用いて説明する。本手段は、行グループ化手段４１及び
行グループ分割手段４２及び読み取り順序決定手段４３
とから構成される。行グループ化手段４１はレイアウト
解析手段１３の認識結果から、１つの小領域画像に取り
込む行数を決定し、行をグループ化する。ここで、グル
ープ化の方法を説明する。簡単のために、ＣＣＤカメラ
の画素数を６４０＊４００、レイアウト解析時の画像の
解像度を５０ＤＰＩ、再構成画像及び小領域画像を４０
０ＤＰＩの解像度で作成・撮影するものとする。この場
合、図３に示した各文字行は高精細画像中では、 行３５ 左上点（Ｘ１＊８、Ｙ０＊８） 右下点（Ｘ３＊８、Ｙ１＊８） 行３６ 左上点（Ｘ０＊８、Ｙ２＊８） 右下点（Ｘ４＊８、Ｙ３＊８） ・・・・・・・・・・・・・・・・・ 行３７ 左上点（Ｘ０＊８、Ｙ（ｚ−１）＊８） 右下点（Ｘ２＊８、Ｙｚ＊８ ） に位置すればよい。ここでさらに、レイアウト解析に用
いた画像上での文字高を６ドット、行間隔を６ドットと
仮定すると、作成する高精細画像上での文字高及び行間
隔はそれぞれおよそ４８ドットとなる。この時、小領域
画像の行並び方向には５行程度を撮像可能であるが、文
字欠けなく撮影できるのは最大４行である。そこで、こ
のような場合には４行を１グループとして行グループを
生成する。このようにしてグループ化した例を図５に示
す。
用いて説明する。本手段は、行グループ化手段４１及び
行グループ分割手段４２及び読み取り順序決定手段４３
とから構成される。行グループ化手段４１はレイアウト
解析手段１３の認識結果から、１つの小領域画像に取り
込む行数を決定し、行をグループ化する。ここで、グル
ープ化の方法を説明する。簡単のために、ＣＣＤカメラ
の画素数を６４０＊４００、レイアウト解析時の画像の
解像度を５０ＤＰＩ、再構成画像及び小領域画像を４０
０ＤＰＩの解像度で作成・撮影するものとする。この場
合、図３に示した各文字行は高精細画像中では、 行３５ 左上点（Ｘ１＊８、Ｙ０＊８） 右下点（Ｘ３＊８、Ｙ１＊８） 行３６ 左上点（Ｘ０＊８、Ｙ２＊８） 右下点（Ｘ４＊８、Ｙ３＊８） ・・・・・・・・・・・・・・・・・ 行３７ 左上点（Ｘ０＊８、Ｙ（ｚ−１）＊８） 右下点（Ｘ２＊８、Ｙｚ＊８ ） に位置すればよい。ここでさらに、レイアウト解析に用
いた画像上での文字高を６ドット、行間隔を６ドットと
仮定すると、作成する高精細画像上での文字高及び行間
隔はそれぞれおよそ４８ドットとなる。この時、小領域
画像の行並び方向には５行程度を撮像可能であるが、文
字欠けなく撮影できるのは最大４行である。そこで、こ
のような場合には４行を１グループとして行グループを
生成する。このようにしてグループ化した例を図５に示
す。
【００１６】また、図３に示した文書画像の文字高、行
間隔がともに７ドットであったとすると、この場合は３
行分の文字列が一枚の高精細画像に収録できる。但し、
図６のように行並び方向に隣り合うグループの境界を完
全に接触させてしまうと、完全に収まる行数が２行にな
る行グループ６２が発生してしまう。文書画像において
行間はあまり重要ではないので、このような場合には図
７に示すように、常に行グループを行の上端から設定す
るようにする。図６、図７の場合では行グループの数に
変化はないが、一般に行が多い文字領域であればこの操
作によって行グループの数を減らすことができる。
間隔がともに７ドットであったとすると、この場合は３
行分の文字列が一枚の高精細画像に収録できる。但し、
図６のように行並び方向に隣り合うグループの境界を完
全に接触させてしまうと、完全に収まる行数が２行にな
る行グループ６２が発生してしまう。文書画像において
行間はあまり重要ではないので、このような場合には図
７に示すように、常に行グループを行の上端から設定す
るようにする。図６、図７の場合では行グループの数に
変化はないが、一般に行が多い文字領域であればこの操
作によって行グループの数を減らすことができる。
【００１７】行グループ分割手段４２について説明す
る。本手段は、行グループ化手段４１によってグループ
化された領域を行方向に分割する。ＣＣＤのサイズが６
４０＊４００、小領域画像の解像度が４００ＤＰＩなら
ば、各小領域の幅は６４０／４００ｉｎｃｈ以下に設定
する。また、図８に示すように、隣り合う領域がある程
度重複するように分割を行い、画像貼り合わせ時の相関
計算に利用する。
る。本手段は、行グループ化手段４１によってグループ
化された領域を行方向に分割する。ＣＣＤのサイズが６
４０＊４００、小領域画像の解像度が４００ＤＰＩなら
ば、各小領域の幅は６４０／４００ｉｎｃｈ以下に設定
する。また、図８に示すように、隣り合う領域がある程
度重複するように分割を行い、画像貼り合わせ時の相関
計算に利用する。
【００１８】読み取り順序決定手段４３は行グループ分
割手段４２によって分割された小領域の読み取り順序を
決定する。効率よく読み取るには、隣接する領域を連続
して読むようにすればよい。効率よい読み取り順序の例
として、図９のように原稿上部から下部に向かって蛇行
させる方法などがある。
割手段４２によって分割された小領域の読み取り順序を
決定する。効率よく読み取るには、隣接する領域を連続
して読むようにすればよい。効率よい読み取り順序の例
として、図９のように原稿上部から下部に向かって蛇行
させる方法などがある。
【００１９】画像補正手段１５は、撮像手段１１より得
られる小領域画像の歪みを補正する。画像の歪みは、主
にレンズによる歪みと原稿に対するカメラの傾きから発
生するので、これらの特性をあらかじめ測定しておき、
これを利用して画像を補正する。
られる小領域画像の歪みを補正する。画像の歪みは、主
にレンズによる歪みと原稿に対するカメラの傾きから発
生するので、これらの特性をあらかじめ測定しておき、
これを利用して画像を補正する。
【００２０】画像再構成手段１６について説明する。本
手段は読み取り領域計画手段１４で決定された小領域の
画像を画像補正手段１５より順番に取得し、これを貼り
合わせて原稿全体の高精細画像を取得する。
手段は読み取り領域計画手段１４で決定された小領域の
画像を画像補正手段１５より順番に取得し、これを貼り
合わせて原稿全体の高精細画像を取得する。
【００２１】まず、行グループにおいて読み取り順序が
もっとも早い小領域画像が得られたならば、その位置、
すなわち行の位置をレイアウト解析結果から決定する。
その方法を図１０を用いて説明する。レイアウト解析時
の画像において、本領域に含まれる最上部行の左上端座
標が（Ｘ０，Ｙ０）であったとすると、高精細画像１０
１では座標点１０４（Ｎ＊Ｘ０，Ｎ＊Ｙ０）に小領域画
像１０２中の対応点１０３がくるようにすればよい。こ
こで、Ｎは高精細画像撮影時の解像度をレイアウト解析
時の解像度で割った値を表す。本手法によれば、行方向
及び行並び方向において、それぞれＮドット前後のずれ
が高精細画像上で生じるが、その実寸値は１mm以下であ
るのでほとんど無視することができる。
もっとも早い小領域画像が得られたならば、その位置、
すなわち行の位置をレイアウト解析結果から決定する。
その方法を図１０を用いて説明する。レイアウト解析時
の画像において、本領域に含まれる最上部行の左上端座
標が（Ｘ０，Ｙ０）であったとすると、高精細画像１０
１では座標点１０４（Ｎ＊Ｘ０，Ｎ＊Ｙ０）に小領域画
像１０２中の対応点１０３がくるようにすればよい。こ
こで、Ｎは高精細画像撮影時の解像度をレイアウト解析
時の解像度で割った値を表す。本手法によれば、行方向
及び行並び方向において、それぞれＮドット前後のずれ
が高精細画像上で生じるが、その実寸値は１mm以下であ
るのでほとんど無視することができる。
【００２２】次に、この画像と行方向に隣接する画像が
得られたら、最初の画像とこれを重複領域の相関を利用
して貼り合わせる。この方法を図１１を用いて説明す
る。視点制御手段１２がパン、チルト機構を備えていれ
ば、小領域画像１１１を取得後カメラをパンするだけで
行方向に並んだ小領域画像１１２を獲得することができ
るので、２画像間の走査線はほぼ正しく対応していると
考えられる。そのような場合には、行並び方向に黒画素
を計数し、２つのヒストグラム１１３及び１１４の形状
がもっとも一致する位置を見つけることにより、２画像
の貼り合わせ位置を決定することができる。また、カメ
ラが微妙に上下し走査線の対応がずれる場合には、画像
を２次元的にずらして最も画素値が一致する位置を抽出
したり、文字切り出し処理やラベリング処理を施した結
果の相関などを利用すればよい。このようにして、行方
向に隣り合う画像を順次貼り合わせていき、行グループ
画像１１５を完成させる。
得られたら、最初の画像とこれを重複領域の相関を利用
して貼り合わせる。この方法を図１１を用いて説明す
る。視点制御手段１２がパン、チルト機構を備えていれ
ば、小領域画像１１１を取得後カメラをパンするだけで
行方向に並んだ小領域画像１１２を獲得することができ
るので、２画像間の走査線はほぼ正しく対応していると
考えられる。そのような場合には、行並び方向に黒画素
を計数し、２つのヒストグラム１１３及び１１４の形状
がもっとも一致する位置を見つけることにより、２画像
の貼り合わせ位置を決定することができる。また、カメ
ラが微妙に上下し走査線の対応がずれる場合には、画像
を２次元的にずらして最も画素値が一致する位置を抽出
したり、文字切り出し処理やラベリング処理を施した結
果の相関などを利用すればよい。このようにして、行方
向に隣り合う画像を順次貼り合わせていき、行グループ
画像１１５を完成させる。
【００２３】行グループ画像が完成したら、次の行グル
ープ画像について同様の処理を繰り返す。次の行グルー
プ画像の位置もレイアウト解析結果、すなわち行グルー
プの位置座標情報をもとに決定する。このように、本発
明によれば、行の位置が微妙にずれるものの、行並び方
向に隣接する領域間において位置合わせのための相関演
算を行う必要はない。
ープ画像について同様の処理を繰り返す。次の行グルー
プ画像の位置もレイアウト解析結果、すなわち行グルー
プの位置座標情報をもとに決定する。このように、本発
明によれば、行の位置が微妙にずれるものの、行並び方
向に隣接する領域間において位置合わせのための相関演
算を行う必要はない。
【００２４】システム制御手段１７は、各処理部を起動
したり、各処理部の処理結果を参照し次の行動を決定す
る機能を有する。
したり、各処理部の処理結果を参照し次の行動を決定す
る機能を有する。
【００２５】次に、処理の流れについて説明する。ま
ず、システム制御手段１７は視点制御手段１２に文書全
体の画像を撮像するための命令を送る。視点制御手段１
２はこれを受けてカメラの向きを変更し、ズームを変え
る指令を撮像手段１１に送る。システム制御手段１７
は、撮像手段１１が全体画像を撮影できるようになった
らレイアウト解析手段１３を起動する。レイアウト解析
手段１３は、撮像手段１１より画像を取得し、レイアウ
ト解析を行った後、終了信号をシステム制御手段１７に
送る。システム制御手段１７は、次に読み取り領域計画
手段１４を起動する。読み取り領域計画手段１４は文書
画像全体を複数の小領域に分割して終了信号をシステム
制御手段１７に送る。システム制御手段１７は読み取り
領域計画手段１４が計画した小領域の範囲パラメータを
読み込み、各領域の画像が得られるように視点制御手段
１２にリクエストを送出する。視点制御手段１２はこれ
にしたがってカメラの向き、ズームを変更する。システ
ム制御手段１７はカメラの位置決めが終了したら画像再
構成手段１６を起動する。画像再構成手段１６は画像補
正手段１５が補正した小領域画像を貼り合わせて、文書
全体の高精細画像を生成する。
ず、システム制御手段１７は視点制御手段１２に文書全
体の画像を撮像するための命令を送る。視点制御手段１
２はこれを受けてカメラの向きを変更し、ズームを変え
る指令を撮像手段１１に送る。システム制御手段１７
は、撮像手段１１が全体画像を撮影できるようになった
らレイアウト解析手段１３を起動する。レイアウト解析
手段１３は、撮像手段１１より画像を取得し、レイアウ
ト解析を行った後、終了信号をシステム制御手段１７に
送る。システム制御手段１７は、次に読み取り領域計画
手段１４を起動する。読み取り領域計画手段１４は文書
画像全体を複数の小領域に分割して終了信号をシステム
制御手段１７に送る。システム制御手段１７は読み取り
領域計画手段１４が計画した小領域の範囲パラメータを
読み込み、各領域の画像が得られるように視点制御手段
１２にリクエストを送出する。視点制御手段１２はこれ
にしたがってカメラの向き、ズームを変更する。システ
ム制御手段１７はカメラの位置決めが終了したら画像再
構成手段１６を起動する。画像再構成手段１６は画像補
正手段１５が補正した小領域画像を貼り合わせて、文書
全体の高精細画像を生成する。
【００２６】本実施例では、横書き文書の例を示した
が、縦書き文書でも同様に処理を進めることができる。
さらに、縦書き・横書き混合の文書でも全く同様であ
る。また、図表や写真が混在する原稿に対しては、それ
ら領域を重複領域を有する小領域に網目状に分割した
後、左上にある小領域の位置を文字領域の場合と同様に
レイアウト解析結果から決定し、他の領域を従来の画像
貼り合わせ手法によって貼り合わせればよい。
が、縦書き文書でも同様に処理を進めることができる。
さらに、縦書き・横書き混合の文書でも全く同様であ
る。また、図表や写真が混在する原稿に対しては、それ
ら領域を重複領域を有する小領域に網目状に分割した
後、左上にある小領域の位置を文字領域の場合と同様に
レイアウト解析結果から決定し、他の領域を従来の画像
貼り合わせ手法によって貼り合わせればよい。
【００２７】図１の構成に文字認識手段を追加した実施
例を図１２に示す。本実施例では、文字認識手段１２８
が画像再構成手段１２６のメモリに蓄積された高精細画
像から文字を認識し、文字コードに変換する。文字認識
手段１２８の起動はやはりシステム制御部１２７によっ
てなされるが、そのタイミングは文書全体の画像を獲得
した後でも、文字行グループの画像が得られる度でもよ
い。本発明によって構成される高精細画像は行並び方向
に若干の誤差を含むが、文字コードを生成する場合には
特にこの点を無視することができる。
例を図１２に示す。本実施例では、文字認識手段１２８
が画像再構成手段１２６のメモリに蓄積された高精細画
像から文字を認識し、文字コードに変換する。文字認識
手段１２８の起動はやはりシステム制御部１２７によっ
てなされるが、そのタイミングは文書全体の画像を獲得
した後でも、文字行グループの画像が得られる度でもよ
い。本発明によって構成される高精細画像は行並び方向
に若干の誤差を含むが、文字コードを生成する場合には
特にこの点を無視することができる。
【００２８】
【発明の効果】本装置によれば文字や図表等の存在しな
い領域の高精度画像を撮像したり貼り合わせる必要がな
い。また、行の位置はレイアウト解析結果から決定する
ので、行並び方向に隣接する小領域画像間では相関演算
をする必要がなく、従来の画像貼り合わせ装置に比べ画
像再構成のための計算コストを大幅に削減することがで
きる。
い領域の高精度画像を撮像したり貼り合わせる必要がな
い。また、行の位置はレイアウト解析結果から決定する
ので、行並び方向に隣接する小領域画像間では相関演算
をする必要がなく、従来の画像貼り合わせ装置に比べ画
像再構成のための計算コストを大幅に削減することがで
きる。
【００２９】更に本装置によれば、紙面に印刷された文
字ばかりでなく、屏風や立て看板などに書かれた文字の
ようにフラットベッドスキャナでは読みとることができ
ないものでも自動入力することができる。
字ばかりでなく、屏風や立て看板などに書かれた文字の
ようにフラットベッドスキャナでは読みとることができ
ないものでも自動入力することができる。
【図１】本実施例の構成を示すブロック図である。
【図２】文書画像入力装置の外観図の一例である。
【図３】レイアウト解析結果の一例である。
【図４】読み取り領域計画手段の内部構成を示すブロッ
ク図である。
ク図である。
【図５】行グループ化手段の処理結果の一例を示す図で
ある。
ある。
【図６】好ましくない行グループ化手段の処理結果の一
例を示す図である。
例を示す図である。
【図７】行グループ化手段の処理結果の一例を示す図で
ある。
ある。
【図８】行グループ分割手段によって設定された小領域
の一例を示す図である。
の一例を示す図である。
【図９】読み取り順序決定手段の処理結果を示す一例を
示す図である。
示す図である。
【図１０】小領域画像の高精細画像へのはめ込み方を示
す図である。
す図である。
【図１１】行並び方向に隣接する小領域画像の貼り合わ
せ方法を示す図である。
せ方法を示す図である。
【図１２】請求項３の実施例を示す図である。
１１ 撮像手段 １２ 視点制御手段 １３ レイアウト解析手段 １４ 読み取り領域計画手段 １５ 画像補正手段 １６ 画像再構成手段 １７ システム制御手段 ３１ 原稿 ３２〜３４ 文字領域 ３５〜３７ 行 ４１ 行グループ化手段 ４２ 行グループ分割手段 ４３ 読み取り順序決定手段 ４４ 読み取り領域計画手段 ５１〜５５ 行グループ ６１〜６３ 行グループ ７１〜７３ 行グループ ８１〜８５ 小領域 ８６ 行グループ １０１ 高精細画像 １０２ 小領域画像 １０３ 小領域画像上で最も上にある行の左上点 １０４ 高精細画像上の点 １１１ 小領域画像 １１２ １１１の右側に隣接する小領域の小領域画像 １１３ 小領域画像１１１の画素投影結果（ヒストグラ
ム） １１４ 小領域画像１１２の画素投影結果（ヒストグラ
ム） １１５ 行グループ画像 １２１ 撮像手段 １２２ 視点制御手段 １２３ レイアウト解析手段 １２４ 読み取り領域計画手段 １２５ 画像補正手段 １２６ 画像再構成手段 １２７ システム制御手段 １２８ 文字認識手段
ム） １１４ 小領域画像１１２の画素投影結果（ヒストグラ
ム） １１５ 行グループ画像 １２１ 撮像手段 １２２ 視点制御手段 １２３ レイアウト解析手段 １２４ 読み取り領域計画手段 １２５ 画像補正手段 １２６ 画像再構成手段 １２７ システム制御手段 １２８ 文字認識手段
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/00 - 3/00 G06K 9/20
Claims (3)
- 【請求項１】文書画像を取得する装置において、画像を
取得するための撮像手段と、前記撮像手段の向き及びズ
ームを制御する視点制御手段と、前記撮像手段が取得す
る文書の全体画像からレイアウトを解析するレイアウト
解析手段と、前記レイアウト解析手段の解析結果に基づ
き、文書中の文字領域及び図表・写真領域を複数の順番
付けされた小領域に分割する読み取り領域計画手段と、
前記順番付けされた小領域の範囲を前記撮像手段によっ
てあらためて前記文書の全体画像より高解像度に撮影し
た小領域画像の歪みを補正する画像補正手段と、前記画
像補正手段によって補正された小領域の画像を読み取り
計画に基づき貼り合わせて、文書全体画像を生成する画
像再構成手段と、前記撮像手段及び前記視点制御手段及
び前記レイアウト解析手段及び前記画像再構成手段と通
信してシステムを制御するシステム制御手段とから構成
されることを特徴とする文書画像入力装置。 - 【請求項２】前記読み取り領域計画手段は、文字領域に
おいて、行方向に隣接した小領域が共通領域を持ち、行
方向に直交する行並び方向に隣接する領域の境界が行間
にくるように領域を設定し、前記画像再構成手段は、文
字領域において、小領域画像の行方向における位置を行
方向に隣接する小領域画像との相関から決定し、行並び
方向における位置を前記読み取り領域計画手段を介して
得られるレイアウト解析結果から決定することを特徴と
する請求項１に記載の文書画像入力装置。 - 【請求項３】前記画像再構成手段により得られる画像か
ら文字を認識して文字コードを生成する文字認識手段を
備えることを特徴とする請求項１又は２に記載の文書画
像入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32203295A JP3240899B2 (ja) | 1995-12-11 | 1995-12-11 | 文書画像入力装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32203295A JP3240899B2 (ja) | 1995-12-11 | 1995-12-11 | 文書画像入力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09161043A JPH09161043A (ja) | 1997-06-20 |
| JP3240899B2 true JP3240899B2 (ja) | 2001-12-25 |
Family
ID=18139170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32203295A Expired - Fee Related JP3240899B2 (ja) | 1995-12-11 | 1995-12-11 | 文書画像入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3240899B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69929748T2 (de) * | 1999-06-15 | 2006-08-10 | Hewlett-Packard Development Company, L.P., Houston | Fotografische Blitzbeleuchtung |
| JP4012710B2 (ja) | 2001-02-14 | 2007-11-21 | 株式会社リコー | 画像入力装置 |
| JP6669390B2 (ja) * | 2016-03-09 | 2020-03-18 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
1995
- 1995-12-11 JP JP32203295A patent/JP3240899B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09161043A (ja) | 1997-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4019063B2 (ja) | 光学端末装置、画像処理方法およびシステム | |
| US7697776B2 (en) | Model-based dewarping method and apparatus | |
| US7072526B2 (en) | Image processing apparatus, image processing method and recording medium | |
| KR101126466B1 (ko) | 사진 문서 이미징 시스템 | |
| RU2421814C2 (ru) | Способ формирования составного изображения | |
| JP4556813B2 (ja) | 画像処理装置、及びプログラム | |
| JP3747737B2 (ja) | 広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体 | |
| JP3010136B2 (ja) | コードデータ出力装置 | |
| US20060215232A1 (en) | Method and apparatus for processing selected images on image reproduction machines | |
| JP5541679B2 (ja) | 画像処理装置及び方法、並びに、プログラム | |
| JPH05303634A (ja) | 画像取り込み装置 | |
| US7679792B2 (en) | Merged camera and scanner | |
| JP3240899B2 (ja) | 文書画像入力装置 | |
| CN100511267C (zh) | 图文影像处理装置及其影像处理方法 | |
| JP4301526B1 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
| JPS5923670A (ja) | デイジタル画像入力時の傾き補正方法 | |
| JP2003060894A (ja) | 画像合成装置、画像合成システム、画像合成機能付きカメラおよび画像合成サービス方法 | |
| JP3163703B2 (ja) | 原稿読み取り装置 | |
| JPH05219323A (ja) | 書籍読取方法および装置 | |
| JPH1198339A (ja) | 画像読み取り装置 | |
| JP3014257B2 (ja) | 文書読み取り装置 | |
| JP2000134412A (ja) | 画像撮影装置および画像読取装置 | |
| JPH05161004A (ja) | 原稿読み取り装置 | |
| AU705691B3 (en) | Improved image scanning apparatus and method | |
| JP3359361B2 (ja) | 拡大印刷装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20010410 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010918 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071019 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081019 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091019 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091019 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121019 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131019 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |