JP2000194850A - ユ―ザ囲み領域の抽出装置及び抽出方法 - Google Patents

ユ―ザ囲み領域の抽出装置及び抽出方法

Info

Publication number
JP2000194850A
JP2000194850A JP11362659A JP36265999A JP2000194850A JP 2000194850 A JP2000194850 A JP 2000194850A JP 11362659 A JP11362659 A JP 11362659A JP 36265999 A JP36265999 A JP 36265999A JP 2000194850 A JP2000194850 A JP 2000194850A
Authority
JP
Japan
Prior art keywords
user
connected component
document image
bounding box
enclosed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11362659A
Other languages
English (en)
Other versions
JP3393098B2 (ja
Inventor
Jou Janin
ジャンイン・ジョウ
Shi Honuei
ホンウェイ・シ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Panasonic Corp of North America
Original Assignee
Matsushita Electronics Corp
Matsushita Electric Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electronics Corp, Matsushita Electric Corp of America filed Critical Matsushita Electronics Corp
Publication of JP2000194850A publication Critical patent/JP2000194850A/ja
Application granted granted Critical
Publication of JP3393098B2 publication Critical patent/JP3393098B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/1444Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

(57)【要約】 【課題】 ユーザがマークした箇所について、画像処理
によりその箇所を識別して、印刷ないし記録できるよう
にする。 【解決手段】 文書10の走査でユーザ囲み領域につい
てその位置を見つけ、抽出する。そのために、グラフ理
論における複連結成分を基礎としている。まず、入力イ
メージの内容をランレングスのセグメントとして表現す
る。セグメントから線隣接グラフを組み立てている。最
後に、ユーザが囲んだ領域を線隣接グラフの複連結成分
として検出する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、概して、文書処理
方法に関し、特に、テキスト領域またはビットマップイ
メージの非テキスト領域についてのユーザ囲み部分の抽
出に関する。
【0002】
【従来の技術】読書する間に文書の中にマークやメモを
つけることがよくある。例えば、本や雑誌を読んでいる
ときに、特に気に入ったところをペンで丸く囲むもので
ある。下線を引いたり、段落を円で囲んだり、ページに
メモを書いた時には、これらのメモやマークを施した部
分が読者にとって重要な関心事であったり、他人とのコ
ミュニケーションでの資料として役立つことがある。
【0003】現今、電子メディアが紙文書に取って代わ
ろうとしていることから、これらの下線、ハイライト、
円などのマークを施したり、手書きメモやポストイット
(商標)を貼付した紙文書の部分が文書処理システムに
おいて自動的に識別できたり、同定できると共に、関連
する内容が抽出でき、保存できるならば有用であろう。
【0004】
【課題を解決するための手段】本発明は、文書の走査か
らユーザが描いたマークのうちのあるタイプのもの、即
ち、ユーザ囲み領域についてその位置を見つけ、抽出す
る技術を開示している。本発明は、グラフ理論における
複連結成分を基礎としている。本発明は、まず、入力イ
メージの内容をランレングスのセグメントとして表現す
る。本発明は、セグメントから線隣接グラフ(line adja
cency graph:LAG)を組み立てている。最後に、本発
明は、ユーザが囲んだ領域(例えば、円で囲んだ領域)
を線隣接グラフの複連結成分として検出している。
【0005】本発明は、電子ファイリングシステムや文
書データベース蓄積処理等の用途に有用である。現在、
ページ(例えば、新聞記事)の選択した箇所をまとめる
(アーカイブする)ために、ユーザがカット・アンド・ペ
ーストせざるを得ない。しかし、一人のユーザは、たま
にページの特定の箇所に興味を持つにすぎない。円選択
領域抽出法なら、ユーザとしては興味ある箇所を単にマ
ークし、後は画像処理によってその箇所を識別させて記
憶保存させるだけでよい。別な場合では、違った圧縮手
法をユーザ囲み領域に適用してこれらの選択領域におけ
る画像の画質を保護することができる。
【0006】本発明は、連結成分モジュールを用いて、
走査した文書のビットマップ形式の原イメージを分析す
る。本発明は、文書作成システムとは独立している。こ
れによって、キャラクターセット、アルファベット、そ
れに使用されている文字フォントが何であるかを気にす
ることなく、文書イメージからユーザ囲み領域を抽出す
ることができる。ここで、連結成分モジュールは、連結
している画像成分を記憶する。連結成分のデータは線隣
接グラフの形でデータ構造に記憶され、そのためにその
連結成分データの処理がはかどるのである。
【0007】連結成分データは、グラフ探査モジュール
(graph traversal module)で分析して各連結成分の幾何
学的特徴を抽出し、データ構造にその幾何学的特徴を蓄
積する。抽出した幾何学的特徴は、本発明によるさらな
る分析に必要な幾何学的特徴である。
【0008】また、本発明では、複連結成分モジュール
を用いて、文書イメージのユーザ囲み領域から最大の複
連結成分を分離している。複連結成分モジュールは、囲
んでいる形状にとらわれることなく当該囲み箇所を検出
する。さらに、ユーザが描いた囲みは紙文書中のテキス
トやグラフの線と交差していてもよく、それでもなおそ
の囲みは複連結成分とみなされる。複連結成分モジュー
ルは深さ優先探索法(depth-first search)を用いてお
り、それ故に最大の複連結成分の検出を効率的に行うこ
とができる。
【0009】複連結成分モジュールによる処理の後に、
検出分析フィルタで、各ユーザ囲み領域の候補を修正(q
ualify)して抽出処理を精密化している。これらの付加
的な発見的方法(heuristics)によって、ユーザ囲み領域
の選択可能性から、最小サイズであるか又は写真イメー
ジである複連結エリアを除去している。
【0010】ユーザ囲み領域の選択の後に、抽出モジュ
ールが、ユーザ囲み領域内にあるビットマップ部分を分
離して、将来の参考やユーザの操作のために備えて文書
イメージの抽出部分を蓄積メディアに蓄積する。本発明
では文書イメージの中でユーザが興味を持った部分のみ
を抽出するから、記憶ディスクの容量を大いに節約する
ことができる。
【0011】
【発明の実施の形態】以後、添付図面を参照しながら、
本発明の好ましい実施の形態を詳述する。要するに、本
発明では、走査した文書からユーザ囲み領域の位置を決
めたり、それを抽出するものである。それゆえ、図1
に、走査した文書からユーザ囲み領域を抽出して、抽出
した領域を記憶又は印刷する本発明のシステムを示す。
【0012】本発明によるユーザ囲み領域の抽出装置
は、コンピュータ用ソフトウエアプログラムか、又はス
キャナとかの画像処理プロセッサの如くの画像システム
に組み込むに適した埋込みシステムの何れかで実現でき
るのが望ましい。図1に示したように、ユーザ囲み領域
の抽出用ソフトウエアプログラムはコンピュータシステ
ム18上で動く。
【0013】コンピュータシステム18は、走査や印刷
等の種々の作業を行なう種々の周辺機器と適切な通信接
続部、即ち、インターフェースを介して接続している。
コンピュータシステム18は、市販の利用可能なものを
用いることができ、好ましい実施の形態としては、マイ
クロソフト社製のウインドウズ95、98ないしNTの
OS上で動作するものである。しかし、UNIXシステ
ム等を含むその他のシステムで動作するものも用いるこ
とができる。本発明のコンピュータシステム18は、当
業者に周知のように周辺機器と直接、接続用インターフ
ェースカードや標準の接続用ケーブルにより接続するこ
とができる。また、周辺機器はネットワーク経由で接続
してもよい。
【0014】本発明において、ユーザは文書10を用意
して、ペン又は他の筆記用具を用いてスキャナ14やF
AX装置により読み取り可能なマークを残すように、そ
の文書中から必要な箇所を丸囲み又は囲むことになる。
スキャナ14は、得られたデータを、それと接続してい
るコンピュータ18に送ることになる。コンピュータ1
8はユーザ囲み領域を抽出し、好ましい実施の形態では
コンピュータのハードディスク20に抽出した画像を保
存する。必要であれば抽出したユーザ囲み領域をレーザ
プリンタ24の如くのプリンタ装置で印刷してもよい。
【0015】図2は、システムのソフトウエアのブロッ
ク図を示している。図2に示した機能ブロック(functio
n block)は、コンピュータシステム18のプロセッサに
より実行される。コンピュータ用ソフトウエアシステム
は、それぞれ異なるデータ処理機能を行なうように構成
した複数の処理モジュールを利用している。これらの処
理モジュールも矩形ブロックに示している。また、処理
モジュールのブロックと区別するために両側を開放した
矩形ブロックに、データ構造を示している。また、本発
明を理解するために、本発明の処理モジュールは処理シ
ーケンスに従って上から下の順に配置している。
【0016】雑誌のあるページを走査して得たページ2
7の画像データも図2に示してある。このページ画像デ
ータはビジュアル画像として図2に示しているが、実際
には、画像の黒又は白の画素がバイナリ値として記憶さ
れているビットマップ画像データの如くの画像データで
ある。
【0017】まず、ページ27のビットマップ画像デー
タについて、分析器28により連結成分の解析が行なわ
れる。バイナリ画像における連結成分は、タッチング黒
画素(touching black pixels)の最大集合である。本質
的には連結成分の抽出プロセスは、ページ27のビット
マップ画像データ内の所定のデータ要素から始まり、そ
のデータ要素に隣接するデータ要素を解析して、それが
連結成分の部分からなるか否かを判定する。例えば、文
字「A」やユーザが描いた円を構成する黒ドットは全て
連続しているから、これらは連結成分を構成しているこ
とになる。
【0018】好ましい実施の形態においては、連結成分
の解析はラスタースキャン法により行うのが望ましく、
そうすることにより、同一水平線内で連続している黒画
素が生成されると共に、それがセグメントと呼ばれる単
位として扱われる。その後、線隣接グラフアルゴリズム
を利用して、連結成分分析器28により作成されるセグ
メントを連結成分LAGデータ構造30内に記憶される
べき線隣接グラフに表現する。
【0019】図3及び図4は、ビットマップ画像からの
連結成分を、連結成分LAGデータ構造30内に記憶す
るに備えて、どのように線隣接グラフに変換するかを示
している。図3に示した連結成分の頂部で重複している
黒セグメントは、図4に示した線隣接グラフでの表現に
対応している。各黒セグメントは、線隣接グラフのノー
ドとして表現してある。例えば、図3に示した連結成分
には、図4の対応する線隣接グラフではノード64とし
て示したセグメント50が走査線54に沿って含まれて
いる。
【0020】さらに、走査線56に沿ったセグメント5
2は、図4ではノード68として表している。走査線5
4と走査線56とは画像内で隣接している。二つ又はそ
れ以上の黒セグメントが垂直面で隣接している場合に
は、その隣接関係を線隣接グラフではエッジとして表し
ている。例えば、セグメント50と52とは垂直面で隣
接しており、それぞれに対応するノード64と68とは
線隣接グラフ内で線66でつながっている。また、水平
面内で分離しているセグメントは、連結成分の線隣接グ
ラフ内でも分離している。例えば、黒セグメント60と
62とは、走査線58に沿ってスペースを置いて分離し
ている。また、セグメント60と62とに対応するノー
ド70と72とは、図4のグラフの中でも分離してい
る。
【0021】連結成分LAGデータ構造30が連結成分
分析器28により構築(populate)された後、グラフ探査
モジュール32が各連結成分から一定の幾何学的特徴を
抽出するために呼び出され、次いで得られたデータを幾
何学的特徴データ構造36に記憶する。図5は、境界箱
75の幅と高さとを含む連結成分の種々の幾何学的特徴
を示しており、ここで境界箱75は連結成分を包み込む
最小矩形範囲をあらわしている。さらに、幾何学的特徴
には、境界箱75の面積、穴76の数、上方又は下方へ
の円弧78の数、下方端80と82の数、上方端74の
数などが挙げられる。
【0022】幾何学的特徴のデータ構造36が構築され
た後、複連結成分モジュール38を用いて画像内容の残
部から全ての複連結成分を分ける。複連結成分モジュー
ル38は連結成分LAGデータ構造30にアクセスし
て、複連結成分のために連結成分の線隣接グラフを分析
する。
【0023】どれかのノードを除去しても線隣接グラフ
が非連結のサブ−グラフにくずれるようなことがなけれ
ば、当該線隣接グラフの連結成分は複連結成分と定める
ことができる。図7は、ノード102とノード108を
分離すると、図8に示した如く3つのサブ−グラフを有
する分離連結成分を生成することになる非複連結グラフ
(non-bi-connected graph)を示している。図6は、ノー
ド84、86、88、90、92、94、96のいずれ
か一つを除去してもその線隣接グラフが複数のサブ−グ
ラフにくずれるようなことがない複連結成分を示してい
る。線隣接グラフには複数の複連結成分が含まれていて
もよい。従って、複連結成分とは、複連結している最大
のサブ-グラフと言うことになる。そこで、システムが
線隣接グラフをその複連結成分に分解する。例えば、ノ
ード84,86,88,90,92,94,96を含む
連結成分は、複連結成分である。
【0024】好ましい実施の形態においては、複連結成
分モジュール38は、図からのサブ-グラフの複連結成
分の量及びサイズを決めるのに深さ優先探索モジュール
40を利用している。モジュール40は、最初に全ての
ノードを未訪問、即ち、未検索として初期化する。グラ
フの処理は、任意のノードを根ノードとしてそこから始
める。各ノードは、最初の発見時に処理される。いった
んノードが処理されたら、ビットに1を立てて、それに
よって特定のノードが訪問(検索)されたことを示す。処
理されたノードと連結している隣接のノードを走査して
既に処理されたかどうかを判定する。未訪問ノードが見
つかる都度にアルゴリズムにより回帰的に処理される。
ノードに隣接する周辺が処理された後は、アルゴリズム
は根ノードに達して根ノードに連なる全てのノードを処
理するまで以前のノードに戻る。そして、グラフにおけ
る次の未処理ノードが根ノードとして選択され、グラフ
全体にわたる全てのノードが訪問(検索)されるまで同様
の手順が繰り返される。各ノードに関わる情報は、線隣
接グラフの最大複連結成分を判定するのに利用される。
【0025】複連結成分モジュール38により連結成分
LAGデータ構造30からの連結成分の線隣接グラフを
処理した後に、ユーザ囲み領域の検出ミスを減少させる
のに必要な機能が検出分析フィルタ42により行われ
る。例えば、偽の複連結成分には、「O」の如くの大き
な印刷文字や多数の穴を含む写真の一部、穴を含むグラ
フィックなどが含まれている。上述した例では、ユーザ
囲み領域とは弁別しなければならない。好ましい実施の
形態においては、ユーザ囲み領域の誤検出を減らすた
め、ユーザ囲み領域ではない複連結成分からユーザ囲み
領域を弁別するために多数の発見法を利用している。
【0026】一つの発見法は、最小サイズ検出器で実現
している。この最小サイズ検出器は、複連結成分モジュ
ール38により見出されている全ての複連結成分の境界
箱75を所定サイズと比較している。穴を含む文字は連
結成分とみなせることと、典型的なユーザ囲み領域に比
べてその文字は相対的に小さいことから、最小サイズの
境界は、複連結成分がユーザ囲み領域とみなせるように
セットされる。好ましい実施の形態においては、境界箱
の幅と高さは全画像の幅と高さの1/10としている。
例えば、検出器は最初に画像の幅と高さとを求めて、複
連結成分の幅と高さを画像のそれと比較する。複連結成
分の幅と高さが画像のそれ以下であった場合には、特定
の複連結成分は考えられるユーザ囲み領域であるとして
破棄される。
【0027】他の発見法は、矩形フレーム検出器で実現
している。たいていの新聞や雑誌の記事は矩形フレーム
(枠)で本文や写真、グラフィックを囲っている。複連結
成分モジュールは矩形フレームを複連結成分とみなすで
あろう。従って、矩形フレーム検出器は、複連結成分モ
ジュールが複連結成分と見なすことになる複連結成分を
除去するものである。矩形フレーム検出器は、矩形が平
行な辺を二対持つのに対し、ユーザ囲み領域にはそのよ
うな平行な辺がない事実を利用している。矩形フレーム
検出器は、複連結成分の最も左にある画素から同じ走査
線に沿って最も右にある画素までの距離を計算する。そ
して、全ての走査線の平均距離と標準偏差値が計算され
る。標準偏差値が所定閾値より大きい場合には、複連結
成分はユーザ囲み領域の候補とみなされる。好ましい実
施の形態においては、閾値は平均距離の10%に設定し
ている。所定の閾値より小さい標準偏差値を有する複連
結成分は捨てられる。
【0028】更に別の発見法は、ユーザ囲み領域から写
真領域を識別する写真検出器で実現している。典型的な
写真領域は、ユーザ囲み領域のエリアにおける黒画素の
密度よりも高い黒画素密度を有している。そこで、写真
検出器で境界箱75内の黒画素の割合を計算する。本発
明の好ましい実施の形態において、割合の閾値は、40
%と設定している。画素密度が40%より高い場合に
は、その複連結成分はユーザ囲み領域のリストから捨て
られる。
【0029】抽出モジュール44は、ユーザが囲った画
像成分を抽出する。抽出モジュール44は、同一走査線
上の最も左の画素と最も右の画素とを識別することによ
り抽出を行なっている。
【0030】最も左の画素と最も右の画素との間にある
領域がユーザ囲み領域であり、これが抽出される。好ま
しい実施の形態において、抽出領域22はハードディス
ク20の如くの記憶装置20に保存される。
【図面の簡単な説明】
【図1】 本発明を利用するシステム構造の外観を示す
ブロック図。
【図2】 本発明の好ましい実施の形態におけるシステ
ムブロック図。
【図3】 接続している構成要素のグラフ。
【図4】 図3のグラフに対応する線隣接グラフ。
【図5】 線隣接グラフを構成する連結成分の種々の幾
何学的特徴を説明する図。
【図6】 連結成分の複連結を示す説明図。
【図7】 連結成分の非複連結を示す説明図。
【図8】 連結成分の非複連結の分離を示す説明図。
【符号の説明】
10 文書 66 線 14 スキャナ 68 ノード 16 FAX 70 ノード 18 コンピュータシステム 72 ノード 20 ハードディスク 74 エッジ 22 抽出イメージ 75 境界箱 24 レーザプリンタ 76 穴 27 ページ 78 円弧 28 連結成分分析器 80 エッジ 30 連結成分LAGデータ構造 82 エッジ 32 グラフ探査モジュール 84 ノード 36 幾何学的特徴データ構造 86 ノード 38 連結成分モジュール 88 ノード 40 深さ優先探索用モジュール 90 ノード 50 セグメント 92 ノード 52 セグメント 94 ノード 54 走査線 96 ノード 56 走査線 102 ノード 64 ノード 108 ノード
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジャンイン・ジョウ アメリカ合衆国29206サウスカロライナ州 コロンビア、レイク・アベニュー3509番、 アパートメント1148 (72)発明者 ホンウェイ・シ アメリカ合衆国11373ニューヨーク州エル ムハースト、ゴス・ドライブ84−18番

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 各連結成分が連続する複数の黒画素を有
    する文書イメージから複数の連結成分を識別する連結成
    分分析器;前記連結成分分析器と接続しており、前記連
    結成分の幾何学的特徴を抽出するグラフ探査モジュー
    ル;前記グラフ探査モジュールと接続しており、前記連
    結成分から複連結成分を選択する複連結成分モジュー
    ル;前記複連結成分モジュールと接続しており、前記選
    択した複連結成分の前記幾何学的特徴を所定限界と比較
    して、前記比較結果を用いて前記文書イメージのユーザ
    囲み領域を検出する検出分析フィルタ;とからなる文書
    イメージにおけるユーザ囲み領域の抽出装置。
  2. 【請求項2】 前記検出分析フィルタと接続しており、
    前記ユーザ囲み領域に関して各走査線についての最左端
    の黒画素と最右端の黒画素とを識別することにより前記
    文書イメージから前記ユーザ囲み領域を除去する抽出モ
    ジュールをさらに備えている請求項1に記載のユーザ囲
    み領域の抽出装置。
  3. 【請求項3】 前記幾何学的特徴が、境界箱、境界箱の
    黒画素密度、各走査線に沿って最左端画素から最右端画
    素の間の平均距離についての標準偏差及びこれらの組み
    合わせとからなるグループより選択されたものである請
    求項1に記載のユーザ囲み領域の抽出装置。
  4. 【請求項4】 前記所定限界が、前記境界箱の幅及び高
    さが前記文書イメージの幅及び高さの所定割合にある前
    記境界箱、所定割合にある連結成分の前記黒画素密度、
    所定割合にある前記標準偏差及びこれらの組み合わせと
    からなるグループより選択されたものである請求項3に
    記載のユーザ囲み領域の抽出装置。
  5. 【請求項5】 複連結成分の選択において深さ優先探索
    法を用いて複数の複連結成分を前記文書イメージ内に配
    置するものである請求項1に記載のユーザ囲み領域の抽
    出装置。
  6. 【請求項6】 前記複数の連結成分の前記幾何学的特徴
    が、連結成分の面積、境界箱、境界箱の黒画素密度、穴
    の数、上方又は下方向きの円弧の数、下端の数、上端の
    数及びこれらの組み合わせとからなるグループより選択
    されたものである請求項1に記載のユーザ囲み領域の抽
    出装置。
  7. 【請求項7】 連結成分分析器と接続しており、連結成
    分を各走査線内における黒セグメントと走査線間の関係
    とを表している複数のノードとして記憶する連結成分L
    AGデータ構造をさらに備えている請求項1に記載のユ
    ーザ囲み領域の抽出装置。
  8. 【請求項8】 前記グラフ探査モジュールと接続してお
    り、前記複数の連結成分の前記幾何学的特徴を記憶する
    幾何学的特徴データ構造をさらに備えた請求項1に記載
    のユーザ囲み領域の抽出装置。
  9. 【請求項9】 前記抽出モジュールと接続しており、前
    記文書イメージの前記ユーザ囲み領域を記憶する記憶装
    置をさらに備えた請求項2に記載のユーザ囲み領域の抽
    出装置。
  10. 【請求項10】 各連結成分が連続する複数の黒画素
    を有する文書イメージから複数の連結成分を識別する連
    結成分分析器;前記連結成分分析器と接続しており、連
    結成分の面積、境界箱、境界箱の黒画素密度、穴の数、
    上方又は下方向きの円弧の数、下端の数、上端の数及び
    これらの組み合わせとからなるグループより選択される
    前記連結成分の幾何学的特徴を抽出するグラフ探査モジ
    ュール;前記グラフ探査モジュールと接続しており、前
    記連結成分から複連結成分を選択する複連結成分モジュ
    ール;前記複連結成分モジュールと接続しており、前記
    選択した複連結成分の前記幾何学的特徴を所定限界と比
    較して、前記比較結果を用いて前記文書イメージのユー
    ザ囲み領域を検出する検出分析フィルタ;前記検出分析
    フィルタと接続しており、前記ユーザ囲み領域に関して
    各走査線についての最左端の黒画素と最右端の黒画素と
    を識別することにより前記文書イメージから前記ユーザ
    囲み領域を除去する抽出モジュール;とからなる文書イ
    メージにおけるユーザ囲み領域の抽出装置。
  11. 【請求項11】 各連結成分が複数の連続した黒画素
    を有する文書イメージから複数の連結成分を識別するス
    テップ;前記複数の連結成分から幾何学的特徴を抽出す
    るステップ;前記複数の連結成分から複連結成分を選択
    するステップ;前記選択された複連結成分の幾何学的特
    徴を所定限界と比較して、前記比較結果を用いて前記文
    書イメージについてのユーザ囲み領域を検出するステッ
    プ;からなる文書イメージにおけるユーザ囲み領域の抽
    出方法。
  12. 【請求項12】 前記ユーザ囲み領域に関して各走査線
    についての最左端の黒画素と最右端の黒画素とを識別す
    ることにより前記文書イメージから前記ユーザ囲み領域
    を除去するステップをさらに備えている請求項11に記
    載のユーザ囲み領域の抽出方法。
  13. 【請求項13】 前記幾何学的特徴が、連結成分の面
    積、境界箱、境界箱の黒画素密度、穴の数、上方又は下
    方向きの円弧の数、下端の数、上端の数及びこれらの組
    み合わせとからなるグループより選択されたものである
    請求項11に記載のユーザ囲み領域の抽出方法。
  14. 【請求項14】 前記所定限界が、前記境界箱の幅及び
    高さが前記文書イメージの幅及び高さの所定割合にある
    前記境界箱、所定割合にある連結成分の前記黒画素密
    度、所定割合にある前記標準偏差及びこれらの組み合わ
    せとからなるグループより選択されたものである請求項
    11に記載のユーザ囲み領域の抽出方法。
  15. 【請求項15】 前記複連結成分の前記選択するステッ
    プにおいて深さ優先探索法を用いて前記複数の複連結成
    分を前記文書イメージ内に配置するものである請求項1
    1に記載のユーザ囲み領域の抽出方法。
  16. 【請求項16】 前記複数の連結成分の前記幾何学的特
    徴が、連結成分の面積、境界箱、境界箱の黒画素密度、
    穴の数、上方又は下方向きの円弧の数、下端の数、上端
    の数及びこれらの組み合わせとからなるグループより選
    択されたものである請求項11に記載のユーザ囲み領域
    の抽出方法。
  17. 【請求項17】 連結成分を各走査線の黒セグメントと
    走査線間の関係とを表している複数のノードとして記憶
    するステップをさらに備えている請求項11に記載のユ
    ーザ囲み領域の抽出方法。
  18. 【請求項18】 前記複数の連結成分の前記幾何学的特
    徴を幾何学的特徴データベースに蓄積するステップをさ
    らに備えている請求項11に記載のユーザ囲み領域の抽
    出方法。
  19. 【請求項19】 前記文書イメージの前記ユーザ囲み領
    域を記憶装置に保存するステップをさらに備えている請
    求項11に記載のユーザ囲み領域の抽出方法。
  20. 【請求項20】 各連結成分が複数の連続した黒画素
    を有する文書イメージから複数の連結成分を識別するス
    テップ;前記複数の連結成分から、連結成分の面積、境
    界箱、境界箱の黒画素密度、穴の数、上方又は下方向き
    の円弧の数、下端の数、上端の数及びこれらの組み合わ
    せとからなるグループより選択された幾何学的特徴を抽
    出するステップ;前記複数の連結成分から複連結成分を
    選択するステップ;前記選択された複連結成分の幾何学
    的特徴を所定限界と比較して、前記比較結果を用いて前
    記文書イメージについてのユーザ囲み領域を検出するス
    テップ;前記ユーザ囲み領域に関して各走査線について
    の最左端の黒画素と最右端の黒画素とを識別することに
    より前記文書イメージから前記ユーザ囲み領域を除去す
    るステップ;とからなる文書イメージにおけるユーザ囲
    み領域の抽出方法。
JP36265999A 1998-12-22 1999-12-21 ユーザ囲み領域の抽出装置及び抽出方法 Expired - Fee Related JP3393098B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/218758 1998-12-22
US09/218,758 US6351559B1 (en) 1998-12-22 1998-12-22 User-enclosed region extraction from scanned document images

Publications (2)

Publication Number Publication Date
JP2000194850A true JP2000194850A (ja) 2000-07-14
JP3393098B2 JP3393098B2 (ja) 2003-04-07

Family

ID=22816401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36265999A Expired - Fee Related JP3393098B2 (ja) 1998-12-22 1999-12-21 ユーザ囲み領域の抽出装置及び抽出方法

Country Status (2)

Country Link
US (1) US6351559B1 (ja)
JP (1) JP3393098B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020221A (ja) * 2001-10-04 2007-01-25 Nokia Corp 無線通信メッセージでピクチャを提供するためのシステムおよびプロトコル
JP2007102545A (ja) * 2005-10-05 2007-04-19 Ricoh Co Ltd 電子文書作成装置、電子文書作成方法及び電子文書作成プログラム
US8913043B2 (en) 2011-10-31 2014-12-16 Brother Kogyo Kabushiki Kaisha Electronic writing apparatus, non-transitory recording medium, and electronic writing system

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6867875B1 (en) 1999-12-06 2005-03-15 Matsushita Electric Industrial Co., Ltd. Method and apparatus for simplifying fax transmissions using user-circled region detection
US6597808B1 (en) * 1999-12-06 2003-07-22 Matsushita Electric Industrial Co., Ltd. User drawn circled region extraction from scanned documents
US20030095113A1 (en) * 2001-11-21 2003-05-22 Yue Ma Index and retrieval system and method for scanned notes from whiteboard
US7050630B2 (en) * 2002-05-29 2006-05-23 Hewlett-Packard Development Company, L.P. System and method of locating a non-textual region of an electronic document or image that matches a user-defined description of the region
US7983485B2 (en) * 2007-04-30 2011-07-19 Hewlett-Packard Development Company, L.P. System and method for identifying symbols for processing images
US9323807B2 (en) * 2010-11-03 2016-04-26 Sap Se Graphical manipulation of data objects
US8984404B2 (en) 2011-05-27 2015-03-17 Hewlett-Packard Development Company, L.P. Guiding an image-based task execution
US8612443B2 (en) * 2012-05-15 2013-12-17 Sap Ag Explanatory animation generation
JP2014092902A (ja) * 2012-11-02 2014-05-19 Toshiba Corp 電子機器および手書き文書処理方法
CN105144198B (zh) * 2013-04-02 2021-09-14 3M创新有限公司 用于便笺识别的系统和方法
US10127196B2 (en) 2013-04-02 2018-11-13 3M Innovative Properties Company Systems and methods for managing notes
CN114220116A (zh) 2013-04-02 2022-03-22 3M创新有限公司 用于管理便条的系统和方法
CN104243759B (zh) * 2013-06-19 2018-07-13 英华达(上海)科技有限公司 扫描处理系统及其方法
US8891862B1 (en) 2013-07-09 2014-11-18 3M Innovative Properties Company Note recognition and management using color classification
US9274693B2 (en) 2013-10-16 2016-03-01 3M Innovative Properties Company Editing digital notes representing physical notes
TWI637325B (zh) 2013-10-16 2018-10-01 3M新設資產公司 使用多顏色通道無記號偵測之便箋辨識與管理
TWI653571B (zh) * 2013-10-16 2019-03-11 3M新設資產公司 用於處理數位便箋之方法、電腦系統、非暫時性電腦可讀取媒體及計算裝置
US10175845B2 (en) 2013-10-16 2019-01-08 3M Innovative Properties Company Organizing digital notes on a user interface
EP3644224B1 (en) 2013-10-16 2023-09-27 3M Innovative Properties Company Note recognition for overlapping physical notes
WO2015057778A1 (en) 2013-10-16 2015-04-23 3M Innovative Properties Company Note recognition and association based on grouping
EP3100208B1 (en) 2014-01-31 2021-08-18 3M Innovative Properties Company Note capture and recognition with manual assist
CN110120060B (zh) * 2018-02-06 2023-07-14 广东虚拟现实科技有限公司 标记物的识别方法、装置及识别跟踪系统
CN111801703A (zh) * 2018-04-17 2020-10-20 赫尔实验室有限公司 用于图像处理管线的边界框生成的硬件和系统
US20230229685A1 (en) * 2022-01-18 2023-07-20 At&T Intellectual Property I, L.P. System and method for creating and using immersive media

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5272764A (en) * 1989-12-08 1993-12-21 Xerox Corporation Detection of highlighted regions
US5048099A (en) 1990-05-21 1991-09-10 Eastman Kodak Company Polygon-based method for automatic extraction of selected text in a digitized document
JPH08305778A (ja) * 1995-04-21 1996-11-22 Xerox Corp ユーザの作成したマークの存在を調査するための方法
US5841900A (en) * 1996-01-11 1998-11-24 Xerox Corporation Method for graph-based table recognition
US5892843A (en) * 1997-01-21 1999-04-06 Matsushita Electric Industrial Co., Ltd. Title, caption and photo extraction from scanned document images
US6230170B1 (en) * 1998-06-17 2001-05-08 Xerox Corporation Spatial morphing of text to accommodate annotations

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020221A (ja) * 2001-10-04 2007-01-25 Nokia Corp 無線通信メッセージでピクチャを提供するためのシステムおよびプロトコル
JP4633699B2 (ja) * 2001-10-04 2011-02-16 ノキア コーポレイション 無線通信メッセージでピクチャを提供するためのシステムおよびプロトコル
JP2007102545A (ja) * 2005-10-05 2007-04-19 Ricoh Co Ltd 電子文書作成装置、電子文書作成方法及び電子文書作成プログラム
US8913043B2 (en) 2011-10-31 2014-12-16 Brother Kogyo Kabushiki Kaisha Electronic writing apparatus, non-transitory recording medium, and electronic writing system

Also Published As

Publication number Publication date
JP3393098B2 (ja) 2003-04-07
US6351559B1 (en) 2002-02-26

Similar Documents

Publication Publication Date Title
JP3393098B2 (ja) ユーザ囲み領域の抽出装置及び抽出方法
EP0854433B1 (en) Caption and photo extraction from scanned document images
Yanikoglu et al. Pink Panther: a complete environment for ground-truthing and benchmarking document page segmentation
Antonacopoulos Page segmentation using the description of the background
EP1403813B1 (en) Image processing method, image processing apparatus and image processing program for dealing with inverted characters
US8412705B2 (en) Image processing apparatus, image processing method, and computer-readable storage medium
JPH10228473A (ja) 文書画像処理方法、文書画像処理装置および記憶媒体
CN102117269A (zh) 对文档进行数字化的装置及方法
US8391607B2 (en) Image processor and computer readable medium
EP1017011A2 (en) Block selection of table features
JP7244223B2 (ja) 電子文書における強調テキストの識別
JP5412903B2 (ja) 文書画像処理装置、文書画像処理方法および文書画像処理プログラム
JP4077919B2 (ja) 画像処理方法及び装置及びその記憶媒体
JP2011070558A (ja) 文書画像処理装置、文書画像処理方法および文書画像処理プログラム
US20080050016A1 (en) Image processing apparatus, image processing method, computer readable medium, and computer data signal
JP3837193B2 (ja) 文字行抽出方法および装置
CN114495141A (zh) 文档段落位置提取方法、电子设备及存储介质
JP2008108114A (ja) 文書処理装置および文書処理方法
JP2008028716A (ja) 画像処理方法及び装置
Dey et al. A comparative study of margin noise removal algorithms on marnr: A margin noise dataset of document images
WO2023062799A1 (ja) 情報処理システム、原稿種識別方法、モデル生成方法及びプログラム
JP5277750B2 (ja) 画像処理プログラム、画像処理装置及び画像処理システム
JP7532124B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2005316813A (ja) 画像処理方法、画像処理プログラムおよび画像処理装置
JP4738645B2 (ja) 網掛け領域検出装置、網掛け領域検出方法、プログラムおよび記憶媒体

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090124

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090124

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100124

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100124

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110124

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120124

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130124

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees