JP2003288607A - デジタルインクイメージを構造化テキスト/図形エディタで利用すべく変換する方法および装置 - Google Patents
デジタルインクイメージを構造化テキスト/図形エディタで利用すべく変換する方法および装置Info
- Publication number
- JP2003288607A JP2003288607A JP2003016862A JP2003016862A JP2003288607A JP 2003288607 A JP2003288607 A JP 2003288607A JP 2003016862 A JP2003016862 A JP 2003016862A JP 2003016862 A JP2003016862 A JP 2003016862A JP 2003288607 A JP2003288607 A JP 2003288607A
- Authority
- JP
- Japan
- Prior art keywords
- text
- image
- digital ink
- structured
- ink image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/333—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
Abstract
図形エディタに取り込むプロセスを省力化および簡便化
する。 【解決手段】 デジタルインク装置24を電子装置20
に接続することができ、それによりデジタルインク・イ
メージ26が装置20へ電子的に送信される。電子装置
20にロードされているイメージ生成ソフトウェアを用
いて、コンバータシステム22が利用するデジタルイン
ク・イメージの構造化オブジェクト表現を生成すること
ができる。
Description
および装置に関し、特に入力としてデジタルインク・イ
メージを取り込んで、構造化テキスト/図形エディタで
利用できる構造化オブジェクト表現を出力するイメージ
解析システムに関する。
商業的に多大な成功を収めて広く利用されているもの
の、既に実装されたものには制約がある。特に、既存の
構造化テキスト/図形エディタは、システム内で素材の
作成や編集を行なうのに手作業を必要とする。これらの
制約のために既存のテキスト/図形エディタは、物理ド
キュメントを使う、すなわち紙とペンでスケッチするよ
う等のさまざまなスタイルで仕事に従事する人の要求に
応えることができない。より具体的には、上述のコンピ
ュータ・ベースのテキスト/図形編集ツールは物理ドキ
ュメント媒体との間に使い易いインタフェースを備えて
いない。
ト/図形エディタを用いて電子スライド表現を生成する
プロセスは通常、コンピュータ利用における制約から解
放される表現スライドを描くことから始める。ある場合
には、個人がペンや鉛筆で紙片にスケッチをしたり、ま
たはグループで協働しながらホワイトボード上で概念を
形成していくであろう。この最初のプロセスを経た後で
しか、コンピュータ・ベースのエディタを使って他人に
手書き素材を構造化テキスト/図形フォーマットに変換
させることはできない。
ある場合、これらのイメージを構造化テキスト/図形エ
ディタに取り込むプロセスは退屈かつ面倒であろう。各
種のエディタで、クリック&ドラッグ・プログラムを介
して事前設定された特定の幾何学形状を選択できるよう
にショートカットが工夫されているが、複雑な図形があ
る場合、これらのショートカットさえ退屈になりかねな
い。また、事前設定されたオブジェクトとして提供され
ていない複雑な形状を描くことは、それをフリーハンド
で描くよりもさらに難しい。さらに、テキストの入力に
注目するならば、キーストロークのタイピング自体は難
しくない。しかし、インデント付与、所望の位置での中
黒付与や構造化テキストブロックを備えた所望のレイア
ウトを得るには、煩雑なマウスやキーボード操作を通じ
てメニューのナビゲート、テキストの入力、位置合わ
せ、およびパラメータのフォーマット決めを行なう必要
がある。
き、イメージ解析および変換の方法およびシステムを開
示する。これはデジタルインクイメージの構造化された
オブジェクト表現にデジタルインクイメージを変換し、
それを構造化テキスト/図形エディタが読み込んで編集
するものである。
要)図1に、本発明の概念が実装可能であるシステム1
0を示す。システム10は、ビットマップ化(すなわ
ち、ラスタ化)されたおよび/またはデジタルインク技
術(すなわちベクトル表現)により形成されたイメージ
を本アプリケーションのコンバータに提供することが可
能な各種のチャネルを示す。ビットマップ化イメージ
は、本アプリケーションによるコンバータプロセスがそ
こで起動される安定した中間地点である。変換プロセス
はまた、デジタルインク・イメージの入力をきっかけと
して起動されてもよい。
ージはスキャナ14に入力され、ページ12のイメージ
は電子的にビットマップ化されたイメージ16(既存の
構造化図形エディタではピクチャ・オブジェクトとして
取り扱われる)に変換される。ページ12のイメージは
ペン、鉛筆、またはその他の非電子ツールにより作成で
きる。ビットマップ化イメージ16はコンピュータ、パ
ーソナルデジタルシステムまたは本アプリケーションの
変換システム22を含むその他の電子装置20の画面1
8上に表示される。
インク装置24を電子装置20に接続することができ、
それによりビットマップ化またはデジタルインク・イメ
ージ26が装置20へ電子的に送信される。ビットマッ
プ化またはデジタルインク・イメージが、コンバータシ
ステム22へ送られる別のチャネルとして、別の電子装
置28の利用がある。この装置はさまざまなシステムの
いずれでもよく、構造化テキスト/図形エディタを有す
るコンピュータ、コンピュータ化されたCADシステ
ム、Webページを配信するインターネットの上のサー
バー、または電子タブレットやパーソナル・ディジタル
・アシスタント+(PDA)がビットマップ化および/
またはデジタルインク・イメージ30をコンバータシス
テム22へ送るその他任意のシステムを含むさまざまな
システムのいずれでもよいが、これらに限定されない。
さらに、電子装置20にロードされているイメージ生成
ソフトウェアを用いて、コンバータシステム22が利用
するビットマップ化またはデジタルインク・イメージの
生成することができる。
ャネルについて明示的に述べているが、本アプリケーシ
ョンの概念はまた、他のチャネルを介して得られたビッ
トマップ化および/またはデジタルインク・イメージで
も同様に機能することに留意されたい。
シージャにより生成されたビットマップ化および/また
はデジタルインク・イメージを受信すること、およびイ
メージの構造化オブジェクト表現にイメージを変換する
ことを指向するものである。このプロセスにより、ビッ
トマップ化および/またはデジタルインク・イメージは
記号(すなわち構造化オブジェクト表現)に基づいて定
義される。従って、コンバータ22の動作はビットマッ
プ化および/またはデジタルインク・イメージをオンラ
インイメージに変換するのではなく、むしろイメージを
イメージ表現に変換する。表現をイメージと見なすこと
もできるが、それらは基本的に記号表現である。
ップ化および/またはデジタルインクフォーマットであ
る場合に可能でなかった操作を可能にする。構造化され
たオブジェクト表現への変換により、変換されたイメー
ジの明確な領域を扱うことが可能になる。このような明
確な領域は視覚的に特徴的な領域であると見なされる。
ジ、テキスト、またはこれらが混在しているものを普通
に閲覧する者にとって、イメージプリミティブ(すなわ
ちピクセル)の特定のグループや集合が、イメージ編集
操作を施す対象として感じられ、視覚的に明確または有
意味な単位として容易に識別できるイメージの領域であ
る。これらのグループ分けはさまざまな任意の特性に基
づいていてよく、空間的な近さ、曲線アライメント、接
続状態、共直線性、閉路の形成、閉じたまたはほぼ閉じ
た形状内への包含、基本幾何形状や配置、あるいはこれ
らの組み合わせを含むがこれに限定されない。
換を、単にスキャンされたイメージをピクチャ・オブジ
ェクトとして読み込む機能を越えて拡張する。ここにピ
クチャ・オブジェクトとはピクセルまたはベクトル表現
の画一的な配列で構成されるスキャンされたビットマッ
プである。このようなピクチャオブジェクトが既存の構
造化テキスト/図形エディタに入力された場合、基本的
な編集操作をピクチャ・オブジェクト全体に対して行な
うことができる。
細に説明する。図2は手書きのオリジナルの非電子化ス
ケッチ32を示す。図3はピクチャ・オブジェクト全体
34に対して実行できる編集操作(すなわち縮尺調整、
クロッピング、色調調整)を示す。図3に、図2の手書
き図面にこれらの編集操作を何度も適用した後の結果を
示す。この特定の状態において、手書きスケッチはテキ
スト/図形エディタに取り込まれ、次いで縮尺調整およ
びクロッピングが行なわれている。
存のテキスト/図形エディタではビットマップ内の知覚
的に顕著な領域へのアクセスはできない。図4におい
て、ピクチャの2個の知覚的に顕著な構造、すなわち円
30とテール32は互いに独立して修正されている。こ
れらの操作は、本発明の概念を用いたシステムの実装に
より実現された。しかし、既存のテキスト/図形エディ
タではビットマップ化イメージを取得して、既存のテキ
スト/図形エディタへ取り込み、自動的に定義された個
別の視覚的に特徴的な構造に対して編集を行なうことは
不可能である。むしろ、これらのビットマップ化イメー
ジの編集は、図3に示すようにピクチャ・オブジェクト
全体の基本的な編集に限定されている。同様の短所が上
述のデジタルインク・イメージにもある。
自の編集可能なテキスト/図形オブジェクトとして取り
扱う機能により、既存のシステムで可能な程度を超えて
ユーザーが有意味なテキスト/図形編集を実行すること
ができる。
性)本システムの実施の形態は、最初にプリミティブテ
キストと図形要素およびビットマップイメージを選び出
し、次いでそれらの要素の知覚的に顕著なグループ分け
を行なうことにより、上述の機能を提供する。本発明の
概念は外観と操作性の技術のクラスをサポートし、同時
にユーザーがイメージ化されたドキュメント素材の複数
の知覚上の解釈を利用できるデータ構造およびアルゴリ
ズムをサポートする。
よび文字素材の“正式” および/または“略式”表現
を備えるべく整形することができる。“正式”の図形素
材とは線画および形状の幾何学的に正確な、または完全
に正確な整形を指し、一方“略式”の図形素材とは近似
的または幾何学的に不完全な図形にもかかわらず人間の
観察者は通常それらの正確な対応物と同一視する図形を
指す。例えば、機械作図ツールで描かれたか、または幾
何学的に正確な座標を参照するコンピュータ・プログラ
ムからコンピュータプリンタ上で整形された長方形は
“正式”とみなされるが、一方手書きスケッチされた長
方形は“略式”と見なされよう。同様に、機械印刷装置
でタイプセットされたテキスト、または代わりにデザイ
ンフォントやレイアウトアルゴリズムを用いてコンピュ
ータ印刷技術を通して用いられたレンダリングは“正
式”、一方不正確に手書きされたテキストは“略式”で
あると見なされよう。これらの定義は、テキストや図形
が正式とも略式とも見なせ、例えば非常に慎重かつ正確
に手書きされた幾何学形状、非常に丁寧な手書き文字、
またはカジュアルかつ不正確に見えるよう意図されたコ
ンピュータフォントやレイアウトアルゴリズム。この不
正確さは決してここに記述された概念の機能性、目的、
または有用性を制限しない。
連して示すが、これらは実際のシステム実装により生成
されたものである。これらの図のグループにおいて、原
素材またはオリジナルの手書きスケッチが図5であり、
これはほぼ長方形の形状40を成す4本の比較的真直ぐ
なストロークで構成される手書き図形であって、この長
方形は次いでテキスト行42〜46の列を成す手書き文
字の組を囲む。
書き素材を取り込む際に、何通りかの仕方のいずれもが
利用可能である。図6〜12に、そのようにユーザーが
意図した出力のいくつかを完全に忠実に示す。図6に示
すように、これらは手書き素材をそのまま維持しなが
ら、手書き長方形40の破線表示や線の太さの変更を含
む。あるいは、図7または図8に示すように、ユーザー
は手書きテキストの行を並べ替えて、テキスト42〜4
6を手書き形式で維持しながら、図形を正式長方形40
に変換したいかもしれない。図9に示す代案では手書き
の図形長方形40を維持しながら、手書きのテキスト4
2〜46を正式タイプに変換する。またさらに図10に
示すように、ユーザーはテキスト42〜46と図形オブ
ジェクト(長方形)40の両方を正式テキストおよび図
形オブジェクトに変換することもできる。ユーザーのさ
らに別の可能な出力を図11に示すと、手書き図形の内
部に色が付けられている。最終的に、ユーザーは手書き
図形42〜46を拡張して、別のテキスト項目48を含
むようにもできる。
ユーザー(すなわち最初の手書きスケッチの制作者)の
意図を変更することができ、従って編集システムに認識
機能を組み込むだけでなく、手書き素材の別の解釈をユ
ーザーに提供するオプションが与えられることにも利点
があることがわかる。上述の議論において、図5は元々
デジタルインク・イメージとして制作されてもよい点を
理解されたい。また、ここに述べる変換プロセスはデジ
タルインク・イメージを構造化オブジェクトに変換する
ために用いられる。従って図6〜12に示す表現はま
た、オリジナルのデジタルインク・イメージに基づいて
取得することもできる。
ト、黒丸、および下線等、テキストの特定パラメータの
表示も可能にするが、実際の文字自身がある箇所は空け
たままにする。より具体的には、図13〜15にこの概
念を示す。ここにユーザーに対しテキストレイアウト
を、“X”の“ダミー”コンテンツ52で満たした正式
テキスト・ボックス50として示す。これによりユーザ
ーにはダミーテキストを選んでタイプすることによりタ
ーゲット特徴で置き換える機会が与えられるが、テキス
トオブジェクト選択、位置合わせ、フォーマット化等を
実行する必要はない。本システムにおけるオプションと
して、ユーザーはテキスト素材のブロックを示すが詳細
に書かれていない表現の概要を描けばよい。このような
アクションは時々“greeking”と呼ばれ、これ
らの表現は、テキスト素材の配置にほぼ対応する領域を
定義すべく引かれた一連の平行線、直線または波線を含
む。
替解釈の表示) (3.1代替グラフ)本システムの一実施の形態におけ
る外観と操作性は、“代替グラフ”と呼ばれるデータ構
造の生成を通じて実現される。これは生のビットマップ
イメージでは暗黙的であった多数の、恐らく矛盾する、
あるいは重なり合う、知覚的に重要な視覚的オブジェク
トを明示する。代替グラフを作成する技術的なプロセス
をセクション4で開示する。
グラフの一例60を示す。グラフの左側(略式)部分6
2は、図5として現れるような仕方で素材を構造化す
る。グラフの右側(正式)部分は図13のように表現さ
れた素材を構造化する。代替グラフにおけるリンクは方
向を有し、接続されたボックスはそれらが接続されてい
るボックスの一部であることを表わしている。すなわ
ち、リンクは“〜の一部である”関係を表現している。
代替グラフは4種類のノードを含んでいる。
(テキストオブジェクト(TO)、自由曲線、長方形、
テキストボックス)ノードとして指定されている、構造
化テキスト/図形エディタ内で直接対応するものがある
図形またはテキストオブジェクトに対応するノードであ
る。これらは文字、線分、弧、自由曲線、長方形、楕
円、多角形、および矢印を含む。文字“TO”は、自由
曲線またはピクチャ・オブジェクトのいずれかの形式を
取り得るテキストオブジェクトを表わす。
のグループに対応する。Powerpoint(登録商
標)、MacDraw(登録商標)その他の構造化テキ
スト/図形エディタにおいて、“グループ”として一ま
とめにされるオブジェクトは、選択、移動、サイズ変
更、回転、デプスレイヤ変更、削除等の操作に関して単
一のオブジェクトとして扱われる。グループノードはグ
ループに属しているオブジェクトのメンバーリストを宣
言する。グループは階層的にネスティング可能である。
言い換えれば、グループは循環的にならないように別の
グループのメンバーになることができる。
属するオブジェクトやグループの集合を表わす。
や領域が複数の仕方で解釈できる事実を表わす。
ノード(および子選択ノード)が複数のレベルで生起し
て、互いにネスティングされることを許す。この一般的
なタイプの代替グラフが使用されているか否かは表示モ
ードおよび対象とする構造化図形エディタの制約に依存
する。図16に示す代替グラフはルートにおける単一の
代替ノードだけを用いて構成される。このクラスの代替
グラフは、Powerpoint(登録商標)、Mac
Draw(登録商標)等、これが便利な表示モードであ
る構造化図形エディタ内の複数スライドに代替的な視覚
上の解釈を表現するのに適している。これは本発明の一
つの好適な実施の形態を表わす。
覚的に顕著なイメージオブジェクトの各種の解釈へアク
セスするための一群の表示/対話モードを有効にする。
セクション3.2.1〜3.2.3に、検討した3種の
表示/対話モードを掲載する。本概念の示唆に基づき他
のモードもまた利用可能であることを理解されたい。
状況下で、正式さの度合が異なる点を反映すべく図形ま
たはテキストのイメージ素材の代替解釈を考慮してよ
い。図6の表現は、手書き文字を囲む大雑把にスケッチ
された形状に見える。構造化テキスト/図形エディタ内
でこの形状は、比較的真直ぐな自由形状線オブジェクト
のグループに3本のテキスト行に対応するビットマップ
オブジェクトの3個のグループを合わせたものとして構
造化されている。これは略式表現であると考えられる。
表現を図10に示す。構造化テキスト/図形エディタ内
でこの図形は、メンバーがユニタリ図形的長方形オブジ
ェクト、および3行のテキストを含むテキストブロック
であるグループとして構造化されている。
スを許す一オプションは、それらを異なる表現スライド
上に置くことである。例えば、あまり正式でない選択肢
は“略式”スライドに置かれ、一方より正式選択肢を
“正式”スライドに置く。中程度に正式その他のスライ
ドも配値可能である。図8のように正式さがまちまちの
イメージを生成したいユーザーは、オブジェクトやグル
ープを選択してスライドからスライドへ転送することが
可能である。さらに、いくつかの構造化テキスト/図形
エディタのもとで、特別なキーストローク、マウス、音
声、またはジェスチャーによるコマンドが定義されてい
て、選択したオブジェクトを、それが表現されているス
ライドと別の正式なスライドとの間で入れ替えることが
できる。
フ表現を一組の登録されたスライドに変換するプロシー
ジャを開示する。このプロシージャの記述は“正式さ”
の程度に沿ってスライドの編成を例示する。
テキスト/図形エディタへ変換するアプリケーションを
利用する意図は、手書きテキストのタイプ入力テキスト
への変換を支援することである。このタスクは以下の2
段階に分けられる。(1)オリジナルのテキストのレイ
アウト構造、すなわち配置、インデント付け、および単
語の下線引き、テキストの行と列の確認、および(2)
テキストを構成する実際の文字の識別。多くの場合、
(2)に対する解決策が何であれ、それとは独立して
(1)の課題に対して十分な成果が実現できる。実際の
文字識別がどれほど困難かは、ユーザーの筆跡、ペンの
選択、スキャナの特性等を含む(しかしこれに限定され
ない)多くの問題に依存する。従って図10に、テキス
トのレイアウト構造を正式テキストオブジェクトとして
取得するが、しかし実際の文字属性の代わりにダミー文
字を用いて図13の“正式”解釈の代替物を描く。
な点の一つは、ユーザーは単にテキストコンテンツを選
択およびタイプ入力するだけで図10または図15が得
られ、付随するテキストブロック構造を作成してレイア
ウトする煩雑さから解放される点である。
しながら、オリジナルまたは略式の解釈を見ることを許
す表示技術により可能になる。
レイの利用があり、ある代替案の調整は、前景に置かれ
た操作可能な代替案のスライドの背景に可視化される。
背景素材を描写する方法は、前景素材に空間的に見当が
合わせられた別のイメージ形成レイヤを介するものであ
る。この基準イメージ形成レイヤは操作可能な素材に関
してアンダーレイまたはオーバーレイとして現われる。
各種のイメージ形成モデル(すなわち代替解釈)を用い
て、異なる色や陰影、透明度/半透明度、および焦点ぼ
かしを含む仕上げ表現を生成することができる。図17
に示す概念では、正式テキスト70が透明/半透明に描
かれていて、略式テキスト72が通常の線で描かれてい
る。
替解釈を同時に表示する別の手段として、描画テキスト
76の近傍にバブル/バルーン74で囲まれていて、縮
小されたおよび/または位置をずらされたイメージクリ
ップを利用することがある。
材の代替解釈用の表示/対話モードの第三のクラスは、
代替案の直接表示であり、ユーザーが選択肢の中から選
べるポップアップウインドウの如く同時に、あるいは表
示順序をユーザーの好みを推定して調整可能な逐次循環
を通じて行なう場合のいずれかである。例えば図19
に、可能な表現80を表示するポップアップウインドウ
78を示す。ウインドウ78は、図19のテキスト82
と同時に開いている状態で示されている。図20に同じ
テキスト82を示すが、ここではウインドウ78はテキ
スト82の可能な別の表現84を示している。これらの
図は同時表示だけでなく、逐次循環方式も示す。
承認。)本セクションでは、スケッチされた、または他
のビットマップ原素材の複数の解釈を表現する代替グラ
フ(例:図16のグラフ60)の生成を実現するイメー
ジ解析システムの設計を開示する。代替グラフは、イメ
ージデータの見た目が異なる有効な解釈を利用可能にす
るための表示/対話モードをサポートしている。
図21に、入力されたイメージ92を処理する全体シス
テム設計90を示す。主なコンポーネントおよびその機
能は下記を含む。
4。これはスキャンされたビットマップイメージ(すな
わち入力されたイメージ92)を、プリミティブ・イメ
ージオブジェクトの別々の3個のクラス、すなわち
(1)テキスト文字程度の小さい接続コンポーネント、
(2)“ストローク・フラグメント”と呼ばれる、接合
部により単純化された比較的真直ぐな曲線的ラインフラ
グメント、(3)大きい図形オブジェクトに分類する仕
方で処理する。
ジュール96。これはテキスト行とコラムを形成してい
る文字のランを表現するビットマップおよびストローク
オブジェクトのグループ分けを識別する。本システムの
一態様において、この解析の結果はそれぞれそのテキス
トブロックの代替解釈を2個以上含んでいるテキストグ
ループ構造のリストである。例えば、所与のテキストブ
ロックのある解釈はインデント付けされたリストレイア
ウト構造に編成されたテキスト行のカラムであるかもし
れず、一方別の解釈はそれ以上は内部構造を持たない一
組のプリミティブ・イメージオブジェクトであるかもし
れない。本モジュールの概念および動作についてセクシ
ョン4.2でより詳細に論じる。
ロークオブジェクトのグループ分けを識別する。本動作
の一態様において、この解析の結果はそれぞれ2個以上
の代替解釈を含む線画オブジェクトのリストである。線
画オブジェクトは、開曲線経路と閉曲線経路、および矢
印等、他の幾何学的エンティティを含む。例えば、所与
の閉曲線経路が長方形を形成する場合、より一般的な閉
路モデルの代替解釈として長方形モデルがリストされ
る。本モジュールの概念と動作についてセクション3.
3でより詳細に論じる。
れは入力として各グループの代替解釈を含むテキストと
線画グループのリストを入力として取り込み、代替グラ
フを生成する。本モジュールの概念と動作についてセク
ション3.4でより詳細に論じる。
け渡しモジュール102。これは代替グラフを横断的に
調べて、テキストと線画オブジェクトおよびグループの
階層を含む適切な表現スライドを作成する。本モジュー
ルの概念と動作についてセクション3.5でより詳細に
論じる。
のために104でユーザーに提示できる。
インク・オブジェクトを構造化オブジェクトに変換すべ
く動作するが、受信されたビットマップ化イメージの場
合とプロシージャが若干異なっている点に留意された
い。特に、イメージ処理および分割モジュール94にお
いて、デジタルインク・イメージをプリミティブ・イメ
ージ・オブジェクトの3個のクラスに分ける処理をする
必要がない。その理由は曲線的ストローク・フラグメン
トがデジタルインク・イメージから直接取得できるから
である。
釈を検出するイメージ解析)以下に図22〜図23に示
すように、一実施の形態で用いられてテキスト構造の知
覚的に重要な代替解釈の集合を反映しているビットマッ
プとストローク・フラグメントオブジェクトを検出する
プロシージャ(120)を示す。プロシージャへの入力
は、オリジナルの入力配列を2進化することにより、あ
るいは接続された小さいコンポーネントおよびストロー
ク・フラグメントをレンダリングすることにより得られ
たバイナリイメージ配列(B)であって(122)、上
述の分割プロセスにより検出された。このプロセスの狙
いは、最初にテキストを表現しているイメージ要素を識
別し、次いでそれらの空間レイアウトを表現している構
造を生成する。実際のテキスト認識、光学式文字認識
(OCR)、またはイメージ文字認識(ICR)技術が
本プロセスにより利用できるオプションである。
たならば、プロセスは下記へ進む。 1.接続コンポーネントの境界等高線の正規化総曲率上
の固定閾値により横長の線を検出する。これらは減算に
よりB(バイナリイメージ配列)から取り除かれて新し
いバイナリ配列B’126が得られる(124)(この
ような線はテキストではなく区切り記号として扱われ
る)。
て接続コンポーネントの安定なグループを定義する(1
28)。コンポーネントが高さ最小のグループ(すなわ
ちグループIDがグループ分けされた属性について単調
増加するならばID=1のグループ)に含まれる場合、
テキストであると見なされる(130)。安定なグルー
プを定義する技術は当分野で公知である。
ために用いられるテキストに接続されたコンポーネント
間の隣接リンクの以下のタイプを形成する。これらは以
下のとおり定義される。 (i)異なるコンポーネントのピクセルの間でユークリ
ッド距離が最も近い隣接リンクである生リンク。 (ii)2個の異なるテキストコンポーネントのピクセ
ルを結び付ける生リンクであるテキストリンク。これ
は、生リンクの両端の要素が同じグループにあることを
調べることにより実装される。従ってすべての非テキス
トコンポーネントはテキスト区切りの役割を果たす。 (iii)水平方向に対し25度以内にある生リンクで
ある水平リンク。 (iv)垂直方向に対し25度以内にある生リンクであ
る垂直リンク。
ープ分けすることによりテキスト行を形成する(13
4)。これは以下により実現される。 (i)距離属性に関して水平方向リンクの安定なグルー
プを定義する。水平方向リンクはまた、それが最短距離
グループにある場合、近接リンクである。 (ii)同じく水平方向リンクおよび近接リンクである
テキストリンクとしての テキスト行リンクを形成す
る。 (iii)遷移閉包を介して(すなわち、テキスト行リ
ンクグラフに色付けする)テキスト行リンクにわたって
ラベルを伝播させることによりテキスト行を形成する。
を蓄積することにより、基本テキスト行属性を蓄積する
(136)。これらの属性は、行の境界ボックスの座標
を示す左端X、右端X、上端Y、および下端Yを含む。
これらの基本項目から計算される他の属性として、境界
ボックスの幅、高さ、および中心Xである。
続コンポーネントに簡単な制約を課すことにより、黒丸
(ブレット)を検出する(138)。例えば、(a)
複数要素行の第一の要素と、(b)黒丸と解釈できるテ
キスト行の高さが最小の要素である、十分にまとまりの
あるコンポーネントである。
直方向リンクを形成する(140)。
することによりテキスト領域を形成する(142)。 (i)距離属性に関して垂直方向リンクの安定なグルー
プを定義する。テキスト行垂直方向リンクはまた、それ
が最短距離グループにある場合、近接リンクである。 (ii)何らかの水平方向の重複を有するテキスト行間
にテキスト行垂直方向リンクとして、テキスト行垂直方
向整列リンクを形成する。 (iii)近接および整列制約を組み合わせた垂直方向
リンクとしてテキスト領域リンクを形成する。(iv)
ここでテキスト領域を、テキスト領域リンクにわたる遷
移閉包伝播 (すなわち、テキスト領域リンクグラフに色付けするこ
と)およびテキスト行リンクにより定義することができ
る。
により、テキスト領域境界ボックス属性を計算する(1
44)。次いでこれ以外の属性である行の最大高さ、行
の高さ総計、および行数が領域の行から導かれる(14
6)。
て、領域調整(左、右、および中心)およびインデント
特性が公知の技術により定義される。
検出するイメージ解析)図24〜図25に示すように、
本セクションは図形オブジェクトの知覚上重要な代替解
釈を反映しているストローク・フラグメントの集合を検
出するためのプロシージャを開示する(160)。プロ
シージャへの入力は、通常は鎖コード曲線で表現される
一組のストローク・フラグメント・オブジェクトである
(162)。本プロシージャはさらに以下を含む。
する(164)。
ク経路オブジェクトの形成に関与するすべてのストロー
ク・フラグメントの組をストローク・フラグメントの候
補セットから除去する(166)。
・フラグメント曲線の全両端について、整列リンクと呼
ばれるデータ構造のインスタンスを生成する(16
8)。このような曲線整列の測定は当分野で公知であ
る。図26に、2個の曲線的ストローク間の整列関係を
判定するために用いられた幾何学的測定の例を示す。
により精査して、鮮明かつ明瞭なものだけをさらに処理
すべく選択する(170)。図27に、一意な整列関係
を示さないストロークの形状を挙げる。
より接続されたストローク・フラグメントのすべての遷
移閉包を集める(172)。
ストローク・フラグメントの組に対しパラメトリック曲
線(例えば直線)を当てはめる。これらは次いで整列鎖
により表現されたスケッチ曲線の代替解釈として登録さ
れる(174)。
成する整列鎖の全両端について、コーナーリンクと呼ば
れるデータ構造のインスタンスを生成する(176)。
図28に示す例は、2個の曲線的ストローク間のコーナ
ー関係を判定するために用いられた幾何学的測定の例で
ある。このようなコーナー形成を測定するプロセスは当
分野で公知である。
計算により精査して、鮮明かつ明瞭なものだけをさらに
処理すべく選択する(178)。(図29に、曲線的ス
トロークが一意なコーナー関係を示さない形状の例を挙
げる)。
ストローク。フラグメントのすべての遷移閉包を集め
る。これらのリンクは開曲線的経路として識別すること
ができる(180)。
トローク・フラグメントに対し記号認識プロシージャを
適用する(182)。ステップ182について、多くの
適当な記号認識プロシージャが当分野で利用可能であ
る。識別された各記号について、認識された記号および
その記号の曲線的特徴に合致するストローク・フラグメ
ント部分集合が代替解釈として登録される。
ローク経路オブジェクトについて、経路に関与するスト
ローク・フラグメントの部分集合が抽出され、次いでス
テップ168から174が実行される。その後で中間デ
ータ構造に、閉オブジェクトの比較的真直ぐな辺を形成
しているストローク・フラグメントのグループが登録さ
れる(184)。
ローク経路オブジェクトについて、モデルに基づく形状
認識プロシージャが実行されて、閉ストローク経路オブ
ジェクトが長方形や楕円等、公知の形状を形成するか否
かを検知する。この目的のために当分野で形状認識アル
ゴリズムが利用でき、当分野で公知である。認識された
あらゆる形状は次いで、閉路オブジェクトの代替解釈と
して登録される(186)。
トの代替グラフを生成する)本セクションでは代替グラ
フ(図16の代替グラフ60等)を生成するためのプロ
シージャ190について図30〜図31により説明す
る。代替グラフは、個々に認識され、それぞれが潜在的
に何通りかの代替解釈ができるテキストおよび線画オブ
ジェクトを、構造化テキスト/図形エディタへ容易に受
け渡すことが可能な統一された表現への集約を容易にす
る中間データ構造として機能する。プロシージャには、
テキストオブジェクトのリスト、開曲線経路オブジェク
ト、閉曲線経路オブジェクト、および記号オブジェクト
が入力される(192)。これらのリスト内の各オブジ
ェクトは複数の視覚上の解釈を含む。代替グラフを用い
てこれら複数の視覚上のh解釈を、ユーザーが一貫性か
つ統一性を以って利用できるように編成する。
代替グラフがルートレベルだけに代替ノードを含むシス
テムの一実施の形態である。これはPowerPoin
t(登録商標)、MacDraw(登録商標)その他の
編集システムにおける複数スライドとして代替解釈の表
現に適している。代替ノードが木全体にわたって発生す
るような、より一般的な代替グラフの生成はこのプロシ
ージャを簡便にしたものである。このようにより一般的
な代替グラフは、1オブジェクト毎に表示させて代替案
の中から選択させるその他の表現モードに適していよ
う。
て、中間データ構造を構成する。(これをB−stru
ctと呼ぶ。B−structはこの構造の任意の呼び
方である)。B−structは、alt−inter
pretations−list、contains、
contained−byと呼ばれるデータスロットを
備えている。alt−interpretations
−listスロット内に、この閉路の代替解釈のリスト
(例えば経路を構成するストローク・フラグメント、ス
トローク・フラグメントに当てはめられた長方形の数学
的表現、およびストローク・フラグメントに当てはめら
れた楕円の数学的な表現のリスト)を登録する(19
4)。
ruct構造を形成し、alt−interpreta
tions−listスロット内に、この開路の代替解
釈のリスト(例えば、経路を構成するストローク・フラ
グメントのリスト、経路を構成するストローク・フラグ
メントに経路に関連付けられた矢印を加えたグループ、
および経路の形状のパラメータ近似)を登録する(19
6)。
−struct構造を形成し、alt−interpr
etations−listスロット内に、このテキス
トグループの代替解釈のリスト(例えばビットマップオ
ブジェクトとストローク・フラグメントの単純なグルー
プ、インデント付リストの表現)を登録する(19
8)。
現する各B−structについて、他のすべてのB−
structsをテストして、後者のオブジェクトが閉
曲線経路の境界内に含まれているか否かを判定する。そ
の場合、containsおよびcontained−
byスロットを用いてB−structの識別子を相互
参照することによりこの関係を注記する(200)。
空であるすべてのB−structs を選択する。こ
のような各B−structにつて、タイプがALTE
RNATIVEである代替グラフのノードを生成する
(202)。
を実行する(204)。 6a.B−structのalt−interpret
ations−listのスロットおよびcontai
nsスロット内のポインタをしらみつぶしに追跡するこ
とにより、代替ノードのB−structに関係するオ
ブジェクトの集合を横断的に調べる。遭遇した各B−s
tructにおいて、代替解釈の数をカウントする。代
替ノードの全子孫にわたるカウントの最大値をNと称す
る(206)。
を生成し、これらを代替ノードとリンクする(20
8)。
記のようにcontainsスロット(図32の209
a)およびalt−interpretations−
listスロット(図32の209B)の中をB−st
ruct構造へのリンクを辿ることにより子孫およびネ
ストされたオブジェクトの木を生成するステップへ進
む。 (i)containsスロットが空でないことがわか
った場合、タイプGROUPのノードを形成する。この
グループノードを、当該B−structを導出した親
ノードへリンクする。 (ii)このルート代替ノードの選択肢における図形対
象を表現するalt−interpretations
−listのメンバーの1個を選択する。通常、選択さ
れた解釈はこの選択肢の他の解釈の特性に基づく。例え
ば、1個の選択肢は曲線経路をストローク・フラグメン
トの単純なグループとして扱いたいであろう。一方、別
の選択肢はそれらを直線、多角形、長方形、または円錐
パラメータ近似等の正式図形オブジェクト解釈として扱
いたいであろう。 (iii)選択された解釈がストローク・フラグメント
またはビットマップオブジェクトのリストにより表現さ
れる場合、タイプGROUPのノードを生成してストロ
ーク・フラグメントをそのグループのメンバーリストに
登録する。グループノードがBスロットのcontai
nsリストに起因して形成されている場合、このグルー
プをの下位のものとしてリンクする(210)。
し)代替グラフを用いて、エディタ・ソフトウェア・プ
ログラムで利用できるソフトウェアAPIに依存し、か
つ所望の代替解釈表現フォーマットに依存する特定のプ
ロトコルと手段を利用して構造化テキスト/図形エディ
タ内に表現スライドが生成される。
グラフを構造化テキスト/図形エディタ(すなわちPo
werPoint(登録商標)その他のエディタ)へ複
数の解釈スライドとして受け渡すプロシージャ220を
開示する。
て構造化テキスト/図形エディタ。アプリケーション・
インスタンスを開始する(222)。
調べて、選択ノードの最大数Nを決定する(224)。
ジェクトを用いて、N枚の新しいスライドを生成する
(226)。
オブジェクトの仕様を実行中のエディタアプリケーショ
ンへ送ることにより、再帰的に子オブジェクトをインス
タンス生成する。このようにインスタンス生成されたす
べてのテキストまたは図形オブジェクトについて、エデ
ィタ・アプリケーションはオブジェクト識別子を返す
(228)。
場合、グループのメンバーリストに掲載されたオブジェ
クトを再帰的にインスタンス生成する。インスタンス生
成されたすべてのオブジェクトの識別子を集めて、これ
らをメンバーとして掲載するグループオブジェクトのイ
ンスタンスを生成する(230)。
ジを構造化テキスト/図形エディタに取り込むプロセス
を省力化および簡便化することができる。
ャ・オブジェクトとして取り込まれ、ストレッチングや
クロッピング等の利用可能なビットマップ修正操作に従
って修正される手書きスケッチイメージである。
形編集システムへ入力された手書きスケッチイメージを
表示し、各々個別に操作可能なピクチャ・オブジェクト
図である。
の概念の実装を通じて取得可能な手書きスケッチ素材や
それらの素材のさまざまな解釈の例である。
の概念の実装を通じて取得可能な手書きスケッチ素材や
それらの素材のさまざまな解釈の例である。
の概念の実装を通じて取得可能な手書きスケッチ素材や
それらの素材のさまざまな解釈の例である。
の概念の実装を通じて取得可能な手書きスケッチ素材や
それらの素材のさまざまな解釈の例である。
の概念の実装を通じて取得可能な手書きスケッチ素材や
それらの素材のさまざまな解釈の例である。
明の概念の実装を通じて取得可能な手書きスケッチ素材
やそれらの素材のさまざまな解釈の例である。
明の概念の実装を通じて取得可能な手書きスケッチ素材
やそれらの素材のさまざまな解釈の例である。
明の概念の実装を通じて取得可能な手書きスケッチ素材
やそれらの素材のさまざまな解釈の例である。
さまざまな段階である。
さまざまな段階である。
さまざまな段階である。
ラフである。
のイメージの正式解釈に作用しながら、オリジナルまた
は略式解釈を表示する各種のプロセスである。
のイメージの正式解釈に作用しながら、オリジナルまた
は略式解釈を表示する各種のプロセスである。
のイメージの正式解釈に作用しながら、オリジナルまた
は略式解釈を表示する各種のプロセスである。
のイメージの正式解釈に作用しながら、オリジナルまた
は略式解釈を表示する各種のプロセスである。
計のフロー図である。
るためのイメージ解析のフロー図である。
るためのイメージ解析のフロー図である。
釈を反映しているストローク・フラグメント・オブジェ
クトの集合を検出するフロー図である。
釈を反映しているストローク・フラグメント・オブジェ
クトの集合を検出するフロー図である。
形状を示す図である。
を判定するために用いるサンプル的な形状測定である。
示さない構成である。
ラフを構成するためのフロー図である。
ラフを構成するためのフロー図である。
成できる別のグラフである。
タへエクスポートするプロシージャである。
手書きページ、14スキャナ、16 ビットマップ化イ
メージ、18 画面、20,28 電子装置、22 変
換システム、24 ホワイトボードまたはデジタルイン
ク装置、26ビットマップ化またはデジタルインク・イ
メージ、30 デジタルインク・イメージ、32 オリ
ジナルの非電子的スケッチ、34 ピクチャ・オブジェ
クト、40 長方形の形状、42,44,46 テキス
ト行、48 テキスト項目、50 正式テキスト・ボッ
クス、52 “ダミー”コンテンツ、60 代替グラ
フ、62 (粗い)部分、70 正式テキスト、72
略式テキスト、74 バブル/バルーン、76 描画テ
キスト、78 ポップアップウインドウ、80可能な表
現、82 テキスト、90 全体システム設計。
Claims (6)
- 【請求項1】 デジタルインクイメージを受信するステ
ップと、 前記デジタルインクイメージを、構造化テキスト/図形
エディタにより編集可能な前記デジタルインクイメージ
の構造化オブジェクト表現に変換するステップとを含む
ことを特徴とする、イメージ解析および変換方法。 - 【請求項2】 前記変換ステップは、前記デジタルイン
クイメージを複数の代替解釈に変更するステップを含む
ことを特徴とする、請求項1に記載の方法。 - 【請求項3】 前記デジタルインクイメージを前記複数
の代替解釈に変更するステップは、 前記デジタルインクイメージを前記構造化テキスト/図
形エディタにより編集可能な略式構造化オブジェクト表
現に変更するステップと、 前記デジタルインクイメージを前記構造化テキスト/図
形エディタにより編集可能な正式構造化オブジェクト表
現に変更するステップとを含むことを特徴とする、請求
項2に記載の方法。 - 【請求項4】 デジタルインクイメージを受信するよう
に設計されたイメージ受信入力部と、 前記デジタルインクイメージを、構造化テキスト/図形
エディタにより編集可能な前記デジタルインクイメージ
の構造化オブジェクト表現に変換すべく構成されている
変換器とを含むことを特徴とする、イメージ解析および
変換システム。 - 【請求項5】 前記変換器が前記デジタルインクイメー
ジを、前記デジタルインクイメージの構造化オブジェク
ト表現に変換する際に、前記構造化オブジェクトは正式
構造化オブジェクトと略式構造化オブジェクトのうち少
なくとも一方の形式であることを特徴とする、請求項4
に記載のシステム。 - 【請求項6】 前記変換器は、 (i)テキスト文字程度の小さい接続コンポーネント、
および(ii)ストローク・フラグメントと呼ばれる、
結合部により単純化されたほぼ真直ぐな曲線的ラインフ
ラグメントを少なくとも含むプリミティブ・イメージオ
ブジェクトのクラスを識別するイメージ処理および分割
モジュールと、 テキスト行とカラムを形成している文字のラン(連な
り)を表現するストロークオブジェクトのグループ分け
を識別して、各々そのテキストグループの2個以上の代
替解釈を含んでいるテキストグループ構造のリストを生
成するテキスト識別およびレイアウト解析モジュール
と、 ストロークオブジェクトのグループ分けを識別して、そ
れぞれ線画オブジェクトの2個以上の代替解釈を含む線
画グループオブジェクトのリストを生成する線画解析モ
ジュールと、 入力として各グループの代替解釈を含むテキストと線画
グループのリストを入力として取り込み、代替グラフを
生成する代替グラフ生成モジュールと、 代替グラフを横断的に調べて、テキストと線画オブジェ
クトおよびグループの階層を含む適切な表現スライドを
作成する構造化図形エディタモジュールへの受け渡しモ
ジュールとを含むことを特徴とする、請求項5に記載の
イメージ解析および変換システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/056,562 US7136082B2 (en) | 2002-01-25 | 2002-01-25 | Method and apparatus to convert digital ink images for use in a structured text/graphics editor |
US10/056,562 | 2002-01-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003288607A true JP2003288607A (ja) | 2003-10-10 |
JP4339602B2 JP4339602B2 (ja) | 2009-10-07 |
Family
ID=22005233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003016862A Expired - Fee Related JP4339602B2 (ja) | 2002-01-25 | 2003-01-27 | デジタルインクイメージを構造化テキスト/図形エディタで利用すべく変換するシステム |
Country Status (4)
Country | Link |
---|---|
US (2) | US7136082B2 (ja) |
EP (1) | EP1331592B1 (ja) |
JP (1) | JP4339602B2 (ja) |
DE (1) | DE60312572T2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007509413A (ja) * | 2003-10-24 | 2007-04-12 | マイクロソフト コーポレーション | リアルタイムインキング |
JP2010055512A (ja) * | 2008-08-29 | 2010-03-11 | Canon Inc | 電子文書処理装置および電子文書処理方法 |
JP7486131B2 (ja) | 2019-06-20 | 2024-05-17 | マイスクリプト | フリーハンドライティングモードでの手書きテキスト入力の処理 |
Families Citing this family (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2831978B1 (fr) * | 2001-11-07 | 2004-08-20 | Neopost Ind | Systeme de suivi statistique de produits postaux |
US7136082B2 (en) * | 2002-01-25 | 2006-11-14 | Xerox Corporation | Method and apparatus to convert digital ink images for use in a structured text/graphics editor |
US7139004B2 (en) * | 2002-01-25 | 2006-11-21 | Xerox Corporation | Method and apparatus to convert bitmapped images for use in a structured text/graphics editor |
US7096432B2 (en) * | 2002-05-14 | 2006-08-22 | Microsoft Corporation | Write anywhere tool |
US20040041818A1 (en) * | 2002-08-29 | 2004-03-04 | Jvolution Limited | Design system for website text graphics |
US7590145B2 (en) * | 2002-09-17 | 2009-09-15 | Scientific-Atlanta, Inc. | Multiplexing octets from a data flow over MPEG packets |
US20060188162A1 (en) * | 2002-10-31 | 2006-08-24 | Microsoft Corporation | Common interface for ink trees |
US20040199877A1 (en) * | 2003-03-17 | 2004-10-07 | Hiroshi Yasuda | System for processing handwritten document and method for processing handwritten document |
US20040196306A1 (en) * | 2003-04-04 | 2004-10-07 | Microsoft Corporation | Method and system for flagging digital ink note content |
EP1665128A4 (en) * | 2003-08-21 | 2007-10-17 | Microsoft Corp | ELECTRONIC INK PROCESSING |
US7352902B2 (en) * | 2003-09-24 | 2008-04-01 | Microsoft Corporation | System and method for detecting a hand-drawn object in ink input |
US7295708B2 (en) * | 2003-09-24 | 2007-11-13 | Microsoft Corporation | System and method for detecting a list in ink input |
US7324691B2 (en) * | 2003-09-24 | 2008-01-29 | Microsoft Corporation | System and method for shape recognition of hand-drawn objects |
US7440616B2 (en) * | 2004-09-21 | 2008-10-21 | Microsoft Corporation | System and method for recognition of a hand-drawn chart in ink input |
US7394936B2 (en) * | 2004-09-21 | 2008-07-01 | Microsoft Corporation | System and method for curve recognition in a hand-drawn chart in ink input |
US7409088B2 (en) * | 2004-09-21 | 2008-08-05 | Microsoft Corporation | System and method for connectivity-based recognition of a hand-drawn chart in ink input |
US7400771B2 (en) * | 2004-09-21 | 2008-07-15 | Microsoft Corporation | System and method for connected container recognition of a hand-drawn chart in ink input |
JP4667386B2 (ja) * | 2004-09-24 | 2011-04-13 | 富士通株式会社 | 業務モデル図作成支援プログラム、業務モデル図作成支援方法、および業務モデル図作成支援装置 |
US7925088B2 (en) | 2005-02-23 | 2011-04-12 | Hewlett-Packard Development Company, L.P. | System, method and apparatus for automatic segmentation and analysis of ink stream |
US7652668B1 (en) * | 2005-04-19 | 2010-01-26 | Adobe Systems Incorporated | Gap closure in a drawing |
JP2007233339A (ja) * | 2006-01-31 | 2007-09-13 | Canon Inc | 情報処理方法、情報処理装置、プログラム及び記憶媒体 |
US7646940B2 (en) * | 2006-04-04 | 2010-01-12 | Microsoft Corporation | Robust indexing and retrieval of electronic ink |
KR101288970B1 (ko) * | 2006-11-28 | 2013-07-24 | 삼성전자주식회사 | 렌더링 장치 및 방법 |
AU2006252025B2 (en) * | 2006-12-13 | 2012-10-04 | Canon Kabushiki Kaisha | Recognition of parameterised shapes from document images |
AU2006252019B2 (en) * | 2006-12-13 | 2012-06-28 | Canon Kabushiki Kaisha | Method and Apparatus for Dynamic Connector Analysis |
US8014607B2 (en) * | 2007-03-23 | 2011-09-06 | Palo Alto Research Center Incorporated | Method and apparatus for creating and editing node-link diagrams in pen computing systems |
US7907141B2 (en) * | 2007-03-23 | 2011-03-15 | Palo Alto Research Center Incorporated | Methods and processes for recognition of electronic ink strokes |
US7725493B2 (en) * | 2007-03-23 | 2010-05-25 | Palo Alto Research Center Incorporated | Optimization method and process using tree searching operation and non-overlapping support constraint requirements |
US8407589B2 (en) * | 2007-04-20 | 2013-03-26 | Microsoft Corporation | Grouping writing regions of digital ink |
US8094939B2 (en) * | 2007-06-26 | 2012-01-10 | Microsoft Corporation | Digital ink-based search |
US8041120B2 (en) * | 2007-06-26 | 2011-10-18 | Microsoft Corporation | Unified digital ink recognition |
US8315482B2 (en) * | 2007-06-26 | 2012-11-20 | Microsoft Corporation | Integrated platform for user input of digital ink |
US7876336B2 (en) * | 2007-07-02 | 2011-01-25 | Autodesk, Inc. | Scale-dependent rendering of natural media styles |
US8600164B2 (en) * | 2008-03-28 | 2013-12-03 | Smart Technologies Ulc | Method and tool for recognizing a hand-drawn table |
JP5100543B2 (ja) * | 2008-07-11 | 2012-12-19 | キヤノン株式会社 | 文書管理装置、文書管理方法、及びコンピュータプログラム |
US8749497B2 (en) * | 2008-12-12 | 2014-06-10 | Apple Inc. | Multi-touch shape drawing |
US20100171754A1 (en) * | 2009-01-07 | 2010-07-08 | Microsoft Corporation | Converting digital ink to shapes and text |
US8649600B2 (en) * | 2009-07-10 | 2014-02-11 | Palo Alto Research Center Incorporated | System and method for segmenting text lines in documents |
US8442319B2 (en) * | 2009-07-10 | 2013-05-14 | Palo Alto Research Center Incorporated | System and method for classifying connected groups of foreground pixels in scanned document images according to the type of marking |
US8452086B2 (en) * | 2009-07-10 | 2013-05-28 | Palo Alto Research Center Incorporated | System and user interface for machine-assisted human labeling of pixels in an image |
US8548280B2 (en) * | 2011-02-14 | 2013-10-01 | Hewlett-Packard Development Company, L.P. | Systems and methods for replacing non-image text |
US8472718B2 (en) * | 2011-04-27 | 2013-06-25 | Sony Corporation | Superpixel segmentation methods and systems |
CN103383732B (zh) * | 2012-05-04 | 2016-12-14 | 富士通株式会社 | 图像处理方法和装置 |
JP5774558B2 (ja) * | 2012-08-10 | 2015-09-09 | 株式会社東芝 | 手書き文書処理装置、方法及びプログラム |
KR101337872B1 (ko) * | 2013-04-04 | 2013-12-06 | 주식회사 디오텍 | 잉크 텍스트 데이터 편집장치 및 잉크 텍스트 데이터 편집방법 |
RU2640322C2 (ru) * | 2014-01-30 | 2017-12-27 | Общество с ограниченной ответственностью "Аби Девелопмент" | Способы и системы эффективного автоматического распознавания символов |
US9367766B2 (en) * | 2014-07-22 | 2016-06-14 | Adobe Systems Incorporated | Text line detection in images |
US9864479B2 (en) | 2014-12-19 | 2018-01-09 | Xerox Corporation | System and method for managing and reviewing document integration and updates |
US10614300B2 (en) * | 2014-12-23 | 2020-04-07 | Lenovo (Singapore) Pte. Ltd. | Formatting handwritten content |
US20180101724A1 (en) * | 2015-06-04 | 2018-04-12 | Mowdo | System and method for capturing and interpreting images into triple diagrams |
US10755029B1 (en) | 2016-01-05 | 2020-08-25 | Quirklogic, Inc. | Evaluating and formatting handwritten input in a cell of a virtual canvas |
US10324618B1 (en) * | 2016-01-05 | 2019-06-18 | Quirklogic, Inc. | System and method for formatting and manipulating digital ink |
US10713304B2 (en) * | 2016-01-26 | 2020-07-14 | International Business Machines Corporation | Entity arrangement by shape input |
US9977956B2 (en) * | 2016-07-29 | 2018-05-22 | Konica Minolta Laboratory U.S.A., Inc. | Selecting primary groups during production of a flowchart object from an image |
US10684758B2 (en) | 2017-02-20 | 2020-06-16 | Microsoft Technology Licensing, Llc | Unified system for bimanual interactions |
US10558341B2 (en) | 2017-02-20 | 2020-02-11 | Microsoft Technology Licensing, Llc | Unified system for bimanual interactions on flexible representations of content |
US10430649B2 (en) | 2017-07-14 | 2019-10-01 | Adobe Inc. | Text region detection in digital images using image tag filtering |
US10761719B2 (en) * | 2017-11-09 | 2020-09-01 | Microsoft Technology Licensing, Llc | User interface code generation based on free-hand input |
US10552708B2 (en) * | 2018-03-07 | 2020-02-04 | Xerox Corporation | Method and system for extracting impression marks using a mobile application |
US10783323B1 (en) * | 2019-03-14 | 2020-09-22 | Michael Garnet Hawkes | Analysis system |
JP7406884B2 (ja) * | 2019-06-27 | 2023-12-28 | キヤノン株式会社 | 情報処理装置、プログラム及び制御方法 |
US11200715B1 (en) | 2021-04-14 | 2021-12-14 | International Business Machines Corporation | Automated creation and design of presentation charts |
Family Cites Families (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5041992A (en) * | 1988-10-24 | 1991-08-20 | University Of Pittsburgh | Interactive method of developing software interfaces |
CA2039652C (en) * | 1990-05-30 | 1996-12-24 | Frank Zdybel, Jr. | Hardcopy lossless data storage and communications for electronic document processing systems |
US5255354A (en) * | 1990-06-08 | 1993-10-19 | Xerox Corporation | Comparison of image shapes based on near neighbor data |
US5251268A (en) * | 1991-08-09 | 1993-10-05 | Electric Power Research Institute, Inc. | Integrated method and apparatus for character and symbol recognition |
CA2077274C (en) * | 1991-11-19 | 1997-07-15 | M. Margaret Withgott | Method and apparatus for summarizing a document without document image decoding |
US5359673A (en) | 1991-12-27 | 1994-10-25 | Xerox Corporation | Method and apparatus for converting bitmap image documents to editable coded data using a standard notation to record document recognition ambiguities |
IL106401A (en) | 1992-08-07 | 1997-02-18 | Donnelley & Sons Co | Method and system for converting bitmap data into page definition language commands |
US5553224A (en) * | 1993-08-04 | 1996-09-03 | Xerox Corporation | Method for dynamically maintaining multiple structural interpretations in graphics system |
US5544267A (en) * | 1993-11-24 | 1996-08-06 | Xerox Corporation | Using a category to analyze an image showing a graphical representation |
US5563991A (en) * | 1993-11-24 | 1996-10-08 | Xerox Corporation | Using an image showing a perimeter relationship representation to obtain data indicating a relationship among distinctions |
US5659639A (en) * | 1993-11-24 | 1997-08-19 | Xerox Corporation | Analyzing an image showing editing marks to obtain category of editing operation |
US5537491A (en) * | 1993-11-24 | 1996-07-16 | Xerox Corporation | Analyzing an image or other data to obtain a stable number of groups |
CA2153684C (en) * | 1993-12-01 | 2000-03-21 | John L. C. Seybold | Combined dictionary based and likely character string method of handwriting recognition |
DE69428675T2 (de) * | 1993-12-30 | 2002-05-08 | Xerox Corp | Apparat und Verfahren zur Unterstützung einer impliziten Strukturation von Freiform-Listen, Übersichten, Texten, Tabellen und Diagrammen in einem auf Handzeichen basierenden Eingabesystem und Editiersystem |
US5734761A (en) * | 1994-06-30 | 1998-03-31 | Xerox Corporation | Editing scanned document images using simple interpretations |
TW367447B (en) * | 1994-12-21 | 1999-08-21 | Canon Kk | Block selection review and editing system |
US5880743A (en) * | 1995-01-24 | 1999-03-09 | Xerox Corporation | Apparatus and method for implementing visual animation illustrating results of interactive editing operations |
US6504540B1 (en) * | 1995-06-19 | 2003-01-07 | Canon Kabushiki Kaisha | Method and apparatus for altering one or more attributes of one or more blocks of image data in a document |
US5874966A (en) * | 1995-10-30 | 1999-02-23 | International Business Machines Corporation | Customizable graphical user interface that automatically identifies major objects in a user-selected digitized color image and permits data to be associated with the major objects |
US6009196A (en) * | 1995-11-28 | 1999-12-28 | Xerox Corporation | Method for classifying non-running text in an image |
US6141012A (en) | 1997-03-31 | 2000-10-31 | Xerox Corporation | Image processing code generation based on structured image (SI) techniques |
US5999664A (en) * | 1997-11-14 | 1999-12-07 | Xerox Corporation | System for searching a corpus of document images by user specified document layout components |
US6020972A (en) * | 1997-11-14 | 2000-02-01 | Xerox Corporation | System for performing collective symbol-based compression of a corpus of document images |
US5889523A (en) * | 1997-11-25 | 1999-03-30 | Fuji Xerox Co., Ltd. | Method and apparatus for dynamically grouping a plurality of graphic objects |
US6509912B1 (en) * | 1998-01-12 | 2003-01-21 | Xerox Corporation | Domain objects for use in a freeform graphics system |
US6377288B1 (en) * | 1998-01-12 | 2002-04-23 | Xerox Corporation | Domain objects having computed attribute values for use in a freeform graphics system |
US6470095B2 (en) * | 1998-10-13 | 2002-10-22 | Xerox Corporation | Automatic extraction of text regions and region borders for an electronic work surface |
US6377710B1 (en) * | 1998-11-25 | 2002-04-23 | Xerox Corporation | Method and apparatus for extracting the skeleton of a binary figure by contour-based erosion |
US6411733B1 (en) * | 1998-11-25 | 2002-06-25 | Xerox Corporation | Method and apparatus for separating document image object types |
US6952803B1 (en) * | 1998-12-29 | 2005-10-04 | Xerox Corporation | Method and system for transcribing and editing using a structured freeform editor |
JP4183819B2 (ja) * | 1999-01-26 | 2008-11-19 | オリンパス株式会社 | 医療用画像ファイリングシステム |
US6389435B1 (en) * | 1999-02-05 | 2002-05-14 | Fuji Xerox, Co, Ltd. | Method and system for copying a freeform digital ink mark on an object to a related object |
US6870545B1 (en) * | 1999-07-26 | 2005-03-22 | Microsoft Corporation | Mixed but indistinguishable raster and vector image data types |
EP1252603A1 (en) | 2000-02-01 | 2002-10-30 | Scansoft, Inc. | Automatic conversion of static documents into dynamic documents |
US6961064B2 (en) * | 2001-06-28 | 2005-11-01 | Hewlett-Packard Development Company, L.P. | System and method for combining graphics formats in a digital video pipeline |
US20030007018A1 (en) * | 2001-07-09 | 2003-01-09 | Giovanni Seni | Handwriting user interface for personal digital assistants and the like |
EP1298524A1 (en) | 2001-09-28 | 2003-04-02 | Ricoh Company, Ltd. | Conference support apparatus, information processor, teleconference system and computer product |
US20030069961A1 (en) * | 2001-10-04 | 2003-04-10 | Intel Corporation | Mechanism for the dynamic detection of graph based connectivity among PCI devices |
US7136082B2 (en) * | 2002-01-25 | 2006-11-14 | Xerox Corporation | Method and apparatus to convert digital ink images for use in a structured text/graphics editor |
US7139004B2 (en) * | 2002-01-25 | 2006-11-21 | Xerox Corporation | Method and apparatus to convert bitmapped images for use in a structured text/graphics editor |
US7254270B2 (en) * | 2002-07-09 | 2007-08-07 | Hewlett-Packard Development Company, L.P. | System and method for bounding and classifying regions within a graphical image |
US7272258B2 (en) * | 2003-01-29 | 2007-09-18 | Ricoh Co., Ltd. | Reformatting documents using document analysis information |
-
2002
- 2002-01-25 US US10/056,562 patent/US7136082B2/en not_active Expired - Fee Related
-
2003
- 2003-01-27 DE DE60312572T patent/DE60312572T2/de not_active Expired - Lifetime
- 2003-01-27 JP JP2003016862A patent/JP4339602B2/ja not_active Expired - Fee Related
- 2003-01-27 EP EP03002004A patent/EP1331592B1/en not_active Expired - Fee Related
-
2006
- 2006-10-17 US US11/550,233 patent/US8875016B2/en active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007509413A (ja) * | 2003-10-24 | 2007-04-12 | マイクロソフト コーポレーション | リアルタイムインキング |
JP4698599B2 (ja) * | 2003-10-24 | 2011-06-08 | マイクロソフト コーポレーション | リアルタイムインキング |
US8199131B2 (en) | 2003-10-24 | 2012-06-12 | Microsoft Corporation | Synchronization of plugins |
JP2010055512A (ja) * | 2008-08-29 | 2010-03-11 | Canon Inc | 電子文書処理装置および電子文書処理方法 |
JP7486131B2 (ja) | 2019-06-20 | 2024-05-17 | マイスクリプト | フリーハンドライティングモードでの手書きテキスト入力の処理 |
Also Published As
Publication number | Publication date |
---|---|
EP1331592B1 (en) | 2007-03-21 |
US7136082B2 (en) | 2006-11-14 |
EP1331592A3 (en) | 2005-05-04 |
EP1331592A2 (en) | 2003-07-30 |
JP4339602B2 (ja) | 2009-10-07 |
DE60312572D1 (de) | 2007-05-03 |
DE60312572T2 (de) | 2007-07-05 |
US20030142112A1 (en) | 2003-07-31 |
US8875016B2 (en) | 2014-10-28 |
US20070065013A1 (en) | 2007-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4340076B2 (ja) | ビットマップ化イメージを構造化テキスト/図形エディタで利用すべく変換するシステム | |
JP4339602B2 (ja) | デジタルインクイメージを構造化テキスト/図形エディタで利用すべく変換するシステム | |
US6952803B1 (en) | Method and system for transcribing and editing using a structured freeform editor | |
JP5036152B2 (ja) | フリーフォームデジタルインク注釈認識 | |
US6487570B1 (en) | Script character processing method for automatically supplementing blank writing space | |
US7926732B2 (en) | OCR sheet-inputting device, OCR sheet, program for inputting an OCR sheet and program for drawing an OCR sheet form | |
US7788579B2 (en) | Automated document layout design | |
US6434581B1 (en) | Script character processing method for interactively adjusting space between writing element | |
US5590257A (en) | Script character processing method and system with bit-mapped document editing | |
KR101334483B1 (ko) | 문서를 디지털화하는 장치 및 방법과, 컴퓨터 판독가능 기록 매체 | |
McDaniel et al. | Kekule: OCR-optical chemical (structure) recognition | |
WO1996037861A1 (en) | Computer automated system and method for converting source documents bearing alphanumeric text relating to survey measurements | |
JP2004062891A (ja) | フリーフォーム文書エディタ用のライティングガイドを表示するための方法 | |
JP2001175807A (ja) | テキスト領域選択方法 | |
US11430166B1 (en) | Facilitating generation of number-bullet objects | |
JP2022090469A (ja) | 書式定義装置、書式定義方法、及びプログラム | |
JP7324305B2 (ja) | 電子帳票作成装置、電子帳票作成方法、及びプログラム | |
JPH10222688A (ja) | 画像処理方法 | |
JP4574347B2 (ja) | 画像処理装置、方法及びプログラム | |
JP2016114910A (ja) | コンピューター、出力制御プログラムおよび出力物生産方法 | |
JPH09204481A (ja) | イメージ処理機能付きワードプロセッサ | |
JPH11219442A (ja) | 文書編集出力装置 | |
Butler | Human interaction with digital ink: legibility measurement and structural analysis | |
JP2007011574A (ja) | テンプレート作成方法、テンプレート作成装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081114 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090428 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090609 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090702 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130710 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |