JP2003228718A - ビットマップ化イメージを構造化テキスト／図形エディタで利用すべく変換する方法および装置 - Google Patents

ビットマップ化イメージを構造化テキスト／図形エディタで利用すべく変換する方法および装置

Info

Publication number
JP2003228718A
JP2003228718A JP2003016861A JP2003016861A JP2003228718A JP 2003228718 A JP2003228718 A JP 2003228718A JP 2003016861 A JP2003016861 A JP 2003016861A JP 2003016861 A JP2003016861 A JP 2003016861A JP 2003228718 A JP2003228718 A JP 2003228718A
Authority
JP
Japan
Prior art keywords
text
image
structured
alternative
bitmapped
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003016861A
Other languages
English (en)
Other versions
JP4340076B2 (ja
Inventor
Eric Saund
サウンド エリック
Thomas P Moran
ピー モラン トーマス
L Lerner Daniel
エル ラーナー ダニエル
James V Mahoney
ヴィ マホーニー ジェームズ
Todd A Cass
エイ キャス トッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JP2003228718A publication Critical patent/JP2003228718A/ja
Application granted granted Critical
Publication of JP4340076B2 publication Critical patent/JP4340076B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text

Abstract

(57)【要約】 【課題】 手書きイメージを構造化テキスト／図形エデ
ィタに取り込むプロセスを省力化および簡便化する。 【解決手段】 手書きページ１２のイメージはスキャナ
１４に入力され、ページ１２のイメージは電子的にビッ
トマップ化されたイメージ１６に変換される。ビットマ
ップ化イメージ１６は電子装置２０の画面１８上に表示
される。電子装置２０にロードされているイメージ生成
ソフトウェアを用いて、コンバータシステム２２が利用
するビットマップ化またはデジタルインク・イメージを
生成することができる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明はイメージ処理の方法
および装置に関し、特に入力としてビットマップ化およ
び／またはデジタルインク・イメージを取り込んで、構
造化テキスト／図形エディタで利用できる構造化オブジ
ェクト表現を出力するイメージ解析システムに関する。
【０００２】
【従来の技術】既存の構造化テキスト／図形エディタは
商業的に多大な成功を収めて広く利用されているもの
の、既に実装されたものには制約がある。特に、既存の
構造化テキスト／図形エディタは、システム内で素材の
作成や編集を行なうのに手作業を必要とする。これらの
制約のために既存のテキスト／図形エディタは、物理ド
キュメントを使う、すなわち紙とペンでスケッチするよ
う等のさまざまなスタイルで仕事に従事する人の要求に
応えることができない。より具体的には、上述のコンピ
ュータ・ベースのテキスト／図形編集ツールは物理ドキ
ュメント媒体との間に使い易いインタフェースを備えて
いない。
【０００３】
【発明が解決しようとする課題】例えば、構造化テキス
ト／図形エディタを用いて電子スライド表現を生成する
プロセスは通常、コンピュータ利用における制約から解
放される表現スライドを描くことから始める。ある場合
には、個人がペンや鉛筆で紙片にスケッチをしたり、ま
たはグループで協働しながらホワイトボード上で概念を
形成していくであろう。この最初のプロセスを経た後で
しか、コンピュータ・ベースのエディタを使って他人に
手書き素材を構造化テキスト／図形フォーマットに変換
させることはできない。
【０００４】最初に作成されたものが手書きイメージで
ある場合、これらのイメージを構造化テキスト／図形エ
ディタに取り込むプロセスは退屈かつ面倒であろう。各
種のエディタで、クリック＆ドラッグ・プログラムを介
して事前設定された特定の幾何学形状を選択できるよう
にショートカットが工夫されているが、複雑な図形があ
る場合、これらのショートカットさえ退屈になりかねな
い。また、事前設定されたオブジェクトとして提供され
ていない複雑な形状を描くことは、それをフリーハンド
で描くよりもさらに難しい。さらに、テキストの入力に
注目するならば、キーストロークのタイピング自体は難
しくない。しかし、インデント付与、所望の位置での中
黒付与や構造化テキストブロックを備えた所望のレイア
ウトを得るには、煩雑なマウスやキーボード操作を通じ
てメニューのナビゲート、テキストの入力、位置合わ
せ、およびパラメータのフォーマット決めを行なう必要
がある。
【０００５】
【課題を解決するための手段】本発明の一態様に基づ
き、イメージ解析および変換の方法およびシステムを開
示する。これはビットマップ化イメージの構造化された
オブジェクト表現にビットマップ化イメージを変換し、
それを構造化テキスト／図形エディタが読み込んで編集
するものである。
【０００６】（１．システムの概念設計および動作の概
要）図１に、本発明の概念が実装可能であるシステム１
０を示す。システム１０は、ビットマップ化（すなわ
ち、ラスタ化）されたおよび／またはデジタルインク技
術（すなわちベクトル表現）により形成されたイメージ
を本アプリケーションのコンバータに提供することが可
能な各種のチャネルを示す。ビットマップ化イメージ
は、本アプリケーションによるコンバータプロセスがそ
こで起動される安定した中間地点である。変換プロセス
はまた、デジタルインク・イメージの入力をきっかけと
して起動されてもよい。
【０００７】より具体的には、手書きページ１２のイメ
ージはスキャナ１４に入力され、ページ１２のイメージ
は電子的にビットマップ化されたイメージ１６（既存の
構造化図形エディタではピクチャ・オブジェクトとして
取り扱われる）に変換される。ページ１２のイメージは
ペン、鉛筆、またはその他の非電子ツールにより作成で
きる。ビットマップ化イメージ１６はコンピュータ、パ
ーソナルデジタルシステムまたは本アプリケーションの
変換システム２２を含むその他の電子装置２０の画面１
８上に表示される。
【０００８】あるいは、ホワイトボードまたはデジタル
インク装置２４を電子装置２０に接続することができ、
それによりビットマップ化またはデジタルインク・イメ
ージ２６が装置２０へ電子的に送信される。ビットマッ
プ化またはデジタルインク・イメージが、コンバータシ
ステム２２へ送られる別のチャネルとして、別の電子装
置２８の利用がある。この装置はさまざまなシステムの
いずれでもよく、構造化テキスト／図形エディタを有す
るコンピュータ、コンピュータ化されたＣＡＤシステ
ム、Ｗｅｂページを配信するインターネットの上のサー
バー、または電子タブレットやパーソナル・ディジタル
・アシスタント＋（ＰＤＡ）がビットマップ化および／
またはデジタルインク・イメージ３０をコンバータシス
テム２２へ送るその他任意のシステムを含むさまざまな
システムのいずれでもよいが、これらに限定されない。
さらに、電子装置２０にロードされているイメージ生成
ソフトウェアを用いて、コンバータシステム２２が利用
するビットマップ化またはデジタルインク・イメージを
生成することができる。
【０００９】上述の議論はイメージを生成する各種のチ
ャネルについて明示的に述べているが、本アプリケーシ
ョンの概念はまた、他のチャネルを介して得られたビッ
トマップ化および／またはデジタルインク・イメージで
も同様に機能することに留意されたい。
【００１０】従って本発明の実施の形態は、各種のプロ
シージャにより生成されたビットマップ化および／また
はデジタルインク・イメージを受信すること、およびイ
メージの構造化オブジェクト表現にイメージを変換する
ことを指向するものである。このプロセスにより、ビッ
トマップ化および／またはデジタルインク・イメージは
記号（すなわち構造化オブジェクト表現）に基づいて定
義される。従って、コンバータ２２の動作はビットマッ
プ化および／またはデジタルインク・イメージをオンラ
インイメージに変換するのではなく、むしろイメージを
イメージ表現に変換する。表現をイメージと見なすこと
もできるが、それらは基本的に記号表現である。
【００１１】本プロセスは、イメージが未変換ビットマ
ップ化および／またはデジタルインクフォーマットであ
る場合に可能でなかった操作を可能にする。構造化され
たオブジェクト表現への変換により、変換されたイメー
ジの明確な領域を扱うことが可能になる。このような明
確な領域は視覚的に特徴的な領域であると見なされる。
【００１２】視覚的に特徴的な領域とは，図形イメー
ジ、テキスト、またはこれらが混在しているものを普通
に閲覧する者にとって、イメージプリミティブ（すなわ
ちピクセル）の特定のグループや集合が、イメージ編集
操作を施す対象として感じられ、視覚的に明確または有
意味な単位として容易に識別できるイメージの領域であ
る。これらのグループ分けはさまざまな任意の特性に基
づいていてよく、空間的な近さ、曲線アライメント、接
続状態、共直線性、閉路の形成、閉じたまたはほぼ閉じ
た形状内への包含、基本幾何形状や配置、あるいはこれ
らの組み合わせを含むがこれに限定されない。
【００１３】従って本発明の概念は、既存のイメージ変
換を、単にスキャンされたイメージをピクチャ・オブジ
ェクトとして読み込む機能を越えて拡張する。ここにピ
クチャ・オブジェクトとはピクセルまたはベクトル表現
の画一的な配列で構成されるスキャンされたビットマッ
プである。このようなピクチャオブジェクトが既存の構
造化テキスト／図形エディタに入力された場合、基本的
な編集操作をピクチャ・オブジェクト全体に対して行な
うことができる。
【００１４】この概念を図２〜３を参照しながらより詳
細に説明する。図２は手書きのオリジナルの非電子化ス
ケッチ３２を示す。図３はピクチャ・オブジェクト全体
３４に対して実行できる編集操作（すなわち縮尺調整、
クロッピング、色調調整）を示す。図３に、図２の手書
き図面にこれらの編集操作を何度も適用した後の結果を
示す。この特定の状態において、手書きスケッチはテキ
スト／図形エディタに取り込まれ、次いで縮尺調整およ
びクロッピングが行なわれている。
【００１５】しかし、図４に強調されているように、既
存のテキスト／図形エディタではビットマップ内の知覚
的に顕著な領域へのアクセスはできない。図４におい
て、ピクチャの２個の知覚的に顕著な構造、すなわち円
３０とテール３２は互いに独立して修正されている。こ
れらの操作は、本発明の概念を用いたシステムの実装に
より実現された。しかし、既存のテキスト／図形エディ
タではビットマップ化イメージを取得して、既存のテキ
スト／図形エディタへ取り込み、自動的に定義された個
別の視覚的に特徴的な構造に対して編集を行なうことは
不可能である。むしろ、これらのビットマップ化イメー
ジの編集は、図３に示すようにピクチャ・オブジェクト
全体の基本的な編集に限定されている。同様の短所が上
述のデジタルインク・イメージにもある。
【００１６】知覚的に明確なイメージエンティティを独
自の編集可能なテキスト／図形オブジェクトとして取り
扱う機能により、既存のシステムで可能な程度を超えて
ユーザーが有意味なテキスト／図形編集を実行すること
ができる。
【００１７】
【発明の実施の形態】（２．変換システムの外観と操作
性）本システムの実施の形態は、最初にプリミティブテ
キストと図形要素およびビットマップイメージを選び出
し、次いでそれらの要素の知覚的に顕著なグループ分け
を行なうことにより、上述の機能を提供する。本発明の
概念は外観と操作性の技術のクラスをサポートし、同時
にユーザーがイメージ化されたドキュメント素材の複数
の知覚上の解釈を利用できるデータ構造およびアルゴリ
ズムをサポートする。
【００１８】これらさまざまな知覚上の解釈は、図形お
よび文字素材の“正式” および／または“略式”表現
を備えるべく整形することができる。“正式”の図形素
材とは線画および形状の幾何学的に正確な、または完全
に正確な整形を指し、一方“略式”の図形素材とは近似
的または幾何学的に不完全な図形にもかかわらず人間の
観察者は通常それらの正確な対応物と同一視する図形を
指す。例えば、機械作図ツールで描かれたか、または幾
何学的に正確な座標を参照するコンピュータ・プログラ
ムからコンピュータプリンタ上で整形された長方形は
“正式”とみなされるが、一方手書きスケッチされた長
方形は“略式”と見なされよう。同様に、機械印刷装置
でタイプセットされたテキスト、または代わりにデザイ
ンフォントやレイアウトアルゴリズムを用いてコンピュ
ータ印刷技術を通して用いられたレンダリングは“正
式”、一方不正確に手書きされたテキストは“略式”で
あると見なされよう。これらの定義は、テキストや図形
が正式とも略式とも見なせ、例えば非常に慎重かつ正確
に手書きされた幾何学形状、非常に丁寧な手書き文字、
またはカジュアルかつ不正確に見えるよう意図されたコ
ンピュータフォントやレイアウトアルゴリズム。この不
正確さは決してここに記述された概念の機能性、目的、
または有用性を制限しない。
【００１９】これらの概念の簡単な例を図５〜１２に関
連して示すが、これらは実際のシステム実装により生成
されたものである。これらの図のグループにおいて、原
素材またはオリジナルの手書きスケッチが図５であり、
これはほぼ長方形の形状４０を成す４本の比較的真直ぐ
なストロークで構成される手書き図形であって、この長
方形は次いでテキスト行４２〜４６の列を成す手書き文
字の組を囲む。
【００２０】ユーザーが構造化図形エディタ内にこの手
書き素材を取り込む際に、何通りかの仕方のいずれもが
利用可能である。図６〜１２に、そのようにユーザーが
意図した出力のいくつかを完全に忠実に示す。図６に示
すように、これらは手書き素材をそのまま維持しなが
ら、手書き長方形４０の破線表示や線の太さの変更を含
む。あるいは、図７または図８に示すように、ユーザー
は手書きテキストの行を並べ替えて、テキスト４２〜４
６を手書き形式で維持しながら、図形を正式長方形４０
に変換したいかもしれない。図９に示す代案では手書き
の図形長方形４０を維持しながら、手書きのテキスト４
２〜４６を正式タイプに変換する。またさらに図１０に
示すように、ユーザーはテキスト４２〜４６と図形オブ
ジェクト（長方形）４０の両方を正式テキストおよび図
形オブジェクトに変換することもできる。ユーザーのさ
らに別の可能な出力を図１１に示すと、手書き図形の内
部に色が付けられている。最終的に、ユーザーは手書き
図形４２〜４６を拡張して、別のテキスト項目４８を含
むようにもできる。
【００２１】これらの可能な代替表現を示すことにより
ユーザー（すなわち最初の手書きスケッチの制作者）の
意図を変更することができ、従って編集システムに認識
機能を組み込むだけでなく、手書き素材の別の解釈をユ
ーザーに提供するオプションが与えられることにも利点
があることがわかる。上述の議論において、図５は元々
デジタルインク・イメージとして制作されてもよい点を
理解されたい。また、ここに述べる変換プロセスはデジ
タルインク・イメージを構造化オブジェクトに変換する
ために用いられる。従って図６〜１２に示す表現はま
た、オリジナルのデジタルインク・イメージに基づいて
取得することもできる。
【００２２】本システムはさらに、レイアウト、フォン
ト、黒丸、および下線等、テキストの特定パラメータの
表示も可能にするが、実際の文字自身がある箇所は空け
たままにする。より具体的には、図１３〜１５にこの概
念を示す。ここにユーザーに対しテキストレイアウト
を、“Ｘ”の“ダミー”コンテンツ５２で満たした正式
テキスト・ボックス５０として示す。これによりユーザ
ーにはダミーテキストを選んでタイプすることによりタ
ーゲット特徴で置き換える機会が与えられるが、テキス
トオブジェクト選択、位置合わせ、フォーマット化等を
実行する必要はない。本システムにおけるオプションと
して、ユーザーはテキスト素材のブロックを示すが詳細
に書かれていない表現の概要を描けばよい。このような
アクションは時々“ｇｒｅｅｋｉｎｇ”と呼ばれ、これ
らの表現は、テキスト素材の配置にほぼ対応する領域を
定義すべく引かれた一連の平行線、直線または波線を含
む。
【００２３】（３．イメージ化されたドキュメントの代
替解釈の表示） （３．１代替グラフ）本システムの一実施の形態におけ
る外観と操作性は、“代替グラフ”と呼ばれるデータ構
造の生成を通じて実現される。これは生のビットマップ
イメージでは暗黙的であった多数の、恐らく矛盾する、
あるいは重なり合う、知覚的に重要な視覚的オブジェク
トを明示する。代替グラフを作成する技術的なプロセス
をセクション４で開示する。
【００２４】図１６に、図５〜図１２の例に対する代替
グラフの一例６０を示す。グラフの左側（略式）部分６
２は、図５として現れるような仕方で素材を構造化す
る。グラフの右側（正式）部分は図１３のように表現さ
れた素材を構造化する。代替グラフにおけるリンクは方
向を有し、接続されたボックスはそれらが接続されてい
るボックスの一部であることを表わしている。すなわ
ち、リンクは“〜の一部である”関係を表現している。
代替グラフは４種類のノードを含んでいる。
【００２５】１．オブジェクトノード。これは図１６で
（テキストオブジェクト（ＴＯ）、自由曲線、長方形、
テキストボックス）ノードとして指定されている、構造
化テキスト／図形エディタ内で直接対応するものがある
図形またはテキストオブジェクトに対応するノードであ
る。これらは文字、線分、弧、自由曲線、長方形、楕
円、多角形、および矢印を含む。文字“ＴＯ”は、自由
曲線またはピクチャ・オブジェクトのいずれかの形式を
取り得るテキストオブジェクトを表わす。
【００２６】２．グループノード。これはオブジェクト
のグループに対応する。Ｐｏｗｅｒｐｏｉｎｔ（登録商
標）、ＭａｃＤｒａｗ（登録商標）その他の構造化テキ
スト／図形エディタにおいて、“グループ”として一ま
とめにされるオブジェクトは、選択、移動、サイズ変
更、回転、デプスレイヤ変更、削除等の操作に関して単
一のオブジェクトとして扱われる。グループノードはグ
ループに属しているオブジェクトのメンバーリストを宣
言する。グループは階層的にネスティング可能である。
言い換えれば、グループは循環的にならないように別の
グループのメンバーになることができる。
【００２７】３．選択ノード。各選択肢のもとで一緒に
属するオブジェクトやグループの集合を表わす。
【００２８】４．代替ノード。イメージ素材のある集合
や領域が複数の仕方で解釈できる事実を表わす。
【００２９】一般に代替グラフデータ構造の定義は代替
ノード（および子選択ノード）が複数のレベルで生起し
て、互いにネスティングされることを許す。この一般的
なタイプの代替グラフが使用されているか否かは表示モ
ードおよび対象とする構造化図形エディタの制約に依存
する。図１６に示す代替グラフはルートにおける単一の
代替ノードだけを用いて構成される。このクラスの代替
グラフは、Ｐｏｗｅｒｐｏｉｎｔ（登録商標）、Ｍａｃ
Ｄｒａｗ（登録商標）等、これが便利な表示モードであ
る構造化図形エディタ内の複数スライドに代替的な視覚
上の解釈を表現するのに適している。これは本発明の一
つの好適な実施の形態を表わす。
【００３０】（３．２．表示モード）代替グラフは、知
覚的に顕著なイメージオブジェクトの各種の解釈へアク
セスするための一群の表示／対話モードを有効にする。
セクション３．２．１〜３．２．３に、検討した３種の
表示／対話モードを掲載する。本概念の示唆に基づき他
のモードもまた利用可能であることを理解されたい。
【００３１】（３．２．１．複数スライド）さまざまな
状況下で、正式さの度合が異なる点を反映すべく図形ま
たはテキストのイメージ素材の代替解釈を考慮してよ
い。図６の表現は、手書き文字を囲む大雑把にスケッチ
された形状に見える。構造化テキスト／図形エディタ内
でこの形状は、比較的真直ぐな自由形状線オブジェクト
のグループに３本のテキスト行に対応するビットマップ
オブジェクトの３個のグループを合わせたものとして構
造化されている。これは略式表現であると考えられる。
【００３２】この知覚的エンティティの代替的かつ正式
表現を図１０に示す。構造化テキスト／図形エディタ内
でこの図形は、メンバーがユニタリ図形的長方形オブジ
ェクト、および３行のテキストを含むテキストブロック
であるグループとして構造化されている。
【００３３】代替解釈を表現してユーザーからのアクセ
スを許す一オプションは、それらを異なる表現スライド
上に置くことである。例えば、あまり正式でない選択肢
は“略式”スライドに置かれ、一方より正式選択肢を
“正式”スライドに置く。中程度に正式その他のスライ
ドも配値可能である。図８のように正式さがまちまちの
イメージを生成したいユーザーは、オブジェクトやグル
ープを選択してスライドからスライドへ転送することが
可能である。さらに、いくつかの構造化テキスト／図形
エディタのもとで、特別なキーストローク、マウス、音
声、またはジェスチャーによるコマンドが定義されてい
て、選択したオブジェクトを、それが表現されているス
ライドと別の正式なスライドとの間で入れ替えることが
できる。
【００３４】セクション４に、文書イメージの代替グラ
フ表現を一組の登録されたスライドに変換するプロシー
ジャを開示する。このプロシージャの記述は“正式さ”
の程度に沿ってスライドの編成を例示する。
【００３５】（３．２．２背景調整）スケッチを構造化
テキスト／図形エディタへ変換するアプリケーションを
利用する意図は、手書きテキストのタイプ入力テキスト
への変換を支援することである。このタスクは以下の２
段階に分けられる。（１）オリジナルのテキストのレイ
アウト構造、すなわち配置、インデント付け、および単
語の下線引き、テキストの行と列の確認、および（２）
テキストを構成する実際の文字の識別。多くの場合、
（２）に対する解決策が何であれ、それとは独立して
（１）の課題に対して十分な成果が実現できる。実際の
文字識別がどれほど困難かは、ユーザーの筆跡、ペンの
選択、スキャナの特性等を含む（しかしこれに限定され
ない）多くの問題に依存する。従って図１０に、テキス
トのレイアウト構造を正式テキストオブジェクトとして
取得するが、しかし実際の文字属性の代わりにダミー文
字を用いて図１３の“正式”解釈の代替物を描く。
【００３６】この不完全な正式解釈を代替するのが有用
な点の一つは、ユーザーは単にテキストコンテンツを選
択およびタイプ入力するだけで図１０または図１５が得
られ、付随するテキストブロック構造を作成してレイア
ウトする煩雑さから解放される点である。
【００３７】この行為は、ユーザーが正式な解釈を操作
しながら、オリジナルまたは略式の解釈を見ることを許
す表示技術により可能になる。
【００３８】上記の事項を実現するプロセスにアンダー
レイの利用があり、ある代替案の調整は、前景に置かれ
た操作可能な代替案のスライドの背景に可視化される。
背景素材を描写する方法は、前景素材に空間的に見当が
合わせられた別のイメージ形成レイヤを介するものであ
る。この基準イメージ形成レイヤは操作可能な素材に関
してアンダーレイまたはオーバーレイとして現われる。
各種のイメージ形成モデル（すなわち代替解釈）を用い
て、異なる色や陰影、透明度／半透明度、および焦点ぼ
かしを含む仕上げ表現を生成することができる。図１７
に示す概念では、正式テキスト７０が透明／半透明に描
かれていて、略式テキスト７２が通常の線で描かれてい
る。
【００３９】図１８に示すように、ある実施の形態で代
替解釈を同時に表示する別の手段として、描画テキスト
７６の近傍にバブル／バルーン７４で囲まれていて、縮
小されたおよび／または位置をずらされたイメージクリ
ップを利用することがある。
【００４０】（３．２．３ 選択肢の中から選ぶ）原素
材の代替解釈用の表示／対話モードの第三のクラスは、
代替案の直接表示であり、ユーザーが選択肢の中から選
べるポップアップウインドウの如く同時に、あるいは表
示順序をユーザーの好みを推定して調整可能な逐次循環
を通じて行なう場合のいずれかである。例えば図１９
に、可能な表現８０を表示するポップアップウインドウ
７８を示す。ウインドウ７８は、図１９のテキスト８２
と同時に開いている状態で示されている。図２０に同じ
テキスト８２を示すが、ここではウインドウ７８はテキ
スト８２の可能な別の表現８４を示している。これらの
図は同時表示だけでなく、逐次循環方式も示す。
【００４１】（４．テキストのための代替解釈と線画の
承認。）本セクションでは、スケッチされた、または他
のビットマップ原素材の複数の解釈を表現する代替グラ
フ（例：図１６のグラフ６０）の生成を実現するイメー
ジ解析システムの設計を開示する。代替グラフは、イメ
ージデータの見た目が異なる有効な解釈を利用可能にす
るための表示／対話モードをサポートしている。
【００４２】（４．１．認識システムアーキテクチャ）
図２１に、入力されたイメージ９２を処理する全体シス
テム設計９０を示す。主なコンポーネントおよびその機
能は下記を含む。
【００４３】１．イメージ処理および分割モジュール９
４。これはスキャンされたビットマップイメージ（すな
わち入力されたイメージ９２）を、プリミティブ・イメ
ージオブジェクトの別々の３個のクラス、すなわち
（１）テキスト文字程度の小さい接続コンポーネント、
（２）“ストローク・フラグメント”と呼ばれる、接合
部により単純化された比較的真直ぐな曲線的ラインフラ
グメント、（３）大きい図形オブジェクトに分類する仕
方で処理する。
【００４４】２．テキスト識別およびレイアウト解析モ
ジュール９６。これはテキスト行とコラムを形成してい
る文字のランを表現するビットマップおよびストローク
オブジェクトのグループ分けを識別する。本システムの
一態様において、この解析の結果はそれぞれそのテキス
トブロックの代替解釈を２個以上含んでいるテキストグ
ループ構造のリストである。例えば、所与のテキストブ
ロックのある解釈はインデント付けされたリストレイア
ウト構造に編成されたテキスト行のカラムであるかもし
れず、一方別の解釈はそれ以上は内部構造を持たない一
組のプリミティブ・イメージオブジェクトであるかもし
れない。本モジュールの概念および動作についてセクシ
ョン４．２でより詳細に論じる。
【００４５】３．線画解析モジュール９８。これはスト
ロークオブジェクトのグループ分けを識別する。本動作
の一態様において、この解析の結果はそれぞれ２個以上
の代替解釈を含む線画オブジェクトのリストである。線
画オブジェクトは、開曲線経路と閉曲線経路、および矢
印等、他の幾何学的エンティティを含む。例えば、所与
の閉曲線経路が長方形を形成する場合、より一般的な閉
路モデルの代替解釈として長方形モデルがリストされ
る。本モジュールの概念と動作についてセクション３．
３でより詳細に論じる。
【００４６】４．代替グラフ生成モジュール１００。こ
れは入力として各グループの代替解釈を含むテキストと
線画グループのリストを入力として取り込み、代替グラ
フを生成する。本モジュールの概念と動作についてセク
ション３．４でより詳細に論じる。
【００４７】５．構造化図形エディタモジュールへの受
け渡しモジュール１０２。これは代替グラフを横断的に
調べて、テキストと線画オブジェクトおよびグループの
階層を含む適切な表現スライドを作成する。本モジュー
ルの概念と動作についてセクション３．５でより詳細に
論じる。
【００４８】出力モジュール９４〜１０２は次いで編集
のために１０４でユーザーに提示できる。
【００４９】本アプリケーションのシステムはデジタル
インク・オブジェクトを構造化オブジェクトに変換すべ
く動作するが、受信されたビットマップ化イメージの場
合とプロシージャが若干異なっている点に留意された
い。特に、イメージ処理および分割モジュール９４にお
いて、デジタルインク・イメージをプリミティブ・イメ
ージ・オブジェクトの３個のクラスに分ける処理をする
必要がない。その理由は曲線的ストローク・フラグメン
トがデジタルインク・イメージから直接取得できるから
である。
【００５０】（４．２．テキストオブジェクトの代替解
釈を検出するイメージ解析）以下に図２２〜図２３に示
すように、一実施の形態で用いられてテキスト構造の知
覚的に重要な代替解釈の集合を反映しているビットマッ
プとストローク・フラグメントオブジェクトを検出する
プロシージャ（１２０）を示す。プロシージャへの入力
は、オリジナルの入力配列を２進化することにより、あ
るいは接続された小さいコンポーネントおよびストロー
ク・フラグメントをレンダリングすることにより得られ
たバイナリイメージ配列（Ｂ）であって（１２２）、上
述の分割プロセスにより検出された。このプロセスの狙
いは、最初にテキストを表現しているイメージ要素を識
別し、次いでそれらの空間レイアウトを表現している構
造を生成する。実際のテキスト認識、光学式文字認識
（ＯＣＲ）、またはイメージ文字認識（ＩＣＲ）技術が
本プロセスにより利用できるオプションである。
【００５１】一旦入力バイナリイメージ配列が入力され
たならば、プロセスは下記へ進む。 １．接続コンポーネントの境界等高線の正規化総曲率上
の固定閾値により横長の線を検出する。これらは減算に
よりＢ（バイナリイメージ配列）から取り除かれて新し
いバイナリ配列Ｂ’１２６が得られる（１２４）（この
ような線はテキストではなく区切り記号として扱われ
る）。
【００５２】２．Ｂ’内で、境界ボックスの高さに関し
て接続コンポーネントの安定なグループを定義する（１
２８）。コンポーネントが高さ最小のグループ（すなわ
ちグループＩＤがグループ分けされた属性について単調
増加するならばＩＤ＝１のグループ）に含まれる場合、
テキストであると見なされる（１３０）。安定なグルー
プを定義する技術は当分野で公知である。
【００５３】３．後でテキスト行および領域を定義する
ために用いられるテキストに接続されたコンポーネント
間の隣接リンクの以下のタイプを形成する。これらは以
下のとおり定義される。 （ｉ）異なるコンポーネントのピクセルの間でユークリ
ッド距離が最も近い隣接リンクである生リンク。 （ｉｉ）２個の異なるテキストコンポーネントのピクセ
ルを結び付ける生リンクであるテキストリンク。これ
は、生リンクの両端の要素が同じグループにあることを
調べることにより実装される。従ってすべての非テキス
トコンポーネントはテキスト区切りの役割を果たす。 （ｉｉｉ）水平方向に対し２５度以内にある生リンクで
ある水平リンク。 （ｉｖ）垂直方向に対し２５度以内にある生リンクであ
る垂直リンク。
【００５４】４．接続コンポーネントを水平方向にグル
ープ分けすることによりテキスト行を形成する（１３
４）。これは以下により実現される。 （ｉ）距離属性に関して水平方向リンクの安定なグルー
プを定義する。水平方向リンクはまた、それが最短距離
グループにある場合、近接リンクである。 （ｉｉ）同じく水平方向リンクおよび近接リンクである
テキストリンクとしての テキスト行リンクを形成す
る。 （ｉｉｉ）遷移閉包を介して（すなわち、テキスト行リ
ンクグラフに色付けする）テキスト行リンクにわたって
ラベルを伝播させることによりテキスト行を形成する。
【００５５】５．各テキスト行内の基本テキスト行属性
を蓄積することにより、基本テキスト行属性を蓄積する
（１３６）。これらの属性は、行の境界ボックスの座標
を示す左端Ｘ、右端Ｘ、上端Ｙ、および下端Ｙを含む。
これらの基本項目から計算される他の属性として、境界
ボックスの幅、高さ、および中心Ｘである。
【００５６】６．テキスト行リンクにより接続された接
続コンポーネントに簡単な制約を課すことにより、黒丸
（ブレット）を検出する（１３８）。例えば、（ａ）
複数要素行の第一の要素と、（ｂ）黒丸と解釈できるテ
キスト行の高さが最小の要素である、十分にまとまりの
あるコンポーネントである。
【００５７】７．別々のテキスト行の間にテキスト行垂
直方向リンクを形成する（１４０）。
【００５８】８．テキスト行を垂直方向にグループ分け
することによりテキスト領域を形成する（１４２）。 （ｉ）距離属性に関して垂直方向リンクの安定なグルー
プを定義する。テキスト行垂直方向リンクはまた、それ
が最短距離グループにある場合、近接リンクである。 （ｉｉ）何らかの水平方向の重複を有するテキスト行間
にテキスト行垂直方向リンクとして、テキスト行垂直方
向整列リンクを形成する。 （ｉｉｉ）近接および整列制約を組み合わせた垂直方向
リンクとしてテキスト領域リンクを形成する。 （ｉｖ）ここでテキスト領域を、テキスト領域リンクに
わたる遷移閉包伝播（すなわち、テキスト領域リンクグ
ラフに色付けすること）およびテキスト行リンクにより
定義することができる。
【００５９】９．各テキスト領域の属性を蓄積すること
により、テキスト領域境界ボックス属性を計算する（１
４４）。次いでこれ以外の属性である行の最大高さ、行
の高さ総計、および行数が領域の行から導かれる（１４
６）。
【００６０】１０．テキスト行および領域属性に基づい
て、領域調整（左、右、および中心）およびインデント
特性が公知の技術により定義される。
【００６１】（４．３．線画オブジェクトの代替解釈を
検出するイメージ解析）図２４〜図２５に示すように、
本セクションは図形オブジェクトの知覚上重要な代替解
釈を反映しているストローク・フラグメントの集合を検
出するためのプロシージャを開示する（１６０）。プロ
シージャへの入力は、通常は鎖コード曲線で表現される
一組のストローク・フラグメント・オブジェクトである
（１６２）。本プロシージャはさらに以下を含む。
【００６２】１．閉ストローク経路オブジェクトを形成
する（１６４）。
【００６３】２．ステップ１６４で返された閉ストロー
ク経路オブジェクトの形成に関与するすべてのストロー
ク・フラグメントの組をストローク・フラグメントの候
補セットから除去する（１６６）。
【００６４】３．整列の空間形状を形成するストローク
・フラグメント曲線の全両端について、整列リンクと呼
ばれるデータ構造のインスタンスを生成する（１６
８）。このような曲線整列の測定は当分野で公知であ
る。図２６に、２個の曲線的ストローク間の整列関係を
判定するために用いられた幾何学的測定の例を示す。
【００６５】４．結果として得られた整列リンクを計算
により精査して、鮮明かつ明瞭なものだけをさらに処理
すべく選択する（１７０）。図２７に、一意な整列関係
を示さないストロークの形状を挙げる。
【００６６】５．整列鎖と呼ばれる、残存整列リンクに
より接続されたストローク・フラグメントのすべての遷
移閉包を集める（１７２）。
【００６７】６．各整列鎖について、鎖を形成している
ストローク・フラグメントの組に対しパラメトリック曲
線（例えば直線）を当てはめる。これらは次いで整列鎖
により表現されたスケッチ曲線の代替解釈として登録さ
れる（１７４）。
【００６８】７．コーナーの形成に関する空間形状を形
成する整列鎖の全両端について、コーナーリンクと呼ば
れるデータ構造のインスタンスを生成する（１７６）。
図２８に示す例は、２個の曲線的ストローク間のコーナ
ー関係を判定するために用いられた幾何学的測定の例で
ある。このようなコーナー形成を測定するプロセスは当
分野で公知である。
【００６９】８．結果として得られたコーナーリンクを
計算により精査して、鮮明かつ明瞭なものだけをさらに
処理すべく選択する（１７８）。（図２９に、曲線的ス
トロークが一意なコーナー関係を示さない形状の例を挙
げる）。
【００７０】９．残存コーナーリンクにより接続された
ストローク。フラグメントのすべての遷移閉包を集め
る。これらのリンクは開曲線的経路として識別すること
ができる（１８０）。
【００７１】１０．ステップ１６６の後で残っているス
トローク・フラグメントに対し記号認識プロシージャを
適用する（１８２）。ステップ１８２について、多くの
適当な記号認識プロシージャが当分野で利用可能であ
る。識別された各記号について、認識された記号および
その記号の曲線的特徴に合致するストローク・フラグメ
ント部分集合が代替解釈として登録される。
【００７２】１１．ステップ１６４で得られた各閉スト
ローク経路オブジェクトについて、経路に関与するスト
ローク・フラグメントの部分集合が抽出され、次いでス
テップ１６８から１７４が実行される。その後で中間デ
ータ構造に、閉オブジェクトの比較的真直ぐな辺を形成
しているストローク・フラグメントのグループが登録さ
れる（１８４）。
【００７３】１２．ステップ１６４で得られた各閉スト
ローク経路オブジェクトについて、モデルに基づく形状
認識プロシージャが実行されて、閉ストローク経路オブ
ジェクトが長方形や楕円等、公知の形状を形成するか否
かを検知する。この目的のために当分野で形状認識アル
ゴリズムが利用でき、当分野で公知である。認識された
あらゆる形状は次いで、閉路オブジェクトの代替解釈と
して登録される（１８６）。
【００７４】（４．４．テキストおよび線画オブジェク
トの代替グラフを生成する）本セクションでは代替グラ
フ（図１６の代替グラフ６０等）を生成するためのプロ
シージャ１９０について図３０〜図３１により説明す
る。代替グラフは、個々に認識され、それぞれが潜在的
に何通りかの代替解釈ができるテキストおよび線画オブ
ジェクトを、構造化テキスト／図形エディタへ容易に受
け渡すことが可能な統一された表現への集約を容易にす
る中間データ構造として機能する。プロシージャには、
テキストオブジェクトのリスト、開曲線経路オブジェク
ト、閉曲線経路オブジェクト、および記号オブジェクト
が入力される（１９２）。これらのリスト内の各オブジ
ェクトは複数の視覚上の解釈を含む。代替グラフを用い
てこれら複数の視覚上のｈ解釈を、ユーザーが一貫性か
つ統一性を以って利用できるように編成する。
【００７５】上述のプロシージャ１９０は、生成された
代替グラフがルートレベルだけに代替ノードを含むシス
テムの一実施の形態である。これはＰｏｗｅｒＰｏｉｎ
ｔ（登録商標）、ＭａｃＤｒａｗ（登録商標）その他の
編集システムにおける複数スライドとして代替解釈の表
現に適している。代替ノードが木全体にわたって発生す
るような、より一般的な代替グラフの生成はこのプロシ
ージャを簡便にしたものである。このようにより一般的
な代替グラフは、１オブジェクト毎に表示させて代替案
の中から選択させるその他の表現モードに適していよ
う。
【００７６】プロシージャ： １．各閉曲線経路について、中間データ構造を構成す
る。（これをＢ−ｓｔｒｕｃｔと呼ぶ。Ｂ−ｓｔｒｕｃ
ｔはこの構造の任意の呼び方である）。Ｂ−ｓｔｒｕｃ
ｔは、ａｌｔ−ｉｎｔｅｒｐｒｅｔａｔｉｏｎｓ−ｌｉ
ｓｔ、ｃｏｎｔａｉｎｓ、ｃｏｎｔａｉｎｅｄ−ｂｙと
呼ばれるデータスロットを備えている。ａｌｔ−ｉｎｔ
ｅｒｐｒｅｔａｔｉｏｎｓ−ｌｉｓｔスロット内に、こ
の閉路の代替解釈のリスト（例えば経路を構成するスト
ローク・フラグメント、ストローク・フラグメントに当
てはめられた長方形の数学的表現、およびストローク・
フラグメントに当てはめられた楕円の数学的な表現のリ
スト）を登録する（１９４）。
【００７７】２．各開曲線経路について、中間Ｂ−ｓｔ
ｒｕｃｔ構造を形成し、ａｌｔ−ｉｎｔｅｒｐｒｅｔａ
ｔｉｏｎｓ−ｌｉｓｔスロット内に、この開路の代替解
釈のリスト（例えば、経路を構成するストローク・フラ
グメントのリスト、経路を構成するストローク・フラグ
メントに経路に関連付けられた矢印を加えたグループ、
および経路の形状のパラメータ近似）を登録する（１９
６）。
【００７８】３．各テキストグループについて、中間Ｂ
−ｓｔｒｕｃｔ構造を形成し、ａｌｔ−ｉｎｔｅｒｐｒ
ｅｔａｔｉｏｎｓ−ｌｉｓｔスロット内に、このテキス
トグループの代替解釈のリスト（例えばビットマップオ
ブジェクトとストローク・フラグメントの単純なグルー
プ、インデント付リストの表現）を登録する（１９
８）。
【００７９】４．包含関係を判定する。閉曲線経路を表
現する各Ｂ−ｓｔｒｕｃｔについて、他のすべてのＢ−
ｓｔｒｕｃｔｓをテストして、後者のオブジェクトが閉
曲線経路の境界内に含まれているか否かを判定する。そ
の場合、ｃｏｎｔａｉｎｓおよびｃｏｎｔａｉｎｅｄ−
ｂｙスロットを用いてＢ−ｓｔｒｕｃｔの識別子を相互
参照することによりこの関係を注記する（２００）。
【００８０】５．ｃｏｎｔａｉｎｅｄ−ｂｙスロットが
空であるすべてのＢ−ｓｔｒｕｃｔｓ を選択する。こ
のような各Ｂ−ｓｔｒｕｃｔにつて、タイプがＡＬＴＥ
ＲＮＡＴＩＶＥである代替グラフのノードを生成する
（２０２）。
【００８１】６．各代替ノードについて以下のステップ
を実行する（２０４）。 ６ａ．Ｂ−ｓｔｒｕｃｔのａｌｔ−ｉｎｔｅｒｐｒｅｔ
ａｔｉｏｎｓ−ｌｉｓｔのスロットおよびｃｏｎｔａｉ
ｎｓスロット内のポインタをしらみつぶしに追跡するこ
とにより、代替ノードのＢ−ｓｔｒｕｃｔに関係するオ
ブジェクトの集合を横断的に調べる。遭遇した各Ｂ−ｓ
ｔｒｕｃｔにおいて、代替解釈の数をカウントする。代
替ノードの全子孫にわたるカウントの最大値をＮと称す
る（２０６）。
【００８２】６ｂ．Ｎ個のタイプＣＨＯＩＣＥのノード
を生成し、これらを代替ノードとリンクする（２０
８）。
【００８３】６ｃ．代替ノードの各選択肢について、下
記のようにｃｏｎｔａｉｎｓスロット（図３２の２０９
ａ）およびａｌｔ−ｉｎｔｅｒｐｒｅｔａｔｉｏｎｓ−
ｌｉｓｔスロット（図３２の２０９Ｂ）の中をＢ−ｓｔ
ｒｕｃｔ構造へのリンクを辿ることにより子孫およびネ
ストされたオブジェクトの木を生成するステップへ進
む。 （ｉ）ｃｏｎｔａｉｎｓスロットが空でないことがわか
った場合、タイプＧＲＯＵＰのノードを形成する。この
グループノードを、当該Ｂ−ｓｔｒｕｃｔを導出した親
ノードへリンクする。 （ｉｉ）このルート代替ノードの選択肢における図形対
象を表現するａｌｔ−ｉｎｔｅｒｐｒｅｔａｔｉｏｎｓ
−ｌｉｓｔのメンバーの１個を選択する。通常、選択さ
れた解釈はこの選択肢の他の解釈の特性に基づく。例え
ば、１個の選択肢は曲線経路をストローク・フラグメン
トの単純なグループとして扱いたいであろう。一方、別
の選択肢はそれらを直線、多角形、長方形、または円錐
パラメータ近似等の正式図形オブジェクト解釈として扱
いたいであろう。 （ｉｉｉ）選択された解釈がストローク・フラグメント
またはビットマップオブジェクトのリストにより表現さ
れる場合、タイプＧＲＯＵＰのノードを生成してストロ
ーク・フラグメントをそのグループのメンバーリストに
登録する。グループノードがＢスロットのｃｏｎｔａｉ
ｎｓリストに起因して形成されている場合、このグルー
プをの下位のものとしてリンクする（２１０）。
【００８４】（４．５．構造化図形エディタへの受け渡
し）代替グラフを用いて、エディタ・ソフトウェア・プ
ログラムで利用できるソフトウェアＡＰＩに依存し、か
つ所望の代替解釈表現フォーマットに依存する特定のプ
ロトコルと手段を利用して構造化テキスト／図形エディ
タ内に表現スライドが生成される。
【００８５】一例として、図３３にも示すように、代替
グラフを構造化テキスト／図形エディタ（すなわちＰｏ
ｗｅｒＰｏｉｎｔ（登録商標）その他のエディタ）へ複
数の解釈スライドとして受け渡すプロシージャ２２０を
開示する。
【００８６】１．公表されているＣＯＭ ＡＰＩを用い
て構造化テキスト／図形エディタ。アプリケーション・
インスタンスを開始する（２２２）。
【００８７】２．代替グラフ内の代替ノードのリストを
調べて、選択ノードの最大数Ｎを決定する（２２４）。
【００８８】３．エディタアプリケーションで対話オブ
ジェクトを用いて、Ｎ枚の新しいスライドを生成する
（２２６）。
【００８９】４．代替グラフの各代替ノードについて、
オブジェクトの仕様を実行中のエディタアプリケーショ
ンへ送ることにより、再帰的に子オブジェクトをインス
タンス生成する。このようにインスタンス生成されたす
べてのテキストまたは図形オブジェクトについて、エデ
ィタ・アプリケーションはオブジェクト識別子を返す
（２２８）。
【００９０】５．タイプＧＲＯＵＰのノードに遭遇した
場合、グループのメンバーリストに掲載されたオブジェ
クトを再帰的にインスタンス生成する。インスタンス生
成されたすべてのオブジェクトの識別子を集めて、これ
らをメンバーとして掲載するグループオブジェクトのイ
ンスタンスを生成する（２３０）。
【００９１】
【発明の効果】本発明によれば、手書きイメージをイメ
ージを構造化テキスト／図形エディタに取り込むプロセ
スを省力化および簡便化することができる。
【図面の簡単な説明】
【図１】 本発明の概念を含むシステムの図である。
【図２】 手書きスケッチ図である。
【図３】 構造化テキスト／図形編集システムへピクチ
ャ・オブジェクトとして取り込まれ、ストレッチングや
クロッピング等の利用可能なビットマップ修正操作に従
って修正される手書きスケッチイメージである。
【図４】 本発明の概念に基づいて構造化テキスト／図
形編集システムへ入力された手書きスケッチイメージを
表示し、各々個別に操作可能なピクチャ・オブジェクト
図である。
【図５】 図形／テキスト編集システムにおける本発明
の概念の実装を通じて取得可能な手書きスケッチ素材や
それらの素材のさまざまな解釈の例である。
【図６】 図形／テキスト編集システムにおける本発明
の概念の実装を通じて取得可能な手書きスケッチ素材や
それらの素材のさまざまな解釈の例である。
【図７】 図形／テキスト編集システムにおける本発明
の概念の実装を通じて取得可能な手書きスケッチ素材や
それらの素材のさまざまな解釈の例である。
【図８】 図形／テキスト編集システムにおける本発明
の概念の実装を通じて取得可能な手書きスケッチ素材や
それらの素材のさまざまな解釈の例である。
【図９】 図形／テキスト編集システムにおける本発明
の概念の実装を通じて取得可能な手書きスケッチ素材や
それらの素材のさまざまな解釈の例である。
【図１０】 図形／テキスト編集システムにおける本発
明の概念の実装を通じて取得可能な手書きスケッチ素材
やそれらの素材のさまざまな解釈の例である。
【図１１】 図形／テキスト編集システムにおける本発
明の概念の実装を通じて取得可能な手書きスケッチ素材
やそれらの素材のさまざまな解釈の例である。
【図１２】 図形／テキスト編集システムにおける本発
明の概念の実装を通じて取得可能な手書きスケッチ素材
やそれらの素材のさまざまな解釈の例である。
【図１３】 ダミー文字をテキスト文字で置き変換する
さまざまな段階である。
【図１４】 ダミー文字をテキスト文字で置き変換する
さまざまな段階である。
【図１５】 ダミー文字をテキスト文字で置き変換する
さまざまな段階である。
【図１６】 本発明の概念に基づいて利用できる別のグ
ラフである。
【図１７】 構造化テキスト／図形エディタシステム内
のイメージの正式解釈に作用しながら、オリジナルまた
は略式解釈を表示する各種のプロセスである。
【図１８】 構造化テキスト／図形エディタシステム内
のイメージの正式解釈に作用しながら、オリジナルまた
は略式解釈を表示する各種のプロセスである。
【図１９】 構造化テキスト／図形エディタシステム内
のイメージの正式解釈に作用しながら、オリジナルまた
は略式解釈を表示する各種のプロセスである。
【図２０】 構造化テキスト／図形エディタシステム内
のイメージの正式解釈に作用しながら、オリジナルまた
は略式解釈を表示する各種のプロセスである。
【図２１】 本発明の実施の形態による全体システム設
計のフロー図である。
【図２２】 テキストオブジェクトの別の解釈を検出す
るためのイメージ解析のフロー図である。
【図２３】 テキストオブジェクトの別の解釈を検出す
るためのイメージ解析のフロー図である。
【図２４】 図形オブジェクトの別の知覚的に重要な解
釈を反映しているストローク・フラグメント・オブジェ
クトの集合を検出するフロー図である。
【図２５】 図形オブジェクトの別の知覚的に重要な解
釈を反映しているストローク・フラグメント・オブジェ
クトの集合を検出するフロー図である。
【図２６】 曲線整列の測定を示す図である。
【図２７】 一意な整列関係を表わさないストロークの
形状を示す図である。
【図２８】 ２個の曲線的ストローク間のコーナー関係
を判定するために用いるサンプル的な形状測定である。
【図２９】 曲線的ストロークが一意なコーナー関係を
示さない構成である。
【図３０】 テキストおよび線画オブジェクトの別のグ
ラフを構成するためのフロー図である。
【図３１】 テキストおよび線画オブジェクトの別のグ
ラフを構成するためのフロー図である。
【図３２】 図３０〜３１のフローに基づいて一部が構
成できる別のグラフである。
【図３３】 別のグラフを構造化テキスト／図形エディ
タへエクスポートするプロシージャである。
【符号の説明】
１０ 本発明の概念が実装可能であるシステム、１２
手書きページ、１４スキャナ、１６ ビットマップ化イ
メージ、１８ 画面、２０，２８ 電子装置、２２ 変
換システム、２４ ホワイトボードまたはデジタルイン
ク装置、２６ビットマップ化またはデジタルインク・イ
メージ、３０ デジタルインク・イメージ、３２ オリ
ジナルの非電子的スケッチ、３４ ピクチャ・オブジェ
クト、４０ 長方形の形状、４２，４４，４６ テキス
ト行、４８ テキスト項目、５０ 正式テキスト・ボッ
クス、５２ “ダミー”コンテンツ、６０ 代替グラ
フ、６２ （粗い）部分、７０ 正式テキスト、７２
略式テキスト、７４ バブル／バルーン、７６ 描画テ
キスト、７８ ポップアップウインドウ、８０可能な表
現、８２ テキスト、９０ 全体システム設計。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 トーマス ピー モラン アメリカ合衆国 カリフォルニア パロ アルト グリーンウッド アベニュー 1037 (72)発明者 ダニエル エル ラーナー アメリカ合衆国 カリフォルニア サン ノゼ オーク キャニオン ドライブ 1495 (72)発明者 ジェームズ ヴィ マホーニー アメリカ合衆国 カリフォルニア パロ アルト アルト メサ アベニュー 4175 (72)発明者 トッド エイ キャス アメリカ合衆国 カリフォルニア サンフ ランシスコ ディグビィ ストリート ４ Ｆターム(参考） 5B050 BA06 BA16 CA05

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】 ビットマップ化イメージを受信するステ
    ップと、前記ビットマップ化イメージを、構造化テキス
    ト／図形エディタにより編集可能な前記ビットマップ化
    イメージの構造化オブジェクト表現に変換するステップ
    とを含むことを特徴とする、イメージ解析および変換方
    法。
  2. 【請求項２】 前記変換ステップは、前記ビットマップ
    化イメージを複数の代替解釈に変更するステップを含む
    ことを特徴とする、請求項１に記載の方法。
  3. 【請求項３】 前記ビットマップ化イメージを前記複数
    の代替解釈に変更するステップは、 前記ビットマップ化イメージを前記構造化テキスト／図
    形エディタにより編集可能な略式構造化オブジェクト表
    現に変更するステップと、 前記ビットマップ化イメージを前記構造化テキスト／図
    形エディタにより編集可能な正式構造化オブジェクト表
    現に変更するステップとを含むことを特徴とする、請求
    項２に記載の方法。
  4. 【請求項４】 ビットマップ化イメージを受信するイメ
    ージ受信ステーションと、前記ビットマップ化イメージ
    を、構造化テキスト／図形エディタにより編集可能な前
    記ビットマップ化イメージの構造化オブジェクト表現に
    変換すべく構成されている変換器とを含むことを特徴と
    する、イメージ解析および変換システム。
  5. 【請求項５】 前記変換器が前記ビットマップ化イメー
    ジを、前記ビットマップ化イメージの構造化オブジェク
    ト表現に変換する際に、前記構造化オブジェクトは正式
    構造化オブジェクトと略式構造化オブジェクトのうち少
    なくとも一方の形式であることを特徴とする、請求項４
    に記載のシステム。
  6. 【請求項６】 前記変換器は、 ビットマップイメージを処理して、プリミティブ・イメ
    ージオブジェクトのクラスを（ｉ）テキスト文字程度の
    小さい接続コンポーネント、（ｉｉ）ストローク・フラ
    グメントと呼ばれる、結合部により単純化されたほぼ真
    直ぐな曲線的ラインフラグメント、（ｉｉｉ）大きい図
    形オブジェクト、に分離するイメージ処理および分割モ
    ジュールと、 テキスト行とカラムを形成している文字のラン（連な
    り）を表現するビットマップおよびストロークオブジェ
    クトのグループ分けを識別して、各々そのテキストグル
    ープの２個以上の代替解釈を含んでいるテキストグルー
    プ構造のリストを生成するテキスト識別およびレイアウ
    ト解析モジュールと、 ストロークオブジェクトのグループ分けを識別して、そ
    れぞれ線画オブジェクトの２個以上の代替解釈を含む線
    画グループオブジェクトのリストを生成する線画解析モ
    ジュールと、 入力として各グループの代替解釈を含むテキストと線画
    グループのリストを入力として取り込み、代替グラフを
    生成する代替グラフ生成モジュールと、 代替グラフを横断的に調べて、テキストと線画オブジェ
    クトおよびグループの階層を含む適切な表現スライドを
    作成する構造化図形エディタモジュールへの受け渡しモ
    ジュールとを含むことを特徴とする、請求項５に記載の
    イメージ解析および変換システム。
JP2003016861A 2002-01-25 2003-01-27 ビットマップ化イメージを構造化テキスト／図形エディタで利用すべく変換するシステム Expired - Fee Related JP4340076B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/056,560 2002-01-25
US10/056,560 US7139004B2 (en) 2002-01-25 2002-01-25 Method and apparatus to convert bitmapped images for use in a structured text/graphics editor

Publications (2)

Publication Number Publication Date
JP2003228718A true JP2003228718A (ja) 2003-08-15
JP4340076B2 JP4340076B2 (ja) 2009-10-07

Family

ID=22005218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003016861A Expired - Fee Related JP4340076B2 (ja) 2002-01-25 2003-01-27 ビットマップ化イメージを構造化テキスト／図形エディタで利用すべく変換するシステム

Country Status (4)

Country Link
US (2) US7139004B2 (ja)
EP (1) EP1331591B1 (ja)
JP (1) JP4340076B2 (ja)
DE (1) DE60321065D1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007509413A (ja) * 2003-10-24 2007-04-12 マイクロソフト コーポレーション リアルタイムインキング

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7136082B2 (en) * 2002-01-25 2006-11-14 Xerox Corporation Method and apparatus to convert digital ink images for use in a structured text/graphics editor
US20060188162A1 (en) * 2002-10-31 2006-08-24 Microsoft Corporation Common interface for ink trees
DE10325843B4 (de) * 2003-06-06 2005-06-23 OCé PRINTING SYSTEMS GMBH Verfahren, Drucksystem, Computer und Computerprogramm zum Verwalten von Resourcen zur Verwendung in einem resourcenbasierten Dokumentendatenstrom
US7295708B2 (en) * 2003-09-24 2007-11-13 Microsoft Corporation System and method for detecting a list in ink input
US7352902B2 (en) * 2003-09-24 2008-04-01 Microsoft Corporation System and method for detecting a hand-drawn object in ink input
US7324691B2 (en) * 2003-09-24 2008-01-29 Microsoft Corporation System and method for shape recognition of hand-drawn objects
US20050166149A1 (en) * 2004-01-23 2005-07-28 Microsoft Corporation Table of contents display
US7400771B2 (en) * 2004-09-21 2008-07-15 Microsoft Corporation System and method for connected container recognition of a hand-drawn chart in ink input
US7440616B2 (en) 2004-09-21 2008-10-21 Microsoft Corporation System and method for recognition of a hand-drawn chart in ink input
US7409088B2 (en) * 2004-09-21 2008-08-05 Microsoft Corporation System and method for connectivity-based recognition of a hand-drawn chart in ink input
US7394936B2 (en) * 2004-09-21 2008-07-01 Microsoft Corporation System and method for curve recognition in a hand-drawn chart in ink input
JP4667386B2 (ja) * 2004-09-24 2011-04-13 富士通株式会社 業務モデル図作成支援プログラム、業務モデル図作成支援方法、および業務モデル図作成支援装置
US8176054B2 (en) 2007-07-12 2012-05-08 Ricoh Co. Ltd Retrieving electronic documents by converting them to synthetic text
US8521737B2 (en) * 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US8868555B2 (en) 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US8510283B2 (en) 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US8335789B2 (en) * 2004-10-01 2012-12-18 Ricoh Co., Ltd. Method and system for document fingerprint matching in a mixed media environment
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US8156115B1 (en) 2007-07-11 2012-04-10 Ricoh Co. Ltd. Document-based networking with mixed media reality
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US8385589B2 (en) 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US8600989B2 (en) * 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US7970171B2 (en) 2007-01-18 2011-06-28 Ricoh Co., Ltd. Synthetic image and video generation from ground truth data
US8332401B2 (en) 2004-10-01 2012-12-11 Ricoh Co., Ltd Method and system for position-based image matching in a mixed media environment
US8369655B2 (en) 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US8276088B2 (en) 2007-07-11 2012-09-25 Ricoh Co., Ltd. User interface for three-dimensional navigation
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US8676810B2 (en) 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US9020966B2 (en) 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
KR101288970B1 (ko) * 2006-11-28 2013-07-24 삼성전자주식회사 렌더링 장치 및 방법
AU2006252025B2 (en) * 2006-12-13 2012-10-04 Canon Kabushiki Kaisha Recognition of parameterised shapes from document images
AU2006252019B2 (en) * 2006-12-13 2012-06-28 Canon Kabushiki Kaisha Method and Apparatus for Dynamic Connector Analysis
US7907141B2 (en) * 2007-03-23 2011-03-15 Palo Alto Research Center Incorporated Methods and processes for recognition of electronic ink strokes
US8014607B2 (en) * 2007-03-23 2011-09-06 Palo Alto Research Center Incorporated Method and apparatus for creating and editing node-link diagrams in pen computing systems
US7725493B2 (en) * 2007-03-23 2010-05-25 Palo Alto Research Center Incorporated Optimization method and process using tree searching operation and non-overlapping support constraint requirements
US20080304113A1 (en) * 2007-06-06 2008-12-11 Xerox Corporation Space font: using glyphless font for searchable text documents
US8275197B2 (en) 2008-06-14 2012-09-25 Microsoft Corporation Techniques to manage a whiteboard for multimedia conference events
US8189925B2 (en) * 2009-06-04 2012-05-29 Microsoft Corporation Geocoding by image matching
US8385660B2 (en) 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
AU2009217445A1 (en) * 2009-09-22 2011-04-07 Canon Kabushiki Kaisha Fast line linking
US9218680B2 (en) * 2010-09-01 2015-12-22 K-Nfb Reading Technology, Inc. Systems and methods for rendering graphical content and glyphs
US9250834B2 (en) 2010-12-01 2016-02-02 Xerox Corporation Method and apparatus for reading and replacing control and/or identification data in a print image to support document tracking, flow control, and security
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
US8942484B2 (en) * 2011-09-06 2015-01-27 Qualcomm Incorporated Text detection using image regions
US9036203B2 (en) 2011-09-22 2015-05-19 Samsung Electronics Co., Ltd. Print controlling apparatus, image forming apparatus, and method for forming image
JP5854774B2 (ja) 2011-11-11 2016-02-09 株式会社Pfu 画像処理装置、直線検出方法及びコンピュータプログラム
JP5822664B2 (ja) 2011-11-11 2015-11-24 株式会社Pfu 画像処理装置、直線検出方法及びコンピュータプログラム
JP5871571B2 (ja) * 2011-11-11 2016-03-01 株式会社Pfu 画像処理装置、矩形検出方法及びコンピュータプログラム
US20160041965A1 (en) * 2012-02-15 2016-02-11 Keyless Systems Ltd. Improved data entry systems
JP5619066B2 (ja) * 2012-04-27 2014-11-05 京セラドキュメントソリューションズ株式会社 文書管理装置および文書管理プログラム
US8812376B2 (en) * 2012-09-28 2014-08-19 Wal-Mart Stores, Inc. Techniques for generating an electronic shopping list
KR101337872B1 (ko) * 2013-04-04 2013-12-06 주식회사 디오텍 잉크 텍스트 데이터 편집장치 및 잉크 텍스트 데이터 편집방법
KR102240279B1 (ko) 2014-04-21 2021-04-14 삼성전자주식회사 컨텐트 처리 방법 및 그 전자 장치
US9367766B2 (en) * 2014-07-22 2016-06-14 Adobe Systems Incorporated Text line detection in images
US9864479B2 (en) 2014-12-19 2018-01-09 Xerox Corporation System and method for managing and reviewing document integration and updates
US20180101724A1 (en) * 2015-06-04 2018-04-12 Mowdo System and method for capturing and interpreting images into triple diagrams
US9842251B2 (en) * 2016-01-29 2017-12-12 Konica Minolta Laboratory U.S.A., Inc. Bulleted lists
US9948927B2 (en) * 2016-03-10 2018-04-17 Intel Corporation Using an optical interface between a device under test and a test apparatus
US10628526B2 (en) 2017-05-26 2020-04-21 Microsoft Technology Licensing, Llc Providing suggested diagrammatic representations of user entered textual information
US10430649B2 (en) 2017-07-14 2019-10-01 Adobe Inc. Text region detection in digital images using image tag filtering
US10761719B2 (en) * 2017-11-09 2020-09-01 Microsoft Technology Licensing, Llc User interface code generation based on free-hand input
US10783323B1 (en) * 2019-03-14 2020-09-22 Michael Garnet Hawkes Analysis system
US11011183B2 (en) * 2019-03-25 2021-05-18 Cisco Technology, Inc. Extracting knowledge from collaborative support sessions
CN116863054A (zh) * 2023-07-18 2023-10-10 上海秉匠信息科技有限公司 一种生成三维可视化场景的方法、装置、设备和存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5041992A (en) * 1988-10-24 1991-08-20 University Of Pittsburgh Interactive method of developing software interfaces
CA2039652C (en) * 1990-05-30 1996-12-24 Frank Zdybel, Jr. Hardcopy lossless data storage and communications for electronic document processing systems
US5255354A (en) * 1990-06-08 1993-10-19 Xerox Corporation Comparison of image shapes based on near neighbor data
US5251268A (en) * 1991-08-09 1993-10-05 Electric Power Research Institute, Inc. Integrated method and apparatus for character and symbol recognition
CA2077274C (en) * 1991-11-19 1997-07-15 M. Margaret Withgott Method and apparatus for summarizing a document without document image decoding
US5359673A (en) 1991-12-27 1994-10-25 Xerox Corporation Method and apparatus for converting bitmap image documents to editable coded data using a standard notation to record document recognition ambiguities
IL106401A (en) * 1992-08-07 1997-02-18 Donnelley & Sons Co Method and system for converting bitmap data into page definition language commands
US5537491A (en) * 1993-11-24 1996-07-16 Xerox Corporation Analyzing an image or other data to obtain a stable number of groups
US5659639A (en) * 1993-11-24 1997-08-19 Xerox Corporation Analyzing an image showing editing marks to obtain category of editing operation
US5563991A (en) * 1993-11-24 1996-10-08 Xerox Corporation Using an image showing a perimeter relationship representation to obtain data indicating a relationship among distinctions
US5544267A (en) * 1993-11-24 1996-08-06 Xerox Corporation Using a category to analyze an image showing a graphical representation
CA2153684C (en) * 1993-12-01 2000-03-21 John L. C. Seybold Combined dictionary based and likely character string method of handwriting recognition
US5734761A (en) * 1994-06-30 1998-03-31 Xerox Corporation Editing scanned document images using simple interpretations
US5666503A (en) * 1994-11-14 1997-09-09 Xerox Corporation Structured image (SI) image editor and method for editing structured images
TW367447B (en) * 1994-12-21 1999-08-21 Canon Kk Block selection review and editing system
US5874966A (en) * 1995-10-30 1999-02-23 International Business Machines Corporation Customizable graphical user interface that automatically identifies major objects in a user-selected digitized color image and permits data to be associated with the major objects
US6009196A (en) * 1995-11-28 1999-12-28 Xerox Corporation Method for classifying non-running text in an image
US6078403A (en) * 1996-10-21 2000-06-20 International Business Machines Corporation Method and system for specifying format parameters of a variable data area within a presentation document
US6141012A (en) * 1997-03-31 2000-10-31 Xerox Corporation Image processing code generation based on structured image (SI) techniques
JP3478725B2 (ja) * 1997-07-25 2003-12-15 株式会社リコー 文書情報管理システム
US6020972A (en) * 1997-11-14 2000-02-01 Xerox Corporation System for performing collective symbol-based compression of a corpus of document images
US5999664A (en) * 1997-11-14 1999-12-07 Xerox Corporation System for searching a corpus of document images by user specified document layout components
US5889523A (en) * 1997-11-25 1999-03-30 Fuji Xerox Co., Ltd. Method and apparatus for dynamically grouping a plurality of graphic objects
US6470095B2 (en) * 1998-10-13 2002-10-22 Xerox Corporation Automatic extraction of text regions and region borders for an electronic work surface
US6411733B1 (en) * 1998-11-25 2002-06-25 Xerox Corporation Method and apparatus for separating document image object types
US6377710B1 (en) * 1998-11-25 2002-04-23 Xerox Corporation Method and apparatus for extracting the skeleton of a binary figure by contour-based erosion
JP4183819B2 (ja) * 1999-01-26 2008-11-19 オリンパス株式会社 医療用画像ファイリングシステム
US6389435B1 (en) * 1999-02-05 2002-05-14 Fuji Xerox, Co, Ltd. Method and system for copying a freeform digital ink mark on an object to a related object
US6870545B1 (en) * 1999-07-26 2005-03-22 Microsoft Corporation Mixed but indistinguishable raster and vector image data types
EP1252603A1 (en) * 2000-02-01 2002-10-30 Scansoft, Inc. Automatic conversion of static documents into dynamic documents
US6961064B2 (en) * 2001-06-28 2005-11-01 Hewlett-Packard Development Company, L.P. System and method for combining graphics formats in a digital video pipeline
US20030007018A1 (en) * 2001-07-09 2003-01-09 Giovanni Seni Handwriting user interface for personal digital assistants and the like
EP1298524A1 (en) * 2001-09-28 2003-04-02 Ricoh Company, Ltd. Conference support apparatus, information processor, teleconference system and computer product
US7136082B2 (en) * 2002-01-25 2006-11-14 Xerox Corporation Method and apparatus to convert digital ink images for use in a structured text/graphics editor

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007509413A (ja) * 2003-10-24 2007-04-12 マイクロソフト コーポレーション リアルタイムインキング
JP4698599B2 (ja) * 2003-10-24 2011-06-08 マイクロソフト コーポレーション リアルタイムインキング
US8199131B2 (en) 2003-10-24 2012-06-12 Microsoft Corporation Synchronization of plugins

Also Published As

Publication number Publication date
US7576753B2 (en) 2009-08-18
EP1331591A3 (en) 2006-05-10
EP1331591B1 (en) 2008-05-21
US20030142106A1 (en) 2003-07-31
US20060214937A1 (en) 2006-09-28
DE60321065D1 (de) 2008-07-03
US7139004B2 (en) 2006-11-21
EP1331591A2 (en) 2003-07-30
JP4340076B2 (ja) 2009-10-07

Similar Documents

Publication Publication Date Title
JP4340076B2 (ja) ビットマップ化イメージを構造化テキスト／図形エディタで利用すべく変換するシステム
JP4339602B2 (ja) デジタルインクイメージを構造化テキスト／図形エディタで利用すべく変換するシステム
US6952803B1 (en) Method and system for transcribing and editing using a structured freeform editor
JP5036152B2 (ja) フリーフォームデジタルインク注釈認識
US6487570B1 (en) Script character processing method for automatically supplementing blank writing space
US7926732B2 (en) OCR sheet-inputting device, OCR sheet, program for inputting an OCR sheet and program for drawing an OCR sheet form
US7788579B2 (en) Automated document layout design
US5590257A (en) Script character processing method and system with bit-mapped document editing
McDaniel et al. Kekule: OCR-optical chemical (structure) recognition
US20030179214A1 (en) System and method for editing electronic images
WO1996037861A1 (en) Computer automated system and method for converting source documents bearing alphanumeric text relating to survey measurements
KR20110081099A (ko) 문서를 디지털화하는 장치 및 방법과, 컴퓨터 판독가능 기록 매체
JP2001175807A (ja) テキスト領域選択方法
JP2022090469A (ja) 書式定義装置、書式定義方法、及びプログラム
Fouladi et al. Toward automatic development of handwritten personal Farsi/Arabic OpenType® fonts
JPH10222688A (ja) 画像処理方法
JP4574347B2 (ja) 画像処理装置、方法及びプログラム
JP2016114910A (ja) コンピューター、出力制御プログラムおよび出力物生産方法
Notowidigdo User-directed sketch interpretation
JPH11219442A (ja) 文書編集出力装置
Butler Human interaction with digital ink: legibility measurement and structural analysis
JPH09204481A (ja) イメージ処理機能付きワードプロセッサ
James Illustration and Font Design
JPH0927009A (ja) 文字認識装置及び文字認識方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080819

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081113

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090427

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090703

R150 Certificate of patent or registration of utility model

Ref document number: 4340076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130710

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees