JP2014038518A - 手書き文書処理装置、方法およびプログラム - Google Patents
手書き文書処理装置、方法およびプログラム Download PDFInfo
- Publication number
- JP2014038518A JP2014038518A JP2012180958A JP2012180958A JP2014038518A JP 2014038518 A JP2014038518 A JP 2014038518A JP 2012180958 A JP2012180958 A JP 2012180958A JP 2012180958 A JP2012180958 A JP 2012180958A JP 2014038518 A JP2014038518 A JP 2014038518A
- Authority
- JP
- Japan
- Prior art keywords
- ruled line
- ruled
- lines
- line
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/147—Determination of region of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/333—Preprocessing; Feature extraction
- G06V30/347—Sampling; Contour coding; Stroke extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
- Character Input (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】手書きされた罫線を適切に処理して表の整形を行えるようにする。
【解決手段】実施形態によれば、手書き文書処理装置が提供される。該装置の入力部は、ストロークデータを入力する。分類部は、前記ストロークデータを複数の罫線のデータと罫線以外のストロークデータとに分類する。分割部は、前記複数の罫線を包含する領域を、4つの罫線で囲まれたセルに対応する第1領域と、高々3つの罫線しか含まない第2領域とに分割する。判定部は、前記第2領域内の罫線は、その一方の端点に罫線が接続されない第1罫線と、その一方の端点に仮想の外接罫線が接続される第2罫線のどちらであるかを判定する。
【選択図】図1
Description
画1:(x(1,1),y(1,1)), (x(1,2),y(1,2)),…, (x(1,N(1)),y(1,N(1)))
画2:(x(2,1),y(2,1)), (x(2,2),y(2,2)),…, (x(2,N(2)),y(2,N(2)))
…
ただし、N(i)は画iサンプリング時の点数である。ストロークデータ1(筆跡データ)のより具体的なデータ構造の例については後述する。
実施例Aにおいて、判定部7は、セルを構成する罫線のストローク長から算出した統計量に基づく第1基準値を下回る罫線をはみ出し罫線であると判定する。
(ステップS1)
図9に示すセル領域(RA1〜RA4)の複数の罫線のストロークに基づいて、罫線の統計量を算出する。単純には、縦ストローク長の平均および横ストローク長の平均をそれぞれ統計量として用いる。
未処理のはみ出し領域があるか否かを判定する。全てのはみ出し領域を処理したら終了する。
はみ出し領域を構成する罫線はステップS1の統計量に基づく基準を満たすか否かを判定する。ここで、縦ストローク長の平均に所定係数(例えば0.5)を乗じた値を縦ストロークの第1基準値とし、横ストローク長の平均に所定係数を乗じた値を横ストロークの第1基準値とする。
はみ出し領域を構成する罫線が縦ストロークであれば、当該罫線の縦ストローク長が縦ストローク長の第1基準値以上であるならば、当該罫線は、仮想の外接罫線に接続する罫線であると判定する。一方、はみ出し領域を構成する罫線が横ストロークであれば、当該罫線の横ストローク長が横ストローク長の第1基準値以上であるならば、当該罫線についても仮想の外接罫線に接続する罫線であると判定する。これらは、ステップS3の判定において基準を満たすものに該当する。
はみ出し領域を構成する罫線が縦ストロークであれば、当該罫線の縦ストローク長が縦ストローク長の第1基準値を下回るならば、当該罫線は、はみ出し罫線であると判定する。一方、はみ出し領域を構成する罫線が横ストロークであれば、当該罫線の横ストローク長が横ストローク長の第1基準値を下回るならば、当該罫線についてもはみ出し罫線であると判定する。これらは、ステップS3の判定において基準を満たさないものに該当する。
実施例Bは、罫線の長さに依存しない判定を行う点で実施例Aとは異なる。実施例Bにおいて、判定部7は、はみ出し領域内の罫線以外のストロークの数が第2基準値以上であるならば、当該はみ出し領域内の罫線は、仮想の外接罫線が接続される第2罫線であると判定する。はみ出し領域内の罫線以外のストロークとは、図12に示すように、手書きされた文字等を構成するストローク群HW1(手書きされた「好影響」)〜HW4(手書きされた「外部環境」)のことである。第2基準値(ストローク数)は、例えば4とする。本例において、ストローク群HW1〜HW4の各々は明らかに4ストローク以上である。
実施例Cは、セル領域が存在しない場合に対処するものである。この場合、セルを構成する罫線は存在しないから、実施例Aにおける統計量を求めることができない。また、罫線以外のストロークが手書き入力されていない場合についても、セルに相当する領域を検出することができないから、実施例Bを適用することはできない。
実施例Dは、実施例Bと組み合わせて実施することができる。実施例Bを適用した場合、第2基準値(罫線以外のストローク数の基準値)を用いて第2罫線(外接罫線に接続される罫線)が判定される。具体的には、図14に示すように、罫線以外のストローク群HW1を含んだ領域3、罫線以外のストローク群HW2を含んだ領域4、罫線以外のストローク群HW3を含んだ領域5は、第2罫線を含む領域、すなわち罫線の一部を欠いたセル領域であると判定される。
実施例Eにおいて、推定部8は、判定部7によって判定された第2罫線に接続される外接罫線を推定する第1の推定部を備える。第1の推定部は、図15に示すように、第2罫線の端点群G1およびG2のそれぞれについて、外接罫線L1およびL2を推定する。外接罫線L1およびL2は、手書き入力されておらず省略された仮想の外接罫線に相当する。例えば、端点群G1のY座標の平均位置を通る水平線を横(行)方向の外接罫線L1とし、端点群G2のX座標の平均位置を通る垂直線を縦(列)方向の外接罫線L2とする。同図に示すように、推定された外接罫線L1およびL2は、手書きの内容とともに表示部9によって表示される。
実施例E’は、実施例Eの変形例に関する。外接罫線を推定する際には、図16に示すように、罫線以外のストローク群HW1およびHW2、すなわち本例では手書きされた文字列にかからないように、外接罫線ALの水平位置を補正することが好ましい。
実施例Fにおいて、推定部8は、ユーザーによって手書きされた罫線の直線化罫線を推定する第2の推定部を備える。例えば図17に示すように、手書きの罫線L1〜L6について、各罫線の重心を通る直線RL1〜RL6が推定される。表示部9は、手書きの罫線L1〜L6に代えて直線RL1〜RL6を表示する。
実施例Gにおいて、表示部9は、推定部8によって推定された外接罫線(仮想線)と、ユーザーが手書き入力した罫線とを異なる表示形態で表示する。具体的には、ストロークの属性、例えば表示色、太さ、線種などを切り替える。例えば図18において、外接罫線FL1およびFL2は、推定部8によって推定され、補完されたものであり、他の罫線は、ユーザーが手書き入力した罫線である。両者を区別可能なように表示形態を異ならせる。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワーク等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は1つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。
Claims (11)
- ストロークデータを入力する入力部と、
前記ストロークデータを複数の罫線のデータと罫線以外のストロークデータとに分類する分類部と、
前記複数の罫線を包含する領域を、4つの罫線で囲まれたセルに対応する第1領域と、高々3つの罫線しか含まない第2領域とに分割する分割部と、
前記第2領域内の罫線は、その一方の端点に罫線が接続されない第1罫線と、その一方の端点に仮想の外接罫線が接続される第2罫線のどちらであるかを判定する判定部と、
を備えた手書き文書処理装置。 - 前記仮想の外接罫線を推定する第1の推定部をさらに備えた請求項1記載の装置。
- 前記複数の罫線の直線化罫線を推定する第2の推定部をさらに備えた請求項1記載の装置。
- 前記外接罫線を前記ストロークデータの複数の罫線とは異なる表示形態で表示する表示部をさらに備えた請求項2記載の装置。
- 前記判定部は、前記セルを構成する罫線のストローク長から算出した統計量に基づく第1基準値を下回る罫線を前記第1罫線であると判定する請求項1記載の装置。
- 前記判定部は、前記第2領域内の前記罫線以外のストロークの数およびストロークの合計長のいずれか一方が第2基準値以上であるならば、当該第2領域内の罫線は前記第2罫線であると判定する請求項1記載の装置。
- 前記判定部は、前記第2領域内の2つの罫線の交点で決まる2つの線分の長さの比に基づいて、短い方の線分は前記第1罫線であると判定する請求項1記載の装置。
- 前記判定部は、前記第2基準値を用いた前記第2罫線の判定結果を、罫線を共有する別の第2領域に適用し、当該別の第2領域内の罫線を前記第2罫線であると判定する請求項6記載の装置。
- ストロークデータを入力すること、
前記ストロークデータを複数の罫線のデータと罫線以外のストロークデータとに分類すること、
前記複数の罫線を包含する領域を、4つの罫線で囲まれたセルに対応する第1領域と、高々3つの罫線しか含まない第2領域とに分割すること、
前記第2領域内の罫線は、その一方の端点に罫線が接続されない第1罫線と、その一方の端点に仮想の外接罫線が接続される第2罫線のどちらであるかを判定すること、
を含む手書き文書処理方法。 - コンピュータを、
ストロークデータを入力する入力部、
前記ストロークデータを複数の罫線のデータと罫線以外のストロークデータとに分類する分類部、
前記複数の罫線を包含する領域を、4つの罫線で囲まれたセルに対応する第1領域と、高々3つの罫線しか含まない第2領域とに分割する分割部、
前記第2領域内の罫線は、その一方の端点に罫線が接続されない第1罫線と、その一方の端点に仮想の外接罫線が接続される第2罫線のどちらであるかを判定する判定部、
として機能させるためのプログラム。 - ストロークデータを入力し、前記ストロークデータを複数の罫線のデータと罫線以外のストロークデータとに分類し、前記複数の罫線を包含する領域を、4つの罫線で囲まれたセルに対応する第1領域と、高々3つの罫線しか含まない第2領域とに分割し、前記第2領域内の罫線は、その一方の端点に罫線が接続されない第1罫線と、その一方の端点に仮想の外接罫線が接続される第2罫線のどちらであるかを判定するように構成されたプロセッサと、
前記プロセッサに接続されたメモリと、
を備えた手書き文書処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012180958A JP5783972B2 (ja) | 2012-08-17 | 2012-08-17 | 手書き文書処理装置、方法およびプログラム |
PCT/JP2013/072486 WO2014027703A2 (en) | 2012-08-17 | 2013-08-16 | Handwritten document processing apparatus and method |
CN201380043857.5A CN104885095B (zh) | 2012-08-17 | 2013-08-16 | 手写文档处理设备和方法 |
US14/616,516 US9317493B2 (en) | 2012-08-17 | 2015-02-06 | Handwritten document processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012180958A JP5783972B2 (ja) | 2012-08-17 | 2012-08-17 | 手書き文書処理装置、方法およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015136651A Division JP6072148B2 (ja) | 2015-07-08 | 2015-07-08 | 手書き文書処理装置、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014038518A true JP2014038518A (ja) | 2014-02-27 |
JP5783972B2 JP5783972B2 (ja) | 2015-09-24 |
Family
ID=49326817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012180958A Active JP5783972B2 (ja) | 2012-08-17 | 2012-08-17 | 手書き文書処理装置、方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9317493B2 (ja) |
JP (1) | JP5783972B2 (ja) |
CN (1) | CN104885095B (ja) |
WO (1) | WO2014027703A2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9927971B2 (en) | 2014-12-05 | 2018-03-27 | Kabushiki Kaisha Toshiba | Electronic apparatus, method and storage medium for generating chart object |
JP2019067378A (ja) * | 2017-09-29 | 2019-04-25 | コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド | 手描きの表の識別 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9286527B2 (en) | 2014-02-20 | 2016-03-15 | Google Inc. | Segmentation of an input by cut point classification |
CN110008923B (zh) * | 2019-04-11 | 2021-07-27 | 网易有道信息技术(北京)有限公司 | 图像处理方法和训练方法、以及装置、介质、计算设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0528258A (ja) * | 1991-07-19 | 1993-02-05 | Fuji Xerox Co Ltd | 文字/図形分離装置付きフオーム入力装置 |
JPH1166225A (ja) * | 1997-08-25 | 1999-03-09 | Ricoh Co Ltd | 表情報抽出装置及び方法並びに記録媒体 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0850650A (ja) | 1994-08-03 | 1996-02-20 | Nippon Digital Kenkyusho:Kk | 図形清書化装置 |
US20030215145A1 (en) * | 2002-05-14 | 2003-11-20 | Microsoft Corporation | Classification analysis of freeform digital ink input |
US7412094B2 (en) * | 2004-09-21 | 2008-08-12 | Microsoft Corporation | System and method for editing a hand-drawn table in ink input |
US7583841B2 (en) * | 2005-12-21 | 2009-09-01 | Microsoft Corporation | Table detection in ink notes |
CN100464346C (zh) * | 2006-04-29 | 2009-02-25 | 北大方正集团有限公司 | 一种表格图像几何畸变的数字校正方法 |
US8352855B2 (en) * | 2009-01-02 | 2013-01-08 | Apple Inc. | Selection of text in an unstructured document |
CN101866335B (zh) * | 2010-06-14 | 2012-12-12 | 深圳市万兴软件有限公司 | 一种文档转换中的表格处理方法及装置 |
-
2012
- 2012-08-17 JP JP2012180958A patent/JP5783972B2/ja active Active
-
2013
- 2013-08-16 WO PCT/JP2013/072486 patent/WO2014027703A2/en active Application Filing
- 2013-08-16 CN CN201380043857.5A patent/CN104885095B/zh active Active
-
2015
- 2015-02-06 US US14/616,516 patent/US9317493B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0528258A (ja) * | 1991-07-19 | 1993-02-05 | Fuji Xerox Co Ltd | 文字/図形分離装置付きフオーム入力装置 |
JPH1166225A (ja) * | 1997-08-25 | 1999-03-09 | Ricoh Co Ltd | 表情報抽出装置及び方法並びに記録媒体 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9927971B2 (en) | 2014-12-05 | 2018-03-27 | Kabushiki Kaisha Toshiba | Electronic apparatus, method and storage medium for generating chart object |
JP2019067378A (ja) * | 2017-09-29 | 2019-04-25 | コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド | 手描きの表の識別 |
JP7195092B2 (ja) | 2017-09-29 | 2022-12-23 | コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド | 手描きの表の識別 |
Also Published As
Publication number | Publication date |
---|---|
US9317493B2 (en) | 2016-04-19 |
WO2014027703A2 (en) | 2014-02-20 |
JP5783972B2 (ja) | 2015-09-24 |
US20150154172A1 (en) | 2015-06-04 |
CN104885095A (zh) | 2015-09-02 |
WO2014027703A3 (en) | 2014-04-10 |
CN104885095B (zh) | 2018-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110531875B (zh) | 书写笔锋的生成方法、终端设备及存储介质 | |
US11403794B2 (en) | Glyph weight modification | |
US9020266B2 (en) | Methods and devices for processing handwriting input | |
WO2021237909A1 (zh) | 一种表格还原方法、装置、设备及存储介质 | |
JP5783972B2 (ja) | 手書き文書処理装置、方法およびプログラム | |
KR101323082B1 (ko) | 머징된 텍스트 경로에 효과를 적용하기 위한 컴퓨터로 구현된 방법, 컴퓨터 판독가능 매체 및 컴퓨팅 장치 | |
US20150067465A1 (en) | Handwritten document processing device, handwritten document processing method, and handwritten document processing program | |
EP3711027B1 (en) | System and method for drawing beautification | |
US20200210695A1 (en) | Utilizing optical character recognition (ocr) to remove biasing | |
CN103761220B (zh) | 一种资讯软件的文字排版技术方法 | |
JP6072148B2 (ja) | 手書き文書処理装置、方法およびプログラム | |
US20150213312A1 (en) | Image processing device, image processing method, program, and information storage medium | |
US20150042661A1 (en) | Handwritten document processing device, handwritten document processing method, and handwritten document processing program | |
US10176148B2 (en) | Smart flip operation for grouped objects | |
JP7195092B2 (ja) | 手描きの表の識別 | |
WO2021218448A1 (zh) | 笔迹形成方法、笔迹形成装置及电子设备 | |
US11551391B2 (en) | Digital image dynamic shadow generation | |
JP2024507308A (ja) | 画像サンプル生成方法、テキスト認識方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
US10846878B2 (en) | Multi-axis equal spacing smart guides | |
JP2017534121A (ja) | 手書き内容区分方法およびその機器、並びに手書き内容編集機器 | |
TWI450204B (zh) | 文字最小外輪廓的生成系統及方法 | |
JP4730033B2 (ja) | 表示図面作成プログラム、方法及び装置 | |
JP2017117340A (ja) | 文字属性推定装置、及び文字属性推定プログラム | |
JP2015111467A (ja) | 手書き文字検索装置、方法及びプログラム | |
US20160139783A1 (en) | Detecting sidebar in document |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131219 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131226 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140109 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150623 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150721 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5783972 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313121 Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |