JP2018536927A5 - - Google Patents

Download PDF

Info

Publication number
JP2018536927A5
JP2018536927A5 JP2018520175A JP2018520175A JP2018536927A5 JP 2018536927 A5 JP2018536927 A5 JP 2018536927A5 JP 2018520175 A JP2018520175 A JP 2018520175A JP 2018520175 A JP2018520175 A JP 2018520175A JP 2018536927 A5 JP2018536927 A5 JP 2018536927A5
Authority
JP
Japan
Prior art keywords
diagram
text
elements
computing device
strokes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018520175A
Other languages
English (en)
Other versions
JP6945527B2 (ja
JP2018536927A (ja
Filing date
Publication date
Priority claimed from US14/955,155 external-priority patent/US10643067B2/en
Application filed filed Critical
Publication of JP2018536927A publication Critical patent/JP2018536927A/ja
Publication of JP2018536927A5 publication Critical patent/JP2018536927A5/ja
Application granted granted Critical
Publication of JP6945527B2 publication Critical patent/JP6945527B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (16)

  1. コンピューティングデバイス上でテキスト要素及び非テキスト要素を含む図を手描きするためのシステムであって、
    前記コンピューティングデバイスは、入力された手描き図要素を検出及び認識するように構成されたプロセッサを備え、前記プロセッサは、
    前記コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブなデジタルインクにおいて複数の入力された図要素を表示させ、前記図要素は、ジオメトリ形状、コンテナ、コネクタ、又はテキストのうちの1つ又は複数を含み、
    前記図要素のうちの1つ又は複数を、各々の図要素のクラス及びタイプに従って前記図要素のうちの他の1つ又は複数に漸進的に関連付け、
    1つ又は複数のストロークの各々に対するテキスト、非テキスト、及びジャンク分類の各々に対して要素タイプ確率仮説を構築及び試験することによって、手描き入力の1つ又は複数のストロークをテキスト、非テキスト、又はジャンクとして分類することによって、各々の図要素の前記クラスを識別し、
    前記図要素を漸進的に再表示させ、図要素の表示特性は、前記デジタルインクとの1つ又は複数の受け取られたインタラクション、前記1つ又は複数の漸進的な関連付け、及び前記漸進的に関連付けられた図要素に対する前記1つ又は複数のインタラクションの位置に基づいて影響される、
    システム。
  2. 前記ストロークは、前記入力の空間情報及び時間情報に基づいてグループ化される、請求項1に記載のシステム。
  3. 前記識別されるタイプは、テキスト及び非テキストを含む、請求項1に記載のシステム。
  4. 前記プロセッサは、前記分類されたストロークの前記図要素の認識のために手書き認識システムへ前記分類されたストロークをパースするように構成されている、請求項1に記載のシステム。
  5. 前記プロセッサは、各図要素の前記タイプを、前記認識された図要素、及び前記図要素の間の位置関係に基づいて識別するように構成されている、請求項4に記載のシステム。
  6. 前記表示特性は、1つ又は複数の図要素をサイズ変更すること又は位置付け変更することのうちの少なくとも1つを含む、請求項1に記載のシステム。
  7. コンピューティングデバイス上でテキスト要素及び非テキスト要素を含む図を手描きするための、前記コンピューティングデバイスによって実行される方法であって、
    前記コンピューティングデバイスは、手描き図要素を検出及び認識するように構成されたプロセッサを備え、前記方法は、
    前記コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブなデジタルインクにおいて複数の入力された図要素を表示するステップであって、前記図要素は、ジオメトリ形状、コンテナ、コネクタ、又はテキストのうちの1つ又は複数を含む、ステップと、
    前記図要素のうちの1つ又は複数を、各々の図要素のクラス及びタイプに従って前記図要素のうちの他の1つ又は複数に漸進的に関連付けるステップと、
    1つ又は複数のストロークの各々に対するテキスト、非テキスト、及びジャンク分類の各々に対して要素タイプ確率仮説を構築及び試験することによって、手描き入力の1つ又は複数のストロークをテキスト、非テキスト、又はジャンクとして分類することによって、各々の図要素の前記クラスを識別するステップと、
    前記図要素を漸進的に再表示させるステップであって、図要素の表示特性は、前記デジタルインクとの1つ又は複数の受け取られたインタラクション、前記1つ又は複数の漸進的な関連付け、及び前記漸進的に関連付けられた図要素に対する前記1つ又は複数のインタラクションの位置に基づいて影響される、ステップと、
    を含む方法。
  8. 前記ストロークは、前記入力の空間情報及び時間情報に基づいてグループ化される、請求項7に記載の方法。
  9. 前記識別されるタイプは、テキスト及び非テキストを含む、請求項7に記載の方法。
  10. 前記分類されたストロークの前記図要素の認識のために手書き認識システムへ前記分類されたストロークをパースするステップを含む、請求項7に記載の方法。
  11. 各図要素の前記タイプを、前記認識された図要素及び前記図要素の間の位置関係に基づいて識別するステップを含む、請求項10に記載の方法。
  12. そこに具現化されたコンピュータ可読プログラムコードを有する非一時的コンピュータ可読媒体であって、
    前記コンピュータ可読プログラムコードは、プロセッサによって実行されると、コンピュータデバイスに、前記コンピューティングデバイス上でテキスト要素及び非テキスト要素を含む図を手描きするための方法を実行させ、前記プロセッサは、手描き図要素を検出及び認識するように構成され、前記方法は、
    前記コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブなデジタルインクにおいて複数の入力された図要素を表示するステップであって、前記図要素は、ジオメトリ形状、コンテナ、コネクタ、又はテキストのうちの1つ又は複数を含む、ステップと、
    前記図要素のうちの1つ又は複数を、各々の図要素のクラス及びタイプに従って前記図要素のうちの他の1つ又は複数に漸進的に関連付けるステップと、
    1つ又は複数のストロークの各々に対するテキスト、非テキスト、及びジャンク分類の各々に対して要素タイプ確率仮説を構築及び試験することによって、手描き入力の1つ又は複数のストロークをテキスト、非テキスト、又はジャンクとして分類することによって、各々の図要素の前記クラスを識別するステップと、
    前記図要素を漸進的に再表示させるステップであって、図要素の表示特性は、前記デジタルインクとの1つ又は複数の受け取られたインタラクション、前記1つ又は複数の漸進的な関連付け、及び前記漸進的に関連付けられた図要素に対する前記1つ又は複数のインタラクションの位置に基づいて影響される、ステップと、
    を含む非一時的コンピュータ可読媒体。
  13. 前記ストロークは、前記入力の空間情報及び時間情報に基づいてグループ化される、請求項12に記載の非一時的コンピュータ可読媒体。
  14. 前記識別されるタイプは、テキスト及び非テキストを含む、請求項12に記載の非一時的コンピュータ可読媒体。
  15. 前記方法は、前記分類されたストロークの前記図要素の認識のために手書き認識システムへ前記分類されたストロークをパースするステップを含む、請求項12に記載の非一時的コンピュータ可読媒体。
  16. 前記方法は、各図要素の前記タイプを、前記認識された図要素、及び前記図要素の間の位置関係に基づいて識別するステップを含む、請求項15に記載の非一時的コンピュータ可読媒体。
JP2018520175A 2015-10-19 2016-10-18 図における手書き認識のシステム及び方法 Active JP6945527B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP15290271.4 2015-10-19
EP15290271 2015-10-19
US14/955,155 US10643067B2 (en) 2015-10-19 2015-12-01 System and method of handwriting recognition in diagrams
US14/955,155 2015-12-01
PCT/EP2016/001720 WO2017067652A1 (en) 2015-10-19 2016-10-18 System and method of handwriting recognition in diagrams

Publications (3)

Publication Number Publication Date
JP2018536927A JP2018536927A (ja) 2018-12-13
JP2018536927A5 true JP2018536927A5 (ja) 2019-11-28
JP6945527B2 JP6945527B2 (ja) 2021-10-06

Family

ID=54477976

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018520175A Active JP6945527B2 (ja) 2015-10-19 2016-10-18 図における手書き認識のシステム及び方法

Country Status (6)

Country Link
US (2) US10643067B2 (ja)
EP (1) EP3365764B1 (ja)
JP (1) JP6945527B2 (ja)
KR (1) KR102396224B1 (ja)
CN (1) CN108834426B (ja)
WO (1) WO2017067652A1 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9465985B2 (en) 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition
JP6492894B2 (ja) * 2015-04-01 2019-04-03 富士通株式会社 認識プログラム、認識方法及び認識装置
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
US20170068868A1 (en) * 2015-09-09 2017-03-09 Google Inc. Enhancing handwriting recognition using pre-filter classification
US10643067B2 (en) 2015-10-19 2020-05-05 Myscript System and method of handwriting recognition in diagrams
US9927917B2 (en) * 2015-10-29 2018-03-27 Microsoft Technology Licensing, Llc Model-based touch event location adjustment
US10324618B1 (en) * 2016-01-05 2019-06-18 Quirklogic, Inc. System and method for formatting and manipulating digital ink
US10755029B1 (en) 2016-01-05 2020-08-25 Quirklogic, Inc. Evaluating and formatting handwritten input in a cell of a virtual canvas
US10013603B2 (en) * 2016-01-20 2018-07-03 Myscript System and method for recognizing multiple object structure
US10228775B2 (en) * 2016-01-22 2019-03-12 Microsoft Technology Licensing, Llc Cross application digital ink repository
DK179374B1 (en) 2016-06-12 2018-05-28 Apple Inc Handwriting keyboard for monitors
US11409952B2 (en) 2016-08-16 2022-08-09 Myscript System and method for collaborative ink management
WO2018034052A1 (ja) * 2016-08-19 2018-02-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
USD868081S1 (en) * 2016-08-26 2019-11-26 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
CN107273895B (zh) * 2017-06-15 2020-07-14 幻视互动(北京)科技有限公司 用于头戴式智能设备的视频流实时文本识别及翻译的方法
JP6689903B2 (ja) * 2017-11-07 2020-04-28 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited ハンドマークされた工業用検査シートから情報を抽出する方法及びシステム
CN108304132B (zh) * 2018-01-19 2021-03-02 广州视源电子科技股份有限公司 图形显示方法、装置、设备及存储介质
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
KR102215824B1 (ko) * 2018-11-23 2021-02-16 네이버웹툰 유한회사 시각 및 텍스트 정보를 포함하는 다이어그램의 분석 방법 및 장치
US11048931B2 (en) * 2019-02-19 2021-06-29 Lenovo (Singapore) Pte. Ltd. Recognition based handwriting input conversion
US11392659B2 (en) * 2019-02-28 2022-07-19 Adobe Inc. Utilizing machine learning models to generate experience driven search results based on digital canvas gesture inputs
US11126836B2 (en) * 2019-03-28 2021-09-21 Microsoft Technology Licensing, Llc Grouping strokes of digital ink
US10957080B2 (en) * 2019-04-02 2021-03-23 Adobe Inc. Automatic illustrator guides
CN110069204B (zh) * 2019-04-15 2021-12-03 广州视源电子科技股份有限公司 基于书写轨迹的图形处理方法、装置、设备及存储介质
CN110045840B (zh) * 2019-04-15 2023-07-18 广州视源电子科技股份有限公司 一种书写轨迹关联的方法、装置、终端设备和存储介质
CN110045909B (zh) * 2019-04-15 2021-01-22 广州视源电子科技股份有限公司 基于书写轨迹的椭圆处理方法、装置、设备及存储介质
CN110069205A (zh) * 2019-04-15 2019-07-30 广州视源电子科技股份有限公司 一种书写轨迹调整的方法、装置、终端设备和存储介质
EP3736677A1 (en) 2019-05-10 2020-11-11 MyScript A method and corresponding device for selecting and editing handwriting input elements
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11074408B2 (en) 2019-06-01 2021-07-27 Apple Inc. Mail application features
EP3754537B1 (en) * 2019-06-20 2024-05-22 MyScript Processing text handwriting input in a free handwriting mode
EP3772015B1 (en) 2019-07-31 2023-11-08 MyScript Text line extraction
US10956727B1 (en) * 2019-09-11 2021-03-23 Sap Se Handwritten diagram recognition using deep learning models
EP3796145B1 (en) 2019-09-19 2024-07-03 MyScript A method and correspond device for selecting graphical objects
KR20210061523A (ko) * 2019-11-19 2021-05-28 삼성전자주식회사 필기 입력을 텍스트로 변환하는 전자 장치 및 그 동작 방법
EP4130966A1 (en) 2019-11-29 2023-02-08 MyScript Gesture stroke recognition in touch-based user interface input
CN112001236A (zh) * 2020-07-13 2020-11-27 上海翎腾智能科技有限公司 基于人工智能的书写行为的识别方法及装置
US11544948B2 (en) 2020-09-28 2023-01-03 Sap Se Converting handwritten diagrams to robotic process automation bots
CN112214192B (zh) * 2020-10-22 2023-08-04 深圳市皓丽智能科技有限公司 智能交互平板的操作方法、系统、计算机设备及存储介质
CN112181207B (zh) * 2020-10-30 2022-11-29 海信视像科技股份有限公司 一种显示设备及几何图形识别方法
WO2022089043A1 (zh) 2020-10-30 2022-05-05 海信视像科技股份有限公司 显示设备、几何图形识别方法及多图层叠加显示方法
US11733861B2 (en) * 2020-11-20 2023-08-22 Trimble Inc. Interpreting inputs for three-dimensional virtual spaces from touchscreen interface gestures to improve user interface functionality
WO2022147780A1 (en) * 2021-01-08 2022-07-14 Pricewaterhousecoopers Llp Automated flow chart generation and visualization system
EP4086744B1 (en) 2021-05-04 2024-02-21 MyScript Gesture stroke recognition in touch-based user interface input
KR20230009742A (ko) * 2021-07-09 2023-01-17 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 필기 텍스트를 포함하는 문서에서의 텍스트 레이어 및 이미지 레이어의 편집
US11663761B2 (en) * 2021-08-25 2023-05-30 Sap Se Hand-drawn diagram recognition using visual arrow-relation detection
CN114407555B (zh) * 2022-02-07 2022-12-09 南京林业大学 一种便于修改的经管教学用思维导图工具
CN116719459A (zh) * 2022-09-26 2023-09-08 荣耀终端有限公司 批注框的显示方法、电子设备及可读存储介质
US12001671B2 (en) * 2022-10-31 2024-06-04 Optoma Corporation Electronic whiteboard system and operation method thereof

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2749020B2 (ja) 1991-11-14 1998-05-13 日立ソフトウエアエンジニアリング株式会社 ダイアグラム認識システム
JPH086707A (ja) 1993-12-30 1996-01-12 Xerox Corp スクリーン指向ディスプレー処理システム
US5847712A (en) * 1995-01-03 1998-12-08 University Of Washington Method and system for generating graphic illustrations according to a stroke texture and a tone
JPH096922A (ja) * 1995-06-20 1997-01-10 Sony Corp 手書き文字認識装置
GB9701793D0 (en) * 1997-01-29 1997-03-19 Gay Geoffrey N W Means for inputting characters or commands into a computer
AU5299700A (en) * 1999-05-27 2000-12-18 America Online, Inc. Keyboard system with automatic correction
US7298903B2 (en) * 2001-06-28 2007-11-20 Microsoft Corporation Method and system for separating text and drawings in digital ink
US7039862B2 (en) * 2002-05-10 2006-05-02 Adobe Systems Incorporated Text spacing adjustment
US20030215145A1 (en) 2002-05-14 2003-11-20 Microsoft Corporation Classification analysis of freeform digital ink input
US7330184B2 (en) 2002-06-12 2008-02-12 Smart Technologies Ulc System and method for recognizing connector gestures
US7218779B2 (en) * 2003-01-21 2007-05-15 Microsoft Corporation Ink divider and associated application program interface
US7218783B2 (en) * 2003-06-13 2007-05-15 Microsoft Corporation Digital ink annotation process and system for recognizing, anchoring and reflowing digital ink annotations
US7502812B2 (en) 2003-08-21 2009-03-10 Microsoft Corporation Electronic ink processing
US7616333B2 (en) 2003-08-21 2009-11-10 Microsoft Corporation Electronic ink processing and application programming interfaces
US7352902B2 (en) 2003-09-24 2008-04-01 Microsoft Corporation System and method for detecting a hand-drawn object in ink input
US7324691B2 (en) * 2003-09-24 2008-01-29 Microsoft Corporation System and method for shape recognition of hand-drawn objects
US20050273761A1 (en) 2004-06-07 2005-12-08 The Mathworks, Inc. Freehand system and method for creating, editing, and manipulating block diagrams
US7496232B2 (en) 2004-06-23 2009-02-24 Microsoft Corporation Distinguishing text from non-text in digital ink
US7440616B2 (en) 2004-09-21 2008-10-21 Microsoft Corporation System and method for recognition of a hand-drawn chart in ink input
US7904810B2 (en) 2004-09-21 2011-03-08 Microsoft Corporation System and method for editing a hand-drawn list in ink input
US7394935B2 (en) 2004-09-21 2008-07-01 Microsoft Corporation System and method for editing a hand-drawn chart in ink input
US7512273B2 (en) * 2004-10-21 2009-03-31 Microsoft Corporation Digital ink labeling
US7643687B2 (en) * 2005-03-18 2010-01-05 Microsoft Corporation Analysis hints
EP1783593A3 (en) * 2005-10-07 2012-12-19 Sony Corporation Information processing apparatus with a user interface comprising a touch panel, method and program
JP2007272473A (ja) * 2006-03-30 2007-10-18 Toshiba Corp 文字認識装置、方法およびプログラム
US20080195931A1 (en) * 2006-10-27 2008-08-14 Microsoft Corporation Parsing of ink annotations
US8014607B2 (en) 2007-03-23 2011-09-06 Palo Alto Research Center Incorporated Method and apparatus for creating and editing node-link diagrams in pen computing systems
US7945097B2 (en) 2007-05-21 2011-05-17 Microsoft Corporation Classifying digital ink into a writing or a drawing
US10380241B2 (en) * 2010-05-26 2019-08-13 Warren Daniel Child Modular system and method for managing chinese, japanese, and korean linguistic data in electronic form
US8593418B2 (en) * 2010-08-08 2013-11-26 Qualcomm Incorporated Method and system for adjusting display content
US8718375B2 (en) 2010-12-03 2014-05-06 Massachusetts Institute Of Technology Sketch recognition system
US9489121B2 (en) * 2011-11-02 2016-11-08 Microsoft Technology Licensing, Llc Optimal display and zoom of objects and text in a document
US8782549B2 (en) * 2012-10-05 2014-07-15 Google Inc. Incremental feature-based gesture-keyboard decoding
US20140160032A1 (en) * 2012-12-07 2014-06-12 Microsoft Corporation Swipe Stroke Input and Continuous Handwriting
US9171204B2 (en) * 2012-12-12 2015-10-27 Qualcomm Incorporated Method of perspective correction for devanagari text
ITRM20130022A1 (it) * 2013-01-11 2014-07-12 Natural Intelligent Technologies S R L Procedimento e apparato di riconoscimento di scrittura a mano
WO2014147722A1 (ja) * 2013-03-18 2014-09-25 株式会社 東芝 電子機器、方法及びプログラム
US20140313216A1 (en) 2013-04-18 2014-10-23 Baldur Andrew Steingrimsson Recognition and Representation of Image Sketches
KR102183448B1 (ko) * 2013-04-26 2020-11-26 삼성전자주식회사 사용자 단말 장치 및 그 디스플레이 방법
KR102199193B1 (ko) * 2014-01-22 2021-01-06 삼성전자주식회사 핸드라이팅 정보 운용 방법 및 이를 지원하는 전자 장치
US20170068868A1 (en) * 2015-09-09 2017-03-09 Google Inc. Enhancing handwriting recognition using pre-filter classification
US10643067B2 (en) * 2015-10-19 2020-05-05 Myscript System and method of handwriting recognition in diagrams

Similar Documents

Publication Publication Date Title
JP2018536927A5 (ja)
KR102275413B1 (ko) 플로우 문서를 생성하기 위한 이미지 문서 컴포넌트 검출 및 추출 기법
US9268999B2 (en) Table recognizing method and table recognizing system
WO2019153604A1 (zh) 人机识别模型的建立装置、方法及计算机可读存储介质
US11783610B2 (en) Document structure identification using post-processing error correction
US20150095022A1 (en) List recognizing method and list recognizing system
US9824266B2 (en) Handwriting input apparatus and control method thereof
JP2018536926A5 (ja)
JP2006260573A5 (ja)
KR20130137648A (ko) 중첩 쓰기 핸드라이팅 입력기
US20140184610A1 (en) Shaping device and shaping method
JP2006106729A5 (ja)
JP2019511025A5 (ja)
US20150371399A1 (en) Character Detection Apparatus and Method
JP2018536928A5 (ja)
US20160062637A1 (en) Method, apparatus and non-transitory storage medium for processing punctuation mark
KR101602591B1 (ko) 화상 내의 텍스트의 검출을 용이하게 하기 위한 방법 및 장치
EP3037985A1 (en) Search method and system, search engine and client
US11386685B2 (en) Multiple channels of rasterized content for page decomposition using machine learning
US9367237B2 (en) Shaping device
JP2016200860A5 (ja)
Soora et al. Robust feature extraction technique for license plate characters recognition
US9250802B2 (en) Shaping device
US9418281B2 (en) Segmentation of overwritten online handwriting input
JP6081606B2 (ja) 電子機器および方法