JP2017201506A - 入力表示装置および入力表示方法 - Google Patents

入力表示装置および入力表示方法 Download PDF

Info

Publication number
JP2017201506A
JP2017201506A JP2017044279A JP2017044279A JP2017201506A JP 2017201506 A JP2017201506 A JP 2017201506A JP 2017044279 A JP2017044279 A JP 2017044279A JP 2017044279 A JP2017044279 A JP 2017044279A JP 2017201506 A JP2017201506 A JP 2017201506A
Authority
JP
Japan
Prior art keywords
input
screen
stroke data
character
characters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017044279A
Other languages
English (en)
Other versions
JP6986848B2 (ja
Inventor
小山　至幸
Chikayuki Koyama
至幸 小山
寺田　智
Satoshi Terada
智 寺田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to CN201710275655.3A priority Critical patent/CN107368198B/zh
Priority to US15/497,325 priority patent/US10359864B2/en
Publication of JP2017201506A publication Critical patent/JP2017201506A/ja
Priority to US16/441,050 priority patent/US10585500B2/en
Priority to US16/775,705 priority patent/US10963074B2/en
Application granted granted Critical
Publication of JP6986848B2 publication Critical patent/JP6986848B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/174—Form filling; Merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/226—Character recognition characterised by the type of writing of cursive writing
    • G06V30/2268—Character recognition characterised by the type of writing of cursive writing using stroke segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Input (AREA)

Abstract

【課題】ユーザが適切に手書き入力することができる入力表示装置および入力表示方法を提供する。【解決手段】入力表示装置は、複数の入力欄を含む入力画面上に、手書き入力用画面を表示する表示部（１３０）と、キャプチャ画面に対して手書き入力されたときのストロークデータを、文字を表すストロークデータにグループ化し、グループ化ストロークデータとして生成するストロークデータ処理部（１６０）と、グループ化ストロークデータに対して文字認識を施して、認識文字に変換する文字認識部（１７０）と認識文字を、手書き入力用画面において手書き入力された位置に対応する入力画面の複数の入力欄に反映させる制御処理部と、を具備する。【選択図】図１

Description

本発明は、ユーザが手書き入力した文字を表示する入力表示装置および入力表示方法に関する。
ストロークデータを生成する技術が知られている（例えば、特許文献１）。特許文献１に記載された技術では、ユーザが画面に対して手書き入力したときのストロークデータを生成し、そのストロークデータを手書き文字として画面に表示する。
ストロークデータを認識文字に変換する技術が知られている（例えば、特許文献２）。特許文献２に記載された技術では、ユーザが画面に対して手書き入力したときに、ストロークデータに対して文字認識を施して認識文字に変換し、その認識文字を上記画面に反映させる。
特開平１１−２５９５９８号公報 特許第３８５５６９６号公報
しかしながら、特許文献２に記載された技術では、ユーザが画面に対して手書き入力する度に、認識文字を上記画面に反映させている。すなわち、特許文献２に記載された技術では、その都度、ユーザに手書き入力させている。
例えば、画面が、ユーザの氏名などを記入するような書類を表す文書データである場合は、ユーザは、一括して手書き入力したいものである。
本発明は、上記従来の問題点に鑑みてなされたものであって、ユーザが適切に手書き入力することができる入力表示装置および入力表示方法を提供することを目的とする。
本発明の入力表示装置は、複数の入力欄を含む入力画面上に、手書き入力用画面を表示する表示部と、前記手書き入力用画面に対して手書き入力されたときのストロークデータを、文字列表すストロークデータにグループ化し、グループ化ストロークデータとして生成するストロークデータ処理部と、前記グループ化ストロークデータに対して文字認識を施して、認識文字に変換する文字認識部と、前記認識文字を前記入力用画面において手書き入力された位置に対応する前記入力画面の複数の入力欄に反映させる制御処理部と、を具備することを特徴とする。
本発明の入力表示方法は、複数の入力欄を含む入力画面上に、手書き入力用画面を表示するステップと、前記手書き入力用画面に対して手書き入力されたときのストロークデータを、文字を表すストロークデータにグループ化し、グループ化ストロークデータとして生成するステップと、前記グループ化ストロークデータに対して文字認識を施して、認識文字に変換するステップと、前記認識文字を前記入力用画面において手書き入力された位置に対応する前記入力画面の複数の入力欄に反映させるステップと、を具備することを特徴とする。
本発明では、上記構成により、ユーザが一括して手書き入力することができる。
第１実施形態に係る入力表示装置の構成を示す図である。 第１実施形態に係る入力表示装置の動作を示すフローチャートである。 第１実施形態に係る入力表示装置の動作として手書き入力モードを示すフローチャートである。 第１実施形態に係る入力表示装置の動作を説明するための図である。 第１実施形態に係る入力表示装置の動作を説明するための図である。 第１実施形態に係る入力表示装置の動作を説明するための図である。 第１実施形態に係る入力表示装置の動作を説明するための図である。 第１実施形態に係る入力表示装置の動作を説明するための図である。 第１実施形態に係る入力表示装置の動作を説明するための図である。 第１実施形態に係る入力表示装置の動作を説明するための図である。 第１実施形態に係る入力表示装置の動作を説明するための図である。 第１実施形態に係る入力表示装置の動作を説明するための図である。 第２実施形態に係る入力表示装置の動作を説明するための図である。 第２実施形態に係る入力表示装置の動作を説明するための図である。 第２実施形態に係る入力表示装置の動作を説明するための図である。 第２実施形態に係る入力表示装置の動作を説明するための図である。 第２実施形態に係る入力表示装置の動作を説明するための図である。 第３実施形態に係る入力表示装置の動作として手書き入力モードを示すフローチャートである。 第３実施形態に係る入力表示装置の動作として手書き入力モードを示すフローチャートである。 第３実施形態に係る入力表示装置の動作を説明するための図である。 第３実施形態に係る入力表示装置の動作を説明するための図である。 第３実施形態に係る入力表示装置の動作を説明するための図である。 第３実施形態に係る入力表示装置の動作を説明するための図である。 第３実施形態に係る入力表示装置の動作を説明するための図である。 第４実施形態に係る入力表示装置の動作を説明するための図である。 第４実施形態に係る入力表示装置の動作を説明するための図である。 第４実施形態に係る入力表示装置の動作を説明するための図である。 第７実施形態に係る入力表示装置の動作を説明するための図である。 第７実施形態に係る入力表示装置の動作を説明するための図である。 第８実施形態に係る入力表示装置の動作を説明するための図である。 第８実施形態に係る入力表示装置の動作を説明するための図である。 第８実施形態に係る入力表示装置の動作を説明するための図である。 第９実施形態に係る入力表示装置の動作を説明するための図である。 第９実施形態に係る入力表示装置の動作を説明するための図である。 第９実施形態に係る入力表示装置の動作を説明するための図である。
以下、図面を参照しながら実施形態について説明する。
［第１実施形態］
図１は、第１実施形態に係る入力表示装置１００の構成を示す図である。入力表示装置１００は、制御部１１０と、記憶部１２０と、表示部１３０と、画面処理部１４０と、入力部１５０と、ストロークデータ処理部１６０と、文字認識部１７０とを具備している。
制御部１１０は、入力表示装置１００の全体を制御するための機能部である。制御部１１０は、記憶部１２０に記憶されている各種コンピュータプログラム（以下、プログラムと称する）を読み出して実行することにより各種機能を実現しており、例えば、ＣＰＵ（Central Process Unit）等により構成されている。
記憶部１２０は、入力表示装置１００の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部１２０は、例えば、半導体メモリや、ＨＤＤ（Hard Disk Drive）等により構成されている。記憶部１２０は、後述の座標テーブル５００を記憶している。
表示部１３０は、タッチパネルディスプレイであり、例えば、ＬＣＤ（Liquid Crystal Display）とタッチパネルとにより構成される。画面処理部１４０は、各種画面を表示部１３０に表示制御する処理を行う制御処理部である。
入力部１５０は、キーボード１５２、ポインティングデバイス１５４、タッチペン１５６を含んでいる。例えば、ユーザは、ポインティングデバイス１５４又はタッチペン１５６を用いて、画面に対して手書き入力を行なうことができる。ストロークデータ処理部１６０は、手書き入力された文字を後述のストロークデータとして生成する。
文字認識部１７０は、手書き入力された文字（ストロークデータ）に対して光学文字認識（Optical Character Recognition）（一般的にＯＣＲと略される）を施して、コンピュータが編集可能な文字である認識文字に変換する。
第１実施形態に係る入力表示装置１００の動作について、図２〜１１を用いて説明する。図２は、第１実施形態に係る入力表示装置１００の動作を示すフローチャートである。図３は、第１実施形態に係る入力表示装置１００の動作として手書き入力モードを示すフローチャートである。図４〜１１は、第１実施形態に係る入力表示装置１００の動作を説明するための図である。
まず、通常入力モードについて説明する。画面処理部１４０は、文書データを入力画面２００（図４を参照）として表示部１３０に表示する（図２のステップＳ２）。
図４に示すように、入力画面２００（文書データ）は、入力位置として、複数の入力欄２１０、２１２を含んでいる。入力欄２１０、２１２は、それぞれ、ユーザの氏名（名前）である姓、名を漢字や平仮名により入力する位置（欄）である。
ユーザは、入力部１５０（キーボード１５２）を用いて、通常入力モードを選択する（図２のステップＳ３−Ｎｏ）。この場合、通常入力モードが実行される（図２のステップＳ６）。
通常入力モードにおいて、ユーザは、表示部１３０に表示された入力画面２００の複数の入力欄２１０、２１２に対して、それぞれ、入力部１５０（キーボード１５２）を用いて文字（文字列）「発明」、「太郎」を入力する。図１１に示すように、画面処理部１４０は、文字「発明」、「太郎」がそれぞれの入力欄２１０、２１２に反映された入力画面２００を表示部１３０に表示する。
次に、手書き入力モードについて説明する。画面処理部１４０は、文書データを入力画面２００（図４を参照）として表示部１３０に表示する（図２のステップＳ２）。文書データは、ＨＴＭＬ（Hyper Text Markup Language）やＰＤＦ（Portable Document Format）等による文書を表すデータである。
図５に示すように、座標テーブル５００は、入力画面２００、入力欄２１０、２１２に対して、Ｘ座標、Ｙ座標を表すデータを記憶している。具体的には、入力画面２００には、Ｘ座標の最小値「Ｘ０」、Ｘ座標の最大値「Ｘｍａｘ」、Ｙ座標の最小値「Ｙ０」、Ｙ座標の最大値「Ｙｍａｘ」が対応付けられている。入力欄２１０には、Ｘ座標の最小値「Ｘ２１０１」、Ｘ座標の最大値「Ｘ２１０２」、Ｙ座標の最小値「Ｙ２１０１」、Ｙ座標の最大値「Ｙ２１０２」が対応付けられている。入力欄２１２には、Ｘ座標の最小値「Ｘ２１２１」、Ｘ座標の最大値「Ｘ２１２２」、Ｙ座標の最小値「Ｙ２１２１」、Ｙ座標の最大値「Ｙ２１２２」が対応付けられている。
ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、手書き入力モードを選択する（図２のステップＳ３−Ｙｅｓ）。この場合、手書き入力モードが実行される（図２のステップＳ８）。
手書き入力モードにおいて、図６に示すように、画面処理部１４０は、表示部１３０に表示された入力画面２００をキャプチャ画面３００としてキャプチャする。画面処理部１４０は、そのキャプチャ画面３００を記憶部１２０に保存すると共に、キャプチャ画面３００を入力画面２００上に表示する（図３のステップＳ１００）。
図７に示すように、ユーザは、キャプチャ画面３００の複数の入力欄２１０、２１２に対して、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、文字「発明」、「太郎」を手書き入力する（図３のステップＳ１０２）。
この場合、ユーザは、キャプチャ画面３００の複数の入力欄２１０、２１２からはみ出して、文字「発明」、「太郎」を手書き入力してもよい。ストロークデータ処理部１６０は、キャプチャ画面３００に対して手書き入力された入力文字を構成する複数の座標列をそれぞれストロークデータとして生成して記憶部１２０に保存する。
ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、認識指示を行なう（図３のステップＳ１０４）。
このとき、図７に示すように、ストロークデータ処理部１６０は、記憶部１２０に保存されたストロークデータを、入力欄２１０、２１２に対応する文字列を表すストロークデータにグループ化し、グループ化ストロークデータ３１０、３１２として生成する（図３のステップＳ１０６）。
ステップＳ１０６について、図８を用いて説明する。グループ化ストロークデータ３１０、３１２の各々は、ユーザが手書き入力したときの１番目のストロークデータＳＤ１から最終番目のストロークデータＳＤｎ（ｎは１以上の整数）を表している。１番目のストロークデータＳＤ１から最終番目のストロークデータＳＤｎは、ユーザが手書き入力を終了してから（例えば、タッチペン１５６の場合はペンアップしてから）、所定時間Ｔｐが経過したときに、１つのグループ化ストロークデータを構成する。
ここで、１番目のストロークデータＳＤ１から最終番目のストロークデータＳＤｎをグループ化する技術としては、所定時間Ｔｐのような時間情報の代わりに、手書き入力されたときの位置を表す位置情報を用いてもよい。例えば、位置情報を用いてグループ化する技術として、ウォード法によるクラスタリングが知られている。また、グループ化する技術として、時間情報と位置情報とを組み合わせたものでもよい。また、図８では「発明」という文字列をグループ化しているが、例えば「発」「明」と、文字毎にグループ化データし、その後「発明」という文字列をグループ化してもよい。
文字認識部１７０は、グループ化ストロークデータ３１０、３１２に対して文字認識を施して、それぞれ、コンピュータが編集可能な文字として認識文字（認識文字列）４１０、４１２に変換する（図３のステップＳ１０８）。なお、本明細書の認識文字とは、一又は複数の文字であっても良いことは勿論であり、文字・文字列を含むものとする。
このとき、図９に示すように、画面処理部１４０は、キャプチャ画面３００に対して手書き入力された位置に、認識文字４１０、４１２を表示する（図３のステップＳ１１０）。認識文字４１０、４１２は、それぞれ、文字「発明」、「太郎」を表している。
ステップＳ１１０について、図１０を用いて説明する。画面処理部１４０は、グループ化ストロークデータ３１０、３１２の各々の座標を検出する。グループ化ストロークデータ３１０を例にした場合、画面処理部１４０は、グループ化ストロークデータ３１０に対して、キャプチャ画面３００のＸ座標の最小値「Ｘ３１０１」、Ｘ座標の最大値「Ｘ３１０２」、Ｙ座標の最小値「Ｙ３１０１」、Ｙ座標の最大値「Ｙ３１０２」を検出して、その座標領域ＸＹ３１００として（Ｘ３１０１、Ｙ３１０１）（Ｘ３１０２、Ｙ３１０１）（Ｘ３１０１、Ｙ３１０２）（Ｘ３１０２、Ｙ３１０２）を認識する。画面処理部１４０は、認識文字４１０である文字「発明」の文字サイズを、予め設定された設定文字サイズから、この座標領域３１００に基づく文字サイズに変更（拡大）する。例えば、設定文字サイズに対して拡大倍率を決定する。画面処理部１４０は、キャプチャ画面３００の座標領域ＸＹ３１００に対して、座標領域３１００に基づく文字サイズで、認識文字４１０である文字「発明」を表示する。
例えば、ユーザは、キャプチャ画面３００に表示された認識文字４１０、４１２のうちの少なくとも１つの認識文字に誤りがないと判断した場合（図３のステップＳ１１２−Ｎｏ）、後述のステップＳ１１６が実行される。
一方、ユーザは、キャプチャ画面３００に表示された認識文字４１０、４１２のうちの少なくとも１つの認識文字に誤りがあると判断した場合（図３のステップＳ１１２−Ｙｅｓ）、その認識文字に対して修正を行なう（図３のステップＳ１１４）。具体的には、その認識文字に対して、ステップＳ１０２、Ｓ１０４、Ｓ１０６、Ｓ１０８、Ｓ１１０が実行される。または、ステップＳ１１４において、キャプチャ画面３００上にソフトキーボードを表示して、その認識文字に対して修正を行なってもよい。
ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、入力指示を行なう（図３のステップＳ１１６）。
このとき、図１１に示すように、画面処理部１４０は、キャプチャ画面３００に代えて、認識文字４１０、４１２がそれぞれ入力欄２１０、２１２に反映された入力画面２００を表示する（図３のステップＳ１１８）。入力画面２００の入力欄２１０、２１２には、それぞれ、文字「発明」、「太郎」が表示される。
ステップＳ１１８について、図１２を用いて説明する。画面処理部１４０は、グループ化ストロークデータ３１０、３１２に対して検出された座標領域と、入力画面２００の入力欄２１０、２１２の座標領域とがそれぞれ重複するか否かを判定する。グループ化ストロークデータ３１０を例にした場合、画面処理部１４０は、既に、グループ化ストロークデータ３１０に対して、キャプチャ画面３００の座標領域ＸＹ３１００として（Ｘ３１０１、Ｙ３１０１）（Ｘ３１０２、Ｙ３１０１）（Ｘ３１０１、Ｙ３１０２）（Ｘ３１０２、Ｙ３１０２）を認識している。また、画面処理部１４０は、座標テーブル５００を参照することにより、入力画面２００の入力欄２１０の座標領域ＸＹ２１００として、（Ｘ２１０１、Ｙ２１０１）（Ｘ２１０２、Ｙ２１０１）（Ｘ２１０１、Ｙ２１０２）（Ｘ２１０２、Ｙ２１０２）を認識する。
図１２に示すように、Ｘ２１０１≦Ｘ３１０１≦Ｘ２１０２、かつ、Ｙ２１０１≦Ｙ３１０１≦Ｙ２１０２、または、Ｘ２１０１≦Ｘ３１０２≦Ｘ２１０２、かつ、Ｙ２１０１≦Ｙ３１０２≦Ｙ２１０２であれば、キャプチャ画面３００の座標領域ＸＹ３１００と入力画面２００の入力欄２１０の座標領域ＸＹ２１００とは重なりあう。この場合、画面処理部１４０は、認識文字４１０である文字「発明」の文字サイズを、座標領域３１００に基づく文字サイズから、座標領域ＸＹ２１００に基づく文字サイズに変更（縮小）する。例えば、座標領域３１００に基づく文字サイズに対して縮小倍率を決定する。画面処理部１４０は、入力画面２００の入力欄２１０に対して、座標領域ＸＹ２１００に基づく文字サイズで、認識文字４１０である文字「発明」を表示する。
ここで、認識結果のキャプチャ画面３００の座標領域ＸＹ３１００が入力画面２００の入力欄２１０、２１２の座標領域に重なった場合、認識結果の座標領域ＸＹ３１００の中心に対して、入力画面２００の入力欄２１０、２１２のうちの一番近い入力欄２１０を選んでもよい。また、一般的に、横書き文字を手書きで書く場合に左上から始まる。そこで、認識結果のキャプチャ画面３００の座標領域ＸＹ３１００が入力画面２００の入力欄２１０、２１２の座標領域に重なった場合、入力画面２００の入力欄２１０、２１２のうちの一番左上側の入力欄２１０を選んでもよい。
以上の説明により、第１実施形態に係る入力表示装置１００では、入力欄２１０、２１２を含む入力画面２００を表示する表示部１３０と、表示部１３０に表示された入力画面２００を手書き入力用画面（キャプチャ画面３００）としてキャプチャし、キャプチャ画面３００を入力画面２００上に表示する画面処理部１４０と、キャプチャ画面３００に対して手書き入力されたときのストロークデータを、入力欄２１０、２１２に対応する文字列を表すストロークデータにグループ化し、グループ化ストロークデータ３１０、３１２として生成するストロークデータ処理部１６０と、グループ化ストロークデータ３１０、３１２に対して文字認識を施して、認識文字４１０、４１２に変換する文字認識部１７０と、を具備している。この場合、文字認識部１７０は、入力画面２００の入力欄２１０、２１２に基づいて、グループ化ストロークデータ３１０、３１２を認識文字４１０、４１２に変換し、画面処理部１４０は、認識文字４１０、４１２を入力画面２００の入力欄２１０、２１２に反映させる。このため、第１実施形態に係る入力表示装置１００では、特許文献２に記載された技術のように、その都度、ユーザに文字列を手書き入力させるのではなく、ユーザが一括して手書き入力することができる。
ここで、第１実施形態に係る入力表示装置１００では、画面処理部１４０は、グループ化ストロークデータ３１０、３１２が、入力画面２００の入力欄２１０、２１２に対して、ずれている場合、グループ化ストロークデータ３１０、３１２の座標領域と、入力欄２１０、２１２の座標領域とに基づいて、グループ化ストロークデータ３１０、３１２に対して文字認識が施された認識文字４１０、４１２を、入力欄２１０、２１２に反映させる。例えば、グループ化ストロークデータ３１０、３１２の座標領域は、入力欄２１０、２１２の座標領域に対して、一部重なっているが、一部はみ出している。この場合でも、これらの座標領域に基づいて、グループ化ストロークデータ３１０、３１２に対して文字認識が施された認識文字４１０、４１２を、入力欄２１０、２１２に反映させることができる。
なお、本実施形態の処理としては、一度キャプチャ画面３００に認識文字を表示しているが、単にテキスト文字（文字列）として、入力画面２００の入力欄（例えば、入力フォーム等）に出力してもよいことは勿論である。具体的には、図１１における入力欄２１０が、テキストボックス等の入力欄の場合、当該入力欄にテキスト文字列「発明」を出力すれば（渡せば）よい。
すなわち、入力文字として入力された位置に近いテキスト入力欄を認識する。当該テキスト入力欄の名前（例えば、ＨＴＭＬファイルであれば「<input type="text" name="abc">」にて特定されるテキストボックス）に対して、認識文字をテキストとして出力してもよい。
［第２実施形態］
第２実施形態では、入力画面２００に、文字の種類を制限する制限情報として、例えば、全角のカタカタを入力するための入力欄や、半角の数字を入力するための入力欄が含まれる。
第２実施形態に係る入力表示装置１００の動作について、図２、３、１３〜１７を用いて説明する。図１３〜１７は、第２実施形態に係る入力表示装置１００の動作を説明するための図である。
まず、通常入力モードについて説明する。画面処理部１４０は、文書データを入力画面２００（図１３を参照）として表示部１３０に表示する（図２のステップＳ２）。
図１３に示すように、入力画面２００（文書データ）は、更に、複数の入力欄２２０、２２２、２３０、２３２、２３４を含んでいる。入力欄２２０、２２２は、それぞれ、ユーザの氏名（名前）である姓、名をカタカナにより入力するカタカナ入力欄である。入力欄２３０、２３２、２３４は、それぞれ、ユーザの生年月日である年（西暦）、月、日を数字により入力する数字入力欄である。
図１４に示すように、座標テーブル５００は、更に、入力欄２２０、２２２、２３０、２３２、２３４に対して、Ｘ座標、Ｙ座標を表すデータを記憶している。具体的には、入力欄２２０には、Ｘ座標の最小値「Ｘ２２０１」、Ｘ座標の最大値「Ｘ２２０２」、Ｙ座標の最小値「Ｙ２２０１」、Ｙ座標の最大値「Ｙ２２０２」が対応付けられている。入力欄２２２には、Ｘ座標の最小値「Ｘ２２２１」、Ｘ座標の最大値「Ｘ２２２２」、Ｙ座標の最小値「Ｙ２２２１」、Ｙ座標の最大値「Ｙ２２２２」が対応付けられている。入力欄２３０には、Ｘ座標の最小値「Ｘ２３０１」、Ｘ座標の最大値「Ｘ２３０２」、Ｙ座標の最小値「Ｙ２３０１」、Ｙ座標の最大値「Ｙ２３０２」が対応付けられている。入力欄２３２には、Ｘ座標の最小値「Ｘ２３２１」、Ｘ座標の最大値「Ｘ２３２２」、Ｙ座標の最小値「Ｙ２３２１」、Ｙ座標の最大値「Ｙ２３２２」が対応付けられている。入力欄２３４には、Ｘ座標の最小値「Ｘ２３４１」、Ｘ座標の最大値「Ｘ２３４２」、Ｙ座標の最小値「Ｙ２３４１」、Ｙ座標の最大値「Ｙ２３４２」が対応付けられている。
また、図１４に示すように、座標テーブル５００は、入力欄２２０、２２２、２３０、２３２、２３４に対して、文字の種類を制限する制限情報を記憶している。具体的には、入力欄２２０、２２２には、文字の種類として全角のカタカタをユーザに入力させるためのカタカナ制限情報５２０が対応付けられている。入力欄２３０、２３２、２３４には、文字の種類として半角の数字をユーザに入力させるための数字制限情報５３０が対応付けられている。文字認識部１７０は、座標テーブル５００を参照して、入力欄２２０、２２２にカタカナ制限情報５２０が対応付けられている場合、入力画面２００に全角のカタカタをユーザに入力させるための入力欄２２０、２２２があることを認識する。文字認識部１７０は、座標テーブル５００を参照して、入力欄２３０、２３２、２３４に数字制限情報５３０が対応付けられている場合、入力画面２００に半角の数字をユーザに入力させるための入力欄２３０、２３２、２３４があることを認識する。
ユーザは、入力部１５０（キーボード１５２）を用いて、通常入力モードを選択する（図２のステップＳ３−Ｎｏ）。この場合、通常入力モードが実行される（図２のステップＳ６）。
通常入力モードにおいて、ユーザは、表示部１３０に表示された入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対して、それぞれ、入力部１５０（キーボード１５２）を用いて文字「発明」、「太郎」、「ハツメイ」、「タロウ」、「２０１６」、「１」、「１」を入力する。図１１に示すように、画面処理部１４０は、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」がそれぞれ入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に反映された入力画面２００を表示部１３０に表示する。
次に、手書き入力モードについて説明する。画面処理部１４０は、文書データを入力画面２００（図１３を参照）として表示部１３０に表示する（図２のステップＳ２）。文書データは、ＨＴＭＬ（Hyper Text Markup Language）やＰＤＦ（Portable Document Format）等による文書を表すデータである。
ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、手書き入力モードを選択する（図２のステップＳ３−Ｙｅｓ）。この場合、手書き入力モードが実行される（図２のステップＳ８）。
手書き入力モードにおいて、画面処理部１４０は、表示部１３０に表示された入力画面２００をキャプチャ画面３００（図１５を参照）としてキャプチャして、記憶部１２０に保存すると共に、キャプチャ画面３００を入力画面２００上に表示する（図３のステップＳ１００）。
図１５に示すように、ユーザは、キャプチャ画面３００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対して、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、文字「発明」、「太郎」、「ハツメイ」、「タロウ」、「２０１６」、「１」、「１」を手書き入力する（図３のステップＳ１０２）。
この場合、ユーザは、キャプチャ画面３００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４からはみ出して、文字「発明」、「太郎」、「ハツメイ」、「タロウ」、「２０１６」、「１」、「１」を手書き入力している。ストロークデータ処理部１６０は、キャプチャ画面３００に対して手書き入力された文字を構成する座標列をそれぞれストロークデータとして生成して記憶部１２０に保存する。
ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、認識指示を行なう（図３のステップＳ１０４）。
このとき、図１５に示すように、ストロークデータ処理部１６０は、記憶部１２０に保存されたストロークデータを、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対応する文字列を表すストロークデータにグループ化し、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４として生成する（図３のステップＳ１０６）。
文字認識部１７０は、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４に対して文字認識を施して、それぞれ、コンピュータが編集可能な文字として認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４に変換する（図３のステップＳ１０８）。
この場合、座標テーブル５００の入力欄２２０、２２２にカタカナ制限情報５２０が対応付けられているため、文字認識部１７０は、入力画面２００に全角のカタカタをユーザに入力させるための入力欄２２０、２２２があることを認識し、全角のカタカタを表す認識文字４２０、４２２に変換する。また、座標テーブル５００の入力欄２３０、２３２、２３４に数字制限情報５３０が対応付けられているため、文字認識部１７０は、入力画面２００に半角の数字をユーザに入力させるための入力欄２３０、２３２、２３４があることを認識し、半角の数字を表す認識文字４３０、４３２、４３４に変換する。
このとき、図１６に示すように、画面処理部１４０は、キャプチャ画面３００に対して手書き入力された位置に、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４を表示する（図３のステップＳ１１０）。認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４は、それぞれ、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」を表している。
例えば、ユーザは、キャプチャ画面３００に表示された認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４のうちの少なくとも１つの認識文字に誤りがないと判断した場合（図３のステップＳ１１２−Ｎｏ）、ステップＳ１１６が実行される。
一方、ユーザは、キャプチャ画面３００に表示された認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４のうちの少なくとも１つの認識文字に誤りがあると判断した場合（図３のステップＳ１１２−Ｙｅｓ）、その認識文字に対して修正を行なう（図３のステップＳ１１４）。具体的には、その認識文字に対して、ステップＳ１０２、Ｓ１０４、Ｓ１０６、Ｓ１０８、Ｓ１１０が実行される。または、ステップＳ１１４において、キャプチャ画面３００上にソフトキーボードを表示して、その認識文字に対して修正を行なってもよい。
ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、入力指示を行なう（図３のステップＳ１１６）。
このとき、図１７に示すように、画面処理部１４０は、キャプチャ画面３００に代えて、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４がそれぞれ入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に反映された入力画面２００を表示する（図３のステップＳ１１８）。入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４には、それぞれ、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」が表示される。
なお、入力画面２００の入力欄２３０、２３２、２３４は、数字を入力する欄であるため、ユーザが任意の数字を選択可能なプルダウン方式でもよい。
以上の説明により、第２実施形態に係る入力表示装置１００では、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４を含む入力画面２００を表示する表示部１３０と、表示部１３０に表示された入力画面２００を手書き入力用画面（キャプチャ画面３００）としてキャプチャし、キャプチャ画面３００を入力画面２００上に表示する画面処理部１４０と、キャプチャ画面３００に対して手書き入力されたときのストロークデータを、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対応する文字列を表すストロークデータにグループ化し、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４として生成するストロークデータ処理部１６０と、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４に対して文字認識を施して、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４に変換する文字認識部１７０と、を具備している。この場合、文字認識部１７０は、入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に基づいて、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４を認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４に変換し、画面処理部１４０は、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４を入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に反映させる。このため、第２実施形態に係る入力表示装置１００では、特許文献２に記載された技術のように、その都度、ユーザに文字列を手書き入力させるのではなく、ユーザが一括して手書き入力することができる。
また、第２実施形態に係る入力表示装置１００では、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４のうちの少なくとも１つの入力欄２２０、２２２、２３０、２３２、２３４には、文字の種類を制限するための制限情報５２０、５３０が対応付けられている。文字認識部１７０は、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４と制限情報５２０、５３０とに基づいて、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４を認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４に変換する。このため、第２実施形態に係る入力表示装置１００では、文字の種類を制限する制限情報として、例えば、全角のカタカタを入力欄２２０、２２２に反映させたり、半角の数字を入力欄２３０、２３２、２３４に反映させたりすることができる。
ここで、第２実施形態に係る入力表示装置１００では、画面処理部１４０は、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４が、入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対して、ずれている場合でも、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４の座標領域と、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４の座標領域と、制限情報５２０、５３０とに基づいて、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４に対して文字認識が施された認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４を、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に反映させる。例えば、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４のうちのグループ化ストロークデータ３２０、３２２の座標領域は、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４のうちの入力欄２２０、２２２の座標領域に対して、一部重なっているが、一部はみ出している。この場合でも、これらの座標領域と制限情報（カタカナ制限情報５２０）とに基づいて、グループ化ストロークデータ３２０、３２２に対して文字認識が施された認識文字４２０、４２２を、入力欄２１０、２１２に反映させることができる。例えば、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４のうちのグループ化ストロークデータ３３０、３３２、３３４の座標領域は、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４のうちの入力欄２３０、２３２、２３４の座標領域に対して、一部重なっているが、一部はみ出している。この場合でも、これらの座標領域と制限情報（数字制限情報５３０）とに基づいて、グループ化ストロークデータ３３０、３３２、３３４に対して文字認識が施された認識文字４３０、４３２、４３４を、入力欄２３０、２３２、２３４に反映させることができる。
［第３実施形態］
第３実施形態では、入力画面２００に、属性情報として、例えば、ユーザが選択（指定）するための入力欄が含まれる。
第３実施形態に係る入力表示装置１００の動作について、図２、１８〜２４を用いて説明する。図１８、１９は、第３実施形態に係る入力表示装置１００の動作として手書き入力モードを示すフローチャートである。図２０〜２４は、第３実施形態に係る入力表示装置１００の動作を説明するための図である。
まず、通常入力モードについて説明する。画面処理部１４０は、文書データを入力画面２００（図２０を参照）として表示部１３０に表示する（図２のステップＳ２）。
図２０に示すように、入力画面２００（文書データ）は、更に、入力欄２４０、２４２を含んでいる。入力欄２４０、２４２は、それぞれ、チェックマーク（例えば、レ点）を付すことによって、性別として男性又は女性をユーザが選択（指定）するためのチェック入力欄（いわゆる、チェックボックス）である。
図２１に示すように、座標テーブル５００は、更に、入力欄２４０、２４２に対して、Ｘ座標、Ｙ座標を表すデータを記憶している。具体的には、入力欄２４０には、Ｘ座標の最小値「Ｘ２４０１」、Ｘ座標の最大値「Ｘ２４０２」、Ｙ座標の最小値「Ｙ２４０１」、Ｙ座標の最大値「Ｙ２４０２」が対応付けられている。入力欄２４２には、Ｘ座標の最小値「Ｘ２４２１」、Ｘ座標の最大値「Ｘ２４２２」、Ｙ座標の最小値「Ｙ２４２１」、Ｙ座標の最大値「Ｙ２４２２」が対応付けられている。
また、図２１に示すように、座標テーブル５００は、入力欄２４０、２４２に対して、属性情報を記憶している。具体的には、入力欄２４０、２４２には、入力欄２４０又は入力欄２４２をユーザに指定（選択）させるためのチェックマーク属性情報５４０が対応付けられている。文字認識部１７０は、座標テーブル５００を参照して、入力欄２４０、２４２にチェックマーク属性情報５４０が対応付けられている場合、入力画面２００にチェックマークをユーザに指定（選択）させるための入力欄２４０、２４２があることを認識する。すなわち、チェックマークによる入力方法で入力されることが属性情報として対応づけられる。
ユーザは、入力部１５０（キーボード１５２）を用いて、通常入力モードを選択する（図２のステップＳ３−Ｎｏ）。この場合、通常入力モードが実行される（図２のステップＳ６）。
通常入力モードにおいて、ユーザは、表示部１３０に表示された入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対して、それぞれ、入力部１５０（キーボード１５２）を用いて文字「発明」、「太郎」、「ハツメイ」、「タロウ」、「２０１６」、「１」、「１」を入力する。また、ユーザは、表示部１３０に表示された入力画面２００の入力欄２４０、２４２のうちの入力欄２４０を、入力部１５０（キーボード１５２）を用いて選択（指定）する。図２４に示すように、画面処理部１４０は、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」、チェックマークがそれぞれ入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に反映された入力画面２００を表示部１３０に表示する。
次に、手書き入力モードについて説明する。画面処理部１４０は、文書データを入力画面２００（図２０を参照）として表示部１３０に表示する（図２のステップＳ２）。文書データは、ＨＴＭＬ（Hyper Text Markup Language）やＰＤＦ（Portable Document Format）等による文書を表すデータである。
ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、手書き入力モードを選択する（図２のステップＳ３−Ｙｅｓ）。この場合、手書き入力モードが実行される（図２のステップＳ８）。
手書き入力モードにおいて、画面処理部１４０は、表示部１３０に表示された入力画面２００（図２０を参照）をキャプチャ画面３００（図２２を参照）としてキャプチャして、記憶部１２０に保存すると共に、キャプチャ画面３００を入力画面２００上に表示する（図１８のステップＳ１００）。
図２２に示すように、ユーザは、キャプチャ画面３００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対して、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、文字「発明」、「太郎」、「ハツメイ」、「タロウ」、「２０１６」、「１」、「１」を手書き入力する。また、ユーザは、キャプチャ画面３００の入力欄２４０、２４２のうちの入力欄２４０に対して、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、チェックマーク（例えば、レ点）として文字「レ」を手書き入力する（図１８のステップＳ１０２）。
この場合、ユーザは、キャプチャ画面３００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０からはみ出して、文字「発明」、「太郎」、「ハツメイ」、「タロウ」、「２０１６」、「１」、「１」、「レ」を手書き入力している。ストロークデータ処理部１６０は、キャプチャ画面３００に対して手書き入力された文字を構成する座標列をそれぞれストロークデータとして生成して記憶部１２０に保存する。
ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、認識指示を行なう（図１８のステップＳ１０４）。
このとき、図２２に示すように、ストロークデータ処理部１６０は、記憶部１２０に保存されたストロークデータを、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に対応する文字列を表すストロークデータにグループ化し、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０として生成する（図１８のステップＳ１０６）。
文字認識部１７０は、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０に対して文字認識を施して、それぞれ、コンピュータが編集可能な文字として認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０に変換する（図１８のステップＳ１０８）。
この場合、座標テーブル５００の入力欄２２０、２２２にカタカナ制限情報５２０が対応付けられているため、文字認識部１７０は、入力画面２００に全角のカタカタをユーザに入力させるための入力欄２２０、２２２があることを認識し、全角のカタカタを表す認識文字４２０、４２２に変換する。また、座標テーブル５００の入力欄２３０、２３２、２３４に数字制限情報５３０が対応付けられているため、文字認識部１７０は、入力画面２００に半角の数字をユーザに入力させるための入力欄２３０、２３２、２３４があることを認識し、半角の数字を表す認識文字４３０、４３２、４３４に変換する。また、座標テーブル５００の入力欄２４０、２４２にチェックマーク属性情報５４０が対応付けられているため、文字認識部１７０は、入力画面２００にチェックマークをユーザに指定（選択）させるための入力欄２４０、２４２があることを認識し、チェックマークを表す認識文字４４０に変換する。
このとき、図２３に示すように、画面処理部１４０は、キャプチャ画面３００に対して手書き入力された位置に、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０を表示する（図１８のステップＳ１１０）。認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０は、それぞれ、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」、レ点による文字「レ」を表している。
例えば、ユーザは、キャプチャ画面３００に表示された認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０のうちの少なくとも１つの認識文字に誤りがないと判断した場合（図１８のステップＳ１１２−Ｎｏ）、ステップＳ１１６が実行される。
一方、ユーザは、キャプチャ画面３００に表示された認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０のうちの少なくとも１つの認識文字に誤りがあると判断した場合（図１８のステップＳ１１２−Ｙｅｓ）、その認識文字に対して修正を行なう（図１８のステップＳ１１４）。具体的には、その認識文字に対して、ステップＳ１０２、Ｓ１０４、Ｓ１０６、Ｓ１０８、Ｓ１１０が実行される。
ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、入力指示を行なう（図１８のステップＳ１１６）。
画面処理部１４０は、座標テーブル５００を参照して、入力欄２４０、２４２にチェックマーク属性情報５４０が対応付けられていない場合、入力画面２００にチェックマークを付すための入力欄２４０、２４２がないことを認識する（図１９のステップＳ１２０−Ｎｏ）。この場合、第２実施形態と同様に、ステップＳ１１８が実行される。すなわち、画面処理部１４０は、キャプチャ画面３００に代えて、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４がそれぞれ入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に反映された入力画面２００を表示する（図１９のステップＳ１１８）。入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４には、それぞれ、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」が表示される。
一方、画面処理部１４０は、座標テーブル５００を参照して、入力欄２４０、２４２にチェックマーク属性情報５４０が対応付けられている場合、入力画面２００にチェックマークを付すための入力欄２４０、２４２があることを認識する（図１９のステップＳ１２０−Ｙｅｓ）。この場合、図２４に示すように、画面処理部１４０は、キャプチャ画面３００に代えて、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、チェックマークがそれぞれ入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に反映された入力画面２００を表示する（図１９のステップＳ１２２）。すなわち、入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４には、それぞれ、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」が表示され、かつ、入力画面２００の入力欄２４０、２４２のうちの入力欄２４０が選択（指定）されたチェックマークが表示される。
以上の説明により、第３実施形態に係る入力表示装置１００では、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０、２４２を含む入力画面２００を表示する表示部１３０と、表示部１３０に表示された入力画面２００を手書き入力用画面（キャプチャ画面３００）としてキャプチャし、キャプチャ画面３００を入力画面２００上に表示する画面処理部１４０と、キャプチャ画面３００に対して手書き入力されたときのストロークデータを、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０、２４２に対応する文字列を表すストロークデータにグループ化し、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０として生成するストロークデータ処理部１６０と、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０に対して文字認識を施して、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０に変換する文字認識部１７０と、を具備している。この場合、文字認識部１７０は、入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０、２４２に基づいて、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０を認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０に変換し、画面処理部１４０は、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０を入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に反映させる。このため、第３実施形態に係る入力表示装置１００では、特許文献２に記載された技術のように、その都度、ユーザに文字列を手書き入力させるのではなく、ユーザが一括して手書き入力することができる。
また、第３実施形態に係る入力表示装置１００では、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０、２４２のうちの少なくとも２つの入力欄２４０、２４２には、ユーザが選択又は指定するための属性情報（チェックマーク属性情報５４０）が対応付けられている。文字認識部１７０は、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０、２４２と属性情報（チェックマーク属性情報５４０）とに基づいて、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０を認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０に変換する。このため、第３実施形態に係る入力表示装置１００では、属性情報として、例えば、ユーザ選択（ユーザ指定）を入力欄２４０、２４２に反映させることができる。
ここで、第３実施形態に係る入力表示装置１００では、画面処理部１４０は、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０が、入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に対して、ずれている場合でも、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０の座標領域と、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０の座標領域と、属性情報（チェックマーク属性情報５４０）と、に基づいて、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０に対して文字認識が施された認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０を、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に反映させる。例えば、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０のうちのグループ化ストロークデータ３４０の座標領域は、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０のうちの入力欄２４０の座標領域に対して、一部重なっているが、一部はみ出している。この場合でも、これらの座標領域と属性情報（チェックマーク属性情報５４０）とに基づいて、グループ化ストロークデータ３４０に対して文字認識が施された認識文字４４０を、入力欄２４０に反映させることができる。
［第４実施形態］
第４実施形態では、キャプチャ画面３００に各入力欄以外の部分に手書き入力された文字（例えば、ユーザのサイン等）については、入力画面２００に反映させてもよい。
第４実施形態に係る入力表示装置１００の動作について、図１８〜２１、２５〜２７を用いて説明する。図２５〜２７は、第４実施形態に係る入力表示装置１００の動作を説明するための図である。
手書き入力モードにおいて、画面処理部１４０は、表示部１３０に表示された入力画面２００（図２０を参照）をキャプチャ画面３００（図２５を参照）としてキャプチャして、記憶部１２０に保存すると共に、キャプチャ画面３００を入力画面２００上に表示する（図１８のステップＳ１００）。
図２５に示すように、ユーザは、キャプチャ画面３００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対して、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、文字「発明」、「太郎」、「ハツメイ」、「タロウ」、「２０１６」、「１」、「１」を手書き入力する。また、ユーザは、キャプチャ画面３００の入力欄２４０、２４２のうちの入力欄２４０に対して、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、チェックマーク（例えば、レ点）として文字「レ」を手書き入力する。また、ユーザは、キャプチャ画面３００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０、２４２以外の部分に、ユーザ自身のサインとして、文字「発」を丸で囲った文字を手書き入力する（図１８のステップＳ１０２）。
この場合、ユーザは、キャプチャ画面３００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、入力欄２４０からはみ出して、文字「発明」、「太郎」、「ハツメイ」、「タロウ」、「２０１６」、「１」、「１」、「レ」を手書き入力している。また、ユーザは、キャプチャ画面３００の右隅の部分に、丸で囲った文字「発」を手書き入力している。ストロークデータ処理部１６０は、キャプチャ画面３００に対して手書き入力された文字を構成する座標列をそれぞれストロークデータとして生成して記憶部１２０に保存する。
ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、認識指示を行なう（図１８のステップＳ１０４）。
このとき、図２５に示すように、ストロークデータ処理部１６０は、記憶部１２０に保存されたストロークデータのうちの、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に対応する文字列を表すストロークデータをグループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０として生成する。また、ストロークデータ処理部１６０は、記憶部１２０に保存されたストロークデータのうちの、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に対応しない文字列を表すストロークデータを、手書き文字３５０として生成する（図１８のステップＳ１０６）。
文字認識部１７０は、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０に対して文字認識を施して、それぞれ、コンピュータが編集可能な文字として認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０に変換する（図１８のステップＳ１０８）。
この場合、座標テーブル５００の入力欄２２０、２２２にカタカナ制限情報５２０が対応付けられているため、文字認識部１７０は、入力画面２００に全角のカタカタをユーザに入力させるための入力欄２２０、２２２があることを認識し、全角のカタカタを表す認識文字４２０、４２２に変換する。また、座標テーブル５００の入力欄２３０、２３２、２３４に数字制限情報５３０が対応付けられているため、文字認識部１７０は、入力画面２００に半角の数字をユーザに入力させるための入力欄２３０、２３２、２３４があることを認識し、半角の数字を表す認識文字４３０、４３２、４３４に変換する。また、座標テーブル５００の入力欄２４０、２４２にチェックマーク属性情報５４０が対応付けられているため、文字認識部１７０は、入力画面２００にチェックマークをユーザに指定（選択）させるための入力欄２４０、２４２があることを認識し、チェックマークを表す認識文字４４０に変換する。
このとき、図２６に示すように、画面処理部１４０は、キャプチャ画面３００に対して手書き入力された位置に、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０と手書き文字３５０とを表示する（図１８のステップＳ１１０）。認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０は、それぞれ、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」、レ点による文字「レ」を表している。
例えば、ユーザは、キャプチャ画面３００に表示された認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０のうちの少なくとも１つの認識文字に誤りがないと判断した場合（図１８のステップＳ１１２−Ｎｏ）、ステップＳ１１６が実行される。
一方、ユーザは、キャプチャ画面３００に表示された認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０のうちの少なくとも１つの認識文字に誤りがあると判断した場合（図１８のステップＳ１１２−Ｙｅｓ）、その認識文字に対して修正を行なう（図１８のステップＳ１１４）。具体的には、その認識文字に対して、ステップＳ１０２、Ｓ１０４、Ｓ１０６、Ｓ１０８、Ｓ１１０が実行される。
ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、入力指示を行なう（図１８のステップＳ１１６）。
画面処理部１４０は、座標テーブル５００を参照して、入力欄２４０、２４２にチェックマーク属性情報５４０が対応付けられていない場合、入力画面２００にチェックマークを付すための入力欄２４０、２４２がないことを認識する（図１９のステップＳ１２０−Ｎｏ）。この場合、ステップＳ１１８が実行される。すなわち、画面処理部１４０は、キャプチャ画面３００に代えて、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４がそれぞれ入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に反映され、かつ、手書き文字３５０が入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４以外の部分に反映された入力画面２００を表示する（図１９のステップＳ１１８）。入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４には、それぞれ、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」が表示される。また、入力画面２００の右隅の部分には、丸で囲った文字「発」が表示される。
一方、画面処理部１４０は、座標テーブル５００を参照して、入力欄２４０、２４２にチェックマーク属性情報５４０が対応付けられている場合、入力画面２００にチェックマークを付すための入力欄２４０、２４２があることを認識する（図１９のステップＳ１２０−Ｙｅｓ）。この場合、図２７に示すように、画面処理部１４０は、キャプチャ画面３００に代えて、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、チェックマークがそれぞれ入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に反映され、かつ、手書き文字３５０が入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４以外の部分に反映された入力画面２００を表示する（図１９のステップＳ１２２）。すなわち、入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４には、それぞれ、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」が表示され、かつ、入力画面２００の入力欄２４０、２４２のうちの入力欄２４０が選択（指定）されたチェックマークが表示される。また、入力画面２００の右隅の部分には、丸で囲った文字「発」が表示される。
以上の説明により、第４実施形態に係る入力表示装置１００では、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０、２４２を含む入力画面２００を表示する表示部１３０と、表示部１３０に表示された入力画面２００を手書き入力用画面（キャプチャ画面３００）としてキャプチャし、キャプチャ画面３００を入力画面２００上に表示する画面処理部１４０と、キャプチャ画面３００に対して手書き入力されたときのストロークデータを、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０、２４２に対応する文字列を表すストロークデータにグループ化し、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０として生成するストロークデータ処理部１６０と、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０に対して文字認識を施して、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０に変換する文字認識部１７０と、を具備している。画面処理部１４０は、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０を入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に反映させる。このため、第４実施形態に係る入力表示装置１００では、特許文献２に記載された技術のように、その都度、ユーザに文字列を手書き入力させるのではなく、ユーザが一括して手書き入力することができる。
また、第４実施形態に係る入力表示装置１００では、ストロークデータ処理部１６０は、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対応しない文字列を表すストロークデータを手書き文字３５０として生成する。画面処理部１４０は、手書き文字３５０と、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に反映された認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４とを入力画面２００に表示する。このため、第４実施形態に係る入力表示装置１００では、キャプチャ画面３００に各入力欄以外の部分に手書き入力された文字（例えば、ユーザのサイン等）を入力画面２００に反映させることができる。
［第５実施形態］
第２実施形態では、入力画面２００に、文字の種類を制限する制限情報として、例えば、全角のカタカタを入力するための入力欄や、半角の数字を入力するための入力欄が含まれるが、これに限定されない。例えば、入力画面２００に、文字の種類を制限する制限情報として、全角のカタカタを入力するための入力欄に代えて、半角のアルファベットを入力するための入力欄が含まれてもよい。
［第６実施形態］
第１〜第５実施形態では、入力画面２００に対して座標（Ｘ０、Ｙ０）（Ｘｍａｘ、Ｙ０）（Ｘ０、Ｙｍａｘ）（Ｘｍａｘ、Ｙｍａｘ）をもたせているが、これに限定されない。例えば、入力画面２００（ウィンドウ）は表示部１３０上で移動可能であり、入力画面２００に対して座標をもたせていない場合、ユーザがキャプチャ画面３００上で手書き入力したときに、画面処理部１４０は、キャプチャ画面３００上の座標をイベントデータとして、入力画面２００に対応付けてもよい。
［第７実施形態］
第７実施形態として、入力される文字（列）が英数字の場合について説明する。図２８は、キャプチャ画面４００に英数字を入力し、入力画面に反映させるものである。なお、上述した実施形態と機能構成や基本的な処理については共通であり、具体的な処理については、上述した実施形態を適宜参照できるものとする。したがって、本実施形態においては、上述した実施形態と異なる部分を中心に説明する。
図２８は、手書き入力モードにおけるキャプチャ画面４００である。キャプチャ画面４００は、入力画面をキャプチャしたものであり、入力画面には「First name」「Last name」「Date of Birth」という入力欄が存在する。また、選択可能な選択ボタンとして、「Title」の欄が存在する。
ここで、ユーザは、キャプチャ画面４００の入力欄に対し、入力部１５０を用いて文字「John」「Smith」「8/29/1970」を手書き入力する。また、ユーザは、選択ボタンに対してチェックマークを手書き入力する。これらの手書き入力された文字（文字列）を構成する座標列をそれぞれストロークデータとして生成して記憶部１２０に保存する。
このとき、入力欄に対応する文字列を表すストロークデータをグループ化ストロークデータとして生成してもよい。これらのストロークデータ（グループ化ストロークデータ）に対して文字認識を施して、それぞれ、コンピュータが編集可能な文字（文字列）として認識文字に変換する。
ここで、文字認識部１７０は、入力欄に対応して認識文字に変換する。具体的には「First name」の欄であれば、英数字の文字認識を行う。また、選択ボタンについては、チェックマークを認識する認識文字に認識する。
なお、文字認識部１７０は、入力欄に対応した認識文字に変換するが、予め決められた言語で認識されてもよい。予め決められた言語とは、当該処理が実行される前に「英語」「日本語」「アラビア語」等が設定されてもよいし、ＯＳで設定されている言語が利用されても良い。
図２９は、文字・文字列が認識された状態を示すキャプチャ画面４００である。当該認識が適切であれば、ユーザにより反映させる操作が実行され、各入力欄に認識された文字・文字列が入力させることとなる。すなわち、入力画面の複数の入力欄に、認識された文字が反映される。
［第８実施形態］
第８実施形態について説明する。第４実施形態において、日本語における手書き入力及びそれ以外の入力について説明した。本実施形態は、入力する欄の属性情報に応じて、文字を認識するのか、そのままストロークデータを記憶するのかを分ける形態である。なお、上述した実施形態と機能構成、主な処理は共通であり、具体的な処理については、上述した実施形態を適宜参照できるものとする。したがって、本実施形態においては、上述した実施形態と異なる部分を中心に説明する。
図３０は、第３実施形態における図１８の処理を置き換えたものである。同一の処理フローについては、同一の符号を付してその説明を省略する。すなわち、図３０では、ステップＳ８０２が追加されている。
ステップＳ８０２は、現在ストロークデータが入力された入力画面の位置の属性情報が署名欄か否かを判定する（ステップＳ８０２）。ここで、署名欄でない場合は他の実施形態と同様に、ステップＳ１０８から処理を実行するが（ステップＳ８０２；Ｎｏ）、署名欄の場合には、文字認識を行わない（ステップＳ８０２；Ｙｅｓ）。すなわち、ストロークデータは手書き入力された文字であるサイン（署名）であるとして、入力画面に反映されることとなる。
この署名である属性情報は、例えば座標テーブル５００に対応づけて記憶させてもよい。例えば、内容「署名欄」に対して、情報「署名属性情報」が記憶される。
図３１は、本実施形態における入力画面に基づくキャプチャ画面５１０である。キャプチャ画面５１０には、入力欄があり、例えば、「First name」の入力欄にはグループ化ストロークデータ６００が入力されており、図３２に示すように認識文字６１０として認識される。
ここで、署名欄に入力された手書き文字６０２は、署名欄の属性に基づいてそのまま手書き文字６１２として生成され、反映される。
このように、本実施形態によれば、通常の入力欄に手書き入力された文字（ストロークデータ）は、グループ化ストロークデータとして生成され、文字列として認識される。また、署名欄に入力された署名は、そのまま手書き文字として生成され、認識される。
なお、本実施形態では、署名欄を一例として説明しているが、その他の欄であってもよいし（例えば、図形入力欄や、確認欄等）、複数設けてもよい。
［第９実施形態］
第９実施形態について説明する。第８実施形態において、入力する欄の属性に基づいて、文字認識するか否かについての判定を行った。本実施形態では、更に加えて座標情報を併せて、入力する欄の属性を判定する場合について説明する。なお、上述した実施形態と機能構成、主な処理は共通であり、具体的な処理については、上述した実施形態を適宜参照できるものとする。したがって、本実施形態においては、上述した実施形態と異なる部分を中心に説明する。
図３３は、第８実施形態（第３実施形態）における図３０（図１８）の処理を置き換えたものである。同一の処理フローについては、同一の符号を付してその説明を省略する。すなわち、図３３では、図１８の動作フローと比較してステップＳ９０２、Ｓ９０４が追加されている。
キャプチャ画面において、手書き入力されると、手書き入力された座標情報に基づいて、属性情報を取得する（ステップＳ９０２）。ここで、取得された属性情報が、文字認識する対象であればステップＳ１０８から処理を実行する（ステップＳ９０４；Ｙｅｓ）。すなわち、文字認識を実行する。
それに対して、取得された属性情報が文字認識する対象で無ければ、文字認識を行わない（ステップＳ９０４；Ｎｏ）。なお、これらの座標情報と属性情報との対応は、例えば、座標テーブル５００に記憶されてもよい。
例えば、図３４は、入力枠が表示されていない入力画面に基づくキャプチャ画面（入力用画面）である。この場合、入力領域７５０については、文字認識を行わない領域であり、入力領域７６０については、文字認識を行う領域である。すなわち、当該入力領域を含む座標情報の属性情報に、その旨が設定されている。
したがって、グループ化ストロークデータ７００については文字認識が行われる。例えば、グループ化ストロークデータ７００は、文字認識が行われ、図３５の認識文字７１０として表示される。
また、文字認識を行わない領域に入力された手書き文字７０２は、そのまま手書き文字として入力される。すなわち、図３５では、手書き文字７１２として表示されている。
このように、本実施形態によれば、入力枠が表示されていない場合であっても、適切に属性情報を取得し、入力されたストロークデータは、属性情報に従って文字（文字列）や手書き文字、図形として入力される。
第７実施形態から第９実施形態は、第１実施形態から第６実施形態で記載された内容においても十分開示されている内容である。実施形態として、第１実施形態から第６実施形態は、漢字、カタカナといった文字を主に説明したが、英数字においても適用される点を確認的に記載したものである。例えば、図１５においても数字を認識していることから、当業者であれば十分に開示されている範囲である。
なお、第７実施形態から第９実施形態は、英文字を例に説明したが、その他の文字（例えば、アラビア文字や、キリル文字、タイ文字等）、記号であっても同様に適用可能なことは勿論である。
［変形例］
以上のように、本発明は上述した実施形態に限定されるものではなく、種々の変更が可能である。すなわち、適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
１００ … 入力表示装置
１１０ … 制御部
１２０ … 記憶部
１３０ … 表示部
１４０ … 画面処理部
１５０ … 入力部
１６０ … ストロークデータ処理部
１７０ … 文字認識部
２００ … 入力画面
２１０ … 入力欄
２１２ … 入力欄
２２０ … 入力欄
２２２ … 入力欄
２３０ … 入力欄（数字入力欄）
２３２ … 入力欄（数字入力欄）
２３４ … 入力欄（数字入力欄）
２４０ … 入力欄（チェック欄）
２４２ … 入力欄（チェック欄）
３００ … キャプチャ画面
３１０ … グループ化ストロークデータ
３１２ … グループ化ストロークデータ
３２０ … グループ化ストロークデータ
３２２ … グループ化ストロークデータ
３３０ … グループ化ストロークデータ
３３２ … グループ化ストロークデータ
３３４ … グループ化ストロークデータ
３４０ … グループ化ストロークデータ
３５０ … 手書き文字
４１０ … 認識文字
４１２ … 認識文字
４２０ … 認識文字
４２２ … 認識文字
４３０ … 認識文字
４３２ … 認識文字
４３４ … 認識文字
４４０ … 認識文字
５００ … 座標テーブル
５２０ … カタカナ制限情報
５３０ … 数字制限情報
５４０ … チェックマーク属性情報
ＳＤ１ … ストロークデータ
ＳＤｎ … ストロークデータ
Ｔｐ … 所定時間

Claims (10)

  1. 複数の入力欄を含む入力画面上に、手書き入力用画面を表示する表示部と、
    前記手書き入力用画面に対して手書き入力されたときのストロークデータを、文字を表すストロークデータにグループ化し、グループ化ストロークデータとして生成するストロークデータ処理部と、
    前記グループ化ストロークデータに対して文字認識を施して、認識文字に変換する文字認識部と、
    前記認識文字を、前記手書き入力用画面において手書き入力された位置に対応する前記入力画面の複数の入力欄に反映させる制御処理部と、
    を具備することを特徴とする入力表示装置。
  2. 前記ストロークデータ処理部は、前記ストロークデータを、前記複数の入力欄に対応する文字を表すストロークデータにグループ化し、グループ化ストロークデータとして生成することを特徴とする請求項１に記載の入力表示装置。
  3. 前記制御処理部は、
    前記グループ化ストロークデータの座標領域と、前記入力欄の座標領域とに基づいて、前記グループ化ストロークデータに対して文字認識が施された前記認識文字を、前記複数の入力欄に反映させることを特徴とする請求項１に記載の入力表示装置。
  4. 前記文字認識部は、
    前記グループ化ストロークデータの座標領域と、前記入力欄の座標領域とに基づいて、前記文字認識を施すかを判定し、
    前記文字認識を施すと判定された場合には、前記グループ化ストロークデータに対して文字認識を施して、認識文字に変換することを特徴とする請求項１から３の何れか一項に記載の入力表示装置。
  5. 前記複数の入力欄のうちの少なくとも１つの入力欄には、属性情報が対応付けられており、
    前記文字認識部は、
    前記入力欄の属性情報に基づいて、前記文字認識を施すかを判定し、
    前記入力欄が文字認識を施すと判定された場合には、当該入力欄に対応するグループ化ストロークデータに対して文字認識を施して、前記認識文字に変換することを特徴とする請求項１から３の何れか一項に記載の入力表示装置。
  6. 前記属性情報は、入力欄の文字種による制限情報、ユーザが選択若しくは指定する入力方法による制限情報及び／又は手書き入力する署名欄である情報を含むことを特徴とする請求項５に記載の入力表示装置。
  7. 前記ストロークデータ処理部は、前記複数の入力欄のいずれにも対応しないストロークデータを手書き文字として生成し、
    前記制御処理部は、前記手書き文字を前記入力画面に表示することを特徴とする請求項１から６のいずれか一項に記載の入力表示装置。
  8. 前記手書き入力用画面はキャプチャ画面であり、
    前記制御処理部は、前記表示部に表示された前記入力画面を前記キャプチャ画面としてキャプチャし、前記キャプチャ画面を前記入力画面上に表示することを特徴とする請求項１から６のいずれか一項に記載の入力表示装置。
  9. 前記入力欄の表示形態は、少なくとも枠表示、アンダーライン表示、枠なし表示の何れかであることを特徴とする請求項１から８の何れか一項に記載の入力表示装置。
  10. 複数の入力欄を含む入力画面上に、手書き入力用画面を表示するステップと、
    前記手書き入力用画面に対して手書き入力されたときのストロークデータを、文字を表すストロークデータにグループ化し、グループ化ストロークデータとして生成するステップと、
    前記グループ化ストロークデータに対して文字認識を施して、認識文字に変換するステップと、
    前記認識文字を前記手書き入力用画面において手書き入力された位置に対応する前記入力画面の複数の入力欄に反映させるステップと、
    を具備することを特徴とする入力表示方法。
JP2017044279A 2016-04-27 2017-03-08 入力表示装置および入力表示方法 Active JP6986848B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710275655.3A CN107368198B (zh) 2016-04-27 2017-04-25 输入显示装置以及输入显示方法
US15/497,325 US10359864B2 (en) 2016-04-27 2017-04-26 Input display device and input display method
US16/441,050 US10585500B2 (en) 2016-04-27 2019-06-14 Input display device and input display method
US16/775,705 US10963074B2 (en) 2016-04-27 2020-01-29 Input display device and input display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016089589 2016-04-27
JP2016089589 2016-04-27

Publications (2)

Publication Number Publication Date
JP2017201506A true JP2017201506A (ja) 2017-11-09
JP6986848B2 JP6986848B2 (ja) 2021-12-22

Family

ID=60264589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017044279A Active JP6986848B2 (ja) 2016-04-27 2017-03-08 入力表示装置および入力表示方法

Country Status (3)

Country Link
US (2) US10585500B2 (ja)
JP (1) JP6986848B2 (ja)
CN (1) CN107368198B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10921928B2 (en) * 2019-02-22 2021-02-16 Sharp Kabushiki Kaisha Input apparatus and input system
JP2022018660A (ja) * 2020-07-16 2022-01-27 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11720237B2 (en) * 2021-08-05 2023-08-08 Motorola Mobility Llc Input session between devices based on an input trigger
US11583760B1 (en) 2021-08-09 2023-02-21 Motorola Mobility Llc Controller mode for a mobile device
US11902936B2 (en) 2021-08-31 2024-02-13 Motorola Mobility Llc Notification handling based on identity and physical presence
US11641440B2 (en) 2021-09-13 2023-05-02 Motorola Mobility Llc Video content based on multiple capture devices

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1069353A (ja) * 1996-06-04 1998-03-10 Internatl Business Mach Corp <Ibm> スタイラス入力を容易にする方法及びシステム
JP2001351065A (ja) * 2000-06-05 2001-12-21 Japan Science & Technology Corp 文字認識方法、文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体及び文字認識装置
JP2003044214A (ja) * 2001-07-26 2003-02-14 Fujitsu Ltd 手書き文字入力装置及びそれを実現するプログラム
JP2003108901A (ja) * 2001-09-29 2003-04-11 Kokuyo Co Ltd カード決済システム及びカード決済支援方法
JP2006134105A (ja) * 2004-11-05 2006-05-25 Toshiba Corp 帳票読取装置
JP2014170544A (ja) * 2013-02-28 2014-09-18 Ricoh Co Ltd 処理方法、処理システム及びコンピュータプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6525716B1 (en) * 1997-04-01 2003-02-25 Casio Computer Co., Ltd. Handwritten data input device having coordinate detection tablet
US6456740B1 (en) * 1999-07-26 2002-09-24 International Business Machines Corporation System and method for identifying form type in a handwriting recognition based form completion system
US6697056B1 (en) * 2000-01-11 2004-02-24 Workonce Wireless Corporation Method and system for form recognition
US7564995B1 (en) * 2000-03-07 2009-07-21 Apple Inc. Method and apparatus for acquiring and organizing ink information in pen-aware computer systems
US6703570B1 (en) * 2000-05-10 2004-03-09 International Business Machines Corporation Digital pen using ultrasonic tracking
US20090078473A1 (en) * 2007-09-26 2009-03-26 Digital Pen Systems Handwriting Capture For Determining Absolute Position Within A Form Layout Using Pen Position Triangulation
KR101639074B1 (ko) * 2009-07-31 2016-07-12 삼성전자주식회사 터치스크린을 이용한 문자 인식 및 문자 입력 장치 및 그 방법
US20110320924A1 (en) * 2010-06-23 2011-12-29 Microsoft Corporation Handwritten paper-based input digital record management
US20120066578A1 (en) * 2010-08-09 2012-03-15 Adapx, Inc. Attribute value management system and methods
US20120206374A1 (en) * 2011-02-14 2012-08-16 Htc Corporation Systems and methods for screen data management
JP5550598B2 (ja) * 2011-03-31 2014-07-16 パナソニック株式会社 手書き文字入力装置
US9927971B2 (en) * 2014-12-05 2018-03-27 Kabushiki Kaisha Toshiba Electronic apparatus, method and storage medium for generating chart object

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1069353A (ja) * 1996-06-04 1998-03-10 Internatl Business Mach Corp <Ibm> スタイラス入力を容易にする方法及びシステム
JP2001351065A (ja) * 2000-06-05 2001-12-21 Japan Science & Technology Corp 文字認識方法、文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体及び文字認識装置
JP2003044214A (ja) * 2001-07-26 2003-02-14 Fujitsu Ltd 手書き文字入力装置及びそれを実現するプログラム
JP2003108901A (ja) * 2001-09-29 2003-04-11 Kokuyo Co Ltd カード決済システム及びカード決済支援方法
JP2006134105A (ja) * 2004-11-05 2006-05-25 Toshiba Corp 帳票読取装置
JP2014170544A (ja) * 2013-02-28 2014-09-18 Ricoh Co Ltd 処理方法、処理システム及びコンピュータプログラム

Also Published As

Publication number Publication date
JP6986848B2 (ja) 2021-12-22
US20190294268A1 (en) 2019-09-26
US20200167014A1 (en) 2020-05-28
US10585500B2 (en) 2020-03-10
US10963074B2 (en) 2021-03-30
CN107368198A (zh) 2017-11-21
CN107368198B (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
JP6986848B2 (ja) 入力表示装置および入力表示方法
US7137076B2 (en) Correcting recognition results associated with user input
JP5470835B2 (ja) マーキング処理方法及びコンピュータプログラム
US7752569B2 (en) Software key labeling on software keyboards
US20070098263A1 (en) Data entry apparatus and program therefor
US20180067640A1 (en) Formula inputting method and apparatus
JP3829366B2 (ja) 入力装置、および入力方法
US20120326988A1 (en) Multilingual key input apparatus and method thereof
JPH0869461A (ja) コンピューターシステム用テキスト変換方法
JP2012059248A (ja) フォーム・フィールドを検出および生成するシステム、方法およびプログラム
WO2014147722A1 (ja) 電子機器、方法及びプログラム
US20200104586A1 (en) Method and system for manual editing of character recognition results
US10359864B2 (en) Input display device and input display method
EP4179436A1 (en) Electronic form generation from electronic documents
US20220229973A1 (en) Interactive tool for modifying an automatically generated electronic form
JP3029824B1 (ja) 手書き文字処理装置、手書き文字処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5761237B2 (ja) 情報表示装置及び情報編集方法並びに情報編集プログラム
JP3388451B2 (ja) 手書き入力装置
JP6655331B2 (ja) 電子機器及び方法
JP5330714B2 (ja) 検索支援装置、および検索支援プログラム
CN113111881A (zh) 信息处理装置及记录媒体
JP6202997B2 (ja) 電子機器、方法及びプログラム
JP6244676B2 (ja) 操作支援プログラム及び操作支援方法並びに情報処理装置
JP4247849B2 (ja) 氏名入力装置
Bai Improved error-correcting from extracted handwritings in Chinese

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211130

R150 Certificate of patent or registration of utility model

Ref document number: 6986848

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150