CN108700981B - 输入显示控制装置、输入显示控制方法和输入显示系统 - Google Patents

输入显示控制装置、输入显示控制方法和输入显示系统 Download PDF

Info

Publication number
CN108700981B
CN108700981B CN201680080670.6A CN201680080670A CN108700981B CN 108700981 B CN108700981 B CN 108700981B CN 201680080670 A CN201680080670 A CN 201680080670A CN 108700981 B CN108700981 B CN 108700981B
Authority
CN
China
Prior art keywords
curve
character string
unit
shape
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680080670.6A
Other languages
English (en)
Other versions
CN108700981A (zh
Inventor
平井正人
今石晶子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to CN202210644398.7A priority Critical patent/CN115061622A/zh
Priority to CN202210644459.XA priority patent/CN115047997A/zh
Publication of CN108700981A publication Critical patent/CN108700981A/zh
Application granted granted Critical
Publication of CN108700981B publication Critical patent/CN108700981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/109—Font handling; Temporal or kinetic typography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001—Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Abstract

显示控制部(12)在判断为由于曲线信息取得部(9)取得的曲线信息所表示的曲线的长度较短而无法沿着曲线显示由字符串取得部(10)取得的字符串的一部分的情况下，根据由曲线信息取得部(9)取得的曲线信息所表示的曲线的形状决定该曲线的延长部分的形状，延长该曲线，生成用于沿着延长部分的曲线显示该字符串的一部分的显示信息。

Description

输入显示控制装置、输入显示控制方法和输入显示系统
技术领域
本发明涉及生成用于显示字符串的显示信息的输入显示控制装置、输入显示控制方法和输入显示系统。
背景技术
在以下的专利文献1中公开了沿着曲线等线显示字符串的显示装置。
现有技术文献
专利文献
专利文献1：日本特开平10-124033号公报
发明内容
发明要解决的课题
现有的显示装置如上所述构成，因此，如果曲线的长度比字符串的长度长，则能够沿着曲线显示字符串的全部。但是，在曲线的长度比字符串的长度短的情况下，存在无法沿着曲线显示字符串的一部分这样的课题。
本发明是为了解决上述课题而完成的，其目的在于，得到如下的输入显示控制装置、输入显示控制方法和输入显示系统：在所取得的曲线的长度比字符串的长度短的情况下也能够沿着曲线显示字符串的全部。
用于解决课题的手段
本发明的输入显示控制装置具有：曲线信息取得部，其取得表示曲线的曲线信息；字符串取得部，其取得字符串；以及显示控制部，其生成显示信息，该显示信息用于沿着由曲线信息取得部取得的曲线信息所表示的曲线显示由字符串取得部取得的字符串，显示控制部在判断为由于曲线信息取得部取得的曲线信息所表示的曲线的长度较短而无法沿着曲线显示由字符串取得部取得的字符串的一部分的情况下，根据该曲线的形状决定该曲线的延长部分的形状，延长该曲线，生成用于沿着该延长部分的曲线显示字符串的一部分的显示信息。
发明效果
根据本发明，显示控制部在由曲线信息取得部取得的曲线信息所表示的曲线的长度较短而判断为无法沿着曲线显示由字符串取得部取得的字符串的一部分的情况下，根据该曲线的形状决定该曲线的延长部分的形状，延长该曲线，生成用于沿着该延长部分的曲线显示字符串的一部分的显示信息，因此，具有在所取得的曲线的长度比字符串的长度短的情况下也能够沿着曲线显示字符串的全部的效果。
附图说明
图1是示出本发明的实施方式1的包含输入显示控制装置的输入显示系统的结构图。
图2是本发明的实施方式1的输入显示系统的硬件结构图。
图3是输入显示系统由软件或固件等实现的情况下的计算机的硬件结构图。
图4是示出本发明的实施方式1的输入显示系统的处理内容即输入显示控制方法的流程图(其一)。
图5是示出本发明的实施方式1的输入显示系统的处理内容即输入显示控制方法的流程图(其二)。
图6是示出字符管理DB2中存储的字符属性表的说明图。
图7是示出在输出表示声音的识别结果的字符串之前输出曲线图像的情况下的显示处理的说明图。
图8是示出在输出曲线图像之前输出表示声音的识别结果的字符串的情况下的显示处理的说明图。
图9A是示出如果曲线的长度比字符串的长度长、则能够在曲线图像上重叠显示构成该字符串的全部字符的说明图。图9B是示出如果曲线的长度比字符串的长度短、则无法在曲线图像上重叠显示构成该字符串的一部分字符的说明图。
图10A是示出在曲线的形状为直线的情况下计算曲线的长度L所使用的曲线的前端和终端的位置坐标的说明图。图10B是示出在曲线的形状弯曲的情况下计算曲线的长度L所使用的曲线的前端、终端和中间点的位置坐标的说明图。
图11是示出显示控制部12的延长曲线形状决定部14的处理内容的说明图。
图12A是示出延长曲线的形状为原曲线的终端部的切线的形状的例子的说明图，图12B是示出延长曲线的形状为与原曲线的形状相同的曲率的例子的说明图，图12C是示出延长曲线的形状为与原曲线的形状相同的周期的波线形状的例子的说明图，图12D是示出延长曲线的形状为圆弧形状的例子的说明图。
图13是示出显示控制部12的曲线延长部17的处理内容的说明图。
图14是示出本发明的实施方式2的包含输入显示控制装置的输入显示系统的结构图。
图15是本发明的实施方式2的输入显示系统的硬件结构图。
图16是示出显示控制部51的显示处理部53中的显示处理的一例的说明图。
图17是示出显示控制部51的显示处理部53中的显示处理的一例的说明图。
图18是示出显示表示翻译结果的字符串的例子的说明图。
图19是示出显示表示翻译结果的字符串的例子的说明图。
图20是示出显示器32由背对背两个画面构成的情况下的显示处理部53中的显示处理的一例的说明图。
图21是示出显示表示翻译结果的字符串的例子的说明图。
图22是示出本发明的实施方式3的包含输入显示控制装置的输入显示系统的结构图。
图23是本发明的实施方式3的输入显示系统的硬件结构图。
图24是示出表示字符的识别结果的字符串的显示处理的一例的说明图。
图25是示出本发明的实施方式4的包含输入显示控制装置的输入显示系统的结构图。
图26是示出表示翻译结果的字符串的显示处理的一例的说明图。
具体实施方式
下面，为了更加详细地说明本发明，根据附图对用于实施本发明的方式进行说明。
实施方式1
图1是示出本发明的实施方式1的包含输入显示控制装置的输入显示系统的结构图，图2是本发明的实施方式1的输入显示系统的硬件结构图。
在图1和图2中，操作受理部1由指示器件21实现，实施受理描绘线的操作作为用户操作的处理。
在该实施方式1中，作为指示器件21，假设使用触摸面板，但是，不限于触摸面板，例如能够使用操纵杆、指示杆(轨迹点)、触摸板、手写笔、数据手套、轨迹球、手写板、鼠标、光笔、手柄等。
字符管理DB2例如由存储处理电路22实现，存储表示字符种类、字符尺寸、字符高度、字符宽度的对应关系的字符属性表。
字符管理部3例如由字符管理处理电路23实现。字符管理部3实施如下处理：事前设定显示器32中显示的字符的尺寸，参照字符管理DB2中存储的字符属性表，将表示与该字符尺寸对应的字符高度的字符属性信息输出到轨迹判别部4，并且将表示与该字符尺寸对应的字符高度和字符宽度的字符属性信息输出到输入显示控制装置100。
轨迹判别部4例如由图像生成处理电路24实现，实施如下处理：判别通过由操作受理部1受理的操作而描绘的线的轨迹，将呈现该轨迹的曲线的长度和形状等表示该曲线的曲线信息输出到输入显示控制装置100。设该曲线包含直线、折线等所有形状的线。
并且，轨迹判别部4实施如下处理：生成呈现轨迹的曲线的图像即曲线图像，将该曲线图像输出到输入显示控制装置100。该曲线图像包含在曲线信息内，被输出到输入显示控制装置100。
该曲线图像的线宽对应于从字符管理部3输出的字符属性信息所表示的字符高度。
字符串识别部5包含声音检测部6、声音识别辞典DB7和声音识别部8，实施将表示声音的识别结果的字符串作为显示对象字符串而输出到输入显示控制装置100的处理。
声音检测部6例如由麦克风25实现，检测用户的声音。
声音识别辞典DB7例如由存储处理电路22实现，声音识别辞典DB7例如由声学模型、以及记述有要进行声音识别的词语的识别辞典构成，该声学模型记述有人发声的较小单位即音素的声学特征。
声音识别部8例如由声音识别处理电路26实现，搭载有识别由声音检测部6检测到的声音的声音识别引擎。
即，声音识别部8实施如下处理：对由声音检测部6检测到的声音进行分析，计算该声音的声学特征，从声音识别辞典DB7的识别辞典中记述的词语中，搜索具有与该计算出的声学特征最接近的声学特征的词语，将表示该词语的字符串作为表示声音的识别结果的字符串输出到输入显示控制装置100。
在图1中，示出字符串识别部5安装有声音识别辞典DB7和声音识别部8的例子，但是，也可以代替声音识别辞典DB7和声音识别部8而安装数据发送接收部。
该数据发送接收部例如是能够经由因特网或LAN等通信路径而与未图示的声音识别服务器进行数据发送接收的网卡等网络通信设备，向声音识别服务器发送表示由声音检测部6检测到的声音的数据。
声音识别服务器搭载有识别声音的声音识别引擎，当接收到从数据发送接收部发送的表示声音的数据后，识别该声音，向该数据发送接收部发送表示该声音的识别结果的字符串。
该数据发送接收部接收到从声音识别服务器发送的表示声音的识别结果的字符串后，将该字符串输出到输入显示控制装置。
输入显示控制装置100具有曲线信息取得部9、字符串取得部10、字符属性信息取得部11和显示控制部12。
曲线信息取得部9例如由具有LAN(Local Area Network)端口或USB(UniversalSerial Bus)端口等的输入接口电路27实现，实施取得从轨迹判别部4输出的曲线信息的处理。
字符串取得部10例如由输入接口电路27实现，实施取得从字符串识别部5输出的字符串的处理。
字符属性信息取得部11例如由输入接口电路27实现，实施取得从字符管理部3输出的字符属性信息的处理。
显示控制部12包含长度比较部13、延长曲线形状决定部14、曲线延长部17和显示处理部18，实施如下处理：生成用于沿着从轨迹判别部4输出的曲线信息所表示的曲线显示从字符串识别部5输出的字符串的显示信息，根据该显示信息，沿着曲线显示字符串。即，实施如下处理：生成用于在由曲线信息取得部9取得的曲线信息中包含的曲线图像上重叠显示从字符串识别部5输出的字符串的显示信息，按照该显示信息，在曲线图像上重叠显示字符串。
并且，显示控制部12实施如下处理：在判断为由于曲线信息取得部9取得的曲线信息所表示的曲线的长度较短而无法沿着曲线显示从字符串识别部5输出的字符串的一部分的情况下，根据该曲线的形状决定该曲线的延长部分的形状，延长该曲线，并且，生成用于沿着该延长部分的曲线显示字符串的一部分的显示信息，根据该显示信息显示字符串的一部分。
进而，显示控制部12实施如下处理：在曲线图像上重叠显示字符串后，生成用于消除该曲线图像的显示的显示信息，按照该显示信息消除曲线图像。
长度比较部13例如由长度比较处理电路28实现，实施对由曲线信息取得部9取得的曲线信息所表示的曲线的长度和由字符串取得部10取得的字符串的长度进行比较的处理。
延长曲线形状决定部14例如由形状决定处理电路29实现，具有曲线存储部15和形状决定处理部16。延长曲线形状决定部14实施如下处理：如果长度比较部13的比较结果表示曲线的长度比字符串的长度短的意思，则根据由曲线信息取得部9取得的曲线信息所表示的曲线的形状决定延长部分的曲线即延长曲线的形状。
曲线存储部15事前存储形状不同的多个曲线。
形状决定处理部16实施如下处理：对曲线存储部15中存储的多个曲线的形状和由曲线信息取得部9取得的曲线信息所表示的曲线的形状进行对照，从曲线存储部15中存储的多个曲线的形状中选择与由曲线信息取得部9取得的曲线信息所表示的曲线对应的曲线的形状，根据该选择出的曲线的形状决定延长曲线的形状。
曲线延长部17例如由曲线延长处理电路30实现，实施如下处理：如果长度比较部13的比较结果表示曲线的长度比字符串的长度短的意思，则在由曲线信息取得部9取得的曲线信息所表示的曲线的终端附加由延长曲线形状决定部14决定了形状的延长曲线。
显示处理部18例如由显示处理电路31实现，实施如下处理：生成显示信息，按照该显示信息使显示器32显示字符串，该显示信息用于使显示器32沿着由曲线信息取得部9取得的曲线信息所表示的曲线显示由字符串取得部10取得的字符串。即，实施如下处理：生成显示信息，按照该显示信息使显示器32在曲线图像上重叠显示字符串，该显示信息用于在由曲线信息取得部9取得的曲线图像上重叠显示从字符串取得部10输出的字符串。
并且，显示处理部18实施如下处理：如果长度比较部13的比较结果表示曲线的长度比字符串的长度短的意思，则生成如下的显示信息并按照该显示信息使显示器32显示字符串的一部分，该显示信息用于在显示器32中沿着由曲线延长部17附加的延长曲线显示无法在曲线图像上重叠显示的字符串的一部分。
进而，显示处理部18实施如下处理：在使显示器32显示字符串后，生成用于消除曲线图像的显示的显示信息，按照该显示信息使显示器32消除曲线图像。
字符串暂时保存部19例如由存储处理电路22实现，暂时保存由字符串取得部10取得的字符串。
在图1中，假设作为输入显示系统的结构要素的操作受理部1、字符管理DB2、字符管理部3、轨迹判别部4、字符串识别部5、曲线信息取得部9、字符串取得部10、字符属性信息取得部11、长度比较部13、延长曲线形状决定部14、曲线延长部17、显示处理部18和字符串暂时保存部19分别由图2所示的专用硬件、即指示器件21、存储处理电路22、字符管理处理电路23、图像生成处理电路24、麦克风25、声音识别处理电路26、输入接口电路27、长度比较处理电路28、形状决定处理电路29、曲线延长处理电路30、显示处理电路31和显示器32实现。
这里，存储处理电路22例如是RAM(Random Access Memory)、ROM(Read OnlyMemory)、闪存、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)等非易失性或易失性半导体存储器、磁盘、软盘、光盘、高密度盘、迷你盘、DVD(Digital Versatile Disc)等。
并且，字符管理处理电路23、图像生成处理电路24、声音识别处理电路26、长度比较处理电路28、形状决定处理电路29、曲线延长处理电路30和显示处理电路31例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC(Application SpecificIntegrated Circuit)、FPGA(Field-Programmable Gate array)、或它们的组合。
并且，输入显示系统的结构要素不限于由专用硬件实现，输入显示系统也可以由软件、固件、或软件与固件的组合实现。
软件和固件作为程序存储在计算机的存储器中。计算机意味着执行程序的硬件，例如是CPU(Central Processing Unit)、中央处理装置、处理装置、运算装置、微处理器、微计算机、处理器、DSP(Digital Signal Processor)等。
图3是输入显示系统由软件或固件等实现的情况下的计算机的硬件结构图。
在输入显示系统由软件或固件等实现的情况下，在计算机的存储器41上构成字符管理DB2、声音识别辞典DB7和字符串暂时保存部19，并且，在存储器41中存储用于使计算机执行字符管理部3、轨迹判别部4、声音识别部8、曲线信息取得部9、字符串取得部10、字符属性信息取得部11、长度比较部13、延长曲线形状决定部14、曲线延长部17和显示处理部18的处理步骤的程序，处理器42执行存储器41中存储的程序即可。
图4和图5是示出本发明的实施方式1的输入显示系统的处理内容即输入显示控制方法的流程图。
并且，在图2中示出输入显示系统的结构要素分别由专用硬件实现的例子，在图3中示出输入显示系统由软件或固件等实现的例子，但是，也可以是输入显示系统中的一部分结构要素由专用硬件实现，其余结构要素由软件或固件等实现。
例如，能够利用专用硬件实现操作受理部1和字符串识别部5，利用软件或固件等实现字符管理DB2、字符管理部3、轨迹判别部4、输入显示控制装置100和字符串暂时保存部19。但是，专用硬件和软件等的组合是任意的。
接着，对动作进行说明。
图6是示出字符管理DB2中存储的字符属性表的说明图。
在图6的字符属性表中，例如按照每个字符种类记述有与字符尺寸对应的字符高度和字符宽度。作为字符种类，例如考虑明朝体、黑体等。
在字符管理部3中事前设定有显示器32中显示的字符的字符种类和字符尺寸，字符管理部3参照字符管理DB2中存储的字符属性表，将表示与该字符种类和字符尺寸对应的字符高度的字符属性信息输出到轨迹判别部4，并且将表示与该字符种类和字符尺寸对应的字符高度和字符宽度的字符属性信息输出到输入显示控制装置100(图4的步骤ST1)。
例如，如果事前设定的字符的字符种类为“A”，其字符尺寸为“10”，则将表示字符高度为“5mm”的字符属性信息输出到轨迹判别部4，并且，将表示字符高度为“5mm”、字符宽度为“5mm”的字符属性信息输出到输入显示控制装置100。
并且，如果事前设定的字符的字符种类为“B”，其字符尺寸为“5”，则将表示字符高度为“2mm”的字符属性信息输出到轨迹判别部4，并且，将表示字符高度为“2mm”、字符宽度为“1.25mm”的字符属性信息输出到输入显示控制装置100。
轨迹判别部4从字符管理部3接收到字符属性信息后，将要生成的曲线图像的线宽设定成与字符属性信息所表示的字符高度对应的线宽(步骤ST2)。
例如，在字符属性信息所表示的字符高度为“10mm”时，如果字符的上部和下部的留白被设定成“0.5mm”，则计算为10+0.5+0.5＝11＝(mm)，将曲线图像的线宽设定成“11mm”。
这里，示出在字符的上部和下部设置留白的例子，但是，也可以不设置留白而使字符属性信息所表示的字符高度和曲线图像的线宽一致。
在该实施方式1中，假设实现操作受理部1的指示器件21为触摸面板，因此，当用户使用自己的手指或触摸面板用的输入笔等在触摸面板上进行描绘线的操作时(步骤ST3：“是”的情况)，操作受理部1受理描绘线的操作，将该操作的内容输出到轨迹判别部4(步骤ST4)。
所输出的描绘线的操作的内容例如是表示与触摸面板接触的手指或输入笔的位置的坐标、即触摸面板上的位置坐标的连续变化的时间序列数据。
轨迹判别部4从操作受理部1接收到描绘线的操作的内容后，根据该操作内容判别通过操作而描绘的线的轨迹(步骤ST5)。
如上所述，描绘线的操作的内容表示接触位置相对于触摸面板的连续变化，因此，通过连接时间序列的接触位置，能够判别所描绘的线的轨迹。
轨迹判别部4判别出所描绘的线的轨迹后，生成呈现该轨迹的曲线的长度或形状等表示该曲线的曲线信息。
并且，轨迹判别部4生成呈现该轨迹的曲线的图像即曲线图像，将包含该曲线图像的曲线信息输出到输入显示控制装置100(步骤ST6)。
该曲线图像的线宽是步骤ST2中设定的线宽，在上述例子中，将曲线图像的线宽设定成“11mm”，因此，生成线宽为“11mm”的曲线图像。
在声音检测部6检测到用户的声音时(步骤ST7：“是”的情况)，字符串识别部5的声音识别部8利用声音识别辞典DB7实施该声音的识别处理，由此生成表示该声音的识别结果的字符串，将该字符串输出到输入显示控制装置100(步骤ST8)。
声音识别部8进行的声音的识别处理本身是公知技术，因此省略详细说明，但是，例如考虑如下方法：对由声音检测部6检测到的声音进行分析，计算该声音的声学特征，从声音识别辞典DB7的识别辞典中记述的词语中，搜索具有与该计算出的声学特征最接近的声学特征的词语，输出表示该词语的字符串作为表示声音的识别结果的字符串。
在该实施方式1中，为了便于说明，假设用户进行了“春になったら桜を見に行きましょう”这样的讲话，声音识别部8输出表示“春になったら桜を見に行きましょう”的字符串。
输入显示控制装置100在从轨迹判别部4输出包含曲线图像的曲线信息后，使显示器32显示该曲线图像，并且，在曲线图像上重叠显示从字符串识别部5输出的字符串。
下面，对输入显示控制装置100的处理内容进行具体说明。
图7是示出在输出表示声音的识别结果的字符串之前输出曲线图像的情况下的显示处理的说明图。
图8是示出在输出曲线图像之前输出表示声音的识别结果的字符串的情况下的显示处理的说明图。
图9是示出曲线图像上重叠显示的字符串的说明图。图9A示出如果曲线的长度比字符串的长度长、则能够在曲线图像上重叠显示构成该字符串的全部字符。图9B示出如果曲线的长度比字符串的长度短、则无法在曲线图像上重叠显示构成该字符串的一部分字符。
图10是示出显示控制部12的长度比较部13的处理内容的说明图。图10A示出在曲线的形状为直线的情况下计算曲线的长度L所使用的曲线的前端和终端的位置坐标。图10B示出在曲线的形状弯曲的情况下计算曲线的长度L所使用的曲线的前端、终端和中间点的位置坐标。
图11是示出显示控制部12的延长曲线形状决定部14的处理内容的说明图。
图12是示出由显示控制部12的延长曲线形状决定部14决定的延长曲线的形状的一例的说明图。
图13是示出显示控制部12的曲线延长部17的处理内容的说明图。
在从字符串识别部5的声音识别部8输出字符串之前，从轨迹判别部4输出包含曲线图像的曲线信息，由此，在曲线信息取得部9取得曲线信息时(图5的步骤ST11：“是”的情况)，显示控制部12的显示处理部18生成用于显示曲线图像的显示信息，按照该显示信息，如图7的步骤A所示，使显示器32显示该曲线图像(步骤ST12)。
在该实施方式1中，为了便于说明，设为通过用户的操作而描绘的线的长度较短，因此，曲线的长度比表示声音的识别结果的字符串的长度短。
另外，在显示处理部18显示曲线图像时，可以同时显示曲线图像的整体，但是，也可以以从之后显示的字符串的开头侧起依次进行显示的动画的方式显示曲线图像。
例如如图7的步骤B所示，用户进行“春になったら桜を見に行きましょう”这样的讲话，由此，显示处理部18从声音识别部8接收到表示“春になったら桜を見に行きましょう”的字符串时(图5的步骤ST13：“是”的情况)，生成用于在曲线图像上重叠显示该字符串的显示信息，按照该显示信息，如图7的步骤C所示，在曲线图像上重叠显示该字符串(步骤ST14)。
但是，在图7的例子中，曲线的长度比表示声音的识别结果的字符串的长度短，因此，在曲线图像上重叠显示字符串中的“春になったら桜を見に行き”，但是，未在曲线图像上重叠显示“ましょう”。
在字符串取得部10取得从声音识别部8输出的表示“春になったら桜を見に行きましょう”的字符串后，显示控制部12的长度比较部13参照从字符管理部3输出后由字符属性信息取得部11取得的字符属性信息所表示的字符宽度，计算该字符串的长度(图5的步骤ST15)。
这里，从声音识别部8输出的字符串为“春になったら桜を見に行きましょう”，该字符串的字符数为16，因此，例如，如果从字符管理部3输出的字符属性信息所表示的字符宽度为“5mm”，则如下述式(1)所示，字符串的长度成为80mm。
字符串的长度＝5mm×16＝80mm (1)
接着，长度比较部13计算由曲线信息取得部9取得的曲线信息所表示的曲线的长度(步骤ST16)。
如果曲线的形状为例如图10A所示的直线，则如下述式(2)所示，能够根据该曲线的前端的位置坐标(Xs,Ys)和终端的位置坐标(Xe,Ye)计算曲线的长度L。在图7的步骤A中显示的曲线图像的情况下，曲线的左端为曲线的前端，曲线的右端为曲线的终端。这些位置坐标是与表示字符宽度等的单位相同的单位。这里，mm为单位。
Figure GDA0001749929450000111
在式(2)中，示出曲线的形状为直线的情况下的曲线的长度L的计算式，但是，如果曲线的形状为例如图10B所示的曲线，则使用该曲线的前端的位置坐标(Xs,Ys)和终端的位置坐标(Xe,Ye)以及从该曲线的前端到终端的多个中间点的位置坐标(Xn,Yn)(n＝1,…,N：N为1以上的整数)，利用直线近似曲线的形状，由此能够计算曲线的长度L。
例如在N＝2的情况下，如下述式(3)所示，能够根据曲线的前端的位置坐标(Xs,Ys)、中间点的位置坐标(X1,Y1)、中间点的位置坐标(X2,Y2)、终端的位置坐标(Xe,Ye)，计算曲线的长度L。
Figure GDA0001749929450000121
在式(3)中，Xs<X1<X2<Xe。
在图10B中，示出N＝2的例子，但是，为了提高近似精度，当然可以设N为3以上，使用多个中间点的位置坐标(Xn,Yn)。
长度比较部13计算曲线的长度后，对该曲线的长度和字符串的长度进行比较(图5的步骤ST17)。
如果长度比较部13的比较结果表示曲线的长度比字符串的长度短的意思(图5的步骤ST18：“是”的情况)，则延长曲线形状决定部14根据由曲线信息取得部9取得的曲线信息所表示的曲线的形状，决定延长部分的曲线即延长曲线的形状(步骤ST19)。
即，延长曲线形状决定部14的形状决定处理部16对曲线存储部15中存储的多个曲线的形状和由曲线信息取得部9取得的曲线信息所表示的曲线的形状进行对照，由此，从曲线存储部15中存储的多个曲线的形状中确定与该曲线信息所表示的曲线的形状的一致度最高的曲线的形状，选择一致度最高的曲线的形状。对曲线的形状进行对照并确定一致度最高的曲线的形状的处理本身是公知技术，因此省略详细说明。
形状决定处理部16从曲线存储部15中存储的多个曲线的形状中选择图11所示的曲线的形状后，根据该选择出的曲线的形状决定延长曲线的形状。
例如，如果曲线存储部15中存储的多个曲线的长度比呈现通过操作而描绘的线的轨迹的曲线长很多，则将选择出的曲线的形状中比该曲线信息所表示的曲线长的部分的形状决定成延长曲线的形状。
在图11的例子中，利用虚线表示呈现通过操作而描绘的线的轨迹的曲线、即呈现由轨迹判别部4判别出的轨迹的曲线，利用实线表示一致度最高的选择出的曲线，使利用虚线表示的曲线的延长部分的形状与利用实线表示的曲线的形状相同。
在该实施方式1中，示出如下例子：在曲线存储部15中存储的多个曲线的形状中，选择与呈现由轨迹判别部4判别出的轨迹的曲线的形状一致度最高的曲线的形状，根据该选择出的曲线的形状决定延长曲线的形状，但是，这只不过是一例，也可以通过其他方法决定延长部分的曲线即延长曲线的形状。
例如，考虑计算呈现由轨迹判别部4判别出的轨迹的曲线的形状的曲率的变化倾向等并根据该曲率的变化倾向估计延长曲线的形状等方法。
图12示出延长曲线的形状决定例，在图12A中，将平缓弯曲的曲线的终端部的切线的形状设为延长曲线的形状。
在图12B中，曲线整体的曲率恒定，因此，使延长曲线的形状的曲率与呈现由轨迹判别部4判别出的轨迹的曲线即原曲线的形状的曲率相同。
在图12C中，曲线的形状为周期的波线形状，因此，使延长曲线的形状成为与原曲线相同的周期的波线形状。
在图12D中，曲线的终端附近呈圆弧状弯曲，因此，使延长曲线的形状成为与原曲线的终端附近相同的圆弧形状。
在延长曲线形状决定部14决定延长曲线的形状后，曲线延长部17在由曲线信息取得部9取得的曲线信息所表示的曲线的终端附加该延长曲线，由此延长曲线(步骤ST20)。
在图13的例子中，曲线的长度为60mm，字符串的长度为80mm，曲线的长度比字符串的长度短20mm，因此，曲线延长20mm。
在曲线延长部17延长曲线后，显示处理部18生成用于沿着延长部分的曲线显示由于曲线较短而未显示的字符串的一部分即“ましょう”的显示信息，按照该显示信息，如图7的步骤D所示，使显示器32沿着延长部分的曲线显示由于曲线较短而未显示的字符串的一部分即“ましょう”(步骤ST21)。
这里，示出使显示器32沿着由曲线延长部17附加的延长曲线显示未显示的字符串的一部分，但是，也可以如图7的步骤D中的右侧的图那样，使显示器32显示表示延长曲线的曲线图像，在该曲线图像上重叠显示未显示的字符串的一部分。
显示处理部18在曲线图像上重叠显示构成字符串的全部字符后，生成用于消除曲线图像的显示信息，在显示器32中，按照该显示信息，如图7的步骤E所示，消除曲线图像，仅显示字符串(步骤ST22)。
在显示处理部18消除曲线图像时，可以同时消除曲线图像的整体，但是，也可以以从字符串的开头侧起依次进行消除的动画的方式消除曲线图像。
这里，假设在重叠显示曲线图像和字符串后，在一定时间后消除曲线图像，但是，也可以在字符串的显示完成后，立即消除曲线图像。
如图8的步骤A所示，用户在进行描绘线的操作之前讲话，由此，在从轨迹判别部4输出包含曲线图像的曲线信息之前，从字符串识别部5的声音识别部8输出字符串，由此，在字符串取得部10取得字符串时(图5的步骤ST11：“否”的情况)，显示处理部18将该字符串存储在字符串暂时保存部19中，进行待机直到从轨迹判别部4输出曲线信息为止(步骤ST23：“否”的情况)。
然后，用户开始进行描绘线的操作，在该操作完成后，从轨迹判别部4输出曲线信息。
通过从轨迹判别部4输出曲线信息，由此，在曲线信息取得部9取得曲线信息时(步骤ST23：“是”的情况)，显示处理部18从字符串暂时保存部19中读出字符串，生成用于在曲线图像上重叠显示该字符串的显示信息，按照该显示信息，如图8的步骤B所示，在曲线图像上重叠显示该字符串。即，显示处理部18在相同位置重叠显示曲线图像和字符串(步骤ST24)。
但是，在图8的例子中，曲线的长度比表示声音的识别结果的字符串的长度短，因此，在曲线图像上重叠显示字符串中的“春になったら桜を見に行き”，但是，未在曲线图像上重叠显示“ましょう”。
在显示处理部18在相同位置重叠显示曲线图像和字符串时，可以同时显示曲线图像和字符串的整体，但是，也可以以从字符串的开头侧起依次进行显示的动画的方式显示曲线图像和字符串。
并且，也可以以结合用户的手指的描绘而从手指下方涌出曲线图像和字符串的方式，依次显示该曲线图像和字符串。
另外，在图7中，示出用户在进行手指的描绘后讲话的例子，在图8中，示出用户在讲话后进行手指的描绘的例子，但是，也可以同时进行手指的描绘和讲话。
在字符串取得部10取得从声音识别部8输出的表示“春になったら桜を見に行きましょう”的字符串后，长度比较部13参照从字符管理部3输出后由字符属性信息取得部11取得的字符属性信息所表示的字符宽度，根据上述式(1)，计算该字符串的长度(图5的步骤ST15)。
并且，长度比较部13接收到由曲线信息取得部9取得的曲线信息后，按照上述式(2)或式(3)，计算该曲线信息所表示的曲线的长度(步骤ST16)。
长度比较部13计算曲线的长度后，对该曲线的长度和字符串的长度进行比较(图5的步骤ST17)。
如果长度比较部13的比较结果表示曲线的长度比字符串的长度短的意思(图5的步骤ST18：“是”的情况)，则延长曲线形状决定部14根据由曲线信息取得部9取得的曲线信息所表示的曲线的形状，决定延长部分的曲线即延长曲线的形状(步骤ST19)。
在延长曲线形状决定部14决定延长曲线的形状后，曲线延长部17在由曲线信息取得部9取得的曲线信息所表示的曲线的终端附加该延长曲线，由此延长曲线(步骤ST20)。
在图13的例子中，曲线的长度为60mm，字符串的长度为80mm，曲线的长度比字符串的长度短20mm，因此，曲线延长20mm。
在曲线延长部17延长曲线后，显示处理部18生成用于沿着延长部分的曲线显示由于曲线的长度较短而未显示的字符串的一部分即“ましょう”的显示信息，根据该显示信息，如图8的步骤C所示，使显示器32沿着延长部分的曲线显示未显示的字符串的一部分即“ましょう”(步骤ST21)。
这里，示出使显示器32沿着由曲线延长部17附加的延长曲线显示未显示的字符串的一部分，但是，也可以如图8的步骤C中的右侧的图那样，使显示器32显示表示延长曲线的曲线图像，在该曲线图像上重叠显示未显示的字符串的一部分。
显示处理部18在曲线图像上重叠显示构成字符串的全部字符后，生成用于消除曲线图像的显示信息，在显示器32中，按照该显示信息，如图8的步骤D所示，消除曲线图像，仅显示字符串(步骤ST22)。
在显示处理部18消除曲线图像时，可以同时消除曲线图像的整体，但是，也可以以从字符串的开头侧起依次进行消除的动画的方式消除曲线图像。
这里，假设在重叠显示曲线图像和字符串后，在一定时间后消除曲线图像，但是，也可以在字符串的显示完成后，立即消除曲线图像。
在该实施方式1中，示出曲线的长度比表示声音的识别结果的字符串的长度短的例子，但是，在曲线的长度为表示声音的识别结果的字符串的长度以上的情况下，不需要延长曲线的长度，也能够在曲线图像上重叠显示构成该字符串的全部字符。
因此，如果长度比较部13的比较结果表示曲线的长度为字符串的长度以上的意思(图5的步骤ST18：“否”的情况)，则不实施步骤ST19～ST21的处理，转移到步骤ST22的处理，消除曲线图像，成为仅显示字符串的状态。
在该实施方式1中，设构成字符串的各字符之间不分开，字符之间的长度为0mm，长度比较部13根据式(1)计算字符串的长度，但是，如果字符之间的长度大于0mm，则也可以考虑该字符之间的长度来计算字符串的长度。例如，如果字符之间的长度为0.5mm，则如下述式(4)所示，字符串的长度成为87.5mm。
字符串的长度＝(5mm×16)+(0.5mm×15)＝87.5mm (4)
式(4)与式(1)同样，示出字符串的字符数为16、字符宽度为“5mm”的情况。
由以上可知，根据该实施方式1，显示控制部12在判定为由于曲线信息取得部9取得的曲线信息所表示的曲线的长度较短而无法沿着曲线显示由字符串取得部10取得的字符串的一部分的情况下，根据由曲线信息取得部9取得的曲线信息所表示的曲线的形状决定该曲线的延长部分的形状，延长该曲线，生成用于沿着延长部分的曲线显示该字符串的一部分的显示信息，因此，发挥在曲线的长度比字符串的长度短的情况下也能够沿着曲线显示字符串的全部的效果。
并且，根据该实施方式1，输入显示控制装置100在从字符串识别部5的声音识别部8输出字符串之前，从轨迹判别部4输出包含曲线图像的曲线信息的情况下，在使显示器32显示曲线图像后，在曲线图像上重叠显示从字符串识别部5的声音识别部8输出的字符串，另一方面，在从轨迹判别部4输出包含曲线图像的曲线信息之前，从字符串识别部5的声音识别部8输出字符串的情况下，进行待机直到从轨迹判别部4输出曲线信息为止，在从轨迹判别部4输出曲线信息后，使显示器32显示曲线图像，并且在曲线图像上重叠显示字符串，因此，在用户在讲话之前进行了描绘线的操作的情况下，能够事前掌握显示表示声音的识别结果的字符串的位置。因此，发挥用户能够掌握字符串的显示图像的效果。并且，在用户在进行描绘线的操作之前讲话的情况下，在进行描绘线的操作后，在相同位置重叠显示曲线图像和字符串，因此，发挥能够对用户赋予响应性较高的操作感的效果。
在该实施方式1中，示出输入显示控制装置100在曲线图像上重叠显示字符串，但是，也可以不在曲线图像上重叠字符串，在曲线图像的周围以沿着该曲线图像的方式显示字符串。
并且，关于曲线图像，如果用户无法确认曲线图像也可以，则也可以是无色透明的图像。并且，曲线图像也可以是有色透明的图像。
在曲线图像为无色透明的情况下，显示控制部12的显示处理部18可以使显示器32显示呈现由轨迹判别部4判别出的轨迹的没有宽度的曲线、或呈现由曲线延长部17延长后的轨迹的没有宽度的曲线。
实施方式2
在上述实施方式1中，示出使显示器32沿着由曲线信息取得部9取得的曲线信息所表示的曲线显示由字符串取得部10取得的字符串，但是，进而，也可以对该字符串进行翻译，使显示器32显示表示该翻译结果的字符串。
图14是示出本发明的实施方式2的包含输入显示控制装置的输入显示系统的结构图，图15是本发明的实施方式2的输入显示系统的硬件结构图。
在图14和图15中，与图1和图2相同的标号表示相同或相当部分，因此省略说明。
翻译部52例如通过翻译处理电路34实现，实施对由字符串取得部10取得的字符串进行翻译的处理，该翻译处理电路34是由安装有CPU的半导体集成电路或单片微计算机等构成的。
显示控制部51包含长度比较部13、延长曲线形状决定部14、曲线延长部17、翻译部52和显示处理部53，除了实施与图1的显示控制部12相同的处理以外，还实施如下处理：生成具有表示翻译部52的翻译结果的字符串的长度以上的长度的翻译字符串显示用的曲线，生成用于在显示器32中沿着翻译字符串显示用的曲线显示表示翻译部52的翻译结果的字符串的显示信息，按照该显示信息，使显示器32显示表示翻译部52的翻译结果的字符串。
显示控制部51的显示处理部53例如由显示处理电路31实现，实施与图1的显示处理部18相同的处理。
并且，显示处理部53与图1的显示处理部18不同，还实施如下处理：生成具有表示翻译部52的翻译结果的字符串的长度以上的长度的翻译字符串显示用的曲线，使显示器32沿着翻译字符串显示用的曲线显示表示翻译部52的翻译结果的字符串。
在图14中，假设作为输入显示系统的结构要素的操作受理部1、字符管理DB2、字符管理部3、轨迹判别部4、字符串识别部5、曲线信息取得部9、字符串取得部10、字符属性信息取得部11、长度比较部13、延长曲线形状决定部14、曲线延长部17、翻译部52、显示处理部53和字符串暂时保存部19分别由图15所示的专用硬件、即指示器件21、存储处理电路22、字符管理处理电路23、图像生成处理电路24、麦克风25、声音识别处理电路26、输入接口电路27、长度比较处理电路28、形状决定处理电路29、曲线延长处理电路30、显示处理电路31、显示器32和翻译处理电路34实现，但是，输入显示系统也可以由软件、固件、或软件与固件的组合实现。
在输入显示系统由软件或固件等实现的情况下，在图3所示的计算机的存储器41上构成字符管理DB2、声音识别辞典DB7和字符串暂时保存部19，并且，在存储器41中存储用于使计算机执行操作受理部1、字符管理部3、轨迹判别部4、声音检测部6、声音识别部8和显示控制部51的处理步骤的程序，图3所示的处理器42执行存储器41中存储的程序即可。
接着，对动作进行说明。
但是，除了翻译部52和显示处理部53以外，与上述实施方式1相同，因此，这里，主要对翻译部52和显示处理部53的处理内容进行说明。
在字符串取得部10取得从字符串识别部5输出的表示声音的识别结果的字符串后，翻译部52对该字符串进行翻译，将表示其翻译结果的字符串输出到长度比较部13和显示处理部53。
如果表示声音的识别结果的字符串为“夏休みに海に行ったよ”，则例如表示其翻译结果的字符串为“I went to the sea in summer vacation”。
显示处理部53与图1的显示处理部18同样，在由曲线信息取得部9取得的曲线图像上重叠显示由字符串识别部5取得的表示声音的识别结果的字符串。
并且，如果由于由曲线信息取得部9取得的曲线信息所表示的曲线的长度比字符串的长度短而无法沿着曲线显示该字符串的一部分，则与图1的显示处理部18同样，显示处理部53使显示器32沿着由曲线延长部17附加的延长曲线显示该字符串的一部分。
显示处理部53从翻译部52接收到表示翻译结果的字符串后，生成具有表示该翻译结果的字符串的长度以上的长度的翻译字符串显示用的曲线。
此时，设为从字符管理部3接收字符属性信息，该字符属性信息示出构成表示翻译结果的字符串的字符的字符宽度。
例如，在表示翻译结果的字符串为“I went to the sea in summer vacation”的情况下，字符数包含空格而成为36，因此，如果设构成表示翻译结果的字符串的字符的字符宽度为“2mm”，则如下述式(5)所示，表示翻译结果的符串的长度成为72mm。
表示翻译结果的字符串的长度＝2mm×36＝72mm (5)
因此，该情况下，翻译字符串显示用的曲线的长度成为72mm以上的长度。
并且，翻译字符串显示用的曲线的形状设为与呈现通过用户的操作而描绘的线的轨迹的曲线、即由曲线信息取得部9取得的曲线信息所表示的曲线的形状相同的形状。在由曲线延长部17延长了曲线的情况下，设为与由曲线延长部17延长的曲线的形状相同的形状。
例如，如果呈现通过用户的操作而描绘的线的轨迹的曲线的形状为圆弧形状，则翻译字符串显示用的曲线的形状也为圆弧形状，如果呈现通过用户的操作而描绘的线的轨迹的曲线的形状为波线形状，则翻译字符串显示用的曲线的形状也为波线形状。
另外，在由曲线延长部17延长了曲线且翻译字符串显示用的曲线的长度比由曲线延长部17延长的曲线的长度长的情况下、或未由曲线延长部17延长曲线且翻译字符串显示用的曲线的长度比由曲线信息取得部9取得的曲线信息所表示的曲线的长度长的情况下，通过与延长该曲线信息所表示的曲线的情况相同的方法，根据翻译字符串显示用的曲线的形状决定翻译字符串显示用的曲线的延长部分的形状，延长翻译字符串显示用的曲线。
显示处理部53生成翻译字符串显示用的曲线后，生成用于在显示器32中沿着翻译字符串显示用的曲线显示表示其翻译结果的字符串的显示信息，按照该显示信息，使显示器32显示表示翻译结果的字符串。
这里，图16是示出显示控制部51的显示处理部53中的显示处理的一例的说明图。
在步骤A中，在显示器32中显示呈现通过用户的操作而描绘的线的轨迹的曲线的曲线图像。
在步骤B中实施用户的声音的识别处理后，在步骤C中，在曲线图像上重叠显示表示该声音的识别结果的字符串。步骤A～步骤C与上述实施方式1相同。但是，这里，示出在输出表示声音的识别结果的字符串之前输出了包含曲线图像的曲线信息的情况的例子。
在步骤D中，使显示器32沿着翻译字符串显示用的曲线显示表示翻译结果的字符串，该翻译字符串显示用的曲线的形状与呈现通过用户的操作而描绘的线的轨迹的曲线相同。
在图16的例子中，显示处理部53将翻译字符串显示用的曲线并列在呈现通过用户的操作而描绘的线的轨迹的曲线的下侧，但是，也可以并列在呈现通过用户的操作而描绘的线的轨迹的曲线的上侧，还可以并列在左侧或右侧。
在步骤E中，消除呈现通过用户的操作而描绘的线的轨迹的曲线的曲线图像。
在该实施方式2中，示出显示处理部53使显示器32显示翻译字符串显示用的曲线，但是，翻译字符串显示用的曲线也可以是透明的。
在该实施方式2中，示出并列显示表示声音的识别结果的字符串和表示翻译结果的字符串，但是，如图17所示，也可以在步骤C中显示表示声音的识别结果的字符串后，在步骤D中一边从开头起消除表示声音的识别结果的字符串，一边从开头起在曲线图像上重叠显示表示翻译结果的字符串。
该情况下，最终显示的字符串仅为表示翻译结果的字符串。
并且，在该实施方式2中，如图18所示，显示处理部53也可以与表示声音的识别结果的字符串和表示翻译结果的字符串并列显示表示回译的结果的字符串。
在该实施方式2中，示出从日语翻译成英语的例子，因此，该情况下的回译意味着将翻译后的英语重新翻译成日语。
在图18的例子中，在步骤D中，在作为日语的表示声音的识别结果的字符串的下方显示作为英语的表示翻译结果的字符串，在该英语的下方显示作为日语的表示回译的字符串。
并且，如图19所示，在步骤D中，也可以在消除曲线图像上重叠显示的作为日语的表示声音的识别结果的字符串后，在曲线图像上重叠显示左右英语的表示翻译结果的字符串，并且，在该英语的下方显示作为日语的表示回译的字符串。
由以上可知，根据该实施方式2，具有对由字符串取得部10取得的字符串进行翻译的翻译部52，显示处理部53生成具有表示翻译部52的翻译结果的字符串的长度以上的长度的翻译字符串显示用的曲线，生成用于在显示器32中沿着翻译字符串显示用的曲线显示表示翻译部52的翻译结果的字符串的显示信息，因此，与上述实施方式1同样，发挥如下效果，即，即使在呈现通过描绘线的操作而描绘的线的轨迹的曲线的长度比表示翻译部52的翻译结果的字符串短的情况下，也能够沿着曲线显示该字符串的全部。
在该实施方式2中，示出并列显示表示声音的识别结果的字符串和表示翻译结果的字符串，但是，如图20所示，在显示器32由两个画面构成、并且这两个画面的上边相互相接的背对背结构的情况下，例如，也可以在背对背两个画面的图中下侧的画面中显示表示声音的识别结果的字符串，在背对背两个画面的图中上侧的画面中显示表示翻译结果的字符串。
或者，也可以在背对背两个画面的图中下侧的画面中显示表示翻译结果的字符串，在背对背两个画面的图中上侧的画面中显示表示声音的识别结果的字符串。
但是，由于是背对背两个画面，因此，在背对背两个画面的图中上侧的画面中，字符旋转180度。
并且，在背对背两个画面的情况下，如图21所示，也可以显示表示回译的结果的字符串。
实施方式3
在上述实施方式1中，示出字符串识别部5取得表示声音的识别结果的字符串作为显示对象字符串，但是，作为显示对象字符串，也可以取得表示通过由操作受理部1受理的操作而描绘的字符的识别结果的字符串。
图22是示出本发明的实施方式3的包含输入显示控制装置的输入显示系统的结构图，图23是本发明的实施方式3的输入显示系统的硬件结构图。
在图22和图23中，与图1和图2相同的标号表示相同或相当部分，因此省略说明。
字符串识别部60包含字符识别处理部61，实施输出表示通过由操作受理部1受理的操作而描绘的字符的识别结果的字符串作为显示对象字符串的处理。
字符识别处理部61例如由安装有光学字符识别处理即OCR(Optical CharacterRecognition)功能的字符识别处理电路35实现，实施如下处理：识别通过由操作受理部1受理的操作而描绘的字符，输出表示该字符的识别结果的字符串作为显示对象字符串。
在图22中，假设作为输入显示系统的结构要素的操作受理部1、字符管理DB2、字符管理部3、轨迹判别部4、字符串识别部60、曲线信息取得部9、字符串取得部10、字符属性信息取得部11、长度比较部13、延长曲线形状决定部14、曲线延长部17、显示处理部18和字符串暂时保存部19分别由图23所示的专用硬件、即指示器件21、存储处理电路22、字符管理处理电路23、图像生成处理电路24、麦克风25、声音识别处理电路26、输入接口电路27、长度比较处理电路28、形状决定处理电路29、曲线延长处理电路30、显示处理电路31、显示器32和字符识别处理电路35实现，但是，输入显示系统也可以由软件、固件、或软件与固件的组合实现。
在输入显示系统由软件或固件等实现的情况下，在图3所示的计算机的存储器41上构成字符管理DB2和字符串暂时保存部19，并且，在存储器41中存储用于使计算机执行操作受理部1、字符管理部3、轨迹判别部4、字符识别处理部61和显示控制部12的处理步骤的程序，图3所示的处理器42执行存储器41中存储的程序即可。
图24是示出表示字符的识别结果的字符串的显示处理的一例的说明图。
接着，对动作进行说明。
在该实施方式3中，假设实现操作受理部1的指示器件21为触摸面板，因此，当用户使用自己的手指或触摸面板用的输入笔等在触摸面板上进行描绘字符的操作作为描绘线的操作时，操作受理部1受理描绘字符的操作，将该操作的内容输出到轨迹判别部4和字符串识别部60。
所输出的描绘字符的操作的内容例如是表示与触摸面板接触的手指或输入笔的位置的坐标、即触摸面板上的位置坐标的连续变化的时间序列数据。
在图24的例子中，在步骤A中，用户手写“私は和食が食べたいです”这样的字符串。
字符串识别部60的字符识别处理部61识别通过由操作受理部1受理的操作而描绘的多个字符，取得表示多个字符的识别结果的字符串，将该字符串输出到轨迹判别部4和输入显示控制装置100。
轨迹判别部4实施如下处理：在从操作受理部1接收到描绘一个以上的字符的操作的内容、从字符识别处理部61接收到字符串后，按照每个字符分开描绘一个以上的字符的操作的内容。
具体而言，如下所述。
首先，轨迹判别部4确定描绘字符的操作的内容即时间序列数据所表示的触摸面板上的各位置坐标中的X坐标最小的坐标XLEFT和X坐标最大的坐标XRIGHT，从该坐标XRIGHT减去坐标XLEFT，由此计算字符串的X方向的长度。
然后，轨迹判别部4将字符串的X方向的长度除以字符数，由此计算每一个字符的X方向的长度，并且，根据每一个字符的X方向的长度和坐标XLEFT，计算各个字符所在的X方向的坐标范围。例如，如(每一个字符的X方向的长度×(n-1)+XLEFT)～(每一个字符的X方向的长度×n+XLEFT)那样，计算从字符串的左端起第n个字符所在的X方向的坐标范围。
然后，轨迹判别部4找到分别包含时间序列数据所表示的各位置坐标的上述X方向的坐标范围，将时间序列数据所表示的各位置坐标分别分配到对应的X方向的坐标范围内，由此，按照每个字符分开描绘一个以上的字符的操作的内容。
接着，轨迹判别部4以X方向的坐标范围单位，计算该坐标范围中包含的时间序列数据所表示的各位置坐标的X坐标的平均值和Y坐标的平均值，作为与该坐标范围对应的字符的中心坐标。
轨迹判别部4计算构成字符串的各字符的中心坐标后，如图24的步骤B所示，连接各字符的中心坐标而生成一条线，将这一条线作为呈现字符串的轨迹的曲线，将表示该曲线的曲线信息输出到输入显示控制装置100。
这里，设构成字符串的各字符的大小均等，将字符串的X方向的长度除以字符数，由此计算每一个字符的X方向的长度。在手写字符的情况下，各字符的大小不一定均等，因此，有时X方向的坐标范围单位与构成字符串的各字符不一致。
但是，在该实施方式3中，即使未严格得知各字符的中心坐标，如果得知在X方向上分割字符串所在的区域而得到的各区域的中心坐标，则能够求出表示字符串的并列方向的曲线。因此，在各字符的大小不均等的情况下，也能够通过上述方法求出曲线。
并且，这里，轨迹判别部4在求出表示字符串的并列方向的曲线时，以X方向的坐标范围单位分开时间序列数据所表示的各位置坐标，但是，例如，在手写字符为竖写的情况下，也可以以Y方向的坐标范围单位分开时间序列数据所表示的各位置坐标。
这里说明的分开各位置坐标的方法只不过是一例，当然可以使用其他方法。
在该实施方式3中，根据描绘字符的操作内容来求出曲线，但是，在用户进行与描绘字符的操作不同的、上述实施方式1所示的描绘线的操作，从而通过操作受理部1受理了描绘字符的操作和描绘线的操作的情况下，与上述实施方式1同样，轨迹判别部4也可以根据由操作受理部1受理的描绘线的操作的内容，判别呈现所描绘的线的轨迹的曲线。
在字符串取得部10取得从字符串识别部60的字符识别处理部61输出的字符串后，显示控制部12的显示处理部18生成用于在显示器32中沿着由曲线信息取得部9取得的曲线信息所表示的曲线显示该字符串的显示信息，按照该显示信息使显示器32显示该字符串。
在图24的步骤C中，与手写字符并列地描绘呈现轨迹的曲线，显示字符串，但是不限于此，例如，也可以在消除手写字符后，在手写字符的位置描绘曲线，显示字符串。
并且，呈现轨迹的曲线可以是透明的。
在该实施方式3中，能够根据描绘字符的操作内容来求出曲线，但是，与上述实施方式1同样，利用预先决定的属性的字符显示识别出的字符串，因此，在求出的曲线的长度比字符串的长度短的情况下，与上述实施方式1同样，显示处理部18无法沿着曲线显示构成字符串的字符的一部分。
该情况下，与上述实施方式1同样，通过延长曲线，显示未显示的字符的一部分。
即，长度比较部13对曲线的长度和字符串的长度进行比较，延长曲线形状决定部14决定延长曲线的形状，曲线延长部17在由曲线信息取得部9取得的曲线信息所表示的曲线附加延长曲线，由此延长曲线。然后，显示处理部18沿着延长曲线显示未显示的字符的一部分。
由以上可知，根据该实施方式3，字符串识别部60具有字符识别处理部61，因此，在显示手写字符的情况下，也发挥与上述实施方式1相同的效果，其中，该字符识别处理部61识别通过由操作受理部1受理的操作而描绘的字符，取得表示该字符的识别结果的字符串作为显示对象字符串。
实施方式4
在上述实施方式3中，示出将具有字符识别处理部61的字符串识别部60应用于上述实施方式1中的图1的输入显示控制装置的例子，但是，也可以将具有字符识别处理部61的字符串识别部60应用于上述实施方式2中的图14的输入显示控制装置。
图25是示出本发明的实施方式4的包含输入显示控制装置的输入显示系统的结构图。
图26是示出表示翻译结果的字符串的显示处理的一例的说明图。
在上述实施方式3中，使显示器32沿着由曲线信息取得部9取得的曲线信息所表示的曲线显示表示多个字符的识别结果的字符串，但是，在该实施方式4中，不同之处在于，如图26的步骤C所示，显示控制部51的显示处理部53使显示器32沿着由曲线信息取得部9取得的曲线信息所表示的曲线显示从翻译部52输出的表示翻译结果的字符串。
根据该实施方式4，与上述实施方式2同样，发挥如下的效果，即，即使在由曲线信息取得部9取得的曲线信息所表示的曲线的长度比表示翻译部52的翻译结果的字符串短的情况下，也能够沿着曲线显示该字符串的全部。
另外，本申请发明能够在其发明范围内进行各实施方式的自由组合、或各实施方式的任意结构要素的变形、或各实施方式中的任意结构要素的省略。
产业上的可利用性
本发明的输入显示控制装置、输入显示控制方法和输入显示系统适用于显示字符串的用途。
标号说明
1：操作受理部；2：字符管理DB；3：字符管理部；4：轨迹判别部；5：字符串识别部；6：声音检测部；7：声音识别辞典DB；8：声音识别部；9：曲线信息取得部；10：字符串取得部；11：字符属性信息取得部；12：显示控制部；13：长度比较部；14：延长曲线形状决定部；15：曲线存储部；16：形状决定处理部；17：曲线延长部；18：显示处理部；19：字符串暂时保存部；21：指示器件；22：存储处理电路；23：字符管理处理电路；24：图像生成处理电路；25：麦克风；26：声音识别处理电路；27：输入接口电路；28：长度比较处理电路；29：形状决定处理电路；30：曲线延长处理电路；31：显示处理电路；32：显示器；34：翻译处理电路；35：字符识别处理电路；41：存储器；42：处理器；51：显示控制部；52：翻译部；53：显示处理部；60：字符串识别部；61：字符识别处理部；100：输入显示控制装置。

Claims (6)

1.一种输入显示控制装置，其特征在于，所述输入显示控制装置具有：
曲线信息取得部，其取得表示基于描绘线的操作而生成的曲线的曲线信息；
字符串取得部，其取得字符串；以及
显示控制部，其生成显示信息，该显示信息用于沿着由所述曲线信息取得部取得的曲线信息所表示的曲线显示由所述字符串取得部取得的字符串，
所述显示控制部在判断为由于所述曲线信息取得部取得的曲线信息所表示的曲线的长度较短而无法沿着所述曲线显示由所述字符串取得部取得的字符串的一部分的情况下，根据所述曲线的形状决定所述曲线的延长部分的形状，延长基于描绘线的操作而生成的所述曲线，生成用于沿着所述延长部分的曲线显示所述字符串的一部分的显示信息，
所述显示控制部具有：
长度比较部，其对由所述曲线信息取得部取得的曲线信息所表示的曲线的长度和由所述字符串取得部取得的字符串的长度进行比较；
延长曲线形状决定部，如果所述长度比较部的比较结果表示所述曲线的长度比所述字符串的长度短，则该延长曲线形状决定部根据所述曲线的形状决定作为所述延长部分的曲线的延长曲线的形状；
曲线延长部，其在由所述曲线信息取得部取得的曲线信息所表示的曲线的终端附加由所述延长曲线形状决定部决定了形状的延长曲线；以及
显示处理部，其生成用于沿着由所述曲线延长部附加的延长曲线显示所述字符串的一部分的显示信息，
所述延长曲线形状决定部具有：
曲线存储部，其存储有形状不同的多个曲线；以及
形状决定处理部，其对所述曲线存储部中存储的多个曲线的形状和由所述曲线信息取得部取得的曲线信息所表示的曲线的形状进行对照，从所述曲线存储部中存储的多个曲线的形状中选择与由所述曲线信息取得部取得的曲线信息所表示的曲线的形状对应的曲线的形状，根据选择出的所述曲线的形状决定所述延长曲线的形状。
2.根据权利要求1所述的输入显示控制装置，其特征在于，
所述输入显示控制装置具有翻译部，该翻译部对由所述字符串取得部取得的字符串进行翻译，
所述显示控制部还生成翻译字符串显示用的曲线，并生成用于沿着所述翻译字符串显示用的曲线显示表示所述翻译部的翻译结果的字符串的显示信息，其中，该翻译字符串显示用的曲线具有表示所述翻译部的翻译结果的字符串的长度以上的长度。
3.一种输入显示控制方法，其特征在于，
曲线信息取得部取得表示基于描绘线的操作而生成的曲线的曲线信息，
字符串取得部取得字符串，
显示控制部实施生成显示信息的处理，该显示信息用于沿着由所述曲线信息取得部取得的曲线信息所表示的曲线显示由所述字符串取得部取得的字符串，
在所述显示控制部中，在判断为由于所述曲线信息取得部取得的曲线信息所表示的曲线的长度较短而无法沿着所述曲线显示由所述字符串取得部取得的字符串的一部分的情况下，根据所述曲线的形状决定所述曲线的延长部分的形状，延长基于描绘线的操作而生成的所述曲线，生成用于沿着所述延长部分的曲线显示所述字符串的一部分的显示信息，
其中，
所述显示控制部的长度比较部对由所述曲线信息取得部取得的曲线信息所表示的曲线的长度和由所述字符串取得部取得的字符串的长度进行比较；
如果所述长度比较部的比较结果表示所述曲线的长度比所述字符串的长度短，所述显示控制部的延长曲线形状决定部根据所述曲线的形状决定作为所述延长部分的曲线的延长曲线的形状；
所述显示控制部的曲线延长部在由所述曲线信息取得部取得的曲线信息所表示的曲线的终端附加由所述延长曲线形状决定部决定了形状的延长曲线；以及
所述显示控制部的显示处理部生成用于沿着由所述曲线延长部附加的延长曲线显示所述字符串的一部分的显示信息，
其中，
所述延长曲线形状决定部的曲线存储部存储有形状不同的多个曲线；以及
所述延长曲线形状决定部的形状决定处理部对所述曲线存储部中存储的多个曲线的形状和由所述曲线信息取得部取得的曲线信息所表示的曲线的形状进行对照，从所述曲线存储部中存储的多个曲线的形状中选择与由所述曲线信息取得部取得的曲线信息所表示的曲线的形状对应的曲线的形状，根据选择出的所述曲线的形状决定所述延长曲线的形状。
4.一种输入显示系统，其特征在于，所述输入显示系统具有：
操作受理部，其受理描绘线的操作；
轨迹判别部，其判别通过由所述操作受理部受理的操作而描绘的线的轨迹；
字符串识别部，其识别作为显示对象的字符串；
曲线信息取得部，其取得表示基于描绘线的操作而生成的曲线的曲线信息，该曲线呈现由所述轨迹判别部判别出的轨迹；
字符串取得部，其取得由所述字符串识别部识别出的字符串；以及
显示控制部，其生成用于沿着由所述曲线信息取得部取得的曲线信息所表示的曲线显示由所述字符串取得部取得的字符串的显示信息，
所述显示控制部在判断为由于所述曲线信息取得部取得的曲线信息所表示的曲线的长度较短而无法沿着所述曲线显示由所述字符串取得部取得的字符串的一部分的情况下，根据所述曲线的形状决定所述曲线的延长部分的形状，延长基于描绘线的操作而生成的所述曲线，生成用于沿着所述延长部分的曲线显示所述字符串的一部分的显示信息，
所述显示控制部具有：
长度比较部，其对由所述曲线信息取得部取得的曲线信息所表示的曲线的长度和由所述字符串取得部取得的字符串的长度进行比较；
延长曲线形状决定部，如果所述长度比较部的比较结果表示所述曲线的长度比所述字符串的长度短，则该延长曲线形状决定部根据所述曲线的形状决定作为所述延长部分的曲线的延长曲线的形状；
曲线延长部，其在由所述曲线信息取得部取得的曲线信息所表示的曲线的终端附加由所述延长曲线形状决定部决定了形状的延长曲线；以及
显示处理部，其生成用于沿着由所述曲线延长部附加的延长曲线显示所述字符串的一部分的显示信息，
所述延长曲线形状决定部具有：
曲线存储部，其存储有形状不同的多个曲线；以及
形状决定处理部，其对所述曲线存储部中存储的多个曲线的形状和由所述曲线信息取得部取得的曲线信息所表示的曲线的形状进行对照，从所述曲线存储部中存储的多个曲线的形状中选择与由所述曲线信息取得部取得的曲线信息所表示的曲线的形状对应的曲线的形状，根据选择出的所述曲线的形状决定所述延长曲线的形状。
5.根据权利要求4所述的输入显示系统，其特征在于，
所述字符串识别部具有：
声音检测部，其检测声音；以及
声音识别部，其识别由所述声音检测部检测到的声音，取得表示所述声音的识别结果的字符串作为显示对象字符串。
6.根据权利要求4所述的输入显示系统，其特征在于，
所述字符串识别部具有字符识别处理部，该字符识别处理部识别通过由所述操作受理部受理的操作而描绘的字符，取得表示所述字符的识别结果的字符串作为显示对象字符串。
CN201680080670.6A 2016-02-08 2016-02-08 输入显示控制装置、输入显示控制方法和输入显示系统 Active CN108700981B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210644398.7A CN115061622A (zh) 2016-02-08 2016-02-08 输入显示控制装置、输入显示控制方法和输入显示系统
CN202210644459.XA CN115047997A (zh) 2016-02-08 2016-02-08 输入显示控制装置、输入显示控制方法和输入显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/053686 WO2017138076A1 (ja) 2016-02-08 2016-02-08 入力表示制御装置、入力表示制御方法及び入力表示システム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202210644459.XA Division CN115047997A (zh) 2016-02-08 2016-02-08 输入显示控制装置、输入显示控制方法和输入显示系统
CN202210644398.7A Division CN115061622A (zh) 2016-02-08 2016-02-08 输入显示控制装置、输入显示控制方法和输入显示系统

Publications (2)

Publication Number Publication Date
CN108700981A CN108700981A (zh) 2018-10-23
CN108700981B true CN108700981B (zh) 2022-06-28

Family

ID=59563719

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201680080670.6A Active CN108700981B (zh) 2016-02-08 2016-02-08 输入显示控制装置、输入显示控制方法和输入显示系统
CN202210644459.XA Pending CN115047997A (zh) 2016-02-08 2016-02-08 输入显示控制装置、输入显示控制方法和输入显示系统
CN202210644398.7A Pending CN115061622A (zh) 2016-02-08 2016-02-08 输入显示控制装置、输入显示控制方法和输入显示系统

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202210644459.XA Pending CN115047997A (zh) 2016-02-08 2016-02-08 输入显示控制装置、输入显示控制方法和输入显示系统
CN202210644398.7A Pending CN115061622A (zh) 2016-02-08 2016-02-08 输入显示控制装置、输入显示控制方法和输入显示系统

Country Status (6)

Country Link
US (1) US10884612B2 (zh)
EP (1) EP3407173B1 (zh)
JP (1) JP6355823B2 (zh)
KR (2) KR101981439B1 (zh)
CN (3) CN108700981B (zh)
WO (1) WO2017138076A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6910451B2 (ja) * 2017-09-08 2021-07-28 三菱電機株式会社 表示制御装置及び表示制御方法
JP7006198B2 (ja) * 2017-12-01 2022-01-24 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システムおよびプログラム
JP7023743B2 (ja) * 2018-02-28 2022-02-22 シャープ株式会社 情報処理装置、情報処理方法、及びプログラム
KR102413747B1 (ko) 2018-12-07 2022-06-27 미쓰비시덴키 가부시키가이샤 입력 표시 제어 장치, 입력 표시 제어 방법 및 입력 표시 시스템
JP6656477B1 (ja) * 2018-12-07 2020-03-04 三菱電機株式会社 入力表示制御装置、入力表示制御方法及び入力表示システム
KR20230089783A (ko) * 2021-12-14 2023-06-21 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8584012B1 (en) * 2008-10-10 2013-11-12 Adobe Systems Incorporated Methods and systems for displaying text on a path
CN104919521A (zh) * 2012-12-10 2015-09-16 Lg电子株式会社 用于将语音转换为文本的显示装置及其方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05197507A (ja) * 1992-01-17 1993-08-06 Hitachi Ltd ポータブルコンピュータ
KR0124033B1 (ko) 1993-03-30 1997-11-24 최병철 전선 피복용 열경화성 수지 조성물
JP3376072B2 (ja) * 1994-02-07 2003-02-10 キヤノン株式会社 文字処理装置及び方法
JPH10124033A (ja) 1996-08-30 1998-05-15 Canon Inc 文字処理装置、文字処理方法、及び、記憶媒体
JP3933449B2 (ja) * 2001-11-22 2007-06-20 株式会社東芝 コミュニケーション支援装置
JP4544587B2 (ja) * 2005-03-09 2010-09-15 株式会社バンダイナムコゲームス プログラム、情報記憶媒体および画像生成システム
JP4569622B2 (ja) * 2007-12-18 2010-10-27 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP4810594B2 (ja) * 2009-06-24 2011-11-09 京セラ株式会社 携帯端末、言語設定プログラムおよび言語設定方法
JP5014449B2 (ja) * 2010-02-26 2012-08-29 シャープ株式会社 会議システム、情報処理装置、会議支援方法、情報処理方法、及びコンピュータプログラム
JP5058280B2 (ja) * 2010-03-12 2012-10-24 シャープ株式会社 翻訳装置、翻訳方法及びコンピュータプログラム
KR101695816B1 (ko) 2010-07-19 2017-01-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5790070B2 (ja) * 2010-08-26 2015-10-07 カシオ計算機株式会社 表示制御装置およびプログラム
JP5211193B2 (ja) * 2010-11-10 2013-06-12 シャープ株式会社 翻訳表示装置
KR20120092365A (ko) * 2011-02-11 2012-08-21 삼성전자주식회사 정전용량방식 터치스크린패널 표시장치
JP5703125B2 (ja) * 2011-05-20 2015-04-15 シャープ株式会社 表示装置および表示プログラム
JP2013003803A (ja) * 2011-06-15 2013-01-07 Sharp Corp 文字入力装置、文字入力装置の制御方法、制御プログラム、及び記録媒体
JP5653392B2 (ja) * 2012-06-29 2015-01-14 株式会社東芝 音声翻訳装置、方法およびプログラム
US9875017B2 (en) 2013-04-26 2018-01-23 Kyocera Corporation Device, method, and program
US9116871B2 (en) * 2013-05-20 2015-08-25 Microsoft Technology Licensing, Llc Ink to text representation conversion
JP6286866B2 (ja) * 2013-05-20 2018-03-07 オムロン株式会社 画像処理装置および画像処理方法
JP6120736B2 (ja) * 2013-09-11 2017-04-26 アルパイン株式会社 地図表示装置および地図上における文字列表示方法
KR102295131B1 (ko) 2015-05-28 2021-08-27 미쓰비시덴키 가부시키가이샤 입력 표시 장치, 입력 표시 방법, 및 프로그램

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8584012B1 (en) * 2008-10-10 2013-11-12 Adobe Systems Incorporated Methods and systems for displaying text on a path
CN104919521A (zh) * 2012-12-10 2015-09-16 Lg电子株式会社 用于将语音转换为文本的显示装置及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Expand the width of the Interactive text field dynamically based the text entered in SAP Adobe Interactive forms;SAP;《https://blogs.sap.com/2013/07/19/expand-the-width-of-the-interactive-text-field-dynamically-based-the-text-entered-in-sap-adobe-interactive-forms/》;20130719;第1-3页 *

Also Published As

Publication number Publication date
US20190012075A1 (en) 2019-01-10
JP6355823B2 (ja) 2018-07-11
KR20190055273A (ko) 2019-05-22
CN115047997A (zh) 2022-09-13
EP3407173A1 (en) 2018-11-28
CN115061622A (zh) 2022-09-16
EP3407173B1 (en) 2020-05-27
EP3407173A4 (en) 2019-01-23
US10884612B2 (en) 2021-01-05
KR102174565B1 (ko) 2020-11-05
CN108700981A (zh) 2018-10-23
JPWO2017138076A1 (ja) 2018-02-15
WO2017138076A1 (ja) 2017-08-17
KR101981439B1 (ko) 2019-05-22
KR20180098681A (ko) 2018-09-04

Similar Documents

Publication Publication Date Title
CN108700981B (zh) 输入显示控制装置、输入显示控制方法和输入显示系统
JP3131287B2 (ja) パターン認識装置
US10591998B2 (en) User interface device, user interface method, program, and computer-readable information storage medium
CN111414837A (zh) 手势识别方法、装置、计算机设备及存储介质
CN112749646A (zh) 一种基于手势识别的交互式点读系统
US11393230B2 (en) Input display control device, input display control method, and input display system
JP6225612B2 (ja) プログラム、情報処理装置、および方法
US20150261301A1 (en) User interface device, user interface method, program, and computer-readable information storage medium
JP6727279B2 (ja) 表示制御装置、入力表示システム、表示制御方法及びプログラム
JP6448838B2 (ja) 表示制御装置、表示制御方法及びプログラム
CN110390281B (zh) 一种基于感知设备的手语识别系统及其工作方法
JP6656477B1 (ja) 入力表示制御装置、入力表示制御方法及び入力表示システム
WO2010150383A1 (ja) 認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant