CN107615232B - 输入显示装置和显示方法 - Google Patents

输入显示装置和显示方法 Download PDF

Info

Publication number
CN107615232B
CN107615232B CN201580080158.7A CN201580080158A CN107615232B CN 107615232 B CN107615232 B CN 107615232B CN 201580080158 A CN201580080158 A CN 201580080158A CN 107615232 B CN107615232 B CN 107615232B
Authority
CN
China
Prior art keywords
unit
character string
trajectory
character
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580080158.7A
Other languages
English (en)
Other versions
CN107615232A (zh
Inventor
平井正人
今石晶子
梅木嘉道
松原勉
鹤直树
山口贵弘
引间孝典
山内贵司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to CN202110609797.5A priority Critical patent/CN113268186A/zh
Publication of CN107615232A publication Critical patent/CN107615232A/zh
Application granted granted Critical
Publication of CN107615232B publication Critical patent/CN107615232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/30—Control of display attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24—Generation of individual character patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/40—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which both a pattern determined by character code and another pattern are displayed simultaneously, or either pattern is displayed selectively, e.g. with character code memory and APA, i.e. all-points-addressable, memory
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24—Generation of individual character patterns
    • G09G5/26—Generation of individual character patterns for modifying the character dimensions, e.g. double width, double height
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

输入显示装置设置有：受理部(1)，其受理轨迹的输入；轨迹图像生成部(4)，其生成表示由受理部(1)受理的该轨迹的轨迹图像；以及字符串取得部(5)，其取得字符串，显示控制部(9)在轨迹图像重叠显示由字符串取得部(5)取得的字符串，在受理轨迹的输入之前由所述字符串取得部取得字符串时，等待字符串的显示。

Description

输入显示装置和显示方法
技术领域
本发明涉及在显示器显示表示语音识别结果的字符串的输入显示装置和显示方法。
背景技术
在以下的专利文献1中公开有在显示器显示表示语音识别结果的字符串的输入显示装置。
在该输入显示装置中，当用户使用笔型输入器进行描绘线的操作时，检测该线的始点和终点，在显示器描画连接该始点和终点的直线。
然后，当用户使用传声器输入语音时，实施该语音的识别处理，沿着已描画的直线显示表示该语音识别结果的字符串。
现有技术文献
专利文献
专利文献1：日本特开2012-88969号公报(图2、图3、图6)
发明内容
发明要解决的课题
现有的输入显示装置如上所述构成，因此，如果用户使用笔型输入器进行描绘线的操作，则在显示器描画连接该线的始点和终点的直线。因此，在用户使用传声器输入语音之前，能够事前掌握显示表示语音识别结果的字符串的位置。但是，描画于显示器的线限于连接始点和终点的直线，因此，存在无法按照用户的自由设计来显示表示语音识别结果的字符串这样的课题。
本发明正是为了解决上述课题而完成的，其目的在于，得到能够按照用户的自由设计来显示表示语音识别结果的字符串的输入显示装置和显示方法。
用于解决课题的手段
本发明的输入显示装置设置有：受理部，其受理轨迹的输入；轨迹图像生成部，其生成表示由受理部受理的该轨迹的轨迹图像；以及字符串取得部，其取得字符串，显示控制部在轨迹图像重叠显示由字符串取得部取得的字符串，在受理所述轨迹的输入之前由所述字符串取得部取得字符串时，等待所述字符串的显示。
发明效果
根据本发明，构成为设置有：受理部，其受理轨迹的输入；轨迹图像生成部，其生成表示由受理部受理的该轨迹的轨迹图像；以及字符串取得部，其取得字符串，显示控制部在轨迹图像重叠显示由字符串取得部取得的字符串，在受理所述轨迹的输入之前由所述字符串取得部取得字符串时，等待所述字符串的显示。因此，具有能够按照用户的自由设计来显示表示语音识别结果的字符串的效果。
附图说明
图1是示出本发明的实施方式1的输入显示装置的结构图。
图2是本发明的实施方式1的输入显示装置的硬件结构图。
图3是输入显示装置由计算机构成时的硬件结构图。
图4是示出本发明的实施方式1的输入显示装置的处理内容即输入显示方法的流程图(其一)。
图5是示出本发明的实施方式1的输入显示装置的处理内容即输入显示方法的流程图(其二)。
图6是示出字符管理DB中存储的字符属性表的说明图。
图7是示出在生成表示语音识别结果的字符串之前生成了轨迹图像时的显示处理的说明图。
图8是示出在生成轨迹图像之前生成了表示语音识别结果的字符串时的显示处理的说明图。
图9是示出本发明的实施方式2的输入显示装置的结构图。
图10是本发明的实施方式2的输入显示装置的硬件结构图。
图11是示出本发明的实施方式2的输入显示装置的处理内容即输入显示方法的流程图。
图12是示出根据用户的笔压设定了线宽的轨迹图像的说明图。
图13是示出根据描写的速度设定了线宽的轨迹图像的说明图。
图14是示出根据中途变化的用户的笔压或描写的速度设定了线宽的轨迹图像的说明图。
图15是示出本发明的实施方式3的输入显示装置的结构图。
图16是本发明的实施方式3的输入显示装置的硬件结构图。
图17是示出本发明的实施方式3的输入显示装置的处理内容即输入显示方法的流程图。
图18是示出与语音的语言对应的轨迹图像的颜色的说明图。
图19是示出本发明的实施方式4的输入显示装置的结构图。
图20是本发明的实施方式4的输入显示装置的硬件结构图。
图21是示出切换了由操作受理部1受理的操作时的处理内容的流程图。
图22是示出用于切换由操作受理部1受理的操作的操作的一例的说明图。
图23是示出根据画图操作内容而生成的图画的图像的一例的说明图。
具体实施方式
下面，为了更加详细地说明本发明，根据附图对用于实施本发明的方式进行说明。
实施方式1
图1是示出本发明的实施方式1的输入显示装置的结构图，图2是本发明的实施方式1的输入显示装置的硬件结构图。
在图1和图2中，操作受理部1通过指示器件21来实现，实施受理描写操作作为用户操作的处理。
在该实施方式1中，作为指示器件21，假设使用触摸面板，但是，不限于触摸面板，例如能够使用操纵杆、指示杆(轨迹点)、触摸板、手写笔、数据手套、轨迹球、手写板、鼠标、光笔、手柄等。
字符管理DB2例如通过RAM或硬盘等存储器22来实现，存储表示字符种类、字符尺寸、字符高度、字符宽度的对应关系的字符属性表。
字符管理部3例如通过由安装有CPU(Central Processing Unit：中央处理单元)的半导体集成电路或单片微计算机等构成的字符管理处理电路23来实现。字符管理部3实施如下处理：事前设定显示于显示器29的字符的尺寸，参照字符管理DB2中存储的字符属性表，将表示与该字符尺寸对应的字符高度的字符属性信息输出到轨迹图像生成部4。
轨迹图像生成部4例如通过由安装有GPU(Graphics Processing Unit：图形处理单元)的半导体集成电路或单片微计算机等构成的图像生成处理电路24来实现。轨迹图像生成部4实施如下处理：根据由操作受理部1受理的描写操作，判别通过描写而描绘的线的轨迹，生成表示该轨迹的轨迹图像。此时，生成线宽与从字符管理部3输出的字符属性信息所示的字符高度对应的轨迹图像。
字符串取得部5由语音检测部6、语音识别辞典DB7和语音识别部8构成，实施取得表示语音识别结果的字符串的处理。
语音检测部6例如通过传声器25来实现，检测用户的语音。
语音识别辞典DB7例如通过RAM或硬盘等存储器26来实现，语音识别辞典DB7例如由记述有人发声的较小单位即音素的声音特征的声音模型、以及记述有要进行语音识别的词语的识别辞典构成。
语音识别部8例如通过由安装有CPU的半导体集成电路或单片微计算机等构成的语音识别处理电路27来实现，搭载有识别由语音检测部6检测到的语音的语音识别引擎。
即，语音识别部8实施如下处理：对由语音检测部6检测到的语音进行分析，计算该语音的声音特征，从语音识别辞典DB7的识别辞典中记述的词语中，搜索具有与该计算出的声音特征最接近的声音特征的词语，将表示该词语的字符串作为表示语音识别结果的字符串输出到显示控制部9。
在图1中，示出字符串取得部5安装有语音识别辞典DB7和语音识别部8的例子，但是，也可以代替语音识别辞典DB7和语音识别部8而安装数据发送接收部。
该数据发送接收部例如是能够经由因特网或LAN等通信路径与未图示的语音识别服务器进行数据发送接收的网卡等网络通信设备，向语音识别服务器发送表示由语音检测部6检测到的语音的数据。
语音识别服务器搭载有识别语音的语音识别引擎，当接收到从数据发送接收部发送的表示语音的数据后，识别该语音，向该数据发送接收部发送表示该语音识别结果的字符串。
该数据发送接收部接收到从语音识别服务器发送的表示语音识别结果的字符串后，将该字符串输出到显示控制部9。
显示控制部9例如通过由安装有GPU的半导体集成电路或单片微计算机等构成的显示处理电路28来实现。显示控制部9实施如下处理：在显示器29显示由轨迹图像生成部4生成的轨迹图像，并且在轨迹图像上重叠显示由字符串取得部5取得的字符串。
即，显示控制部9实施如下处理：在从字符串取得部5的语音识别部8输出字符串之前由轨迹图像生成部4生成了轨迹图像的情况下，在显示器29显示该轨迹图像后，在轨迹图像上重叠显示从字符串取得部5的语音识别部8输出的字符串。另一方面，在由轨迹图像生成部4生成轨迹图像之前从字符串取得部5的语音识别部8输出了字符串的情况下，等待到由轨迹图像生成部4生成轨迹图像为止，在由轨迹图像生成部4生成轨迹图像时，在显示器29显示该轨迹图像，并且在轨迹图像上重叠显示该字符串。
并且，显示控制部9实施如下处理：在轨迹图像上重叠显示字符串后，去除该轨迹图像的显示。
字符串暂时保存部10例如通过RAM或硬盘等存储器30来实现，暂时保存从字符串取得部5的语音识别部8输出的字符串。
在图1中，假设作为输入显示装置的结构要素的操作受理部1、字符管理DB2、字符管理部3、轨迹图像生成部4、字符串取得部5、显示控制部9和字符串暂时保存部10分别由专用硬件构成，但是，输入显示装置也可以由计算机构成。
图3是输入显示装置由计算机构成时的硬件结构图。
在输入显示装置由计算机构成的情况下，在计算机的存储器41上构成字符管理DB2、语音识别辞典DB7和字符串暂时保存部10，并且在存储器41中存储记述有操作受理部1、字符管理部3、轨迹图像生成部4、语音检测部6、语音识别部8和显示控制部9的处理内容的程序，处理器42执行存储器41中存储的程序即可。
图4和图5是示出本发明的实施方式1的输入显示装置的处理内容即输入显示方法的流程图。
接着，对动作进行说明。
图6是示出字符管理DB2中存储的字符属性表的说明图。
在图6的字符属性表中，按照各个字符种类(例如明体、黑体等)记述有与字符尺寸对应的字符高度和字符宽度。
在字符管理部3中事前设定有显示于显示器29的字符的尺寸，字符管理部3参照字符管理DB2中存储的字符属性表，将表示与该字符尺寸对应的字符高度的字符属性信息输出到轨迹图像生成部4(图4的步骤ST1)。
例如，如果事前设定的字符的字符种类为“A”，其字符尺寸为“10”，则将表示字符高度为“5mm”的字符属性信息输出到轨迹图像生成部4。
并且，如果事前设定的字符的字符种类为“B”，其字符尺寸为“5”，则将表示字符高度为“2mm”的字符属性信息输出到轨迹图像生成部4。
并且，字符管理部3将表示与该字符尺寸对应的字符高度和字符宽度的字符属性信息输出到显示控制部9。
轨迹图像生成部4从字符管理部3接收到字符属性信息时，将要生成的轨迹图像的线宽设定成与字符属性信息所示的字符高度对应的线宽(步骤ST2)。
例如，在字符属性信息所示的字符高度为“10mm”时，如果字符的上部和下部的留白被设定成“0.5mm”，则将轨迹图像的线宽设定成“11mm”。
11＝10+0.5+0.5(mm)
这里，示出在字符的上部和下部设置留白的例子，但是，也可以不设置留白而使字符属性信息所示的字符高度和轨迹图像的线宽一致。
在该实施方式1中，假设实现操作受理部1的指示器件21为触摸面板，因此，当用户使用自己的手指或触摸面板用的输入笔等在触摸面板上进行描写操作时(步骤ST3：“是”的情况)，操作受理部1受理描写操作，将描写操作内容输出到轨迹图像生成部4(步骤ST4)。
描写操作内容相当于表示与触摸面板接触的手指或输入笔的位置(触摸面板上的坐标)的连续变化的时间序列数据。
轨迹图像生成部4从操作受理部1接收到描写操作内容时，根据该操作内容判别通过描写而描绘的线的轨迹(步骤ST5)。
如上所述，描写操作内容表示接触位置相对于触摸面板的连续变化，因此，通过连接时间序列的接触位置，能够判别通过描写而描绘的线的轨迹。
轨迹图像生成部4在判别出通过描写而描绘的线的轨迹时，生成表示该轨迹的轨迹图像，将该轨迹图像输出到显示控制部9(步骤ST6)。
该轨迹图像的线宽是在步骤ST2中设定的线宽，在上述例子中，将轨迹图像的线宽设定成“11mm”，因此，生成线宽为“11mm”的轨迹图像。
当语音检测部6检测到用户的语音时(步骤ST7：“是”的情况)，字符串取得部5的语音识别部8利用语音识别辞典DB7实施该语音的识别处理，由此生成表示该语音的识别结果的字符串(文本)，将该字符串输出到显示控制部9(步骤ST8)。
语音识别部8进行的语音识别处理本身是公知技术，因此省略详细说明，例如可考虑如下的方法：对由语音检测部6检测到的语音进行分析，计算该语音的声音特征，从语音识别辞典DB7的识别辞典中记述的词语中，搜索具有与该计算出的声音特征最接近的声音特征的词语，输出表示该词语的字符串作为表示语音识别结果的字符串。
在该实施方式1中，为了便于说明，假设用户进行了“春天到了去看樱花”这样的讲话，语音识别部8输出表示“春天到了去看樱花”的字符串。
这里，图7是示出在生成表示语音识别结果的字符串之前生成了轨迹图像时的显示处理的说明图。
并且，图8是示出在生成轨迹图像之前生成了表示语音识别结果的字符串时的显示处理的说明图。
在从字符串取得部5的语音识别部8输出字符串之前从轨迹图像生成部4输出轨迹图像时(图5的步骤ST11：“是”的情况)，如图7的(a)所示，显示控制部9在显示器29显示该轨迹图像(步骤ST12)。
这里，关于轨迹图像的显示，可以同时显示轨迹图像的整体，也可以进行从后显示的字符串的开头侧起依次显示的动画。
显示控制部9等待到从字符串取得部5的语音识别部8输出字符串为止(步骤ST13：“否”的情况)，如图7的(b)所示，当用户讲话而从语音识别部8输出表示语音识别结果的字符串时(步骤ST13：“是”的情况)，如图7的(c)所示，在轨迹图像上重叠显示该字符串(步骤ST14)。显示在轨迹图像上的字符串中的字符的大小对应于从字符管理部3输出的字符属性信息所示的字符高度和字符宽度。
这里，关于字符串的显示，可以同时显示构成字符串的全部字符，也可以是从字符串的开头字符起依次显示到末尾字符的动画显示的方式。
如图8的(a)所示，当用户在进行描写操作之前讲话而从轨迹图像生成部4输出轨迹图像之前从字符串取得部5的语音识别部8输出字符串时(图5的步骤ST11：“否”的情况)，显示控制部9将该字符串存储在字符串暂时保存部10中，等待到从轨迹图像生成部4输出轨迹图像为止(步骤ST15：“否”的情况)。
然后，当用户进行描写操作而从轨迹图像生成部4输出轨迹图像时(步骤ST15：“是”的情况)，显示控制部9从字符串暂时保存部10中读出字符串，如图8的(b)所示，在显示器29显示该轨迹图像，并且在轨迹图像上重叠显示该字符串。即，显示控制部9在相同位置重叠显示轨迹图像和字符串(步骤ST16)。但是，关于轨迹图像和字符串的显示，可以同时显示整体，也可以是从字符串的开头侧起依次显示的动画显示的方式。
显示控制部9在轨迹图像上重叠显示字符串后，如图7的(d)(e)和图8的(c)(d)所示，去除轨迹图像，成为仅显示字符串的状态(步骤ST17)。
关于轨迹图像的去除，可以同时去除轨迹图像的整体，也可以进行从字符串的开头侧起依次去除的动画。
这里，假设在重叠显示轨迹图像和字符串后，在一定时间后去除轨迹图像，但是，也可以在字符串的显示完成时立即去除轨迹图像。
根据以上可知，根据该实施方式1，构成为输入显示装置设置有：操作受理部1，其受理描写操作；轨迹图像生成部4，其根据由操作受理部1受理的描写操作，判别通过描写而描绘的线的轨迹，生成表示该轨迹的轨迹图像；以及字符串取得部5，其取得表示语音识别结果的字符串，显示控制部9在显示器29显示由轨迹图像生成部4生成的轨迹图像，并且在轨迹图像上重叠显示由字符串取得部5取得的字符串。因此，发挥能够按照用户的自由设计来显示表示语音识别结果的字符串的效果。
并且，根据该实施方式1，构成为显示控制部9在从字符串取得部5的语音识别部8输出字符串之前由轨迹图像生成部4生成了轨迹图像的情况下，在显示器29显示该轨迹图像后，在轨迹图像上重叠显示从字符串取得部5的语音识别部8输出的字符串，另一方面，在由轨迹图像生成部4生成轨迹图像之前从字符串取得部5的语音识别部8输出了字符串的情况下，等待到由轨迹图像生成部4生成轨迹图像为止，在由轨迹图像生成部4生成轨迹图像时，在显示器29显示该轨迹图像，并且在轨迹图像上重叠显示该字符串。因此，在用户讲话之前进行了描写操作的情况下，能够事前掌握显示表示语音识别结果的字符串的位置。因此，发挥用户能够抓住字符串的显示图像的效果。并且，在用户进行描写操作之前讲话的情况下，当进行描写操作后立即在相同位置重叠显示轨迹图像和字符串，因此，发挥能够给用户带来高响应性的操作感的效果。
实施方式2
在上述实施方式1中，示出轨迹图像的线宽被设定成与事前设定的字符尺寸的字符高度对应的线宽，但是，也可以根据用户进行的描写操作的状态来设定轨迹图像的线宽。
图9是示出本发明的实施方式2的输入显示装置的结构图，图10是本发明的实施方式2的输入显示装置的硬件结构图。
在图9和图10中，与图1和图2相同的标号表示相同或相当的部分，因此省略说明。
操作状态检测部11例如通过由安装有CPU的半导体集成电路或单片微计算机等构成的操作状态检测处理电路31来实现，实施检测由操作受理部1受理的操作的状态的处理。
即，操作状态检测部11例如感知用户的手指或输入笔针对作为指示器件21的触摸面板的压力(笔压)，作为由操作受理部1受理的操作的状态。
轨迹图像生成部12例如通过由安装有GPU的半导体集成电路或单片微计算机等构成的图像生成处理电路32来实现。与图1的轨迹图像生成部4同样，轨迹图像生成部12实施如下处理：根据由操作受理部1受理的描写操作，判别通过描写而描绘的线的轨迹，生成表示该轨迹的轨迹图像。此时，与图1的轨迹图像生成部4不同，生成线宽与由操作状态检测部11检测到的操作的状态对应的轨迹图像。
显示控制部13例如通过由安装有GPU的半导体集成电路或单片微计算机等构成的显示处理电路33来实现，实施与图1的显示控制部9相同的显示处理。
并且，显示控制部13实施如下处理：根据由轨迹图像生成部12设定的线宽，变更构成由字符串取得部5取得的字符串的字符的字符尺寸，以变更后的字符尺寸在轨迹图像上重叠显示字符串。
在图9中，假设作为输入显示装置的结构要素的操作受理部1、字符管理DB2、字符管理部3、操作状态检测部11、轨迹图像生成部12、字符串取得部5、显示控制部13和字符串暂时保存部10分别由专用硬件构成，但是，输入显示装置也可以由计算机构成。
在输入显示装置由计算机构成的情况下，在图3所示的计算机的存储器41上构成字符管理DB2、语音识别辞典DB7和字符串暂时保存部10，并且在存储器41中存储记述有操作受理部1、字符管理部3、操作状态检测部11、轨迹图像生成部12、语音检测部6、语音识别部8和显示控制部13的处理内容的程序，处理器42执行存储器41中存储的程序即可。
图11和图5是示出本发明的实施方式2的输入显示装置的处理内容即输入显示方法的流程图。
在图11中，与图4相同的步骤编号表示相同或相当的部分。
接着，对动作进行说明。
在该实施方式2中，假设在作为指示器件21的触摸面板上搭载有感知笔压的笔压感知传感器。
操作状态检测部11从指示器件21上搭载的笔压感知传感器取得笔压的感知结果，由此，检测用户针对作为指示器件21的触摸面板的笔压，作为由操作受理部1受理的操作的状态(图11的步骤ST21)。
在操作状态检测部11检测到用户的笔压作为由操作受理部1受理的操作的状态时，轨迹图像生成部12根据用户的笔压和从字符管理部3输出的字符属性信息所示的字符高度，设定要生成的轨迹图像的线宽(步骤ST22)。
例如，如果将字符属性信息所示的字符高度设定成轨迹图像的基准线宽，用户的笔压为事前设定的基准值以上，则该笔压越大于基准值，则设定越大的偏移值，将基准线宽和偏移值相加而得到的值决定为最终的轨迹图像的线宽。
最终的轨迹图像的线宽＝基准线宽+偏移值
另一方面，如果用户的笔压小于事前设定的基准值，则该笔压越小于基准值，则设定越大的偏移值，将基准线宽减去偏移值而得到的值决定为最终的轨迹图像的线宽。
最终的轨迹图像的线宽＝基准线宽-偏移值
与图1的显示控制部9同样，显示控制部13按照图5的流程图，在显示器29显示轨迹图像和字符串。
但是，在该实施方式2中，根据用户的笔压来设定轨迹图像的线宽，因此，在轨迹图像生成部12使最终的轨迹图像的线宽比基准线宽粗的情况下，根据最终的轨迹图像的线宽，增大构成字符串的字符的字符尺寸，在轨迹图像上显示字符串。
例如，在基准线宽(＝字符属性信息所示的字符高度)为“5mm”时，如果将最终的轨迹图像的线宽设定成“10mm”，则将构成字符串的字符的字符高度变更成“10mm”，在轨迹图像上显示字符串。这里，示出字符高度和轨迹图像的线宽一致的例子，但是，在字符的上部和下部设置留白的情况下，例如，如果设上部和下部的留白均为“1mm”，则将构成字符串的字符的字符高度变更成“8mm”，在轨迹图像上显示字符串。
并且，在轨迹图像生成部12使最终的轨迹图像的线宽比基准线宽细的情况下，显示控制部13根据最终的轨迹图像的线宽，减小构成字符串的字符的字符尺寸，在轨迹图像上显示字符串。
例如，在基准线宽(＝字符属性信息所示的字符高度)为“5mm”时，如果将最终的轨迹图像的线宽设定成“3mm”，则将构成字符串的字符的字符高度变更成“3mm”，在轨迹图像上显示字符串。这里，示出字符高度和轨迹图像的线宽一致的例子，但是，在字符的上部和下部设置留白的情况下，例如，如果设上部和下部的留白均为“0.5mm”，则将构成字符串的字符的字符高度变更成“2mm”，在轨迹图像上显示字符串。
图12是示出根据用户的笔压设定了线宽的轨迹图像的说明图。
图12的(a)示出用户的笔压为基准值以上因此设定了较粗的线宽的轨迹图像，图12的(b)示出用户的笔压小于基准值因此设定了较细的线宽的轨迹图像。
在该实施方式2中，示出了操作状态检测部11检测用户针对作为指示器件21的触摸面板的笔压作为由操作受理部1受理的操作的状态的例子，但是，这只不过是一例，例如，也可以检测用户在作为指示器件21的触摸面板上进行描写的速度，作为由操作受理部1受理的操作的状态。
如果操作状态检测部11根据由操作受理部1受理的描写操作内容确定接触位置相对于触摸面板的连续变化，则能够根据接触位置相对于触摸面板的每单位时间的变化，求出在触摸面板上进行描写的速度。
在操作状态检测部11检测到在触摸面板上进行描写的速度作为由操作受理部1受理的操作的状态时，轨迹图像生成部12根据描写的速度和从字符管理部3输出的字符属性信息所示的字符高度，设定要生成的轨迹图像的线宽。
例如，如果将字符属性信息所示的字符高度设定成轨迹图像的基准线宽，描写的速度为事前设定的基准值以上，则描写的速度越快于基准值，则设定越大的偏移值，将基准线宽和偏移值相加而得到的值决定为最终的轨迹图像的线宽。
最终的轨迹图像的线宽＝基准线宽+偏移值
另一方面，如果描写的速度慢于事前设定的基准值，则描写的速度越慢于基准值，则设定越大的偏移值，将基准线宽减去偏移值而得到的值决定为最终的轨迹图像的线宽。
最终的轨迹图像的线宽＝基准线宽-偏移值
图13是示出根据描写的速度设定了线宽的轨迹图像的说明图。
图13的(a)示出描写的速度为基准值以上因此设定了较粗的线宽的轨迹图像，图13的(b)示出描写的速度小于基准值因此设定了较细的线宽的轨迹图像。
在该实施方式2中，示出了用户的笔压或描写的速度均匀的例子，但是，在用户的笔压或描写的速度中途变化的情况下，轨迹图像生成部12也可以生成线宽中途变化的轨迹图像。
图14是示出根据中途变化的用户的笔压或描写的速度设定了线宽的轨迹图像的说明图。
图14的(a)示出描写的速度逐渐加快时或用户的笔压逐渐增强时的轨迹图像，轨迹图像的线宽逐渐变粗。
图14的(b)示出描写的速度或用户的笔压不规则地变化时的轨迹图像，轨迹图像的线宽时粗时细。
根据以上可知，根据该实施方式2，构成为具有检测由操作受理部1受理的操作的状态的操作状态检测部11，轨迹图像生成部12生成线宽与由操作状态检测部11检测到的操作的状态对应的轨迹图像。因此，发挥能够实现字符串的显示方式多样化的效果。
在该实施方式2中，示出了轨迹图像生成部12根据操作状态检测部11检测到的由操作受理部1受理的操作的状态(例如用户的笔压)和从字符管理部3输出的字符属性信息所示的字符高度，设定要生成的轨迹图像的线宽，但是，也可以不使用从字符管理部3输出的字符属性信息所示的字符高度，而仅根据由操作受理部1受理的操作的状态，设定要生成的轨迹图像的线宽。
例如，可考虑如下方式：准备存储有用户的笔压(或描写的速度)与轨迹图像的线宽的对应关系的表，轨迹图像生成部12从该表中读出与用户的笔压(或描写的速度)对应的线宽，将该线宽设定成轨迹图像的线宽。
在该实施方式2中，示出了生成线宽与由操作受理部1受理的操作的状态对应的轨迹图像，但是，也可以根据由操作受理部1受理的操作的状态，改变在显示器29显示的字符的浓淡。例如，可考虑如下方式：用户的笔压越强或描写的速度越快，则字符的浓淡越浓。并且，也可以根据由操作受理部1受理的操作的状态，改变在显示器29显示的字符的粗细。例如，可考虑如下方式：用户的笔压越强或描写的速度越快，则字符的粗细越粗。
并且，示出了根据由轨迹图像生成部12生成的轨迹图像的线宽，改变在该轨迹图像上重叠显示的字符的字符高度，但是，也可以根据轨迹图像的线宽改变构成字符串的字符的字符种类。
例如，可考虑如下方式：在轨迹图像的线宽逐渐变粗的情况下，如字符种类A→字符种类B→字符种类C那样改变字符种类。
实施方式3
在上述实施方式1、2中，显示控制部9、13在显示器29显示由轨迹图像生成部4、12生成的轨迹图像，但是，也可以取得语音的语言的判别结果，以与该判别结果所示的语言对应的颜色显示轨迹图像。
图15是示出本发明的实施方式3的输入显示装置的结构图，图16是本发明的实施方式3的输入显示装置的硬件结构图。
在图15和图16中，与图9和图10相同的标号表示相同或相当的部分，因此省略说明。
字符串取得部5的语言判别部14例如通过由安装有CPU的半导体集成电路或单片微计算机等构成的语言判别处理电路34来实现，实施由语音检测部6检测到的语音的语言判别处理，将该语言的判别结果输出到显示控制部15。
在该实施方式3中，示出字符串取得部5安装有语言判别部14的例子，但是，也可以代替语言判别部14而安装数据发送接收部。
该数据发送接收部例如是能够经由因特网或LAN等通信路径与未图示的语言判别服务器进行数据发送接收的网卡等网络通信设备，向语言判别服务器发送表示由语音检测部6检测到的语音的数据。
语言判别服务器搭载有判别语音的语言的语言判别引擎，当接收到从数据发送接收部发送的表示语音的数据时，识别该语音，向该数据发送接收部发送该语音的语言判别结果。
该数据发送接收部将从语言判别服务器发送的语音的语言判别结果输出到显示控制部15。
显示控制部15例如通过由安装有GPU的半导体集成电路或单片微计算机等构成的显示处理电路35来实现，实施与图9的显示控制部13相同的显示处理。
并且，显示控制部15实施如下处理：以与从语言判别部14输出的判别结果所示的语言对应的颜色，在显示器29显示由轨迹图像生成部12生成的轨迹图像。
在图15中，假设作为输入显示装置的结构要素的操作受理部1、字符管理DB2、字符管理部3、操作状态检测部11、轨迹图像生成部12、字符串取得部5、显示控制部15和字符串暂时保存部10分别由专用硬件构成，但是，输入显示装置也可以由计算机构成。
在输入显示装置由计算机构成的情况下，在图3所示的计算机的存储器41上构成字符管理DB2、语音识别辞典DB7和字符串暂时保存部10，并且在存储器41中存储记述有操作受理部1、字符管理部3、操作状态检测部11、轨迹图像生成部12、语音检测部6、语音识别部8、语言判别部14和显示控制部15的处理内容的程序，处理器42执行存储器41中存储的程序即可。
图17和图5是示出本发明的实施方式3的输入显示装置的处理内容即输入显示方法的流程图。
在图17中，与图11相同的步骤编号表示相同或相当的部分。
接着，对动作进行说明。
当语音检测部6检测到用户的语音时，字符串取得部5的语言判别部14实施该语音的语言判别处理，将该语言的判别结果输出到显示控制部15(图17的步骤ST9)。语音的语言判别处理本身是公知技术，因此省略详细说明。
与图9的显示控制部13同样，显示控制部15按照图5的流程图，在显示器29显示轨迹图像和字符串。
但是，与图9的显示控制部13不同，显示控制部15以与从语言判别部14输出的判别结果所示的语言对应的颜色，在显示器29显示由轨迹图像生成部12生成的轨迹图像。
另外，在语音检测部6检测到用户的语音之前，语言判别部14无法判别语音的语言，因此，在语音检测部6检测到用户的语音之前由轨迹图像生成部12生成了轨迹图像的情况下，在语音检测部6检测到用户的语音之前的期间内，显示控制部15不进行轨迹图像的显示。并且，也可以在语音检测部6检测到用户的语音之前的期间内，以灰色显示轨迹，在检测到用户的语音并输出语言的判别结果后，以与语言对应的颜色显示轨迹图像。
图18是示出与语音的语言对应的轨迹图像的颜色的说明图。
图18的(a)示出语音的语言为汉语的情况，例如以蓝色显示轨迹图像。
图18的(b)示出语音的语言为英语的情况，例如以红色显示轨迹图像。
这里，示出如果语音的语言为汉语则显示蓝色的轨迹图像，如果语音的语言为英语则显示红色的轨迹图像的例子，但是，这只不过是一例，当然可以以其他颜色进行显示。
根据以上可知，根据该实施方式3，构成为具有实施由语音检测部6检测到的语音的语言判别处理并输出该语言的判别结果的语言判别部14，显示控制部15以与从语言判别部14输出的判别结果所示的语言对应的颜色，在显示器29显示由轨迹图像生成部12生成的轨迹图像。因此，发挥能够直观地掌握显示哪种语言的字符的效果。
实施方式4
在上述实施方式1～3中，示出了在显示轨迹图像和字符串后去除轨迹图像，由此，最终在显示器29仅显示字符串，但是，也可以在显示器29显示根据用户的画图操作而生成的图画的图像。
图19是示出本发明的实施方式4的输入显示装置的结构图，图20是本发明的实施方式4的输入显示装置的硬件结构图。
在图19和图20中，与图15和图16相同的标号表示相同或相当的部分，因此省略说明。
操作切换部16例如通过由安装有CPU的半导体集成电路或单片微计算机等构成的操作切换处理电路36来实现，实施如下处理：例如在检测到指示器件21的长按操作作为用于切换由操作受理部1受理的操作的操作时，切换由操作受理部1受理的操作。
即，操作切换部16实施如下处理：在由操作受理部1受理的操作是描写操作时，在检测到指示器件21的长按操作时，将由操作受理部1受理的操作切换成在显示器29描画图画的画图操作。另一方面，实施如下处理：在由操作受理部1受理的操作是画图操作时，在检测到指示器件21的长按操作时，将由操作受理部1受理的操作切换成描写操作。
图画图像生成部17例如通过由安装有GPU的半导体集成电路或单片微计算机等构成的图像生成处理电路37来实现，实施如下处理：如果由操作切换部16切换后的操作是画图操作，则根据由操作受理部1受理的画图操作来生成图画的图像。
显示控制部18例如通过由安装有GPU的半导体集成电路或单片微计算机等构成的显示处理电路38来实现，如果由操作切换部16切换后的操作是描写操作，则实施与图15的显示控制部15相同的显示处理。
显示控制部18实施如下处理：如果由操作切换部16切换后的操作是画图操作，则在显示器29显示由图画图像生成部17生成的图画的图像。
在图19中，假设作为输入显示装置的结构要素的操作受理部1、字符管理DB2、字符管理部3、操作状态检测部11、轨迹图像生成部12、操作切换部16、图画图像生成部17、字符串取得部5、显示控制部18和字符串暂时保存部10分别由专用硬件构成，但是，输入显示装置也可以由计算机构成。
在输入显示装置由计算机构成的情况下，在图3所示的计算机的存储器41上构成字符管理DB2、语音识别辞典DB7和字符串暂时保存部10，并且在存储器41中存储记述有操作受理部1、字符管理部3、操作状态检测部11、轨迹图像生成部12、操作切换部16、图画图像生成部17、语音检测部6、语音识别部8、语言判别部14和显示控制部18的处理内容的程序，处理器42执行存储器41中存储的程序即可。
图21是示出切换了由操作受理部1受理的操作时的处理内容的流程图。
接着，对动作进行说明。
操作切换部16检测到长按操作作为用于切换由操作受理部1受理的操作的操作时(图21的步骤ST31：“是”的情况)，实施切换由操作受理部1受理的操作的处理(步骤ST32)。
图22是示出用于切换由操作受理部1受理的操作的操作的一例的说明图。
在图22中，示出用于切换由操作受理部1受理的操作的操作是长按操作的例子，长按操作例如是用户的手指以预先设定的时间以上持续接触作为指示器件21的触摸面板的相同场所的操作。
即，操作切换部16在当前时点由操作受理部1受理的操作是描写操作时，在检测到指示器件21的长按操作时，向操作受理部1输出此后将由操作受理部1受理的操作切换成画图操作的指令。
另一方面，在当前时点由操作受理部1受理的操作是画图操作时，在检测到指示器件21的长按操作时，向操作受理部1输出此后将由操作受理部1受理的操作切换成描写操作的指令。
操作受理部1根据操作切换部16的指令，对要受理的操作进行切换。
因此，操作受理部1在将要受理的操作切换成描写操作的状态下(步骤ST33：“是”的情况)，与上述实施方式1～3同样，受理描写操作，将描写操作内容输出到轨迹图像生成部12(步骤ST34)。
并且，操作受理部1在将要受理的操作切换成画图操作的状态下(步骤ST33：“否”的情况)，受理画图操作，将画图操作内容输出到图画图像生成部17(步骤ST35)。
在操作受理部1受理描写操作时，与上述实施方式2同样，轨迹图像生成部12根据该描写操作内容来生成轨迹图像(步骤ST36)。
在操作受理部1受理画图操作时，图画图像生成部17根据该画图操作内容来生成图画的图像(步骤ST37)。
图23是示出根据画图操作内容而生成的图画的图像的一例的说明图。
根据画图操作内容来生成图画的图像的处理本身是公知技术，因此省略详细说明。另外，在画图操作内容中，除了描画线的功能以外，还可以包含改变要描画的线的粗细和颜色的功能、去除线的橡皮擦的功能等。
显示控制部18实施如下处理：在轨迹图像生成部12生成轨迹图像时，与图15的显示控制部15同样，在显示器29显示该轨迹图像和从字符串取得部5输出的字符串(步骤ST38)。
并且，在图画图像生成部17生成图画的图像时，显示控制部18在显示器29显示该图画的图像(步骤ST39)。
根据以上可知，根据该实施方式4，构成为具有：操作切换部16，其切换由操作受理部1受理的操作；以及图画图像生成部17，如果由操作切换部16切换后的操作是画图操作，则该图画图像生成部17根据由操作受理部1受理的画图操作来生成图画的图像，如果由操作切换部16切换后的操作是描写操作，则与图15的显示控制部15同样，显示控制部18重叠显示轨迹图像和字符串，另一方面，如果由操作切换部16切换后的操作是画图操作，则显示控制部18显示由图画图像生成部17生成的图画的图像。因此，发挥能够与字符串一起在显示器29显示图画的图像的效果。
在该实施方式4中，示出如下例子：操作切换部16在由操作受理部1受理的操作是描写操作时，在检测到指示器件21的长按操作时，将由操作受理部1受理的操作切换成画图操作，另一方面，在由操作受理部1受理的操作是画图操作时，在检测到指示器件21的长按操作时，将由操作受理部1受理的操作切换成描写操作。
但是，由操作受理部1受理的操作的切换方法不限于此，也可以使用下述所示的切换方法。
例如，通常时，由操作受理部1受理的操作被设定成画图操作，在检测到指示器件21的长按操作时，操作切换部16向操作受理部1输出将由操作受理部1受理的操作切换成描写操作的指令，由操作受理部1受理描写操作。
当描写操作结束时，由操作受理部1受理的操作自动返回画图操作，然后，在检测到指示器件21的长按操作时，操作切换部16再次向操作受理部1输出将由操作受理部1受理的操作切换成描写操作的指令，由操作受理部1受理描写操作。
在该实施方式4中，示出了操作切换部16在检测到指示器件21的长按操作时切换由操作受理部1受理的操作，但是，也可以在显示器29显示表示当前由操作受理部1受理的操作是描写操作还是画图操作的信息。
另外，本发明能够在本发明的范围内进行各实施方式的自由组合、或各实施方式的任意结构要素的变形、或各实施方式中的任意结构要素的省略。
产业上的可利用性
本发明的输入显示装置和输入显示方法适用于在显示器显示表示语音识别结果的字符串时，需要按照用户的自由设计进行显示的情况。
标号说明
1：操作受理部；2：字符管理DB；3：字符管理部；4：轨迹图像生成部；5：字符串取得部；6：语音检测部；7：语音识别辞典DB；8：语音识别部；9：显示控制部；10：字符串暂时保存部；11：操作状态检测部；12：轨迹图像生成部；13：显示控制部；14：语言判别部；15：显示控制部；16：操作切换部；17：图画图像生成部；18：显示控制部；21：指示器件；22：存储器；23：字符管理处理电路；24：图像生成处理电路；25：传声器；26：存储器；27：语音识别处理电路；28：显示处理电路；29：显示器；30：存储器；31：操作状态检测处理电路；32：图像生成处理电路；33：显示处理电路；34：语言判别处理电路；35：显示处理电路；36：操作切换处理电路；37：图像生成处理电路；38：显示处理电路；41：存储器；42：处理器。

Claims (10)

1.一种输入显示装置，其中，所述输入显示装置具有：
受理部，其受理曲线的轨迹的输入；
轨迹图像生成部，其生成表示由所述受理部受理的所述轨迹的轨迹图像；
字符串取得部，其取得字符串；
显示控制部，其在所述轨迹图像上重叠显示由所述字符串取得部取得的字符串，在受理所述轨迹的输入之前由所述字符串取得部取得字符串时，等待所述字符串的显示；以及
字符管理部，该字符管理部管理显示于显示器的字符的尺寸，
所述轨迹图像生成部生成线宽与由所述字符管理部管理的字符的尺寸对应的轨迹图像。
2.根据权利要求1所述的输入显示装置，其特征在于，
所述显示控制部在受理所述轨迹的输入之前取得所述字符串时，等待所述字符串的显示，在显示所述轨迹图像时，在所述轨迹重叠显示所述字符串。
3.根据权利要求1或2所述的输入显示装置，其特征在于，
所述受理部受理的轨迹是接触所述受理部的接触位置的连续变化。
4.根据权利要求1或2所述的输入显示装置，其特征在于，
在所述字符串取得部取得字符串之前受理所述轨迹的输入时，所述显示控制部在显示所述轨迹之后进行所述字符串的显示。
5.根据权利要求1或2所述的输入显示装置，其特征在于，
所述显示控制部在重叠显示所述轨迹图像和所述字符串之后，去除所述轨迹图像。
6.根据权利要求1或2所述的输入显示装置，其特征在于，
所述显示控制部从由所述字符串取得部取得的字符串的开头字符起依次显示到末尾字符。
7.根据权利要求1或2所述的输入显示装置，其特征在于，
所述字符串取得部在取得表示语音的识别结果的字符串时，取得所述语音的语言的判别结果，
所述显示控制部以与由所述字符串取得部取得的判别结果所示的语言对应的颜色，显示由所述轨迹图像生成部生成的轨迹图像。
8.根据权利要求1所述的输入显示装置，其特征在于，
所述输入显示装置具有：
操作切换部，其切换由所述受理部受理的操作；以及
图画图像生成部，如果由所述操作切换部切换后的操作是在显示器描画图画的操作，则该图画图像生成部根据由所述受理部受理的描画操作而生成图画的图像，
在由所述操作切换部切换后的操作是所述轨迹的输入时，所述轨迹图像生成部根据由所述受理部受理的轨迹的输入，生成表示所述轨迹的轨迹图像，
如果由所述操作切换部切换后的操作是所述描画操作，则所述显示控制部在所述显示器显示由所述图画图像生成部生成的图画的图像，如果由所述操作切换部切换后的操作是所述轨迹的输入，则所述显示控制部在所述显示器显示由所述轨迹图像生成部生成的轨迹图像。
9.根据权利要求1或2所述的输入显示装置，其特征在于，
所述输入显示装置还具有所述显示控制部显示影像的显示器。
10.一种显示方法，在该显示方法中，
受理曲线的轨迹的输入，
生成所述受理的轨迹的图像，
取得字符串，
在所述轨迹图像上重叠显示所述取得的字符串，其中，
在受理所述轨迹的输入之前取得所述字符串时，等待所述字符串的显示；
并且，生成所述受理的轨迹的图像包括：
生成线宽与显示于显示器的字符的尺寸对应的轨迹图像。
CN201580080158.7A 2015-05-28 2015-05-28 输入显示装置和显示方法 Active CN107615232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110609797.5A CN113268186A (zh) 2015-05-28 2015-05-28 输入显示装置和显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/065431 WO2016189735A1 (ja) 2015-05-28 2015-05-28 入力表示装置及び入力表示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110609797.5A Division CN113268186A (zh) 2015-05-28 2015-05-28 输入显示装置和显示方法

Publications (2)

Publication Number Publication Date
CN107615232A CN107615232A (zh) 2018-01-19
CN107615232B true CN107615232B (zh) 2021-12-14

Family

ID=57392633

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110609797.5A Pending CN113268186A (zh) 2015-05-28 2015-05-28 输入显示装置和显示方法
CN201580080158.7A Active CN107615232B (zh) 2015-05-28 2015-05-28 输入显示装置和显示方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110609797.5A Pending CN113268186A (zh) 2015-05-28 2015-05-28 输入显示装置和显示方法

Country Status (6)

Country Link
US (2) US10510322B2 (zh)
EP (1) EP3306452B1 (zh)
JP (1) JP6235763B2 (zh)
KR (3) KR102295131B1 (zh)
CN (2) CN113268186A (zh)
WO (1) WO2016189735A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102295131B1 (ko) * 2015-05-28 2021-08-27 미쓰비시덴키 가부시키가이샤 입력 표시 장치, 입력 표시 방법, 및 프로그램
CN115061622A (zh) 2016-02-08 2022-09-16 三菱电机株式会社 输入显示控制装置、输入显示控制方法和输入显示系统
CN107045498A (zh) * 2017-05-18 2017-08-15 深圳双猴科技有限公司 一种双面显示的同步翻译设备、方法、装置及电子设备
JP6848713B2 (ja) * 2017-06-21 2021-03-24 ブラザー工業株式会社 プログラム及び情報処理端末
JP6910451B2 (ja) * 2017-09-08 2021-07-28 三菱電機株式会社 表示制御装置及び表示制御方法
CN111316202A (zh) * 2017-11-10 2020-06-19 索尼半导体解决方案公司 显示处理装置、显示处理方法和程序
JP7023743B2 (ja) * 2018-02-28 2022-02-22 シャープ株式会社 情報処理装置、情報処理方法、及びプログラム
JP6641530B1 (ja) * 2018-12-07 2020-02-05 三菱電機株式会社 入力表示制御装置、入力表示制御方法及び入力表示システム
KR102165137B1 (ko) * 2020-03-06 2020-10-13 바즈바이오메딕(주) 무바늘 주사기
KR102165136B1 (ko) * 2020-03-06 2020-10-13 바즈바이오메딕(주) 무바늘 주사기

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1266257A (zh) * 1999-03-09 2000-09-13 松下电器产业株式会社 衔接语音合成系统中单元重叠区的辨识
JP2002251280A (ja) * 2001-02-22 2002-09-06 Canon Inc 電子黒板装置およびその制御方法
CN102455887A (zh) * 2010-10-20 2012-05-16 夏普株式会社 输入显示装置和输入显示方法
CN103294257A (zh) * 2012-02-09 2013-09-11 三星电子株式会社 对于手写识别用于引导手写输入的装置和方法
CN104391643A (zh) * 2014-10-30 2015-03-04 深圳市金立通信设备有限公司 一种终端

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0247763A (ja) 1988-08-09 1990-02-16 Matsushita Electric Ind Co Ltd 文書処理装置
US5233438A (en) * 1990-03-02 1993-08-03 Brother Kogyo Kabushiki Kaisha Entertainment apparatus for producing orchestral music accompaniment and a selected background video
JPH05127810A (ja) 1991-11-05 1993-05-25 Sharp Corp 手書文字処理装置
JPH0764998A (ja) * 1993-08-25 1995-03-10 Toshiba Corp 文書作成装置及び文字軌跡入力方法
KR0126787B1 (ko) 1994-06-22 1998-04-01 김광호 영상노래반주장치의 예약곡 표시방법 및 이에 적합한 장치
JP3054545B2 (ja) 1994-07-15 2000-06-19 三洋電機株式会社 文字図形編集方法及び装置
JPH08305799A (ja) 1995-05-11 1996-11-22 Nec Home Electron Ltd 筆圧検出手書きデータ入力方法及び装置
JPH103516A (ja) 1996-06-17 1998-01-06 Canon Inc 情報処理方法及び装置
JPH10124033A (ja) 1996-08-30 1998-05-15 Canon Inc 文字処理装置、文字処理方法、及び、記憶媒体
JP4158236B2 (ja) * 1997-09-19 2008-10-01 ソニー株式会社 遠隔操作装置
JPH11154200A (ja) * 1997-11-21 1999-06-08 Oki Electric Ind Co Ltd 文字認識装置
JP2002297305A (ja) * 2001-03-30 2002-10-11 Mitsubishi Electric Corp 情報入力装置および携帯端末
JP2004102632A (ja) 2002-09-09 2004-04-02 Ricoh Co Ltd 音声認識装置および画像処理装置
JP3865681B2 (ja) 2002-10-18 2007-01-10 株式会社 ワコムアイティ 毛筆描画装置、毛筆描画プログラムおよび毛筆描画方法
US20040119762A1 (en) 2002-12-24 2004-06-24 Fuji Xerox Co., Ltd. Systems and methods for freeform pasting
CN1750117A (zh) * 2004-09-16 2006-03-22 乐金电子（惠州）有限公司 伴唱机歌曲搜索系统及其旋律数据库构成方法
JP4712675B2 (ja) 2005-06-10 2011-06-29 株式会社メイクソフトウェア 画像編集装置、画像編集方法、画像編集プログラム及び自動写真撮影装置
CN101192107A (zh) * 2006-11-28 2008-06-04 国际商业机器公司 用于输入并显示字符串的方法和设备
CN101067929B (zh) * 2007-06-05 2011-04-20 南京大学 使用共振峰增强提取话音共振峰轨迹的方法
US8482545B2 (en) * 2008-10-02 2013-07-09 Wacom Co., Ltd. Combination touch and transducer input system and method
US8780131B2 (en) * 2008-12-19 2014-07-15 Xerox Corporation Systems and methods for text-based personalization of images
US9035973B2 (en) * 2009-10-23 2015-05-19 Kyocera Mita Corporation Display device and display control method
CN201577180U (zh) * 2009-11-10 2010-09-08 北京九鹤科技有限公司 声道管适配器
KR101126167B1 (ko) 2010-06-07 2012-03-22 삼성전자주식회사 터치 스크린 및 디스플레이 방법
JP5623853B2 (ja) * 2010-09-29 2014-11-12 株式会社カプコン 画像処理プログラム、及び画像処理装置
JP2012109901A (ja) * 2010-11-19 2012-06-07 Elmo Co Ltd 資料提示装置
US9529486B2 (en) * 2012-03-29 2016-12-27 FiftyThree, Inc. Methods and apparatus for providing a digital illustration system
JP5458161B1 (ja) * 2012-10-23 2014-04-02 株式会社東芝 電子機器および方法
KR102023008B1 (ko) 2012-12-10 2019-09-19 엘지전자 주식회사 음성-텍스트 변환 디스플레이 장치 및 그 방법
KR102051093B1 (ko) * 2013-02-01 2019-12-02 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR20140116642A (ko) * 2013-03-25 2014-10-06 삼성전자주식회사 음성 인식 기반의 기능 제어 방법 및 장치
US9710098B2 (en) * 2014-03-31 2017-07-18 Samsung Display Co., Ltd. Method and apparatus to reduce latency of touch events
KR102295131B1 (ko) * 2015-05-28 2021-08-27 미쓰비시덴키 가부시키가이샤 입력 표시 장치, 입력 표시 방법, 및 프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1266257A (zh) * 1999-03-09 2000-09-13 松下电器产业株式会社 衔接语音合成系统中单元重叠区的辨识
JP2002251280A (ja) * 2001-02-22 2002-09-06 Canon Inc 電子黒板装置およびその制御方法
CN102455887A (zh) * 2010-10-20 2012-05-16 夏普株式会社 输入显示装置和输入显示方法
CN103294257A (zh) * 2012-02-09 2013-09-11 三星电子株式会社 对于手写识别用于引导手写输入的装置和方法
CN104391643A (zh) * 2014-10-30 2015-03-04 深圳市金立通信设备有限公司 一种终端

Also Published As

Publication number Publication date
KR102284238B1 (ko) 2021-07-30
EP3306452A1 (en) 2018-04-11
EP3306452B1 (en) 2022-04-20
JP6235763B2 (ja) 2017-11-22
KR102295131B1 (ko) 2021-08-27
KR20170125366A (ko) 2017-11-14
KR20200115670A (ko) 2020-10-07
US20200066232A1 (en) 2020-02-27
JPWO2016189735A1 (ja) 2017-07-13
WO2016189735A1 (ja) 2016-12-01
EP3306452A4 (en) 2018-11-21
CN113268186A (zh) 2021-08-17
US20180005604A1 (en) 2018-01-04
KR20190099347A (ko) 2019-08-26
CN107615232A (zh) 2018-01-19
US10510322B2 (en) 2019-12-17
US10748506B2 (en) 2020-08-18

Similar Documents

Publication Publication Date Title
CN107615232B (zh) 输入显示装置和显示方法
JP6903808B2 (ja) リアルタイム手書き認識の管理
Yi et al. Atk: Enabling ten-finger freehand typing in air based on 3d hand tracking data
US9348417B2 (en) Multimodal input system
EP2650767A1 (en) Overlapped handwriting input method
JP2019535059A5 (zh)
US20160048318A1 (en) Detecting selection of digital ink
JP6991486B2 (ja) 文字列に文字を挿入するための方法およびシステム
US11188155B2 (en) Method and apparatus for inputting character based on motion recognition of body
JP5897726B2 (ja) ユーザインタフェース装置、ユーザインタフェース方法、プログラム及びコンピュータ可読情報記憶媒体
US9430702B2 (en) Character input apparatus and method based on handwriting
JP6463442B2 (ja) 入力表示装置、入力表示方法及び入力表示プログラム
JP6675472B2 (ja) 入力表示装置
JPS5935277A (ja) 手書文字図形のリアルタイム認識による制御方法
CN102929534A (zh) 一种盲写信息输入系统和方法
WO2014106849A1 (en) Method for motion path identification
Saqib et al. Automatic sign language recognition: Performance comparison of word based approach with spelling based approach
WO2021161769A1 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3879391A1 (en) Input display control device, input display control method, and input display system
KR20160039336A (ko) 디지털 잉크 데이터의 렌더링 방법
EP3885893A1 (en) Information processing device and information processing method
KR20160111146A (ko) 디지털 텍스트 형태의 문자를 디지털 잉크 형태의 문자 이미지로 랜더링하는 방법 및 이를 수행하는 문자 이미지 생성 프로세서
JP2022183012A (ja) 表示装置、表示システム、表示方法、プログラム
JPH06208660A (ja) オンライン文字認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TG01 Patent term adjustment
TG01 Patent term adjustment