CN102253710A - 多模式互动操作的电子装置及其多模式互动操作方法 - Google Patents

多模式互动操作的电子装置及其多模式互动操作方法 Download PDF

Info

Publication number
CN102253710A
CN102253710A CN2010101855193A CN201010185519A CN102253710A CN 102253710 A CN102253710 A CN 102253710A CN 2010101855193 A CN2010101855193 A CN 2010101855193A CN 201010185519 A CN201010185519 A CN 201010185519A CN 102253710 A CN102253710 A CN 102253710A
Authority
CN
China
Prior art keywords
instruction
electronic installation
display unit
steering order
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010101855193A
Other languages
English (en)
Inventor
沈家麟
许天明
陈右凯
徐荣
梁荣昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delta Electronics Inc
Delta Optoelectronics Inc
Original Assignee
Delta Optoelectronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delta Optoelectronics Inc filed Critical Delta Optoelectronics Inc
Priority to CN2010101855193A priority Critical patent/CN102253710A/zh
Publication of CN102253710A publication Critical patent/CN102253710A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明披露一种多模式互动操作的电子装置及其多模式互动操作方法。该多模式互动操作的电子装置,包含:显示单元、选取单元、语音辨识单元及控制单元。显示单元用以显示一画面。选取单元选取显示单元于画面上任一范围。语音辨识单元用以接收语音,辨识语音为控制指令。控制单元根据控制指令对选取的范围的内容执行控制指令的操作。一种多模式互动操作方法亦在此被揭示。

Description

多模式互动操作的电子装置及其多模式互动操作方法
技术领域
本发明的内容是涉及一种电子装置及其操作方法,特别是涉及一种以多模式互动操作的电子装置及其多模式互动操作方法。
背景技术
电子书是近年来新开创的技术之一。通过电子书高容量的优势,不论是文件、图案、书籍、乐谱等等,都可以在数字化之后存入电子书或其周边储存设备中,再由电子书的显示画面呈现于使用者的眼前。对于想随身携带大量数据查阅的使用者来说,即不需要再背负厚重的书籍数据,而仅需要轻便的电子书即可进行查询、阅读及多媒体的互动方式。
然而,目前的电子书装置,是采用实体的按键或是触控式的输入来操作电子书内的功能选单,以经过层层点选后,才可执行使用者欲进行的功能。并且,电子书的屏幕目前反应仍然无法十分迅速,对想要快速操作的使用者来说极不方便。
因此,在现有技术中,具有如美国专利申请号第2003/2016915号中所述,应用语音辩识以进行电子阅读器操作的控制方式,或是如美国专利第7107533号中所述,采用藉由图形输入对应产生图形输出及藉由音声的输入对应产生声音输出的方法,以应用于电子阅读器上达到多模式输入及h输出的方式。美国专利第6438523号中,揭示了可在语音的第一输入模式及手写、手画输入的第二输入模式间进行切换,以达到控制电子装置进行语音及手写、手画模式的切换的技术。而美国专利第7299182号中,则揭示了根据电子装置所储存的文字以产生语音输出的阅读装置。上述这些电子装置虽然已经使用触控及语音来操作电子装置,却缺乏将触控及语音进行整合的输入方式。对于使用者来说,如能将触控及语音,或是其它的输入方式进行整合的操作方式,即使不善长操作电子装置的使用者,亦能不需担心复杂的输入接口,而可以轻松地使用电子装置增添使用者在电子装置达到互动上的操作便利。
因此,如何在电子装置上,提供使用者能够具有便捷的多模式的互动操作功能与方法是目前亟待加强解决的课题。
发明内容
因此,本发明的内容的一态样是在提供一种以多模式互动操作的电子装置,包含:显示单元、选取单元、语音辨识单元及控制单元。显示单元用以显示一画面。选取单元选取显示单元于画面上任一范围。语音辨识单元用以接收语音,辨识语音为控制指令。控制单元根据控制指令对选取的范围的内容执行控制指令的操作。其中电子装置为电子书(E-book)、电子阅读器(E-reader)、电子纸(E-paper)或电子广告牌。
依据本发明的内容的一实施例,其中显示单元为接触式触控显示单元或非接触式触控显示单元。
依据本发明的内容的另一实施例,其中选取的操作为手指触控输入、触控笔触控输入、鼠标输入或手势输入。
依据本发明的内容的又一实施例,其中范围的内容包含文字、图形或乐谱。
依据本发明的内容的再一实施例,其中控制指令为发音指令、朗诵指令、覆读指令、翻译指令、查询指令、演奏指令、覆唱指令、放大指令或缩小指令。
因此,本发明的内容的另一态样是在提供一种以多模式互动操作的电子装置,包含:显示单元、选取单元、图形辨识单元及控制单元。显示单元用以显示一画面。选取单元选取显示单元于画面上任一范围。图形辨识单元接收图形,辨识图形为控制指令。控制单元根据控制指令对选取的范围的内容执行控制指令的操作。其中电子装置为电子书、电子阅读器、电子纸或电子广告牌。
依据本发明的内容的一实施例,其中显示单元为接触式触控显示单元或非接触式触控显示单元。
依据本发明的内容的另一实施例,其中选取的操作为手指触控输入、触控笔触控输入、鼠标输入或手势输入。
依据本发明的内容的又一实施例,其中范围的内容包含文字、图形或乐谱。
依据本发明的内容的再一实施例,其中控制指令为发音指令、朗诵指令、覆读指令、翻译指令、查询指令、演奏指令、覆唱指令、放大指令或缩小指令。
因此,本发明的内容的又一态样是在提供一种以多模式互动操作的电子装置,包含:显示单元、选取单元、影像辨识单元及控制单元。显示单元用以显示一画面。选取单元选取显示单元于画面上任一范围。影像辨识单元接收影像,辨识影像为控制指令。控制单元根据控制指令对选取的范围的内容执行控制指令的操作。其中电子装置为电子书、电子阅读器、电子纸或电子广告牌。
依据本发明的内容的一实施例,其中显示单元为接触式触控显示单元或非接触式触控显示单元。
依据本发明的内容的另一实施例,其中选取的操作为手指触控输入、触控笔触控输入、鼠标输入或手势输入。
依据本发明的内容的又一实施例,其中范围的内容包含文字、图形或乐谱。
依据本发明的内容的再一实施例,其中控制指令为发音指令、朗诵指令、覆读指令、翻译指令、查询指令、演奏指令、覆唱指令、放大指令或缩小指令。
依据本发明的内容还具有的一实施例,其中影像辨识单元包括摄相装置及影像处理装置,其中摄相装置可为电荷耦合组件(Charge-coupleddevice;CCD)摄相装置、互补式金属氧化物半导体晶体管(ComplementaryMetal-Oxide-Semiconductor;CMOS)摄相装置或其它摄相装置,而影像处理装置用来办识摄相装置所撷取的影像。影像为动态影像或静态影像。
因此,本发明的内容的再一态样是在提供一种多模式互动操作方法,应用于一电子装置,包含下列步骤:提供显示单元,以显示画面;选取显示单元于画面上任一范围;接收语音;辨识语音为控制指令;以及根据控制指令对选取的范围的内容执行控制指令的操作。
依据本发明的内容的一实施例,其中选取的操作为手指触控输入、触控笔触控输入、鼠标输入或手势输入。
依据本发明的内容的另一实施例,其中范围的内容包含文字、图形或乐谱。
依据本发明的内容的又一实施例,其中控制指令为发音指令、朗诵指令、覆读指令、翻译指令、查询指令、演奏指令、覆唱指令、放大指令或缩小指令。
因此,本发明的内容的还具有一态样是在提供一种多模式互动操作方法,应用于一电子装置,包含下列步骤:提供显示单元,以显示画面;选取显示单元于画面上任一范围;接收图形;辨识图形为控制指令;以及根据控制指令对选取的范围的内容执行控制指令的操作。
依据本发明的内容的一实施例,其中选取的操作为手指触控输入、触控笔触控输入、鼠标输入或手势输入。图形利用接触式或非接触式触控方式输入。
依据本发明的内容的另一实施例,其中范围的内容包含文字、图形或乐谱。
依据本发明的内容的又一实施例,其中控制指令为发音指令、朗诵指令、覆读指令、翻译指令、查询指令、演奏指令、覆唱指令、放大指令或缩小指令。
因此,本发明的内容的再具有一态样是在提供一种多模式互动操作方法,应用于一电子装置,包含下列步骤:提供显示单元,以显示画面;选取显示单元于画面上任一范围;接收影像;辨识影像为控制指令;以及根据控制指令对选取的范围的内容执行控制指令的操作。
依据本发明的内容的一实施例,其中选取的操作为手指触控输入、触控笔触控输入、鼠标输入或手势输入。
依据本发明的内容的另一实施例,其中范围的内容包含文字、图形或乐谱。
依据本发明的内容的又一实施例,其中控制指令为发音指令、朗诵指令、覆读指令、翻译指令、查询指令、演奏指令、覆唱指令、放大指令或缩小指令。
依据本发明的内容的再一实施例,其中影像是利用电荷耦合组件摄相装置、互补式金属氧化物半导体晶体管摄相装置或其它摄相装置撷取影像。影像为动态影像或静态影像。
应用本发明的内容的优点在于藉由选取单元选取显示单元于画面上任一范围,并再由语音辨识单元、图形辨识单元或影像辨识单元进行语音、图形或是影像的辨识以产生对应的控制指令,进一步以控制指令对范围的内容进行处理,而轻易地达到上述的目的。
附图说明
为使本发明的内容的上述和其它目的、特征、优点与实施例能更明显易懂,本发明的附图说明如下:
图1为本发明的内容的一实施例的以多模式互动操作的电子装置的方块图;
图2A为图1的电子装置的俯视图;
图2B为图1的电子装置的另一俯视图;
图2C为图1的电子装置的显示单元显示维基百科全书数据库的查询结果画面的示意图;
图3为本发明的内容的一实施例的多模式互动操作方法的流程图;
图4A为本发明的内容的另一实施例的以多模式互动操作的电子装置的方块图;
图4B为图4A的多模式互动操作的电子装置的俯视图;
图5为本发明的内容的又一实施例的多模式互动操作方法的流程图;
图6A为本发明的内容的再一实施例的以多模式互动操作的电子装置的方块图;
图6B为图6A的多模式互动操作的电子装置的俯视图;以及
图7为本发明的内容的还具有的一实施例的多模式互动操作方法的流程图。
附图符号说明
1:电子装置                       10:显示单元
100:画面                         101、101’:范围
11:输入讯号                      12:选取单元
13:语音                          14:语音辨识单元
15:控制指令                      16:控制单元
20:扬声器                        301-305:步骤
4:电子装置                       40:显示单元
400:画面                         401:范围
41:输入讯号                      42:选取单元
43:图形                          44:图形辨识单元
45:控制指令                      46:控制单元
48:扬声器                        501-505:步骤
6:电子装置                       60:显示单元
600:画面                         601:范围
61:输入讯号                      62:选取单元
63:影像                          64:影像辨识单元
640:摄相装置                     642:影像处理装置
65:控制指令                      66:控制单元
701-705:步骤
具体实施方式
请参照图1。图1为本发明的内容的一实施例的以多模式互动操作的电子装置1的方块图。电子装置1包含:显示单元10、选取单元12、语音辨识单元14及控制单元16。
语音辨识单元用以接收语音,辨识语音为控制指令。控制单元根据控制指令对选取的范围的内容执行控制指令的操作。
请同时参考图2A。图2A为一实施例中,图1的电子装置1的俯视图。电子装置1于一实施例中可为电子书、电子阅读器、电子纸或电子广告牌。其中显示单元10用以显示一画面100。选取单元12则用以选取显示单元于画面上任一范围。于一实施例中,显示单元10为接触式触控显示单元或非接触式触控显示单元,以检测触控的输入讯号11。举例来说,此触控的输入讯号11可以为手指触控输入或是触控笔输入。因此,使用者可以藉由手指或是触控笔(未绘示)在显示单元10上进行圈选或是框选的操作。于另一实施例中,显示单元10还可检测距离显示单元10一距离的手势,以使使用者不需直接接触显示单元10即可进行范围的选取。需注意的是,上述的「一距离」,是以显示单元10所能感测到的范围为准,而并未以一特定的距离数值限定。
于本实施例中,选取单元12根据输入讯号11将选取图2A的画面100的范围101。于本实施例中,画面100显示一文件档案的画面,而此范围101则是此文件档案中的一段文字。
语音辨识单元14用以接收语音13,辨识语音13为控制指令15。而控制单元16则将根据控制指令15对范围101的内容执行控制指令15的操作。
控制指令15在本实施例中可为发音指令、朗诵指令、覆读指令、翻译指令、查询指令、覆唱指令、放大指令或缩小指令。举例来说,使用者可藉由口说「朗诵」两个字的方式实现语音的输入,语音辨识单元14在接收到此语音13后,将辨识出此语音13对应到关于朗诵的操作的控制指令15。因此,控制指令15将使控制单元16对本实施例中范围101的内容,即文件档案中的该段文字,进行朗诵的操作,并由电子装置1上所设置的语音播放单元,如图2A中的扬声器20播放出。
请参考图2B。图2B为另一实施例中,图1的电子装置1的俯视图。于此另一实施例中,图2B的显示单元10亦显示图2A的画面100,然而选取单元12根据输入讯号11将选取范围101’,意即Eragon这个单字。接着,使用者可藉由口说「Wiki」这个字词的方式实现语音的输入,语音辨识单元14在接收到此语音13后,将辨识出此语音13对应到关于查询网络上的维基百科全书数据库(Wikipedia)的控制指令15。因此,控制指令15将使控制单元16对本实施例中范围101’的内容,即Eragon这个单字,进行根据维基百科全书数据库的查询,并将其结果呈现于显示单元10上,如图2C所示。此外,于其它实施例中,亦可根据Google、字典等定义出对应的控制指令,以对范围内所选取到的字词,针对Google指令开启浏览器进行Google的搜寻获得Eragon的相关网页,或是针对字典指令显示在线亦或内建字典的字义查询结果。
而另一实施例中,举例来说,如一段文章的内容为:「海地今天发生规模7.0强震,海地驻美国大使随后表示,这是一起大规模的重大灾害。」则在使用者口说「覆读三次」后,所对应覆读的控制指令15将使控制单元16将该段文字由扬声器20重复播放出三次。
如选取的字词为歌曲的名称,如「家后」,使用者可藉由口说「唱歌」这个字词的方式实现语音的输入,并在电子装置1储存有不同版本的同名对应歌曲时,于显示单元10显示或是以语音提示,以供使用者选取欲播放的版本,以使电子装置1由扬声器20播放出「家后」这首歌曲。如果选取的文字段落为歌词,使用者可藉由语音输入对应的覆唱指令,使控制单元16藉由扬声器20播放。于另一实施例中,如画面100中所显示为乐谱,则范围101可对应至乐谱的片段,使用者可藉由口说「演奏」这个字词的方式实现语音的输入,控制指令15将使控制单元16对此乐谱片段由扬声器20播放出。
于再一实施例中,如画面100中所显示为文字或是图案,使用者可藉由口说「放大」或「缩小」的方式实现语音的输入,以使所选取的范围对应的该段文字或是图案部份进行放大或是缩小,以便使用者于显示单元10上进行观看。
本实施例中具有多模式互动操作功能的电子装置1,可以藉由触控圈选特定的一段文章、字词、歌曲或图形,再以语音下达指令的结合,来对显示单元10上所呈现的档案进行控制,以使欲执行的功能一步到位,对使用者来说是十分直觉的操作方式,改善过往的电子装置必需层层点选功能选单的不便,并可依需求由显示单元10、电子装置1的语音播放单元或是其它多媒体设备来输出。因此,电子装置1在应用于电子阅读器、电子字典、语言学习、教育玩具、覆读机、乐谱时可增进学习效果,亦或与其它多媒体娱乐装置如卡拉OK伴唱机、游戏机、广告机、数字视讯转换盒(Set-topbox)、交互式多媒体信息站(Kiosk)、脚本与歌本装置做结合时,可提供使用者简易且迅速的操作方式。
请参照图3。图3为本发明的内容的又一实施例的多模式互动操作方法的流程图。多模式互动操作方法可应用于如图1中所示的电子装置1。多模式互动操作方法包含下列步骤(应了解到,在本实施方式中所提及的步骤,除特别叙明其顺序者外,均可依实际需要调整其前后顺序,甚至可同时或部分同时执行)。
于步骤301,提供显示单元10,用以显示如图2A所示的画面100。于步骤302,藉由显示单元10接收输入讯号11以选取显示单元10于画面上任一范围101。于步骤303,接收语音13。于步骤304,语音辨识单元14辨识语音13为控制指令15。于步骤305,根据控制指令对选取的范围101的内容执行控制指令15的操作。
请参照图4A。图4A为本发明的内容的另一实施例的以多模式互动操作的电子装置4的方块图。电子装置4包含:显示单元40、选取单元42、图形辨识单元44及控制单元46。
本实施例中的显示单元40、选取单元42以及控制单元46与先前实施例中所述大同小异,因此不再赘述。本实施例中以图形辨识单元44来对手画或触控笔所绘的图形43进行辨识,并对应至控制指令45来对显示单元40上显示的档案进行控制。因此,本实施例中的电子装置4可以结合范围选取以及图形的辨识来对显示单元40上所呈现的档案进行控制。
请同时参照图4B。图4B为图4A的多模式互动操作的电子装置4的俯视图。举例来说,如果使用者于图4A已经经由显示单元40及选取单元42的输入讯号41确定了欲选取的范围401,如前一实施例所述的Eragon单字,则使用者可藉由触控的方式进行图形的输入,如图4B中,多模式互动操作的电子装置4的显示单元40所显示的画面400上,绘示的三角形的图形43。举例来说,三角形对应的控制指令45是发音指令,则控制单元46将根据此控制指令45对所选取的Eragon单字由扬声器48进行发音。于其它实施例中,控制指令45可如前一实施例中的控制指令15,为发音指令、朗诵指令、覆读指令、翻译指令、查询指令、覆唱指令、演奏指令、放大指令或缩小指令,并可依使用者的定义对应至不同形状如方形、圆形、梯形等等的图形输入。
本实施例中具有多模式互动操作功能的电子装置4,可以藉由触控圈选特定的一段文章、字词、歌曲或图形,再以图形下达指令的结合,来对显示单元40上所呈现的档案进行控制,以使欲执行的功能一步到位,对使用者来说是十分直觉的操作方式,改善过往的电子装置必需层层点选功能选单的不便,并可依需求由显示单元40、电子装置4的语音播放单元或是其它多媒体设备来输出。
请参照图5。图5为本发明的内容的又一实施例的多模式互动操作方法的流程图。多模式互动操作方法可应用于如图4A及图4B中所示的电子装置4。多模式互动操作方法包含下列步骤(应了解到,在本实施方式中所提及的步骤,除特别叙明其顺序者外,均可依实际需要调整其前后顺序,甚至可同时或部分同时执行)。
于步骤501,提供显示单元40,用以显示如图4A所示的画面400。于步骤502,藉由显示单元40接收输入讯号41以选取显示单元40于画面上任一范围401。于步骤503,接收图形43。于步骤504,图形辨识单元44辨识图形43为控制指令45。于步骤505,根据控制指令43对选取的范围401的内容执行控制指令45的操作。
请参照图6A。图6A为本发明的内容的再一实施例的以多模式互动操作的电子装置6的方块图。电子装置6包含:显示单元60、选取单元62、影像辨识单元64及控制单元66。
本实施例中的显示单元60、选取单元62以及控制单元66与先前实施例中所述大同小异,因此不再赘述。本实施例中以影像辨识单元64来对手势或是手画的影像输入63进行辨识,并对应至控制指令65来对显示单元60上显示的档案进行控制。其中影像,可为动态影像或是静态影像。影像辨识单元64包括摄相装置640及影像处理装置642,其中摄相装置640可为电荷耦合组件摄相装置、互补式金属氧化物半导体晶体管摄相装置或其它摄相装置,以撷取影像,而影像处理装置642用来办识摄相装置640所撷取的影像。因此,本实施例中的电子装置6可以结合范围选取以及影像的辨识来对显示单元60上所呈现的档案进行控制。
请同时参照图6B。图6B为图6A的多模式互动操作的电子装置6的俯视图。举例来说,如果使用者于图6A已经由显示单元60及选取单元62的输入讯号61确定了欲选取的范围601,如前一实施例所述的Eragon单字,则使用者可藉由手势或是手画的方式进行影像的输入,如图6B中,多模式互动操作的电子装置6旁的以一方向移动的手势呈现的影像63。举例来说,此位移方向的手势对应的控制指令65是维基百科全书数据库的查询指令,则控制单元66将根据此控制指令65对所选取的Eragon单字进行维基百科全书数据库的查询,并显示如图2C所示的画面。于其它实施例中,控制指令65可如先前实施例中的控制指令15,为发音指令、朗诵指令、覆读指令、翻译指令、查询指令、覆唱指令、演奏指令、放大指令或缩小指令,并可依使用者的定义对应至不同方向及操作,如左右移动、径向移动、点按等等的手势、手绘影像输入。
本实施例中具有多模式互动操作功能的电子装置6,可以藉由触控圈选特定的一段文章、字词、歌曲或图形,再以影像下达指令的结合,来对显示单元60上所呈现的档案进行控制,以使欲执行的功能一步到位,对使用者来说是十分直觉的操作方式,改善过往的电子装置必需层层点选功能选单的不便,并可依需求由显示单元60、电子装置6的语音播放单元或是其它多媒体设备来输出。
请参照图7。图7为本发明的内容的更具有的一实施例的多模式互动操作方法的流程图。多模式互动操作方法可应用于如图6A及图6B中所示的电子装置6。多模式互动操作方法包含下列步骤(应了解到,在本实施方式中所提及的步骤,除特别叙明其顺序者外,均可依实际需要调整其前后顺序,甚至可同时或部分同时执行)。
于步骤701,提供显示单元60,用以显示如图6A所示的画面600。于步骤702,藉由显示单元60接收输入讯号61以选取显示单元60于画面上任一范围601。于步骤703,接收图形63。于步骤704,影像辨识单元64辨识影像63为控制指令65。于步骤705,根据控制指令65对选取的范围601的内容执行控制指令65的操作。
虽然本发明的内容已以实施方式揭示如上,然其并非用以限定本发明的内容,本领域的技术人员,在不脱离本发明的内容的精神和范围的前提下可作各种的更动与润饰,因此本发明的内容的保护范围以本发明的权利要求为准。

Claims (36)

1.一种以多模式互动操作的电子装置,包含:
一显示单元,以显示一画面;
一选取单元,选取该显示单元于该画面上任一范围;
一语音辨识单元,以接收一语音,辨识该语音为一控制指令;以及
一控制单元,根据该控制指令对选取的该范围的内容执行该控制指令的操作。
2.如权利要求1所述的电子装置,其中该显示单元为一接触式触控显示单元或非接触式触控显示单元。
3.如权利要求2所述的电子装置,其中选取的操作为一手指触控输入、一触控笔触控输入、一鼠标输入或一手势输入。
4.如权利要求1所述的电子装置,其中该范围的内容包含一文字、一图形或一乐谱。
5.如权利要求1所述的电子装置,其中该控制指令为一发音指令、一朗诵指令、一覆读指令、一翻译指令、一查询指令、一演奏指令、一覆唱指令、一放大指令或一缩小指令。
6.如权利要求1所述的电子装置,其中该电子装置为一电子书、一电子阅读器、一电子纸或一电子广告牌。
7.一种以多模式互动操作的电子装置,包含:
一显示单元,以显示一画面;
一选取单元,以选取该显示单元于该画面上任一范围;
一图形辨识单元,以接收一图形,辨识该图形为一控制指令;以及
一控制单元,根据该控制指令对选取的该范围的内容执行该控制指令的操作。
8.如权利要求7所述的电子装置,其中该显示单元为一接触式触控显示单元或非接触式触控显示单元。
9.如权利要求8所述的电子装置,其中选取的操作为一手指触控输入、一触控笔触控输入、一鼠标输入或一手势输入。
10.如权利要求7所述的电子装置,其中该范围的内容包含一文字、一图形或一乐谱。
11.如权利要求7所述的电子装置,其中该控制指令为一发音指令、一朗诵指令、一覆读指令、一翻译指令、一查询指令、一演奏指令、一覆唱指令、一放大指令或一缩小指令。
12.如权利要求7所述的电子装置,其中该电子装置为一电子书、一电子阅读器、一电子纸或一电子广告牌。
13.一种以多模式互动操作的电子装置,包含:
一显示单元,以显示一画面;
一选取单元,以选取该显示单元于该画面上任一范围;
一影像辨识单元,以接收一影像,辨识该影像为一控制指令;以及
一控制单元,根据该控制指令对选取的该范围的内容执行该控制指令的操作。
14.如权利要求13所述的电子装置,其中该显示单元为一接触式触控显示单元或非接触式触控显示单元。
15.如权利要求14所述的电子装置,其中选取的操作为一手指触控输入、一触控笔触控输入、一鼠标输入或一手势输入。
16.如权利要求13所述的电子装置,其中该范围的内容包含一文字、一图形或一乐谱。
17.如权利要求13所述的电子装置,其中该控制指令为一发音指令、一朗诵指令、一覆读指令、一翻译指令、一查询指令、一演奏指令、一覆唱指令、一放大指令或一缩小指令。
18.如权利要求13所述的电子装置,其中该电子装置为一电子书、一电子阅读器、一电子纸或一电子广告牌。
19.如权利要求13所述的电子装置,其中该影像辨识单元包含用以撷取该影像的一摄相装置及用来办识该影像的一影像处理装置。
20.如权利要求19所述的电子装置,其中该摄相装置可为一电荷耦合组件摄相装置、一互补式金属氧化物半导体晶体管摄相装置或其它摄相装置。
21.如权利要求13所述的电子装置,其中该影像为一动态影像或一静态影像。
22.一种多模式互动操作方法,应用于一电子装置,包含下列步骤:
提供一显示单元,用以显示一画面;
选取该显示单元于该画面上任一范围;
接收一语音;
辨识该语音为一控制指令;以及
根据该控制指令对选取的该范围的内容执行该控制指令的操作。
23.如权利要求22所述的多模式互动操作方法,其中选取的操作为一手指触控输入、一触控笔触控输入、一鼠标输入或一手势输入。
24.如权利要求22所述的多模式互动操作方法,其中该范围的内容包含一文字、一图形或一乐谱。
25.如权利要求22所述的多模式互动操作方法,其中该控制指令为一发音指令、一朗诵指令、一覆读指令、一翻译指令、一查询指令、一演奏指令、一覆唱指令、一放大指令或一缩小指令。
26.一种多模式互动操作方法,应用于一电子装置,包含下列步骤:
提供一显示单元,用以显示一画面;
选取该显示单元于该画面上任一范围;
接收一图形;
辨识该图形为一控制指令;以及
根据该控制指令对选取的该范围的内容执行该控制指令的操作。
27.如权利要求26所述的多模式互动操作方法,其中选取的操作为一手指触控输入、一触控笔触控输入、一鼠标输入或一手势输入。
28.如权利要求26所述的多模式互动操作方法,其中该范围的内容包含一文字、一图形或一乐谱。
29.如权利要求26所述的多模式互动操作方法,其中该控制指令为一发音指令、一朗诵指令、一覆读指令、一翻译指令、一查询指令、一演奏指令、一覆唱指令、一放大指令或一缩小指令。
30.如权利要求26所述的多模式互动操作方法,其中该图形利用接触式或非接触式触控方式输入。
31.一种多模式互动操作方法,应用于一电子装置,包含下列步骤:
提供一显示单元,用以显示一画面;
选取该显示单元于该画面上任一范围;
接收一影像;
辨识该影像为一控制指令;以及
根据该控制指令对选取的该范围的内容执行该控制指令的操作。
32.如权利要求31所述的多模式互动操作方法,其中选取的操作为一手指触控输入、一触控笔触控输入、一鼠标输入或一手势输入。
33.如权利要求31所述的多模式互动操作方法,其中该范围的内容包含一文字、一图形或一乐谱。
34.如权利要求31所述的多模式互动操作方法,其中该控制指令为一发音指令、一朗诵指令、一覆读指令、一翻译指令、一查询指令、一演奏指令、一覆唱指令、一放大指令或一缩小指令。
35.如权利要求31所述的多模式互动操作方法,其中该影像利用一电荷耦合组件摄相装置、一互补式金属氧化物半导体晶体管摄相装置或其它摄相装置撷取影像。
36.如权利要求31所述的多模式互动操作方法,其中该影像为一动态影像或一静态影像。
CN2010101855193A 2010-05-21 2010-05-21 多模式互动操作的电子装置及其多模式互动操作方法 Pending CN102253710A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010101855193A CN102253710A (zh) 2010-05-21 2010-05-21 多模式互动操作的电子装置及其多模式互动操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010101855193A CN102253710A (zh) 2010-05-21 2010-05-21 多模式互动操作的电子装置及其多模式互动操作方法

Publications (1)

Publication Number Publication Date
CN102253710A true CN102253710A (zh) 2011-11-23

Family

ID=44981014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101855193A Pending CN102253710A (zh) 2010-05-21 2010-05-21 多模式互动操作的电子装置及其多模式互动操作方法

Country Status (1)

Country Link
CN (1) CN102253710A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103000054A (zh) * 2012-11-27 2013-03-27 广州中国科学院先进技术研究所 智能厨房烹饪教学机及其控制方法
CN103187057A (zh) * 2011-12-29 2013-07-03 方正国际软件(北京)有限公司 漫画声控系统和方法
WO2014079324A1 (zh) * 2012-11-26 2014-05-30 腾讯科技(深圳)有限公司 一种语音交互方法和装置
CN104252857A (zh) * 2013-06-26 2014-12-31 北京怡生飞扬科技发展有限公司 多功能翻谱系统及其翻谱方法
CN105573534A (zh) * 2014-10-09 2016-05-11 中兴通讯股份有限公司 操作对象的处理方法及装置
CN108735212A (zh) * 2018-05-28 2018-11-02 北京小米移动软件有限公司 语音控制方法及装置
CN110557699A (zh) * 2019-09-11 2019-12-10 百度在线网络技术(北京)有限公司 一种智能音箱交互方法、装置、设备及存储介质
CN114357982A (zh) * 2021-12-30 2022-04-15 有米科技股份有限公司 一种用于构建领域词典的数据处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1421781A (zh) * 2001-11-30 2003-06-04 英业达股份有限公司 通过选单启动多个个人数字助理操作系统的方法
CN1601916A (zh) * 2004-10-10 2005-03-30 倚天资讯股份有限公司 手持式电子装置及其操作显示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1421781A (zh) * 2001-11-30 2003-06-04 英业达股份有限公司 通过选单启动多个个人数字助理操作系统的方法
CN1601916A (zh) * 2004-10-10 2005-03-30 倚天资讯股份有限公司 手持式电子装置及其操作显示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
佚名: "能说会道的Word 2003 实现文本教学的朗读", 《HTTP//WWW.JCWCN.COM/ARTICLE-23939-1.HTML》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103187057A (zh) * 2011-12-29 2013-07-03 方正国际软件(北京)有限公司 漫画声控系统和方法
CN103839548B (zh) * 2012-11-26 2018-06-01 腾讯科技(北京)有限公司 一种语音交互方法、装置、系统和移动终端
WO2014079324A1 (zh) * 2012-11-26 2014-05-30 腾讯科技(深圳)有限公司 一种语音交互方法和装置
CN103839548A (zh) * 2012-11-26 2014-06-04 腾讯科技(北京)有限公司 一种语音交互方法、装置、系统和移动终端
US9728192B2 (en) 2012-11-26 2017-08-08 Tencent Technology (Shenzhen) Company Limited Method and apparatus for voice interaction control of movement base on material movement
CN103000054B (zh) * 2012-11-27 2015-07-22 广州中国科学院先进技术研究所 智能厨房烹饪教学机及其控制方法
CN103000054A (zh) * 2012-11-27 2013-03-27 广州中国科学院先进技术研究所 智能厨房烹饪教学机及其控制方法
CN104252857A (zh) * 2013-06-26 2014-12-31 北京怡生飞扬科技发展有限公司 多功能翻谱系统及其翻谱方法
CN105573534A (zh) * 2014-10-09 2016-05-11 中兴通讯股份有限公司 操作对象的处理方法及装置
CN108735212A (zh) * 2018-05-28 2018-11-02 北京小米移动软件有限公司 语音控制方法及装置
CN110557699A (zh) * 2019-09-11 2019-12-10 百度在线网络技术(北京)有限公司 一种智能音箱交互方法、装置、设备及存储介质
CN110557699B (zh) * 2019-09-11 2021-09-07 百度在线网络技术(北京)有限公司 一种智能音箱交互方法、装置、设备及存储介质
CN114357982A (zh) * 2021-12-30 2022-04-15 有米科技股份有限公司 一种用于构建领域词典的数据处理方法及装置

Similar Documents

Publication Publication Date Title
CN102253710A (zh) 多模式互动操作的电子装置及其多模式互动操作方法
US20110288850A1 (en) Electronic apparatus with multi-mode interactive operation method
US20090326953A1 (en) Method of accessing cultural resources or digital contents, such as text, video, audio and web pages by voice recognition with any type of programmable device without the use of the hands or any physical apparatus.
US8446297B2 (en) Grouping variable media inputs to reflect a user session
CN107480161A (zh) 用于媒体探究的智能自动化助理
CN102142247A (zh) 多功能电子琴谱
CN101794208A (zh) 用于无显示器的电子设备的音频用户接口
CN102144209A (zh) 电子设备中的多层次话音反馈
CN102549577A (zh) 联系人搜索方法、装置及其应用的移动终端
US8002185B2 (en) Decoupled applications for printed materials
US20100017381A1 (en) Triggering of database search in direct and relational modes
KR101789057B1 (ko) 시각 장애인을 위한 자동 오디오 북 시스템 및 그 운영 방법
CN104078035A (zh) 一种演奏乐曲的方法及装置
US20080091643A1 (en) Audio Tagging, Browsing and Searching Stored Content Files
JP5742378B2 (ja) 情報処理装置、プレイリスト生成方法及びプレイリスト生成プログラム
CN112906369A (zh) 一种歌词文件生成方法及装置
KR20150088564A (ko) 음성인식에 기반한 애니메이션 재생이 가능한 전자책 단말기 및 그 방법
CN104572712A (zh) 浏览多媒体文件的系统及方法
US8201074B2 (en) Talking paper authoring tools
CN202042171U (zh) 多功能电子琴谱
CN110109730A (zh) 用于提供视听反馈的设备、方法和图形用户界面
CN100418095C (zh) 音词同步的播放系统及其方法
CN102339535A (zh) 课文学习系统及其方法
Chen et al. AudioBrowser: a mobile browsable information access for the visually impaired
CN1469294B (zh) 印刷用户介面系统及其应用

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111123