CN106062870A

CN106062870A - 数字设备及其语音文字变换处理方法

Info

Publication number: CN106062870A
Application number: CN201580011086.0A
Authority: CN
Inventors: 许承炫; 金箕南; 金智洙; 宋亨
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2014-02-27
Filing date: 2015-02-05
Publication date: 2016-10-26
Anticipated expiration: 2035-02-05
Also published as: KR101579467B1; CN106062870B; US20160357987A1; US20160364897A1; KR101632221B1; EP3113179A1; EP3761308A1; KR20150101909A; KR20150101908A; EP3113179B1; US10235791B2; EP3113179A4; US10204439B2

Abstract

本说明书中公开了数字设备及其语音文字变换处理方法。其中，本发明的数字设备及其语音文字变换处理方法，其可包括：激活文本输入域(text input field)的步骤；检查文本输入域的属性(attribute)的步骤；接收关于文本输入域中要输入的数据的语音文字变换STT处理的请求的步骤；判断文本输入域的属性类型是否为安全属性(sensitive attribute)的步骤；根据判断结果，当文本输入域的属性类型为安全属性时，切断语音文字变换处理的步骤。

Description

数字设备及其语音文字变换处理方法

技术领域

本发明涉及数字设备，更详细而言涉及一种能够执行语音文字变换(Speech-to-Text：STT)功能的数字设备及其语音文字变换处理方法。

背景技术

紧随着诸如个人计算机(Personal Computer，PC)、电视(Television，TV)的固定设备(standing device)，智能手机(smart phone)、掌上PC(Tablet PC)等移动设备(mobile device)的发展尤为瞩目。

固定设备和移动设备原先相互被区分开来并在各自领域中发展，而最近随着数字融合(digital convergence)的繁荣，两者之间的领域界限日趋变得模糊。

并且，随着这样的数字设备的发展以及环境的变化，用户的眼光也逐渐变高，不断提出针对多样且高配置的服务(services)或应用程序(applications)支持的诉求。

发明内容

发明所要解决的问题

本发明为了解决如上所述的状况以及问题而提出，本发明的一目的在于，在搭载有网络操作系统(web OS)平台的数字设备中，对语音文字变换(Speech-to-Text：STT)服务进行支持、处理等。

本发明的另一目的在于，如果文本输入域的属性类型为安全属性，则切断语音文字变换STT处理，从而提供防止用户的重要信息向外部泄漏的便利性。

本发明的又一目的在于，提供能够简便地添加或变更文本输入域的安全属性的编辑服务。

本发明的目的并不限定于以上提及到的目的，本领域的技术人员能够通过以下的记载明确理解未被提及到的其他目的。

解决问题的技术方案

本说明书中揭示有关于数字设备及所述数字设备中的处理方法的多种实施例。

本发明的一实施例的数字设备的语音文字变换处理方法，其可包括：激活文本输入域(text input field)的步骤；检查文本输入域的属性(attribute)的步骤；接收关于文本输入域中要输入的数据的语音文字变换STT处理的请求的步骤；判断文本输入域的属性类型是否为安全属性(sensitive attribute)的步骤；根据判断结果，当文本输入域的属性类型为安全属性时，切断语音文字变换处理的步骤。

其中，判断文本输入域的属性类型是否为安全属性的步骤可包括：根据判断结果，当文本输入域的属性类型不是安全属性时，根据语音文字变换处理请求接收外部的语音信号的步骤；将与接收的语音信号对应的语音数据传送给外部服务器的步骤；从外部服务器接收与语音数据对应的变换文本的步骤；将接收的变换文本显示在相应的文本输入域的步骤。

根据情况，判断文本输入域的属性类型是否为安全属性的步骤可包括：当文本输入域的属性类型不是安全属性时，根据语音文字变换处理请求接收外部的语音信号的步骤；将与接收的语音信号对应的语音数据变换为文本的步骤；将变换的文本显示在相应的文本输入域的步骤。

本发明的一实施例的数字设备，其可包括：显示部，在文本输入域(text inputfield)内显示被语音文字变换处理的变换文本；IME(InputMethod Editor)处理部，检查文本输入域的属性(attribute)，当接收关于在文本输入域中要输入的数据的语音文字变换处理的请求时，如果文本输入域的属性类型为安全属性，则切断语音文字变换处理，如果文本输入域的属性类型不是安全属性，则控制显示部显示被语音文字变换处理的变换文本；语音文字变换处理部，根据IME处理部的控制信号，接收外部的语音信号，将与接收的语音信号对应的语音数据的变换文本传送给IME处理部。

本发明能够得到的技术解决方案并不限定于以上提及到的解决方案，本领域的技术人员能够从以下记载明确理解未被提及到的其他解决方案。

发明效果

根据本发明的一实施例，在搭载有网络OS平台的数字设备中，能够对语音文字变换(Speech-to-Text：STT)服务进行支持、处理等。

此外，根据本发明的一实施例，如果文本输入域的属性类型为安全属性，则切断语音文字变换STT处理，从而提供防止用户的重要信息向外部泄漏的便利性。

并且，根据本发明的一实施例，提供能够简便地添加或变更文本输入域的安全属性的编辑服务。

本发明能够得到的效果并不限定于以上提及到的效果，本领域的技术人员能够从以下记载明确理解未被提及到的其他效果。

附图说明

图1是为了概略说明包括本发明的一实施例的数字设备的服务系统而示出的图。

图2是为了说明本发明的一实施例的数字设备而示出的结构框图。

图3是为了说明本发明的另一实施例的数字设备而示出的结构框图。

图4是为了说明本发明的又一实施例的数字设备而示出的结构框图。

图5是为了说明本发明的一实施例的图2至图4的控制部的详细结构而示出的结构框图。

图6是示出与本发明的一实施例的图2至图4的数字设备相连接的输入构件的图。

图7是为了说明本发明的一实施例的Web OS架构而示出的图。

图8是为了说明本发明的一实施例的Web OS设备的架构而示出的图。

图9是为了说明本发明的一实施例的Web OS设备中图形组合流程而示出的图。

图10是为了说明本发明的一实施例的媒体服务器而示出的图。

图11是为了说明本发明的一实施例的媒体服务器的结构框图而示出的图。

图12是为了说明本发明的一实施例的媒体服务器和TV服务的关系而示出的图。

图13是示出处理语音文字变换STT的数字设备的结构框图。

图14至图19是示出本发明一实施例的STT处理方法的流程图。

图20a至图20d是示出本发明一实施例的STT处理方法的画面结构的图。

具体实施方式

以下，参照附图对本发明的数字设备及其语音文字变换处理方法的多种实施例进行详细的说明。

本说明书中使用的针对结构元件的接尾词“模块”及“部”仅是考虑到便于说明书的撰写而被赋予，两者可根据需要而混用。并且，在如“第一..”、“第二..”等以序数记载的情况下，与其说是表示顺序，其仅是为了相应术语的说明上的便利，而并不限定于这样的术语或序数。

并且，本说明书中使用的术语也考虑到基于本发明的技术思想的功能而尽可能选择了当前广泛使用的通常术语，但是，其可根据本领域的技术人员的意图、惯例或新技术的出现等而不同。只是，在特定的情况下，也会有申请人任意选定的术语，但是对此将会在相关说明部分中记载其含义。因此，在此需要明确的是，相应术语不能仅以其名称来进行解释，而是基于其所具有的实质含义和在本说明书的全体范围内记载的内容来加以解释。

另外，本说明书和/或附图中描述的内容仅为本发明的优选的一实施例，本发明并不限定于此，其权利范围应当由权利要求书进行定义。

以下，本说明书中描述的数字设备(digital device)包括例如对数据(data)、内容(content)、服务(service)、应用程序(application)等执行发送、接收、处理及输出中的一种以上的所有设备。所述数字设备可通过有线/无线网络(wire/wireless network)与其他数字设备、外部服务器(external server)等进行配对或连接(pairing or connecting)(以下称为“配对”)，并由此能够发送/接收规定数据。此时，根据需要，所述数据在其发送/接收之前适当地进行变换(converting)。所述数字设备中可包括例如网络TV(NetworkTV)、混合式宽频网络TV(Hybrid Broadcast Broadband TV，HBBTV)、智能TV(Smart TV)、网络TV(Internet Protocol TV，IPTV)、个人计算机(Personal Computer，PC)等固定型设备(standing device)和诸如个人数字助理(Personal Digital Assistant，PDA)、智能手机(Smart Phone)、掌上PC(Tablet PC)、笔记本(Notebook)等移动设备(mobile device orhandheld device)。在本说明书中，为了有助于对本发明的理解，并方便申请人进行说明，在后述的图2中以数字TV(Digital TV)、在图3中以移动设备作为数字设备的一实施例进行图示并说明。并且，本说明书中描述的数字设备可以是仅具有面板(panel)的结构，也可以是与诸如机顶盒(STB：Set-TopBox)等结构、设备、系统等构成一套(SET)结构。

另外，本说明书中描述的有线/无线网络是指，在数字设备之间或数字设备和外部服务器之间为了进行配对和/或数据收发而支持多种通信规范或协议的通信网络的统称。这样的有线/无线网络包含所有的基于规范而在当前或以后要支持的通信网络，并可支持所有的为其的一个或以上的通信协议。这样的有线/无线网络可由例如通用串行总线(Universal Serial Bus，USB)、复合视频(Composite Video Banking Sync，CVBS)、组件(Component)、S-视频(模拟)、数字显示接口(Digital Visual Interface，DVI)、高清多媒体接口(High Definition Multimedia Interface，HDMI)、RGB、D-SUB的用于有线连接的网络和为其的通信规范或协议，以及诸如蓝牙(Bluetooth)、无线射频识别(Radio FrequencyIdentification，RFID)、红外线通信(IrDA：infrared Data Association)、超宽带(UltraWideband，UWB)、无线个域网(ZigBee)、数字生活网络联盟(Digital Living NetworkAlliance，DLNA)、无线局域网(Wireless LAN，WLAN)(Wi-Fi)、无线宽带(Wirelessbroadband，Wibro)，全球微波接入互操作性(World Interoperability for MicrowaveAccess，Wimax)、高速下行链路分组接入(High Speed Downlink Packet Access，HSDPA)、长期演进/长期演进-先进(Long Term Evolution/LTE-Advanced，LTE/LTE-A)、Wi-Fi直连(direct)的用于无线连接的网络和为其的通信规范或协议来形成。

除此之外，在本说明书中，如果仅命名为数字设备，其含义根据上下文可表示固定型设备或移动设备，如果未另行地提及，则可以包含两者的含义来使用。

另外，数字设备是例如支持广播接收功能、计算机功能或支持、至少一个外部输入等的智能型设备，通过上述的有线/无线网络可支持电子邮件(e-mail)、网络浏览器(webbrowsing)、网上银行(banking)、游戏(game)、应用程序(application)等。同时，所述数字设备可设置有用于支持手写方式的输入设备、触摸屏(touch-screen)、空间遥控器等至少一个输入或控制构件(以下称为“输入构件”)的接口(interface)。

除此之外，数字设备可利用标准化的通用OS(Operating System)，但是，本说明书中描述的数字设备以利用Web OS为其一实施例。因此，数字设备可在通用的OS内核(OSkernel)或LINUX内核(Linux kernel)上实现对多种服务或应用程序进行添加(adding)、删除(deleting)、修改(amending)、更新(updating)等处理，通过这样的操作，能够构建并提供更加人性化(user-friendly)的环境。

另外，上述的数字设备可接收外部输入并进行处理，此时，所述外部输入包括外部输入设备，即，通过有线/无线网络与上述的数字设备相连接，发送/接收数据并可进行处理的所有输入构件或数字设备。例如，作为所述外部输入包括：HDMI(High-DefinitionMultimedia Interface)、诸如游戏站(playstation)或X-Box等游戏设备(game device)、智能手机、掌上PC、诸如口袋打印机(pocket photo)等打印机(printing device)、智能TV、蓝光(Blu-ray device)设备等数字设备。

除此之外，本说明书中描述的服务器是指，向上述的数字设备即客户端(client)提供数据或从中接收数据的数字设备或系统，又称为处理器(processor)。作为所述服务器例如可包括：提供网页(web page)、网络内容或网络服务(web content or web service)的门户服务器(portal server)、提供广告数据(advertising data)的广告服务器(advertising server)、提供内容的内容服务器(content server)、提供社交网络服务(Social Network Service，SNS)的SNS服务器、由制造商(manufacturer)提供的服务服务器(service server)、用于提供视频点播(Video on Demand，VoD)或流媒体(streaming)服务的多频道视频内容传输商(Multichannel Video Programming Distributor，MVPD)、提供付费服务(pay service)等的服务服务器等。

并且，在以下本说明书中，为了说明上的便利而仅描述为应用程序的情况下，其含义也基于上下文等可以是包含应用程序和服务的含义。

以下，参照附图对本发明进行更详细的说明。

图1是为了概略说明包括本发明的一实施例的数字设备的服务系统(servicesystem)而示出的图。

参照图1，服务系统包括：内容提供商10(content provider)、服务提供商20(service provider)、网络提供商30(network provider)以及家庭网络端用户40(HomeNetwork End User，HNED)(Customer)。其中，HNED 40例如包括客户端100即本发明的数字设备。

内容提供商10制作并提供各种内容。如图1所示，作为这样的内容提供商10可例示出地面波广播发送方、有线广播运营商(cable SO(System Operator))或多系统运营商(Multiple SO，MSO)、卫星广播发送方、多种互联网广播发送方、个人内容提供商等。另外，内容提供商10除了广播内容以外，可还制作并提供多种服务或应用程序等。

服务提供商20将内容提供商10制作的内容进行服务封装化(servicepacketizing)并提供给HNED 40。例如，服务提供商20将利用第一地面波广播、第二地面波广播、有线MSO、卫星广播、多种互联网广播、应用程序等来制作的内容中的一个以上进行服务封装化，并将其提供给HNED 40。

服务提供商20以单播(uni-cast)或多播(multi-cast)方式将服务提供给客户端100。另外，服务提供商20可将数据一次性地传送给预先注册的多个客户端100，为此，可利用互联网组管理协议(Internet Group Management Protocol，IGMP)等。

上述的内容提供商10和服务提供商20可以是同一实体(entity)。例如，可将内容提供商10制作的内容进行服务封装化并提供给HNED 40，从而一同执行服务提供商20的功能，或者可以是与其相反。

网络提供商30提供用于内容提供商10和/或服务提供商20与客户端100之间的数据交换的网络。

客户端100是属于HNED 40的消费者，其通过网络提供商30例如构建家庭网络(home network)并接收数据，可发送/接收关于VoD、流媒体等多种服务或应用程序等的数据。

另外，为了保护所传送的内容，服务系统内的内容提供商10和/或服务提供商20可利用限制接收(conditional access)或内容保护(content protection)构件。由此，客户端100可与所述限制接收或内容保护对应地利用有线卡(CableCARD)(或POD：Point ofDeployment，配置点技术)、可下载DAS(Downloadable CAS，DCAS)等处理构件。

除此之外，客户端100也可通过网络使用双向服务。因此，客户端100可反而执行内容提供商的作用或功能，服务提供商20可将其接收并再传送给其他客户端等。

图1中的内容提供商10和/或服务提供商20可以是在本说明书中提供后述的服务的服务器。在此情况下，所述服务器根据需要可以是还持有或包括网络提供商30的含义。以下，即便未特别地提及，服务或服务数据除了从前述的外部接收的服务或应用程序以外，还包括内部服务或应用程序，这样的服务或应用程序可表示用于基于Web OS的客户端100的服务或应用程序数据。

以下，在本说明书中描述的数字设备相当于前述的图1的客户端100。

数字设备200包括：网络接口部201(network interface)、TCP/IP管理器202(TCP/IP manager)、服务传送管理器203(service delivery manager)、SI解码器204、解多工器205(demux or demultiplexer)、音频解码器206(audio decoder)、视频解码器207(videodecoder)、显示部208(display A/V and OSD module)、服务控制管理器209(servicecontrol manager)、服务探索管理器210(service discovery manager)、SI&元数据数据库211(SI&metadata DB)、元数据管理器212(metadata manager)、服务管理器213、UI管理器214。

网络接口部201通过访问(access)的网络来发送/接收IP数据包(InternetProtocol(IP)packet(s))或IP数据报(IP datagram(s))(以下称为IP数据包)。作为一例，网络接口部201可通过网络从图1的服务提供商20接收服务、应用程序、内容等。

TCP/IP管理器202参与关于数字设备200中接收的IP数据包和数字设备200传送的IP数据包，即，源(source)和目的地(destination)之间的数据包传送(packet delivery)。所述TCP/IP管理器202将接收的数据包以与适当的协议对应的方式进行分类，并将所述被分类的数据包输出给服务传送管理器205、服务探索管理器210、服务控制管理器209、元数据管理器212等。

服务传送管理器203负责对接收的服务数据进行控制。例如，在控制实时流媒体(real-time streaming)数据的情况下，服务传送管理器203可使用RTP/RTCP。在使用RTP来传送所述实时流媒体数据的情况下，服务传送管理器203按照RTP将所述接收的数据数据包进行解析(parsing)并传送给解多工器205，或者根据服务管理器213的控制而存储在SI&元数据数据库211。此外，服务传送管理器203利用RTCP将所述网络接收信息反馈(feedback)给用于提供服务的服务器方。

解多工器205将接收的数据包多路分解(demultiplexing)为音频、视频、系统信息(System Information，SI)数据等，并分别传送给音频/视频解码器206、207、SI解码器204。

SI解码器204对被多路分解的SI数据即，节目专用信息(Program SpecificInformation，PSI)、节目及系统信息协议(Program and System Information Protocol，PSIP)、数字视频广播-服务信息(Digital Video Broadcasting-Service Information，DVB-SI)、数字电视地面波多媒体广播/编码移动多媒体广播(Digital TelevisionTerrestrial Multimedia Broadcasting/Coding Mobile Multimedia Broadcasting，DTMB/CMMB)等服务信息进行解码。并且，SI解码器204可将被解码的服务信息存储在SI&元数据数据库211。存储的服务信息可例如由用户的请求等被相应结构读取并利用。

音频/视频解码器206、207对被多路分解的各音频数据和视频数据进行解码。这样被解码的音频数据和视频数据通过显示部208提供给用户。

应用程序管理器例如可包括UI管理器214和服务管理器213，并执行数字设备200的控制部功能。换言之，应用程序管理器可管理数字设备200的整体上的状态，提供用户接口(UI：user interface)并管理其他管理器。

UI管理器214利用屏幕显示(On Screen Display，OSD)等来提供用于用户的图形用户界面(Graphic User Interface，GUI)/UI，接收用户的键输入并执行基于所述输入的设备动作。例如，当从用户接收关于频道选择的键输入时，UI管理器214将所述键输入信号传送给服务管理器213。

服务管理器213控制服务传送管理器203、服务探索管理器210、服务控制管理器209、元数据管理器212等与服务相关联的管理器。

并且，服务管理器213生成频道图(channel map)，根据从UI管理器214接收的键输入，利用所述生成的频道图来控制频道选择等。所述服务管理器213接收从SI解码器204传送的服务信息，将所选择的频道的音频/视频数据包标识符(Packet Identifier，PID)设定于解多工器205。由此设定的PID可利用于上述的多路分解过程。由此，解多工器205利用所述PID来过滤(PID or section filtering)音频数据、视频数据及SI数据。

服务探索管理器210提供选择用于提供服务的服务提供商所需的信息。当从所述服务管理器213接收关于频道选择的信号时，服务探索管理器210利用所述信息来寻找服务。

服务控制管理器209负责服务的选择和控制。例如，在用户选择如既有的广播方式的直播(live broadcasting)服务的情况下，服务控制管理器209使用IGMP或RTSP等，在选择如VOD的服务的情况下，使用RTSP来执行服务的选择、控制。所述RTSP协议可对实时流媒体提供窍门模式(trick mode)。并且，服务控制管理器209可利用IP多媒体子系统(IPMultimedia Subsystem，IMS)、会话初始化协议(Session Initiation Protocol，SIP)来对通过IMS网关250的会话进行初始化并管理。所述协议仅为一实施例，根据实施例可使用其他协议。

元数据管理器212管理与服务相关联的元数据，将所述元数据存储在SI&元数据数据库211。

SI&元数据数据库211存储SI解码器204解码的服务信息、元数据管理器212管理的元数据以及选择服务探索管理器210所提供的服务提供商所需的信息。并且，SI&元数据数据库211可存储关于系统的设定(set-up)数据等。

SI&元数据数据库211可使用非易失性存储器(Non-Volatile RAM：NVRAM)或闪电存储器(flash memory)等来实现。

另外，IMS网关250是为了访问基于IMS的IPTV服务而将所需的功能汇集的网关(gateway)。

如果前述的图2是将固定设备作为数字设备的一实施例进行了说明，图3是则将移动设备作为数字设备的另一实施例。

参照图3，移动设备300可包括：无线通信部310、A/V(Audio/Video)输入部320、用户输入部330、检测部340、输出部350、存储器360、接口部370、控制部380以及供电部390等。

以下，对各结构元件进行详细的说明。

无线通信部310可包括能够实现移动设备300与无线通信系统之间或移动设备与移动设备所处的网络之间的无线通信的一个或其以上的模块。例如，无线通信部310可包括：广播接收模块311、移动通信模块312、无线网络模块313、近距离通信模块314以及位置信息模块315等。

广播接收模块311通过广播频道从外部的广播管理服务器接收广播信号和/或广播相关的信息。其中，广播频道可包含卫星频道、地面波频道。所述广播管理服务器可表示生成广播信号和/或广播相关信息并发送的服务器，或是接收预先生成的广播信号和/或广播相关信息并发送给终端的服务器。所述广播信号除了包含TV广播信号、电台广播信号、数据广播信号以外，可还包含TV广播信号或电台广播信号中结合数据广播信号的形态的广播信号。

广播相关信息可表示与广播频道、广播节目或广播服务提供商相关的信息。所述广播相关信息也可通过移动通信网提供。在此情况下，其可由所述移动通信模块312接收。

广播相关信息可以多种形态，例如以电子节目指南(Electronic Program Guide，EPG)或电子服务指南(Electronic Service Guide，ESG)等形态存在。

广播接收模块311例如可利用ATSC、DVB-地面波(Digital Video Broadcasting-Terrestrial，DVB-T)、DVB-S(Satellite：卫星)、媒体前向链路(Media Forward LinkOnly，MediaFLO)、DVB-H(Handheld：手持)、集成服务数字广播-地面波(IntegratedServices Digital Broadcast-Terrestrial，ISDB-T)等数字广播系统来接收数字广播信号。当然，广播接收模块311除了上述的数字广播系统以外，可还适合于其他广播系统。

通过广播接收模块311接收的广播信号和/或广播相关信息可存储在存储器360。

移动通信模块312在移动通信网上与基站、外部终端、服务器中的至少一种进行无线信号收发。无线信号可包含与语音信号、视频通话信号或文字/多媒体消息收发对应的多种形态的数据。

无线网络模块313可包括用于无线互联网连接的模块，并内置或外置于移动设备300。作为无线互联网技术可利用WLAN(Wireless LAN)(Wi-Fi)、Wibro(Wirelessbroadband)、Wimax(World Interoperability for Microwave Access)、HSDPA(HighSpeed Downlink Packet Access)等。

近距离通信模块314是指用于近距离通信的模块。作为近距离通信(short rangecommunication)技术可利用蓝牙(Bluetooth)、RFID(Radio Frequency Identification)、红外线通信(IrDA，infrared Data Association)、UWB(Ultra Wideband)、ZigBee、RS-232、RS-485等。

位置信息模块315是用于获取移动设备300的位置信息的模块，其举例可以为全球定位系统(Global Position System，GPS)模块。

A/V输入部320是用于输入音频和/或视频信号，其中可包括照相机321和话筒322等。照相机321对在视频通话模式或拍摄模式下利用图像传感器得到的静态影像或动态影像等视频帧进行处理。被处理的视频帧可显示在显示部351。

照相机321中被处理的视频帧可存储在存储器360，或是通过无线通信部310向外部传送。照相机321根据使用环境可设置有两个以上。

话筒322在通话模式或录音模式、语音识别模式等中，利用麦克风(Microphone)输入外部的音响信号并将其处理为电性语音数据。在通话模式的情况下，被处理的语音数据可通过移动通信模块312以可向移动通信基站发送的形态进行变换并输出。在话筒322中可实现有多种去噪音算法，用于去除在输入外部的音响信号的过程中发生的噪音(noise)。

用户输入部330产生供用户控制终端的动作的输入数据。用户输入部330可由键区(key pad)、圆顶开关(dome switch)、触摸板(电容式/电压式)、飞梭转盘(jog wheel)、轻摇开关(jog switch)等构成。

检测部340检测诸如移动设备300的开闭状态、移动设备300的位置、用户接触与否、移动设备的方位、移动设备的加速/减速等的移动设备300的当前状态，产生用于控制移动设备300的动作的检测信号。例如，在移动设备300移动或倾斜的情况下，可检测移动设备的位置或斜率等。并且，可还检测供电部390的供电与否、接口部370的外部设备结合与否等。另外，检测部340可包括具有近场通信(Near Field Communication，NFC)等的近距离传感器341。

输出部350是用于产生与视觉、听觉或触觉等相关的输出，其可包括：显示部351、音响输出模块352、警报部353以及触觉模块354等。

显示部351显示(输出)移动设备300中被处理的信息。例如，在移动设备处于通话模式的情况下，显示与通话相关的UI或GUI。在移动设备300处于视频通话模式或拍摄模式的情况下，显示所拍摄和/或接收的影像或UI、GUI。

显示部351可包括液晶显示器(liquid crystal display，LCD)、薄膜晶体管液晶显示器(thin film transistor-liquid crystal display，TFT LCD)、有机发光二极管(organic light-emitting diode，OLED)、柔性显示器(flexible display)、3D显示器中的至少一种。

在这其中，一部分显示器可由透明型或光透射型构成，使得通过其能够看到外部。这可以称之为透明显示器，作为所述透明显示器的代表性的例有透明OLED(TransparantOLED，TOLED)等。显示部351的后方结构也可由光透射型结构构成。利用这样的结构，用户可通过终端主体的显示部351所占据的区域看到位于终端主体(body)的后方的物体。

根据移动设备300的实施形态，显示部351可存在有两个以上。例如，在移动设备300中，多个显示部可在一个面上彼此分开或一体地配置，并且也可分别配置在相互不同的面上。

在显示部351和用于检测触摸动作的传感器(以下称为“触摸传感器”)构成相互层结构的情况(以下，称为“触摸屏”)下，显示部351除了输出设备以外，可还作为输入设备来使用。触摸传感器可例如具有触摸薄膜、触摸片、触摸板等形态。

触摸传感器可将施加于显示部351的特定部位的压力或显示部351的特定部位上发生的静电容量等的变化变换为电性输入信号。触摸传感器除了被触摸的位置及面积以外，可还检测被触摸时的压力。

在发生针对触摸传感器的触摸输入的情况下，与之对应的信号传送给触摸控制器。触摸控制器对该信号进行处理后，将对应的数据传送给控制部380。由此，控制部380能够确认显示部351的哪个区域被触摸等。

在被触摸屏包覆的移动设备的内部区域或所述触摸屏的附近可配置有近距离传感器341。所述接近传感器是指利用电磁场的力或红外线，以无机械接触的方式检测向规定的检测面接近的物体或附近存在物体与否的传感器。接近传感器与接触式传感器相比，其寿命较长且其应用也较宽。

作为所述接近传感器的例有：透射型光电传感器、直接反射型光电传感器、镜反射型光电传感器、谐波振荡型接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等。在所述触摸屏为电容式的情况下，利用与所述指示器的接近对应的电场的变化来检测出所述指示器接近。在此情况下，所述触摸屏(触摸传感器)可被分类为接近传感器。

以下，为了说明上的便利，将在所述触摸屏上指示器以不接触的方式接近并被识别为所述指示器位于所述触摸屏上的行为称为“接近触摸(proximity touch)”，将指示器实际接触于所述触摸屏上的行为称为“接触触摸(contact touch)”。在所述触摸屏上利用指示器接近触摸的位置是指，在所述指示器进行接近触摸时，所述指示器对于所述触摸屏垂直地对应的位置。

所述接近传感器检测接近触摸和接近触摸图案(例如，接近触摸距离、接近触摸方向、接近触摸速度、接近触摸时间、接近触摸位置、接近触摸移动状态等)。与所述检测出的接近触摸动作及接近触摸图案相应的信息可输出在触摸屏上。

音响输出模块352可输出在呼叫信号接收、通话模式或录音模式、语音识别模式、广播接收模式等中从无线通信部310接收或存储器360中存储的音频数据。音响输出模块352可输出与移动设备300中执行的功能(例如，呼叫信号接收音、消息接收音等)相关的音响信号。这样的音响输出模块352中可包括接收器(receiver)、扬声器(speaker)、蜂鸣器(buzzer)等。

警报部353输出用于提示移动设备300的事件发生的信号。作为移动设备中发生的事件的例有：呼叫信号接收、消息接收、键信号输入、触摸输入等。警报部353除了视频信号或音频信号以外，可还输出其他形态，例如以振动方式提示事件发生的信号。所述视频信号或音频信号也可通过显示部351或音响输出模块352输出，因此，他们351、352可被分类为警报部353的一部分。

触觉模块354(haptic module)产生用户能感受到的多种触觉效果。触觉模块354所产生的触觉效果的代表性的例有震动。触觉模块354所产生的震动的强度和模式等可进行控制。例如，可将相互不同的震动进行合成并输出，或者可依次地进行输出。触觉模块354除了震动以外，还可产生基于利用对接触皮肤面垂直运动的针排列、喷射口或吸入口的空气的喷射力或利用对皮肤表面的擦拭、电极(eletrode)的接触、静电力等的刺激的效果和基于利用可吸热或发热的元件的冷感/热感再现的效果等多种触觉效果。触觉模块354除了通过直接接触来传递触觉效果以外，还可使用户能够通过手指或手臂等的肌部感觉来感受到触觉效果。触觉模块354根据移动设备300的结构样式可设置有两个以上。

存储器360可存储用于控制部380的动作的程序，并可临时存储输入/输出的数据(例如，地址簿、消息、静态影像、动态影像等)。所述存储器360可存储与在所述触摸屏上触摸输入时所输出的多种模式的震动及音响相关的数据。

存储器360可包括闪电存储器式(flash memory type)、硬盘式(hard disktype)、多媒体卡微式(multimedia card micro type)、卡式存储器(例如SD或XD存储器等)、随机存取存储器(Random Access Memory，RAM)、静态随机存取存储器(Static RandomAccess Memory，SRAM)、随机只读存储器(Read-Only Memory，ROM)、电可擦写只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、可编程序只读存储器(Programmable Read-Only Memory，PROM)、磁存储器、磁盘、光盘中的至少一种类型的存储介质。移动设备300可与在互联网(internet)上执行所述存储器360的存储功能的网络存储(web storage)相关地进行动作。

接口部370起到与连接于移动设备300的所有外部设备的通路作用。接口部370可从外部设备接收数据，或是接收电源并传送给移动设备300内部的各结构元件，或是将移动设备300内部的数据传送给外部设备。例如，接口部370中可包括有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储器卡(memory card)端口、连接具有识别模块的设备的端口、音频I/O(Input/Output)端口、视频I/O端口、耳机端口等。

识别模块是存储有用于认证移动设备300的使用权限的各种信息的芯片，其可包括：用户认证模块(User Identify Module，UIM)、加入用户认证模块(SubscriberIdentify Module，SIM)、通用用户认证模块(Universal Subscriber Identity Module，USIM)等。具有识别模块的设备(以下称为“识别设备”)可以智能卡(smart card)形态进行制作。因此，识别设备可通过端口与终端200相连接。

接口部370在移动设备300与外部底座(cradle)相连接时，可成为将来自所述底座的电源提供给所述移动设备300的通路，或是成为将用户在所述底座中输入的各种指令信号传送给所述移动设备的通路。从底座输入的各种指令信号或所述电源也可作为用于确认移动设备正确地安装在所述底座的信号来进行动作。

控制部380通常控制移动设备300的整体上的动作。控制部380例如执行与语音通话、数据通信、视频通话等相关的控制及处理。控制部380可设置有用于多媒体播放的多媒体模块381。多媒体模块381可设置于控制部380内，也可与控制部380单独地设置。控制部380可执行图案识别(pattern recognition)处理，以能够将触摸屏上执行的笔记输入或画画输入分别识别为文字及图像。

供电部390根据控制部380的控制，被施加外部的电源、内部的电源并供给各结构元件的动作所需的电源。

在此说明的多种实施例例如可利用软件、硬件或其组合并在可由计算机或与其类似的设备读取的记录介质内实现。

根据硬件方面的实施，在此说明的实施例可利用专用集成电路(applicationspecific integrated circuits，ASICs)、数字信号处理器(digital signal processors，DSPs)、数字信号处理设备(digital signal processing devices，DSPDs)、可编程逻辑设备(programmable logic devices，PLDs)、现场可编程门阵列(field programmable gatearrays，FPGAs)处理器、控制器、微控制器(micro-controllers)、微处理器(microprocessors)、用于执行其他功能的电性单元(unit)中的至少一种来实现。在一部分的情况下，本说明书中说明的实施例可由控制部380自身来实现。

根据软件方面的实施，本说明书中说明的步骤及功能等实施例可由额外的软件模块来实现。软件模块各自可执行本说明书中说明的一个以上的功能及工作。可利用以适当的程序语言编写的软件应用程序来实现软件代码(software code)。其中，软件代码存储于存储器360，并可由控制部380来执行。

数字设备400的另一例可包括：广播接收部405、外部设备接口部435、存储部440、用户输入接口部450、控制部470、显示部480、音频输出部485、供电部490以及拍摄部(未图示)。其中，所述广播接收部405可包括至少一个调谐器410、解调部420及网络接口部430。只是，根据情况，所述广播接收部405可具有调谐器410和解调部420，但不包括网络接口部430，也可以是与其相反的情况。并且，虽未图示，所述广播接收部405可具有多工器(multiplexer)，从而对经由所述调谐器410并在解调部420中被解调的信号和经由所述网络接口部430接收的信号进行多路复用。此外，虽未图示，所述广播接收部405可还具有解多工器(demultiplexer)，从而对所述被多路复用的信号进行多路分解，或是对所述被解调的信号或经由所述网络接口部430的信号进行多路分解。

调谐器410对通过天线接收的RF(Radio Frequency)广播信号中由用户选择的频道或预先存储的所有频道进行调谐，从而接收RF广播信号。并且，调谐器410将接收的RF广播信号变换为中间频率(Intermediate Frequency；IF)信号或基带(baseband)信号。

例如，如果接收的RF广播信号为数字广播信号，则变换为数字IF信号DIF，如果为模拟广播信号，则变换为模拟基带影像或语音信号CVBS/SIF。即，调谐器410可对数字广播信号或模拟广播信号都进行处理。调谐器410中输出的模拟基带影像或语音信号CVBS/SIF可直接输入给控制部470。

并且，调谐器410可接收单载波(single carrier)或多载波(multiple carrier)的RF广播信号。另外，调谐器410可在通过天线接收的RF广播信号中，对通过频道记忆功能存储的所有广播频道的RF广播信号依次地进行调谐及接收，并将其变换为中间频率信号或基带信号(DIF：Digital Intermediate Frequency or baseband signal)。

解调部420接收调谐器410中被变换的数字IF信号DIF并进行解调，并能够执行频道解码等。为此，解调部420可具有格形解码器(Trellis Decoder)、解交织器(De-interleaver)、里德-所罗门解码器(Reed-Solomon Decoder)等，或具有卷积码解码器(convolution decoder)、解交织器及里德-所罗门解码器等。

解调部420在执行解调及频道解码后，可输出流信号TS。此时，流信号可以是影像信号、语音信号或数据信号进行多路复用的信号。作为一例，流信号可以是MPEG-2规范的影像信号、杜比(Dolby)AC-3规范的语音信号等进行多路复用的MPEG-2TS(TransportStream：传送流)。

从解调部420中输出的流信号可输入给控制部470。控制部470可控制多路分解、影像/语音信号处理等，通过显示部480控制影像、通过音频输出部485控制语音的输出。

外部设备接口部435提供数字设备300和多种外部设备之间的接口环境。为此，外部设备接口部335可包括：A/V输入/输出部(未图示)或无线通信部(未图示)。

外部设备接口部435可以有线/无线等方式与DVD(Digital Versatile Disk)、蓝光(Blu-ray)、游戏设备、照相机、摄录机(Camcorder)、计算机(笔记本)、掌上PC、智能手机、蓝牙设备(Bluetooth device)、云(Cloud)等外部设备相连接。外部设备接口部435将包含有通过所连接的外部设备输入的图像、影像、语音等数据传送给数字设备的控制部470。控制部470可控制将包含有被处理的图像、影像、语音等的数据信号输出给所连接的外部设备。为此，外部设备接口部435可还包括：A/V输入/输出部(未图示)或无线通信部(未图示)。

A/V输入/输出部可包括：USB端子、CVBS(Composite Video Banking Sync，复合视频信号)端子、组件端子、S-视频端子(模拟)、DVI(Digital Visual Interface，数字视频接口)端子、HDMI(High Definition Multimedia Interface，高清晰度多媒体接口)端子、RGB端子、D-SUB端子等，从而能够将外部设备的影像及语音信号输入给数字设备400。

无线通信部可与其他数字设备执行近距离无线通信。数字设备400例如可利用蓝牙(Bluetooth)、RFID(Radio Frequency Identification)、红外线通信(IrDA，infraredData Association)、UWB(Ultra Wideband)、无线个域网(ZigBee)、DLNA(Digital LivingNetwork Alliance)等通信协议与其他数字设备进行网络连接。

并且，外部设备接口部435可通过上述的各种端子中的至少一种与机顶盒STB相连接，从而与机顶盒STB执行输入/输出动作。

另外，外部设备接口部435可接收邻近的外部设备内的应用程序或应用程序目录(application list)，并将其传送给控制部470或存储部440。

网络接口部430提供用于将数字设备400与包括互联网的有线/无线网络相连接的接口。网络接口部430为了与有线网络相连接，例如可具有以太网(Ethernet)端子等，为了与无线网络相连接，例如可利用WLAN(Wireless LAN)(Wi-Fi)、Wibro(Wirelessbroadband)、Wimax(World Interoperability for Microwave Access)、HSDPA(HighSpeed Downlink Packet Access)通信规范等。

网络接口部430可通过连接的网络或与连接的网络链接(link)的其他网络，与其他用户或其他数字设备发送或接收数据。特别是，可向数字设备400中预先注册的其他用户或其他数字设备中所选择的用户或所选择的数字设备发送所述数字设备400中存储的一部分内容数据。

另外，网络接口部430可通过连接的网络或与连接的网络链接的其他网络来访问规定网页。即，可通过网络访问规定网页，并与相应服务器发送或接收数据。除此之外，可接收内容提供商或网络运营商提供的内容或数据。即，可通过网络接收从内容提供商或网络提供商提供的电影、广告、游戏、VOD、广播信号等内容及与之相关的信息。并且，可接收网络运营商提供的固件(firmware)的更新信息及更新文件。并且，可向互联网或内容提供商或网络运营商发送数据。

并且，网络接口部430可通过网络从开放(open)的应用程序中选择所需的应用程序并接收。

存储部440可存储用于控制部470内的各信号处理及控制的程序，也可存储被信号处理的影像、语音或数据信号。

并且，存储部440可执行用于从外部设备接口部435或网络接口部430输入的影像、语音或数据信号的临时存储的功能。存储部440可通过频道记忆功能存储与规定广播频道相关的信息。

存储部440可存储从外部设备接口部435或网络接口部330输入的应用程序或应用程序目录。

并且，存储部440可存储后述的多种平台(platform)。

存储部440例如可包括闪电存储器式(flash memory type)、硬盘式(hard disktype)、多媒体卡微式(multimedia card micro type)、卡式存储器(例如SD或XD存储器等)、RAM、ROM(EEPROM等)中的至少一种类型的存储介质。数字设备400可播放存储部440内存储的内容文件(动态影像文件、静态影像文件、音乐文件、文档文件、应用程序文件等)并提供给用户。

图4示出存储部440与控制部470相独立地设置的实施例，但是本发明并不限定于此。换言之，存储部440可包含在控制部470内。

用户输入接口部450将用户输入的信号传送给控制部470，或是将控制部470的信号传送给用户。

例如，用户输入接口部450可根据RF通信方式、红外线IR通信方式等多种通信方式，从远程控制设备500接收电源开启/关闭、频道选择、画面设定等控制信号并进行处理，或是将控制部470的控制信号发送给远程控制设备500。

并且，用户输入接口部450可将电源键、频道键、音量键、设定键等本地键(未图示)中输入的控制信号传送给控制部470。

用户输入接口部450可将从用于检测(sensing)用户的手势(gesture)的检测部(未图示)输入的控制信号传送给控制部470，或将控制部470的信号发送给检测部(未图示)。其中，检测部(未图示)可包括：触摸传感器、语音传感器、位置传感器、动作传感器等。

控制部470可对通过调谐器410、解调部420或外部设备接口部435输入的流进行多路分解或对被多路分解的信号进行处理，从而生成及输出用于影像或语音输出的信号。

控制部470中被处理的影像信号可输入给显示部480，并以与相应影像信号对应的影像进行显示。并且，控制部470中被影像处理的影像信号可通过外部设备接口部435输入给外部输出设备。

控制部470中被处理的语音信号可以音频方式向音频输出部485输出。并且，控制部470中被处理的语音信号可通过外部设备接口部435输入给外部输出设备。

虽未在图4中示出，控制部470可包括解多工器、影像处理部等。

控制部470可控制数字设备400的整体上的动作。例如，控制部470可控制调谐器410，以控制对与用户选择的频道或预先存储的频道相应的RF广播进行调谐(tuning)。

控制部470可利用通过用户输入接口部450输入的用户指令或内部程序来控制数字设备400。特别是，可连接网络并将用户所需的应用程序或应用程序目录下载到数字设备400内。

例如，控制部470控制调谐器410，以输入按照由用户输入接口部450接收的规定频道选择指令来选择的频道的信号。此外，对选择的频道的影像、语音或数据信号进行处理。控制部470使用户选择的频道信息等与被处理的影像或语音信号一同通过显示部480或音频输出部485输出。

作为另一例，控制部470可根据通过用户输入接口部450接收的外部设备影像播放指令，使通过外部设备接口部435输入的诸如照相机或摄录机的外部设备的影像信号或语音信号通过显示部480或音频输出部485输出。

另外，控制部470可控制显示部480显示影像。例如，可控制在显示部480显示通过调谐器410输入的广播影像、或是通过外部设备接口部435输入的外部输入影像、或是通过网络接口部输入的影像、或是存储部440中存储的影像。此时，显示部480中显示的影像可以是静态影像或动态影像，可以是2D影像或3D影像。

并且，控制部470可控制播放内容。此时的内容可以是数字设备400内存储的内容、或是接收的广播内容、从外部输入的外部输入内容。内容可以是广播影像、外部输入影像、音频文件、静态影像、访问的网络画面及文档文件中的至少一种。

另外，当进入应用程序浏览项目时，控制部470可控制显示数字设备300内或从外部网络可下载的应用程序或应用程序目录。

控制部470可控制与多种用户接口一同安装及驱动从外部网络下载的应用程序。并且，可利用用户的选择，控制将与运行的应用程序相关的影像显示在显示部480。

另外，虽未图示，可还设置有用于生成与频道信号或外部输入信号对应的缩略图像的频道浏览处理部。

频道浏览处理部可接收从解调部420输出的流信号TS或从外部设备接口部335输出的流信号等，从输入的流信号中提取影像并生成缩略影像。所生成的缩略影像可直接或被编码并输入给控制部470。并且，所生成的缩略影像可被编码为流形态并输入给控制部470。控制部470可利用输入的缩略影像将具有多个缩略影像的缩略图列表显示在显示部480。另外，这样的缩略图列表内的缩略影像可依次地或同时进行更新。由此，用户能够简便地确认多个广播频道的内容。

显示部480将控制部470中被处理的影像信号、数据信号、OSD信号或从外部设备接口部435接收的影像信号、数据信号等分别变换为R、G、B信号并生成驱动信号。

显示部480可由PDP、LCD、OLED、柔性显示器(flexible display)、3D显示器(3Ddisplay)等构成。

另外，显示部480可由触摸屏构成，使得除了输出设备以外，可还作为输入设备来使用。

音频输出部485接收控制部470中被语音处理的信号，例如，接收立体声信号、3.1声道信号或5.1声道信号并以语音方式输出。语音输出部485可由多种形态的扬声器实现。

另外，为了检测用户的手势(gesture)，如上所述，在数字设备400可还设置有检测部(未图示)，其中具有触摸传感器、语音传感器、位置传感器、动作传感器中的至少一种。检测部(未图示)中检测出的信号可通过用户输入接口部450传送给控制部3470。

另外，可还设置有用于拍摄用户的拍摄部(未图示)。拍摄部(未图示)中拍摄的影像信息可输入给控制部470。

控制部470可通过拍摄部(未图示)中拍摄的影像或检测部(未图示)中检测出的信号的各个或其组合来检测用户的手势。

供电部490在数字设备400的整个范围内供给相应的电源。

特别是，可向能够以片上系统(System on Chip；SoC)的形态实现的控制部470、用于影像显示的显示部480以及用于音频输出的音频输出部485供给电源。

为此，供电部490可设置有用于将交流电源变换为直流电源的转换器(未图示)。另外，例如，在显示部480由设置有多个背光灯(backlight lamp)的液晶面板构成的情况下，为了进行亮度可变或调光(dimming)驱动，可还设置有可实现脉宽调制(Pulse WidthModulation，PWM)动作的逆变器(inverter)(未图示)。

远程控制设备500将用户输入发送给用户输入接口部450。为此，远程控制设备500可使用蓝牙(Bluetooth)、RF(Radio Frequency)通信、红外线IR通信、UWB(UltraWideband)、无线个域网(ZigBee)方式等。

并且，远程控制设备500接收从用户输入接口部450输出的影像、语音或数据信号等，将其在远程控制设备500进行显示或输出语音或震动。

上述的数字设备400可以是固定型或移动型的能够实现ATSC方式或DVB方式的数字广播信号的处理的数字广播接收器。

除此之外，本发明的数字设备在图示出的结构中，根据需要可省去一部分结构，或者相反地还包括未图示的结构。另外，数字设备可与上述不同地可不设置有调谐器和解调部，而是通过网络接口部或外部设备接口部接收内容并播放。

控制部的一例可包括：解多工器510、影像处理部520、OSD生成部540、混合器550(mixer)、帧率变换部(FRC：Frame Rate Converter)555以及格式化器560(formatter)。此外，虽未图示，所述控制部可还包括语音处理部和数据处理部。

解多工器510对输入的流(steam)进行多路分解。例如，解多工器510可将输入的流多路分解为MPEG-2TS影像、语音及数据信号。其中，解多工器510中输入的流信号可以是从调谐器或解调部或外部设备接口部输出的流信号。

影像处理部420对被多路分解的影像信号执行影像处理。为此，影像处理部420可设置有影像解码器425和定标器435(scaler)。

影像解码器425对被多路分解的影像信号进行解码，定标器435进行缩放(scaling)，以使在显示部中能够输出被解码的影像信号的分辨率。

影像解码器525可支持多种规范。例如，影像解码器525在影像信号被编码为MPEG-2规范的情况下，可执行MPEG-2解码器的功能，在影像信号以DMB(Digital MultimediaBroadcasting)方式或H.264规范被编码的情况下，可执行H.264解码器的功能。

另外，影像处理部520中被解码的影像信号输入给混合器450。

OSD生成部540根据用户输入或自身地生成OSD数据。例如，OSD生成部440基于用户输入接口部的控制信号生成数据，以在显示部380的画面以图形(Graphic)或文本(Text)形态显示各种数据。所生成的OSD数据包含数字设备的用户接口画面、多种菜单画面、桌面小程序(widget)、图标(icon)、收视率信息(viewing rate information)等多种数据。OSD生成部540可生成用于显示广播影像的字幕或基于EPG的广播信息的数据。

混合器550将OSD生成部540中生成的OSD数据和影像处理部中被影像处理的影像信号进行混合(mixing)，并提供给格式化器560。随着被解码的影像信号和OSD数据进行混合，在广播影像或外部输入影像上叠加(overlay)OSD并显示。

帧率变换部FRC 555对输入的影像的帧率(frame rate)进行变换。例如，帧率变换部555可根据显示部的输出频率，将输入的60Hz影像的帧率例如变换为具有120Hz或240Hz的帧率。如上所述，变换帧率的方法可以有多种。作为一例，在将帧率从60Hz变换为120Hz的情况下，帧率变换部555可在第一帧和第二帧之间插入相同的第一帧，或是插入从第一帧和第二帧预测出的第三帧来进行变换。作为另一例，在将帧率从60Hz变换为240Hz的情况下，帧率变换部555可在既有帧之间再插入三个相同的帧或预测出的帧来进行变换。另外，在不执行额外的帧变换的情况下，可迂回(bypass)帧率变换部555。

格式化器560将所输入的帧率变换部555的输出与显示部的输出格式对应地进行变更。例如，格式化器560可输出R、G、B数据信号，这样的R、G、B数据信号可以低电压差动信号(LVDS：Low voltage differential signal)或mini-LVDS方式输出。并且，在所输入的帧率变换部555的输出为3D影像信号的情况下，格式化器560可以与显示部的输出格式对应地构成为3D形态并输出，从而通过所述显示部支持3D服务。

另外，控制部内的语音处理部(未图示)可对被多路分解的语音信号执行语音处理。这样的语音处理部(未图示)可支持处理多种音频格式。作为一例，在语音信号被编码为MPEG-2、MPEG-4、AAC、HE-AAC、AC-3、BSAC等格式的情况下，可设置有与之对应的解码器并进行处理。

并且，控制部内的语音处理部(未图示)可处理低音(Base)、高音(Treble)、音量调节等。

控制部内的数据处理部(未图示)可对被多路分解的数据信号执行数据处理。例如，在被多路分解的数据信号被编码化的情况下，数据处理部也可对其进行解码。其中，被编码化的数据信号可以是包含有在各频道中放映的广播节目的开始时间、结束时间等广播信息的EPG信息。

另外，上述的数字设备作为本发明的例示，各结构元件可根据实际实施的数字设备的配置而被整合、添加或省略。即，根据需要，两个以上的结构元件可合成为一个结构元件，或是一个结构元件可细分为两个以上的结构元件。并且，各块中执行的功能仅是为了说明本发明的实施例，其具体的动作或设备并不限制本发明的权利范围。

另外，数字设备可以是对设备内存储的影像或输入的影像执行信号处理的影像信号处理设备。作为影像信号处理设备的另一例，可还例示出图4所示的显示部480和音频输出部485被除外的机顶盒STB、上述的DVD播放器、蓝光播放器、游戏设备、计算机等。

为了控制数字设备600，利用设置于所述数字设备600上的前面板(front panel)(未图示)或控制构件(输入构件)。

另外，控制构件是可进行有线、无线通信的用户接口设备(UID；User InterfaceDevice)，其包括主要以控制数字设备600的目的而实现的遥控器610、键盘630、指示设备620、触摸板(touch-pad)等，但是也可包括连接于所述数字设备600的外部输入专用的控制构件。除此之外，控制构件中也可包括虽然不是以控制数字设备600为目的，但是通过模式转换等来控制所述数字设备600的智能手机、掌上PC等。只是，本说明书中为了说明上的便利，以指示设备(pointing device)为一实施例进行说明，但是本发明并不限定于此。

输入构件可根据需要而采用蓝牙(Bluetooth)、RFID(Radio FrequencyIdentification)、红外线通信(IrDA，infrared Data Association)、UWB(UltraWideband)、无线个域网(ZigBee)、DLNA(Digital Living Network Alliance)、RS等通信协议中的一种以上，并可与数字设备进行通信。

遥控器610是指设置有为了控制数字设备600而所需的多种按键的通常的输入构件。

指示设备620中搭载有陀螺仪传感器(Gyro Sensor)等，基于用户的移动、压力、旋转等来在数字设备600的画面上实现对应的指示器(pointer)，从而向所述数字设备600传送规定控制指令。这样的指示设备620可命名为魔术遥控器、魔术控制器等多种名称。

随着数字设备600从既有的仅提供广播俨然作为智能型整合数字设备提供网页浏览器、应用程序、SNS(Social Network Service)等多种服务，仅利用现有的遥控器610不易进行控制，键盘630中对其进行了改进，以与PC的键盘类似的方式实现，从而方便进行文本等的输入。

另外，遥控器610、指示设备620、键盘630等控制构件可根据需要而设置有触摸板，以利用于文本输入、指示器移动、相片或动态影像的放大/缩小等更加方便且多种控制目的。

本说明书中说明的数字设备作为OS和/或平台(platform)利用Web OS。以下，基于Web OS的结构或算法等处理过程可在前述的数字设备的控制部等中执行。其中，所述控制部作为包含前述的图2至图5中的控制部的广义的概念来使用。因此，以下在数字设备内基于Web OS的或用于处理与其相关的服务、应用程序、内容等的结构中，将包含有相关软件(software)、固件(firmware)等的硬件或结构元件命名为控制部(controller)进行说明。

这样的基于Web OS的平台是例如基于Luna-服务总线(Luna-service Bus)来整合服务和应用程序等，从而提高开发独立性和功能扩展性，基于Web应用程序应用框架可提高应用程序应用开发生产效率。并且，通过Web OS处理和资源管理(resource management)来有效地应用系统资源(system resource)等，还可支持多任务(multi-tasking)。

另外，所述本说明书中描述的Web OS平台除了诸如PC、TV、机顶盒STB的固定设备以外，可还利用于手机、智能手机、掌上PC、笔记本、可穿戴设备(wearable device)等移动设备。

在用于数字设备的软件的结构中，既有采取问题解决和市场依赖的单片结构(monolithic structure)，其因基于多线程技术(multi-threading)的单进程(singleprocess)和封闭产品(closed product)导致在外部应用上存在困难，随后，通过指向应对全球化的基于新平台的开发并追求芯片-组(chip-set)更替所致的费用革新和UI应用及外部应用开发效率化来实现了分层及组件化(layering&componentization)，从而具有3分层结构和ad-on、单源(single source)产品、用于开放应用程序(open application)的ad-on结构。最近，进一步开展有针对软件结构的模块化设计，提供功能单位的模块化架构(modulating architecture)、用于回音-系统(echo-system)的Web开放API(Web Open API(Application Programming Interface))、用于游戏引擎(game engine)的原生开放API(Native Open API)等，由此生成为基于服务结构的多进程结构(multi-processstructure)。

图7是为了说明本发明的一实施例的Web OS架构而示出的图。

参照图7，对Web OS平台的架构进行说明。

所述平台大体上可区分为内核、基于系统程序库(system library)的Web OS内核平台(Web OS core platform)、应用程序、服务等。

在Web OS平台的架构中作为分层结构(layered structure)，最下层存在有OS，上一层存在有系统程序库(system libraries)，以及最上层存在有应用程序(applications)服务(services)。

首先，最下层的OS层包含LINUX内核(Linux Kernel)，作为所述数字设备的OS可包含LINUX。

在所述OS层的上层依次地存在有板级支持包(Board Support Package，BSP)/硬件抽象层(Hardware Abstraction Layer，HAL)层、Web OS内核模块层(Web OS coremodules layer)、服务层(service layer)、Luna-服务总线层(Luna-Service Bus layer)、Enyo框架/NDK(Native Developer's Kit)/QT层(Enyo framework/NDK/QT layer)以及最上层的应用程序层(Application layer)。

另外，上述的Web OS层结构中的一部分层可被省略，多个层可成为一个层，或是相反地一个层可成为多个层结构。

所述Web OS内核模块层可包括：用于管理表面视窗(surface window)等的LunaSurface管理器(Luna Surface Manager，LSM)、管理应用程序的运行和执行状态等的系统&应用程序管理器(System&Application Manage，SAM)、基于网络工具包(WebKit)管理网络应用程序等的网络应用程序管理器(Web Application Manager，WAM)等。

所述LSM管理画面上看到的应用程序视窗(application window)。所述LSM管理显示器硬件(Display HW)，提供可对应用程序所需的内容进行渲染(rendering)的缓存器(buffer)，可将多个应用程序渲染的结果进行合成(Composition)并在画面上输出。

所述SAM对系统和应用程序的按多种条件的执行策略(policy)进行管理。

另外，在WAM中，web OS可将网络应用程序(Web App)看作为基本应用程序，其推荐基于Enyo框架(Enyo Framework)的应用程序开发。

应用程序的服务的使用通过Luna-服务总线(Luna-service Bus)来实现，可将新的服务注册在总线，应用程序可找寻自己所需的服务并使用。

所述服务层可包含TV服务、Web OS服务等多种服务等级(service level)的服务。另外，所述Web OS服务中可包含媒体服务器、Node.JS等，特别是，其中Node.JS服务例如支持javascript。

Web OS服务为实现功能逻辑(function logic)的LINUX进程(Linux process)，可通过总线进行通信。其可大体上区分为四个部分，由从TV处理和既有TV NetCast迁移(Migration)到Web OS或作为制造商差别化服务的服务、Web OS共同服务和利用javascript开发并通过Node.js使用的Node.js服务。

所述应用程序层可包含TV应用程序、showcase应用程序、原生应用程序(nativeapplication)、Web应用程序等数字设备中可支持的所有应用程序。

Web OS上的应用程序根据实施方法可区分为：网络应用程序(Web Application)、PDK(Palm Development Kit)应用程序、QML(Qt Metaarkup Language or Qt ModelingLanguage)应用程序等。

所述网络应用程序基于WebKit引擎(WebKit engine)，并在WAM运行时间(Runtime)上执行。这样的网络应用程序可基于Enyo框架，或是基于通常HTML5、层叠样式表(Cascading Style Sheets，CSS)、javascript来开发并执行。

所述PDK应用程序包含基于为了第三方(3rd-Party)或外部开发者而提供的PDK来利用C/C++开发的原生应用程序等。所述PDK是指游戏等提供第三方可开发出原生应用程序(C/C++)的开发程序库及工具集。例如，PDK应用程序可利用于其性能重要的应用程序的开发。

所述QML应用程序为基于Qt的原生应用程序，其包含卡片视图(card view)、家庭仪表板(Home dashboard)、虚拟键盘(virtual keyboard)等与Web OS平台一同提供的基本应用程序等。其中，QML可以不利用C++，而是可利用stript形态的标记语言(mark-uplanguage)来开发应用程序，因此能够提高开发生产效率。

另外，上述的原生应用程序(Native)的含义是指，利用C/C++开发并编译(compile)，以二进制(binary)形态执行的应用程序，这样的原生应用程序的优点为其执行速度较快。

图8是基于Web OS设备的Runtime的框图，其可参照图7的分层结构来加以理解。

以下，参照图7和图8进行说明。

参照图8，系统OS(Linux)和系统程序库上包含有服务和应用程序及Web OS内核模块，他们之间的通信可通过Luna-服务总线实现。

除了电子邮件(e-mail)、联系方式(contact)、日历(calendar)等基于HTML5、CSS、javascript的Node.js服务、诸如日志(Logging)、备份(backup)、文件通知(file notify)、数据库DB、活动管理器(activity manager)、系统策略(system policy)、音频后台程序(AudioD：Audio Daemon)、更新(update)、媒体服务器(media server)等Web OS服务、EPG(Electronic Program Guide)、PVR(Personal Video Recorder)、数据广播(databroadcasting)等TV服务、语音识别(voice recognition)、Now on、通知(Notification)、搜索(search)、自动内容识别(Auto Content Recognition，ACR)、内容列表浏览器(Contents List Browser，CBOX)、wfdd、DMR、远程应用程序(Remote Application)、下载、SDPIF(Sony Philips Digital Interface Format)等CP服务、PDK应用程序、浏览器(browser)、QML应用程序等原生应用程序以外，基于Enyo框架的UI相关TV应用程序和Web应用程序可通过Luna-服务总线并通过诸如前述的SAM、WAM、LSM的Web OS内核模块来进行处理。另外，在以上所述中，TV应用程序和Web应用程序并非必须是基于Enyo框架或UI相关。

CBOX和连通性(connectivity)可对与连接于TV的USB、DLNA、云等的外部设备的内容相关的列表、目录、元数据等进行管理。另外，CBOX可将USB、DMS、DVR、云等多种内容容器(content containers)的内容列表以整合的视图(View)输出。并且，CBOX可显示出图片、音乐、视频等多种类型的内容列表，并对其元数据信息进行管理。除此之外，CBOX可实时(Real-time)输出所附属的存储装置(attached storage)的内容。例如，CBOX在即插有USB等存储设备时，需要能够立即输出相应存储设备的内容列表的目录。此时，可定义出为了处理所述内容列表而标准化的方式。并且，CBOX可容纳多种连接协议。

SAM是用于改善模块复杂度以及提高扩展性。例如，既有的系统管理器(SystemManager)在一个进程中处理系统UI、window管理、网络应用程序应用Runtime、UX上的制约条件处理等多种功能，因而其实现复杂度较大，为了解决这样的问题，其将主要功能进行分离并明确功能之间的接口，从而降低实现复杂度。

LSM支持卡片视图、启动器(launcher)等系统UX实现能够独立地开发整合，并支持容易应对产品要求事项变更。另外，LSM在合成app on app等多个应用程序多重应用画面的情况下，最大程度地应用硬件资源(HW resource)来能够实现多任务，可提供多视窗(multi-window)和用于21:9等的视窗管理机理(window management mechanism)。

LSM基于QML来支持系统UI的默认实现，提高其系统UI的开发生产效率。QML UX可基于MVC容易地对画面布局(Layout)及UI组件构成视图，并能够容易地开发出用于处理用户输入的代码。另外，QML和Web OS组件间的接口可通过QML扩展插件来实现，应用程序的图形操作(graphic operation)可基于wayland协议(wayland protocol)和Luna服务呼叫调用(luna-service call)等。

如前所述，LSM为Luna Surface Manager的缩略词，其起到应用程序视窗合成器(Application Window Compositor)的功能。

LSM将独立地开发的应用程序、UI组件等一同合成并在画面上输出。与此相关地，当Recents应用程序、showcase应用程序、启动器应用程序等组件(component)各自将自己的内容进行渲染(rendering)时，LSM作为合成器对输出区域和连动方法等进行定义。换言之，作为合成器的LSM管理图形合成、聚焦管理(focus management)、输入事件(inputevent)等。此时，LSM从输入管理器(input manager)接收事件、聚焦等，作为这样的所述输入管理器可包括IR远程控制器、魔术远程控制器、鼠标&键盘等HID、手柄、游戏板、应用程序遥控器、笔触摸等。

如上所述，LSM支持多视窗模型(multiple window model)，在系统UI特性上可在所有应用程序应用中同时执行。与此相关地，LSM可支持启动器、recents、设定(setting)、通知、系统键盘、音量UI、搜索、手指手势(finger gesture)、语音识别(VoiceRecognition)(语音转文本(Sound to Text，STT)、文本转语音(Text to Sound，TTS)、自然语言处理(Natural Language Processing，NLP)等)、图案手势(pattern gesture)(照相机、移动无线电控制单元(Mobile Radio Control Unit，MRCU))、即时选单(Live menu)、自动内容识别(Auto Content Recognition，ACR)等。

图9是为了说明本发明的一实施例的Web OS设备中图形组合流程(graphiccomposition flow)而示出的图。

参照图9，图形组合进程可通过负责UI进程的网络Web应用程序管理器910、负责网络处理的WebKit 920、LSM 930以及图形管理器940(GM：Graphic Manager)来实现。

当在网络Web应用程序管理器910中作为UI进程生成基于web网络应用程序的图形数据(或应用程序)时，如果所生成的图形数据不是全屏幕应用程序，则传送给LSM 940930。另外，Web网络应用程序管理器910为了在UI进程和Web进程之间用于图形管理的GPU(Graphic Processing Unit)存储器共享，接收WebKit 920中生成的应用程序，并如上所述，如果不是全屏幕应用程序，则传送给LSM 930。在上述，如果是全屏幕应用程序，则可迂回(bypass)LSM 930，在此情况下，可直接传送给图形管理器940。

LSM 930将接收的UI应用程序经由wayland表面(surface)传送给wayland合成器(Wayland Compositor)，在wayland合成器中对其进行适当的处理并传送给图形管理器。这样从LSM 930传送的图形数据例如经由图形管理器940的LSM GM表面传送给图形管理器合成器。

另外，如前所述，全屏幕应用程序不经由LSM 930而直接传送给图形管理器940，这样的应用程序经由WAM GM表面并在图形管理器合成器中被处理。

图形管理器对Web OS设备内的所有图形数据进行处理，其除了前述的经由LSM GM表面的数据、经由WAM GM表面的数据以外，还接收数据广播应用程序(Data Broadcastingapplication)、标题应用程序(caption application)等经由GM表面的图形数据，并处理为在画面上适当地进行输出。其中，GM合成器的功能是与前述的合成器相同或类似的功能。

图10是为了说明本发明的一实施例的媒体服务器而示出的图，图11是为了说明本发明的一实施例的媒体服务器的结构框图而示出的图，图12是为了说明本发明的一实施例的媒体服务器和TV服务的关系而示出的图。

媒体服务器支持数字设备内的多种多媒体的运行及管理所需的资源。与此相关地，媒体服务器可有效地使用媒体播放(media play)所需的硬件资源。例如，媒体服务器为了运行多媒体而需要音频/视频硬件资源，其能够管理资源使用情况并有效地应用。与此相关地，与通常的移动设备不同的是，在具有大型画面的固定设备中，在运行多媒体时，需要有更多的硬件资源。并且，由于数据量较多，需要有较快的编码/解码及图形数据传送速度。另外，媒体服务器除了流媒体(Streaming)、基于文件的播放以外，还需要能够处理广播(Broadcasting)、录音(Recording)及调谐(Tuning)任务、观看的同时进行录制，或在视频通话时同时显示发送方和接收方画面的任务等。只是，由于在媒体服务器中按芯片-组单位对编码器、解码器、调谐器、显示器引擎(display engine)等硬件资源的数目存在有限制，不易同时运行多种任务，例如限制用户使用剧本或输入用户选择并进行处理。

媒体服务器可强化(robustness)系统稳定性。例如，媒体服务器可按管线去除媒体播放中发生错误(error)的播放管线(pipeline)并再启动，由此，在如上所述发生错误的情况下，也不会影响其他媒体播放。这样的管线是在媒体播放请求时将解码、分析、输出等各单位功能相连接的链条(chain)，所需单位功能可根据媒体类型(media type)等而不同。

媒体服务器例如具有扩展性(extensibility)。媒体服务器可添加新的类型的管线，而不影响既有实现方式。作为一例，媒体服务器需要能够容纳照相机管线、视频会议(Skype)管线及第三方管线等。

媒体服务器可将通常媒体播放和TV任务运行按不同的服务进行处理。这是因为TV服务的接口与媒体播放Playback的情况不同。在上述，在与TV服务相关的情况下，媒体服务器支持“setchannel”、“channelup”、“channeldown”、“channeltuning”、“recordstart”等操作，在与通常媒体播放相关的情况下，支持“play”、“pause”、“stop”等操作，由此，优选地对两者支持相互不同的操作，并能够按不同的服务进行处理。

媒体服务器可对资源管理功能进行控制或整合管理。在媒体服务器中以整合方式进行设备内硬件资源分配和次数等，特别是，TV服务进程将运行中的任务和资源分配情况等传送给媒体服务器。媒体服务器在每次运行各媒体时确保资源并运行管线，基于各管线所占用的资源情况，媒体服务器在媒体运行请求时，执行基于优先顺序(例如，策略)的运行允许及其他管线的资源回收等。其中，利用策略管理器(policy manager)来管理预先定义的运行优先顺序和针对特定请求的所需资源信息，资源管理器通过与所述策略管理器进行通信，能够处理资源分配、次数等。

媒体服务器可持有关于与播放相关的所有操作的识别因子(ID：identifier)。例如，媒体服务器可根据标识符指示特定管线并下达指令。媒体服务器为了播放两个以上的媒体，可以区分两者的方式并向管线下达指令。

媒体服务器可负责HTML 5标准媒体的播放。

除此之外，媒体服务器对TV管线的额外服务进程化可遵照TV重构化范围。媒体服务器可与TV重构化范围无关地被设计实现，如果TV未实现额外服务进程化，在特定任务中发生问题时，将可能需要重新运行TV全体。

媒体服务器又称为uMS即，微型媒体服务器(mMicro media server)。其中，媒体播放器(media player)又称为媒体客户端(media client)，其可例如表示用于HTML5视频标签(video tag)、照相机(Camera)、TV、skype、第二屏幕(2nd Screen)等的WebKit。

在媒体服务器中，资源管理器(resource manager)、策略管理器(policymanager)等微型资源(micro resource)的管理为其核心功能。与此相关地，媒体服务器还控制针对网络标准媒体内容的播放(playback)控制作用。与此相关地，媒体服务器可还管理管线控制器资源(pipeline controller resource)。

这样的媒体服务器例如支持扩展性(extensibility)、可靠性(reliability)、资源的有效使用(efficient resource usage)等。

换言之，uMS即，媒体服务器用于执行管理控制的功能，以整体上管理并控制用于云游戏(cloud game)、MVPD(pay service等)、照相机预览(camera preview)、第二屏幕(2nd screen，second screen)、skype等资源和TV资源等在Web OS设备内的适当的处理的资源使用，从而能够实现有效率的使用。另外，各资源在其利用时例如利用管线，媒体服务器能够整体上管理控制用于资源管理的管线的生成、删除、利用等。

其中，之所以称为管线是因为，例如与任务(task)相关的媒体开始进行请求(request)、解码流(decoding stream)、视频输出(video output)等诸如解析(parsing)的作业的连续时，将可生成管线。例如，与TV服务或应用程序相关地，观看(watching)、录制(recording)、频道调谐(channel tuning)等各自独立地通过根据其请求而生成的管线来对资源利用等受到控制并被处理。

参照图10对媒体服务器的处理结构等进行更详细的说明。

在图10中，应用程序或服务通过Luna-服务总线1010与媒体服务器1020相连接，所述媒体服务器1020通过所述Luna-服务总线1010与再生成的管线1030、1040、1050等相连接并进行管理。

应用程序或服务根据其特性而具有多种客户端(client)，并可通过其与媒体服务器1020或管线1040进行数据收发。

所述客户端中例如包含有：用于与媒体服务器1020进行连接的uMedia客户端(WebKit)和资源管理器(resource manager，RM)客户端(C/C++)等。

包含所述uMedia客户端的应用程序如前所述与媒体服务器1020相连接。更详细而言，uMedia客户端例如与后述的视频对象对应，这样的客户端基于请求等并为了视频的动作而利用媒体服务器1020。

其中，所述视频动作是关于视频状态，其可包含加载(loading)、卸载(unloading)、播放(play、playback、或reproduce)、暂停(pause)、停止(stop)等与视频动作相关的所有状态数据。这样的视频的各动作或状态可通过个别管线生成来被处理。由此，uMedia客户端将与所述视频动作相关的状态数据传送给媒体服务器内的管线管理器1022。

管线管理器1022通过与资源管理器1024的数据通信来获取关于当前设备的资源的信息，请求分配与所述uMedia客户端的状态数据对应的资源。此时，管线管理器1022或资源管理器1024与所述资源分配等相关地，根据需要通过与策略管理器1026的数据通信来进行关于资源分配的控制。例如，资源管理器1024中与管线管理器1022的请求对应地需要分配的资源不存在或不足的情况下，可根据策略管理器1026的优先顺序比较等而按照所述请求进行适当的资源分配等。

另外，管线管理器1022根据所述资源管理器1024的资源分配，针对被分配的资源向媒体管线控制器1028请求生成用于与所述uMedia客户端的请求对应的动作的管线。

媒体管线控制器1028根据所述管线管理器1022的控制而生成所需的管线。如图所示，这样生成的管线中除了媒体管线1030、照相机管线以外，可还生成与播放、暂停、停止等相关的管线。另外，所述管线中可包含关于HTML5、Web CP、智能共享(smartshare)播放、缩略图提取、NDK、电影院、多媒体和超媒体信息编码专家组(Multimedia and HypermediaInformation coding Experts Group，MHEG)等的管线等。

除此之外，管线中例如可有基于服务的管线(自身管线)1040和基于URI的管线(媒体管线)1050。

参照图10，包含有RM客户端的应用程序或服务可不直接与媒体服务器1020相连接。这是因为，应用程序或服务也可以直接进行媒体处理。换言之，在应用程序或服务直接进行媒体处理的情况下，可无需经由媒体服务器。只是，此时为了生成及利用管线而需要进行资源管理，为此，基于服务的管线1040内的uMS连接器1032发挥功能。另外，所述uMS连接器1032在接收到用于对所述应用程序或服务的直接的媒体处理的资源管理请求时，与包含资源管理器1024的媒体服务器1020进行通信。为此，媒体服务器1020也需要具有uMS连接器1029。

因此，通过uMS连接器1029、1032接受资源管理器1024的资源管理，应用程序或服务可应对RM客户端的请求。这样的RM客户端可对原生CP、TV服务、第二屏幕(2nd Screen)、闪电播放器、Youtube MSE(Medai Source Extensions：媒体源扩展)、云游戏、skype等服务进行处理。在此情况下，如前所述，在需要进行资源管理的情况下，资源管理器1024可通过与策略管理器1026适当地进行数据通信来管理资源。

另外，与前述的直接处理媒体的RM客户端不同地，基于URI的管线是通过媒体服务器1020来进行媒体处理。这样的基于URI的管线可包含有：播放器工厂(player factory)、Gstreamer、流媒体插件(streaming plug-in)、数字版权管理(Digital RightsManagement，DRM)插件管线等。

另外，应用程序和媒体服务之间的接口方法可以如下。

一个是，在网络应用程序中利用服务进行接口的方法。这是利用PSB(PalmService Bridge)来进行Luna Call的方法、利用Cordova的方法，这是将显示器扩展为视频标签。除此之外，也可以有利用关于视频标签或媒体构件(media element)的HTML5标准的方法。

此外，另一个是，在PDK中利用服务进行接口的方法。

又一个是，在既有CP中利用服务的方法。这是考虑到兼容性(backwardcompatibility)而可基于Luna扩展既有平台的插件并利用。

最后是，在non-Web OS的情况下进行接口的方法。在此情况下，可直接调用Luna总线并进行接口。

无缝切换(Seamless change)由额外的模块(例如，TVWIN)来进行处理，其是在启动web OS之前或启动期间，以无web OS的状态先将TV示出于画面并进行无缝处理的进程。其目的被利用定义为，因web OS的启动时间较慢，在用户的开机(Power On)请求时，为了快速响应而优先提供TV服务的基本功能。并且，所述模块为TV服务进程的一部分，其支持提供快速响应和基本TV功能的无缝切换、工厂模式等，并且是限定于支持功能的开发区域。并且，所述模块也可负责从Non-web OS模式切换为web OS模式。

参照图11，其示出媒体服务器的进程结构。

此时，在图11中，实线框可表示进程处理结构，虚线框表示进程中内部处理模块。并且，实线箭头可表示进程间呼叫，即，Luna服务呼叫，虚线箭头表示诸如注册/提醒(register/notify)的通知或数据流(data flow)。

服务或Web应用程序或PDK应用程序(以下称为“应用程序”)通过Luna-服务总线与各种服务处理结构相连接，并据此使应用程序进行动作或控制其动作。

根据应用程序的类型，其数据处理路径将不同。例如，当应用程序为与照相机传感器相关的图像数据时，将传送给照相机处理部11401130并进行处理。此时，照相机处理部11401130包括手势(gesture)、脸部识别(face detection)模块等并处理所接收的应用程序的图像数据。其中，当例如为需要用户的选择或需要自动利用管线等的数据时，照相机处理部11401130可通过媒体服务器处理部1110生成管线并处理相应数据。

或者，当应用程序包含音频数据时，可通过音频处理部11501140(AudioD)和音频模块11601150(PulseAudio)处理相应音频。例如，音频处理部11501140对从应用程序接收的音频数据进行处理，并传送给音频模块11601150。此时，音频处理部11501140可包括音频策略管理器(audio policy manager)来决定音频数据的处理。由此处理的音频数据将在音频模块1160中加工处理。另外，所述应用程序可将与音频数据处理相关的数据通知给音频模块1160，这在相关管线中也可通知给所述音频模块1160。所述音频模块1150包括高级Linux声音架构(Advanced Linux Sound Architecture，ALSA)。

或者，当应用程序包含或处理(以下为包含)设置有DRM的内容时，将相应内容数据传送给DRM服务处理部11701160，所述DRM服务处理部1170生成DRM实例(instance)并对设置有DRM的内容数据进行处理。另外，DRM服务处理部11701160为了对所述设置有DRM的内容数据进行处理，可通过服务总线与媒体管线内的DRM管线相连接并进行处理。

以下，对应用程序为媒体数据或TV服务数据(例如，广播数据)时的处理进行说明。

图12是为了在前述的图11中仅对媒体服务器处理部和TV服务处理部进行更详细的说明而示出。

因此，以下一同参照图11和图12进行说明。

首先，在应用程序包含TV服务数据的情况下，在TV服务处理部1120/1220中进行处理。

其中，TV服务处理部1120例如包括：DVR/频道管理器、广播模块、TV管线管理器、TV资源管理器、数据广播模块、音频设定模块、路径管理器等中的一种以上。或者，图12中TV服务处理部1220可包括：TV广播处理程序(TV broadcast handler)、TV广播接口部(TVBroadcast Interface)、服务处理部、TV中间件(TV MW(middleware))、路径管理器、BSP(NetCast)。其中，所述服务处理部例如可表示包括TV管线管理器、TV资源管理器、TV策略管理器、USM连接器等的模块。

在本说明书中，TV服务处理部可具有如图11或图12所示的结构或由两者的组合来实现，在以上所述中，一部分结构可被省去，或是添加未图示的一部分结构。

TV服务处理部1120/1220基于从应用程序接收的TV服务数据的属性或类型，在DVR或频道相关数据的情况下传送给DVR/频道管理器，再传送给TV管线管理器生成TV管线并进行处理。另外，在所述TV服务数据的属性或类型为广播内容数据的情况下，TV服务处理部1120经由广播模块，为了处理相应数据而经由TV管线管理器生成TV管线并进行处理。

或者，Javascript标准对象符号(Javascript standard object notation，json)文件或用C语言制作的文件在TV广播处理程序(handler)中进行处理，经由TV广播接口部传送给TV管线管理器生成TV管线并进行处理。在此情况下，TV广播接口部可基于TV服务策略将经由TV广播处理程序的数据或文件传送给TV管线管理器，从而在生成管线时作为参照。

另外，TV管线管理器在根据来自TV服务内处理模块或管理器等的TV管线生成请求而生成一个或其以上的管线时，可受到TV资源管理器的控制。另外，TV资源管理器根据TV管线管理器的TV管线生成请求，为了请求为进行TV服务而分配的资源的状态和分配，可受到TV策略管理器的控制，并通过uMS连接器与媒体服务器处理部1110/1210进行数据通信。媒体服务器处理部1110/1210内的资源管理器根据所述TV资源管理器的请求，传送用于当前TV服务的资源的状态和可否分配等。例如，在媒体服务器处理部1110/1210内的资源管理器的确认结果，当用于TV服务的资源已全部被分配时，可向TV资源管理器通知当前全部资源被分配完毕。此时，媒体服务器处理部内的资源管理器可在进行与所述通知的同时，在为TV服务而已分配的TV管线中，根据优先顺序或规定基准去除规定TV管线，并请求或分配用于被请求的TV服务的TV管线生成。或者，在TV资源管理器中，可根据所述媒体服务器处理部1110/1210内的资源管理器的状态报告，在TV资源管理器中进行控制，以适当地去除、添加、新设TV管线。

另外，BSP例如支持与既有数字设备的兼容性(backward compatibility)。

由此生成的TV管线在其处理过程中，可根据路径管理器的控制适当地进行动作。路径管理器在所述处理过程中，可除了TV管线以外，还考虑到由媒体服务器处理部1110/1210生成的管线的动作，确定或控制管线的处理路径或过程。

接着，在应用程序包含媒体数据而不是包含TV服务数据的情况下，将在媒体服务器处理部1110/1210进行处理。其中，媒体服务器处理部1110/1210包括：资源管理器、策略管理器、媒体管线管理器、媒体管线控制器等。另外，根据媒体管线管理器和媒体管线控制器的控制生成的管线可多样地生成照相机预览管线、云游戏管线、媒体管线等。另外，媒体管线中可包含流媒体协议、自动/静态gstreamer、DRM等，其可根据路径管理器的控制来确定其处理流程。所述媒体服务器处理部1110/1210内的具体的处理过程引用前述的图10的说明，在此则不重复进行赘述。

在本说明书中，媒体服务器处理部1110/1210内的资源管理器例如可基于计数器(counter base)进行资源管理。

以下，参照附图对本发明的处理语音文字变换的数字设备的多种实施例进行更详细的说明。

图13是示出处理语音文字变换STT的数字设备的结构框图。

如图13所示，数字设备可包括：显示部1310、输入法编辑器(Input MethodEditor，IME)处理部1320、以及语音文字变换STT处理部1330。

其中，显示部1310可在文本输入域(text input field)内显示被语音文字变换STT处理的变换文本。

此外，IME(Input Method Editor)处理部1320检查文本输入域的属性(attribute)，在接收到对文本输入域中要输入的数据进行语音文字变换STT处理的请求的情况下控制显示部1310，使得文本输入域的属性类型为安全属性时，切断语音文字变换处理，文本输入域的属性类型为不是安全属性时，显示被语音文字变换处理的变换文本。

其中，当从用户接收到关于添加文本输入域的安全属性的请求时，IME处理部1320可将添加的安全属性进行注册。

接着，当检查文本输入域的属性时，如果检查的所有属性的类型为安全属性，则IME处理部1320可切断语音文字变换处理。

此外，IME处理部1320可控制显示部1310，从而切断语音文字变换处理，并显示语音文字变换处理相关切断消息。

根据情况，IME处理部1320可控制显示部1310，从而在切断语音文字变换处理，显示语音文字变换处理相关切断消息后，显示文本输入域的安全属性类型的解除与否相关质询消息。

接着，语音文字变换STT处理部1330可根据IME处理部1320的控制信号接收外部的语音信号，将与接收的语音信号对应的语音数据的变换文本传送给IME处理部1320。

其中，语音文字变换STT处理部1330可将与接收的语音信号对应的语音数据传送给外部服务器，从外部服务器接收与语音数据对应的变换文本，并将接收到的变换文本传送给IME处理部1320。

根据情况，语音文字变换STT处理部1330可将与接收的语音信号对应的语音数据变换为文本，并将变换的文本传送给IME处理部1320。

如上所述，本发明的数字设备中处理的语音文字变换对文本输入进行了简化，其可执行将用户的语音变换为文本的功能。

在本发明的数字设备中，作为一实施例，可将用户的语音数据传送给外部的服务器，并接收从外部的服务器传送的关于语音数据的变换文本。

但是，在若干文本输入域中，作为一例要求提供用户名(id)、密码(password)、社会保障号(social security number)、其他个人信息等。

这样的信息存在有向外部泄漏的危险，因此需要保持安全。

因此，在互联网或在线上，有必要切断向服务器传送需要确保安全的个人信息。

本发明的数字设备是在文本输入域内部分地切断STT使用的技术。

本发明的STT处理部1330受到IME处理部1320的控制，IME处理部1320可获知文本输入域的多种信息。

作为一例，IME处理部1320可基于文本输入域的属性的类型TYPE而切断STT的激活。

Web OS TV的应用程序基于HTML5，其在开发网页或网络应用时，可设定文本输入域的属性类型。

作为一例，文本输入域的属性类型可包含：文本(text)、搜索(search)、网址(url)、电话(tel)、电子邮件(email)、密码(password)、数据拾取器(datapicker)、范围(range)、以及颜色(color)等。

在文本输入域的属性类型为密码的情况下，IME处理部1320可切断STT执行，从而切断重要数据的传送。

例如，作为文本输入域的用户名(ID)的属性类型为电子邮件，作为文本输入域的密码的属性类型为密码时，用户可在用户名输入域中执行STT功能，但在密码输入域中无法执行STT功能。

根据情况，IME处理部1320为了切断STT功能而可使用其他属性。

因此，在文本输入域内的多种属性中，可还添加具有安全类型的属性。

例如，作为文本输入域的姓名(NAME)的属性类型为文本，作为文本输入域的手机(PHONE)的属性类型为电话(tel)，作为文本输入域的卡号的属性类型为数字，并且安全属性值为真(true)时，IME处理部1320可在卡号的输入域中切断STT功能。

如上所述，IME处理部1320在接收到关于添加文本输入域的安全属性的请求时，可将被添加的安全属性进行注册。

并且，IME处理部1320判断是否有关于文本输入域的属性类型的设定请求，如果有关于文本输入域的属性类型的设定请求，则可控制显示部1310以显示文本输入域的属性注册窗口。

此外，IME处理部1320判断是否选择有所显示的文本输入域的属性注册窗口中包含的至少一个属性，如果选择有至少一个属性，则可判断是否有关于所选择的属性的类型变更请求。

如果未选择有至少一个属性，则判断是否是新的安全属性的添加，如果是新的安全属性的添加，则可将被添加的新的安全属性进行注册。

接着，如果有所选择的属性的类型变更请求，IME处理部1320判断所选择的属性的类型是否为安全属性，根据判断结果，如果不是安全属性，则可将所选择的属性的类型变更为安全属性。

根据判断结果，如果是安全属性，可将所选择的属性的安全属性类型解除。

并且，当文本输入域被激活时，IME处理部1320检查文本输入域的属性，此时可检查文本输入域中包含的所有属性。

如果检查的所有属性的类型为安全属性，则可根源上切断STT处理。

但是，如果不是所有属性的类型为安全属性，则可接收关于在文本输入域中要输入的数据的语音文字变换STT处理请求，并部分地切断STT处理。

图14至图19是示出本发明一实施例的STT处理方法的流程图。

如图14所示，当用户为了文本输入而点击时，显示部1310运行相应的应用程序，并激活文本输入域(text input field)。

接着，IME处理部1320检查文本输入域的属性(attribute)。

此外，当从用户接收关于在文本输入域中要输入的数据的语音文字变换STT处理请求时，IME处理部1320判断文本输入域的属性类型是否为安全属性(sensitiveattribute)。

接着，根据判断结果，当文本输入域的属性类型为安全属性时，切断语音文字变换处理，当文本输入域的属性类型为不是安全属性时，根据语音文字变换处理请求接收用户的语音信号。

接着，根据IME处理部1320的控制信号，STT处理部1330将与接收的语音信号对应的语音数据传送给外部服务器，从外部服务器接收与语音数据对应的变换文本，并传送给IME处理部1320。

此外，IME处理部1320控制显示部1310，从而将接收到的变换文本显示在相应的文本输入域。

由此，在本发明的数字设备中，如果文本输入域的属性类型为安全属性，则切断语音文字变换STT处理，从而提供防止用户的重要信息向外部泄漏的便利性。

另外，如图15所示，当文本输入域的属性类型为安全属性时，IME处理部1320可切断语音文字变换处理，并控制显示部1310显示语音文字变换处理相关切断消息。

作为另一种情况，如图16所示，当文本输入域的属性类型为安全属性时，IME处理部1320可切断语音文字变换处理，显示语音文字变换处理相关切断消息后，控制显示部1310以连续地显示文本输入域的安全属性类型的解除与否相关质询消息。

其中，安全属性类型的解除与否相关质询消息可被设定为，在显示语音文字变换处理相关切断消息后，在经过预设定时间后进行显示。

根据情况，安全属性类型的解除与否相关质询消息可与语音文字变换处理相关切断消息同时进行显示。

此外，当从质询消息中判断为不是安全属性类型的解除时，IME处理部1320可继续保持切断语音文字变换处理。

但是，当从质询消息中判断为是安全属性类型的解除时，IME处理部1320可控制显示部1310以显示安全属性类型的解除消息，并解除语音文字变换处理的切断。

如上所述，在本发明的数字设备中，可继续保持预设定的文本输入域的安全属性，也可根据用户的请求解除安全属性。

由此，在本发明中，为使用户能够方便地利用关于文本输入域的STT功能，向用户提供用于切断STT功能的安全属性解除与否。

并且，如图17所示，当文本输入域的属性类型为不是安全属性时，STT处理部1330可根据IME处理部1320的控制信号接收用户的语音信号，将与接收的语音信号对应的语音数据变换为文本后，将变换的文本传送给IME处理部1320。

其中，STT处理部1330也可根据IME处理部1320的控制信号，将与接收的语音信号对应的语音数据不传送给外部服务器，而是直接将接收的语音数据变换为文本。

此外，如图18所示，当从用户接收文本输入域的安全属性添加的请求时，IME处理部1320可将所添加的安全属性进行注册。

由此，IME处理部1320将用户请求添加的新的安全属性进行注册，并切断STT功能，从而能够进一步提高关于信息泄漏的安全性。

另外，如图19所示，本发明可还执行包含有对文本输入域的属性类型进行变更、添加等的编辑功能。

IME处理部1320判断是否有关于文本输入域的属性类型的设定请求，当有关于文本输入域的属性类型的设定请求时，可控制显示部1310以显示文本输入域的属性注册窗口。

此外，IME处理部1320判断是否选择有所显示的文本输入域的属性注册窗口中包含的至少一个属性。

根据判断结果，当未选择有至少一个属性时，IME处理部1320判断是否是新的安全属性的添加，当是新的安全属性的添加时，可将所添加的新的安全属性进行注册。

但是，根据判断结果，当选择有至少一个属性时，IME处理部1320可判断是否有所选择的属性的类型变更请求。

接着，当有所选择的属性的类型变更请求时，IME处理部1320判断所选择的属性的类型是否为安全属性，根据判断结果，当不是安全属性时，将所选择的属性的类型变更为安全属性。

但是，根据判断结果，当是安全属性时，IME处理部1320可将所选择的属性的安全属性类型解除。

另外，当激活文本输入域时，IME处理部1320检查文本输入域的属性，此时可检查文本输入域中包含的所有属性。

此外，IME处理部1320判断所检查的所有属性的类型是否为安全属性，根据判断结果，当所有属性的类型为安全属性时，可直接切断语音文字变换处理。

即，在用户请求STT处理的情况下，可无需判断相应文本输入域的属性类型是否为安全属性，而是控制显示部1310直接显示STT切断消息。

但是，根据判断结果，当判断为不是所有属性的类型为安全属性时，在用户请求STT处理的情况下，IME处理部1320可判断相应文本输入域的属性类型是否为安全属性，并决定STT处理切断与否。

如上所述，本发明可在搭载有Web OS平台的数字设备中对语音文字变换(Speech-to-Text：STT)服务进行支持、处理等。

此外，在本发明中，当文本输入域的属性类型为安全属性时，切断语音文字变换STT处理，从而提供防止用户的重要信息向外部泄漏的便利性。

并且，本发明可提供简便地添加或变更文本输入域的安全属性的编辑服务。

如图20a所示，作为一例，在规定的网页1510画面内有多个文本输入域，文本输入域可包含：作为一般输入域的第一文本输入域1520和作为密码输入域的第二文本输入域1530。

当用户为了文本输入而点击规定的文本输入域时，如图20b所示，可在网页1510画面下部露出显示可视键盘1540(Virtual Key Board)。

接着，当用户为了语音文字变换STT而点击声音键(vioce key)时，本发明的IME处理部检查用户所点击的文本输入域的属性(attribute)。

根据检查结果，当用户点击的文本输入域的属性为图20a的作为密码输入域的第二文本输入域1530时，如图20c所示，可切断语音文字变换处理，并在网页1510画面下部直接露出并显示虚拟键盘1540。

但是，根据检查结果，当用户点击的文本输入域的属性为图20a的作为一般输入域的第一文本输入域1520时，如图20d所示，为了进行语音文字变换处理，在网页1510画面下部露出并显示语音文字变换插件1550(STT plug-in)，而不是露出虚拟键盘1540。

由此，在本发明的数字设备中，当文本输入域的属性类型为安全属性时，切断语音文字变换STT处理，从而能够提供防止用户的重要信息向外部泄漏的便利性。

用于实施本发明的形态

在本说明书中揭示的数字设备及其语音文字变换处理方法中，并不限定地适用以上所述的实施例的结构和方法，而是为了对所述实施例进行多样的变形，各实施例的全部或一部分可选择性地组合并构成。

另外，本说明书中揭示的数字设备的动作方法可在设置于数字设备的处理器可读取的记录介质中以处理器可读取的代码来实现。处理器可读取的记录介质包括用于存储处理器可读取的数据的所有种类的记录设备。处理器可读取的记录介质的例有ROM(ReadOnly Memory)、RAM(Random Access Memory)、CD-ROM、磁带、软盘、光数据存储设备等，也可由通过互联网的传送等载波(carrier-wave)的形态来实现。并且，处理器可读取的记录介质可分散于利用网络来连接的计算机系统，并以分散方式存储处理器可读取的代码并运行。

另外，本说明书中参照附图进行了说明，但这仅是属于实施例，本发明并不限定于特定的实施例，可由本发明所属的技术领域的一般技术人员能够变形实施的多样的内容也落入本发明的权利要求书的权利范围。并且，这样的变形实施不应脱离本发明的技术思想而单独地加以理解。

工业实用性

本发明涉及能够执行语音文字变换(Speech-to-Text：STT)功能的数字设备及其语音文字变换处理方法。因此，本发明存在工业实用性。

Claims

1.一种数字设备的语音文字变换处理方法，其特征在于，

包括：

激活文本输入域的步骤；

检查所述文本输入域的属性的步骤；

接收关于所述文本输入域中要输入的数据的语音文字变换处理的请求的步骤；

判断所述文本输入域的属性类型是否为安全属性的步骤；以及

根据所述判断结果，当所述文本输入域的属性类型为安全属性时，切断所述语音文字变换处理的步骤。

2.根据权利要求1所述的数字设备的语音文字变换处理方法，其特征在于，

所述判断文本输入域的属性类型是否为安全属性的步骤包括：

根据所述判断结果，当所述文本输入域的属性类型不是安全属性时，根据所述语音文字变换处理请求接收外部的语音信号的步骤；

将与接收的所述语音信号对应的语音数据传送给外部服务器的步骤；

从所述外部服务器接收与所述语音数据对应的变换文本的步骤；

将接收的所述变换文本显示在相应的所述文本输入域的步骤。

3.根据权利要求1所述的数字设备的语音文字变换处理方法，其特征在于，

当所述文本输入域的属性类型不是安全属性时，根据所述语音文字变换处理请求接收外部的语音信号的步骤；

将与接收的所述语音信号对应的语音数据变换为文本的步骤；

将变换的所述文本显示在相应的所述文本输入域的步骤。

4.根据权利要求1所述的数字设备的语音文字变换处理方法，其特征在于，

还包括：

接收所述文本输入域的安全属性添加请求的步骤；

将添加的所述安全属性进行注册的步骤。

5.根据权利要求1所述的数字设备的语音文字变换处理方法，其特征在于，

还包括：

判断是否有关于所述文本输入域的属性类型的设定请求的步骤；

当有关于所述文本输入域的属性类型的设定请求时，显示所述文本输入域的属性注册窗口的步骤；

判断是否选择有显示的所述文本输入域的属性注册窗口中包含的至少一个属性的步骤；

根据所述判断结果，当选择有至少一个所述属性时，判断是否有选择的所述属性的类型变更请求的步骤；

当有选择的所述属性的类型变更请求时，判断选择的所述属性的类型是否为安全属性的步骤；以及

根据所述判断结果，当不是安全属性时，将选择的所述属性的类型变更为安全属性的步骤。

6.根据权利要求5所述的数字设备的语音文字变换处理方法，其特征在于，

当有选择的所述属性的类型变更请求时，在所述判断选择的属性的类型是否为安全属性的步骤中，根据所述判断结果，当是安全属性时，将选择的所述属性的安全属性类型解除。

7.根据权利要求5所述的数字设备的语音文字变换处理方法，其特征在于，

所述判断是否选择有显示的文本输入域的属性注册窗口中包含的至少一个属性的步骤包括：

根据所述判断结果，当未选择有至少一个所述属性时，判断是否是新的安全属性的添加的步骤；

当是新的安全属性的添加时，将添加的所述新的安全属性进行注册的步骤。

8.根据权利要求1所述的数字设备的语音文字变换处理方法，其特征在于，

所述检查文本输入域的属性的步骤包括：

检查所述文本输入域中包含的所有属性的步骤；

判断检查的所述所有属性的类型是否为安全属性的步骤；

根据所述判断结果，当所有属性的类型为安全属性时，切断所述语音文字变换处理的步骤。

9.根据权利要求8所述的数字设备的语音文字变换处理方法，其特征在于，

包括：

根据所述判断结果，当不是所有属性的类型为安全属性时，接收关于所述文本输入域中要输入的数据的语音文字变换处理的请求的步骤。

10.根据权利要求1所述的数字设备的语音文字变换处理方法，其特征在于，

在所述切断语音文字变换处理的步骤中，切断所述语音文字变换处理，并显示语音文字变换处理相关切断消息。

11.根据权利要求1所述的数字设备的语音文字变换处理方法，其特征在于，

所述切断语音文字变换处理的步骤包括：

切断所述语音文字变换处理，并显示所述语音文字变换处理相关切断消息后，显示所述文本输入域的安全属性类型的解除与否相关质询消息的步骤；

当从所述质询消息判断为不是安全属性类型的解除时，继续保持所述语音文字变换处理的切断的步骤。

12.根据权利要求11所述的数字设备的语音文字变换处理方法，其特征在于，

在所述显示文本输入域的安全属性类型的解除与否相关质询消息的步骤中，当从所述质询消息中判断为安全属性类型的解除时，显示所述安全属性类型的解除消息，并解除所述语音文字变换处理的切断。

13.根据权利要求1所述的数字设备的语音文字变换处理方法，其特征在于，

所述文本输入域的属性类型是文本、搜索、网址、电话、电子邮件、密码、数据拾取器、范围及颜色。

14.一种数字设备，其特征在于，

包括：

显示部，在文本输入域内显示被语音文字变换处理的变换文本；

IME处理部，检查所述文本输入域的属性，当接收关于在所述文本输入域中要输入的数据的语音文字变换处理的请求时，如果所述文本输入域的属性类型为安全属性，则切断所述语音文字变换处理，如果所述文本输入域的属性类型不是安全属性，则控制所述显示部显示被语音文字变换处理的所述变换文本；以及

语音文字变换处理部，根据所述IME处理部的控制信号，接收外部的语音信号，将与接收的所述语音信号对应的语音数据的变换文本传送给所述IME处理部。

15.根据权利要求14所述的数字设备，其特征在于，

所述语音文字变换处理部将与接收的所述语音信号对应的语音数据传送给外部服务器，从所述外部服务器接收与所述语音数据对应的变换文本，并将接收的所述变换文本传送给所述IME处理部。

16.根据权利要求14所述的数字设备，其特征在于，

所述语音文字变换处理部将与接收的所述语音信号对应的语音数据变换为文本，并将变换的所述文本传送给所述IME处理部。

17.根据权利要求14所述的数字设备，其特征在于，

当接收到所述文本输入域的安全属性添加的请求时，所述IME处理部将添加的所述安全属性进行注册。

18.根据权利要求14所述的数字设备，其特征在于，

当检查所述文本输入域的属性时，如果检查的所述所有属性的类型为安全属性，则所述IME处理部切断所述语音文字变换处理。

19.根据权利要求14所述的数字设备，其特征在于，

所述IME处理部切断所述语音文字变换处理，并控制所述显示部以显示语音文字变换处理相关切断消息。

20.根据权利要求14所述的数字设备，其特征在于，

所述IME处理部切断所述语音文字变换处理，显示所述语音文字变换处理相关切断消息后，控制所述控制部以显示所述文本输入域的安全属性类型的解除与否相关质询消息。