CN103796053A - 图像处理设备及其控制方法和图像处理系统 - Google Patents

图像处理设备及其控制方法和图像处理系统 Download PDF

Info

Publication number
CN103796053A
CN103796053A CN201310020547.3A CN201310020547A CN103796053A CN 103796053 A CN103796053 A CN 103796053A CN 201310020547 A CN201310020547 A CN 201310020547A CN 103796053 A CN103796053 A CN 103796053A
Authority
CN
China
Prior art keywords
user
voice command
spoken utterances
predetermined registration
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310020547.3A
Other languages
English (en)
Inventor
李周瑛
潘锡浩
朴相信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103796053A publication Critical patent/CN103796053A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227Providing Remote input by a user located remotely from the client device, e.g. at work
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4852End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Television Systems (AREA)

Abstract

本发明提供一种图像处理设备及其控制方法和图像处理系统。所述图像处理设备包括:语音输入单元,接收用户话语;语音处理器,处理与用户话语相应的语音命令以确定语音命令的预设操作;控制器,如果输入到语音输入单元的用户话语与由语音处理器确定的预设操作不匹配,则控制器调整语音命令的预设操作,并根据调整结果执行调整后的与用户话语匹配的预设操作。

Description

图像处理设备及其控制方法和图像处理系统
技术领域
与示例性实施例一致的设备和方法涉及一种处理从外部提供的图像信号(诸如广播信号)以基于处理的图像信号显示图像的图像处理设备及其控制方法和图像处理系统,更具体地讲,涉及一种识别用户的语音命令以执行与语音命令相应的功能或操作的图像处理设备及其控制方法和图像处理系统。
背景技术
图像处理设备根据各种图像处理操作来处理从外部源提供的图像信号/图像数据。图像处理设备可基于处理的图像信号在其显示面板上显示图像,或者将处理的图像信号输出到具有面板的另一显示设备以基于处理的图像信号在面板上显示图像。也就是说,只要图像处理设备可处理图像信号,其可包括或不包括用于显示图像的面板。前一种情况可被实现为TV,后一种情况可被实现为机顶盒。
图像处理设备随着技术的发展不断地添加功能或扩展其功能。在这种趋势下,提供了各种配置和方法来将用户期望的命令输入到图像处理设备。例如,在图像处理设备中,如果用户从遥控器按下键/按钮,则控制信号被发送到图像处理设备以执行用户期望的操作。然而,需要一种更加快速地识别用户的输入命令和意图并且更加容易地接受各种类型的输入命令的图像处理设备。
发明内容
因此,一个或多个示例性实施例提供一种将用于识别用户命令并执行操作的时间最小化的电子装置、服务器及其控制方法。
可通过提供一种图像处理设备来实现上述和/或其它方面,所述图像处理设备包括:图像处理器,处理图像信号以基于处理的图像信号显示图像;语音输入单元,接收用户话语;语音处理器,处理与用户话语相应的语音命令以确定语音命令的预设操作;控制器,如果输入到语音输入单元的用户话语与由语音处理器确定的预设操作不匹配,则控制器调整语音命令的预设操作,并根据调整结果执行调整后的与用户话语匹配的预设操作。
控制器可提供用于调整针对语音命令的预设操作的指定状态的用户界面(UI),如果为预定话语的语音命令指定的预设操作通过所述UI从第一操作被调整到第二操作,则当接收到用户话语的输入时,控制器可执行第二操作。
所述UI可引导或指示用户讲话,如果用户话语根据对讲话的指示被输入到语音输入单元,则控制器可将多个预设操作中的一个预设操作选择为与用户话语的语音命令相应的第二操作。
所述UI可引导或指示用户操纵安装在用户输入单元中的多个输入按钮,控制器可将为根据用于操纵安装在用户输入单元中的所述多个输入按钮的指示所操纵的输入按钮预先指定的操作选择为所述多个预设操作中的第二操作。
所述UI可包括多个预设操作的列表,控制器可将从所述多个预设操作的列表选择的操作选择为第二操作。
所述UI可被提供以用于设置宏指令,其中,所述宏指令用于通过输入单个话语来顺序执行与多个话语相应的多个操作。
当与包括在宏指令中的所述多个预设操作中的第一操作相应的用户的单个话语被输入到语音输入单元时,控制器可执行宏指令。
所述图像处理设备还可包括连接到通信服务器的通信组件,其中,当用户话语被输入到语音输入单元时,控制器控制语音处理器和服务器之一处理与用户话语相应的语音命令。
所述通信组件可与语音至文本(STT)服务器通信,其中,STT服务器将用户话语转换为包括文本的语音命令,并且,如果用户话语被输入到语音输入单元,则控制器可将用户话语的语音信号发送到STT服务器,并可从STT服务器接收与用户话语相应的语音命令。
如果语音命令是包括少于预定数量的词语的若干词语的短句,则控制器可控制语音处理器处理语音命令,如果语音命令是包括多于或等于预定数量的词语的若干词语的会话语句,则控制器可控制服务器处理语音命令。
所述图像处理设备还可包括显示器,其基于由图像处理器处理的图像信号在显示器上显示图像。
根据示例性实施例的另一方面,提供一种图像处理设备的控制方法,所述控制方法包括:接收用户话语;处理与用户话语相应的语音命令以确定语音命令的预设操作;如果预设操作与用户话语不匹配,则调整语音命令的预设操作,并根据调整结果设置图像处理设备以执行调整后的与用户话语匹配的预设操作。
调整语音命令的预设操作并根据调整结果设置图像处理设备以执行调整后的与用户话语匹配的预设操作的步骤可包括:提供用于调整针对语音命令的预设操作的指定状态的用户界面(UI);当为预定用户话语的语音命令指定的预设操作通过所述UI从第一操作被调整到第二操作时,在接收到用户话语时设置图像处理设备以执行第二操作。
所述UI可引导或指示用户讲话,并且,调整的步骤可包括:如果根据对讲话的指示而输入了用户话语,则通过UI将多个预设操作中的一个操作选择为与用户话语的语音命令相应的第二操作。
所述UI可引导或指示用户操纵安装在图像处理设备的用户输入单元中的多个输入按钮,并且,调整的步骤可包括:将为根据用于操纵安装在用户输入单元中的所述多个输入按钮的指示所操纵的输入按钮预先指定的操作选择为第二操作。
所述UI可包括多个预设操作的列表,并且,调整的步骤可包括:将来自所述多个预设操作的列表的操作选择为第二操作。
所述UI可被提供以用于设置宏指令,其中,所述宏指令用于通过输入用户的单个话语来顺序执行与多个话语相应的多个操作。
所述控制方法还可包括:如果与包括在宏指令中的所述多个预设操作中的第一操作相应的用户话语被输入到语音输入单元,则执行宏指令。
所述图像处理设备可与服务器通信,并且,执行预设操作的步骤可包括:通过所述图像处理设备和服务器之一处理与用户话语相应的语音命令。
所述图像处理设备可与STT服务器通信,其中,所述STT服务器将用户话语转换为包括文本的语音命令,并且,输入用户话语的步骤可包括:将用户话语的语音信号发送到STT服务器;从STT服务器接收与用户话语相应的语音命令。
所述控制方法可包括:如果语音命令是包括少于预定数量的词语的若干词语的短句,则控制所述图像处理设备处理语音命令,如果语音命令是包括多于或等于预定数量的词语的若干词语的会话语句,则控制服务器处理语音命令。
根据示例性实施例的另一方面,提供一种图像处理系统,包括:图像处理设备,处理图像信号以基于处理的图像信号显示图像;服务器,与图像处理设备通信,其中,所述图像处理设备包括:语音输入单元,接收用户话语;语音处理器,处理与用户话语相应的语音命令以确定语音命令的预设操作;控制器,如果通过语音输入单元输入了话语,则控制器控制语音处理器和服务器之一处理与话语相应的语音命令,其中,如果语音处理器的预设操作与输入到语音输入单元的话语不匹配,则控制器调整语音命令的预设操作,并根据调整结果执行调整后的与话语匹配的预设操作。
根据示例性实施例的另一方面,提供一种图像处理设备,包括:语音输入单元,接收用户的语音命令;语音处理器,确定图像处理设备的与用户的语音命令相应的预设操作;控制器,当由语音处理器确定的预设操作与由用户的语音命令指示的操作不匹配时,控制器指示用户调整与用户的语音命令相应的预设操作,并根据调整结果执行调整后的与用户的语音命令匹配的预设操作。
控制器可提供用于调整预设操作以与由用户的语音命令指示的操作匹配的用户界面(UI),并且当接收到用户的语音命令的后续输入时执行调整后的操作。
控制器还可提供用于设置宏指令的第二UI,其中,所述宏指令用于顺序执行图像处理设备的与用户的单个语音命令相应的多个操作。
如果用户的单个语音命令被输入到语音输入单元,则控制器可执行宏指令。
附图说明
通过下面结合附图进行的示例性实施例的描述,以上和/或其它方面将变得清楚和更加容易理解,附图中:
图1是根据示例性实施例的显示设备的框图;
图2是示出图1中的显示设备和服务器的交互结构的框图;
图3示出如存储在图2中的显示设备或会话服务器中的用于与语音命令相应的操作的数据库的示例;
图4至图6示出用于在图2中的显示设备中设置语音命令的用户界面(UI)的示例;
图7示出根据示例性实施例的可在显示设备中设置的宏指令中的序列的示例;
图8至图12示出用于设置图7中的宏指令的UI的示例。
具体实施方式
以下,将参照附图来详细描述示例性实施例,以便本领域中的普通技术人员容易地理解示例性实施例。示例性实施例可按照各种形式来实现,而不限于在此阐述的示例性实施例。为了清楚,省略对公知部件的描述,相同的标号始终表示相同的元件。
图1是根据示例性实施例的图像处理设备100的框图。
以下的示例性实施例解释了可在其自身上显示图像的图像处理设备100,但是本发明构思可应用于不在其自身上显示图像而将图像信号/控制信号输出到另一显示设备的其它装置。因此,本发明构思不限于以下的示例性实施例。示例性实施例解释了被实现为TV的图像处理设备100。
如图1中所示,根据示例性实施例的图像处理设备100或者显示设备100从图像供应源(未示出)接收图像信号。可被显示设备100接收的图像信号在类型或属性上不受限制,例如,显示设备100可接收由广播站的发送设备(未示出)发送的广播信号,对广播信号调谐,并显示广播图像。
显示设备100包括:图像接收器110,从图像供应源(未示出)接收图像信号;图像处理器120,根据预设图像处理操作处理由图像接收器110接收的图像信号;显示单元130,基于由图像处理器120处理的图像信号在其上显示图像;通信单元140,与外部装置(诸如服务器10)通信;由用户操纵的用户输入单元150;语音输入单元160,从外部接收语音或声音;语音处理器170,阐释并处理输入到语音输入单元160的语音/声音;存储单元180,在其中存储数据/信息;控制器190,控制显示设备100的整体操作。
图像接收器110以有线或无线方式接收图像信号/图像数据,并将图像信号/图像数据发送到图像处理器120。图像接收器110可根据接收的图像信号的标准和显示设备100的类型而变化。例如,图像接收器110可根据诸如复合视频、分量视频、超视频、SCART、高清晰度多媒体接口(HDMI)、显示端口(DisplayPort)、统一显示接口(UDI)或无线HD标准的标准来接收射频(RF)信号或图像信号。如果图像信号是广播信号,则图像接收器110包括用于对每个频道的广播信号进行调谐的调谐器。
图像处理器120根据各种图像处理操作处理由图像接收器110接收的图像信号。图像处理器120将处理的图像信号输出到显示单元130,其中,在显示单元130上基于处理的图像信号来显示图像。例如,如果广播信号被图像接收器110调谐到特定频道,则图像处理器120从与该频道相应的广播信号提取图像、语音和附加数据,将图像信号调整到预设分辨率,并在显示单元130上显示图像。
图像处理器120的图像处理操作可包括(但不限于)与图像数据的图像格式相应的解码操作、用于将隔行图像数据转换为逐行图像数据的去隔行操作、用于将图像数据调整到预设分辨率的缩放操作、用于改善图像质量的降噪操作、细节增强操作、帧刷新率转换等。
图像处理器120被实现为集成上述功能的片上系统(SOC),或者被实现为通过将各个元件安装到印刷电路板(PCB)(未示出)上以执行上述图像处理操作所形成的且被安装到显示设备100中的图像处理板(未示出)。
显示单元130基于由图像处理器120输出的图像信号在其上显示图像。显示单元130可被实现为各种类型的显示面板,包括液晶、等离子体、发光二极管(LED)、有机发光二极管(OLED)、表面传导电子发射器、碳纳米管和纳米晶体,但不限于此。
显示单元130还可根据其类型而包括另外的元件。例如,作为LCD的显示单元130可包括LCD面板(未示出)、用于向LCD面板发射光的背光单元(未示出)以及用于驱动LCD面板(未示出)的面板驱动基板(未示出)。
通信单元140发送和接收数据,以在显示设备100和服务器10之间进行交互通信。通信单元140根据服务器10的通信协议通过有线/无线广域网/局域网或本地连接被连接到服务器10。
用户输入单元150通过用户的操纵和输入将预设的各种控制命令或信息发送到控制器190。用户输入单元150被实现为安装在显示设备100的外围部分的菜单键或输入面板,或者被实现为与显示设备100分离/分开的遥控器。另外,用户输入单元150可被以集成方式形成在显示单元130中。如果显示单元130是触摸屏,则用户可触摸显示在显示单元130上的输入菜单(未示出)以将预设命令发送到控制器190。
语音输入单元160可被实现为麦克风或其它声音接收装置,检测从显示设备100的外部环境产生的各种声音。由语音输入单元160检测的声音包括用户话语和由除了用户之外的各种因素产生的其它声音。
语音处理器170在由显示设备100执行的各种预设处理中处理输入到语音输入单元160的语音/声音。由语音处理器170处理的“语音”表示输入到语音输入单元160的语音。由图像处理器120处理的图像信号可包括由图像处理器120处理的语音数据。
如果语音/声音被输入到语音输入单元160,则语音处理器170确定输入的语音/声音是由用户话语引起的还是由其它因素产生的。该确定可使用包括如下方法的各种配置:确定输入的语音/声音是否具有与人类语音相应的波长/频带的方法、或者确定输入的语音/声音是否落在预先指定的用户语音配置(voice profile)之下的方法。
如果确定已经输入了用户话语,则语音处理器170处理与该话语相应的语音命令以确定与语音命令相应的预设操作。语音命令表示由用户说出的内容。稍后将对此进行详细描述。
在示例性实施例中,分开设置语音处理器170和图像处理器120。然而,这仅是为了便于清楚地解释示例性实施例的目的而进行的功能性分类,不表示在实现示例性实施例的构思的显示设备100中图像处理器120和语音处理器170必定彼此分开。即,显示设备100可包括集成图像处理器120和语音处理器170的信号处理器(未示出)。
存储单元180根据控制器190的控制在其中存储数据。存储单元180被实现为非易失性存储器(诸如闪存或硬盘驱动器)。存储单元180被控制器190、图像处理器120或语音处理器170访问,存储在存储单元180中的数据可被控制器190、图像处理器120或语音处理器170读取/写入/修改/删除/更新。
当通过语音输入单元160接收到用户话语时,控制器190控制语音处理器170处理输入的话语。控制器190确定与该话语相应的语音命令是短句还是会话语句,并根据确定结果控制语音处理器170或服务器10处理语音命令。更具体地讲,如果语音命令是短句,则控制器190控制语音处理器170处理语音命令。如果语音命令是会话语句,则控制器190通过通信单元140将语音命令发送到服务器10,以由服务器10处理语音命令。
图2是示出显示设备100与服务器20和30的交互结构的框图。
如图2中所示,显示设备100包括通信单元140、语音输入单元160、语音处理器170和控制器190。该配置与图1中解释的配置相同。通信单元140连接到语音至文本(STT)服务器20和会话服务器30,其中,STT服务器20将用户话语转换为语音命令,会话服务器30分析语音命令以确定语音命令的相应操作。
当接收到语音信号时,STT服务器20分析语音信号的波形,将语音信号的内容转换为文本。当从显示设备100接收到用户话语的语音信号时,STT服务器20将语音信号转换为语音命令。
会话服务器30包括用于显示设备100的与语音命令相应的各种操作的数据库。会话服务器30分析由显示设备100发送的语音命令,将控制信号发送到显示设备100以执行与语音命令相应的操作。
如果用户话语被输入到语音输入单元160,则控制器190将话语的语音信号发送到STT服务器20,并从STT服务器20接收与话语相应的语音命令。
控制器190确定由STT服务器20发送的语音命令是短句还是会话语句。如果语音命令是短句,则控制器190控制语音处理器170处理语音命令。如果语音命令是会话语句,则控制器190控制会话服务器30处理语音命令。
如果语音命令是短句,则语音处理器170根据控制器190的控制来搜索存储在存储单元180中的数据库,以指定显示设备100的与所述语音命令相应的功能或操作。控制器190控制指定的操作被执行。
如果语音命令是会话语句,则控制器190将语音命令发送到会话服务器30。会话服务器30分析由显示设备100发送的语音命令,以指定显示设备100的操作。会话服务器30将用于指示指定的操作的控制信号发送到显示设备100,其中,显示设备100根据控制信号执行操作。
然后,根据用户话语来执行显示设备100的预设的相应操作。
根据语音命令是短句还是会话语句来选择语音命令的处理主体的处理可取决于显示设备100的系统负载和处理能力。由于会话语句是自然语言,因此对根据会话语句的语音命令内的期望的相应操作进行机器提取相对不易。由于通过使用显示设备100的有限资源无法容易地分析根据会话语句的语音命令,因此根据会话语句的语音命令可被会话服务器30处理,从而处理各种话语。
这样的配置可在设计上变化,并且,可由显示设备100执行STT服务器20和会话服务器30中的至少一个的处理。例如,显示设备100(不是服务器20和30)可将用户话语转换为语音命令,或者分析根据会话语句的语音命令。
使用上述配置,控制器190控制语音处理器170或会话服务器30执行指定与用户话语的语音命令相应的操作的处理。下文中,将描述由控制器190控制语音处理器170指定显示设备100的与语音命令相应的操作的配置。由会话服务器30指定与语音命令相应的显示设备100的操作的配置可采用下文中将描述的示例性实施例。
图3示出存储在显示设备100或会话服务器30中的关于与语音命令相应的操作的数据库210的示例。
如图3中所示,存储单元180在其中存储与相应于用户话语的语音命令匹配的数据库210以及由显示设备100执行的各种功能或操作。“操作”表示由显示设备100执行且支持的任何类型的操作和功能。
控制器190(例如,控制语音处理器170)基于预定的语音命令搜索数据库210,并可确定哪个操作相应于语音命令。
数据库210仅表示数据建立原则或方法之一,不限制示例性实施例。如附图中示出的数据库210指示一个命令相应于一个操作,但这仅为了便利的目的。数据库210可指示多个命令相应于一个操作。仅为了便利的目的来指定数据库210的标号。
例如,如果与用户话语相应的语音命令是“开启”,则控制器190可(例如,控制语音处理器170)基于语音命令“开启”搜索数据库210,并确定与语音命令“开启”相应的操作是“开启系统”。
然后,控制器190可考虑显示设备100的当前状态选择性地执行操作。如果显示设备100已经被开启,则控制器190可不执行操作“开启系统”。如果显示设备100当前被关闭,则控制器190控制显示设备100开启系统。
作为另一示例,如果用户在显示设备100显示图像时说“太吵了”,则控制器190可(例如,控制语音处理器170)从数据库210指定与语音命令“太吵了”相应的操作是“静音”。控制器190将显示的图像的音量调节至零,以执行“静音”操作。
作为另一示例,如果用户在显示设备100显示图像时说“我什么都听不到”,则控制器190可(例如,控制语音处理器170)从数据库210确定与命令“我什么都听不到”相应的操作是“将音量提高5级”。然后,控制器190将显示的图像的音量提高5级。
通过上述方法,控制器190可执行与用户话语相应的操作。
然而,由于用户具有不同的讲话习惯和结构,因此在通过使用STT服务器20或语音处理器170的语音识别逻辑来阐释用户讲出的所有词语方面,上述用于识别用户话语命令的配置可能不总是产生准确结果。
例如,如果用户说“开启”,则STT服务器20会将话语的语音信号转换为另一语音命令,而非语音命令“开启”。如果数据库210不具有转换的语音命令,则控制器190不会执行与该语音命令相应的任何操作。
另外,转换的语音命令会存在于数据库210中,但会不同于用户的语音命令。例如,如果用户已讲出“开启”而转换的语音命令是“关闭”,则控制器190可确定与该语音命令相应的操作是“关闭系统”。关于用户话语“开启”,不同于用户的意图,上述情况导致关闭显示设备100的系统。
考虑上述来提供以下根据示例性实施例的方法:
如果输入到语音输入单元160的用户话语与相应操作不匹配,则控制器190允许用户调整关于用户语音命令的相应操作。如果相同的话语稍后被输入,则控制器190根据调整结果执行与所述话语匹配的相应操作。
更具体地讲,当发生预设事件时,控制器190提供用于在数据库210中调整用户语音命令和相应操作之间的互连或对应关系的设置状态的用户界面(UI)。预设事件可包括由用户对用户输入单元150的操纵或用户语音导致的请求UI的命令的产生。
在第一操作被指定用于预定的第一命令的初始状态,如果与第一命令相应的操作通过UI被调整为不同于第一操作的第二操作,则控制器190根据所述调整来更新数据库210。如果与用户话语相应的语音命令是第一命令,则控制器190基于更新的数据库210执行第二操作,而非第一操作。
在第一操作被指定用于第一命令的初始状态,如果作为新的语音命令的第二命令被指定用于第一操作,则控制器190根据所述指定更新数据库210。如果与用户话语相应的语音命令是第一命令或第二命令,则控制器190基于更新的数据库执行第一操作。
结果,语音识别操作可被调整为与用户意图一致。
下文中,将描述通过UI改变语音命令的设置的方法。
图4至图6示出用于设置语音命令的UI220、230和240的示例。
如图4中所示,用户通过用户输入单元150请求控制器190显示用于改变与话语相应的语音命令的设置的UI220。控制器190显示UI220。
UI220包括引导用户讲话的信息,从而指定反映了用户设置的语音命令和话语。用户在显示UI220时讲出语音命令。
如果在显示UI220时通过语音输入单元160输入用户话语,则控制器190控制语音处理器170或STT服务器20将用户话语转换为语音命令。
如图5中所示,控制器190显示UI230,其中,UI230引导用户指定期望的操作以指定存储在数据库210(参照图3)中的显示设备100的各种操作中的与输入的语音命令相应的操作。
在先前UI220(参照图4)被显示时提供UI230,以使用户选择与用户话语的语音命令相应的操作。
例如,将考虑在显示UI220(参照图4)时用户说“开启”的情况。用户根据UI230的引导按下被实现为遥控器的用户输入单元150的电源按钮151。控制器190将用户话语所转换成的语音命令与由用户操纵的电源按钮151进行匹配,并更新数据库210(参照图3)。
由于电源按钮151是触发类型(toggle type),因此,如果用户按下电源按钮151,则执行两种类型的结果,即,开启和关闭。在这种情况下,UI230可另外提供用于选择开启或关闭的选项。
作为另一示例,将考虑在显示UI220(参照图4)时用户讲出语音命令“降低音量”的情况。用户根据UI230的引导按下用户输入单元150的音量降低按钮152。然后,控制器190进行调节以执行与语音命令“降低音量”相应的音量降低按钮152的操作。
也就是说,即使用户话语被转换为与实际内容不同的语音命令,用户也可指定或调节与语音命令相应的操作,结果,可执行与用户意图匹配的操作。
如图6中所示,在示例性实施例的另一方面,如果在显示UI220(参照图4)时输入用户话语,则控制器190可显示UI240以选择与关于话语的语音命令相应的操作,其中,UI240包括多个预设操作的列表。
在UI240中显示列表的方法可变化,包括通过滚动型列表、或弹出列表或菜单或包括子项的树形菜单按预设顺序显示多个操作,使得用户可选择若干代表项之一。
在上述方法中,当在数据库210中特定语音命令被设置用于第一操作时,控制器190可将该语音命令的指定状态从第一操作调整为第二操作,或者添加与第一操作相应的新的语音命令。
然而,第一操作和第二操作可以是用于调整相同功能的数值等级(figurelevel)的操作,但是等级数可以不同。
例如,将考虑用户话语的语音命令“降低音量”以及相应操作是用于将当前音量降低7级的操作的情况。如果7级如以上解释的通过UI被调整为5级,则控制器190以调整的内容来更新数据库210。
如果稍后输入“降低音量”的用户话语,则控制器190将音量降低5级。
如以上,通过UI更新数据库210可反映用户的各种意图。
控制器190可设置宏指令,在宏指令中,通过用户的单个语音命令、讲出的词语或讲出的句子来顺序执行与用户讲出的多个语句相应的多个操作。
图7示出根据示例性实施例的宏指令中的序列的示例。
如图7中所示,控制器190可提供用于宏指令的设置以顺序执行多个操作,这可由用户通过UI来设置。
UI的实现方法可变化,例如,UI可被提供以从各种现有操作的列表顺序选择操作。
将考虑用户设置用于自动执行睡眠预定和报警设置的宏指令的情况。在这种情况下,操作的序列包括睡眠预定功能310的选择、关闭显示设备100的系统电源的时间320、报警设置功能330的选择、报警时间340(例如,响铃、通知用户)以及序列完成的设置350。
当接收到通过经用户输入单元150的用户操纵或经语音输入单元160的用户话语进行的用于设置宏指令的请求时,控制器190显示用于设置宏指令的UI。
图8至图12示出用于设置宏指令的UI410、420、430、440和450的示例。
如图8中所示,控制器190显示UI410,UI410,用于选择宏指令的第一操作。UI410被提供,以选择多个操作之一,用户可操纵用户输入单元150或者讲出与用于选择宏指令的第一操作的操作相应的语音命令。在图8中示出的示例性实施例中,用户通过UI410选择“睡眠预定”操作。
如图9中所示,如果用户选择“睡眠预定”,则控制器190显示UI420,用于指定其后关闭显示设备100的时间。
UI420被提供,以选择多个预设时间示例。否则,UI420可被提供,以使用户通过他/她的话语输入时间或通过用户输入单元150输入时间。
如图10中所示,控制器190显示UI430,使用户选择是完成了包括如以上解释的操作序列的宏指令的设置还是通过添加操作继续设置宏指令。
用户可选择“完成”以完成宏指令的设置或者选择“继续”。
如图11中所示,如果用户从UI430(参照图10)选择“继续”,则控制器190向用户显示UI440,以选择宏指令的下一操作。UI440的类型与图8中的情况基本相似。
用户通过UI440选择“报警设置”操作。
如图12中所示,控制器190显示UI450,使用户根据先前选择的“报警设置”操作的选择来指定报警时间。
用户可在显示UI450时通过用户输入单元150输入数字或者讲出数字,从而设置报警时间。
如果完成了设置操作,则控制器190如图10中所示显示UI430。如果用户选择“完成”,则控制器190将用于设置图7中的序列中的操作的宏指令存储在存储单元180的数据库中。
如果用户讲出与宏指令中的第一操作相应的语音命令,即,讲出属于“睡眠预定”的语音命令,则控制器190顺序执行如宏指令中设置的多个操作。否则,在设置宏指令的过程中,新的语音命令可被设置用于执行宏指令。
如以上,可通过用户的简单语音命令顺序执行所述多个操作。
虽然已经示出和描述了一些示例性实施例,但是本领域的技术人员将理解,在不脱离本发明构思的原理和精神的情况下,可在这些示例性实施例中进行改变,其中,本发明构思的范围由权利要求及其等同物限定。

Claims (14)

1.一种图像处理设备,包括:
图像处理器,处理图像信号以基于处理的图像信号显示图像;
语音输入单元,接收用户话语;
语音处理器,处理与用户话语相应的语音命令以确定语音命令的预设操作;
控制器,如果输入到语音输入单元的用户话语与由语音处理器确定的预设操作不匹配,则控制器调整语音命令的预设操作,并根据调整结果执行与用户话语匹配的预设操作。
2.根据权利要求1所述的图像处理设备,其中,控制器提供用于调整语音命令的预设操作的指定状态的用户界面(UI),如果为预定的用户话语的语音命令指定的预设操作通过所述UI从第一操作被调整到第二操作,则当接收到用户话语的输入时,控制器执行第二操作。
3.根据权利要求2所述的图像处理设备,其中,所述UI引导用户讲话,如果用户话语通过所述UI的引导被输入到语音输入单元,则控制器将多个预设操作中的一个预设操作选择为与用户话语的语音命令相应的第二操作。
4.根据权利要求3所述的图像处理设备,其中,所述UI引导用户操纵安装在用户输入单元中的多个输入按钮,控制器将为通过引导所操纵的输入按钮预先指定的操作选择为所述多个预设操作中的第二操作。
5.根据权利要求3所述的图像处理设备,其中,所述UI包括多个预设操作的列表,控制器将从列表选择的操作选择为第二操作。
6.根据权利要求2所述的图像处理设备,其中,所述UI被提供用于设置宏指令,其中,所述宏指令用于通过单个话语顺序执行与多个话语相应的多个预设操作。
7.根据权利要求6所述的图像处理设备,其中,如果与包括在宏指令中的多个预设操作中的第一操作相应的用户话语被输入,则控制器执行宏指令。
8.根据权利要求1所述的图像处理设备,还包括连接到服务器以进行通信的通信单元,其中,如果用户话语被输入,则控制器控制语音处理器和服务器之一处理与用户话语相应的语音命令。
9.根据权利要求8所述的图像处理设备,其中,通信单元与语音至文本(STT)服务器通信,其中,STT服务器将用户话语转换为文本的语音命令,并且,如果用户话语被输入到语音输入单元,则控制器将用户话语的语音信号发送到STT服务器,并从STT服务器接收与用户话语相应的语音命令。
10.根据权利要求8所述的图像处理设备,其中,如果语音命令是短句,则控制器控制语音处理器处理语音命令,如果语音命令是会话语句,则控制器控制服务器处理语音命令。
11.根据权利要求1所述的图像处理设备,还包括显示单元,其中,所述显示单元基于由图像处理器处理的图像信号在显示单元上显示图像。
12.一种图像处理设备的控制方法,包括:
接收用户话语;
处理与用户话语相应的语音命令以确定语音命令的预设操作;
如果预设操作与用户话语不匹配,则调整语音命令的预设操作,并根据调整结果进行设置以执行与用户话语匹配的预设操作。
13.根据权利要求12所述的控制方法,其中,调整语音命令的预设操作并根据调整结果进行设置以执行与用户话语匹配的预设操作的步骤包括:提供用于调整关于语音命令的预设操作的指定状态的UI;如果为预定的用户话语的语音命令指定的预设操作通过所述UI从第一操作被调整到第二操作,则当接收到用户话语时进行设置以执行第二操作。
14.根据权利要求13所述的控制方法,其中,所述UI被提供用于设置宏指令,其中,所述宏指令用于通过用户的单个话语顺序执行与多个话语相应的多个预设操作。
CN201310020547.3A 2012-10-26 2013-01-21 图像处理设备及其控制方法和图像处理系统 Pending CN103796053A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0119634 2012-10-26
KR1020120119634A KR101284594B1 (ko) 2012-10-26 2012-10-26 영상처리장치 및 그 제어방법, 영상처리 시스템

Publications (1)

Publication Number Publication Date
CN103796053A true CN103796053A (zh) 2014-05-14

Family

ID=47751802

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2013200292585U Expired - Fee Related CN203151689U (zh) 2012-10-26 2013-01-21 图像处理设备以及图像处理系统
CN201310020547.3A Pending CN103796053A (zh) 2012-10-26 2013-01-21 图像处理设备及其控制方法和图像处理系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2013200292585U Expired - Fee Related CN203151689U (zh) 2012-10-26 2013-01-21 图像处理设备以及图像处理系统

Country Status (8)

Country Link
US (2) US20140122088A1 (zh)
EP (1) EP2725576A1 (zh)
JP (1) JP2014132370A (zh)
KR (1) KR101284594B1 (zh)
CN (2) CN203151689U (zh)
DE (1) DE202012104833U1 (zh)
FR (1) FR2997599B3 (zh)
WO (1) WO2014065467A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763929A (zh) * 2016-02-23 2016-07-13 广州酷狗计算机科技有限公司 音频切换方法及装置
CN106791370A (zh) * 2016-11-29 2017-05-31 北京小米移动软件有限公司 一种拍摄照片的方法和装置
CN108235185A (zh) * 2017-12-14 2018-06-29 珠海荣邦智能科技有限公司 音源输入客户端设备、遥控器,以及播放音乐的系统
CN109584862A (zh) * 2017-09-29 2019-04-05 上海寒武纪信息科技有限公司 图像处理装置和方法
CN109584864A (zh) * 2017-09-29 2019-04-05 上海寒武纪信息科技有限公司 图像处理装置和方法
CN110114825A (zh) * 2016-12-30 2019-08-09 哈曼国际工业有限公司 语音识别系统
CN111988483A (zh) * 2019-05-22 2020-11-24 柯尼卡美能达株式会社 图像处理装置及程序

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102112742B1 (ko) * 2013-01-22 2020-05-19 삼성전자주식회사 전자장치 및 그 음성 처리 방법
KR102155482B1 (ko) * 2013-10-15 2020-09-14 삼성전자 주식회사 디스플레이장치 및 그 제어방법
CN104795067B (zh) 2014-01-20 2019-08-06 华为技术有限公司 语音交互方法及装置
JP2016046636A (ja) * 2014-08-21 2016-04-04 日本電気株式会社 動作制御装置、動作制御方法、および動作制御プログラム
CN107003647B (zh) * 2014-09-25 2019-08-06 西门子公司 用于执行自动化系统的配置的方法和系统
US10424297B1 (en) * 2017-02-02 2019-09-24 Mitel Networks, Inc. Voice command processing for conferencing
CN107248235A (zh) * 2017-05-26 2017-10-13 黄晓咏 一种语音寄存柜通讯系统
CN109218843B (zh) * 2018-09-27 2020-10-23 四川长虹电器股份有限公司 基于电视设备的个性化智能语音提示方法
CN109259800A (zh) * 2018-10-26 2019-01-25 深圳开立生物医疗科技股份有限公司 超声成像控制系统
JP7318381B2 (ja) * 2019-07-18 2023-08-01 コニカミノルタ株式会社 画像形成システムおよび画像形成装置
KR102165084B1 (ko) * 2020-01-21 2020-10-13 주식회사 나인위드 직관적인 사용자 인터페이스를 이용한 경품 추첨 서비스 제공 시스템
CN111597808B (zh) * 2020-04-24 2023-07-25 北京百度网讯科技有限公司 仪表盘绘制处理方法、装置、电子设备和存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07109560B2 (ja) * 1990-11-30 1995-11-22 富士通テン株式会社 音声認識装置
KR970057020A (ko) * 1995-12-15 1997-07-31 배순훈 음성인식에 의한 텔레비전 제어장치
ES2198758T3 (es) * 1998-09-22 2004-02-01 Nokia Corporation Procedimiento y sistema de configuracion de un sistema de reconocimiento por voz.
KR20000042731A (ko) * 1998-12-26 2000-07-15 전주범 텔레비전의 음성인식에 의한 채널전환장치
US6327566B1 (en) * 1999-06-16 2001-12-04 International Business Machines Corporation Method and apparatus for correcting misinterpreted voice commands in a speech recognition system
GB2368441A (en) * 2000-10-26 2002-05-01 Coles Joseph Tidbold Voice to voice data handling system
JP4789227B2 (ja) * 2001-04-04 2011-10-12 Necディスプレイソリューションズ株式会社 音声認識機能を内蔵した映像表示装置
US7366673B2 (en) * 2001-06-15 2008-04-29 International Business Machines Corporation Selective enablement of speech recognition grammars
DE10313310A1 (de) * 2003-03-25 2004-10-21 Siemens Ag Verfahren zur sprecherabhängigen Spracherkennung und Spracherkennungssystem dafür
US20060075429A1 (en) * 2004-04-30 2006-04-06 Vulcan Inc. Voice control of television-related information
US8589156B2 (en) * 2004-07-12 2013-11-19 Hewlett-Packard Development Company, L.P. Allocation of speech recognition tasks and combination of results thereof
KR100672518B1 (ko) * 2005-02-15 2007-01-24 엘지전자 주식회사 음성인식 기능을 갖는 티브이
TWI298844B (en) * 2005-11-30 2008-07-11 Delta Electronics Inc User-defines speech-controlled shortcut module and method
JP4181590B2 (ja) * 2006-08-30 2008-11-19 株式会社東芝 インタフェース装置及びインタフェース処理方法
US8055502B2 (en) * 2006-11-28 2011-11-08 General Motors Llc Voice dialing using a rejection reference
US8676904B2 (en) * 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
EP2678861B1 (en) * 2011-02-22 2018-07-11 Speak With Me, Inc. Hybridized client-server speech recognition
KR20120119634A (ko) 2011-04-22 2012-10-31 (주)광인사 입체무늬를 갖는 플라스틱 카드

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763929A (zh) * 2016-02-23 2016-07-13 广州酷狗计算机科技有限公司 音频切换方法及装置
CN105763929B (zh) * 2016-02-23 2018-10-23 广州酷狗计算机科技有限公司 音频切换方法及装置
CN106791370A (zh) * 2016-11-29 2017-05-31 北京小米移动软件有限公司 一种拍摄照片的方法和装置
CN110114825A (zh) * 2016-12-30 2019-08-09 哈曼国际工业有限公司 语音识别系统
CN109584862A (zh) * 2017-09-29 2019-04-05 上海寒武纪信息科技有限公司 图像处理装置和方法
CN109584864A (zh) * 2017-09-29 2019-04-05 上海寒武纪信息科技有限公司 图像处理装置和方法
CN109584864B (zh) * 2017-09-29 2023-11-24 上海寒武纪信息科技有限公司 图像处理装置和方法
CN109584862B (zh) * 2017-09-29 2024-01-12 上海寒武纪信息科技有限公司 图像处理装置和方法
CN108235185A (zh) * 2017-12-14 2018-06-29 珠海荣邦智能科技有限公司 音源输入客户端设备、遥控器,以及播放音乐的系统
CN111988483A (zh) * 2019-05-22 2020-11-24 柯尼卡美能达株式会社 图像处理装置及程序

Also Published As

Publication number Publication date
WO2014065467A1 (en) 2014-05-01
CN203151689U (zh) 2013-08-21
US20140122089A1 (en) 2014-05-01
US20140122088A1 (en) 2014-05-01
FR2997599B3 (fr) 2015-05-29
KR101284594B1 (ko) 2013-07-10
FR2997599A3 (fr) 2014-05-02
DE202012104833U1 (de) 2013-01-30
JP2014132370A (ja) 2014-07-17
EP2725576A1 (en) 2014-04-30

Similar Documents

Publication Publication Date Title
CN103796053A (zh) 图像处理设备及其控制方法和图像处理系统
CN103945250B (zh) 图像处理设备、其控制方法、以及图像处理系统
US7538711B2 (en) Integrated remote control device receiving multimodal input and method of the same
CN114360543B (zh) 交互服务器及其控制方法和交互系统
CN103716704B (zh) 图像处理设备及其控制方法和图像处理系统
US11488598B2 (en) Display device and method for controlling same
US10140990B2 (en) Display apparatus capable of releasing a voice input mode by sensing a speech finish and voice control method thereof
US8798311B2 (en) Scrolling display of electronic program guide utilizing images of user lip movements
CN105659318B (zh) 声音识别处理装置、声音识别处理方法以及显示装置
CN103916704A (zh) 对话型接口设备及其控制方法
CN103516711A (zh) 显示设备、用于控制显示设备的方法和交互系统
KR20180024927A (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
CN105847921A (zh) 图像显示设备及控制图像显示设备的方法
KR20020043635A (ko) 다운로드가능한 음성 명령 세트를 구비하는 음성 제어형원격제어기
EP3011751B1 (en) Server, control method thereof, image processing apparatus, and control method thereof
EP3792919B1 (en) Electronic device and operating method thereof
KR20150089145A (ko) 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
US20130041666A1 (en) Voice recognition apparatus, voice recognition server, voice recognition system and voice recognition method
CN107046653A (zh) 音频处理设备和音频处理方法
CN114172757A (zh) 服务器、智能家居系统及多设备语音唤醒方法
KR102460927B1 (ko) 음성인식 시스템, 음성인식 서버 및 디스플레이장치의 제어방법
KR101877430B1 (ko) 영상처리장치 및 그 제어방법, 영상처리 시스템
KR20210097428A (ko) 전자장치 및 그 제어방법
KR20140053760A (ko) 영상처리장치 및 그 제어방법, 영상처리 시스템
US20240007698A1 (en) System and method for generating a voice prompt in response to remote control actuation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140514