CN115811576A - 带交互代理功能的图像形成系统及其控制方法和存储介质 - Google Patents

带交互代理功能的图像形成系统及其控制方法和存储介质 Download PDF

Info

Publication number
CN115811576A
CN115811576A CN202211498819.6A CN202211498819A CN115811576A CN 115811576 A CN115811576 A CN 115811576A CN 202211498819 A CN202211498819 A CN 202211498819A CN 115811576 A CN115811576 A CN 115811576A
Authority
CN
China
Prior art keywords
function
image forming
voice
microphone
function setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211498819.6A
Other languages
English (en)
Other versions
CN115811576B (zh
Inventor
池田谕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN202211498819.6A priority Critical patent/CN115811576B/zh
Priority claimed from CN201910811041.1A external-priority patent/CN110875993B/zh
Publication of CN115811576A publication Critical patent/CN115811576A/zh
Application granted granted Critical
Publication of CN115811576B publication Critical patent/CN115811576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00352Input means
    • H04N1/00403Voice input means, e.g. voice commands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203Improving or facilitating administration, e.g. print management
    • G06F3/1204Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • G06F3/1253Configuration of print job parameters, e.g. using UI at the client
    • G06F3/1254Automatic configuration, e.g. by driver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • G06F3/1253Configuration of print job parameters, e.g. using UI at the client
    • G06F3/1257Configuration of print job parameters, e.g. using UI at the client by using pre-stored settings, e.g. job templates, presets, print styles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1278Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285Remote printer device, e.g. being remote from client or server
    • G06F3/1287Remote printer device, e.g. being remote from client or server via internet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00352Input means
    • H04N1/00395Arrangements for reducing operator input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00482Output means outputting a plurality of job set-up options, e.g. number of copies, paper size or resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203Improving or facilitating administration, e.g. print management
    • G06F3/1205Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1278Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285Remote printer device, e.g. being remote from client or server
    • G06F3/1288Remote printer device, e.g. being remote from client or server in client-server-printer device configuration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)

Abstract

本申请涉及带交互代理功能的图像形成系统及其控制方法和存储介质。一种能够提升交互代理功能的可用性的图像形成系统。该图像形成系统接收输入到其中的语音作为与作业的执行有关的指令。该图像形成系统基于输入到其中的语音所指示的设置执行作业,并且在所输入的语音中包括特定词的情况下,该图像形成系统基于被事先注册为与该特定词相关联的多种类型的设置执行该作业。

Description

带交互代理功能的图像形成系统及其控制方法和存储介质
本申请是申请号为201910811041.1、申请日为2019年8月30日、发明名称为“带交互代理功能的图像形成系统及其控制方法和存储介质”的发明专利申请的分案申请。
技术领域
本发明涉及一种配备有交互代理功能的图像形成系统、控制该系统的方法和存储介质。
背景技术
已知MFP是配备有交互代理功能的语音交互装置。该MFP使用交互代理功能接收用户发出的语音,作为作业设置指令、作业执行指令等(参见日本专利申请公开(Kokai)No.2014-222513)。这使得用户能够仅通过发出指令的内容而无需操作MFP的控制台部分,就容易地提供作业设置指令、作业执行指令等等。
然而,在传统的技术中,在用户通过使用交互代理功能提供用于执行作业的指令,其中执行该作业需要设置多种类型的设置的情形中,用户被要求发出多种类型的设置,这降低了功能的可用性。
发明内容
本发明提供了能够提升交互代理功能的可用性的图像形成系统、控制该系统的方法和存储介质。
在本发明的第一方面,提供了一种图像形成系统,包括:图像形成设备,该图像形成设备被配置为在片材上形成图像;麦克风,该麦克风能够接收语音;和至少一个控制器,该至少一个控制器被配置为用作第一单元和第二单元,该第一单元被配置为将基于经由麦克风输入的第一语音获取的至少一个图像形成设置与基于经由麦克风输入的第二语音获取的识别信息相关联,该第二单元被配置为基于经由麦克风输入的第三语音获取与识别信息相关联的该至少一个图像形成设置,并且使得图像形成设备至少基于所获取的至少一个图像形成设置执行图像形成。
在本发明的第二方面,提供了控制图像形成系统的方法,该图像形成系统包括配置为在片材上形成图像的图像形成设备和能够获取语音的麦克风,该方法包括将基于经由麦克风输入的第一语音获取的至少一个图像形成设置与经由基于麦克风输入的第二语音获取的识别信息相关联,并且基于经由麦克风输入的第三语音获取与识别信息相关联的该至少一个图像形成设置,并且使得图像形成设备至少基于所获取的至少一个图像形成设置执行图像形成。
在本发明的第三方面,提供了一种非临时计算机可读存储介质,该存储介质存储了用于执行控制图像形成系统的方法的计算机可执行程序,该图像形成系统包括被配置为在片材上形成图像的图像形成设备和能够获取语音的麦克风,其中该方法包括:将基于经由麦克风输入的第一语音获取的至少一个图像形成设置与基于经由麦克风输入的第二语音获取的识别信息相关联,并且基于经由麦克风输入的第三语音获取与识别信息相关联的该至少一个图像形成设置,并且使得图像形成设备至少基于所获得的至少一个图像形成设置执行图像形成。
根据本发明,能够提升交互代理功能的可用性。
(参照附图)阅读示例性实施例的以下描述,本发明的进一步特征将变得十分清楚。
附图说明
图1是用于解释配备在根据本发明的实施例作为图像形成系统的MFP中的交互代理功能的示图。
图2是表示出现在图1中的MFP的硬件配置的示意性框图。
图3是由出现在图1中的MFP、自然语言处理服务和多功能外围设备管理服务进行的语音识别信息生成处理的序列图。
图4是说明在用户和出现在图1中的MFP之间的交互的示图。
图5是由出现在图1中的MFP进行作业执行处理的流程图。
图6是说明在用户和出现在图1中的MFP之间的交互的示图。
图7是说明在用户和出现在图1中的MFP之间的交互的示图。
图8是表示由出现在图1中的MFP设置的功能设置信息的例子的示图。
图9是说明用户和MFP之间关于执行FAX作业的交互的示图。
图10是表示来自出现在图1中的MFP的通知的例子的示图。
图11是表示由出现在图1中的MFP管理的管理表的例子的示图。
图12是说明在用于作业执行的功能设置信息已被注册的情况下在用户和MFP之间的交互的示图。
图13A和图13B是用于解释出现在图1中的MFP中配备的事先通知功能的示图。
图14是图5中作业执行处理的变化的流程图。
图15是说明用户和出现在图1中的MFP之间的交互的示图。
图16是配备有自然语言处理服务和多功能外围设备管理服务的MFP的功能框图。
具体实施方式
现在将参照表示其实施例的附图将本发明详细描述如下。虽然在以下描述的实施例中,本发明作为图像形成系统被应用于MFP,本发明并不限于被应用于MFP。例如,本发明可以被应用于配备有交互代理功能的装置,诸如智能扬声器、智能手机、平板终端和PC。
图1是用于解释配备在由附图标记101指示的MFP中的交互代理功能的示图,该MFP是根据本发明的实施例的图像形成系统。作为图像形成装置的MFP 101进行图像形成处理。MFP 101配备有多个用于执行作业的功能,执行作业涉及图像形成处理的执行,该多个功能诸如复制功能、扫描功能和FAX功能。MFP 101进一步配备有交互代理功能。通过使用交互代理功能,用户能仅通过发出指令内容提供作业执行指令和作业设置指令。在接收到用户发出的语音后,MFP101将由接收到的语音以自然语言表达的用户操作请求传送到自然语言处理服务102。自然语言处理服务102是作为云103的组件的模块。在接收到来自MFP 101的用户操作请求后,自然语言处理服务102基于所接收的用户操作请求进行自然语言处理,并且分析在用户发出的语音中包括的词和短语。此外,自然语言处理服务102将分析的结果传送到多功能外围设备管理服务104。与自然语言处理服务102类似,多功能外围设备管理服务104是作为云103的组件的模块。多功能外围设备管理服务104基于从自然语言处理服务102的分析结果,生成MFP 101可以从中识别语音的语音识别信息,并且将所生成的语音识别信息传送到MFP 101。MFP 101基于所接收的语音识别信息设置例如由MFP 101接收的语音所指示的设置,作为执行作业所需的功能设置信息。
图2是表示出现在图1中的MFP 101的硬件配置的示意性框图。参照图2,MFP 101包括CPU 201、ROM 202、RAM 203、eMMC 204、麦克风和扬声器205、打印机206、扫描仪207、控制台部分208和网络控制器209。该CPU 201、ROM 202、RAM 203、eMMC 204、麦克风和扬声器205、打印机206、扫描仪207、控制台部分208和网络控制器209经由总线210互相连接。
CPU 201控制MFP 101的整体操作。CPU 201通过将存储在ROM202或eMMC 204中的程序加载到RAM 203中进行各种控制,诸如扫描控制、打印控制和传送控制。RAM 203是当CPU 201执行程序时被用作工作区域等的存储器。eMMC 204存储图像数据和各种程序。麦克风和扬声器205接收用户发出的语音。此外,麦克风和扬声器205将对于从用户接收到的语音的响应消息输出为语音。
打印机206基于经由总线210传输的图像数据进行打印处理。扫描仪207读取放置在在其上的文件,并且生成图像数据。控制台部分208包括显示部分(未示出)、硬键(未示出)等等。显示部分也作为可由用户手指操作的触摸板操作。网络控制器209包括为了连接到LAN 211的未示出的NIC(网络接口卡)。
图3是由出现在图1中的MFP 101、自然语言处理服务102和多功能外围设备管理服务104执行的语音识别信息生成处理的序列图。当通过麦克风和扬声器205接收到语音时,执行图3中的处理。
参照图3,当MFP 101经由麦克风和扬声器205接收到语音(步骤S301)时,MFP 101将由接收到的语音以自然语言表达的用户操作请求传送到自然语言处理服务102(步骤S302)。自然语言处理服务102基于接收到的用户操作请求进行自然语言处理,并且分析经由麦克风和扬声器205接收的语音中包括的词和短语(步骤S303)。然后,自然语言处理服务102将分析的结果传送到多功能外围设备管理服务104(步骤S304)。多功能外围设备管理服务104基于所接收的分析结果生成语音识别信息(步骤S305),并且将生成的语音识别信息传送到MFP 101(步骤S306)。MFP 101基于所接收到的语音识别信息识别用户的指令并且将响应消息作为对于所识别的指令的语音消息从麦克风和扬声器205输出。因此,在本实施例里,通过执行图3中的处理,无论何时经由麦克风和扬声器205接收到语音,MFP 101可以获取来自多功能外围设备管理服务104的接收到的语音的语音识别信息,并且基于所获取的语音识别信息掌握经由麦克风和扬声器205接收到的每条语音的内容。在以下描述中,省略了参照图3描述的处理的操作的解释,并且该描述是在假设当MFP 101经由麦克风和扬声器205接收到语音时,MFP 101从多功能外围装置管理服务104获取接收到的语音的语音识别信息的情况下给出的。
接下来,将描述当用户使用交互代理功能指示执行作业时用户和MFP 101之间进行的交互。
参照图4,当MFP 101经由麦克风和扬声器205接收到包括用于启动语音输入操作的预定语音输入关键词的语音消息401和指示使用复制功能的语音消息402时,MFP 101从麦克风和扬声器205输出语音消息403,用于提示用户设置复制作业的功能设置信息。复制作业的功能设置信息以下称为复制设置信息。随后,在经由麦克风和扬声器205收到关于复制设置信息的语音消息404到406时,MFP 101基于语音消息404到406将“4in1”、“彩色”、“双面”和“装订”作为复制设置信息。MFP 101从麦克风和扬声器205输出指示被设定的设置的语音消息407。此外,MFP 101基于被设定的复制设置信息执行复制作业。当复制作业的执行已完成时,MFP 101输出语音消息408以提示用户选择是否将所执行的复制作业中使用的功能设置信息保存为预设。在经由麦克风和扬声器205接收到用户的大意是所使用的功能设置信息将被保存的语音消息409后,MFP 101从麦克风和扬声器205输出用于提示用户为预设设置预设名称的消息410。然后,在经由麦克风和扬声器205接收到来自用户的指示预设名称的语音消息411后,MFP 101注册所接收到的与上述功能设置信息相关联的预设名称。这使得用户从下一次开始能够仅通过发出预设名称,就可以为MFP 101设置与预设名称相关联的功能设置消息。注意已注册的信息被存储在ROM 202等中。此外,MFP 101从麦克风和扬声器205输出语音消息412,大意是用户从下一次开始可以通过发出预设名称来调用功能设置信息。此时,MFP 101从麦克风和扬声器205输出“4in1”、“彩色”、“双面”和“装订”作为功能设置信息的具体数值,以及输出“团队会议”作为预设名称。
图5是由出现在图1中的MFP 101执行的作业执行处理的流程图。执行存储在ROM202或eMMC 204的程序的CPU 201执行图5中的处理。例如当MFP 101启动时执行图5中的处理。
参照图5,首先,在经由麦克风和扬声器205接收到语音后,CPU201基于从多功能外围设备管理服务104接收的所接收到的语音的语音识别信息判定所接收到的语音中是否包括预定语音输入关键词(步骤S501)。如果所接受到的语音中包括预定语音输入关键词(对步骤S501为YES),那么CPU 201启动语音输入操作(步骤S502)。然后,在经由麦克风和扬声器205接收到另一语音后,CPU 201基于所接收到的语音的语音识别信息识别由用户指定的功能(步骤S503)。例如,在接收到图6中的语音消息601的情形中,CPU 201基于语音消息601的语音识别信息识别出用户指定的功能为复制功能。然后,CPU 201从麦克风和扬声器205输出图6中的语音消息602,用于提示用户使用所识别的功能设置作业的功能设置信息。其后,在经由麦克风和扬声器205接收到另一语音后,CPU 201判定所接收到的语音是否包括事先注册的预设名称(步骤S504)。
如果在步骤S504中判定所接收到的语音中包括事先注册的预设名称(参见例如图6中的语音消息603)。CPU 201设置与预设名称相关联的功能设置信息。该功能设置信息包括执行作业所需的多种类型的设置,诸如出现在图4中的语音消息412中包括的复制设置信息。然后,CPU 201基于被设置的功能设置信息执行作业(步骤S505)。此外,CPU 201基于与预设名称相关联的功能设置信息输出大意是正在执行作业的语音消息604,随后终止当前处理。
如果在步骤S504中判定所接收到的语音中不包括事先注册的预设名称(参见例如图7中的语音消息701),CPU 201输出与所接收到的语音中包括的词类似的预设名称的候选列表(步骤S506)。例如,在“会议用4in1”和“会议用2in1”已经被事先注册为预设名称的状态中,在经由麦克风和扬声器205接收到包括有“会议用”的词的语音消息701的情况下,CPU201从麦克风和扬声器205中输出图7中的语音消息702,包括“会议用4in1”和“会议用2in1”作为预设名称的候选列表。其后,在经由麦克风和扬声器205接收到另一语音时,CPU 201基于所接收到的语音的语音识别信息判定是否从候选列表选取了预设名称中的一个(步骤S507)。
如果在步骤S507中判定从候选列表中选取了预设名称中的一个,CPU 201设置与所选取的预设名称相关联的功能设置信息,并且执行步骤S505。
如果在步骤S507中判定从候选列表中没有选取预设名称中的一个,CPU 201不使用预设名称来设置功能设置信息。更具体地说,如图4所示,CPU 201交互地确认需要执行作业的设置,并将经由麦克风和扬声器205接收的语音所指示的多种类型的设置设置为功能设置信息。CPU 201基于所设定的功能设置信息执行作业(步骤S508)。然后,CPU 201从麦克风和扬声器205中输出语音消息408以提示用户选择是否将作业中使用的功能设置信息保存为预设。其后,在经由麦克风和扬声器205接收到另一语音后,CPU 201基于所接收到的语音的语音识别信息判定是否将作业中使用的功能设置信息设置为预设(步骤S509)。
如果在步骤S509中判定不将作业中使用的功能设置信息保存为预设,CPU 201终止当前处理。如果在步骤S509中判定将作业中使用的功能设置信息保存在预设,CPU 201判定是否经由麦克风和扬声器205接收到指示要与作业中使用的功能设置信息相关联的预设名称的语音(步骤S510)。
如果在步骤S510中判定经由麦克风和扬声器205接收到指示要与功能设置信息相关联的预设名称的语音,CPU 201将由所接收到的语音指示的预设名称注册为与功能设置信息相关联(步骤S511)。然后,CPU 201终止当前处理。
如果在步骤S510中判定了经由麦克风和扬声器205没有接收到指示预设名称与作业中使用的功能设置信息相关联的语音,CPU 201判定在经由麦克风和扬声器205接收到最后一条语音后事先设置的预定时间段是否过去(步骤S512)。
如果在步骤S512中判定经由麦克风和扬声器205接收到最后一条语音后预定时间段没有过去,CPU 201返回步骤S510。如果在步骤S512中判定经由麦克风和扬声器205接收到最后一条语音后预定时间段已经过去,CPU 201终止当前处理。
根据以上描述的实施例,在所接收到的语音中包括预设名称的情况下,基于事先注册为与预设名称相关联的多种类型的设置执行作业。即,当用户通过使用交互代理功能指令执行需要设置多种类型的设置的作业时,用户不需要发出用于作用的该多种类型的设置。这使得用户能够通过使用交互代理功能减少指令作业执行所需要的时间和精力,从而能够提升交互代理功能的可用性。
此外,在以上描述的实施例中,在完成作业执行后,由用户选择是否将预设名称注册为与用于作业执行的该多种类型的设置相关联。这能够反映出用户关于预设名称的注册的意图。
此外,在以上描述的实施例中,当注册预设名称时,从麦克风和扬声器205输出包括与要被注册的预设名称相关联的所有设置的语音消息412。这使得,当注册预设名称时,用户能够掌握与要被注册的预设名称相关联的设置。
在以上描述的实施例中,多种设置是执行图像形成处理所需的设置。因此,能够通过使用交互代理功能减少用户指令执行涉及执行图像形成处理的作业所需要的时间和精力。
使用以上描述的实施例描述本发明,但不限于以上描述的实施例。例如,与预设名称相关联的功能设置信息可能是不同于复制设置信息的功能设置信息,即,使用配备在图8中示出的MFP 101中的任意功能的作业的功能设置信息,这些功能诸如复制功能、FAX功能、扫描和传送功能、扫描和存储功能、使用存储的文件的功能、接收托盘的功能、安全打印功能和打印功能。例如,当经由麦克风和扬声器205从用户接收到图9中大意是在FAX作业中使用的功能设置信息要被保存为预设的语音消息901,并且然后经由麦克风和扬声器205从用户接收到指示预设名称的语音消息902时,MFP 101将由语音消息902指示的预设名称注册为与FAX作业中使用的功能设置信息相关联。
此外,在以上描述的实施例中,MFP 101可配备有事先通知功能。事先通知功能是这样一种功能:在作为对于用于提示用户设置作业的功能设置信息的消息的响应来从用户接收到的语音中包括预设名称的情况下,在执行该作业前从麦克风和扬声器205输出事先注册为与该预设名称相关联的多种类型的设置。用户可以用这个功能在作业执行前确认MFP 101中为作业设置的功能设置信息。
此外,在以上描述的实施例中,在由事先通知功能从麦克风和扬声器205输出的设置的种类的数量大于预定数量的情况下,MFP 101可以如图10中所示在控制台部分208上显示设置,而不以语音输出设置。此外,在这种情况下,可以在控制台部分208上显示设置的同时从麦克风和扬声器205以语音输出设置。通过如以上提到的在控制台部分208上显示设置,即使将多种设置作为功能设置信息与预设名称相关联,用户也可以容易地掌握功能设置信息的细节。
在以上描述的实施例中,可以通过图11示出的管理表1100针对每个用户管理预设名称和功能设置信息。管理表1100被存储在MFP101和云103中的至少一个中。在管理表1100中,预设名称和功能设置信息被注册为与每个用户相关联。例如,即使为不同用户a和c注册了相同的预设名称,诸如图11中的“团队会议”,也会将功能设置信息的具有不同内容的项目注册为分别与用户a和c相关联。在经由麦克风和扬声器205接收到指示预设名称的消息的情况下,MFP 101基于用户登录到MFP 101时使用的登录信息或用户的声纹认证的认证结果来识别用户。MFP识别管理表1100中的功能设置信息,该功能设置信息与经由麦克风和扬声器205接收到的消息指示的预设名称相关联且与所识别的用户有关,并且使用所识别的功能设置信息执行作业。通过针对每个用户管理功能设置信息,能够提升交互代理功能的可用性。
在以上描述的实施例中,在用于作业执行的功能设置信息已经被存储为预设的情况下,MFP 101可以从麦克风和扬声器205输出图12中的消息1201以提示用户选择是否改变与功能设置信息相关联的预设名称。
此外,在以上描述的实施例中,可使用户设置事先通知功能的ON(开)/OFF(关)。由用户设置的指示事先通知功能的ON或OFF的设置被存储在ROM 202等中。在MFP 101将事先通知功能设置到ON的情况下,如果从用户接收到作为用于提示用户设置作业的功能设置信息的消息的响应的语音中包括预设名称,则MFP 101在作业执行之前从麦克风和扬声器205输出例如图13A中的消息1301。消息1301包括被注册为与所接收到的语音中包括的预设名称相关联的功能设置信息。另一方面,在MFP 101将事先通知功能设置到OFF的情况下,如果从用户接收到作为用于提示用户设置作业的功能设置信息的消息的响应的语音中包括预设名称,例如,如图13中示出,则MFP 101执行作业而不从麦克风和扬声器205输出请求用户确认被注册为与所接收到的语音中包括的预设名称相关联的功能设置信息的消息。
图14是图5中作业执行处理的变化的流程图。执行ROM 202或eMMC 204中存储的程序的CPU 201也进行图14中的处理。例如,当MFP 101被启动的时候图14中的处理也被执行。
参照图14,CPU 201执行步骤S501到S504。如果在步骤S540中判定所接收到的语音中不包括预设名称,则CPU 201执行步骤S506和S507。
如果在步骤S507中判定从候选列表中选取了预设名称中的一个,或者在步骤S504中判定所接收到的语音中包括事先注册的预设名称,则CPU 201判定是否将事先通知功能设定到ON或OFF(步骤S1401)。
如果在S1401中判定事先通知功能被设置到ON,则CPU 201通知用户请求用户确认与在所接收到的语音中包括的预设名称相关联的事先注册的功能设置信息的消息,例如,在图13A中的消息1301(步骤S1402)。由从麦克风和扬声器205输出的语音和控制台部分208上显示的消息中的至少一个执行在步骤S1402中的通知。然后,在经由麦克风和扬声器205接收到另一语音时,CPU 201基于所接收到的语音的语音识别信息判定是否改变功能设置信息的内容(步骤S1403)。
如果在步骤S1403中判定功能设置信息的内容不要被改变,或者在步骤S1401中判定事先通知功能被设置到OFF,则CPU 201执行步骤S505及以下各步骤。如果在步骤S1403中判定功能设置信息的内容要被改变,或者在步骤S507中判定没有从候选列表中选取一个预设名称,则CPU 201执行步骤S508到S510。
如果在步骤S510中判定已经经由麦克风和扬声器205接收到指示与作业中使用的功能设置信息相关联的预设名称的语音,则CPU201判定是否已经注册与所接收到的语音指示的预设名称相同的预设名称。
如果在步骤S1404中判定尚未注册与所接收到的语音指示的预设名称相同的预设名称,则CPU 201执行步骤S511及以下各步骤。如果在步骤S1404中判定已经注册与所接收到的语音指示的预设名称相同的预设名称,则CPU 201从麦克风和扬声器205输出例如图15中的消息1501以提示用户选择是否覆盖被注册为与预设名称相关联的信息。覆盖被注册为与预设名称相关联的信息指的是进行处理以用于将事先与预设名称相关联的功能设置信息更新到步骤S508中使用的功能设置信息。
在步骤S1405中,当经由麦克风和扬声器205从用户接收到大意是被注册为与预设名称相关联的信息要被覆盖的消息时,CPU 201覆盖被注册为与预设名称相关联的信息(步骤S1406),随后终止当前处理。
在步骤S1405中,当经由麦克风和扬声器205从用户接收到大意是被注册为与预设名称相关联的信息不要被覆盖的消息时,CPU 201从麦克风和扬声器205输出例如图15中的消息1502以通知用户预设名称的候选(步骤S1407)。在步骤S1407中,CPU 201基于所接收到的语音指示的预设名称和已被注册的预设名称之间的区别,生成包括特征字符串的预设名称的候选,并且通知用户所生成的预设名称的候选。由从麦克风和扬声器205输出的语音和在控制台部分208上显示的消息中的至少一个执行在步骤S1407中的通知。然后,CPU 201执行步骤S512。
虽然在以上描述的实施例中,给出的是由MFP 101的麦克风和扬声器205接收用户发出的语音的情形的描述,但可以由移动终端(未示出)接收用户发出的语音,该移动终端诸如智能扬声器。在接收到用户发出的语音时,移动终端例如经由无线LAN路由器212将用户操作请求传送到MFP 101。MFP 101将所接收的用户操作请求传输到自然语音处理服务102作为要在步骤S302中被执行的处理。自然语音处理服务102基于所接收到的用户操作请求执行步骤S303和S304,并且多功能外围设备管理服务104执行步骤S305和S306且将语音识别信息传送到MFP 101。
交互地,在接收到用户发出的语音时,移动终端例如经由无线LAN路由器212将用户操作请求传送到自然语言处理服务102。自然语音处理服务102基于所接收的用户操作请求执行步骤S303和S304,并且多功能外围设备管理服务104执行步骤S305和S306且将语音识别信息传送到MFP 101。
此外,在以上描述的实施例中,MFP可配备有自然语言处理服务102和多功能外围设备管理服务104。图16是配备有自然语言处理服务102和多功能外围设备管理服务104的MFP 1600的功能框图。
在接收到用户发出的语音后,语音输入部分1601将关于所接收到的语音的数据(以下称为“语音数据”)传送到音质调整部分1602。音质调整部分1602将具有调整过的音质的语音数据传送到自然语言处理器1603和声纹判定部分1607。自然语音处理器1603将具有调整过的音质的语音数据转换为文本数据并且将文本数据传送到词法分析部分1604。词法分析部分1604将所接收到的文本数据转换为词和短语并且将词和短语传送到命令分析部分1605。命令分析部分1605分析所接收到的词和短语以识别用户发出的语音所指示的指令。命令分析部分1605在命令DB 1606中存储指示所识别的指令的命令数据并且将命令数据传送到控制器1611。声纹判定部分1607基于具有调整过的音质的语音数据判定声纹,基于声纹判定的结果生成关于所识别的用户的信息(以下称为“用户信息”),并且将所生成的用户信息传送到用户识别部分1608。用户识别部分1608基于从声纹判定部分1607接收到的用户信息和事先注册在用户DB 1609中的用户注册信息执行用户认证。用户识别部分1608将用户信息和指示用户认证结果的用户识别信息传送到控制器1611。设备状态管理部分1610将MFP 1600的设备状态信息传送到控制器1611。控制器1611将响应命令传送到语音输出部分1612,将关于设置的设置命令传送到设置部分1613,并且将指示要用的功能的功能命令传送到输出部分1615。设置部分1613将关于预设的信息传送到预设DB 1614且从预设DB 1614接收关于预设的信息,并且将与例如由语音输入部分1601接收的语音所指示的预设名称相关联的功能设置信息传送到输出部分1615。输出部分1615通过功能命令所指示的功能使用从设置部分1613获取的功能设置信息执行作业。例如,输出部分1615通过功能命令指示的FAX单元1616使用从设置部分1613获取的功能设置信息将FAX数据传送到外部装置。
其他实施例
本发明的实施例还可以通过系统或装置的计算机和由该系统或装置的计算机进行的方法来实现,该计算机读出和执行记录在存储介质(也可以更完整地称为“非临时计算机可读存储介质”)上的计算机可执行指令(例如,一个或多个程序)以执行以上描述的实施例中的一个或多个实施例的功能,和/或包括用于进行以上描述的实施例中的一个或多个实施例的功能的一个或多个电路(例如,专用集成电路(ASIC)),该方法通过例如读出和执行来自该存储介质的计算机可执行指令以执行以上描述的实施例中的一个或多个实施例的功能,和/或控制该一个或多个电路执行以上描述的实施例中的一个或多个的功能。该计算机可以包括一个或多个处理器(例如,中央处理器(CPU)、微处理单元(MPU))并且可以包括独立计算机或独立处理器的网络以读出和执行该计算机可执行指令。该计算机可执行指令可从例如网络或该存储介质被提供到该计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(诸如紧致盘(CD)、数字通用盘(DVD)或蓝光光盘(BDTM))、闪存设备、记忆卡等中的一个或多个。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已参照示例性实施例描述了本发明,但应理解,本发明不限于所公开的示例性实施例。以下的权利要求的范围应被赋予最宽的解释,以便包括所有这样的修改和等同的结构和功能。
本申请要求于2018年9月4日提交的日本专利申请No.2018-165379和于2019年6月28日提交的日本专利申请No.2019-121813的权益,其通过引用被整体结合于此。

Claims (9)

1.一种图像形成系统,其特征在于包括:
图像形成设备,被配置为在片材上形成图像,其中所述图像形成设备能够用于预定功能;
麦克风,能够接收语音;和
至少一个控制器,被配置为用作:
接收单元,被配置为在经由所述麦克风接收到指示用于所述预定功能的功能设置的第一语音之后,接收所述功能设置;
执行单元,被配置为基于所述接收单元接收的所述功能设置来执行所述预定功能;
注册单元,被配置为将所述接收单元接收的所述功能设置与识别信息相关联地进行注册;以及
控制单元,被配置为当经由所述麦克风接收到指示所述识别信息的第二语音时,基于与所述识别信息相关联的所述功能设置来执行所述预定功能,
其中,所述注册单元基于所述执行单元在所述预定功能的执行中使用过的所述功能设置而输出所述识别信息的候选。
2.根据权利要求1所述的图像形成系统,其中,与所述功能设置相关联地被所述注册单元注册的所述识别信息是经由所述麦克风接收的语音所指示的第一词。
3.根据权利要求2所述的图像形成系统,其中,在所述第一词与所述注册单元已注册的第一识别信息相同的情况下,所述注册单元输出指示已与所述第一识别信息相关联地注册的第一功能设置被所述接收单元接收的所述功能设置覆盖的消息。
4.根据权利要求2所述的图像形成系统,其中,在所述第一词与所述注册单元已注册的第一识别信息相同的情况下,所述注册单元输出所述识别信息的候选,所述候选是通过组合所述第一词和基于所述执行单元在所述预定功能的执行中使用过的功能设置的第二词而得到的。
5.根据权利要求1所述的图像形成系统,其中,所述麦克风与所述图像形成设备分开布置,并且
其中,输入到所述麦克风的语音通过通信被传送到所述图像形成设备。
6.根据权利要求1所述的图像形成系统,其中,所述预定功能是以下中的至少一个:
FAX功能、扫描和传送功能、扫描和保存功能。
7.根据权利要求1所述的图像形成系统,其中,所述功能设置包括以下中的任一个:
目的地、色彩选取、纸张尺寸、打印数量、双面、装订。
8.一种控制图像形成系统的方法,所述图像形成系统包括被配置为在片材上形成图像的图像形成设备和能够接收语音的麦克风,所述图像形成设备能够用于预定功能,
其中,所述方法包括:
在经由所述麦克风接收到指示用于所述预定功能的功能设置的第一语音之后,接收所述功能设置;
基于接收的所述功能设置来执行所述预定功能;
将接收的所述功能设置与识别信息相关联地进行注册;以及
当经由所述麦克风接收到指示所述识别信息的第二语音时,基于与所述识别信息相关联的所述功能设置来执行所述预定功能,
其中,基于在所述预定功能的执行中使用过的所述功能设置而输出所述识别信息的候选。
9.一种非临时计算机可读存储介质,所述存储介质存储用于执行控制图像形成系统的方法的计算机可执行程序,所述图像形成系统包括被配置为在片材上形成图像的图像形成设备和能够接收语音的麦克风,其中所述图像形成设备能够用于预定功能,
其中所述方法包括:
在经由所述麦克风接收到指示用于所述预定功能的功能设置的第一语音之后,接收所述功能设置;
基于接收的所述功能设置来执行所述预定功能;
将接收的所述功能设置与识别信息相关联地进行注册;以及
当经由所述麦克风接收到指示所述识别信息的第二语音时,基于与所述识别信息相关联的所述功能设置来执行所述预定功能,
其中,基于在所述预定功能的执行中使用过的所述功能设置而输出所述识别信息的候选。
CN202211498819.6A 2018-09-04 2019-08-30 带交互代理功能的图像形成系统及其控制方法和存储介质 Active CN115811576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211498819.6A CN115811576B (zh) 2018-09-04 2019-08-30 带交互代理功能的图像形成系统及其控制方法和存储介质

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2018-165379 2018-09-04
JP2018165379 2018-09-04
JP2019-121813 2019-06-28
JP2019121813A JP7458716B2 (ja) 2018-09-04 2019-06-28 音声対話装置及びその制御方法、並びにプログラム
CN201910811041.1A CN110875993B (zh) 2018-09-04 2019-08-30 带交互代理功能的图像形成系统及其控制方法和存储介质
CN202211498819.6A CN115811576B (zh) 2018-09-04 2019-08-30 带交互代理功能的图像形成系统及其控制方法和存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910811041.1A Division CN110875993B (zh) 2018-09-04 2019-08-30 带交互代理功能的图像形成系统及其控制方法和存储介质

Publications (2)

Publication Number Publication Date
CN115811576A true CN115811576A (zh) 2023-03-17
CN115811576B CN115811576B (zh) 2024-10-01

Family

ID=69737931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211498819.6A Active CN115811576B (zh) 2018-09-04 2019-08-30 带交互代理功能的图像形成系统及其控制方法和存储介质

Country Status (4)

Country Link
US (1) US11647129B2 (zh)
JP (2) JP7458716B2 (zh)
KR (1) KR102537797B1 (zh)
CN (1) CN115811576B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023034013A (ja) * 2021-08-30 2023-03-13 キヤノン株式会社 情報処理装置およびその制御方法、情報処理システム、プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0018363D0 (en) * 2000-07-26 2000-09-13 Canon Kk A control apparatus
US20030004728A1 (en) * 2000-07-26 2003-01-02 Keiller Robert Alexander System
JP2003076538A (ja) * 2001-08-30 2003-03-14 Canon Inc 印刷システムおける印刷制御方法
JP2008257383A (ja) * 2007-04-03 2008-10-23 Seiko Epson Corp 印刷装置、印刷方法、およびコンピュータプログラム
US20100097654A1 (en) * 2008-10-17 2010-04-22 Seiko Epson Corporation Computer Readable Storage Medium with Printer Driver Stored Therein
US20100110489A1 (en) * 2008-11-05 2010-05-06 Yoshimichi Kanda Image forming apparatus, method of controlling the same based on speech recognition, and computer program product
CN202798910U (zh) * 2012-09-20 2013-03-13 艾塔斯科技(镇江)有限公司 可语音控制的扫描仪
CN107197114A (zh) * 2016-03-14 2017-09-22 富士施乐株式会社 图像处理系统和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4343626B2 (ja) 2003-09-02 2009-10-14 キヤノン株式会社 画像通信制御方法、画像通信制御プログラム、および画像通信装置
JP2007102012A (ja) * 2005-10-06 2007-04-19 Canon Inc 画像形成装置
JP2007114297A (ja) * 2005-10-18 2007-05-10 Canon Inc 音声認識手段を持つ画像形成装置
JP2007201686A (ja) 2006-01-25 2007-08-09 Murata Mach Ltd 画像読取装置
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
JP4818166B2 (ja) 2007-03-09 2011-11-16 株式会社リコー 画像形成装置、画像形成システム、画像形成方法および画像形成プログラム
JP5146429B2 (ja) * 2009-09-18 2013-02-20 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、音声認識処理装置、音声認識処理装置の制御方法、およびコンピュータプログラム
JP5586932B2 (ja) * 2009-12-11 2014-09-10 キヤノン株式会社 データ処理装置、画像形成装置、データ処理装置の制御方法、画像形成装置の制御方法、及びプログラム
US20150254024A1 (en) 2014-03-06 2015-09-10 Xerox Corporation Using preset combination of page exception print settings to establish exception pages within documents
JP6327930B2 (ja) 2014-05-02 2018-05-23 キヤノン株式会社 画像形成装置、情報処理方法及びプログラム
JP7091821B2 (ja) * 2018-05-14 2022-06-28 コニカミノルタ株式会社 画像処理装置及びプログラム
US11140284B2 (en) * 2018-09-04 2021-10-05 Canon Kabushiki Kaisha Image forming system equipped with interactive agent function, method of controlling same, and storage medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0018363D0 (en) * 2000-07-26 2000-09-13 Canon Kk A control apparatus
US20030004728A1 (en) * 2000-07-26 2003-01-02 Keiller Robert Alexander System
JP2003076538A (ja) * 2001-08-30 2003-03-14 Canon Inc 印刷システムおける印刷制御方法
JP2008257383A (ja) * 2007-04-03 2008-10-23 Seiko Epson Corp 印刷装置、印刷方法、およびコンピュータプログラム
US20100097654A1 (en) * 2008-10-17 2010-04-22 Seiko Epson Corporation Computer Readable Storage Medium with Printer Driver Stored Therein
US20100110489A1 (en) * 2008-11-05 2010-05-06 Yoshimichi Kanda Image forming apparatus, method of controlling the same based on speech recognition, and computer program product
CN202798910U (zh) * 2012-09-20 2013-03-13 艾塔斯科技(镇江)有限公司 可语音控制的扫描仪
CN107197114A (zh) * 2016-03-14 2017-09-22 富士施乐株式会社 图像处理系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陆亚辉: "面向服务机器人的口语对话系统研究与实现", 《中国优秀硕士学位论文电子期刊》, 15 February 2018 (2018-02-15) *

Also Published As

Publication number Publication date
KR20200027423A (ko) 2020-03-12
JP7458716B2 (ja) 2024-04-01
JP2024094317A (ja) 2024-07-09
CN115811576B (zh) 2024-10-01
US20210409561A1 (en) 2021-12-30
KR102537797B1 (ko) 2023-05-31
JP2020038348A (ja) 2020-03-12
US11647129B2 (en) 2023-05-09

Similar Documents

Publication Publication Date Title
CN110875993B (zh) 带交互代理功能的图像形成系统及其控制方法和存储介质
US11475892B2 (en) Speech control system, speech control method, image processing apparatus, speech control apparatus, and storage medium
US11355106B2 (en) Information processing apparatus, method of processing information and storage medium comprising dot per inch resolution for scan or copy
US11586866B2 (en) System including a controlling server for printing print data based on a first printing content and print data based on a second printing content
CN110609662B (zh) 打印系统、控制方法和服务器
US12015746B2 (en) Image processing system, setting control method, image processing apparatus, and storage medium
JP2009194577A (ja) 画像形成装置、音声案内方法及び音声案内プログラム
US20230388427A1 (en) Image processing system, image processing apparatus, and image processing method
JP2024094317A (ja) 対話型装置及びその制御方法、並びにプログラム
US11825042B2 (en) Peripheral device management system, peripheral device management method, and printing apparatus control system
US11201975B2 (en) Server system having voice-controlled printing apparatus
US11700338B2 (en) Information processing system that receives audio operations on multifunction peripheral, as well as image processing apparatus and control method therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant