CN109769074A - 用于多功能外围设备的自然语言操作的系统和方法 - Google Patents

用于多功能外围设备的自然语言操作的系统和方法 Download PDF

Info

Publication number
CN109769074A
CN109769074A CN201811317896.0A CN201811317896A CN109769074A CN 109769074 A CN109769074 A CN 109769074A CN 201811317896 A CN201811317896 A CN 201811317896A CN 109769074 A CN109769074 A CN 109769074A
Authority
CN
China
Prior art keywords
user
function peripheral
data
natural language
mobile data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811317896.0A
Other languages
English (en)
Other versions
CN109769074B (zh
Inventor
玛丽安娜·科迪梅尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Publication of CN109769074A publication Critical patent/CN109769074A/zh
Application granted granted Critical
Publication of CN109769074B publication Critical patent/CN109769074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00403—Voice input means, e.g. voice commands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1205—Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1292—Mobile client, e.g. wireless printing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Facsimiles In General (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了用于多功能外围设备的自然语言操作的系统和方法。用于基于自然语言的多功能外围设备控制的系统和方法包括感测便携式数据设备何时接近MFP。监视MFP的状态并存储用户专用的配置信息。系统接收与用户执行预选活动相对应的活动数据，并根据多功能外围设备的监视状态和存储的用户专用的配置设置，启动与便携式数据设备的用户的自然语言交换。通过自然语言交换接收的文档处理指令生成自然语言响应。然后，响应于自然语言响应，通过自然语言交换接收第二文档处理指令，并且根据第二文档处理指令执行文档处理操作。

Description

用于多功能外围设备的自然语言操作的系统和方法
相关申请的交叉引用
本申请要求2017年11月10日提交的美国临时申请第62/584,475号的权益，其通过引用并入本文。
技术领域
本申请总体上涉及文档处理设备操作的语音辅助控制。本申请更具体地涉及使用移动数据设备(诸如智能手机)作为口头或触摸屏界面,在用户与多功能外围设备之间的自然语言对话。
背景技术
文档处理设备包括打印机、复印机、扫描仪和电子邮件网关。最近，在办公环境中发现了采用这些功能中的两种或更多种功能的设备。这些设备称为多功能外围设备(MFP)或多功能设备(MFD)。如本文所使用的，MFP被理解为包括单独或与其他前述功能组合的打印机。还应理解，可以使用任何合适的文档处理设备。
目前，大多数MFP或其他办公设备由诸如触摸板或按钮面板的用户接口驱动。为了更加符合残障法案，一些设备通过提供语音辅助用户接口已经变得对其他群体更加灵敏。然而，该解决方案在开发和部署方面是昂贵的，并且不容易定制或根据个人用户的偏好定制。
发明内容
根据本发明的一个方面，提供了一种系统，包括：多功能外围设备，包括智能控制器，具有处理器和相关的存储器，数据接口，被配置用于与移动数据设备进行数据通信,文档处理引擎，被配置为根据从所述移动数据设备接收的设备操作指令在所述处理器的控制下执行文档处理操作，其中，所述处理器被配置为生成与所述多功能外围设备的监视状态对应的设备状态数据；以及移动数据设备，包括处理器和相关的存储器，所述存储器存储用户专用的设置数据，所述存储器进一步存储与至少一个预选数据模式对应的模式数据，数据接口，被配置用于与所述多功能外围设备进行数据通信，自然语言输入端，自然语言输出端，以及触摸屏显示器，其中，所述处理器被配置为确定所述移动设备何时接近所述多功能外围设备，其中，所述处理器进一步被配置为当所述移动数据设备接近所述多功能外围设备时与所述多功能外围设备通信数据，其中，所述处理器进一步被配置为通过所述数据接口从所述多功能外围设备接收状态数据，其中，所述处理器进一步被配置为持续监视来自用户到所述多功能外围设备的输入或来自所述移动设备的输入，其中，所述处理器进一步被配置用于用户输入相对于所述模式数据的持续比较，其中，所述处理器进一步被配置为确定用户输入与所述模式数据中包含的模式之间的匹配，其中，所述处理器进一步被配置为当所述移动数据设备接近所述多功能外围设备并且确定所述用户输入和所述模式数据之间的匹配时，根据接收到的状态数据和用户专用的设置数据，发起与所述用户的自然语言对话，其中，所述处理器进一步被配置为通过与所述用户的所述自然语言对话接收来自所述用户的文档处理指令，以及其中，所述处理器进一步被配置为根据接收的文档处理指令经由所述移动数据设备的所述数据接口将操作指令传送到所述多功能外围设备。
根据本发明的另一方面，提供了一种方法，包括：在包括处理器和相关的存储器的移动数据设备中存储用户专用的设置数据；在所述移动数据设备中存储与至少一个预选数据模式相对应的模式数据；由所述移动数据设备接收来自用户的自然语言输入，确定所述移动设备何时接近多功能外围设备；当所述移动数据设备接近所述多功能外围设备时，由所述移动数据设备与所述多功能外围设备通信数据；由所述移动数据设备接收来自所述多功能外围设备的状态数据；执行对于所述用户到所述多功能外围设备的输入或来自所述移动设备的输入的持续监视；由所述移动数据设备执行用户输入相对于所述模式数据的持续比较；由所述移动数据设备确定用户输入与包含在所述模式数据中的模式之间的匹配；当所述移动数据设备接近所述多功能外围设备并且确定所述用户输入和所述模式数据之间的匹配时，由所述移动数据设备根据接收的状态数据和用户专用的设置数据启动与所述用户的自然语言对话；由所述移动数据设备经由与所述用户的所述自然语言对话接收来自所述用户的文档处理指令；由所述移动数据设备根据接收的文档处理指令向所述多功能外围设备发送操作指令；在具有智能控制器的所述多功能外围设备中产生与所述多功能外围设备的监视状态相对应的状态数据，所述智能控制器具有处理器和相关的存储器；由所述多功能外围设备将所述状态数据传送到所述移动数据设备，由所述多功能外围设备接收来自所述移动数据设备的所述操作指令，以及由所述多功能外围设备根据所述操作指令执行文档处理操作。
根据本发明的又一方面，提供了一种方法，包括：感测何时与用户相关的便携式数据设备接近多功能外围设备；监视所述多功能外围设备的状态；存储用户专用的配置设置；接收与所述用户执行预选活动相对应的活动数据；当所述便携式数据设备接近所述多功能外围设备时，在接收到活动数据时，根据所述多功能外围设备的监视状态和存储的用户专用的配置设置，启动与所述用户的自然语言交换；通过所述自然语言交换接收文档处理指令；生成对所接收的文档处理指令的自然语言响应；响应于所述自然语言响应，通过所述自然语言交换来接收第二文档处理指令；以及根据所述第二文档处理指令执行文档处理操作。
附图说明
对于以下描述、所附权利要求和附图，将更好地理解各种实施例，其中：
图1是自然语言文档处理操作系统的示例实施例；
图2是文档处理设备的示例实施例；
图3是便携式数字设备的示例实施例；
图4是语音辅助文档处理操作的示例实施例；
图5是文档处理操作的自然语言对话控制的示例实施例；
图6是示出用于自然语言控制的文档处理操作的设备和人类交互的流程图的另一个示例实施例；
图7是示出用于自然语言控制的文档处理操作的设备和人类交互的流程图的另一个示例实施例；
图8是示出用于自然语言控制的文档处理操作的设备和人类交互的流程图的另一个示例实施例；
图9是移动应用程序(app)的示例屏幕截图的示例实施例；
图10是移动应用程序上的名称和密码输入的示例实施例；以及
图11是在显示器上反映的自然语言对话的示例实施例；
图12是设备/用户交互场景的示例实施例；
图13是设备/用户交互场景的另一个示例实施例；以及
图14是用于设备/用户交互场景的关键字的示例实施例。
具体实施方式
通过示例并参考附图详细描述了本文公开的系统和方法。应当理解，可以适当地对公开和描述的示例、布置、配置、组件、元件、装置、设备方法、系统等进行修改，并且可以期望对于特定应用进行修改。在本公开中，特定技术，布置等的任何标识或者与所呈现的特定示例相关，或者仅仅是对这种技术、布置等的一般描述。除非特别指定，否则具体细节或示例的标识不旨在作为强制性或限制性的，并且不应被视为强制性或限制性的。
在本文公开的示例实施例中，作为用于基于自然语言的多功能外围设备控制的系统和方法包括感测便携式数据设备何时接近MFP。监视MFP的状态并存储用户专用的配置信息。系统接收与用户执行预选活动相对应的活动数据，并根据多功能外围设备的监视状态和存储的用户专用的配置设置，启动与便携式数据设备的用户的自然语言交换。通过自然语言交换接收的文档处理指令生成自然语言响应。然后，响应于自然语言响应，通过自然语言交换来接收第二文档处理指令，并且根据第二文档处理指令执行文档处理操作。
目前，大多数MFP或其他办公设备由诸如触摸板或按钮面板的用户接口驱动。为了更加符合康复法案第508节的规定并促进有(或没有)残疾的人的易用性，许多设备提供语音辅助用户接口。成功实施可能既困难又昂贵，并且可能与现场设备不兼容。如下面将进一步详述的，本主题申请包括示例实施例，其中，诸如智能电话、平板电脑、笔记本电脑、智能手表等的移动数据设备用于与诸如MFP的办公设备无线通信(通过蓝牙、NFC、Wi-Fi等)以向用户提供自然语言用户接口来完成设备任务。所提供的语音输入和语音响应利用自然语言、菜单驱动的“向导”智能系统、存储的用户偏好，并对语音和物理输入(包括识别纸盘中的纸张)做出响应以启动任务。提供可以将设备能力转换为一系列自然语言提示并且类似地将用户响应转换为MFP所理解的计算机命令的移动设备应用程序(“app”),创建用于与MFP设备交互的更易访问的用户接口。如本文所使用的，自然语言对话包括任何合适的设备—用户语言通信，诸如与用户和设备说话、与用户说话而设备以字符回复、用户提供字符输入而设备说话，或者用户和设备通过字符进行通信。用户还可以通过设备交互(诸如点按触摸屏上显示的“是”或“否”按钮或按下MFP或其显示器上的一个或多个键)来适当地提供响应。
该系统可以包括移动应用程序，该移动应用程序与诸如MFP的办公设备通信以向用户提供自然语言语音交互用户接口以完成任务、物理提示或菜单驱动的选择。
用户接口和附带的软件识别语音输入以及用语音菜单命令进行的响应，包括：
-英语命令
-日语或其他外语命令
-在MFP或设备上提供视觉反馈，包括：
-传达问题
-倾听
-用户响应选项
-将用户的语音转化成文本
-设备响应和确认
本文的示例实施例描述了一种应用程序和系统，其与诸如MFP的硬件设备交互以向用户提供自然语言用户接口。当用户进入由信标定义的接近阈值时，或者当用户通过触摸或语音激活来调用MFP应用程序时，打开或启动MFP应用程序。
通过光学地或通过接近度、用户偏好、条形码、Wi-Fi、Wi-Fi直连、QR码扫描或NFC等射频地在应用程序和MFP之间建立无线通信。一旦通信建立，从应用程序中检索用户偏好和历史信息；该应用程序还会查询设备的设备功能。
通过将纸张放入自动文档进纸器或玻璃板上或通过发起对话(例如“嗨Moppy”)可以自动适当启动任务调用。
从应用程序向用户发送一系列语音提示，并且由设备收集响应以配置MFP任务。使用类似向导的方法，因为发送给用户的后续提示基于先前的响应，以试图有效地通信以获取作业细节。用户的语言被转化(translate，翻译)成设备理解的计算机命令。一旦在应用程序上配置作业，将其发送到设备进行处理。
示例移动应用程序包括在移动设备(例如iOS)上执行的客户端应用程序。移动应用程序使用自然语言以转换语音命令以复印MFP命令以启动MFP复印任务或其他任务，诸如复印、打印发布、扫描以发送电子邮件和其他功能。
本文的实施例包括两个基本系统。
客户端移动应用程序。
客户端移动应用程序倾听用户的语音、在本地转化文本、在UI或用户接口上显示对话、并将文本发送到服务器。
客户端可以使用iOS Siri或任何其他合适的语音识别。
在MFP上的运行是后台应用程序。
应用程序驻留在MFP上并从客户端应用程序接收文本串。该应用程序解析文本并将文本转换为打印命令。
字典驻留在应用程序服务器(HTTP Rest服务器)上，其通过接受用于复印命令的各种短语来允许自然通信。例如，术语“双面”和“2面”都可以被识别为用于在页面的两面打印的复印命令。
注册用户可以从可选地指纹启用的应用程序登录MFP。这将允许用户与需要认证的设备交互，允许任何用户偏好被转移到作业本身，并允许用户使用自然语言释放保持的打印作业。
图1示出了包括一个或多个MFP(诸如MFP 104)的自然语言操作系统100的示例实施例。MFP 104通过任何合适的有线或无线数据路径适当地连接到网络108。网络108适当地包括局域网(LAN)、广域网(WAN)，该广域网(WAN)可以包括因特网、或其任何合适的组合。MFP适当地提供与诸如智能电话112的便携式数据设备进行无线通信的能力。适当地经由包括Wi-Fi直连的Wi-Fi、经由近场通信(NFC)、蓝牙等进行通信。
拥有智能手机112的用户116接近MFP 104。通过包括来自蓝牙信标120、NFC接口124的任何合适的手段，或通过检测MFP 104上的标记(诸如QR码128)确定接近度。智能手机112正在运行界面应用程序，并存储用户的文档处理偏好和首选语言。当用户116足够接近时，他们可以通过匹配预设模式来启动MFP 104和智能电话112之间的自然语言通信设置。启动适当地由距离或用户116的机械交互(诸如按下他们的智能手机112触摸屏或MFP 104用户接口)触发。可以触发会话的其他机械交互包括如所指示的打开在MFP 104上的文档馈送器124或者通过将文档放置在扫描仪压板上。在运行应用程序时，通过向智能手机112发出唤醒短语也适当地开始启动，该应用程序包括在运行时连续收听这样的短语的功能，包括在其他并发应用程序的后台运行。自然语言输入经由MFP 104上的处理器、智能手机112上的处理器或其组合适当地转换为文本。处理和文本到语音转换也适当地由网络语言处理器132完成，适当地操作以接收数字语音文件并返回相应的文本文档，从而消除专用硬件或软件以提供这种转换。然后通过自然语言对话完成文档处理操作，这将在下面进一步详述。
现在转到图2，图2示出了MFP设备的示例实施例，该MFP设备包括适当地包括在MFP(诸如图1的MFP104)内的文档呈现系统200。智能控制器201中包括一个或多个处理器，诸如处理器202所示的处理器。每个处理器通过数据总线212适当地与非易失性存储器(诸如ROM204)和随机存取存储器(RAM)206相关联。
处理器202还与存储接口208进行数据通信，用于读取或写入存储器216，如本领域普通技术人员所理解的，存储器216适当地包括硬盘、光盘、固态盘、基于云的存储器或任何其他合适的数据存储器。
处理器202还与网络接口210进行数据通信，网络接口210提供到网络接口控制器(NIC)214的接口，网络接口控制器(NIC)214转而经由无线网络接口218提供到任何合适的有线或物理网络连接220、或到无线数据连接的数据路径。示例无线连接包括蜂窝、Wi-Fi、蓝牙、NFC、无线通用串行总线(无线USB)、卫星等。示例有线接口包括以太网、USB、IEEE1394(FireWire)、闪电(Lightning)、电话线等。处理器202还与一个或多个传感器进行数据通信，这些传感器提供与设备状态或相关环境有关的数据，诸如设备温度、环境温度、湿度、设备移动等。
处理器202还可以与任何合适的用户输入/输出(I/O)接口219进行数据通信，用户输入/输出(I/O)接口219提供与诸如显示器，键盘，鼠标，轨迹球，触摸屏等的用户外围设备的数据通信。硬件监视器适当地提供设备事件数据，与合适的监视系统协同工作。通过进一步的示例，监视系统可包括页面计数器、传感器输出，诸如可消耗水平传感器、温度传感器、电能质量传感器、设备误差传感器、门打开传感器等。数据适当地存储在一个或多个设备日志中，诸如存储在图2的存储器216中。
同样处于与数据总线212的数据通信的是适合于与MFP功能单元250进行数据通信的文档处理器接口222。在所示示例中，这些单元包括复印硬件240、扫描硬件242、打印硬件244以及传真硬件246，它们一起构成MFP功能硬件250。应当理解，功能单元适当地包括包含任何合适的硬件或软件平台的智能单元。
智能控制器201适当地为设备配置和管理提供嵌入式网络服务器系统。合适的网络界面由TOPACCESS控制器(有时在主题图中称为“TA”)组成，可从东芝泰格有限公司获得。
现在转到图3，示出了合适的便携式数字设备300(诸如图1的智能电话112)的示例实施例。包括一个或多个处理器，诸如处理器310所示的处理器。每个处理器适当地经由数据总线318与诸如只读存储器(ROM)312和随机存取存储器(RAM)314的非易失性存储器相关联。
处理器310还与存储接口325进行数据通信，用于读取或写入数据存储系统316，如本领域普通技术人员所理解的，数据存储系统316适当地包括硬盘、光盘、固态盘或任何其他合适的数据存储器。
处理器310还与网络接口控制器(NIC)330进行数据通信，网络接口控制器(NIC)330经由物理网络接口334向任何合适的有线或物理网络连接提供数据路径，或经由无线接口332(诸如上面详述的一个或多个网络)向任何合适的无线数据连接提供数据路径。该系统适当地使用基于位置的服务。举例来说，如果使用多个错误事件管理系统，则监视由本地或更接近的事件管理系统完成的设备可能是有利的。
处理器310还与用户输入/输出(I/O)接口350进行数据通信，用户输入/输出(I/O)接口350提供与用户外围设备(诸如显示器360，以及键盘352、鼠标、轨迹球或其他指向设备354，触摸屏370等)的数据通信。应当理解，功能单元适当地包括智能单元(包含任何合适的硬件或软件平台)。
图4是语音辅助文档处理操作的示例实施例的流程图400。该处理在框404处开始，并且当诸如智能手机应用程序之类的应用程序与MFP建立连接时，进行到框408。在框412处，用户与设备或应用程序交互以调用文档处理任务。在框416处，用户可以选择MFP和智能电话之间的设备通信选项。如上所述，可以使用任何合适的无线协议，用于通信的示例包括Wi-Fi、蓝牙、NFC、光学、蜂窝等。根据来自框420的预选用户偏好和语言设置适当地完成通信会话。
在框424处，自然语言对话根据需要与来回通信相关联以设置用户期望的文档处理操作。在框428处，将适当的命令发送到MFP。如果在框432处确定任务完成，则该处理适当地结束。如果不是，则该处理返回到框416。
图5是文档处理操作的自然语言对话控制的示例实施例的流程图500。该处理在框504处开始，直到蓝牙连接完成进行到框508。如果是，则在框512确定文档是否已被加载到MFP的自动文档馈送器中或放置在其压板上以进行复印。如果是，则确定用户希望复印他们的文档。如果在框516选择单次复印，则在框520提供确认，并且在框524要求用户验证这一点。如果用户没有，则进行到框528，其中用户可以指定所需的复印数量。如果在框516没有选择单次复印，则直接进行到框528，其中提示用户以指定在框532接收的所需复印的数量。在框536处陈述所选数量的确认，并且在框540处请求确认。如果未确认，则处理返回到框528。如果确认，则在框544处开始复印。如果在框524处确认了单次复印，则处理直接进入框544。
接下来，在框548处，询问用户是否需要装订。如果仅复印单个页面，则适当地绕过该询问。如果选择了装订，则在框552处对页面进行装订，并且在框556处向用户陈述确认，适当地提出警告以移除其原件。如果在框548处未选择装订，则处理直接进入框556。一旦如框560所确定的那样移除了纸张，系统就适当地返回到框508以进行连续或新的蓝牙连接。
图6至8描绘了用于自然语言控制的文档处理操作的设备和人类交互的示例实施例的流程图。
还参考图9，示出了移动应用程序的示例屏幕截图。
-主屏幕(左)显示关于如何发起对话的指令。
-轻点灰色麦克风调用倾听
-当客户端正在收听时，麦克风是蓝色的并且显示旋转指示符。这是用户应该说话的时候。
-当完成复印任务时，清除对话气泡并显示主屏幕。
-当调用“停止”命令时，清除对话气泡并显示主屏幕。
该用户可以如下调用命令：
-通过按下屏幕底部的麦克风按钮。
-通过说“嗨Moppy”或“嗨Jackie”或其他合适的名称。由于系统一直在“倾听”，如果使用通用名称，客户端可能会错误地响应环境聊天。
复合命令可以包含三个或更多个关键字命令，例如：
-请进行一次双面复印并将其装订
-请制作双面的副本(将提示您装订)
-请制作一个装订的副本(将提示您双面)
-停止命令(例如，“STOP”)可以取消对话并且停止倾听进行语音识别。该停止命令可以清除屏幕并向用户显示初始指令。
当首次执行移动应用程序时，用户可以配置初始设置，稍后可以通过点按设置按钮来改变初始设置。设置可以是用户特有的，或者特定于用户典型的用户文档处理需求。例如如图10所示，该应用程序适当地要求用户名和密码，并启用手指登录选项。配置设置适当地包括：
-昵称，您希望Toshiba Copy Talk使用语音呼叫您的姓名。例如，“Rashmi”。你可能需要拼音拼写例如“Rashmee”
-允许MFP认证的用户名
-允许MFP认证的密码
-设备IP地址-允许连接到MFP Toshiba Copy Talk应用程序
-英语/日语语音识别和语音响应
-触摸ID-允许Toshiba Copy Talk使用指纹访问
-关键字：开/关-允许Toshiba Copy Talk倾听关键字
-超时-允许Toshiba Copy Talk停止倾听
系统适当地识别某些操作并调用适当的对话。例如，系统可以提示用户装订选项，但仅在作业需要两页或更多页时。
图11是示出自然语言对话的流程图1100，其适当地反映在诸如平板电脑或智能电话的移动数字设备的显示器或触摸屏上。
图12至13示出了附加设备/用户交互场景的示例实施例。
图14示出了用于用户—设备交互的语言关键词、可选关键词和多种语言之间的合适关系表的示例实施例。
虽然已经描述了某些实施例，但是这些实施例仅作为示例呈现，并且不旨在限制本发明的范围。实际上，本文描述的新颖实施例可以以各种其他形式体现；此外，在不脱离本发明的精神的情况下，可以对本文描述的实施例的形式进行各种省略、替换和改变。所附权利要求及其等同物旨在覆盖落入本发明的精神和范围内的这些形式或修改。

Claims (20)

1.一种用于自然语言操作的系统，包括：
多功能外围设备，包括
智能控制器，具有处理器和相关的存储器，
数据接口，被配置用于与移动数据设备进行数据通信,
文档处理引擎，被配置为根据从所述移动数据设备接收的设备操作指令在所述处理器的控制下执行文档处理操作，
其中，所述处理器被配置为生成与所述多功能外围设备的监视状态对应的设备状态数据；以及
移动数据设备，包括
处理器和相关的存储器，
所述移动数据设备的所述存储器存储用户专用的设置数据，
所述移动数据设备的所述存储器进一步存储与至少一个预选数据模式对应的模式数据，
数据接口，被配置用于与所述多功能外围设备进行数据通信，
自然语言输入端，
自然语言输出端，以及
触摸屏显示器，
其中，所述移动数据设备的所述处理器被配置为确定所述移动设备何时接近所述多功能外围设备，
其中，所述移动数据设备的所述处理器进一步被配置为当所述移动数据设备接近所述多功能外围设备时与所述多功能外围设备通信数据，
其中，所述移动数据设备的所述处理器进一步被配置为通过所述数据接口从所述多功能外围设备接收状态数据，
其中，所述移动数据设备的所述处理器进一步被配置为持续监视来自用户到所述多功能外围设备的输入或来自所述移动设备的输入，
其中，所述移动数据设备的所述处理器进一步被配置用于用户输入相对于所述模式数据的持续比较，
其中，所述移动数据设备的所述处理器进一步被配置为确定用户输入与所述模式数据中包含的模式之间的匹配，
其中，所述移动数据设备的所述处理器进一步被配置为当所述移动数据设备接近所述多功能外围设备并且确定所述用户输入和所述模式数据之间的匹配时，根据接收到的状态数据和用户专用的设置数据，发起与所述用户的自然语言对话，
其中，所述移动数据设备的所述处理器进一步被配置为通过与所述用户的所述自然语言对话接收来自所述用户的文档处理指令，以及
其中，所述移动数据设备的所述处理器进一步被配置为根据接收的文档处理指令经由所述移动数据设备的所述数据接口将操作指令传送到所述多功能外围设备。
2.根据权利要求1所述的系统，其中，所述移动数据设备的所述处理器进一步被配置为根据从相关的信标接收的信号确定所述移动数据设备何时接近所述多功能外围设备。
3.根据权利要求1所述的系统，其中，所述移动数据设备的所述处理器进一步被配置为监视由来自所述用户的语音输入组成的所述用户输入。
4.根据权利要求1所述的系统，其中，所述移动数据设备的所述处理器进一步被配置为监视由与所述多功能外围设备的触觉用户交互组成的所述用户输入。
5.根据权利要求1所述的系统，其中，所述状态数据包括所述多功能外围设备中的耗材等级。
6.根据权利要求1所述的系统，其中，所述状态数据包括所述多功能外围设备的文档处理能力。
7.根据权利要求1所述的系统，其中，所述用户专用的设置包括与所述用户相关联的预选文档处理操作设置。
8.根据权利要求1所述的系统，其中，所述移动数据设备的所述处理器进一步被配置为根据来自所述自然语言对话中提供的数据交换序列的附加用户输入来生成所述操作指令。
9.一种用于自然语言操作的方法，包括：
在包括处理器和相关的存储器的移动数据设备中存储用户专用的设置数据；
在所述移动数据设备中存储与至少一个预选数据模式相对应的模式数据；
由所述移动数据设备接收来自用户的自然语言输入，
确定所述移动设备何时接近多功能外围设备；
当所述移动数据设备接近所述多功能外围设备时，由所述移动数据设备与所述多功能外围设备通信数据；
由所述移动数据设备接收来自所述多功能外围设备的状态数据；
执行对于所述用户到所述多功能外围设备的输入或来自所述移动设备的输入的持续监视；
由所述移动数据设备执行用户输入相对于所述模式数据的持续比较；
由所述移动数据设备确定用户输入与包含在所述模式数据中的模式之间的匹配；
当所述移动数据设备接近所述多功能外围设备并且确定所述用户输入和所述模式数据之间的匹配时，由所述移动数据设备根据接收的状态数据和用户专用的设置数据启动与所述用户的自然语言对话；
由所述移动数据设备经由与所述用户的所述自然语言对话接收来自所述用户的文档处理指令；
由所述移动数据设备根据接收的文档处理指令向所述多功能外围设备发送操作指令；
在具有智能控制器的所述多功能外围设备中产生与所述多功能外围设备的监视状态相对应的状态数据，所述智能控制器具有处理器和相关的存储器；
由所述多功能外围设备将所述状态数据传送到所述移动数据设备，
由所述多功能外围设备接收来自所述移动数据设备的所述操作指令，以及
由所述多功能外围设备根据所述操作指令执行文档处理操作。
10.根据权利要求9所述的方法，进一步包括根据从相关的信标接收的信号确定所述移动数据设备何时接近所述多功能外围设备。
11.根据权利要求9所述的方法，进一步包括监视由来自所述用户的语音输入组成的所述用户输入。
12.根据权利要求9所述的方法，进一步包括监视由与所述多功能外围设备的触觉用户交互组成的所述用户输入。
13.根据权利要求9所述的方法，其中，所述状态数据包括所述多功能外围设备中的耗材等级。
14.根据权利要求9所述的方法，其中，所述状态数据包括所述多功能外围设备的文档处理能力。
15.根据权利要求9所述的方法，其中，所述用户专用的设置包括与所述用户相关联的预选文档处理操作设置。
16.根据权利要求9所述的方法，进一步包括根据来自所述自然语言对话中提供的数据交换序列的附加用户输入来生成所述操作指令。
17.一种用于自然语言操作的方法，包括：
感测何时与用户相关的便携式数据设备接近多功能外围设备；
监视所述多功能外围设备的状态；
存储用户专用的配置设置；
接收与所述用户执行预选活动相对应的活动数据；
当所述便携式数据设备接近所述多功能外围设备时，在接收到活动数据时，根据所述多功能外围设备的监视状态和存储的用户专用的配置设置，启动与所述用户的自然语言交换；
通过所述自然语言交换接收文档处理指令；
生成对所接收的文档处理指令的自然语言响应；
响应于所述自然语言响应，通过所述自然语言交换来接收第二文档处理指令；以及
根据所述第二文档处理指令执行文档处理操作。
18.根据权利要求17所述的方法，进一步包括根据所述用户和所述多功能外围设备之间的机械交互产生所述活动数据。
19.根据权利要求17所述的方法，进一步包括根据从所述用户接收的语音命令生成所述活动数据。
20.根据权利要求17所述的方法，进一步包括接收来自所述用户的口头输入并在所述便携式数据设备的显示器上生成文本输出以形成所述自然语言交换。
CN201811317896.0A 2017-11-10 2018-11-07 用于多功能外围设备的自然语言操作的系统和方法 Active CN109769074B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762584475P 2017-11-10 2017-11-10
US62/584,475 2017-11-10
US16/119,165 2018-08-31
US16/119,165 US10362183B2 (en) 2017-11-10 2018-08-31 System and method for natural language operation of multifunction peripherals

Publications (2)

Publication Number Publication Date
CN109769074A true CN109769074A (zh) 2019-05-17
CN109769074B CN109769074B (zh) 2022-05-10

Family

ID=64308497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811317896.0A Active CN109769074B (zh) 2017-11-10 2018-11-07 用于多功能外围设备的自然语言操作的系统和方法

Country Status (4)

Country Link
US (2) US10362183B2 (zh)
EP (1) EP3483720A1 (zh)
JP (1) JP7159000B2 (zh)
CN (1) CN109769074B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181320A (zh) * 2019-07-03 2021-01-05 佳能株式会社 外围设备管理系统、方法以及打印装置控制系统
CN112788190A (zh) * 2019-11-04 2021-05-11 东芝泰格有限公司 复合机的维护系统及存储介质
CN113271389A (zh) * 2020-02-14 2021-08-17 东芝泰格有限公司 多功能外围设备管理系统及方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7159608B2 (ja) * 2018-05-14 2022-10-25 コニカミノルタ株式会社 操作画面の表示装置、画像処理装置及びプログラム
JP7151478B2 (ja) * 2018-12-28 2022-10-12 京セラドキュメントソリューションズ株式会社 画像形成装置
JP2021033861A (ja) * 2019-08-28 2021-03-01 コニカミノルタ株式会社 サーバー、装置制御方法および装置制御プログラム
JP7400554B2 (ja) 2020-03-06 2023-12-19 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
US11178296B2 (en) * 2020-03-31 2021-11-16 Toshiba Global Commerce Solutions Holdings Corporation Multifunctional system via assistive computing devices
US20230087269A1 (en) * 2021-09-20 2023-03-23 Xerox Corporation Transferring calls via near field communications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5068888A (en) * 1989-08-11 1991-11-26 Afd Systems, Inc. Interactive facsimile information retrieval system and method
US20080280643A1 (en) * 2005-09-19 2008-11-13 Silverbrook Research Pty Ltd Modular mobile telecommunications device having a printer
US20160118036A1 (en) * 2014-10-23 2016-04-28 Elwha Llc Systems and methods for positioning a user of a hands-free intercommunication system
CN107179887A (zh) * 2016-03-11 2017-09-19 佳能株式会社 信息终端、图像处理设备及其控制方法和图像处理系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051887A (ja) 2001-08-06 2003-02-21 Minolta Co Ltd 制御システムおよび制御方法
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
JP4325682B2 (ja) * 2007-02-13 2009-09-02 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置及び画像形成システム
JP4386119B2 (ja) * 2007-10-05 2009-12-16 コニカミノルタビジネステクノロジーズ株式会社 管理プログラム及び画像形成装置
JP6186761B2 (ja) * 2013-03-07 2017-08-30 ブラザー工業株式会社 プログラム、および通信装置
JP6206081B2 (ja) 2013-10-17 2017-10-04 コニカミノルタ株式会社 画像処理システム、画像処理装置及び携帯端末装置
JP6501217B2 (ja) 2015-02-16 2019-04-17 アルパイン株式会社 情報端末システム
US10223066B2 (en) * 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
JP6623865B2 (ja) * 2016-03-14 2019-12-25 富士ゼロックス株式会社 画像処理装置及びプログラム
JP6627611B2 (ja) 2016-03-31 2020-01-08 コニカミノルタ株式会社 遠隔操作装置、遠隔操作方法および遠隔操作プログラム
US10283138B2 (en) * 2016-10-03 2019-05-07 Google Llc Noise mitigation for a voice interface device
US10579641B2 (en) * 2017-08-01 2020-03-03 Salesforce.Com, Inc. Facilitating mobile device interaction with an enterprise database system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5068888A (en) * 1989-08-11 1991-11-26 Afd Systems, Inc. Interactive facsimile information retrieval system and method
US20080280643A1 (en) * 2005-09-19 2008-11-13 Silverbrook Research Pty Ltd Modular mobile telecommunications device having a printer
US20160118036A1 (en) * 2014-10-23 2016-04-28 Elwha Llc Systems and methods for positioning a user of a hands-free intercommunication system
CN107179887A (zh) * 2016-03-11 2017-09-19 佳能株式会社 信息终端、图像处理设备及其控制方法和图像处理系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181320A (zh) * 2019-07-03 2021-01-05 佳能株式会社 外围设备管理系统、方法以及打印装置控制系统
US11825042B2 (en) 2019-07-03 2023-11-21 Canon Kabushiki Kaisha Peripheral device management system, peripheral device management method, and printing apparatus control system
CN112788190A (zh) * 2019-11-04 2021-05-11 东芝泰格有限公司 复合机的维护系统及存储介质
CN113271389A (zh) * 2020-02-14 2021-08-17 东芝泰格有限公司 多功能外围设备管理系统及方法
CN113271389B (zh) * 2020-02-14 2024-03-19 东芝泰格有限公司 多功能外围设备管理系统及方法

Also Published As

Publication number Publication date
US20190149675A1 (en) 2019-05-16
CN109769074B (zh) 2022-05-10
JP7159000B2 (ja) 2022-10-24
US10506115B2 (en) 2019-12-10
JP2019092153A (ja) 2019-06-13
US20190306342A1 (en) 2019-10-03
US10362183B2 (en) 2019-07-23
EP3483720A1 (en) 2019-05-15

Similar Documents

Publication Publication Date Title
CN109769074A (zh) 用于多功能外围设备的自然语言操作的系统和方法
KR102373905B1 (ko) 어시스턴트 애플리케이션을 위한 음성 사용자 인터페이스 단축
US10930277B2 (en) Configuration of voice controlled assistant
KR102489914B1 (ko) 전자 장치 및 이의 제어 방법
CN109463004A (zh) 数字助理服务的远场延伸
EP2770445A2 (en) Method and system for supporting a translation-based communication service and terminal supporting the service
CN1617559B (zh) 顺序多模输入
CN101803214A (zh) 用于个人通信设备的语音到文本转录
KR20100067274A (ko) 지능형 로봇 및 그 제어방법
CN102792294A (zh) 自然语言语音服务环境中的混合处理的系统及方法
CN111263023A (zh) 信息处理系统和方法、计算机装置以及存储介质
CN105404617B (zh) 一种远程桌面的控制方法、受控端及控制系统
KR20170102930A (ko) 질의응답 정보 처리 방법, 장치, 저장 매체 및 기기
TW201034004A (en) Systems and methods for interactively accessing hosted services using voice communications
EP3422344B1 (en) Electronic device for performing operation corresponding to voice input
CN112313657B (zh) 用于检测自动会话的方法、系统和计算机程序产品
JP2019215485A (ja) 画像形成装置、画像形成システム、制御方法および制御プログラム
JP6689953B2 (ja) 通訳サービスシステム、通訳サービス方法及び通訳サービスプログラム
RU2750623C1 (ru) Беспроводной терминал, сервер администрирования, сервер интерпретации намерений, способ управления ими и программа
JP6452165B2 (ja) 問合せ対応支援装置、システム、方法及びプログラム
US11036441B1 (en) System and method for creation and invocation of predefined print settings via speech input
EP3644309A1 (en) System and method for integrated printing of voice assistant search results
JP7361509B2 (ja) 周辺装置管理システム、印刷装置制御システム、制御方法、印刷制御装置及びプログラム
US20170186426A1 (en) System and method for predictive device control
JP2021117444A (ja) 音声分析装置、音声分析方法、オンラインコミュニケーションシステム、およびコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant