JP2020107130A - 情報処理システム、情報処理装置、制御方法、プログラム - Google Patents
情報処理システム、情報処理装置、制御方法、プログラム Download PDFInfo
- Publication number
- JP2020107130A JP2020107130A JP2018246036A JP2018246036A JP2020107130A JP 2020107130 A JP2020107130 A JP 2020107130A JP 2018246036 A JP2018246036 A JP 2018246036A JP 2018246036 A JP2018246036 A JP 2018246036A JP 2020107130 A JP2020107130 A JP 2020107130A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- information
- screen
- information processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims description 85
- 238000012545 processing Methods 0.000 claims abstract description 60
- 230000008569 process Effects 0.000 claims description 61
- 230000004044 response Effects 0.000 claims description 31
- 230000015572 biosynthetic process Effects 0.000 abstract description 43
- 238000006243 chemical reaction Methods 0.000 abstract description 20
- 238000003786 synthesis reaction Methods 0.000 description 41
- 230000006870 function Effects 0.000 description 32
- 230000005540 biological transmission Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 10
- 230000000877 morphologic effect Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 8
- 238000013523 data management Methods 0.000 description 7
- 240000000220 Panda oleosa Species 0.000 description 6
- 235000016496 Panda oleosa Nutrition 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 239000007787 solid Substances 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000102542 Kara Species 0.000 description 1
- 244000269722 Thea sinensis Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00352—Input means
- H04N1/00403—Voice input means, e.g. voice commands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00408—Display of information to the user, e.g. menus
- H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00352—Input means
- H04N1/00384—Key input means, e.g. buttons or keypads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Facsimiles In General (AREA)
- Control Or Security For Electrophotography (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
図1は、本実施形態のシステム構成図の一例である。図1に示すように、情報処理システムは、音声制御装置100、画像形成装置101(画像処理装置)、サーバ102(方法処理装置)、クライアント端末103、ゲートウェイ105で構成される。
図2は、画像形成装置101の操作パネル509の構成例を示す図である。操作パネル509はLED(Light Emitting Diode)やLCD(Liquid Crystal Display)ディスプレイを備え、ユーザ106の操作内容や装置の内部状態を表示する表示デバイスである。操作パネル509はユーザ106から操作を受け付ける受付デバイス(入力デバイス)としても機能する。操作パネル509は、複数のハードキーを備えるだけでなく、LCDディスプレイと一体となったタッチパネルを備える。表示部200はLCDタッチパネルであり、主なモード設定、状況表示はここで行われる。
図3は、音声制御装置100のコントローラ部300及び音声制御装置100が内蔵しているデバイスのハードウェア構成例を示す図である。
図4は、サーバ102のコントローラ部のハードウェア構成例を示す図である。
図5は、画像形成装置101のコントローラ部500及び画像形成装置101が内蔵しているデバイスのハードウェア構成例を示す図である。
図6は、CPU302が実行する音声制御装置100の音声制御プログラム601の機能構成を示すブロック図である。
図7(a)は、CPU402が実行するサーバ102の音声データ変換制御プログラム701の機能構成を示すブロック図である。また、図7(b)は、グループID判定部707がグループIDの判定に使うグループIDリストの例である。グループIDリストは、画像形成装置101のユーザ操作に関して同じ意味や意図を持つワードが同じIDとしてグルーピングされている。なお、前記ワードは、ユーザ106が音声制御装置100に対して発話する言葉を音声認識した結果である。
図8は、CPU502が実行する画像形成装置101のデバイス制御プログラム801の機能構成を示すブロック図である。
図9は、図1で示したシステムを構成する各装置、及び、図6〜図8で示した各装置の制御プログラム間のやりとりを示すシーケンス図である。特に、図9は、音声制御装置100がユーザ106から発せられた声による音声操作を受け、それによって画像形成装置101が各処理を実行し、その実行結果を示す応答をユーザ106に音声で返すためのシーケンスを示す。なお、図9で示すシーケンスの例では、音声制御装置100、画像形成装置101、サーバ102は互いに通信可能な状態であるとする。また、画像形成装置101は、電源ONの起動後にコピー、スキャン、プリントなどの機能を呼び出し可能なメインメニュー画面を表示している状態であるとする。
図10は画像形成装置101のデバイス制御プログラム801の処理の概要を示すフローチャートである。特に、図10は、図9のシーケンス図のS914、S915、S923、S928、S933、S943〜S952におけるデバイス制御プログラム801の処理フローを示す例である。
以上説明したように、本実施例によればユーザ106の発話によって、画像形成装置101の操作パネル509を操作することができる。特に、本実施例では、ユーザ106が画面に表示されているUI部品の表記名以外の言葉で発話しても、UI部品の操作が可能となる。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 画像形成装置
102 サーバ装置
103 クライアント端末
104 ネットワーク
105 ゲートウェイ
106 ユーザ
Claims (16)
- 自然言語の音声情報が入力されたことに従って前記音声情報に基づく単語情報を出力する手段と、
表示デバイスに表示中の画面の構成情報および前記出力された単語情報に少なくとも基づいて、前記画面に対応付けられた所定の処理を実行するか否かを決定する手段と、
を有することを特徴とする情報処理システム。 - 前記表示デバイスに表示中の画面において所定のアイコンが選択されたことにしたがって、前記単語情報によらずに前記所定の処理を実行する手段を有することを特徴とする請求項1に記載の情報処理システム。
- 前記所定のアイコンは所定の表記名を備え、前記所定の表記名と一致する単語が前記単語情報に含まれていることに少なくとも基づいて前記所定の処理を実行すると決定する手段を有することを特徴とする請求項2に記載の情報処理システム。
- 前記所定の表記名と一致する単語が前記単語情報に含まれていなくても、前記単語情報が所定の条件を満たすことに基づいて前記所定の処理を実行すると決定する手段を有することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理システム。
- 前記単語情報は、複数の単語を含むことを特徴とする請求項1乃至4のいずれか1項に記載の情報処理システム。
- 前記単語情報は、かな漢字変換された単語を含むことを特徴とする請求項1乃至5のいずれか1項に記載の情報処理システム。
- 前記所定の処理の実行に従って、前記画面を遷移させる手段をさらに有することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理システム。
- 前記所定の処理の実行に従って、音声出力デバイスに音声メッセージを出力させる手段をさらに有することを特徴とする請求項1乃至7のいずれか1項に記載の情報処理システム。
- シートに画像を形成する印刷デバイスを備え、前記所定の処理は、印刷処理であることを特徴とする請求項1乃至8のいずれか1項に記載の情報処理システム。
- シートに画像を形成する印刷デバイスを備え、前記所定の処理は、印刷処理に関する設定の受付処理であることを特徴とする請求項1乃至8のいずれか1項に記載の情報処理システム。
- 原稿を読み取る読取デバイスを備え、前記所定の処理は、読取処理であることを特徴とする請求項1乃至8のいずれか1項に記載の情報処理システム。
- 原稿を読み取る読取デバイスを備え、前記所定の処理は、読取処理に関する設定の受付処理であることを特徴とする請求項1乃至8のいずれか1項に記載の情報処理システム。
- 前記情報処理システムは、前記出力する手段を備える情報処理装置および、前記決定する手段および前記表示デバイスを備える画像処理装置を有するシステムであって、
前記画像処理装置は、自然言語の入力を受け付ける音声入力デバイスと、
前記音声入力デバイスを介して受け付けた自然言語の音声情報を前記情報処理装置に送信する手段と、を有することを特徴とする請求項1乃至12のいずれか1項に記載の情報処理システム。 - 自然言語の入力を受け付ける音声入力デバイスおよび情報を表示する表示デバイスを備える画像処理装置であって、自然言語の音声情報が入力されたことに従って前記音声情報に基づく単語情報を出力する情報処理装置と通信可能な画像処理装置において、
前記音声入力デバイスを介して受け付けた自然言語の音声情報を前記情報処理装置に送信し、前記情報処理装置から単語情報を取得する手段と、
前記表示デバイスに表示中の画面の構成情報および前記出力された単語情報に少なくとも基づいて、前記画面に対応付けられた所定の処理を実行するか否かを決定する手段と、
を有することを特徴とする画像処理装置。 - 自然言語の入力を受け付ける音声入力デバイスおよび情報を表示する表示デバイスを備える画像処理装置であって自然言語の音声情報が入力されたことに従って前記音声情報に基づく単語情報を出力する情報処理装置と通信可能な画像処理装置の制御方法において、
前記音声入力デバイスを介して受け付けた自然言語の音声情報を前記情報処理装置に送信し、前記情報処理装置から単語情報を取得する工程と、
前記表示デバイスに表示中の画面の構成情報および前記出力された単語情報に少なくとも基づいて、前記画面に対応付けられた所定の処理を実行するか否かを決定する工程と、
を有することを特徴とする制御方法。 - 自然言語の入力を受け付ける音声入力デバイスおよび情報を表示する表示デバイスを備える画像処理装置であって自然言語の音声情報が入力されたことに従って前記音声情報に基づく単語情報を出力する情報処理装置と通信可能な画像処理装置の制御方法をコンピュータに実行させるプログラムにおいて、前記制御方法は、
前記音声入力デバイスを介して受け付けた自然言語の音声情報を前記情報処理装置に送信し、前記情報処理装置から単語情報を取得する工程と、
前記表示デバイスに表示中の画面の構成情報および前記出力された単語情報に少なくとも基づいて、前記画面に対応付けられた所定の処理を実行するか否かを決定する工程と、
を有することを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018246036A JP2020107130A (ja) | 2018-12-27 | 2018-12-27 | 情報処理システム、情報処理装置、制御方法、プログラム |
US16/723,844 US11159684B2 (en) | 2018-12-27 | 2019-12-20 | Image forming system and image forming apparatus |
CN201911362593.5A CN111385430B (zh) | 2018-12-27 | 2019-12-26 | 图像形成系统和图像形成装置 |
US17/459,911 US11792338B2 (en) | 2018-12-27 | 2021-08-27 | Image processing system for controlling an image forming apparatus with a microphone |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018246036A JP2020107130A (ja) | 2018-12-27 | 2018-12-27 | 情報処理システム、情報処理装置、制御方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020107130A true JP2020107130A (ja) | 2020-07-09 |
Family
ID=71124530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018246036A Pending JP2020107130A (ja) | 2018-12-27 | 2018-12-27 | 情報処理システム、情報処理装置、制御方法、プログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US11159684B2 (ja) |
JP (1) | JP2020107130A (ja) |
CN (1) | CN111385430B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210358490A1 (en) * | 2020-05-18 | 2021-11-18 | Nvidia Corporation | End of speech detection using one or more neural networks |
US11817117B2 (en) | 2021-01-29 | 2023-11-14 | Nvidia Corporation | Speaker adaptive end of speech detection for conversational AI applications |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003291750A (ja) * | 2002-04-01 | 2003-10-15 | Nissan Motor Co Ltd | 車載機器制御装置 |
US20100009720A1 (en) * | 2008-07-08 | 2010-01-14 | Sun-Hwa Cha | Mobile terminal and text input method thereof |
JP2010026731A (ja) * | 2008-07-17 | 2010-02-04 | Nec Saitama Ltd | 文字入力装置、文字入力方法、文字入力システム、文字入力サーバー及び端末 |
JP2011039571A (ja) * | 2009-08-06 | 2011-02-24 | Konica Minolta Business Technologies Inc | 画像処理装置、音声操作履歴情報共有方法および操作項目判別テーブル共有方法 |
WO2012043168A1 (ja) * | 2010-09-29 | 2012-04-05 | Necカシオモバイルコミュニケーションズ株式会社 | 音声変換装置、携帯電話端末、音声変換方法および記録媒体 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7124093B1 (en) | 1997-12-22 | 2006-10-17 | Ricoh Company, Ltd. | Method, system and computer code for content based web advertising |
US7174288B2 (en) * | 2002-05-08 | 2007-02-06 | Microsoft Corporation | Multi-modal entry of ideogrammatic languages |
JP2007114297A (ja) | 2005-10-18 | 2007-05-10 | Canon Inc | 音声認識手段を持つ画像形成装置 |
JP2008083766A (ja) * | 2006-09-26 | 2008-04-10 | Kyocera Mita Corp | 入力装置、電子機器、入力制御方法及び入力制御プログラム |
JP2010049432A (ja) | 2008-08-20 | 2010-03-04 | Konica Minolta Business Technologies Inc | 表示画面制御装置およびその方法並びに情報処理装置 |
JP5146429B2 (ja) | 2009-09-18 | 2013-02-20 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置、音声認識処理装置、音声認識処理装置の制御方法、およびコンピュータプログラム |
JP6124047B2 (ja) | 2012-12-05 | 2017-05-10 | 株式会社デンソー | 制御装置 |
JP6207251B2 (ja) * | 2013-06-24 | 2017-10-04 | キヤノン株式会社 | 画像形成装置、画像形成装置の制御方法、及びプログラム |
KR102218906B1 (ko) | 2014-01-17 | 2021-02-23 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어 방법 |
US10339769B2 (en) * | 2016-11-18 | 2019-07-02 | Google Llc | Server-provided visual output at a voice interface device |
US10599767B1 (en) * | 2018-05-31 | 2020-03-24 | The Ultimate Software Group, Inc. | System for providing intelligent part of speech processing of complex natural language |
-
2018
- 2018-12-27 JP JP2018246036A patent/JP2020107130A/ja active Pending
-
2019
- 2019-12-20 US US16/723,844 patent/US11159684B2/en active Active
- 2019-12-26 CN CN201911362593.5A patent/CN111385430B/zh active Active
-
2021
- 2021-08-27 US US17/459,911 patent/US11792338B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003291750A (ja) * | 2002-04-01 | 2003-10-15 | Nissan Motor Co Ltd | 車載機器制御装置 |
US20100009720A1 (en) * | 2008-07-08 | 2010-01-14 | Sun-Hwa Cha | Mobile terminal and text input method thereof |
JP2010026731A (ja) * | 2008-07-17 | 2010-02-04 | Nec Saitama Ltd | 文字入力装置、文字入力方法、文字入力システム、文字入力サーバー及び端末 |
JP2011039571A (ja) * | 2009-08-06 | 2011-02-24 | Konica Minolta Business Technologies Inc | 画像処理装置、音声操作履歴情報共有方法および操作項目判別テーブル共有方法 |
WO2012043168A1 (ja) * | 2010-09-29 | 2012-04-05 | Necカシオモバイルコミュニケーションズ株式会社 | 音声変換装置、携帯電話端末、音声変換方法および記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
CN111385430B (zh) | 2022-04-22 |
CN111385430A (zh) | 2020-07-07 |
US11159684B2 (en) | 2021-10-26 |
US20210392236A1 (en) | 2021-12-16 |
US11792338B2 (en) | 2023-10-17 |
US20200213457A1 (en) | 2020-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5146429B2 (ja) | 画像処理装置、音声認識処理装置、音声認識処理装置の制御方法、およびコンピュータプログラム | |
JP2006330576A (ja) | 機器操作システム、音声認識装置、電子機器、情報処理装置、プログラム、及び記録媒体 | |
US12015746B2 (en) | Image processing system, setting control method, image processing apparatus, and storage medium | |
US11327697B2 (en) | Information processing apparatus and startup method for input-output device | |
CN110875993A (zh) | 带交互代理功能的图像形成系统及其控制方法和存储介质 | |
CN111385430B (zh) | 图像形成系统和图像形成装置 | |
KR20120051517A (ko) | 음성데이터를 이용한 문서생성 방법 및 시스템과, 이를 구비한 화상형성장치 | |
CN112055126B (zh) | 信息处理系统、信息处理装置以及信息处理方法 | |
JP2010224890A (ja) | 操作画面制御装置、画像形成装置、およびコンピュータプログラム | |
TWI453655B (zh) | 多功能事務機及其警示方法 | |
JP7286321B2 (ja) | 情報処理システム、情報処理装置、制御方法、プログラム | |
JP2022001997A (ja) | 情報処理装置、情報処理システム、制御方法、並びにプログラム | |
JP7418076B2 (ja) | 情報処理システム、情報処理装置、情報処理方法 | |
JP2020201911A (ja) | 情報処理システム、情報処理装置、情報処理方法 | |
JP7327939B2 (ja) | 情報処理システム、情報処理装置、制御方法、プログラム | |
JP7353806B2 (ja) | 情報処理システム、情報処理装置、情報処理方法 | |
JP2021015441A (ja) | 情報処理システム、情報処理装置、情報処理方法 | |
US11700338B2 (en) | Information processing system that receives audio operations on multifunction peripheral, as well as image processing apparatus and control method therefor | |
US20220201136A1 (en) | Information processing system that executes command corresponding to utterance, image processing apparatus, control method for information processing system, and storage medium storing control program for information processing system | |
US11368593B2 (en) | Image forming system allowing voice operation, control method therefor, and storage medium storing control program therefor | |
JP2023018516A (ja) | 情報処理システム、情報処理システムの制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221130 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230623 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230703 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230929 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |