JP2021144645A - 命令送信装置、命令転送システム、命令送信方法及びプログラム - Google Patents

命令送信装置、命令転送システム、命令送信方法及びプログラム Download PDF

Info

Publication number
JP2021144645A
JP2021144645A JP2020044704A JP2020044704A JP2021144645A JP 2021144645 A JP2021144645 A JP 2021144645A JP 2020044704 A JP2020044704 A JP 2020044704A JP 2020044704 A JP2020044704 A JP 2020044704A JP 2021144645 A JP2021144645 A JP 2021144645A
Authority
JP
Japan
Prior art keywords
instruction
information
voice
command
mfp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020044704A
Other languages
English (en)
Other versions
JP7443844B2 (ja
Inventor
究 渡邊
Kiwamu Watanabe
究 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2020044704A priority Critical patent/JP7443844B2/ja
Publication of JP2021144645A publication Critical patent/JP2021144645A/ja
Application granted granted Critical
Publication of JP7443844B2 publication Critical patent/JP7443844B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】従来の制御システムでは、制御命令を実行する機器が古い機種などで音声操作に対応していない若しくは対応できない場合、その機器に対しては音声操作による制御ができないという課題が生じる。【解決手段】AIアシスタントサーバ装置4は、音声を集音して音声データを取得する特定の音声取得装置が送信した音声データに含まれる命令を示す第1の命令情報を受信する受信手段(送受信部41)と、第1の命令情報から、所定の命令を実行する特定の命令実行装置(MFP8)が受信不可能で且つ特定の命令実行装置に所定の命令を転送する特定の命令転送装置(MFP6)が受信可能な命令を示す第2の命令情報に変換する変換手段(変換部43)と、第2の命令情報及び命令実行装置への宛先を示す特定の宛先情報を命令転送装置(MFP6)に送信する送信手段(送受信部41)を有する。【選択図】図8

Description

本発明は、命令送信装置、命令転送ステム、命令送信方法及びプログラムに関する。
今日において、音声により機器操作を行うAI(AI:Artificial Intelligence)音声アシスタントが知られている。また、音声によって操作可能なスマート家電も知られており、音声操作の分野は今後も更なる成長が見込まれている。
例えば、音声操作の一例として、携帯端末に入力された音声に基づいて取得された音声データをサーバへ送信し、サーバで受信した音声データを制御命令に変換して複数の機器のうちから特定した機器へ送信するシステムが開示されている(特許文献1参照)。
しかしながら、特許文献1に開示された発明においては、制御命令を実行する機器が古い機種などで音声操作に対応していない若しくは対応できない場合、その機器に対しては音声操作による制御ができないという課題が生じる。
上述した課題を解決するために、請求項1に係る発明は、音声を集音して音声データを取得する特定の音声取得装置が送信した前記音声データに含まれる命令を示す第1の命令情報を受信する受信手段と、前記第1の命令情報から、所定の命令を実行する特定の命令実行装置が受信不可能で且つ前記特定の命令実行装置に所定の命令を転送する特定の命令転送装置が受信可能な前記命令を示す第2の命令情報に変換する変換手段と、前記第2の命令情報及び前記命令実行装置への宛先を示す特定の宛先情報を前記命令転送装置に送信する送信手段と、を有する命令送信装置である。
本発明によれば、制御命令を実行する機器が音声操作に対応していない若しくは対応できない場合であっても、音声操作によって与えられた制御命令を実行させることが可能になるという効果を奏する。
第1の実施形態に係る命令転送システムの構成の一例を示す図である。 スマートスピーカのハードウェア構成の一例を示す図である。 音声認識サーバ装置のハードウェア構成の一例を示す図である。 AIアシスタントサーバ装置のハードウェア構成の一例を示す図である。 (A)は転送管理テーブルの概念図、(B)は転送先装置管理テーブルの概念図である。 MFPのハードウェア構成の一例を示す図である。 第1の実施形態に係る命令転送システムを構成する各装置の機能ブロックの一例を示す図である。 第1の実施形態に係る処理の一例を示すシーケンス図である。 第1の実施形態に係る送信先決定処理の詳細の一例を示すフローチャートである。 第2の実施形態に係る命令転送システムの構成の一例を示す図である。 第2の実施形態に係る命令転送システムを構成する各装置の機能ブロックの一例を示す図である。 第2の実施形態に係る処理の一例を示すシーケンス図である。 第3の実施形態に係る命令転送システムの構成の一例を示す図である。 第3の実施形態に係る命令転送システムを構成する各装置の機能ブロックの一例を示す図である。 第3の実施形態に係る処理の一例を示すシーケンス図である。
〔全体概略〕
以下、図面を用いて、本発明の一実施形態の全体の概略について説明する。本実施形態は、音声操作を利用した命令転送システムを開示している。即ち、本実施形態は、音声操作に対応するMFP6が音声操作による命令を受け取り、受け取った命令を音声操作に対応しないMFP8が実行可能な命令に変換してMFP8に送信し、MFP8が音声操作に対応した命令の実行を可能にする発明を開示している。
〔実施形態の全体構成〕
図1は、第1の実施形態に係る命令転送システムの構成の一例を示す図である。図1に示すように、命令転送システムは、少なくとも1以上のスマートスピーカ又は通信端末2、音声認識サーバ装置3、AIアシスタントサーバ装置4、MFP(Multifunction Peripheral)6及び少なくとも1以上のMFP8を、例えばLAN(Local Area Network)等のネットワーク7を介して相互に接続することで形成されている。
スマートスピーカ又は通信端末2は、内蔵されているマイクで音声を集音して音声データを得るリモート操作可能な周知のスマートスピーカ装置、又はマイク及びスピーカを備えるスマートフォンなどの通信端末である。また、スマートスピーカ又は通信端末2は、音声入力によって、例えば、音楽及び動画などの各種コンテンツ、天気、ニュース等の視聴を可能にする人工知能を搭載した機器であり、例えば、対話型の音声操作に対応したAIアシスタント機能を備える。さらに、スマートスピーカ又は通信端末2は、照明及び家電等の各種機器をユーザ(使用者ともいう)の発話等に伴う音声によって遠隔操作する機能も備える。
上述したように、スマートスピーカ又は通信端末2は、例えば、ユーザの音声操作を受け付け、受け付けた音声操作により取得した音声データ(音声情報ともいう)を取得する音声取得装置の一例として機能する。また、スマートスピーカ又は通信端末2(以下、単に「スマートスピーカ2」という)は、命令転送システムにおいて2以上備えられていてもよく、音声操作により取得した音声データを、ネットワーク7を介して音声認識サーバ装置3に送信する。さらに、スマートスピーカ2は、音声操作により取得した音声データを補完するために、ユーザに対してフィードバックを行うためのマイク機能、カメラ機能を上述したマイク及び内蔵カメラで実現してもよい。
音声認識サーバ装置3は、スマートスピーカ2で取得した音声データを受信し、テキストデータに変換する機能を備える。
AIアシスタントサーバ装置4は、音声認識サーバ装置3と連携してスマートスピーカ2で取得した音声データを処理する機能を備える。例えば、AIアシスタントサーバ装置4は、音声認識サーバ装置3によって変換されたユーザの意図(指示)に基づいて、MFP6がネットワーク7を介して受信及び実行可能な命令等に変換する。その後、AIアシスタントサーバ装置4は、変換した命令等を、ネットワーク7を介してMFP6に送信する。
また、AIアシスタントサーバ装置4は、HDD404等の記憶部に管理データベース441(以下、「管理DB441」という)及び紐づけ用データベース442(以下、「紐づけ用DB442」という)を備えている。管理DB441及び紐づけ用DB442は、例えば、クラウドサービス装置5がネットワーク7上に備えるHDD等の記憶部を用いることができる。このほか、管理DB441及び紐づけ用DB442のうち、少なくとも一方を、ネットワーク7を介してクラウドサービス装置5でアクセス可能な別のサーバ装置に記憶してもよい。
管理DB441には、例えば、AIアシスタントサーバ装置4が提供するコンテンツ(データ)としてのテキストデータ、音声データ、画像データ及びMFP6等で使用されるデータファイルが記憶、管理される。管理DB441で記憶、管理される情報は、例えば、ネットワーク7を介して接続されるMFP6によって新規追加又は変更することができる。図1では、管理DB441とMFP6は別体として図示されているが、同一の機能を備えた記憶媒体として構成されてもよい。この場合、後述する管理プログラムは、管理DB441に対してMFP6に対する命令を送信することによって、管理DB441が管理する各種情報を取得してもよい。なお、命令は、所定の画像データに係る画像に対する所定の出力命令の一例である。
紐づけ用DB442には、例えば、各スマートスピーカ2を識別するための装置識別情報を示すデバイスID(以下、「デバイスID」という)と、各スマートスピーカ2に関連付けられたMFP6を識別するための装置識別情報を示す命令転送装置IDとが関連付けられて記憶されている。この紐づけ用DB442の詳細については、後述する。なお、MFP6は、命令転送装置の一例である。
本実施形態では、管理DB441及び紐づけ用DB442は、AIアシスタントサーバ装置4に含まれることを例示しているが、それぞれAIアシスタントサーバ装置4と別に設けられてもよいし、いずれか一方がAIアシスタントサーバ装置4に含まれ、他方がAIアシスタントサーバ装置4と別に設けられてもよい。
また、本実施形態では、音声認識サーバ装置3及びAIアシスタントサーバ装置4を、ネットワーク7を介して一つに纏めたクラウドサービス装置5として説明する。但し、音声認識サーバ装置3、AIアシスタントサーバ装置4のそれぞれは、さらに複数のサーバ装置に分けて実現されてもよい。一方で、音声認識サーバ装置3の機能の一部又は全部をAIアシスタントサーバ装置4が有していてもよいし、AIアシスタントサーバ装置4の機能の一部又は全部を音声認識サーバ装置3が有していてもよい。つまり、音声認識サーバ装置3とAIアシスタントサーバ装置4は、互いの機能を補完し合うように構成されていてもよい。さらに、クラウドサービス装置5は、一つのサーバによって構成されていてもよいし、3以上のサーバによって構成されていてもよい。なお、上述したクラウドサービス装置5を構成する音声認識サーバ装置3及びAIアシスタントサーバ装置4のうち少なくとも一つ又はその両方は、命令等を送信する命令送信装置の一例である。
MFP6は、MFP8の状態に応じて、クラウドサービス装置5から送信された命令をMFP8で実行可能な命令に変換し、変換した命令をMFP8に転送する。なお、命令は、例えば、ユーザがスマートスピーカ2に対して行った音声操作により与えられた原稿を印刷するための指示(以下、「印刷指示」という)に基づいて生成される。さらに、命令は、例えば、ユーザがスマートスピーカ2に対して行った音声操作により与えられた原稿をMFP6に保存(例えばストレージ機能を利用したファイルの保存)し、所定の時間を空けてから印刷又は他の装置に転送するための指示(以下、「保存指示」という)に基づいて生成される。なお、上述した印刷指示又は保存指示は、音声データに含まれる命令を示す第1の命令情報の一例である。
なお、後述するようにクラウドサービス装置5の機能の一部又は全部を、スマートスピーカ2、MFP6又はMFP6に代わるサーバ装置が有していてもよい。つまり、クラウドサービス装置5の機能の全部をスマートスピーカ2、MFP6又はMFP6に代わるサーバ装置が有している場合、命令転送システムにクラウドサービス装置5は含まれていなくてもよい。このような場合、スマートスピーカ2はクラウドサービス装置5を介さずにMFP6と通信してもよく、命令転送システムは、スマートスピーカ2及びMFP6を纏めた音声応答システム15を構築してもよい。ここで、MFP6は命令転送装置の一例であり、MFP8は命令実行装置の一例である。なお、上述したネットワーク7は、有線LAN、無線LANのいずれで構成されてもよい。
〔ハードウェア構成〕
次に、図2乃至図6を用いて、本実施形態の命令転送システムの各ハードウェア構成について説明する。
<スマートスピーカのハードウェア構成>
図2は、スマートスピーカのハードウェア構成の一例を示す図である。スマートスピーカ2は、図2に示すようにCPU201、RAM202、ROM203、外部インターフェイス(I/F)204及び通信I/F205を含むハードウェア資源を、内部バス206を介して相互に接続される。
CPU201は、スマートスピーカ2全体を統括制御する制御デバイスである。
RAM202は、例えば、ROM203等に記憶された各種プログラムがダウンロードされ、CPU201によって各種処理が実行されるワークエリアとしての機能を有する。
ROM203には、操作音声処理プログラムを含む各種プログラムを構成するデータが記憶されている。CPU201は、これらの処理プログラムを実行することで、MFP6に対する画像操作及び音声操作による処理を可能とする。また、CPU201は、クラウドサービス装置5から取得したデータのタッチパネル27への表示制御、スピーカ28を介したフィードバックのための音声出力制御、画像出力制御等を実行する。
外部I/F205には、タッチパネル208、スピーカ209、マイクロホン210及びカメラ211が接続される。
通信I/F206は、音声操作によって得られた情報を、ネットワーク7を介して音声認識サーバ装置3に送信する。また、通信I/F206は、ネットワーク7を介して他の装置と通信を行う際、有線、無線いずれの通信形態でも通信を行うことが可能である。
内部バス207は、CPU201、RAM202、ROM203、外部I/F205及び通信I/F206を接続する汎用バスである。この内部バス206は、スマートスピーカ等の汎用機器で一般的に用いられるバスであればその種類は問わない。
タッチパネル208は、例えば、液晶表示部(LCD:Liquid Crystal Display)とタッチセンサとが一体的に形成されたものである。タッチパネル208は、液晶表示部上に配置されたタッチキー等に対してユーザがタッチ動作等を行うことによって、所望の動作が指定される。
スピーカ209は、ユーザに対して、不足する情報の入力等を促すための音声による音声フィードバックを行う。
マイクロホン210は、例えば、音声操作によってMFP6に対して印刷を実行させるために、ユーザが発話した音声によって与えられた音声データを取得する。取得された音声データは、通信I/F206を介して音声認識サーバ装置3に送信され、音声認識サーバ装置3でテキストデータに変換される。
カメラ211は、スマートスピーカ2の周辺を撮影して画像データを取得する。撮影された画像データは、動画像データ若しくは静止画像データ(以下、単に「画像データ」ともいう)として通信I/F206を介して音声認識サーバ装置3に送信される。
<音声認識サーバ装置のハードウェア構成>
図3は、音声認識サーバ装置のハードウェア構成の一例を示す図である。
音声認識サーバ装置3は、図3に示すように、CPU301、RAM302、ROM303、HDD(Hard Disk Drive)304、外部インターフェイス(I/F)305及び通信I/F306を含むハードウェア資源を、内部バス307を介して相互に接続される。
HDD304には、操作音声変換プログラム及び操作解釈プログラムを構成するデータが記憶されている。具体的には、操作音声変換プログラムは、例えば、スマートスピーカ2から受信した音声データをテキストデータに変換し、変換したテキストデータを予め定義された辞書情報と一致するか否かを判断する。辞書情報と一致するか否かの判断において、操作音声変換プログラムは、辞書情報と一致した場合には、テキストデータをユーザの意図を示すインテント(Intent)及び所定の処理の実行条件などの変数を示すパラメータに変換する。その後、操作音声変換プログラムは、ユーザの意図を示すインテント及び所定の処理の実行条件などの変数を示すパラメータを、AIアシスタントサーバ装置4に送信する。
なお、本発明に係る実施形態において、変換とは、音声操作に含まれるユーザの意図(指示)を、MFP6等の命令転送装置が解釈又は実行可能な言語(機械語等)にすることを含む。つまり、変換とは、人間が用いる言語を機械が解釈する言語(機械語等)にすることを意味するものであって、本質的な意味や機能を変えるものではない。
CPU301は、上述した操作音声変換プログラムを含む各種プログラムを実行する。つまり、音声認識サーバ装置3は、スマートスピーカ2のマイクロホン209で集音された音声データを受信して、音声操作による指示内容を認識して解析する装置として機能する。なお、操作音声変換プログラム及び操作解釈プログラムは、一つのサーバ装置で実行されてもよいし、それぞれ異なるサーバ装置で実行されてもよい。さらに、複数のサーバ装置の連携によって、これらのプログラムが実行されてもよい。
RAM302には、例えば、ROM303等の記憶部に記憶された各種プログラムがダウンロードされ、CPU301によって各種処理が実行されるワークエリアとしての機能を有する。
ROM303には、HDD304に記憶された各種プログラム以外のその他のプログラムを構成するデータが記憶されている。CPU301は、ROM303に記憶された各種プログラムを実行することで、スマートスピーカ2及びAIアシスタントサーバ装置4との間の制御を行ってもよい。
外部I/F305には、ディスプレイ308及び操作パネル309が接続される。
通信I/F306は、ユーザの発話等に伴う音声操作によって得られた画像データ、音声データ等をスマートスピーカ2から受信する。また、通信I/F306は、ネットワーク7を介して他の装置と通信を行う際、有線、無線いずれの通信形態でも通信を行うことが可能である。
内部バス307は、上述したようにCPU301、RAM302、ROM303、HDD304、外部I/F305及び通信I/F306を接続する汎用バスである。この内部バス307は、音声認識サーバ装置3がサーバ装置としての機能が実現できるものであれば、その種類は問わない。
ディスプレイ308は、例えば、液晶表示部(LCD:Liquid Crystal Display)で構成され、例えば、音声認識サーバ装置3の各種状態を表示する。
操作パネル309は、例えば、液晶表示部とタッチセンサとが一体的に形成された、いわゆるタッチパネルである。操作者(ユーザ)は、操作パネル309を用いて所望の出力命令を実行する場合、操作パネル309に表示された操作ボタン(ソフトウェアキー、アイコン等)を接触操作することで、所望の動作を指定する。なお、操作パネル309は、その機能の代用として一般的なPCのキーボードでもよい。
また、操作音声処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、CD−R、DVD(Digital Versatile Disk)、ブルーレイディスク(登録商標)、半導体メモリなどのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、インターネット等のネットワーク経由でインストールするかたちで提供してもよいし、音声認識サーバ装置3のROM等の記憶部に予め組み込んで提供してもよい。
<AIアシスタントサーバ装置のハードウェア構成>
図4は、AIアシスタントサーバ装置のハードウェア構成の一例を示す図である。AIアシスタントサーバ装置4は、CPU401、RAM402、ROM403、HDD404、外部インターフェイス(I/F)405及び通信I/F406を含むハードウェア資源を、内部バス407を介して相互に接続している。また、外部I/F405には、ディスプレイ408及び操作パネル409が接続されている。
HDD404には、音声アシスタントプログラム及び管理プログラムを含む各種プログラムが記憶されている。音声アシスタントプログラムは、上述した操作音声変換プログラムに対して辞書情報を提供する。さらに、管理プログラムは、例えば、後述するインテント及びパラメータに基づいて、AIアシスタントサーバ装置4が解釈可能なデータに変換した出力命令を、MFP6等の命令転送装置に送信するためのプログラムである。
また、HDD404は、AI記憶部440、管理DB441及び紐づけ用DB442を有している。AI記憶部440には、ユーザが音声操作によって指示された命令等の出力命令を解釈するための辞書情報が記憶されている。この辞書情報には、エンティティ(Entity)情報及びインテント(Intent)情報が含まれる。エンティティ情報は、MFP6が所定の処理を実行するためのパラメータと自然言語を関連付ける情報である。また、インテント情報は、所定の処理の種類を示す情報である。
管理DB441には、例えば、AIアシスタントサーバ装置4がクラウドサービス装置5として提供するコンテンツを示すテキストデータ、MFP6に出力される画像ファイルなどの画像データ及びスマートスピーカ2にフィードバックする際に用いられる音声データ等が記憶されている。
CPU401は、音声認識サーバ装置3で生成された解釈結果をMFP6に対する命令等のデータに変換してネットワーク7を介してMFP6に送信する。なお、ユーザから指示された意図は、例えば、MFP6への命令等のための指示を含む。このようにして、スマートスピーカ2で取得された音声データにより、MFP6を操作することができる。
RAM402は、例えば、HDD404等の記憶部に記憶された各種プログラムがダウンロードされ、CPU401によって各種処理が実行されるワークエリアとしての機能を有する。
ROM403には、例えば、HDD404に記憶されたプログラム以外の各種プログラムを構成するデータが記憶されている。
外部I/F405には、ディスプレイ408及び操作パネル409が接続される。
通信I/F406は、音声認識サーバ装置3及びMFP6に対するデータの送受信を、ネットワーク7を介して行う。また、通信I/F406は、ネットワーク7を介して他の装置と通信を行う際、有線、無線いずれの通信形態でも通信を行うことが可能である。
内部バス407は、CPU401、RAM402、ROM403、HDD404、外部I/F405及び通信I/F406を接続する汎用バスである。この内部バス407は、AIアシスタントサーバ装置4が命令送信装置の機能を実現するものであれば、その種類は問わない。
ディスプレイ408は、例えば、液晶表示部(LCD:Liquid Crystal Display)で構成され、例えば、AIアシスタントサーバ装置4の各種状態を表示する。
操作パネル409は、例えば、液晶表示部とタッチセンサとが一体的に形成された、いわゆるタッチパネルである。操作者(ユーザ)は、操作パネル409を用いて所望の出力命令を実行する場合、操作パネル409に表示された操作ボタン(ソフトウェアキー、アイコン等)を接触操作することで、所望の動作を指定する。なお、操作パネル409は、その機能の代用として一般的なPCのキーボードでもよい。
<クラウドサービス装置のハードウェア構成>
クラウドサービス装置5は、音声認識サーバ装置3及びAIアシスタントサーバ装置4を纏めたもので、スマートスピーカ2及びMFP6とそれぞれネットワーク7を介して接続される。クラウドサービス装置5を構成するハードウェア構成は、音声認識サーバ装置3及びAIアシスタントサーバ装置4で説明したとおりである。
<MFPのハードウェア構成>
図6は、MFPのハードウェア構成の一例を示す図である。MFP6及びMFP8は、コントローラ600、近距離無線通信回路620、エンジン制御部630、操作パネル640、ネットワークI/F650を備えている。
これらのうち、コントローラ600は、例えば、操作パネル640からの入力等を制御する。また、コントローラ600は、MFP6の全体制御を行う制御部としてのCPU601、システムメモリ(MEM−P)602、ノースブリッジ(NB)603、サウスブリッジ(SB)604、ASIC(Application Specific Integrated Circuit)606、記憶部としてのローカルメモリ(MEM−C)607、HDDコントローラ608及び記憶部としてのHDD609を有する。さらに、NB603とASIC606との間は、AGP(Accelerated Graphics Port)バス621で接続される。
NB603は、CPU601と、MEM−P602、SB604及びASIC606とを接続するためのブリッジ回路である。NB603は、MEM−P602に対する読み書きなどを制御するメモリコントローラと、PCI(Peripheral Component Interconnect)マスタ及びAGPターゲットとを有する。
MEM−P602は、コントローラ600の各機能を実現させるプログラム及びデータの格納用メモリであるROM602a、プログラム及びデータの展開並びに原稿スキャン時のストレージ用メモリ及びメモリ印刷時の描画用メモリなどとして用いるRAM602bを備える。なお、RAM602bに記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルで、CD−ROM、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
SB604は、NB603とPCIデバイス、周辺デバイスとを接続するためのブリッジ回路である。
ASIC606は、画像処理用のハードウェア要素を有する画像処理用途向けのIC(Integrated Circuit)である。その役割は、AGPバス621、PCIバス622、HDDコントローラ608及びMEM−C607をそれぞれ接続するブリッジ回路である。また、ASIC606は、PCIターゲット及びAGPマスタ、ASIC606に接続される他のデバイスの動作及びタイミングを調停するアービタ(ARB)、MEM−C607を制御するメモリコントローラ、DMA制御を司るDMAC(Direct Memory Access Controller)、スキャナ部631及びプリンタ部632との間でPCIバス622を介したデータ転送を行うPCIユニットを有する。
なお、ASIC606には、USB(Universal Serial Bus)のインターフェイス、及び、IEEE1394(Institute of Electrical and Electronics Engineers 1394)のインターフェイスを接続するようにしてもよい。
MEM−C607は、コピー用画像バッファ及び符号バッファとして用いるローカルメモリである。
HDD609は、画像データの蓄積、原稿の印刷時に用いるフォントデータの蓄積、フォームの蓄積等を行うためのストレージである。HDDコントローラ608は、CPU601の制御にしたがってHDD609に対するデータの読出し又は書込みを制御する。
AGPバス621は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインターフェイスである。AGPバス621は、MEM−P602に高スループットで直接アクセスすることにより、グラフィックスアクセラレータカードを高速にすることができる。
近距離無線通信回路620は、近距離無線通信を行うための回路であり、近距離無線通信回路用アンテナ620aを備える。近距離無線通信回路620は、例えば、NFC(Near Field Communication)、Bluetooth(登録商標)等の無線通信回路である。
エンジン制御部630は、スキャナ部631及びプリンタ部632によって構成される。スキャナ部631及びプリンタ部632には、誤差拡散及びガンマ変換などの画像処理部分が含まれる。
操作部11の一部としての操作パネル640は、MFP6に搭載又は接続可能であり、パネル表示部640a及びパネル操作部640bを含む。本実施形態では、一例としてMFP6に接続可能な状態を示している。パネル表示部640aは、現在の設定値及び選択画面等を表示させ、操作者からの入力を受け付けるタッチパネル等を備える。また、パネル操作部640bは、原稿サイズ、ファイル形式、カラー/モノクロ、部数等で与えられる印刷に係る属性情報(各種条件ともいう)の入力を受け付けるテンキー及びコピー開始指示を受け付けるスタートキー等を備える。
ネットワークI/F650は、通信ネットワークを利用してデータ通信をするためのインターフェイスである。近距離無線通信回路620及びネットワークI/F650は、PCIバス622を介して、ASIC606に電気的に接続される。
なお、MFP6は、パネル表示部640aに表示される又はパネル操作部640bが備えるアプリケーション切替キーにより、ドキュメントボックス機能、コピー機能、プリンタ機能及びファクシミリ機能を切り替えて選択することが可能となる。つまり、MFP6は、ドキュメントボックス機能の選択時にはドキュメントボックスモードとなり、コピー機能の選択時にはコピーモードとなり、プリンタ機能の選択時にはプリンタモードとなり、ファクシミリ機能の選択時にはファクシミリモードとなる。
〔機能構成〕
<命令転送システムの機能構成>
図7は、命令転送システムを構成する各装置の機能ブロックの一例を示す図である。命令転送システムは、図1に示したように、スマートスピーカ2、音声認識サーバ装置3、AIアシスタントサーバ装置4、クラウドサービス装置5及びMFP6がそれぞれネットワーク7を介して接続されている。
<スマートスピーカの機能構成>
スマートスピーカ2は、クラウドサービス装置5を構成する音声認識サーバ装置3及びAIアシスタントサーバ装置4との間で、例えば音声データ、画像データ及びテキストデータ等に係るデータ通信を行う。
(操作音声処理プログラムの機能)
スマートスピーカ2は、図2に示されているRAM202又はROM203によって構築される記憶部2000を有している。また、スマートスピーカ2のCPU201は、記憶部2000に記憶された操作音声処理プログラムをRAM202に展開して実行することで、例えば、送受信部21、取得部22、フィードバック部23及び記憶・読出処理部29として機能又は機能する手段を構成する。
<スマートスピーカの各機能構成>
次に、スマートスピーカ2の各機能構成について説明する。送受信部21は、ネットワーク7を介してスマートスピーカ2とクラウドサービス装置5との間の通信を制御し、各種データ又は情報の送受信を行う。その際、送受信部21は、スマートスピーカ2の通信I/F206を制御して各種データ又は情報の送受信を行う。送受信部21は、次に説明する取得部22が取得したスマートスピーカ2に対してユーザが行った所定の操作及び指示等に基づく情報をクラウドサービス装置5に送信する。また、送受信部21は、フィードバックのために、クラウドサービス装置5からテキストデータ、画像データ、音声データ等を取得する。さらに、送受信部21は、ユーザが行った所定の操作及び指示等に係る情報をクラウドサービス装置5に送信する際に、スマートスピーカ2を特定するデバイスIDもあわせて送信する。
上述したように、送受信部21は、スマートスピーカ2がLAN等のネットワーク7を介して接続される他の装置との通信を制御する。この通信を行う際の通信方式は、例えば、一般的にLANで使用されるEthernet(登録商標)等の通信プロトコルが用いられる。この送受信部については、後述する音声認識サーバ装置3、AIアシスタントサーバ装置4、クラウドサービス装置5及びMFP6が有する各送受信部についても同様の機能を有する。
取得部22は、データ取得手段の一例である。取得部22は、マイクロホン210を介して集音されたユーザの音声操作に伴う指示音声を取得する。また、取得部22は、ユーザによるタップ操作又は物理スイッチの押下などの機械操作を含む指示操作を取得してもよい。つまり、取得部22は、指示音声及び指示操作を含む各種指示を表す指示情報のうち少なくとも一つを取得する。なお、指示音声には、例えば、MFP6等に所定の命令を実行させるための情報が含まれる。本実施形態において、ユーザの音声操作により与えられる指示音声で示される音声データは、例えば、ユーザ自身の発話音声の他、ユーザが予め録音した音声を再生した音声、コンピュータで擬人化された音声等を集音して取得した音声データの少なくとも一方の音声データである。
取得部22は、上述した操作音声処理プログラムを実行することで、ユーザの音声操作よって与えられた音声データを取得してクラウドサービス装置5に送信する。さらに取得部22は、フィードバック部23と協働して、クラウドサービス装置5から取得した音声データ及びテキストデータ等を、タッチパネル208に表示するか、又はスピーカ209を介した音声をユーザに通知する。なお、タッチパネル208は、スマートスピーカ2と一体で構成されていてもよいし、別々に構成されていてもよい。スマートスピーカ2と別々に構成される場合、タッチパネル208は、スマートスピーカ2と行う無線通信等に必要な無線通信インターフェイスを備えておけばよい。
フィードバック部23は、ユーザによって与えられた音声データに基づいてMFP6で実行される印刷処理又は命令の転送処理において、必要に応じてスマートスピーカ2がユーザに対して応答するように機能する。このフィードバック部23によって、本実施形態はスマートスピーカ2を操作するユーザとの間での対話型システムを実現している。また、この対話型システムにおける音声操作を実現するため、フィードバック部23は、例えば、ユーザから与えられた指示音声に対して不足するデータを補うために音声又は画像によるフィードバックを行う。さらに、フィードバック部23は、タッチパネル208の画面への表示により、フィードバック対象のテキスト、音声又は画像をユーザに提供してもよい。なお、フィードバック部23による対話型動作及びフィードバックの詳細については、後述する。
記憶・読出処理部29は、例えば、ROM203に対する各種データの書込み処理、並びにROM203に記憶された操作音声処理プログラム等の各種プログラムを構成するデータの読出し処理を行う。
なお、本実施形態では、送受信部21、取得部22、フィードバック部23及び記憶・読出処理部29は、ソフトウェアで実現されてもよい。また、送受信部21、取得部22、フィードバック部23及び記憶・読出処理部29は、他のプログラムに処理の一部を実行させ、又は他のプログラムを用いて間接的に処理を実行させてもよい。さらに、送受信部21、取得部22、フィードバック部23及び記憶・読出処理部29は、一部又は全部を、IC(Integrated Circuit)等のハードウェアで実現されてもよい。
<音声認識サーバ装置の機能構成>
音声認識サーバ装置3は、スマートスピーカ2から受信した音声データを解析し、テキストデータへ変換する。また、テキストデータと事前登録されている辞書情報とに基づいてユーザの意図を解釈し、解釈結果をAIアシスタントサーバ装置4に送信する。
(操作音声変換プログラムの機能)
操作認識サーバ装置3は、図3に示されているRAM302、ROM303、又はHDD304によって構築される記憶部3000を有している。音声認識サーバ装置3のCPU301は、スマートスピーカ2を介してユーザによって与えられた音声データに応じて、記憶部3000に記憶された操作音声変換プログラム等をRAM302に展開して実行する。これらの操作音声変換プログラム等が実行されることにより、CPU301は、例えば、送受信部31、取得部32、変換部35、解釈部36及び記憶・読出処理部39として機能又は機能する手段を構成する。
<音声認識サーバ装置の各機能構成>
次に、音声認識サーバ装置3の各機能構成について説明する。送受信部31は、ネットワーク7を介してスマートスピーカ2又はAIアシスタントサーバ装置4との間の通信を制御し、各種データ又は情報の送受信を行う。具体的には、送受信部31は、ユーザによって与えられた音声データの受信、及びスマートスピーカ2に対するテキストデータの送信等を行うように、音声認識サーバ装置3の通信I/F306を制御する。
取得部32は、スマートスピーカ2から送信される音声操作に基づく指示情報を取得する。なお、取得部32は、スマートスピーカ2のタッチパネル、ボタン又はスイッチ等のユーザの操作に基づく情報を取得してもよい。
変換部35は、取得部32で取得したユーザの名前、指示音声等に係る音声データをテキストデータに変換する。
解釈部36は、変換部35で変換されたテキストデータに基づいて、ユーザから与えられた音声データに基づく指示内容を解釈する。具体的には、解釈部34は、音声アシスタントプログラムから提供された辞書情報に基づいて、テキストデータに含まれる単語などが辞書情報と一致しているか否かを判断する。そして、辞書情報と一致している場合には、解釈部34は、ユーザの意図を示すインテントと所定の処理の実行条件などの変数を示すパラメータに変換する。解釈部34は、インテント及びパラメータを、送受信部31を介してAIアシスタントサーバ装置4で実行される管理プログラムに送信する。
このとき、解釈部34は、スマートスピーカ2のデバイスIDも、インテント及びパラメータと共に送受信部31を介してAIアシスタントサーバ装置4で実行される管理プログラムに送信する。このとき、解釈部34は、ユーザが用いたデバイスを特定するためのスマートスピーカ2のデバイスIDも共に管理プログラムに送信する。
記憶・読出処理部39は、例えば、記憶部3000に記憶されている操作音声変換プログラム等の各種プログラムを構成する各種データの読出し、及び記憶部3000への各種データの書込み等の処理を行う。
なお、本実施形態では、送受信部31、取得部32、変換部35、解釈部34及び記憶・読出処理部39は、ソフトウェアで実現されてもよい。また、送受信部31、取得部32、変換部35、解釈部34及び記憶・読出処理部39は、他のプログラムに処理の一部を実行させ、又は他のプログラムを用いて間接的に処理を実行させてもよい。例えば、操作音声変換プログラムの解釈部34の機能の一部又は全てを音声アシスタントプログラムに実行させてもよい。これらの場合、例えば、テキストデータに含まれる単語などが辞書情報と一致しているか否かの判断、及び辞書情報と一致している場合にユーザの意図を示すインテントと所定の処理の実行条件などの変数を示すパラメータへの変換は、音声アシスタントアプリ等に実行させてもよい。さらに、解釈部34は、インテント及びパラメータを音声アシスタントプログラム等から取得するものとしてもよい。さらに、送受信部31、取得部32、変換部35、解釈部34及び記憶・読出処理部39のうち、一部又は全部を、IC(Integrated Circuit)等のハードウェアで実現してもよい。
また、上述した例では、送受信部31、取得部32、変換部35、解釈部34及び記憶・読出処理部39をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、IC(Integrated Circuit)等のハードウェアで実現してもよいこと等は、上述の他のプログラムと同様である。
<AIアシスタントサーバ装置の機能構成>
AIアシスタントサーバ装置4は、例えば、音声認識サーバ装置3で実行された操作音声変換プログラム音声アシスタントプログラムによって得られたインテント、パラメータ及びスマートスピーカ2のデバイスID等を取得して、後述する各機能の処理を行う。
また、AIアシスタントサーバ装置4は、音声認識サーバ装置3から要求された辞書情報を提供する。さらに、AIアシスタントサーバ装置4は、音声認識サーバ装置3から受信した解釈結果を、MFP6に対する命令等のデータに変換する。その後、AIアシスタントサーバ装置4は、変換した命令等のデータをMFP6に送信する。MFP6では、AIアシスタントサーバ装置4から送信される命令等にしたがって他のMFPへの命令転送処理又は印刷処理が実行される。なお、AIアシスタントサーバ装置4は、MFP6に命令等を送信する以外に、例えば、MFP6を管理する他のサーバ装置が存在すれば、MFP6で実行される他の出力命令等を他のサーバ装置に送信してもよい。
(管理プログラムの機能)
AIアシスタントサーバ装置4は、図4に示されているRAM402及びHDD404によって構築される記憶部4000を有している。AIアシスタントサーバ装置4のCPU401は、ネットワーク7を介して音声認識サーバ装置3の記憶部3000に記憶された音声アシスタントプログラム及び管理プログラムを取得し、図4に示されているRAM402に展開して実行する。CPU401は、これらのプログラムのうち、管理プログラムを実行することで、例えば、送受信部41、取得部42、変換部43、送信制御部45、処理部46及び記憶・読出処理部49として機能又は機能する手段を構成する。なお、下記各テーブルで同じ名称の項目(カラム)は同じ意味を示すため、二つ目以降の説明を省略する。
○転送管理テーブル○
図5(A)は、転送管理テーブルを示す概念図である。記憶部4000には、図5(A)に示されている転送管理テーブルによって構成されている紐づけ用DB442が構築されている。この転送管理テーブルでは、装置名毎に音声操作対応状況が関連付けられて記憶、管理されている。
これらのうち、装置名は、命令転送システムにおける命令転送装置(MFP6)又は命令実行装置(MFP8)の名称である。
音声操作対応状況は、ユーザから与えられた音声操作に伴う音声データに含まれる命令を受信又は実行の可否(対応可能であるか否か)を示すものである。
○転送先装置管理テーブル○
図5(B)は、転送先装置管理テーブルを示す概念図である。記憶部4000には、図5(B)に示されている転送先装置管理テーブルによって構成されている紐づけ用DB442が構築されている。この転送先装置管理テーブルでは、デバイスID毎に転送先装置名及び転送先装置のIPアドレス又はHost名が関連付けられて記憶、管理されている。
これらのうち、デバイスIDは、スマートスピーカ2(音声取得装置)を識別するための装置識別情報の一例である。但し、デバイスIDに代えて又は加えて、スマートスピーカ2の装置名を示す音声取得装置名が管理されてもよい。
転送先装置名は、例えば、ユーザから与えられた音声操作に基づく印刷指示を変換した命令が転送される命令転送装置又は命令実行装置の装置名である。
転送先装置のIPアドレス又はHost名は、上述した転送先装置を識別するためのIPアドレス、Host名である。なお、IPアドレス、Host名を含む転送先装置に係る情報は、転送先装置(命令実行装置)への宛先を示す特定の宛先情報の一例である。
なお、装置先装置管理テーブルは、未登録のユーザのユーザID及びそのユーザが使用するスマートスピーカ2のデバイスID、並びに、そのユーザが指定した命令転送装置IDをそれぞれ関連付けて、新たに追加登録されるようにしてもよい。
さらに、転送先装置管理テーブルは、MFP6のHDD609等の記憶部に記憶、管理されていてもよい。この場合、転送先装置管理テーブルはMFP6でのみ利用されるため、MFP6の装置名及びMFP6の装置IDを含まなくてもよい。
また、上述した各テーブルの値は、命令転送システムにおいて、必要に応じて適宜更新、変更等が行われてもよい。
<AIアシスタントサーバ装置の各機能構成>
次に、AIアシスタントサーバ装置4の各機能構成について説明する。送受信部41は、ユーザの音声取得装置2に対する解釈結果の送信、及びユーザによって与えられた音声データに係るテキストデータの受信等を行うように通信I/F406を制御する。
取得部42は、は、音声認識サーバ装置3から送信されるインテント、パラメータ及びスマートスピーカ2のデバイスID等を取得する。さらに、音声認識サーバ装置3から送信されたユーザのユーザIDも取得する。
変換部43は、記憶部4000に記憶されているテキストデータ、インテント及びパラメータの関係を予め定義した辞書情報を管理する。音声アシスタントプログラムが実行されると、変換部43は、音声認識サーバ装置3で実行される操作音声変換プログラムに対して辞書情報を提供する。
また、変換部43は、音声認識サーバ装置3の変換部35で変換されたテキストデータに基づいて、ユーザから与えられた音声操作の内容を変換、解釈する。具体的には、変換部43は、まず操作音声変換プログラムからテキストデータを取得し、テキストデータに含まれる単語などが辞書情報と一致しているか否かを判断する。その判断の結果、辞書情報と一致している場合には、変換部43は、テキストデータをインテントとパラメータに変換する。その後、変換部43は、インテント及びパラメータを操作音声変換プログラムに対して提供する。
上述したように、変換部43は、ユーザによる印刷指示等に対する応答としてテキストデータ及び音声データ等を操作音声変換プログラム等に提供する。また、MFP6に対する命令及びファイル出力命令等の実行条件を示すパラメータが不足している場合には、変換部43は、操作音声変換プログラムの少なくとも一方を介してスマートスピーカ2に対してフィードバックを行う。このフィードバックにより、変換部43は、ユーザに対して不足しているパラメータの入力を促す。ここで、変換部43は、不足しているパラメータを確認するために必要な情報として、所定のパラメータ情報をスマートスピーカ2に送信してもよい。さらに、変換部43は、パラメータの指定を促すために必要な情報としてテキストデータ、画像データ及び音声データ等をスマートスピーカ2に送信してもよい。上述したそれぞれの処理によって、ユーザは、どのような情報が不足しているかをスマートスピーカ2から出力される音声、画像等によって確認することができる。
さらに、変換部43は、ユーザから指定された出力指示に基づいて出力命令に変換可能か否か、あるいは、変換された出力命令が各出力処理で実行可能か否かを判断する。判断時に必要となる判断対象は、変換部43で解釈された解釈結果、取得した機器情報で示されるMFP6等の命令転送装置の状態、及びユーザから指定された印刷指示等である。ユーザから指定された印刷に係る内容は、例えば、ユーザから指示された時間帯にMFP6が使用可能か否かの判断処理、MFP6の電源状態の変更処理、MFP6に対する印刷処理である。また、ユーザから指定された印刷指示等に基づく各処理が実行可能と判断された場合、変換部43は、MFP6に出力要求の一例としての命令及びファイル出力命令等の各種出力命令に変換するように判定する。その後、変換部43は、音声認識サーバ装置3で実行された操作音声変換プログラムにより変換されたインテント及びパラメータなどの解釈結果を、MFP6が実行可能な命令等の出力命令に変換する。一方、実行不可能と判断された場合、変換部43は、操作音声変換プログラム等の実行により、スマートスピーカ2に対して指示情報の再取得要求(情報の補完)を示す要求情報、エラーメッセージ等のレスポンス情報等を、スマートスピーカ2に対してフィードバックする。
上述したように、変換部43は、スマートスピーカ2で取得したユーザの意図(指示)を表す第1の命令情報を、MFP6等の命令実行装置が実行可能な命令を表す第2の命令情報に変換する変換手段の一例として機能する。
送信制御部45は、転送先装置管理テーブルから転送先となる転送先装置(MFP6又はMFP8)を決定し、決定した転送先装置に対して、変換部43で変換した第2の命令情報を送信する。また、送信制御部45は、転送先となる転送先装置を決定する際に、デバイスIDを検索キーとして転送先装置管理テーブルを検索することにより、対応する転送先装置名を読み出す(抽出する)。さらに、送信制御部45は、送信先が決定したことを、スマートスピーカ2を介してユーザにフィードバック処理する機能も併せ持つ。
処理部46は、AIアシスタントサーバ装置4から送信された第1の命令情報を、MFP6自らが実行する場合の印刷処理、スキャン処理及びファイル転送処理等の各種処理を実行する。
記憶・読出処理部49は、記憶部4000に記憶された音声アシスタントプログラム、管理プログラム等の各種プログラムを構成する各種データの読出し、記憶部4000への各種データの書込み等の処理を行う。
上述した送受信部41、取得部42、変換部43、送信制御部45、処理部46及び記憶・読出処理部49のそれぞれの機能は一例であり、どの機能ユニットがどのような処理を行うかは、命令転送システムのシステム構成若しくはソフトウェア構成により適宜変えることができる。
なお、本実施形態では、送受信部41、取得部42、変換部43、送信制御部45、処理部46及び記憶・読出処理部49をソフトウェアで実現することとしたが、これらのうち、一又は全部を、IC(Integrated Circuit)等のハードウェアで実現してもよい。また、送受信部41、取得部42、変換部43、送信制御部45、処理部46及び記憶・読出処理部49が実現する機能は、音声認識サーバ装置3の記憶部3000に記憶された他のプログラムに処理の一部を実行させる、又は他のプログラムを用いて間接的に処理を実行させてもよい。
<MFP6の機能構成>
MFP6は、図6に示されているHDD609等によって構築される記憶部6000を有している。MFP6のCPU601は、クラウドサービス装置5から送信された命令及びファイル出力命令等の各種出力命令に基づいて、記憶部6000に記憶された命令情報変換プログラム又は印刷実行プログラムをRAM602bに展開して実行する。CPU601は、この印刷実行プログラムを実行することで、例えば、送受信部61、変換部62、通知部63、転送部64、実行部65及び記憶・読出処理部69として機能又は機能する手段を構成する。
<MFP6の各機能構成>
次に、MFP6の各機能構成について説明する。送受信部61は、クラウドサービス装置5(AIアシスタントサーバ装置4の送受信部41)とネットワーク7を介して通信を行う。
また、送受信部61は、MFP6で実行される命令及びファイル出力命令等の各種出力命令を、クラウドサービス装置5から受信する。つまり、送受信部61は、クラウドサービス装置5から各種出力命令を受信する受信手段の機能を担う。
変換部62は、クラウドサービス装置5から送信されたMFP6が実行可能な第1の命令情報(命令及びファイル出力命令等に係る命令情報)を、MFP6の転送先となるMFP8が実行可能な命令を示す第2の命令情報に変換する。例えば、クラウドサービス装置5から送信された命令(第1の命令)を命令転送システム上のMFP8が受信又は実行できないとき、MFP6は、MFP8に代わって第1の命令情報を一旦受信し、MFP8が受信及び実行可能な第2の命令情報に変換する。なお、変換部62が機能するとき、MFP6は、第1の命令情報を第2の命令情報に変換及び転送するためのアプリケーションソフトウェアを実行する。
転送部64は、変換部62で変換された第2の命令情報を、第2の命令情報で実行される画像ファイル等とともに転送先装置となるMFP8に転送する。なお、転送部64は、ユーザから与えられた印刷指示を受け付けた時点で、転送先装置となるMFP8を、AIアシスタントサーバ装置4を経由して音声、メール及び画像配信等によってスマートスピーカ2に通知してもよい。
実行部65は、クラウドサービス装置5から受信した命令情報に基づいて、MFP6において印刷処理を実行する。また、実行部65は、例えば、命令受信部652が命令を受信した場合、命令に含まれる上述の各種情報に基づいて、記憶部6000に記憶された印刷処理の状況を更新する。また、実行部65は、命令情報の転送先となる転送先装置が命令及びファイル出力命令等を実行できない状態などの場合に、自身で命令の実行可否をユーザに対してメール等で問い合わせ、ユーザからの許可が出た場合に、転送予定の命令情報に基づく命令を実行する機能を有する。その際、MFP6が何らかの原因で自身でも印刷処理ができない場合は、MFP6から外部(ユーザ等)に対してエラー通知としてのステータス信号を送信してもよい。なお、ユーザに対するメール等の問合せは、実行部65によって、ユーザが所有する端末装置のメールアドレスとMFP6のメールアドレスとのメール通信により実行することができる。
上述したように、実行部65は、スマートスピーカ2に対して与えられた印刷指示及びファイル出力指示等に基づく命令及びファイル出力命令等を実行する第1の実行手段の機能を担う。また、実行部65は、MFP6における転送処理又は印刷処理に加えて外部装置へのファイル送信及びストレージへの保存等を行う出力処理の場合は、AIアシスタントサーバ装置4から受信した各種命令に係るファイル及びデータを出力形式で送信することが可能である。
記憶・読出処理部69は、記憶部6000を制御して、各種データの読出し、書込みを行う。
なお、本実施形態では、送受信部61、変換部62、通知部63、転送部64、実行部65及び記憶・読出処理部69をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、IC(Integrated Circuit)等のハードウェアで実現してもよい。
<MFP8の機能構成>
続いて、MFP8の機能構成を説明する。MFP8のハードウェア構成は、上述したMFP6と同様であるため、以下、MFP6のハードウェア構成をMFP8のハードウェア構成として説明する。MFP8は、図6に示されているHDD609等と同等の記憶手段によって構築される記憶部8000を有している。MFP8のCPU601は、MFP6から送信された第2の命令情報に基づいて、記憶部8000に記憶された命令実行プログラムをRAM602bに展開して実行する。CPU601は、この命令実行プログラムを実行することで、例えば、送受信部81、判断部82、通知部83、実行部85及び記憶・読出処理部89として機能又は機能する手段を構成する。
<MFP8の各機能構成>
次に、MFP8の各機能構成について説明する。但し、上述したMFP6の各機能構成と共通する機能構成については、説明を省略する。
判断部82は、クラウドサービス装置5(AIアシスタントサーバ装置4の送受信部41)とネットワーク7を介して通信を行う。
なお、本実施形態では、送受信部81、判断部82、通知部83、実行部85及び記憶・読出処理部89をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、IC(Integrated Circuit)等のハードウェアで実現してもよい。
〔実施形態の処理又は動作〕
●第1の実施形態
以下、図8及び図9を用いて、本発明の第1の実施形態について説明する。
<命令転送システムの処理の概要>
図8は、第1の実施形態に係るユーザの音声操作に基づく処理の一例を示すシーケンス図である。第1の実施形態では、クラウドサービス装置5からMFP6に対して第1の命令を送信した後、MFP6で受信した第1の命令をMFP8が実行可能な第2の命令に変換し、第2の命令をMFP8に転送する処理について説明する。具体的には、第1の実施形態では、ユーザの音声操作によって得られた出力命令を示す印刷指示に基づいて、音声認識サーバ装置3とAIアシスタントサーバ装置4とが協働して構成したクラウドサービス装置5から命令転送装置の一例であるMFP6(以下、MFP_#1)に対して第1の命令情報を送信し、MFP_#1において、命令実行装置の一例であるMFP8(以下、MFP_#2)で実行可能な命令を示す第2の命令情報に変換してMFP_#2に転送し、MFP_#2で印刷処理を行う場合を例示する。なお、本実施形態においては、所定の通信プロトコルによって、少なくともスマートスピーカ2、音声認識サーバ装置3及びAIアシスタントサーバ装置4との間の通信が確立しているものとする。
上述したような特徴により、命令転送装置の一例であるMFP_#1は、ユーザが行った音声操作に基づいて生成された第1の命令情報を命令実行装置の状態に応じて第2の命令情報に変換する。これに続いて、MFP_#1は、変換した第2の命令情報を命令実行装置の一例であるMFP_#2に転送することで、MFP_#2は、ユーザが行った音声操作に基づく印刷処理を実行することができるようになる。
ここで、クラウドサービス装置5からある装置に送信された命令情報が、その装置で受信可能であるか不可能であるかについて説明する。命令情報が受信可能であるためには、その装置で、予め決められたプロトコルを利用する必要がある。一方で、以下のような場合には、命令が受信不可能となる。
1.ファームウェアのバージョンが古い機種が、機器を操作するためのAPI(Application Programming Interface)を外部に提供していない場合
2.APIを外部に提供しているが、ファームウェアのバージョンが古く、命令が受けられない場合
3.ファームウェアのバージョンが古く、最初に必要なスマートスピーカとのペアリングができない(通信プロトコルが利用できない、又は通信プロトコルのバージョンが古い)場合
第1の実施形態では、クラウドサービス装置5から送信された第1の命令を実行可能なMFP6を、「音声操作に対応したMFP_#1(新機)」(以降、MFP_#1と記す)という。一方、クラウドサービス装置5から送信された第1の命令を実行不可能なMFP8を、「音声操作に対応していないMFP_#2(旧機)」(以降、MFP_#2と記す)という。なお、クラウドサービス装置5は、本実施形態に係る命令送信システムの一例である。
以下に、図8の各シーケンス図における処理を示す。本実施形態に係る命令転送システムでは、まずユーザは、自らが使用するスマートスピーカ2に対して、発話を伴う音声操作等により自身のユーザ名及びユーザIDの少なくとも一方を入力する。具体的には、スマートスピーカ2は、ユーザによってユーザ名及びユーザIDの少なくとも一方がマイクロホン209を介して入力されると、ユーザ名及びユーザIDの少なくとも一方とスマートスピーカ2の装置名及びデバイスIDの少なくとも一方との関連付けを行う。
その後、MFP_#2は、MFP_#1に対して、予め自身の存在を登録する接続・登録処理を実行する(ステップS101)。この登録の方法は、例えば、IPアドレス、mDNSで解決が可能なドメイン名、ホスト名、及びどのような指示を受け付けることが可能であるかを示すCapability(ケーパビリティ)と呼ばれるデータを含む。
ステップS101でMFP_#2から接続・登録処理を実行されたMFP_#1は、実行された接続・登録情報をMFP_#1に記憶した後、接続・登録情報をAIアシスタントサーバ装置4に送信する(ステップS102)。このとき、MFP_#1の転送部64は、操作部を介してスマートスピーカ2のデバイスID又はユーザIDの入力を受け付け、受け付けた情報を接続・登録情報に含めてAIアシスタントサーバ装置4へ送信してもよい。AIアシスタントサーバ装置4の送信制御部45は、接続・登録情報に基づいて転送管理テーブル及び転送先装置管理テーブルを生成する。つまり、送信制御部45は、転送管理テーブルにおいて、装置名としてMFP_#2と音声操作対応状況を登録する。また、送信制御部45は、転送先装置管理テーブルにおいて、デバイスIDと対応付けて転送先装置名としてMFP_#2とIPアドレスを登録する。
次にユーザは、音声操作によりスマートスピーカ2のマイクロホン209に、例えば、「ファイルAを印刷して」と発話する。つまり、ユーザの音声操作により、スマートスピーカ2の取得部22は、ユーザから与えられた音声データを、マイクロホン209を介して取得する(ステップS103)。このとき、音声操作に代えて、スマートスピーカ2に備えられた操作部の特定の操作ボタン等をユーザが押下してファイル名等を設定し、印刷実行ボタン等を押下することにより、MFP6に対する印刷指示をスマートスピーカ2に与えるようにしてもよい。なお、ユーザが押下する操作部の特定の操作ボタンは、出力命令を示す印刷指示を受け付ける受付手段又は機能の一例である。
上述したように、ユーザによる音声操作を受け付けることで、スマートスピーカ2は、原稿の印刷指示である印刷指示をユーザから取得することができる。なお、ユーザが保持する原稿の印刷指示に関する内容であれば、発話内容は上述したものに限定されない。さらに、ユーザがカメラ211に原稿を翳した場合は、必ずしも発話による情報を与えなくてもよい。
次に、取得部22は、音声操作に基づいて取得した音声データ、デバイスID、デバイス位置情報及びユーザIDを含む情報を、送受信部21を介して音声認識サーバ装置3の操作音声変換プログラムに送信する(ステップS104)。ここで、上述した「ファイルAを印刷して」のようなユーザの音声操作に基づいて取得された音声データは、上述した印刷指示に相当し、第1の命令情報の一例である。
なお、デバイスIDは、ユーザに関連付けられたスマートスピーカ2を特定する情報の一例であり、転送先装置管理テーブルに示したとおりである。送受信部21は、例えば、デバイスIDに代えて又は加えて、スマートスピーカ2の位置を示す位置情報、スマートスピーカ2を使用するユーザ個人を特定するユーザID、ユーザ名又はユーザの所属する組織等の個人を特定する情報を送信してもよい。
また、ユーザIDを特定する方法として、例えば、以下の方法がある。一つは、スマートスピーカ2に向けて自分の名前をマイクロホン209に向けて発話する方法である。この名前の発話を受けて、音声認識サーバ装置3の変換部35は、発話された名前のテキスト化を行う。続いて、AIアシスタントサーバ装置4の取得部42は、音声認識サーバ装置3の変換部35によりテキスト化された名前から、AIアシスタントサーバ装置4で記憶、管理されているユーザ名を照合して、名前を発話したユーザのユーザIDを特定する。また、ユーザによる名前の発話に代えてユーザのメールアドレス等が発話されるようにしてもよい。さらに、スマートスピーカ2のカメラ211を使用して撮影されたユーザの顔写真等に係る撮影画像とユーザIDとが照合されるようにしてもよい。さらに、スマートスピーカ2に備えられた操作部にユーザ名及びユーザIDの少なくとも一方が入力されるようにしてもよい。
続いて、音声認識サーバ装置3の取得部32は、送受信部31を介して、デバイスID、デバイス位置情報及びユーザIDを含む情報とあわせてスマートスピーカ2から送信された音声データを取得する。その後、音声認識サーバ装置3の変換部35は、スマートスピーカ2から送信された音声データをテキスト化する(ステップS105)。
なお、取得部32は、スマートスピーカ2に備えられた音声データを得るための取得部22の機能を兼ね備えてもよい。その場合、取得部32は、例えば、マイクロホン209を介して集音されたユーザの指示音声を、スマートスピーカ2のデバイスID及びユーザのユーザIDとあわせて取得する機能を有する。つまり、取得部32は、上述したステップS102及びステップS103の機能を兼用する。このような取得部32は、スマートスピーカ2の取得部22と同様に、データ取得手段の一例として機能してもよい。つまり、音声認識サーバ装置3は、データ取得手段を備えるサーバ装置の一例として機能してもよい。
上述したように、音声認識サーバ装置3の変換部35は、スマートスピーカ2から取得した音声データをテキスト化する。このテキスト化の処理は、例えば、「ファイルAを印刷して」という内容の音声操作に基づく音声データをテキストデータに変換する処理を行う。なお、上述した「ファイルAを印刷して」という発話内容は、命令転送装置に送信される第1の命令に変換するための出力命令情報の一例である。
続いて、変換部35は、AIアシスタントサーバ装置4で実行される音声アシスタントプログラムに対して辞書情報を要求するために、テキスト化した音声データを、送受信部31を介してAIアシスタントサーバ装置4に送信する(ステップS106)。なお、上述した原稿特定情報の要求及び辞書情報の要求は、一度のタイミングでAIアシスタントサーバ装置4に送信されてもよいし、時間を分けて送信されてもよい。
辞書情報の要求を受信したAIアシスタントサーバ装置4は、音声アシスタントプログラムを実行させる。音声アシスタントプログラムが実行されることにより機能する取得部42は、記憶部4000に構築されている紐づけ用DB442を検索し、テキスト化された音声データから辞書情報を取得する。その後、取得部42は、取得した辞書情報を音声認識サーバ装置3で実行される操作音声変換プログラムにそれぞれ送信(提供)する(ステップS107)。
続いて、音声認識サーバ装置3で操作音声変換プログラムが実行されることにより、解釈部36は、スマートスピーカ2から送信されたテキスト化された音声データを解釈する。続いて、解釈部36は、ユーザが行った音声操作に対応したインテント(Intent)とパラメータ(Parameter)を生成する(ステップS108)。具体的には、解釈部36は、音声アシスタントプログラムから取得した辞書情報に基づいて、テキストデータに含まれる単語及び所定の意味を持つことば等が辞書情報と一致しているか否かを判断する。つまり、テキスト解釈を行う。テキストデータに含まれる単語及び所定の意味を持つことば等が辞書情報と一致している場合、解釈部36は、ユーザから指示された内容に対応したインテント及び各種処理の実行条件等の変数を示すパラメータに変換する。
ここで、インテントとは、MFP6に対して送信する印刷要求などの各種出力処理の対象、種類等を示す情報であり、パラメータとは、各種出力処理の設定等を示す情報である。本実施形態の場合、インテントは、例えば、MFP6に対して要求するジョブの種類を示す情報、すなわちMFP6に対する印刷要求を示す情報であり、パラメータは、そのインテントに関連する内容、例えば、MFP6に対して要求するジョブに関連する情報、すなわちMFP6で実行される印刷時の付随情報を示す情報である。
続いて、解釈部36は、生成したインテント、パラメータ、スマートスピーカ2のデバイスIDをAIアシスタントサーバ装置4で実行される管理プログラムに送信する(ステップS109)。管理プログラムは、インテントとパラメータに基づいて必須パラメータが充足しているか否かを判断する。必須パラメータとしては、印刷枚数、カラー/モノクロ等の任意の条件を設定することができる。
次に、クラウドサービス装置5で実行される命令への変換について説明する。ここでの処理は、主に、ユーザの音声操作に伴う音声データから、命令への変換に係る命令への変換が行われる。なお、命令への変換には、インテント及びパラメータが必要となる。
まず、AIアシスタントサーバ装置4の変換部43は、取得部42で取得されたインテント、パラメータ及びスマートスピーカ2のデバイスID等に基づいて、命令転送装置に対する命令を示す命令情報に変換する(ステップS110)。このとき、インテント又はパラメータには、変換部43により転送先装置管理テーブルが参照されることで、デバイスID:SID1に対応する命令転送装置の一例である「MFP_#1」が与えられる。以下、命令転送装置としてMFP_#1を例に説明するが、所定の命令を示す命令情報を他の装置に転送可能な装置であれば、その種類は問わない。
変換部43によるデータ変換に伴い、送信制御部45は、スマートスピーカ2のデバイスID、ユーザ名及びユーザID、並びに転送先装置管理テーブルで管理される情報に基づいて、印刷に用いられるMFP_#1を特定する。
さらに変換部43は、ユーザによって与えられた音声データに対して、MFP_#1で実行又は転送される出力命令情報の変換(生成)に必要な情報を補完することができる。しかし、命令に係る必須パラメータの生成に必要な情報を補完できない場合は、変換部43は、スマートスピーカ2を介してユーザにフィードバックを行い、必須パラメータの生成に必要な情報の入力(取得)をユーザに促すよう制御してもよい。
<命令情報の送信先決定処理>
続いて、AIアシスタントサーバ装置4で実行される、命令情報の送信先決定処理について説明する。
命令情報のうち、変換部43により変換された命令情報に対して、送信制御部45は、記憶部4000に記憶、管理された管理DB441及び紐づけ用DB402を参照して、命令情報の送信先を決定する(ステップS111)。このステップS111については、別途フローチャートを用いて詳細に説明する。
<送信先決定処理の詳細フロー>
図9は、第1の実施形態に係る送信先決定処理の詳細の一例を示すフローチャートである。図9に示されているように、送信制御部45は、変換部43により変換された命令情報に含まれるデバイスIDを検索キーとして紐づけ用DB402で管理されている転送先装置管理テーブルを検索することにより、対応する転送先装置名を読み出す(ステップS1101)。
続いて、送信制御部45は、ユーザから音声操作によって与えられた印刷指示に対して送信先(転送先)が与えられたか否かを、読み出した転送先装置名から判断する。具体的には、送信制御部45は、ユーザから与えられた印刷指示に対して送信先(転送先)を示す送信先情報が含まれているか否かを判断する(ステップS1102)。この送信先情報とは、例えば、ユーザの発話によって与えられる転送先の装置名を示す転送先装置名である。なお、転送先装置名とは、例えば、MFP_#1、MFP_#2、等のように装置の種類や機能(MFP)を表す名称の後に「#」で続けられる管理番号等の番号が付与された名称を意味するものであり、装置自体の固有名詞を含むような名称ではない。したがって、AIアシスタントサーバ装置4は、このような前提にしたがって、転送先装置名を登録した転送先装置管理テーブルを管理することになる。
送信先が与えられたと判断された場合(ステップS1102;YES)、送信制御部45は、与えられた送信先情報と転送先装置管理テーブルによって管理されているスマートスピーカ2のデバイスIDに対応する転送先装置名とを比較する(ステップS1103)。
音声操作によって与えられた転送先の装置名と転送先装置管理テーブルによって管理されている転送先装置名、又は、音声操作によって与えられた転送先の宛先を示す宛先情報と転送先装置管理テーブルによって管理されている転送先装置のIPアドレス/Host名(第1の宛先情報)とが一致すると判断された場合(ステップS1103;YES)、送信制御部45は、第2の命令情報の一例である転送先装置管理テーブルによって管理されている転送先装置名で示される命令実行装置への宛先を示す宛先情報を、命令転送装置の一例であるMFP_#1に送信してこのフローを抜ける(ステップS1104)。
一方、テーブルデータと一致しないと判断された場合(ステップS1103;NO)、送信制御部45は、第2の命令情報の一例である命令情報及び音声操作によって与えられた転送先情報で示される命令実行装置への宛先を示す宛先情報を、命令転送装置の一例であるMFP_#1に送信してこのフローを抜ける(ステップS1105)。つまり、ステップS1103の判断に基づくステップS1104及びS1105の処理は、送受信部41が、音声操作によって与えられた音声データとともに特定の宛先情報(第2の宛先情報)を受信した場合には、送信制御部45は、転送先装置管理テーブルで管理されている宛先(第1の宛先情報)ではなく、受信された特定の宛先情報(第2の宛先情報)を、第2の命令情報とともにMFP_#1に送信する。
なお、ステップS1104及びS1105の処理については、AIアシスタントサーバ装置4にMFP6(MFP_#1)のような印刷機能を有する機構を持たせてもよい。その場合、AIアシスタントサーバ装置4は、上述の各処理において送信先(転送先)が自装置(AIアシスタントサーバ装置4)であれば、印刷機能を用いてユーザから与えられた印刷に係る命令を実行することも可能である。
また、音声操作によって転送先が与えられていないと判断された場合(ステップS1102;NO)、送信制御部45はさらに、予め指定された送信先があるか否かを判断する(ステップS1106)。
予め指定された送信先があると判断された場合(ステップS1106;YES)、送信制御部45は、第2の命令情報の一例である命令情報及び転送先情報で示される命令実行装置への宛先を示す特定の宛先情報を、予め指定された送信先に送信してこのフローを抜ける(ステップS1107)。
一方、予め指定された送信先がないと判断された場合(ステップS1106;NO)、送信制御部45は、スマートスピーカ2を介してユーザにフィードバック処理してこのフローを抜ける。又は送信制御部45は、第2の命令情報の一例である命令情報をMFP_#1に送信してこのフローを抜ける(ステップS1108)。
なお、図9に示したフローチャートは一例であって、実行される処理は上述した例に限らない。例えば、本実施形態に係る命令転送システムの置かれた環境及びシステムの用途等に応じて、上述したフローチャートの内容を適宜変えてもよい。
<命令情報の送信処理>
図8に戻り、送信制御部45は、送信先が決定したことを、クラウドサービス装置5を介してスマートスピーカ2に対して、例えば、音声応答によってフィードバック処理する(ステップS112)。
続いて、スマートスピーカ2のフィードバック部23は、送受信部21を介してユーザに音声による応答を行い、AIアシスタントサーバ装置4で生成された命令が命令転送装置の一例であるMFP_#1を経由して、所望の命令実行装置(例えば、MFP_#2)に転送されたことを示すメッセージを、ユーザに音声等で応答する(ステップS113)。
続いて、送信制御部45は、ステップS110で変換部43により変換された命令を示す命令情報を、印刷される画像ファイルとあわせて送受信部41を介してMFP_#1に送信する(ステップS114)。このとき、送信制御部45は、印刷対象である画像ファイルを送信してもよいが、画像ファイルのファイル名、画像ファイルの格納場所を示す情報等をMFP_#1に送るようにしてもよい。このようにすることで、画像ファイル自体を送信する場合と比較して、AIアシスタントサーバ装置4とMFP_#1の間の通信量を軽減させることができる。なお、ステップS114で、変換部43から印刷対象となる画像ファイルの格納場所を示す情報を受信した場合には、MFP_#1は、その情報に基づいて格納場所にアクセスすることによってファイルを取得することができる。
ステップS113で、AIアシスタントサーバ装置4から命令情報を受信したMFP_#1の変換部62は、送信された宛先情報を確認する。宛先情報がMFP_#1である場合又は宛先情報が含まれていない場合には、MFP_#1の実行部65が、命令実行装置としてファイルの印刷を実行する。また、宛先情報がMFP_#1以外のMFPである場合には、転送部64が、送受信部61を介して宛先情報が示す装置に対して命令情報を転送する。ここでは、例えば、宛先情報から命令情報の転送先がMFP_#2であることを確認したものとする。その後、変換部62は、命令実行装置の一例であるMFP_#2が受信及び実行可能な第2の命令情報に変換する。この変換処理は、音声対応しているMFP_#1の変換部62が、ネットワーク7を介して音声対応していないMFP_#2で受信及び実行可能な命令(言語)に変換することで実現される(ステップS115)。
続いて、転送部64は、変換部62で変換されたMFP_#2で受信及び実行可能な命令情報をMFP_#2に転送する(ステップS116)。
MFP_#1から命令情報を送信されたMFP_#2は、判断部82で実行可能か否かを判断し、実行可能であれば実行部が命令情報非よって示される命令を実行する(ステップS117)。なお、判断部82は、受信した命令情報に係る命令が実行可能でないと判断した場合は、自身の装置の状態を確認し、所定時間待機するなどで実行可能と判断した場合は、実行可能な状態になるまで待機してもよい。また、ステップS117の処理は、上述したステップS113〜S116の処理と、処理の主体が異なることにより非同期で行われるため、ステップS113〜S116の処理の前若しくは処理の途中で実行されてもよい。
以上の処理により、図8に示されている命令転送システムにおける一連のシーケンスが終了する。
本実施形態では、ユーザから与えられる音声取得装置としてスマートスピーカ2を例に説明したが、これに代わり汎用のスマートフォンを用いても同様の構成、作用を実現することが可能である。その場合、スマートスピーカ2を利用するよりも、さらに多数のユーザがこの命令転送システムを利用し、所望の指示をMFP等に行うシステムを構築することが可能になる。
〔本実施形態の主な効果〕
以上説明したように第1の実施形態によれば、送信制御部45は、ステップS111で、ユーザの音声指示に基づいて変換された所定の命令を示す命令情報に対して、以下の処理を実行する。すなわち、送信制御部45は、ユーザが所定の命令を実行させたい音声操作に対応しないMFP_#2(命令実行装置)が受信不可能で且つ音声操作に対応するMFP_#1(命令転送装置)が受信可能な所定の命令を示す命令情報の転送先を判断する。さらに、送信制御部45は、変換された命令情報と、転送先として判断したMFP_#2(命令実行装置)への宛先を示す特定の宛先情報をMFP_#1(命令転送装置)に送信する(ステップS1104)。これにより、MFP_#1(命令転送装置)は、音声指示に基づいて変換された所定の命令情報をMFP_#2(命令実行装置)に転送することが可能となり、その結果、ユーザは、音声指示に対応しないMFP_#2(命令実行装置)において所定の処理を行わせることが可能となる。
●第2の実施形態
続いて、図面を用いて、本発明の第2の実施形態について説明する。
〔システムの概略〕
図10は、第2の実施形態に係る命令転送システムの構成の一例を示す図である。図10に示されているように、第2の実施形態の命令転送システムは、少なくとも1以上のスマートスピーカ2、音声認識サーバ装置3、AIアシスタントサーバ装置4、MFP(Multifunction Peripheral)8、及びサーバ装置9を、例えばLAN(Local Area Network)等のネットワーク7を介して相互に接続することで形成されている。
第2の実施形態に係る命令転送システムは、図1に示されている第1の実施形態に係る命令転送システムとの対比において、MFP6に代えて上述したサーバ装置9が含まれている点で相違する。なお、サーバ装置9は、命令転送装置の一例である。なお、サーバ装置9が、クラウドサービス装置5から送信された所定の命令を示す命令情報をMFP8で実行可能な出力命令に変換する方法は、第1の実施形態でMFP6が実行した方法と同様である。
〔ハードウェア構成〕
以下、第2の実施形態におけるハードウェア構成について説明する。但し、第1の実施形態との差異部分のみについて説明するため、サーバ装置9のハードウェア構成を説明する。サーバ装置9は、第1の実施形態で説明した音声認識サーバ装置3又はAIアシスタントサーバ装置4のハードウェア構成と同様である。そのため、詳細な説明を省略する。
〔機能構成〕
図11は、第2の実施形態に係る命令転送システムを構成する各装置の機能ブロックの一例を示す図である。第2の実施形態に係るハードウェア構成は、第1の実施形態との比較においてサーバ装置9のみが差異となる。そこで、機能構成についても、第1の実施形態との差異部分であるサーバ装置9の機能構成について説明する。
<サーバ装置の機能構成>
サーバ装置9は、例えば、図3に示されている音声認識サーバ装置3のハードウェア構成と同様の記憶装置によって構築される記憶部9000を有している。サーバ装置9のCPUは、クラウドサービス装置5から送信された命令及びファイル出力命令等の各種出力命令に基づいて、記憶部9000に記憶された命令情報変換プログラムをRAM等の逐次書換え可能なメモリに展開して実行する。CPUは、この命令情報変換プログラムを実行することで、例えば、送受信部91、変換部92、通知部93、表示制御部94、転送部95及び記憶・読出処理部99として機能又は機能する手段を構成する。
<サーバ装置の各機能構成>
次に、サーバ装置9の各機能構成について説明する。送受信部91、変換部92、通知部93、転送部95及び記憶・読出処理部99は、第1の実施形態で説明したMFP6の送受信部61、変換部62、通知部63、転送部64及び記憶・読出処理部69とそれぞれ同様であるため、詳細な説明を省略する。
ここで、表示制御部94は、例えば、サーバ装置9における各処理の状態、クラウドサービス装置5との通信におけるプロトコル、画像等を表示装置に表示させる機能を担う。
<命令転送システムの処理の概要>
図12は、第2の実施形態に係るユーザの音声操作に基づく処理の一例を示すシーケンス図である。第2の実施形態では、AIアシスタントサーバ装置4からサーバ装置9に対して第1の命令を送信した後、サーバ装置9で受信した第1の命令をMFP8が実行可能な第2の命令に変換し、第2の命令をMFP8に転送する処理について説明する。具体的には、第2の実施形態では、ユーザの音声操作によって得られた出力命令を示す印刷指示に基づいて、音声認識サーバ装置3とAIアシスタントサーバ装置4とが協働して構成したクラウドサービス装置5から命令転送装置の一例であるサーバ装置9に対して第1の命令情報を送信し、サーバ装置9において、命令実行装置の一例であるMFP8(以下、MFP_#2)で実行可能な命令を示す第2の命令情報に変換してMFP_#2に転送し、MFP_#2で印刷処理を行う場合を例示する。なお、本実施形態においては、所定の通信プロトコルによって、少なくともスマートスピーカ2、音声認識サーバ装置3及びAIアシスタントサーバ装置4との間の通信が確立しているものとする。
上述したような特徴により、命令転送装置の一例であるサーバ装置9は、ユーザが行った音声操作に基づいて生成された第1の命令情報を命令実行装置の一例であるMFP_#2の状態に応じて第2の命令情報に変換し、変換した第2の命令情報をMFP_#2に転送することで、MFP_#2は、ユーザが行った音声操作に基づく印刷処理を実行することができるようになる。
以下に、図12の各シーケンス図における処理を示す。但し、図12のステップS101〜S110までの処理は、図8に示されている第1の実施形態に係るユーザの音声操作に基づく処理の一例を示すシーケンス図のステップS101〜S110の処理と同様のため、詳細な説明を省略する。
さらに、第2の実施形態では、サーバ装置9がステップS101及びS102で音声非対応のMFP8に対して、MFP8が受信及び実行可能な命令を示す第2の命令情報に変換するだけであるため、第1の実施形態で行ったステップS111の詳細な処理は不要となる。なお、サーバ装置9から第2の命令情報が転送される命令実行装置が複数存在する場合は、転送部95は、クラウドサービス装置5から送信される宛先情報を参照して、その宛先を示す命令実行装置が受信及び実行可能な命令情報に変換した命令情報を転送する。
続いて、ステップS112〜S117までの処理についても、第1の実施形態と同様のため、詳細な説明を省略する。
〔本実施形態の主な効果〕
以上説明したように第2の実施形態によれば、サーバ装置9は、クラウドサービス装置5から送信された、ユーザの音声指示に基づいて変換された所定の命令を示す命令情報に対して、以下の処理を実行する。すなわち、クラウドサービス装置5の送信制御部45は、ユーザが所定の命令を実行させたい音声操作に対応しないMFP_#2(命令実行装置)が受信不可能で且つ音声操作に対応するサーバ装置9(命令転送装置)が受信可能な所定の命令を示す命令情報と、転送先として判断したMFP_#2(命令実行装置)への宛先を示す特定の宛先情報をサーバ装置9(命令転送装置)に送信する(ステップS113)。これにより、サーバ装置9(命令転送装置)は、音声指示に基づいて変換された所定の命令情報をMFP_#2(命令実行装置)に転送することが可能となり、その結果、ユーザは、音声指示に対応しないMFP_#2(命令実行装置)において所定の処理を行わせることが可能となる。
●第3の実施形態
続いて、図面を用いて、本発明の第3の実施形態について説明する。
〔システムの概略〕
図13は、第3の実施形態に係る命令転送システムの構成の一例を示す図である。図13に示すように、第3の実施形態の命令転送システムは、少なくとも1以上のスマートスピーカ2、音声認識サーバ装置3、AIアシスタントサーバ装置4及びMFP(Multifunction Peripheral)8を、例えばLAN(Local Area Network)等のネットワーク7を介して相互に接続することで形成されている。
本実施形態に係る命令転送システムは、第1の実施形態に係る命令転送システムとの対比において、MFP6が含まれていない点、第2の実施形態に係る命令転送システムとの対比において、サーバ装置9が含まれていない点でそれぞれ相違する。つまり、第3の実施形態では、クラウドサービス装置5から送信された所定の命令を示す命令情報をスマートスピーカ2で受信し、スマートスピーカ2がMFP8で実行可能な命令を示す命令情報に変換してMFP8に転送する構成を特徴としている。なお、スマートスピーカ2が、クラウドサービス装置5から送信された所定の命令を示す命令情報をMFP8で実行可能な命令を示す命令情報に変換する方法は、第1の実施形態でMFP6が実行した方法、及び第2の実施形態でサーバ装置9が実行した方法と同様である。
〔ハードウェア構成〕
第3の実施形態におけるハードウェア構成については、上述したように、第1の実施形態及び第2の実施形態とそれぞれ差異はあるが、新たな構成はないため、詳細な説明を省略する。
〔機能構成〕
図14は、第3の実施形態に係る命令転送システムを構成する各装置の機能ブロックの一例を示す図である。第3の実施形態では、スマートスピーカ2に係る機能構成が、第1の実施形態及び第2の実施形態との比較において差異部分が生じている。そこで、機能構成についても、第1の実施形態及び第2の実施形態との差異部分であるスピーカ2の機能構成について説明する。
<スマートスピーカの機能構成>
スマートスピーカ2のCPU201は、ROM203等の記憶部2000に記憶された命令情報変換プログラムをRAM202に展開して実行する。CPU201は、この命令情報変換プログラムを実行することで、例えば、送受信部21、取得部22、フィードバック部23、変換部24、転送部25及び記憶・読出処理部29として機能又は機能する手段を構成する。
<スマートスピーカの各機能構成>
次に、スマートスピーカ2の各機能構成について説明する。送受信部21、取得部22、フィードバック部23及び記憶・読出処理部29は、第1の実施形態及び第2の実施形態で説明したスマートスピーカ2の送受信部21、取得部22、フィードバック部23及び記憶・読出処理部29とそれぞれ同様であるため、詳細な説明を省略する。
ここで、変換部24及び転送部25は、上述したMFP6の変換部62及び転送部64、又はサーバ装置9の変換部92及び転送部95とそれぞれ同様の機能を備えるため、ここでは詳細の説明を省略する。
<命令転送システムの処理の概要>
図15は、第3の実施形態に係るユーザの音声操作に基づく処理の一例を示すシーケンス図である。第3の実施形態では、AIアシスタントサーバ装置4からスマートスピーカ2に対して第1の命令を送信した後、スマートスピーカ2で受信した第1の命令をMFP8が実行可能な第2の命令に変換し、第2の命令をMFP8に転送する処理について説明する。具体的には、第3の実施形態では、ユーザの音声操作によって得られた出力命令を示す印刷指示に基づいて、音声認識サーバ装置3とAIアシスタントサーバ装置4とが協働して構成したクラウドサービス装置5から命令転送装置の一例であるスマートスピーカ2に対して第1の命令情報を送信し、スマートスピーカ2において、命令実行装置の一例であるMFP8(以下、MFP_#2)で実行可能な命令を示す第2の命令情報に変換してMFP_#2に転送し、MFP_#2で印刷処理を行う場合を例示する。なお、本実施形態においては、所定の通信プロトコルによって、少なくともスマートスピーカ2、音声認識サーバ装置3及びAIアシスタントサーバ装置4との間の通信が確立しているものとする。
上述したような特徴により、命令転送装置の一例であるスマートスピーカ2は、ユーザが行った音声操作に基づいて生成された第1の命令情報を命令実行装置の一例であるMFP_#2の状態に応じて第2の命令情報に変換し、変換した第2の命令情報をMFP_#2に転送することで、MFP_#2は、ユーザが行った音声操作に基づく印刷処理を実行することができるようになる。
以下に、図15の各シーケンス図における処理を示す。但し、図15のステップS101〜S110までの処理は、図8に示されている第1の実施形態及び図12に示されている第2の実施形態に係るユーザの音声操作に基づく処理の一例を示すシーケンス図のステップS101〜S110の処理と同様のため、詳細な説明を省略する。
さらに、第3の実施形態では、スマートスピーカ2がステップS101及びS102で音声非対応のMFP8に対して、MFP8が受信及び実行可能な命令を示す第2の命令情報に変換するだけであるため、第1の実施形態で行ったステップS111の詳細な処理は不要となる。なお、スマートスピーカ2から第2の命令情報が転送される命令実行装置が複数存在する場合は、転送部25は、クラウドサービス装置5から送信される宛先情報を参照して、その宛先を示す命令実行装置が受信及び実行可能な命令情報に変換した命令情報を転送する。
続いて、ステップS112〜S117までの処理において、ステップS113及びステップS114の処理の送信先が、第1及び第2の実施形態との対比においてスマートスピーカ2に送信される点が異なるのみである。そこで、詳細な説明を省略する。
〔本実施形態の主な効果〕
以上説明したように第3の実施形態によれば、スマートスピーカ2は、クラウドサービス装置5から送信された、ユーザの音声指示に基づいて変換された所定の命令を示す命令情報に対して、以下の処理を実行する。すなわち、クラウドサービス装置5の送信制御部45は、ユーザが所定の命令を実行させたい音声操作に対応しないMFP_#2(命令実行装置)が受信不可能で且つ音声操作に対応するサーバ装置9(命令転送装置)が受信可能な所定の命令を示す命令情報と、転送先として判断したMFP_#2(命令実行装置)への宛先を示す特定の宛先情報をサーバ装置9(命令転送装置)に送信する(ステップS113)。これにより、スマートスピーカ2(命令転送装置)は、音声指示に基づいて変換された所定の命令情報をMFP_#2(命令実行装置)に転送することが可能となり、その結果、ユーザは、音声指示に対応しないMFP_#2(命令実行装置)において所定の処理を行わせることが可能となる。
さらに、第3の実施形態によれば、クラウドサービス装置5の送信制御部45から送信されたユーザの音声指示に基づいて変換された所定の命令を示す命令情報を音声操作に対応しないMFP_#2(命令実行装置)が受信可能な命令を示す命令情報に変換してMFP_#2に転送する機能を持つため、第1の実施形態で使用されるMFP6(MFP_#1)や、第2の実施形態で使用されるサーバ装置9などの比較的高価な資産を用いることなく低価格なシステムで同様の効果を得ることができるという効果を奏する。
〔補足〕
上述した各実施形態によれば、音声による指示だけで所望の命令を実行することが可能になるため、従来のようなタッチパネル27等のGUI(Graphical User Interface)による操作を不要とすることができる。このため、操作に慣れているユーザであっても、さらに正確かつ簡単な入力操作を可能とすることができる。また、対話等による操作サポートによって、例えば、複雑なネットワーク設定、高度な処理の設定又は新規アプリの導入等が不要となる。その結果、高齢者又は機械操作に不慣れなユーザ等であっても、ユーザが希望する操作を正確かつ簡単に実行可能とすることができ、利便性が向上する。さらに、操作性の向上が期待できる。
また、スマートスピーカ2を一例とする音声取得装置は、マイク機能、撮像(撮影)機能、スピーカ機能、表示機能、操作機能及び通信機能等を備えた装置であれば、スマートスピーカに限られない。音声取得装置は、例えば、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブルPC、デスクトップPC又はイヤホン型の送受信装置であってもよい。このイヤホン型の送受信装置とは、例えば、ユーザの耳に装着された状態で発話したユーザ自身の音声を受信(取得)し、受信した音声を音声データに変換して所定のサーバ装置に送信し、所定のサーバ装置からフィードバック結果等を受信(取得)する機能を備えた通信装置をいう。
さらに、MFP6及びMFP8を一例とする命令転送装置及び命令実行装置は、通信機能を備え、入力(受信)したデータに所定の処理を行い出力(送信)することが可能な装置であれば画像形成装置(MFP)に限られない。つまり、命令転送装置は、例えば、PJ(Projector:プロジェクタ)、IWB(Interactive White Board:相互通信が可能な電子式の黒板機能を有する白板)、デジタルサイネージ等の電子機器であってもよい。さらに、命令転送装置は、HUD(Head Up Display)装置、産業機械、(撮影)装置、集音装置、医療機器、ネットワーク家電、自動車(Connected Car)、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット通信端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブルPC又はデスクトップPC等であってもよい。
上述した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサ、上述した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)及び従来の回路モジュール等のデバイスを含むものとする。
最後に、上述の実施形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。これらの各実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置換え、変更を行うことも可能である。例えば、上述の第1の実施形態の説明では、音声認識サーバ装置3がユーザにより与えられた発話等に対応するテキストデータを生成し、生成したテキストデータに基づいて、AIアシスタントサーバ装置4がユーザの意図している操作を解釈して各種出力命令に変換した。しかし、スマートスピーカ2に、画像認識機能、音声認識機能及び解釈機能を設け、スマートスピーカ2で、ユーザのジェスチャ操作及び音声操作から意図する指示内容を解釈してもよい。これにより、音声認識サーバ装置3及びAIアシスタントサーバ装置4を不要とすることができ、システム構成を簡素化することができる。
このような各実施形態及び各実施形態の変形は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
2 スマートスピーカ又は通信端末(音声取得装置の一例、命令転送装置の一例)
4 AIアシスタントサーバ装置(命令送信装置の一例)
5 クラウドサービス装置(命令送信システムの一例)
6 MFP(命令転送装置の一例)
8 MFP(命令実行装置の一例)
9 サーバ装置(命令転送装置の一例)
15 音声応答システム
22 取得部(データ取得手段の一例)
32 取得部(データ取得手段の一例)
41 送受信部(受信手段、送信手段の一例)
42 取得部(受信手段の一例)
43 変換部
61 送受信部(送信手段の一例)
62 変換部(変換手段の一例)
特開2003−051887号公報

Claims (7)

  1. 音声を集音して音声データを取得する特定の音声取得装置が送信した前記音声データに含まれる命令を示す第1の命令情報を受信する受信手段と、
    前記第1の命令情報から、所定の命令を実行する特定の命令実行装置が受信不可能で且つ前記特定の命令実行装置に所定の命令を転送する特定の命令転送装置が受信可能な前記命令を示す第2の命令情報に変換する変換手段と、
    前記第2の命令情報及び前記命令実行装置への宛先を示す特定の宛先情報を前記命令転送装置に送信する送信手段と、
    を有する命令送信装置。
  2. 前記受信手段は、前記特定の音声取得装置が送信した当該音声取得装置を識別するための特定の識別情報を受信し、
    前記送信手段は、所定の音声取得装置を識別するための所定の識別情報と所定の命令実行装置への宛先を示す所定の宛先情報とを関連付けて管理された転送先管理情報において、前記特定の識別情報に対応する特定の宛先情報を、前記第2の命令情報とともに前記命令転送装置に送信する
    ことを特徴とする請求項1に記載の命令送信装置。
  3. 前記送信手段は、前記宛先情報に前記命令実行装置へのIPアドレス情報及び前記命令実行装置の装置名のうち少なくとも一方を含めることを特徴とする請求項1又は2に記載の命令送信装置。
  4. 前記転送先管理情報で管理されている前記特定の宛先情報は第1の宛先情報であり、
    前記送信手段は、前記受信手段が前記音声データとともに第2の宛先情報を受信した場合には、前記転送先管理情報で管理されている前記第1の宛先情報ではなく、前記第2の宛先情報を、前記第2の命令情報とともに前記命令転送装置に送信することを特徴とする請求項2又は3に記載の命令送信装置。
  5. 音声を集音して音声データを取得する特定の音声取得装置が送信した前記音声データに含まれる第1の命令を示す第1の命令情報を受信し、前記第1の命令情報に基づいて、前記命令を示す第2の命令情報を命令転送装置に送信する命令送信装置と、
    所定の命令を実行する特定の命令実行装置と、
    を有する命令転送システムであって、
    前記命令送信装置は、
    前記第1の命令情報から、前記特定の命令実行装置が受信不可能で且つ前記特定の命令実行装置に所定の命令を転送する前記特定の命令転送装置が受信可能な前記命令を示す第2の命令情報に変換し、
    前記変換した第2の命令情報及び前記命令実行装置への宛先を示す特定の宛先情報を前記命令転送装置に送信し、
    前記特定の命令転送装置は、前記特定の宛先情報で示される前記特定の命令実行装置に、前記特定の命令実行装置が受信可能な前記命令を示す第3の命令情報に変換して転送する
    ことを特徴とする命令転送システム。
  6. 音声を集音して音声データを取得する特定の音声取得装置が送信した前記音声データに含まれる命令を示す第1の命令情報に基づいて、前記命令を示す第2の命令情報を送信する命令送信装置が実行する命令送信方法であって、
    前記音声データに含まれる命令を示す第1の命令情報を受信する受信ステップと、
    前記第1の命令情報から、所定の命令を実行する特定の命令実行装置が受信不可能で且つ前記特定の命令実行装置に所定の命令を転送する特定の命令転送装置が受信可能な前記命令を示す第2の命令情報に変換する変換ステップと、
    前記第2の命令情報及び前記命令実行装置への宛先を示す特定の宛先情報を前記命令転送装置に送信する送信ステップと、
    を含む処理を実行する命令送信方法。
  7. コンピュータに、請求項6に記載の命令送信方法を実行させることを特徴とするプログラム。
JP2020044704A 2020-03-13 2020-03-13 命令送信装置、命令転送システム、命令送信方法及びプログラム Active JP7443844B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020044704A JP7443844B2 (ja) 2020-03-13 2020-03-13 命令送信装置、命令転送システム、命令送信方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020044704A JP7443844B2 (ja) 2020-03-13 2020-03-13 命令送信装置、命令転送システム、命令送信方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021144645A true JP2021144645A (ja) 2021-09-24
JP7443844B2 JP7443844B2 (ja) 2024-03-06

Family

ID=77766880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020044704A Active JP7443844B2 (ja) 2020-03-13 2020-03-13 命令送信装置、命令転送システム、命令送信方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7443844B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013097435A (ja) * 2011-10-28 2013-05-20 Fuji Xerox Co Ltd 印刷システム、印刷装置、及びプログラム
JP2015185047A (ja) * 2014-03-25 2015-10-22 富士ゼロックス株式会社 画像形成システム、中継装置およびプログラム
JP2019109752A (ja) * 2017-12-19 2019-07-04 キヤノン株式会社 無線端末、管理サーバ、意図解釈サーバ、それらの制御方法、及びプログラム
JP2019185734A (ja) * 2018-03-30 2019-10-24 株式会社リコー 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013097435A (ja) * 2011-10-28 2013-05-20 Fuji Xerox Co Ltd 印刷システム、印刷装置、及びプログラム
JP2015185047A (ja) * 2014-03-25 2015-10-22 富士ゼロックス株式会社 画像形成システム、中継装置およびプログラム
JP2019109752A (ja) * 2017-12-19 2019-07-04 キヤノン株式会社 無線端末、管理サーバ、意図解釈サーバ、それらの制御方法、及びプログラム
JP2019185734A (ja) * 2018-03-30 2019-10-24 株式会社リコー 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
JP7443844B2 (ja) 2024-03-06

Similar Documents

Publication Publication Date Title
US10917369B2 (en) Information processing apparatus, information processing system, and information processing method
US10868939B2 (en) Image processing apparatus having connection information transmission, method of controlling the same, and storage medium
US11355106B2 (en) Information processing apparatus, method of processing information and storage medium comprising dot per inch resolution for scan or copy
JP2020087377A (ja) 情報処理システム、情報処理装置、および方法
US11211069B2 (en) Information processing system, information processing method, and non-transitory recording medium
JP6733393B2 (ja) 共有端末、通信システム、画像送信方法、及びプログラム
US11626111B2 (en) Information processing system, information processing method, and information processing apparatus
JP2009194577A (ja) 画像形成装置、音声案内方法及び音声案内プログラム
JP2018022478A (ja) 共有端末、通信システム、画像送信方法、及びプログラム
JP2020087359A (ja) 情報処理装置、情報処理システム、および方法
JP2013251623A (ja) 画像処理装置、携帯端末、画像処理システム
JP6887748B2 (ja) データ送信装置、データ送信方法及びプログラム
US11423903B2 (en) Information processing system and information processing method
KR20200096620A (ko) 무선 단말기, 관리 서버, 및 의도 해석 서버
JP2018046559A (ja) 共有端末、通信システム、通信方法、及びプログラム
US11647129B2 (en) Image forming system equipped with interactive agent function, method of controlling same, and storage medium
JP7443844B2 (ja) 命令送信装置、命令転送システム、命令送信方法及びプログラム
JP6950053B2 (ja) 情報処理装置及び情報処理装置の制御方法
US11350011B2 (en) Device, process execution system, process execution method, and non-transitory recording medium
JP2021113899A (ja) 情報処理システム、情報処理方法及びプログラム
JP7388079B2 (ja) 情報送信装置、情報送信方法およびプログラム
JP7135172B2 (ja) 情報処理装置及び情報処理装置の制御方法
JP7435045B2 (ja) 命令要求システム、命令要求方法、命令処理システム及びプログラム
JP7427936B2 (ja) ユーザサポートシステム、ユーザサポート方法およびプログラム
JP7017167B2 (ja) 共有端末、通信システム、画像送信方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20231011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240205

R151 Written notification of patent or utility model registration

Ref document number: 7443844

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151