JP2021005241A - システムおよび方法 - Google Patents

Abstract

【課題】 近年、装置が多くの機能を備えるようになり、おすすめ情報の提示方法をさらに改善することによりユーザの利便性向上が求められていた。【解決手段】 おすすめ情報を出力するための学習済モデルを備えるシステムは、履歴データにおけるおすすめ情報に対応する使用履歴データが教師データとして特定され、かつ、前記履歴データにおいて前記使用履歴データとは異なる少なくとも１つの情報が入力データとして特定され、前記教師データと前記入力データが前記学習済モデルに入力されることで出力される出力データからおすすめ情報を決定する決定手段と、前記決定されたおすすめ情報に基づく画面を表示する表示手段を備える。【選択図】 図７

Description

本発明は、システムおよび方法に関するものである。

従来、特許文献１のように使用履歴データを使っておすすめ機能を提示する技術があった。

特開２０１８−７５８０９号公報

近年、装置が多くの機能を備えるようになり、おすすめ情報の提示方法をさらに改善することによりユーザの利便性を向上することが求められていた。

本発明は、おすすめ情報を出力するための学習済モデルを備えるシステムにおいて、履歴データにおけるおすすめ情報に対応する使用履歴データが教師データとして特定され、かつ、前記履歴データにおいて前記使用履歴データとは異なる少なくとも１つの情報が入力データとして特定され、前記教師データと前記入力データが前記学習済モデルに入力されることで出力される出力データからおすすめ情報を決定する決定手段と、前記決定されたおすすめ情報に基づく画面を表示する表示手段を備えることを特徴とする。

本発明によれば、ユーザの利便性を向上することが可能となる。

処理システム１００の構成を示す図である。 クラウドサーバー２００、エッジサーバー３００の構成を示すブロック図である。 スマートフォン５００の外観図である。 プリンタ６００の外観図である。 スマートフォン５００の構成を示すブロック図である。 プリンタ６００の構成を示すブロック図である。 処理システム１００のソフトウェア構成を示す図である。 学習モデル２５２、学習済モデル３５２を利用する際の入出力の構造を示す概念図である。 プリンタ６００において実行されるフローチャートである。 履歴データの一例を示す図である。 本実施形態の処理を説明するシーケンス図である。 エッジサーバー３００において実行されるフローチャートである。 クラウドサーバー２００において実行されるフローチャートである。 おすすめ機能の画面の一例を示す図である。

以下、本発明の実施の形態について詳細に説明する。なお、この実施の形態に記載されている構成要素は、本発明の例としての形態を示すものであり、この発明の範囲をそれらのみに限定するものではない。

＜第１の実施形態＞
（処理システムの構成）
図１は、本発明の一実施形態である処理システム１００の構成を示す図である。本システム１００は、ローカルエリアネットワーク１０２およびインターネット１０４で接続された、クラウドサーバー２００、エッジサーバー３００およびデバイス４００から構成される。デバイス４００にはネットワーク接続が可能な各種装置が含まれる。例えばスマートフォン５００、プリンタ６００、パーソナルコンピュータやワークステーションなどのクライアント端末４０１、デジタルカメラ４０２などが挙げられる。ただし、デバイス４００はこれらの種類に限られるものではなく、例えば冷蔵庫やテレビ、エアコンなどの家電製品を含むものであってもよいし、車両に搭載された車載装置（例えばカーナビゲーションシステム）を含むものであっても良い。これらデバイス４００はローカルエリアネットワーク１０２で相互に接続され、ローカルエリアネットワーク１０２に設置されているルータ１０３を介してインターネット１０４と接続することが可能である。または、デバイス４００は、公衆回線（例えば、４Ｇまたは５Ｇ）を介してエッジサーバー３００等の他の装置と通信しても良い。

ここで、ルータ１０３はローカルエリアネットワーク１０２とインターネット１０４を接続する機器として図示されているが、ローカルエリアネットワーク１０２を構成する無線ＬＡＮアクセスポイント機能を持たせることも可能である。この場合、各デバイス４００は有線ＬＡＮでルータ１０３と接続する以外に、無線ＬＡＮでアクセスポイントと接続してローカルエリアネットワーク１０２に参加するように構成することができる。例えばプリンタ６００やクライアント端末４０１は有線ＬＡＮで接続し、スマートフォン４００やデジタルカメラ４０２は無線ＬＡＮで接続するように構成することも可能である。各デバイス４００およびエッジサーバー３００は、ルータ１０３を介して接続されたインターネット１０４を経由してクラウドサーバー２００と相互に通信することが可能である。

エッジサーバー３００と各デバイス４００はローカルエリアネットワーク１０２を経由して相互に通信することが可能である。また、各デバイス４００どうしもローカルエリアネットワーク１０２を経由して相互に通信することが可能である。また、スマートフォン５００とプリンタ６００は近距離無線通信１０１によって通信可能である。近距離無線通信１０１としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格やＮＦＣ規格に則った無線通信を利用するものが考えられる。またスマートフォン５００は携帯電話回線網１０５とも接続されており、この回線網１０５を介してクラウドサーバー２００と通信することもできる。

なおこのシステム構成は本発明の一例を示すものであって、異なる構成を取るものであってもよい。たとえばルータ１０３がアクセスポイント機能を備えている例を示したが、アクセスポイントはルータ１０３と異なる装置で構成してもよい。また、エッジサーバー３００と各デバイス４００の間の接続はローカルエリアネットワーク１０２以外の接続手段を用いるものであってもよい。例えば無線ＬＡＮ以外のＬＰＷＡ、ＺｉｇＢｅｅ、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信などの無線通信や、ＵＳＢなどの有線接続や赤外線通信などを用いるものであってもよい。

（サーバーの構成）
図２は、クラウドサーバー２００、エッジサーバー３００の構成を示すブロック図である。ここではクラウドサーバー２００、エッジサーバー３００のハードウェア構成としては共通のものを利用するものとして説明する。サーバー２００、３００は、装置全体の制御を行うメインボード２１０と、ネットワーク接続ユニット２０１、ハードディスクユニット２０２からなる。

メインボード２１０に配置されるマイクロプロセッサ形態のＣＰＵ２１１は、内部バス２１２を介して接続されているプログラムメモリ２１３に格納されている制御プログラムと、データメモリ２１４の内容とに従って動作する。ＣＰＵ２１１はネットワーク制御回路２１５を介してネットワーク接続ユニット２０１を制御することで、インターネット１０４やローカルエリアネットワーク１０２などのネットワークと接続し、他の装置との通信を行う。ＣＰＵ２１１はハードディスク制御回路２１６を経由して接続されたハードディスクユニット２０２にデータを読み書きすることができる。

ハードディスクユニット２０２には、プログラムメモリ２１３にロードして使用されるオペレーティングシステムやサーバー２００、３００の制御ソフトウェアが格納されるほか、各種のデータも格納される。

メインボード２１０にはＧＰＵ２１７が接続されており、各種演算処理をＣＰＵ２１１の代わりに実行させることが可能である。ＧＰＵ２１７はデータをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵ２１７で処理を行うことが有効である。そこで本実施形態では、後述の学習部２５１による処理にはＣＰＵ２１１に加えてＧＰＵ２１７を用いるものとする。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ２１１とＧＰＵ２１７が協同して演算を行うことで学習を行う。なお、学習部２５１の処理はＣＰＵ２１１またはＧＰＵ２１７のみにより演算が行われても良い。また、推論部３５１も学習部２５１と同様にＧＰＵ２１７を用いても良い。

また、本実施形態ではクラウドサーバー２００をエッジサーバー３００で共通の構成を使用するものとして説明したが、本発明の実施に当たっては必ずしもこの構成に限られるものではない。例えばクラウドサーバー２００にはＧＰＵ２１７を搭載するがエッジサーバー３００では搭載しない構成を取ってもよいし、異なる性能のＧＰＵ２１７を用いるものとして構成してもよい。

（スマートフォンの外観）
図３は、スマートフォン５００の外観図である。スマートフォンとは、携帯電話の機能の他に、カメラや、ネットブラウザ、メール機能などを搭載した多機能型の携帯電話のことである。近距離無線通信ユニット５０１は近距離無線通信を行うユニットであり、所定距離内にいる通信相手の近距離無線通信ユニットと通信を行うことができる。無線ＬＡＮユニット５０２は無線ＬＡＮを利用してローカルエリアネットワーク１０２と接続して通信を行うためのユニットで、装置内に配置されている。回線接続ユニット５０３は、携帯電話回線に接続して通信を行うためのユニットで、装置内に配置されている。タッチパネルディスプレイ５０４はＬＣＤ方式の表示機構とタッチパネル方式の操作機構を兼ね備えており、スマートフォン５００の前面に備えられている。代表的な操作方法はタッチパネルディスプレイ５０４上にボタン状の操作パーツの表示を行い、ユーザがタッチパネルディスプレイ５０４へのタッチ操作を行うことによってボタンが押下されたイベントを発行することである。電源ボタン５０５はスマートフォンの電源のオン、およびオフをする際に用いる。

（プリンタの外観）
図４は、プリンタ６００の外観図である。本実施形態ではプリンタにスキャナその他の機能を兼ね備えたマルチファンクションプリンタ（ＭＦＰ）を例にしている。図４（ａ）はプリンタ６００の全体外観図を表している。原稿台６０１はガラス状の透明な台であり、原稿をのせてスキャナで読み取る時に使用する。原稿台圧板６０２はスキャナで読み取りを行う際に原稿が浮かないように原稿台に押しつけるとともに、外光がスキャナユニットにはいらないようにするためのカバーである。印刷用紙挿入口６０３は様々なサイズの用紙をセットする挿入口である。ここにセットされた用紙は一枚ずつ印刷部に搬送され、所望の印刷を行って印刷用紙排出口６０４から排出される。

図４（ｂ）はプリンタ６００上面の外観図を表している。原稿台圧板６０２の上部には操作パネル６０５および近距離無線通信ユニット６０６が配置されている。近距離無線通信ユニット６０６は近距離無線通信を行うためのユニットで、所定距離内にいる通信相手の近距離無線通信ユニットと通信を行うことができる。無線ＬＡＮアンテナ６０７は無線ＬＡＮを用いてローカルエリアネットワーク１０２と接続して通信を行うためのアンテナが埋め込まれている。

（スマートフォンの構成）
図５は、スマートフォン５００の構成を示すブロック図である。スマートフォン５００は装置全体の制御を行うメインボード５１０と、無線ＬＡＮユニット５０２、近距離無線通信ユニット５０１、回線接続ユニット５０３からなる。

メインボード５１０に配置されるマイクロプロセッサ形態のＣＰＵ５１１は、内部バス５１２を介して接続されているＲＯＭ形態のプログラムメモリ５１３に格納されている制御プログラムと、ＲＡＭ形態のデータメモリ５１４の内容とに従って動作する。

ＣＰＵ５１１は無線ＬＡＮ制御回路５１５を介して無線ＬＡＮユニット５０２を制御することで、他の通信端末装置と無線ＬＡＮ通信を行う。ＣＰＵ５１１は近距離無線通信制御回路５１６を介して近距離無線通信ユニット５０１を制御することによって、他の近距離無線通信端末との接続を検知したり、他の近距離無線通信端末との間でデータの送受信を行ったりすることができる。またＣＰＵ５１１は回線制御回路５１７を介して回線接続ユニット５０３を制御することで、携帯電話回線網１０５に接続し、通話やデータ送受信を行うことができる。ＣＰＵ５１１は操作部制御回路５１８を制御することによってタッチパネルディスプレイ５０４に所望の表示を行ったり、ユーザからの操作を受け付けたりすることが可能である。

ＣＰＵ５１１はカメラ部５１９を制御して画像を撮影することができ、撮影した画像をデータメモリ５１４中の画像メモリ５２０に格納する。また、撮影した画像以外にも、携帯電話回線やローカルエリアネットワーク１０２や近距離無線通信１０１を通じて外部から取得した画像を画像メモリ５２０に格納したり、逆に外部に送信したりすることも可能である。

不揮発性メモリ５２１はフラッシュメモリ等で構成され、電源をオフされた後でも保存しておきたいデータを格納する。例えば電話帳データや、各種通信接続情報や過去に接続したデバイス情報などの他、保存しておきたい画像データ、あるいはスマートフォン５００に各種機能を実現するアプリケーションソフトウェアなどが格納される。

（プリンタの構成）
図６は、プリンタ６００の構成を示すブロック図である。プリンタ６００は装置全体の制御を行うメインボード６１０と、無線ＬＡＮユニット６０８、近距離無線通信ユニット６０６からなる。メインボード６１０に配置されるマイクロプロセッサ形態のＣＰＵ６１１は、内部バス６１２を介して接続されているＲＯＭ形態のプログラムメモリ６１３に格納されている制御プログラムと、ＲＡＭ形態のデータメモリ６１４の内容とに従って動作する。

ＣＰＵ６１１はスキャナ部６１５を制御して原稿を読み取り、データメモリ６１４中の画像メモリ６１６に格納する。また、ＣＰＵ６１１は印刷部３１７を制御してデータメモリ６１４中の画像メモリ６１６の画像を記録媒体に印刷することができる。ＣＰＵ６１１は無線ＬＡＮ通信制御部６１８を通じて無線ＬＡＮユニット６０８を制御することで、他の通信端末装置と無線ＬＡＮ通信を行う。

またＣＰＵ６１１は近距離無線通信制御回路６２０を介して近距離無線通信ユニット６０６を制御することによって、他の近距離無線通信端末との接続を検知したり、他の近距離無線通信端末との間でデータの送受信を行ったりすることができる。

ＣＰＵ６１１は操作部制御回路６２１を制御することによって操作パネル６０５にプリンタ６００の状態の表示や機能選択メニューの表示を行ったり、ユーザからの操作を受け付けたりすることが可能である。操作パネル６０５にはバックライトが備えられており、ＣＰＵ６１１は操作部制御回路６２１を介してバックライトの点灯、消灯を制御することが出来る。バックライトを消灯すると、操作パネル６０５の表示が見えにくくなるが、プリンタ６００の消費電力を抑えることが出来る。

（ソフトウェア構成）
図７は、処理システム１００のソフトウェア構成を示す図である。本図では、ソフトウェア構成のうち、本実施形態における学習および推論の処理に関わるものについてのみ記載しており、その他のソフトウェアモジュールについては不図示としている。例えば各デバイスやサーバー上で動作するオペレーティングシステムや各種ミドルウェア、メンテナンスのためのアプリケーション等については図示を省略している。

クラウドサーバー２００は、学習用データ生成部２５０、学習部２５１、学習モデル２５２を備える。学習用データ生成部２５０は、外部から受信したデータから、学習部２５１が処理可能な学習用データを生成するモジュールである。学習用データは、学習部２５１の入力データＸと、学習の結果の正解を示す教師データＴの組である。学習部２５１は、学習用データ生成部２５０から受け取った学習用データを使って学習を実行するプログラムモジュールである。学習モデル２５２は、学習部２５１で行った学習の結果を蓄積する。ここでは学習モデル２５２をニューラルネットワークとして実現する例を説明する。ニューラルネットワークの各ノード間の重み付けパラメータを最適化することにより、入力データを分類したり、評価値を決定したりすることが出来る。蓄積した学習モデル２５２は、エッジサーバー３００に学習済モデルとして配信され、エッジサーバー３００における推論処理に用いられる。

エッジサーバー３００は、データ収集・提供部３５０、推論部３５１、学習済モデル３５２を備える。データ収集・提供部３５０は、デバイス４００から受信したデータや、エッジサーバー３００が自ら収集したデータを、データ群としてクラウドサーバー２００に送信するモジュールである。なお、データ収集・提供部３５０によりクラウドサーバー２００に提供されたデータ群が、クラウドサーバー２００における学習に使用される。推論部３５１は、デバイス４００から送られるデータを基に、学習済モデル３５２を用いて推論を実行し、その結果をデバイス４００に返送するプログラムモジュールである。デバイス４００から送られるデータは、推論部３５１の入力データＸとなるデータである。学習済モデル３５２は、エッジサーバー３００で行う推論に用いられる。学習済モデル３５２も学習モデル２５２と同様にニューラルネットワークとして実現されるものとする。ただし、後述のように、学習済モデル３５２は学習モデル２５２と同一のものであってもよいし、学習モデル２５２の一部を抽出して利用するものであってもよい。学習済モデル３５２はクラウドサーバー２００で蓄積して配信された学習モデル２５２を格納する。学習済モデル３５２は、学習モデル２５２の全部が配信されたものであってもよいし、学習モデル２５２のうち、エッジサーバー３００での推論に必要な一部分だけを抜き出して配信されたものであってもよい。

デバイス４００は、アプリケーション部４５０、データ送受信部４５１を備える。アプリケーション部４５０は、デバイス４００で実行する各種の機能を実現するモジュールであり、機械学習による学習・推論の仕組みを利用するモジュールである。データ送受信部４５１は、エッジサーバー３００に学習または推論を依頼するモジュールである。学習時には、アプリケーション部４５０からの依頼により学習に用いるデータをエッジサーバー３００のデータ収集・提供部３５０に送信する。また、推論時には、アプリケーション部４５０からの依頼により推論に用いるデータをエッジサーバー３００に送信し、その結果を受信してアプリケーション部４５０に返す。

なお、本実施形態ではクラウドサーバー２００で学習した学習モデル２５２をエッジサーバー３００に学習済モデル３５２として配信し、推論に利用する形態を示したが、この形態に限定されるものではない。学習、推論をそれぞれ、クラウドサーバー２００、エッジサーバー３００、デバイス４００のどこで実行するかは、ハードウェア資源の配分や計算量、データ通信量の大小に応じて構成を決定すればよい。あるいはこれら資源の配分や計算量、データ通信量の増減に応じて動的に変えるように構成してもよい。学習と推論を行う主体が異なる場合、推論側は推論のみで使用するロジックや学習済モデル３５２の容量を削減したり、より高速で実行できるように構成したりすることが可能である。例えば、学習および推論をデバイス４００で実施しても構わない。

（学習モデル）
図８は、学習モデル２５２、学習済モデル３５２を利用する際の入出力の構造を示す概念図である。

図８（ａ）は、学習時における、学習モデル２５２とその入出力データの関係を示す。入力データＸ（８０１）は、学習モデル２５２の入力層のデータである。本実施形態における入力データＸの詳細は後述する。入力データＸを機械学習モデルである学習モデル２５２を用いて認識した結果として出力データＹ（８０３）が出力される。学習時には、入力データＸの認識結果の正解データとして教師データＴ（８０２）が与えられるので、出力データＹと教師データＴを損失関数８０４に与えることにより、認識結果の正解からのずれ量Ｌ（８０５）が得られる。学習部２５１は、多数の学習用データに対してずれ量Ｌが小さくなるように、学習モデル２５２中のニューラルネットワークのノード間の結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。

図８（ｂ）は、推論時における、学習済モデル３５２とその入出力データの関係を示す。入力データＸ（８０１）は、学習済モデル３５２の入力層のデータである。本実施形態における入力データＸの詳細は後述する。入力データＸを機械学習モデルである学習モデル２５２を用いて認識した結果として出力データＹ（８０３）が出力される。推論時には、この出力データＹを推論結果として利用する。なお、推論時の学習済モデル３５２は、学習時の学習モデル２５２と同等のニューラルネットワークを備えるものとして説明したが、推論で必要な部分のみを抽出したものを学習済モデル３５２として用意することもできる。これによって学習済モデル３５２のデータ量を削減したり、推論時のニューラルネットワーク処理時間を短縮したりすることが可能である。

本実施形態は、デバイス４００をプリンタ６００として説明する。プリンタ６００は、クライアント端末４０１であるパーソナルコンピュータ（ＰＣ）からローカルエリアネットワーク１０２を介して受信して印刷処理を実行する機能を備える。しかし、プリンタ６００は、他の機能も備えており、例えばスマートフォンまたはタブレットなどの携帯端末から印刷データを受信する機能などを備える。また、プリンタ６００は、ソーシャルネットワーキングサービス（ＳＮＳ）で管理されている画像データを印刷する機能も備える。これらの機能が使用されることでユーザの利便性が向上する。そのため、本実施形態では適切なタイミングでプリンタの機能を紹介することでユーザの利便性を更に向上することを目的とする。なお、本実施形態では、スマートフォンに対する操作で、スマートフォンに保存されているデータを印刷する処理をスマフォプリントと呼び、ＳＮＳで管理されているデータを印刷する処理をＳＮＳプリントと呼ぶ。なお、ＳＮＳプリントは、ＳＮＳへのログイン操作などがあるため、スマフォプリントと比較するとユーザの操作が煩雑であるものとする。また、ＰＣからの指示でＰＣに保存されているデータを印刷する処理をＰＣプリントと呼ぶ。さらに、エッジサーバー３００は、プリンタ６００だけでなく他のプリンタとも通信可能である。

プリンタ６００により実行される処理を図９のフローチャートを用いて説明する。この処理はプリンタ６００のＣＰＵ６１１により実行される。なおこのフローチャートは本発明の実施例の説明に関わる処理について記載しており、その他の処理については図示を省略している。また、図９は、プリンタ６００において印刷ジョブを受信した場合に開始される。

プリンタ６００は、印刷ジョブを受信すると（Ｓ９０１）、履歴データを更新する（Ｓ９０２）。例えば、プリンタ６００は、印刷ジョブを解析することでＰＣプリント、スマフォプリントまたはＳＮＳプリントのいずれであるかを特定する。さらに、プリンタ６００は、印刷ジョブを解析することで印刷に使用される用紙サイズを特定する。プリンタ６００は、特定された項目について、履歴データの回数を増加する。

プリンタ６００は、Ｓ９０２においてＳＮＳプリントまたはスマフォプリントの印刷回数が０回から１回に更新されたか否かを判定する（Ｓ９０３）。例えば、図９の処理が開始される前に保持されていた履歴データが図１０（Ａ）だとする。そして、Ｓ９０１でスマートフォンからＬ版サイズを指定した印刷ジョブを受信した場合、図１０（Ａ）が図１０（Ｂ）に更新される。その場合、プリンタ６００は、Ｓ９０３においてＹｅｓと判定する。なお、Ｓ９０３においてＮｏと判定された場合、図９の処理はＳ９０５へと進む。

Ｓ９０３においてＹｅｓと判定された場合、プリンタ６００は、学習依頼とＳ９０２で更新された履歴データをエッジサーバー３００に送信する（Ｓ９０４）。例えば、本実施形態では、履歴データとして図１０（Ｂ）が送信される。さらに、０回から１回に変更された機能（ＳＮＳプリントまたはスマフォプリント）も送信される。なお、０回から１回に変更された機能が教師データＴとして使用される。

プリンタ６００は、Ｓ９０２で更新された履歴データを参照してＳＮＳプリントが０回であるか、または、スマフォプリントが０回であるかを判定する（Ｓ９０５）。Ｓ９０５においてＮｏと判定された場合（ＳＮＳプリントとスマフォプリントの両者が１回以上使用されている場合）、プリンタ６００のユーザは、スマフォプリントまたはＳＮＳプリントの機能を知っていることになる。つまり、推論依頼は不要となるためＳ９０６からＳ９０８は実行されない。

一方、Ｓ９０５においてＹｅｓと判定された場合、プリンタ６００は、Ｓ９０２で更新された履歴データと推論依頼をエッジサーバー３００に送信し（Ｓ９０６）、推論結果を受信するまで処理を待機する（Ｓ９０７）。

推論結果が受信された場合、プリンタ６００は、推論結果に対応する処理を実行する（Ｓ９０８）。例えば、プリンタ６００は、エッジサーバー３００から出力データＹを受信する。そして、プリンタ６００は、出力データＹ（例えば、ＳＮＳプリント０．２３、スマフォプリント０．７８および提示不要０．０２）から一番値が大きい機能（スマフォプリント）を特定して図１４（Ａ）のような画面を表示する。また、プリンタ６００は、エッジサーバー３００において出力データＹから特定された機能（スマフォプリント）を受信して、図１４（Ａ）のような画面を表示しても良い。ここでユーザが図１４（Ａ）の画面を使って「使いたい」を選択した場合、図９の処理は終了する。一方、ユーザが図１４（Ａ）の画面を使って「キャンセル」を選択した場合、プリンタ６００は、Ｓ９０８の処理として学習依頼とＳ９０６で送信した履歴データをエッジサーバー３００に送信する。例えば、Ｓ９０６で送信した履歴データを用いてエッジサーバー３００が後述する推論処理を実行した結果、図１４（Ａ）のようにスマフォプリントがおすすめ機能として提示された。しかし、ユーザはスマフォプリントの使用を希望しなかったため、現在の学習モデルを更新する必要がある。そのため、プリンタ６００は、Ｓ９０８の処理として学習依頼と、Ｓ９０６で送信した履歴データと、キャンセルボタンが押下されたことを示す情報と、おすすめ機能としてスマフォプリントが選択されたことを示す情報をエッジサーバー３００に送信する。なお、この処理により実行されるクラウドサーバー２００の処理は図１３にて後述する。また、推論結果として提示不要を受信した場合、プリンタ６００は、おすすめ機能の提示処理を実行せず、図９の処理を終了する。なお、本実施例では、ＰＣプリントでＬ版サイズの印刷回数が閾値を超えたユーザに、スマートフォンの写真やＳＮＳで管理されている写真の印刷を促すことを目的としている。そのため、履歴データにおいてＰＣプリントのＬ版サイズの印刷回数が閾値を超えていない場合、出力データにおける提示不要の値が大きくなる傾向にある。

続いてクラウドサーバー２００において実行される学習処理について説明する。クラウドサーバー２００は、履歴データと学習依頼をエッジサーバー３００経由で受信し、学習処理を行う。この処理について図８（Ａ）と図１０（Ｂ）を用いて説明する。学習用データ生成部２５０は、履歴データにおけるＳＮＳプリントとスマフォプリントの中で０回から１回に更新された使用履歴データを教師データとして特定する。なお、本実施形態では、ＳＮＳプリントまたはスマフォプリントがおすすめ情報として提示される。そのため、履歴データにおけるＳＮＳプリントとスマフォプリントの中で０回から１回に更新されたデータは、履歴データにおけるおすすめ情報に対応する使用履歴データと呼ぶこともある。そして、学習用データ生成部２５０は、履歴データにおいてスマフォプリントの使用回数とＳＮＳプリントの使用回数以外の少なくとも１つのデータを入力データＸとして特定する。例えば、ＰＣプリント１０回、Ａ４サイズ３回、Ａ３サイズ２回およびＬ版サイズ６回が入力データＸとして特定されたり、ＰＣプリント１０回およびＬ版サイズ６回が入力データＸとして特定されたりする。この処理により、教師データＴと入力データＸにより構成される学習用データが生成される。

そして、学習用データ生成部２５０は、入力データＸを学習モデル２５２に入力することで、学習部２５１は学習モデル２５２を使って出力データＹを出力する。なお、本実施形態の学習モデル２５２は分類型である。そのため、本実施形態では、出力データＹとして、例えば、ＳＮＳプリント０．０２、スマフォプリント０．８９および提示不要０．１０が出力される。そして、学習部２５１は、入力データＸの認識結果の正解データとして教師データＴ（８０２）が与えられるので、出力データＹと教師データＴを損失関数８０４に与えることにより、認識結果の正解からのずれ量Ｌ（８０５）が得られる。例えば、今回の例では、教師データＴがスマフォプリントであるためスマフォプリント１が教師データＴとして入力される。そして、出力データＹはスマフォプリント０．８９である。そのため、ずれ量Ｌは、０．１１である。この０．１１が学習モデル２５２にフィードバックされ、さらにずれ量Ｌが小さくなるように、学習部２５１は、学習モデル２５２中のニューラルネットワークのノード間の結合重み付け係数等を更新する。以上の処理を繰り返すことで生成された学習モデル２５２がエッジサーバー３００に送信される。

続いてエッジサーバー３００において実行される推論処理について説明する。エッジサーバー３００は、履歴データと推論依頼を受信して推論処理を行う。この推論処理について図８（Ｂ）と図１０（Ｃ）を用いて説明する。なお、上述した通り学習済モデル３５２がエッジサーバー３００に保持されている状態とする。推論部３５１は、推論依頼と履歴データをプリンタ６００から受信すると、履歴データからスマフォプリントの使用回数とＳＮＳプリントの使用回数以外の少なくとも１つのデータを入力データＸとして特定し、学習済モデル３５２に入力する。例えば、ＰＣプリント１２回、Ａ４サイズ２回、Ａ３サイズ２回およびＬ版サイズ８回が入力データＸとして特定されたり、ＰＣプリント１２回およびＬ版サイズ８回が入力データＸとして特定されたりする。その結果、出力データＹが得られる。例えば、ＳＮＳプリント０．２３、スマフォプリント０．７８および提示不要０．０２が出力データＹとして出力される。推論部３５１は、この出力データＹから最大値である機能を提示機能としてプリンタ６００に送信する。また、出力データＹがプリンタ６００に送信されても良い。なお、この処理に続いて図９のＳ９０８が実行される。

続いて上述した学習処理と推論処理について図１１のシーケンス図を用いて説明する。まず図１１（Ａ）が学習時のシーケンス図である。例えば、スマートフォン５００が印刷ジョブを送信することで（Ｓ１１０１）、プリンタ６００は履歴データを更新し（Ｓ１１０２）、学習依頼と履歴データをエッジサーバー３００へ送信する（Ｓ１１０３）。エッジサーバー３００は、プリンタ６００から受信した履歴データと学習依頼をクラウドサーバー２００に送信する（Ｓ１１０５）。そして、クラウドサーバー２００は、図８および図１０（Ｂ）を用いて上述したように学習用データを生成して学習処理を実行し、学習結果を蓄積する（Ｓ１１０６−Ｓ１１０８）。そして、クラウドサーバー２００は、学習結果の蓄積により生成された学習モデル２５２をエッジサーバー３００に配信し、エッジサーバー３００が学習済モデル３５２を保持する（Ｓ１１０９−Ｓ１１１０）。

続いて図１１（Ｂ）を用いて推論時の処理を説明する。スマートフォン５００またはＰＣが印刷ジョブを送信することで（Ｓ１１２１）、プリンタ６００は履歴データを更新し（Ｓ１１２２）、学習依頼と履歴データをエッジサーバー３００へ送信する（Ｓ１１２３）。エッジサーバー３００は、プリンタ６００から受信した履歴データとＳ１１１０で保持した学習済モデルを使って推論を実行する（Ｓ１１２４）。Ｓ１１２４により、エッジサーバー３００は、Ｓ１１２３で受信した履歴データに基づいてＳＮＳプリント、スマフォプリントまたは提示不要を決定し、その結果を推論結果としてプリンタ６００に送信する（Ｓ１１２５）。なお、上述したように出力データＹが推論結果としてプリンタ６００に送信されても良い。この推論結果を受けてプリンタ６００は、おすすめ機能を表示し（Ｓ１１２６）、印刷ジョブに基づく処理を実行する（Ｓ１１２７）。なお、図１１（Ｂ）では、おすすめ機能が提示された後に印刷ジョブに基づく処理が実行されているが、処理順序はこの限りではない。例えば、印刷ジョブに基づく処理が終了した後にＳ１１２６が実行されても良いし、印刷ジョブの処理中にＳ１１２６が実行されても良い。

図１２を用いてエッジサーバー３００の処理を説明する。図１２の処理は、エッジサーバー３００のＣＰＵ２１１により実行される。なおこのフローチャートは本発明の実施例の説明に関わる処理について記載しており、その他の処理については図示を省略している。エッジサーバー３００は、初期化処理を実行（Ｓ１２０１）した後は、続くステップＳ１２０２からＳ１２０４で外部から各種命令の受信をチェックし、受信した命令に応じた処理を実行する。

エッジサーバー３００は、学習依頼を受信したと判定した場合（Ｓ１２０２−Ｙｅｓ）、受信した学習依頼と履歴データをクラウドサーバー２００に送信する。また、エッジサーバー３００は、推論依頼を受信したと判定した場合（Ｓ１２０３−Ｙｅｓ）、受信した推論依頼を実行する（Ｓ１２０６）。具体的には、推論依頼と共に送信された履歴データが推論部３５１に送信され、学習済モデル３５２を用いて推論が実行される。Ｓ１２０６の推論実行が完了すると、エッジサーバー３００は、推論の結果を依頼元のプリンタ６００に送信する（Ｓ１２０７）。なお、推論の結果は、例えば、上述した出力データＹ（例えば、ＳＮＳプリント０．２３、スマフォプリント０．７８および提示不要０．０２）そのものでも良いし、出力データＹから特定された機能（例えば、スマフォプリント）でも良い。推論部３５１は、図８（Ｂ）と図１０（Ｃ）を用いて上述した通り、出力データＹとして出力されたＳＮＳプリント、スマフォプリントおよび提示不要の各値の中で最大値である機能を推論結果の提示機能としてプリンタ６００に送信する。なお、推論部３５１は、出力データＹの値において上位２つの機能が、ＳＮＳプリントとスマフォプリントであり、両者の値の差異が閾値以下である場合、２つの機能を推論結果としてプリンタ６００に送信しても良い。例えば、図１０（Ｄ）の履歴データから生成される入力データＸが学習済モデル３５２に入力された場合、出力データＹとしてＳＮＳプリント０．５、スマフォプリント０．４８および提示不要０．０２が出力されたとする。この場合、プリンタ６００には、例えば、図１４（Ｂ）のように２つの機能が提示され、ユーザから次に使用したい機能の選択を受け付ける。つまり、Ｓ９０６で送信した履歴データを用いてエッジサーバー３００が推論処理を実行した結果、おすすめ機能としてスマフォプリントとＳＮＳプリントの両者が特定された。そして、図１４（Ｂ）の画面においてユーザが、例えば、スマフォプリントを選択した場合、現在の学習モデル２５２を更新する必要がある。そのため、プリンタ６００は、Ｓ９０８の処理として学習依頼と、Ｓ９０６で送信した履歴データと、選択された機能（ユーザ選択機能）をエッジサーバー３００に送信する。なお、この処理により実行されるクラウドサーバー２００の処理は図１３にて後述する。なお、図１０（Ｃ）は、図１０（Ｄ）と比較すると、ＰＣプリントの回数が少なく、ユーザの印刷に慣れている可能性が低い。そのため、図１０（Ｃ）の履歴データが入力データとして使用される場合、おすすめ機能としてユーザ操作の煩雑度が比較的低いスマフォプリントの出力値が最大値となる傾向にある。一方、図１０（Ｄ）は、図１０（Ｃ）と比較すると、ＰＣプリントの回数が多く、ユーザの印刷に慣れている可能性が高い。そのため、図１０（Ｄ）の履歴データが入力データとして使用される場合、おすすめ機能としてユーザ操作の煩雑度が比較的低いスマフォプリントだけでなく、ユーザ操作の煩雑度が比較的高いＳＮＳプリントの出力値も高くなる傾向にある。

エッジサーバー３００は、クラウドサーバー２００から学習済モデルを受信したと判定した場合（Ｓ１２０４−Ｙｅｓ）、受信した学習済モデルの情報をエッジサーバー３００の学習済モデル３５２に反映し記憶する（Ｓ１２０８）。これにより、以降の推論依頼に対しては更新された学習済モデル３５２が用いられる。

図１３は、クラウドサーバー２００の処理内容を示すフローチャートである。この処理はクラウドサーバー２００のＣＰＵ２１１により実行される。なお、このフローチャートは本発明の実施例の説明に関わる処理について記載しており、その他の処理については図示を省略している。また、上述した通り、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ２１１とＧＰＵ２１７が協同して演算を行うことで学習を行う。

クラウドサーバー２００は、初期化処理を実行した（Ｓ１３０１）後、学習依頼を受信したか否かを判定する（Ｓ１３０２）。学習依頼を受信したと判定された場合、クラウドサーバー２００は、学習用データ生成部２５０を用いて学習用データを生成する（Ｓ１３０３）。例えば、図８（Ａ）と図１０（Ｂ）を用いて上述したように、学習用データ生成部２５０は、履歴データにおけるＳＮＳプリントとスマフォプリントの中で０回から１回に使用回数が更新された機能を教師データとして特定する。さらに学習用データ生成部２５０は、履歴データにおいてスマフォプリントの使用回数とＳＮＳプリントの使用回数以外の少なくとも１つのデータを入力データＸとして特定する。この処理により、教師データＴと入力データＸにより構成される学習用データが生成される。

クラウドサーバー２００は、学習用データを基に学習を実行する（Ｓ１３０４）。具体的には、学習用データを学習部２５１に送り、学習モデル２５２に対する学習を実行する。学習結果は続くステップＳ１３０５で学習モデル２５２に反映され蓄積される（Ｓ１３０５）。なお、この処理は図８（Ａ）と図１０（Ｂ）を用いて上述したが、ずれ量Ｌが小さくなるように、学習部２５１が、学習モデル２５２中のニューラルネットワークのノード間の結合重み付け係数等を更新する処理に相当する。

学習結果の蓄積が終わると、クラウドサーバー２００は、学習モデル２５２からエッジサーバー３００へ配信する学習済モデル３５２を生成してエッジサーバー３００へ送信する（Ｓ１３０６）。なお、ここではクラウドサーバー２００が学習依頼を受信するごとに学習を実行するように説明したが、学習の実行には処理時間を要するため、受信した学習依頼を蓄積しておいて、学習依頼の受信とは非同期に学習実行するように構成してもよい。また、学習が行われる毎にエッジサーバー３００への学習済モデル配信が行われるように説明したが、大量の学習がクラウドサーバー２００で行われる場合には都度配信しなくてもよい。定期的に配信する、またはエッジサーバー３００から必要に応じて配信要求を出して配信させるように構成してもよい。

続いて、図１４（Ａ）においてキャンセルボタンが押下されたことで実行される学習処理について説明する。このケースでは、クラウドサーバー２００は、Ｓ１３０２において学習依頼と共に、Ｓ９０６で送信した履歴データ（例えば図１０（Ｃ））と、キャンセルボタンが押下されたことを示す情報と、おすすめ機能としてスマフォプリントを受信する。クラウドサーバー２００は、履歴データにおいてスマフォプリントの使用回数とＳＮＳプリントの使用回数以外の少なくとも１つのデータを入力データＸとして特定する。また、教師データＴとして、スマフォプリントとキャンセル指示を特定する。例えば、学習モデル２５２が、図１０（Ｃ）の履歴データから生成される入力データＸが入力された場合、出力データＹとしてＳＮＳプリント０．２３、スマフォプリント０．７８および提示不要０．０２が出力されるとする。しかし、このケースの学習では、スマフォプリントがおすすめされないように学習モデル２５２を更新する必要がある。そのためクラウドサーバー２００は、スマフォプリントの値が小さくなるようにニューラルネットワークの各ノード間の重み付けパラメータを最適化し、学習結果を蓄積して学習モデル２５２を更新する。例えば、更新された学習済モデル３５２を保持するエッジサーバー３００が、別のプリンタから図１０（Ｃ）と同じ履歴データと推論依頼を受信した場合、出力データＹ（ＳＮＳプリント０．６４、スマフォプリント０．３２および提示不要０．０２）が出力される。この処理により、例えば、別のプリンタから図１０（Ｃ）と同じ履歴データが受信された場合にスマフォプリントがおすすめされる可能性を軽減できる。なお、別のプリンタを別のユーザと置き換えても良い。

続いて、Ｓ１３０２において受信した学習依頼においてユーザ選択機能を受信した場合に行われる学習処理について説明する。つまり、このケースで行われる学習処理は、図１４（Ｂ）の画面に対する操作が行われたことに基づいて実行される。図９の処理で説明した通り、プリンタ６００は、Ｓ９０８において、Ｓ９０６で送信した履歴データと、ユーザ選択機能（例えば、スマフォプリント）をエッジサーバー３００に送信する。そのため、クラウドサーバー２００は、学習依頼と共に、Ｓ９０６で送信した履歴データ（例えば図１０（Ｄ））と、ユーザ選択機能を受信する。そしてクラウドサーバー２００は、履歴データにおいてスマフォプリントの使用回数とＳＮＳプリントの使用回数以外の少なくとも１つのデータを入力データＸとして特定する。また、教師データＴとして、ユーザ選択機能（例えば、スマフォプリント）を特定する。例えば、図１０（Ｄ）の履歴データから生成される入力データＸが学習済モデル３５２に入力された場合、出力データＹとしてＳＮＳプリント０．５、スマフォプリント０．４８および提示不要０．０２が出力されていた。しかし、このケースの学習では、スマフォプリントがおすすめされるように学習モデル２５２を更新する必要がある。そのためクラウドサーバー２００は、スマフォプリントの値が大きくなり、ＳＮＳプリントの値が小さくなるようにニューラルネットワークの各ノード間の重み付けパラメータを最適化し、学習結果を蓄積して学習モデル２５２を更新する。この処理により、例えば、別のプリンタから図１０（Ｄ）と同じ履歴データが受信された場合にスマフォプリントがおすすめされる可能性を増大できる。例えば、更新された学習済モデル３５２を保持するエッジサーバー３００が、別のプリンタから図１０（Ｄ）と同じ履歴データと推論依頼を受信した場合、出力データＹ（ＳＮＳプリント０．３２、スマフォプリント０．６４および提示不要０．０２）が出力される。なお、別のプリンタを別のユーザと置き換えても良い。

以上の構成を基に、本実施形態では、ユーザにおすすめする機能を適切なタイミングで提示することができる。さらに、本実施例では、図１４（Ａ）または（Ｂ）の画面に対するユーザ操作に基づいてさらに学習モデル２５２を更新することも可能である。

＜その他の実施形態＞
なお、上述した実施形態では、ＳＮＳプリントとスマフォプリントを例に説明したが、他の機能でも構わない。例えば、用紙の面に複数ページを配置するＮｉｎ１機能や、スキャン機能がおすすめ機能として提示されるような学習モデル２５２が生成されても良い。

また、上述した実施形態では、デバイス４００をプリンタ６００として説明したが他の種類のデバイスでも良い。例えば、デバイス４００が車載装置で、これまでの行き先履歴からおすすめの行き先を提示する際に、上述した実施形態の処理が実施されても良い。例えば、上述した実施形態では、履歴データにおいてスマフォプリントの使用回数とＳＮＳプリントの使用回数以外の少なくとも１つのデータを入力データＸとして特定していた。一方、車載装置において上述した実施形態を実行する場合、履歴データにおいて行き先情報（目的地情報）以外の少なくとも１つのデータ（例えば、気象情報、走行距離、日時、乗車人数などの少なくとも１つ）が入力データＸとして使用される。また、上述した実施形態では、履歴データから教師データＴとして、０回から１回に更新されたスマフォプリントまたはＳＮＳプリントが特定されていた。一方、車載装置において上述した実施形態を実行する場合、履歴データにおいて行き先回数が０回から１回に更新された行き先情報（目的地情報）が教師データＴとして特定される。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１または複数のプロセッサーまたは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータまたは分離した複数のプロセッサーまたは回路のネットワークを含みうる。

プロセッサーまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサーまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

１００ 処理システム
１０１ 近距離無線通信
１０２ ローカルエリアネットワーク
１０３ ルータ
１０４ インターネット

Claims (8)

1. おすすめ情報を出力するための学習済モデルを備えるシステムにおいて、
   履歴データにおけるおすすめ情報に対応する使用履歴データが教師データとして特定され、かつ、前記履歴データにおいて前記使用履歴データとは異なる少なくとも１つの情報が入力データとして特定され、前記教師データと前記入力データが前記学習済モデルに入力されることで出力される出力データからおすすめ情報を決定する決定手段と、
   前記決定されたおすすめ情報に基づく画面を表示する表示手段を備えることを特徴とするシステム。
2. 前記画面において前記おすすめ情報を使用しないことを示すユーザ操作が行われた場合、前記学習済モデルの更新が要求され、
   前記学習済モデルの更新が要求される場合、前記履歴データと前記おすすめ情報を使用しないことを示すユーザ操作が行われたことを示す情報に基づいて前記学習済モデルの更新が実行されることを特徴とする請求項１に記載のシステム。
3. 前記出力データから複数のおすすめ情報が決定された場合、前記複数のおすすめ情報のうち１つのおすすめ情報の選択を受け付ける受け付け手段と、
   前記受け付け手段により前記複数のおすすめ情報のうち１つのおすすめ情報の選択された場合、前記学習済モデルの更新が要求され、
   前記学習済モデルの更新が要求される場合、前記受け付けられたおすすめ情報と前記履歴データに基づいて前記学習済モデルの更新が実行されることを特徴とする請求項１または２に記載のシステム。
4. 前記履歴データにおけるおすすめ情報に対応する使用履歴データは、携帯端末から印刷を指示したことを示す情報またはソーシャルネットワーキングサービス（ＳＮＳ）で管理されている画像データの印刷を指示したことを示す情報であることを特徴とする請求項１乃至３のいずれか１項に記載のシステム。
5. 前記履歴データにおけるおすすめ情報に対応する使用履歴データは、車両の行き先を示す情報であることを特徴とする請求項１乃至３のいずれか１項に記載のシステム。
6. おすすめ情報を出力するための学習済モデルを備えるシステムにおいて、
   履歴データにおけるおすすめ情報に対応する使用履歴データを教師データとして特定し、前記履歴データにおいて前記使用履歴データとは異なる少なくとも１つの情報を入力データとして特定する特定手段と、
   前記特定された入力データが前記学習済モデルに入力されることで得られる出力データと、前記教師データに基づいて機械学習を行うことにより前記学習済モデルを更新する更新手段と、
   前記更新された学習済モデルと前記履歴データに基づいておすすめ情報を決定する決定手段を備えるシステム。
7. おすすめ情報を出力するための学習済モデルを備えるシステムにおいて実行される方法であって、
   履歴データにおけるおすすめ情報に対応する使用履歴データが教師データとして特定され、かつ、前記履歴データにおいて前記使用履歴データとは異なる少なくとも１つの情報が入力データとして特定され、前記教師データと前記入力データが前記学習済モデルに入力されることで出力される出力データからおすすめ情報を決定する決定工程と、
   前記決定されたおすすめ情報に基づく画面を表示する表示工程を備えることを特徴とする方法。
8. おすすめ情報を出力するための学習済モデルを備えるシステムにおいて実行される方法であって、
   履歴データにおけるおすすめ情報に対応する使用履歴データを教師データとして特定し、前記履歴データにおいて前記使用履歴データとは異なる少なくとも１つの情報を入力データとして特定する特定工程と、
   前記特定された入力データが前記学習済モデルに入力されることで得られる出力データと、前記教師データに基づいて機械学習を行うことにより前記学習済モデルを更新する更新工程と、
   前記更新された学習済モデルと前記履歴データに基づいておすすめ情報を決定する決定工程を備える方法。
   

Images