JP2023158629A - Notification system, control method therefor, and program - Google Patents
Notification system, control method therefor, and program Download PDFInfo
- Publication number
- JP2023158629A JP2023158629A JP2023022893A JP2023022893A JP2023158629A JP 2023158629 A JP2023158629 A JP 2023158629A JP 2023022893 A JP2023022893 A JP 2023022893A JP 2023022893 A JP2023022893 A JP 2023022893A JP 2023158629 A JP2023158629 A JP 2023158629A
- Authority
- JP
- Japan
- Prior art keywords
- user
- notification
- message
- control program
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 153
- 238000011084 recovery Methods 0.000 claims description 76
- 230000007257 malfunction Effects 0.000 claims description 57
- 238000003860 storage Methods 0.000 claims description 55
- 238000001514 detection method Methods 0.000 claims description 33
- 238000003384 imaging method Methods 0.000 claims description 31
- 238000012423 maintenance Methods 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 4
- 239000000725 suspension Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 description 79
- 238000012545 processing Methods 0.000 description 75
- 238000012544 monitoring process Methods 0.000 description 54
- 230000006870 function Effects 0.000 description 48
- 238000010586 diagram Methods 0.000 description 42
- 230000004044 response Effects 0.000 description 42
- 230000015572 biosynthetic process Effects 0.000 description 34
- 238000003786 synthesis reaction Methods 0.000 description 34
- 238000006243 chemical reaction Methods 0.000 description 33
- 238000013523 data management Methods 0.000 description 33
- 238000007726 management method Methods 0.000 description 29
- 238000004458 analytical method Methods 0.000 description 26
- 230000000877 morphologic effect Effects 0.000 description 18
- 238000013459 approach Methods 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 16
- 230000007547 defect Effects 0.000 description 16
- 238000007405 data analysis Methods 0.000 description 14
- 230000005856 abnormality Effects 0.000 description 12
- 230000001276 controlling effect Effects 0.000 description 12
- 238000010191 image analysis Methods 0.000 description 12
- 239000002699 waste material Substances 0.000 description 11
- 238000009434 installation Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000007850 degeneration Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Accessory Devices And Overall Control Thereof (AREA)
- Facsimiles In General (AREA)
Abstract
Description
本発明は、通知システム、通知システムの制御方法およびプログラムに関する。 The present invention relates to a notification system, a notification system control method, and a program.
従来、ＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ／Ｐｒｉｎｔｅｒ／Ｐｒｏｄｕｃｔ）等の画像形成装置（画像処理装置）には、当該装置を使用するユーザに対して、メッセージを通知可能な装置がある。このメッセージ通知の１つとして、スピーカからの音声で、メッセージを通知するものがある。特許文献１に記載の装置では、当該装置のトラブル等の不具合発生時に、メンテナンスを依頼するメッセージを内部的に自動生成する。そして、装置に近づいた不特定ユーザに対して、メンテナンスを依頼するメッセージが音声で通知される。
2. Description of the Related Art Conventionally, image forming devices (image processing devices) such as MFPs (Multifunction Peripheral/Printer/Product) include devices that can notify messages to users who use the device. As one of these message notifications, there is one in which a message is notified by voice from a speaker. The device described in
しかしながら、特許文献１に記載の装置では、不特定のユーザに音声メッセージが通知された場合、当該音声メッセージを受けたユーザが、メッセージに沿った対応が可能なユーザ、または、実際に対応してくれるユーザであるとは限らない。例えば、専門的な知識が求められる搬送ローラの故障等の不具合発生時に、その復旧に関わるメッセージを一般ユーザに通知しても、当該ユーザが対応することは困難であったり、当該ユーザに混乱を招いたりする等の問題が生じる。
However, in the device described in
本発明は、上記の課題に鑑みてなされたものである。本発明は、メッセージを報知する際、このメッセージと関連性が高い人物に対して、その報知を行うことができる通知システム、通知システムの制御方法およびプログラムを提供することを目的とする。 The present invention has been made in view of the above problems. SUMMARY OF THE INVENTION An object of the present invention is to provide a notification system, a control method for the notification system, and a program that can notify a person who is highly relevant to the message when notifying the message.
上記目的を達成するために、本発明の通知システムは、人物を含む画像を撮像する撮像手段と、前記撮像手段で撮像された前記画像に基づいて、該画像中の前記人物の役割を取得する取得手段と、前記取得手段で取得された前記役割に応じて所定のイベントについてのメッセージの内容を決定する決定手段と、前記決定手段で決定されたメッセージを通知する通知手段と、を備えることを特徴とする。 In order to achieve the above object, the notification system of the present invention includes an imaging device that captures an image including a person, and acquires the role of the person in the image based on the image captured by the imaging device. The method further comprises: an acquisition means, a determination means for determining the content of a message regarding a predetermined event according to the role acquired by the acquisition means, and a notification means for notifying the message determined by the determination means. Features.
本発明によれば、メッセージを報知する際、このメッセージと関連性が高い人物に対して、その報知を行うことができる。 According to the present invention, when broadcasting a message, it is possible to broadcast the message to a person who is highly relevant to the message.
以下、本発明の実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は実施形態に記載されている構成によって限定されることはない。例えば、本発明を構成する各部は、同様の機能を発揮し得る任意の構成のものと置換することができる。また、任意の構成物が付加されていてもよい。また、実施形態のうちの、任意の２以上の構成（特徴）を組み合わせることもできる。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, the configurations described in the embodiments below are merely examples, and the scope of the present invention is not limited by the configurations described in the embodiments. For example, each part constituting the present invention can be replaced with any part that can perform the same function. Moreover, arbitrary components may be added. Furthermore, any two or more configurations (features) of the embodiments can be combined.
＜第１の実施形態＞
本発明の通知システムは、撮像された画像に基づいて、画像中の人物の役割を特定し、特定された役割に応じて、メッセージの内容を決定する。そのうち、第１の実施形態では、人物の服装などから人物の役割として属性(使用者、管理者等)を判断し、これに基づいてメッセージの内容を決定する。
<First embodiment>
The notification system of the present invention identifies the role of the person in the image based on the captured image, and determines the content of the message according to the identified role. Among them, in the first embodiment, the attribute (user, administrator, etc.) of the person is determined based on the person's clothes and the like, and the content of the message is determined based on this.
＜全体構成＞
図１は、本発明の第１の実施形態に係る通知システム１００の全体構成の一例を示す図である。図１に示すように、通知システム１００は、画像形成装置（画像処理装置）１０１、音声制御装置１０２、クラウドサーバ１０３、ゲートウェイ１０５、撮影装置（撮像手段）１０６を有する。この通知システム１００では、画像形成装置１０１、音声制御装置１０２、撮影装置１０６、クラウドサーバ１０３は、ゲートウェイ１０５およびネットワーク１０４を介して、互いに通信可能に接続されている。なお、通知システム１００では、通知システム１００の各部や手段等の作動（通知システムの制御方法）をコンピュータに実行させるためのプログラムが記憶されている。このプログラムは、例えば、画像形成装置１０１、音声制御装置１０２、撮影装置１０６、クラウドサーバ１０３のいずれかの装置に一括して記憶されていてもよいし、各装置に分散して記憶されていてもよい。
<Overall configuration>
FIG. 1 is a diagram showing an example of the overall configuration of a
画像形成装置１０１は、コピー、スキャン、プリント、ＦＡＸ等の複数の機能を有するＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ／Ｐｒｉｎｔｅｒ／Ｐｒｏｄｕｃｔ）である。本実施形態では、画像形成装置１０１は、所定のイベントとして、当該画像形成装置１０１で不具合が生じた場合、その不具合が検出される検出対象となっている。なお、検出対象として適用される所定の装置は、画像形成装置１０１に限定されず、例えば、パーソナルコンピュータやモバイル端末等の他の情報処理装置であってもよい。また、所定のイベントとしては、不具合に限定されず、例えば、装置に対する命令等であってもよい。また、画像形成装置１０１は、複合機に限定されず、例えば、プリンタやスキャナ等、単体の機能を有する装置であってもよい。
The
音声制御装置１０２は、ユーザの音声操作開始指示に従い、ユーザの音声を録音して、符号化された音声データをクラウドサーバ１０３に送信する。音声制御装置１０２は、例えばスマートスピーカ、スマートフォン等からの音声により、ユーザとコミュニケーション可能な音声入出力装置である。なお、本実施形態では、音声制御装置１０２と画像形成装置１０１とがそれぞれ別体で構成されている、すなわち、独立した構成となっているが、これに限定されない。例えば、音声制御装置１０２を構成するハードウェアおよびソフトウェア機能の少なくとも一方が画像形成装置１０１の中に含まれていてもよい。
The
クラウドサーバ１０３は、１つ以上のクラウドサーバにより構成され、通知システム１００を利用するユーザ管理、音声・画像認識、画像形成装置１０１の制御のための情報処理等を行うクラウドサービスを提供することができる。クラウドサーバ１０３は、当該クラウドサーバ１０３が管理するユーザ情報を参照しつつ、音声制御装置１０２で取得したユーザの音声データを認識したり、撮影装置１０６で撮影した撮影データを認識したりすることができる。また、クラウドサーバ１０３は、画像形成装置１０１から取得した不具合情報等のデバイス情報を解析することもできる。また、クラウドサーバ１０３は、画像認識結果およびデバイス情報解析結果に応じて、所定のメッセージを生成し、そのメッセージ内容を音声制御装置１０２で音声再生するための音声データも合成する。
The
撮影装置１０６は、画像形成装置１０１の周辺を監視対象領域として、監視対象領域に接近する人物（以下「ユーザ」と言うことがある）を含む画像を撮像する（撮像工程）。本実施形態では、この人物として、一般ユーザ（使用者）、管理者ユーザ（管理者）、サービスマンの３者がいることとする。一般ユーザは、画像形成装置１０１を使用する人物である。管理者ユーザは、画像形成装置１０１の状態を管理するスーパーバイザーである。サービスマンは、画像形成装置１０１の保守および点検を行う保守点検者である。また、本実施形態では、撮影装置１０６は、画像形成装置１０１とは別の場所に備え付けられ、ＵＳＢまたはＬＡＮを介して接続可能な外付けカメラ、すなわち、ネットワークカメラであるが、これに限定されない。例えば、撮影装置１０６は、画像形成装置１０１に備え付けられて、すなわち、内蔵されていてもよい。
The
ネットワーク１０４は、画像形成装置１０１、音声制御装置１０２、撮影装置１０６と接続され、ゲートウェイ１０５を介してクラウドサーバ１０３とも接続されている。ネットワーク１０４は、音声制御装置１０２で取得される音声データ、撮影装置１０６で撮影される画像データ、画像形成装置１０１から送信されるデバイス情報、クラウドサーバ１０３から送信される音声データ等の各種データを転送可能である。
The
ゲートウェイ１０５は、例えば、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮルータ等である。「ＩＥＥＥ８０２．１１規格シリーズ」とは、ＩＥＥＥ８０２．１１ａやＩＥＥＥ８０２．１１ｂ等のＩＥＥＥ８０２．１１に属する一連の規格である。なお、ゲートウェイ１０５は、無線ＬＡＮルータに限定されず、例えば、１０ＢＡＳＥ－Ｔ、１００ＢＡＳＥＴ、１０００ＢＡＳＥ－Ｔ等に代表されるＥｔｈｅｒｎｅｔ規格に準拠した有線ＬＡＮルータ等でもよい。また、ゲートウェイ１０５は、他の無線通信方式や他の有線通信方式に従って動作する能力を有してもよい。
The
＜画像形成装置のハードウェア構成＞
図２は、画像形成装置１０１のハードウェア構成を示すブロック図である。図２に示すように、画像形成装置１０１は、コントローラ部２００、操作パネル２０９、プリントエンジン２１１、スキャナ２１３を有する。コントローラ部２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０２を有する。また、コントローラ部２００は、ＲＡＭ２０３、ＲＯＭ２０４、ストレージ２０５、ネットワークＩ／Ｆ２０６、ディスプレイコントローラ２０７、操作Ｉ／Ｆ２０８、プリントコントローラ２１０、スキャンコントローラ２１２を有する。コントローラ部２００では、これらがシステムバス２０１を介して互いに通信可能に接続されている。
<Hardware configuration of image forming apparatus>
FIG. 2 is a block diagram showing the hardware configuration of the
ＣＰＵ２０２は、画像形成装置１０１全体の動作を制御する。ＣＰＵ２０２は、ＲＯＭ２０４またはストレージ２０５に記憶された制御プログラムを読み出して、読取制御や印刷制御等の各種制御を行う。ＲＡＭ２０３は、ＣＰＵ２０２の主記憶メモリであり、ワークエリア、ＲＯＭ２０４およびストレージ２０５に記憶された各種制御プログラムを展開するための一時記憶領域として用いられる。ＲＯＭ２０４は、ＣＰＵ２０２で実行可能な制御プログラムを記憶する。ストレージ２０５は、印刷データ、画像データ、各種プログラムおよび各種設定情報等を記憶する。
The
なお、本実施形態の画像形成装置１０１では、１つのＣＰＵ２０２が１つのメモリ（ＲＡＭ２０３）を用いて、後述するフローチャートに示す各処理を実行するものとするが、この実行構成に限定されない。例えば、画像形成装置１０１では、複数のＣＰＵ、ＲＡＭ、ＲＯＭおよびストレージを協働させて、後述するフローチャートに示す各処理を実行することもできる。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェア回路を用いて、一部の処理が実行されてもよい。
Note that in the
ネットワークＩ／Ｆ２０６は、ネットワークを介して画像形成装置１０１を外部の装置と通信させるためのインタフェースである。また、画像形成装置１０１は、ネットワークＩ／Ｆ２０６を介して受信した印刷データを、ストレージ２０５またはＲＯＭ２０４に記憶されたソフトウェアモジュール（ＰＤＬ解析部）によって解析する。ＰＤＬ解析部は、様々な種類のページ記述言語（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）で表現された印刷データに基づいて、プリントエンジン２１１で印刷するためのデータを生成する。ディスプレイコントローラ２０７は、操作パネル２０９と接続される。画像形成装置１０１では、操作Ｉ／Ｆ２０８によって制御された画面が操作パネル２０９に表示される。この画面をユーザが操作することにより、ディスプレイコントローラ２０７を介してユーザ操作に対応したイベントを取得することができる。
The network I/
プリントコントローラ２１０は、プリントエンジン２１１と接続される。印刷すべき画像データは、プリントコントローラ２１０を介してプリントエンジン２１１に転送される。プリントエンジン２１１は、制御コマンドおよび印刷すべき画像データを受信し、この画像データに基づいた画像をシート上に形成する。プリントエンジン２１１の印刷方式は、電子写真方式であってもよいし、インクジェット方式であってもよい。印刷方式が電子写真方式の場合は、感光体上に静電潜像を形成した後にトナーにより現像し、そのトナー像をシートに転写する。そして、転写されたトナー像を定着することにより画像を形成することができる。一方、印刷方式がインクジェット方式の場合は、インクを吐出してシートに画像を形成することができる。
スキャンコントローラ２１２は、スキャナ２１３と接続される。スキャナ２１３は、シート上の画像を読み取って、画像データを生成する。この生成された画像データは、ストレージ２０５に記憶される。また、画像形成装置１０１は、スキャナ２１３により生成された画像データを用いてシート上に画像を形成することができる。スキャナ２１３は、原稿フィーダ（不図示）を有しており、原稿フィーダに載置されたシートを１枚ずつ搬送させながら読み取ることが可能である。
＜音声制御装置のハードウェア構成＞
図３は、音声制御装置１０２のハードウェア構成を示すブロック図である。図３に示すように、音声制御装置１０２は、コントローラ部３００を有する。コントローラ部３００は、ＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、ストレージ３０５、ネットワークＩ／Ｆ３０６、マイクＩ／Ｆ３０７、オーディオコントローラ３０９、表示コントローラ３１１を有する。コントローラ部３００では、これらがシステムバス３０１を介して互いに通信可能に接続されている。また、音声制御装置１０２は、音声入力デバイスとしてのマイクロフォン３０８、音声出力デバイスとしてのスピーカ３１０、通知デバイスとしてのＬＥＤ３１２をさらに有する。
<Hardware configuration of voice control device>
FIG. 3 is a block diagram showing the hardware configuration of the
ＣＰＵ３０２は、コントローラ部３００全体の動作を制御する中央演算装置である。ＲＡＭ３０３は、揮発性メモリである。ＲＯＭ３０４は、不揮発性メモリであり、ＣＰＵ３０２の起動用プログラムが格納されている。ストレージ３０５は、ＲＡＭ３０３と比較して大容量な記憶デバイスであり、例えばＳＤカードで構成されている。ストレージ３０５には、コントローラ部３００が実行する、音声制御装置１０２の制御用プログラムが格納されている。
The
なお、ストレージ３０５は、ＳＤカードに限定されず、例えば、フラッシュＲＯＭ等、ＳＤカードと同等の機能を有する他の記憶デバイスとすることができる。ＣＰＵ３０２は、音声制御装置１０２の電源ＯＮ等の起動時に、ＲＯＭ３０４に格納されている起動用プログラムを実行する。この起動用プログラムは、ストレージ３０５に格納されている制御用プログラムを読み出し、ＲＡＭ３０３上に展開するためのものである。ＣＰＵ３０２は、起動用プログラムの実行後、ＲＡＭ３０３上に展開した制御用プログラムを実行して、コントローラ部３００全体の動作制御を行う。また、ＣＰＵ３０２は、制御用プログラム実行時に用いるデータについても、ＲＡＭ３０３上に格納して読み書きを行う。ストレージ３０５には、さらに制御用プログラム実行時に必要な各種設定等を格納することができる。ＣＰＵ３０２は、ネットワークＩ／Ｆ３０６を介して、ネットワーク１０４上の他の機器との通信を行うことができる。
Note that the
ネットワークＩ／Ｆ３０６は、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線通信方式に従って通信を行うための回路やアンテナを含んだ構成となっている。なお、ネットワークＩ／Ｆ３０６での通信は、無線通信方式に限定されず、例えば、Ｅｔｈｅｒｎｅｔ規格に準拠した有線通信方式であってもよい。マイクＩ／Ｆ３０７は、マイクロフォン３０８に接続され、マイクロフォン３０８を介して入力されたユーザからの音声を、符号化された音声データに変換する。この音声データは、ＣＰＵ３０２の指示に応じて、ＲＡＭ３０３に保持される。
The network I/
マイクロフォン３０８は、本実施形態では、例えば、スマートフォン等に搭載される小型のＭＥＭＳマイクロフォンであるが、これに限定されない。また、マイクロフォン３０８の設置数は、１つ以上であればよいが、所定の位置に３つ以上あるのが好ましい。マイクロフォン３０８の設置数が３つ以上の場合、ユーザが発した音声の到来方向を検出することができる。オーディオコントローラ３０９は、スピーカ３１０に接続され、ＣＰＵ３０２の指示に応じて音声データをアナログ音声信号に変換し、スピーカ３１０を通じて音声を出力する。
In this embodiment, the
スピーカ３１０は、音声制御装置１０２が応答していることを表す応答音、および、クラウドサーバ１０３によって合成された音声等を再生する。スピーカ３１０は、音声を再生するための汎用のデバイスである。表示コントローラ３１１は、ＬＥＤ３１２に接続され、ＣＰＵ３０２の指示に応じてＬＥＤ３１２の表示を制御する。ここでは、表示コントローラ３１１は、音声制御装置１０２がユーザの音声を正しく入力していることを示すためのＬＥＤの点灯制御を主に行う。ＬＥＤ３１２は、例えば、ユーザが可視可能な青色等のＬＥＤである。ＬＥＤ３１２は汎用のデバイスである。なお、ＬＥＤ３１２に代えて、文字や図面等を表示可能なディスプレイ装置を用いてもよい。
The
＜クラウドサーバのハードウェア構成＞
図４は、クラウドサーバ１０３のハードウェア構成を示すブロック図である。図４に示すように、クラウドサーバ１０３は、コントローラ部４００を有する。コントローラ部４００は、ＣＰＵ４０２、ＲＡＭ４０３、ＲＯＭ４０４、ストレージ４０５、ネットワークＩ／Ｆ４０６を有し、これらがシステムバス４０１を介して互いに通信可能に接続されている。
<Cloud server hardware configuration>
FIG. 4 is a block diagram showing the hardware configuration of the
ＣＰＵ４０２は、コントローラ部４００全体の動作を制御する中央演算装置である。ＲＡＭ４０３は、揮発性メモリである。ＲＯＭ４０４は、不揮発性メモリであり、ＣＰＵ４０２の起動用プログラムが格納されている。ストレージ４０５は、ＲＡＭ４０３と比較して大容量な記憶装置であり、例えばハードディスクドライブ（ＨＤＤ）で構成されている。ストレージ４０５には、コントローラ部４００が実行する、クラウドサーバ１０３の制御用プログラムが格納されている。なお、ストレージ４０５は、ハードディスクドライブであるのに限定されず、例えば、ソリッドステートドライブ（ＳＳＤ）等のハードディスクドライブと同等の機能を有する他の記憶装置であってもよい。
The
ＣＰＵ４０２は、クラウドサーバ１０３が電源ＯＮ等の起動時に、ＲＯＭ４０４に格納されている起動用プログラムを実行する。この起動用プログラムは、ストレージ４０５に格納されている制御用プログラムを読み出し、ＲＡＭ４０３上に展開するためのものである。ＣＰＵ４０２は、起動用プログラムを実行することにより、ＲＡＭ４０３上に展開した制御用プログラムを実行して、コントローラ部４００全体の動作制御を行う。また、ＣＰＵ４０２は、制御用プログラム実行時に用いるデータについても、ＲＡＭ４０３上に格納して読み書きを行う。ストレージ４０５には、さらに制御用プログラム実行時に必要な各種設定を格納することができる。ＣＰＵ４０２は、ネットワークＩ／Ｆ４０６を介して、ネットワーク１０４上の他の機器との通信を行うことができる。
The
＜撮影装置のハードウェア構成＞
図５は、撮影装置１０６のハードウェア構成を示すブロック図である。図５に示すように、撮影装置１０６は、コントローラ部５００を有する。コントローラ部５００は、ＣＰＵ５０２、ＲＡＭ５０３、ＲＯＭ５０４、ストレージ５０５、ネットワークＩ／Ｆ５０６、カメラコントローラ５０７、カメラ５０８を有し、これらがシステムバス５０１を介して互いに通信可能に接続されている。
<Hardware configuration of imaging device>
FIG. 5 is a block diagram showing the hardware configuration of the
ＣＰＵ５０２は、コントローラ部５００全体の動作を制御する中央演算装置である。ＲＡＭ５０３は、揮発性メモリである。ＲＯＭ５０４は、不揮発性メモリであり、ＣＰＵ５０２の起動用プログラムが格納されている。ストレージ５０５は、ＲＡＭ５０３と比較して大容量な記憶装置であり、例えばハードディスクドライブ（ＨＤＤ）で構成されている。ストレージ５０５には、コントローラ部５００が実行する、撮影装置１０６の制御用プログラムが格納されている。なお、ストレージ５０５は、ハードディスクドライブに限定されず、例えば、ソリッドステートドライブ（ＳＳＤ）等のハードディスクドライブと同等の機能を有する他の記憶装置であってもよい。
The
ＣＰＵ５０２は、撮影装置１０６の電源ＯＮ等の起動時、ＲＯＭ５０４に格納されている起動用プログラムを実行する。この起動用プログラムは、ストレージ５０５に格納されている制御用プログラムを読み出し、ＲＡＭ５０３上に展開するためのものである。ＣＰＵ５０２は、起動用プログラムを実行することにより、ＲＡＭ５０３上に展開した制御用プログラムを実行して、コントローラ部５００全体の動作制御を行う。また、ＣＰＵ５０２は、制御用プログラム実行時に用いるデータについても、ＲＡＭ５０３上に格納して読み書きを行う。ストレージ５０５には、さらに制御用プログラム実行時に必要な各種設定を格納することができる。ＣＰＵ５０２は、ネットワークＩ／Ｆ５０６を介して、ネットワーク１０４上の他の機器との通信を行うことができる。
The
カメラコントローラ５０７は、カメラ５０８と接続され、撮影のための各種露光・画質調整を制御する。カメラ５０８は、撮影レンズが搭載され、カメラコントローラ５０７の制御に従って、画像形成装置１０１の周辺、すなわち、前記監視対象領域を撮影する。
A
＜画像形成装置のソフトウェア構成＞
図６は、画像形成装置１０１のソフトウェア構成を示すブロック図である。図６に示すデバイス制御プログラム５０００は、前述したようにＲＯＭ２０４に格納され、画像形成装置１０１の起動時にＣＰＵ２０２がＲＡＭ２０３上に展開して実行する。デバイス制御プログラム５０００は、データ送受信部５００１、データ解析部５００２、ジョブ制御部５００３、データ管理部５００４、表示部５００５、操作対象判定部５００６、スキャン部５００７、プリント部５００８を含む。
<Software configuration of image forming apparatus>
FIG. 6 is a block diagram showing the software configuration of the
データ送受信部５００１は、ネットワークＩ／Ｆ２０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータを送受信する。本実施形態にでは、画像形成装置１０１の不具合発生時にデバイス情報としての不具合情報と、その復帰操作状況とをクラウドサーバ１０３へ送信する。
The data transmitting/receiving
データ解析部５００２は、データ送受信部５００１が受信したデバイス操作データを、デバイス制御プログラム５０００内の各モジュールが通信するコマンドに変換する。そして、データ解析部５００２は、対応するコマンドをジョブ制御部５００３やデータ管理部５００４、表示部５００５に送信する。
The
ジョブ制御部５００３は、プリントコントローラ２１０およびスキャンコントローラ２１２を介して、プリントエンジン２１１およびスキャナ２１３を制御する。例えば表示部５００５がコピー機能画面を表示中にスタートキーの押下を検知した場合、ジョブ制御部５００３は、操作対象判定部５００６からコピージョブのパラメータとジョブ開始指示を受信する。そして、ジョブ制御部５００３は、そのジョブパラメータに基づいて、スキャナ２１３によって読取られた画像データをプリントエンジン２１１でシートに印刷するよう制御する。なお、スキャンおよびプリント制御の仕組みについては、公知であるため、これ以上の説明は割愛する。
A
データ管理部５００４は、デバイス制御プログラム５０００の実行で生成された作業データや、各デバイス制御に必要な設定パラメータ、ユーザによる各種操作履歴等の様々なデータを、ＲＡＭ２０３およびストレージ２０５上の所定の領域へ保存し、管理する。また、データ管理部５００４は、ゲートウェイ１０５との通信に必要な認証情報、クラウドサーバ１０３と通信するために必要なデバイス情報等も保存、管理する。
The
表示部５００５は、ディスプレイコントローラ２０７を介して、操作パネル２０９の制御を行う。例えば、表示部５００５は、ユーザが操作可能なＵＩ部品（ボタン、プルダウンリスト、チェックボックス等）を操作パネル２０９に表示する。操作パネル２０９に表示された画面は、画面表示制御情報に基づいて更新される。操作対象判定部５００６は、操作Ｉ／Ｆ２０８を介して、操作パネル２０９上のタッチされた座標を取得し、このとき操作パネル２０９に表示されているユーザが操作可能なＵＩ部品を操作対象として判定する。
The
スキャン部５００７は、ジョブ制御部５００３のスキャンジョブパラメータ設定に基づいて、スキャンコントローラ２１２を介してスキャナ２１３でスキャンを実行し、読み取った画像データをデータ管理部５００４に保存する。プリント部５００８は、ジョブ制御部５００３のプリントジョブパラメータ設定に基づいて、プリントコントローラ２１０を介してプリントエンジン２１１で印刷を実行する。
The
＜音声制御装置のソフトウェア構成＞
図７は、音声制御装置１０２のソフトウェア構成を示すブロック図である。図７に示す音声制御プログラム６００は、前述したようにストレージ３０５に格納され、音声制御装置１０２の起動時にＣＰＵ３０２がＲＡＭ３０３上に展開して実行する。音声制御プログラム６００は、データ送受信部６０１、データ管理部６０２、音声制御部６０３、音声取得部６０４、音声再生部６０５、表示部６０６、音声操作開始検知部６０７、発話終了判定部６０８を含む。
<Software configuration of voice control device>
FIG. 7 is a block diagram showing the software configuration of the
データ送受信部６０１は、ネットワークＩ／Ｆ３０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータを送受信する。データ送受信部６０１は、音声取得部６０４で取得されたユーザの発した音声データを、クラウドサーバ１０３に送信する。また、データ送受信部６０１は、ユーザへのメンテナンス情報通知に使用される音声合成データを受信する。なお、音声合成データは、クラウドサーバ１０３上で生成される。データ管理部６０２は、音声制御プログラム６００の実行で生成された作業データ等の様々なデータを、ストレージ３０５上の所定の領域へ保存し、管理する。例えば、データ管理部６０２は、音声再生部６０５で再生する音声の音量設定データや、ゲートウェイ１０５との通信に必要な認証情報を保存、管理する。また、データ管理部６０２は、画像形成装置１０１およびクラウドサーバ１０３と通信するために必要な各デバイス情報等も保存、管理する。
The data transmitting/receiving
音声取得部６０４は、マイクロフォン３０８で取得される音声制御装置１０２の近傍にいるユーザのアナログ音声を、音声データに変換し、一時保存する。ユーザの音声は、例えばＭＰ３等の所定のフォーマットに変換される。そして、このユーザの音声は、クラウドサーバ１０３に送信するために符号化された音声データとして、ＲＡＭ３０３上に一時的に保存される。音声取得部６０４の処理開始およびその終了のタイミングは、音声制御部６０３によって管理される。また、音声データの符号化は、汎用のストリーミング用フォーマットでもよいし、符号化された音声データをデータ送受信部６０１で順次送信するものであってもよい。音声再生部６０５は、データ送受信部６０１が受信した音声合成データ（音声メッセージ）を、オーディオコントローラ３０９を介してスピーカ３１０で再生する。音声再生部６０５の音声再生のタイミングは、音声制御部６０３によって管理される。
The
表示部６０６は、表示コントローラ３１１を介して、ＬＥＤ３１２の表示を行う。例えば、表示部６０６は、音声操作開始検知部６０７で音声操作があることを検知した場合に、ＬＥＤ３１２を点灯制御する。表示部６０６の表示のタイミングは、音声制御部６０３によって管理される。音声操作開始検知部６０７は、ユーザの発したウェイクワード、または、音声制御装置１０２の操作開始キー（不図示）の押下を検知して、この検知結果を操作開始通知として音声制御部６０３に送信する。「ウェイクワード」とは、予め決められている音声ワードである。音声操作開始検知部６０７は、マイクロフォン３０８で取得される音声制御装置１０２の近傍にいるユーザのアナログ音声から、常時ウェイクワードを検知する。ユーザは、ウェイクワードを話し、続いて自身が行いたいことを話すことにより、画像形成装置１０１の操作を行うことができる。
The
発話終了判定部６０８は、音声取得部６０４での処理の終了タイミングを判定する。例えば、発話終了判定部６０８は、ユーザの音声が所定時間（例えば３秒）途切れたときに、ユーザの発話が終了したと判定し、その判定結果を発話終了通知として音声制御部６０３に送信する。なお、発話終了の判定は、発話が無い時間（空白時間）に基づいて行われるのに限定されず、例えば、ユーザの所定の語句に基づいて行われてもよい。
The utterance
音声制御部６０３は、音声制御プログラム６００における制御の中心であり、音声制御プログラム６００内の他の各モジュールが相互に連携して動作するよう制御する。例えば、音声制御部６０３は、音声取得部６０４、音声再生部６０５、表示部６０６の処理開始・終了の制御を行う。また、音声制御部６０３は、音声取得部６０４で音声データが取得された後、音声データをデータ送受信部６０１からクラウドサーバ１０３に送信するよう制御する。また、音声制御部６０３は、クラウドサーバ１０３からの音声合成データをデータ送受信部６０１を介して受信した後、音声再生部６０５で音声合成データを再生するよう制御する。
The
＜クラウドサーバのソフトウェア構成＞
図８は、クラウドサーバ１０３のソフトウェア構成を示すブロック図である。図８に示すシステム制御プログラム７００は、前述したようにストレージ４０５に格納され、クラウドサーバ１０３の起動時にＣＰＵ４０２がＲＡＭ４０３上に展開して実行する。システム制御プログラム７００は、データ送受信部７０１、データ管理部７０２、画像解析部７０３、メンテナンス管理部７０４、ユーザ情報管理部７０８、音声データ変換部７１０を含む。音声データ変換部７１０は、音声認識部７０５、形態素解析部７０６、音声合成部７０７を含む。
<Cloud server software configuration>
FIG. 8 is a block diagram showing the software configuration of the
データ送受信部７０１は、ネットワークＩ／Ｆ４０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによりデータを送受信する。データ送受信部７０１は、音声制御装置１０２からのユーザの音声データ、撮影装置１０６からの撮影画像データ、画像形成装置１０１からのデバイス情報データを受信する。データ管理部７０２は、音声合成部７０７で生成した音声データや、形態素解析部７０６での音声認識処理、画像解析部７０３での画像特徴量抽出処理等を実施するために必要な解析モデル、パラメータ等の様々なデータを保持し、管理する。
The data transmitting and receiving
画像解析部７０３は、撮影装置１０６から受信した撮影画像を画像解析して人物を検出する。また、画像解析部７０３は、ユーザ情報管理部７０８で保持されているユーザ情報を参照して、具体的にどのユーザであるか等のユーザ個人を特定する解析処理も行う。メンテナンス管理部７０４は、画像形成装置１０１から送信されるデバイス情報から不具合情報、使用状況を保持、管理する。また、メンテナンス管理部７０４は、不具合情報に対応するメンテナンス情報を抽出する。
The
前述したように、音声データ変換部７１０は、音声認識部７０５、形態素解析部７０６、音声合成部７０７を含む。音声認識部７０５は、データ送受信部７０１が受信したユーザの音声データを、テキストに変換するための音声認識処理を行う。音声認識処理は、音響モデルを用いてユーザの音声データを音素に変換して、さらに言語モデルを用いて音素を実際のテキストデータに変換する。
As described above, the speech
形態素解析部７０６は、音声認識部７０５で変換された音声認識データを、言語設定に沿った形態素解析する。形態素解析は、その言語の文法や、品詞等の情報を有する辞書から形態素列を導出し、さらに各形態素の品詞等を判別する。音声合成部７０７は、テキストデータに記載された文章情報を、言語設定に基づき音声情報化する。なお、形態素解析部７０６、音声合成部７０７に関しては、公知である。
The
ユーザ情報管理部７０８には、通知システム１００を使用するユーザに係る情報が管理されている。ユーザ情報管理部７０８は、画像形成装置１０１の各種デバイス設定
を変更できる権限レベルをユーザ毎に設定、保持している。また、ユーザ情報管理部７０８は、ユーザ個人を特定するための顔、腕章、ネームプレート等の特定のシンボルパターン情報も管理する。これらの情報は、画像解析部７０３でのユーザ特定処理で参照される。
The user
なお、本実施形態では、ユーザ個人を特定するための特定シンボルパターン情報は、所定のパターンモデルとして事前に登録して静的に保持されているものであるが、これに限定されない。例えば、カメラ制御プログラム８００で撮影された画像に対して、後述するステップＳ２００３（図１５参照）での画像解析処理を行い、その処理で特徴量の変化が検出される。そして、特定シンボルパターン情報として、この特徴量の変化を、機械学習で適宜反映、更新して、ユーザの見た目の変化に動的に対応させることもできる。この場合、画像形成装置１０１へのユーザログイン時に撮影したユーザ画像から特徴量の変化を特定して更新するユーザ特徴更新処理を適宜実施していくことも可能である。
Note that in this embodiment, the specific symbol pattern information for identifying an individual user is registered in advance as a predetermined pattern model and statically held, but the information is not limited thereto. For example, image analysis processing in step S2003 (see FIG. 15), which will be described later, is performed on an image captured by the
＜撮影装置のソフトウェア構成＞
図９は、撮影装置１０６のソフトウェア構成を示すブロック図である。図９に示すカメラ制御プログラム８００は、ＣＰＵ５０２で実行される。このカメラ制御プログラム８００は、データ送受信部８０１、撮影部８０２、監視制御部８０３を含む。データ送受信部８０１は、クラウドサーバ１０３からの監視開始および終了指示を受信する機能と、撮影装置１０６で撮影した撮影画像のデータを変換し、変換後の画像データをクラウドサーバ１０３に送信する機能とを有する。撮影部８０２は、搭載されている撮影レンズを制御して、撮影対象を撮影する機能と、撮像信号を取り込む機能とを有する。監視制御部８０３は、クラウドサーバ１０３から受信する指示データの解釈、監視処理の開始および終了の制御と、撮影データの送信指示制御とを統括的に行う機能を有する。
<Software configuration of imaging device>
FIG. 9 is a block diagram showing the software configuration of the
＜復旧手順管理テーブル＞
図１０は、復旧手順管理テーブルを示す図である。図１０に示す復旧手順管理テーブルは、画像形成装置１０１に不具合が生じた場合、その不具合を解消して復帰させるときに用いられるテーブルであり、クラウドサーバ１０３のメンテナンス管理部７０４で管理されて（記憶されて）いる。本実施形態では、画像形成装置１０１で発生した不具合の種別に応じて、各不具合解消のための復旧手順が、復旧手順管理テーブルで管理されている。
<Recovery procedure management table>
FIG. 10 is a diagram showing a recovery procedure management table. The recovery procedure management table shown in FIG. 10 is a table used when a malfunction occurs in the
図１０に示すように、復旧手順管理テーブルには、一例として、不具合内容、復旧手順、復旧を実施可能なユーザの役割として実施可能ユーザの情報がそれぞれ格納されている。そして、この復旧手順管理テーブルにより、不具合に対して、誰が何を実施すべきなのかを把握可能となる。例えば不具合内容が「ＩＴＢベルト劣化」である場合、復旧手順としての「ＩＴＢベルト交換」を、実施可能ユーザである「サービスマン」が実施すべきであると設定されている。また、不具合内容が「搬送ローラ摩耗」である場合、復旧手順としての「ローラ交換」を、実施可能ユーザである「サービスマン」が実施すべきであると設定されている。不具合内容が「廃トナーフル」である場合、復旧手順としての「廃トナーボックス交換」を、実施可能ユーザである「管理者ユーザ（またはサービスマンでもよい）」が実施すべきであると設定されている。 As shown in FIG. 10, the recovery procedure management table stores, as an example, information about the details of the problem, the recovery procedure, and the role of the user who can perform the recovery. Using this recovery procedure management table, it becomes possible to understand who should perform what in response to a malfunction. For example, if the defect content is "ITB belt deterioration", it is set that "ITB belt replacement" as a recovery procedure should be performed by a "serviceman" who is a user who can perform the procedure. Further, when the problem is "conveyance roller wear", it is set that "roller replacement" as a recovery procedure should be carried out by a "serviceman" who is a user who can perform the procedure. If the problem is "Waste Toner Full", it is set that "Waste Toner Box Replacement" as a recovery procedure should be performed by "Administrator User (or Service Person)" who can perform the procedure. There is.
このように本実施形態では、不具合内容に応じて、復旧作業と、当該復旧作業を実施すべきユーザとを設定している。また、復旧作業を実施すべきユーザに該当しないユーザに対しては、不具合に関連する機能の使用を禁止する通知を行ったり、その機能の縮退（フォールバック）を勧める通知を行ったりする。これにより、更なる不具合（二次的な不具合）に繋がる操作を抑制することができる。 In this manner, in this embodiment, the recovery work and the user who should perform the recovery work are set depending on the content of the problem. Furthermore, for users who are not eligible for the recovery work, a notification is sent prohibiting them from using the function related to the problem, or a notification recommending a fallback of that function. This makes it possible to suppress operations that lead to further problems (secondary problems).
従って、復旧手順管理テーブルは、復旧手順を通知すべきユーザと、通知をしないユーザとを区別するために使用される。なお、「機能の縮退」とは、通常使用する機構等が不具合等によって正常に機能しなくなったときに、機能や性能を制限して、限定的ながら使用可能な状態を維持する応急処置のことである。 Therefore, the recovery procedure management table is used to distinguish between users who should be notified of recovery procedures and users who should not be notified. "Functional degeneration" is an emergency measure that restricts functions and performance to maintain a usable state, albeit in a limited manner, when a normally used mechanism, etc. no longer functions properly due to a malfunction. It is.
＜ユーザ種別メッセージ生成テーブル＞
図１１Ａ、図１１Ｂは、クラウドサーバで管理されるユーザ種別メッセージ生成テーブルを示す図である。図１１Ａ、図１１Ｂに示すユーザ種別メッセージ生成テーブルは、画像形成装置１０１に不具合が生じた場合、その不具合に応じた対処方法（復旧手順）のメッセージを有するテーブルであり、クラウドサーバ１０３のメンテナンス管理部７０４で管理されている。また、この不具合についてのメッセージは、スピーカ３１０を介して、音声で通知される（通知工程）。このように本実施形態では、スピーカ３１０は、メッセージを通知する通知手段に含まれる。なお、メッセージの通知は、音声による通知に限定されず、例えば、画像による通知でもよいし、音声と画像との双方による通知でもよい。
<User type message generation table>
FIGS. 11A and 11B are diagrams showing user type message generation tables managed by the cloud server. The user type message generation table shown in FIGS. 11A and 11B is a table that includes messages for how to deal with the problem (recovery procedure) when a problem occurs in the
通知システム１００では、画像形成装置１０１に不具合が発生した場合に、画像形成装置１０１の周囲に存在するユーザを検知して、当該ユーザに対して、その不具合に応じて対処することを音声メッセージで促す。しかしながら、この対処に慣れていないユーザに通知した場合、その不慣れのために、当該ユーザが適切に対処できないと、二次的な不具合を誘発するおそれがある。
When a problem occurs in the
そのため、ユーザの役割に応じて通知内容を決定する。一般ユーザに対しては、復旧手順の通知をせず、機能制限がされている旨の通知を行うのに留める。一方、復旧手順の実施に慣れている管理者ユーザやサービスマンに対しては、積極的に復旧手順を通知して、早期の復旧を促す。管理者ユーザやサービスマンへの通知は、彼らが画像形成装置１０１に用事があり、意図的に近づいてくる振る舞いを見せる場合に行う。
Therefore, the notification content is determined according to the user's role. General users will not be notified of the recovery procedure, but will only be notified that their functionality has been restricted. On the other hand, administrator users and service personnel who are accustomed to implementing recovery procedures are proactively notified of the recovery procedures to encourage early recovery. The administrator user and the service person are notified when they have something to do with the
また、管理者ユーザやサービスマンへの通知は、彼らがたまたま画像形成装置１０１の近傍を通りすがって、撮影装置１０６の撮影領域に入った場合にも行う。なお、画像形成装置１０１の近傍を通りすがった一般ユーザに対しては、当該ユーザを検知したとしても、画像形成装置１０１の正面に立って操作を開始するといった振る舞いが無い限り、積極的なメッセージ通知を抑制する。
Further, notification to the administrator user and the service person is also performed when they happen to pass near the
図１１Ａに示すように、ユーザ種別メッセージ生成テーブルには、不具合に対する復帰手順に応じて、一般ユーザ、管理者ユーザ、サービスマンのそれぞれの役割に応じて通知すべきメッセージ内容が含まれている。以下、一般ユーザに対する通知を「第１通知」と言い、管理者ユーザに対する通知を「第２通知」と言い、サービスマンに対する通知を「第３通知」と言う。例えば復帰手順が「ＩＴＢベルト交換」である場合には、一般ユーザには、第１通知として「ＰＲＩＮＴ／ＣＯＰＹ機能は使用できません」と通知される。これにより、交換対象となっているＩＴＢベルトがあるにも関わらず、当該部品が使用されるＰＲＩＮＴ／ＣＯＰＹ機能が使用され続けることを抑制することができる。 As shown in FIG. 11A, the user type message generation table includes message contents to be notified according to the respective roles of a general user, an administrator user, and a service person, depending on the recovery procedure for a malfunction. Hereinafter, notifications to general users will be referred to as "first notifications," notifications to administrator users will be referred to as "second notifications," and notifications to service personnel will be referred to as "third notifications." For example, if the recovery procedure is "ITB belt replacement", the general user is first notified that "PRINT/COPY function cannot be used." As a result, even though there is an ITB belt to be replaced, it is possible to prevent the PRINT/COPY function that uses the part from continuing to be used.
また、管理者ユーザが、ＰＲＩＮＴ／ＣＯＰＹ機能を縮退させて、強制的に一般ユーザの使用を制限する権限レベルを有している場合は、機能縮退を促すのが好ましい。この場合、管理者ユーザには、同部品が関与してないＳＥＮＤ機能に縮退するよう、第２通知として「ＳＥＮＤ機能のみに縮退して下さい」と通知される。また、前述したように、「ＩＴＢベルトの交換」においては、サービスマンに対して、復旧作業そのものを実施してもらう必要があるとしている（図１０参照）。この場合、サービスマンには、第３通知として「ＩＴＢベルトを交換してください」と通知される。 Furthermore, if the administrator user has the authority level to forcibly restrict the use of the PRINT/COPY function by degrading it to general users, it is preferable to encourage the degeneration of the function. In this case, the administrator user is notified as a second notification, ``Please degenerate to only the SEND function,'' so that the administrator user can degenerate to a SEND function that does not involve the component. Furthermore, as mentioned above, when it comes to "replacing the ITB belt," it is necessary to have a service person carry out the restoration work itself (see FIG. 10). In this case, the service person is notified as a third notification, ``Please replace the ITB belt.''
復帰手順が「ローラ交換」である場合には、実施可能ユーザはサービスマンであるため、サービスマンには第３通知として「搬送ローラを交換してください」と通知される。また、一般ユーザには第１通知として「ＰＲＩＮＴ／ＣＯＰＹ機能は使用できません」が通知され、管理者ユーザには第２通知として「ＳＥＮＤ機能のみに縮退して下さい」が通知される。 If the recovery procedure is "roller replacement", the user who can carry out the procedure is a serviceman, so the serviceman is notified as a third notification, "Please replace the conveyance roller." In addition, the general user is notified as a first notification that "PRINT/COPY function cannot be used," and the administrator user is notified as a second notification that "Please degenerate to only the SEND function."
復旧手順が「廃トナーボックス交換」である場合には、実行可能ユーザは管理者ユーザであるため、管理者ユーザには第２通知として「廃トナーボックスを交換してください」と通知される。また、一般ユーザには第１通知として「ＰＲＩＮＴ／ＣＯＰＹ機能は使用できません」が通知される。なお、復旧手順が「廃トナーボックス交換」である場合、サービスマンによる作業は発生しないため、サービスマンに対する第３通知は、「不要」として、メッセージとして通知されない。また、「廃トナーボックス交換」をサービスマンも行うことができる場合には、第３通知を第２通知と同様に「廃トナーボックスを交換してください」としてもよい。 If the recovery procedure is "waste toner box replacement", the executable user is the administrator user, so the administrator user is notified as a second notification, "Please replace the waste toner box." Further, the general user is notified as a first notification that "PRINT/COPY function cannot be used." Note that when the recovery procedure is "waste toner box replacement", no work by the service person is required, and therefore, the third notification to the service person is determined to be "unnecessary" and is not notified as a message. Furthermore, if a service person can also perform the "waste toner box replacement", the third notification may be "please replace the waste toner box" in the same way as the second notification.
以上のように、通知システム１００では、一般ユーザ、管理者ユーザ、サービスマンに応じて、メッセージの内容を、第１通知、第２通知、第３通知のうちのいずれかに決定することができる。そして、第１通知は、不具合による画像形成装置１０１の使用停止または使用制限の通知である。第２通知は、不具合下でも一時的に画像形成装置１０１の使用を可能とするための、画像形成装置１０１の機能縮退の作業の通知である。第３通知は、不具合を解消するための復旧作業の通知である。このような通知の決定により、通知システム１００は、メッセージを報知する際、このメッセージと関連性が高い人物に対して、その報知を行うことができ、ヒューマンインタフェースの向上が図られる。なお、本実施形態では、メンテナンス管理部７０４は、第１通知、第２通知、第３通知を予め記憶する記憶手段として機能する。
As described above, in the
図１１Ｂに示すように、ユーザ種別メッセージ生成テーブルには、不具合に対する復帰手順に応じて、その復帰作業に相応しい人物を呼び出すためのメッセージ内容が含まれている。以下、一般ユーザに対して第１通知で通知した場合、管理者ユーザを呼び出すための通知を「第１呼出通知」と言い、管理者ユーザに対して第２通知で通知した場合、サービスマンを呼び出すための通知を「第２呼出通知」と言う。不具合発生時には、常に実施可能ユーザを画像形成装置１０１付近で検出することは実質的に困難である。そのため、本実施形態では、当該実施可能ユーザを検出不可となった場合に、実施可能ユーザへのコンタクトを促す旨のメッセージが通知される。
As shown in FIG. 11B, the user type message generation table includes message contents for calling a person suitable for the restoration work, depending on the restoration procedure for the malfunction. Hereinafter, when the first notification is sent to general users, the notification to call the administrator user is called the "first call notification", and when the second notification is sent to the administrator user, the service person is called the "first call notification". The notification for calling is called a "second call notification." When a problem occurs, it is substantially difficult to always detect a user who can perform the process near the
一般的に、サービスマンに対してコンタクトが可能なユーザは、管理者ユーザであり、一般ユーザは、その連絡手段を知らないことが多い。そのため、本実施形態では、サービスマンへコンタクトが必要となる場合に、一般ユーザへは管理者ユーザへコンタクトを取ることを促す。そして、管理者ユーザは、一般ユーザから連絡を受けて、サービスマンへ対応依頼の連絡を出す。 Generally, a user who can contact a service person is an administrator user, and general users often do not know the means of contact. Therefore, in this embodiment, when it is necessary to contact a service person, general users are encouraged to contact the administrator user. Then, the administrator user is contacted by the general user and sends a response request to the service person.
図１１Ｂに示すように、復旧手順が「ＩＴＢベルト交換」であり、一般ユーザが検出された場合には、一般ユーザには、第１呼出通知として「管理者ユーザを呼んでください」と通知される。これにより、一般ユーザは、管理者ユーザを呼んで、「ＩＴＢベルト交換」の旨を伝えることができる。そして、管理者ユーザは、サービスマンに「ＩＴＢベルト交換」を依頼することができ、よって、画像形成装置１０１の迅速な復帰が可能となる。
As shown in Figure 11B, if the recovery procedure is "ITB belt replacement" and a general user is detected, the general user is notified as the first call notification, "Please call the administrator user." Ru. Thereby, the general user can call the administrator user and inform him that "ITB belt replacement" is required. Then, the administrator user can request the service person to "replace the ITB belt", thereby making it possible to quickly restore the
また、復旧手順が「ＩＴＢベルト交換」であり、管理者ユーザが検出された場合には、管理者ユーザには、第２呼出通知として「サービスマンを呼んでください」と通知される。これにより、管理者ユーザは、サービスマンに「ＩＴＢベルト交換」を依頼して、画像形成装置１０１の迅速な復帰が可能となる。復旧手順が「ローラ交換」の場合も、「ＩＴＢベルト交換」と同様の第１呼出通知、第２呼出通知が行われる。
Further, if the recovery procedure is "ITB belt replacement" and an administrator user is detected, the administrator user is notified as a second call notification, "Please call a service person." This allows the administrator user to quickly restore the
また、復旧手順が「廃トナーボックス交換」であり、一般ユーザが検出された場合には、一般ユーザには、第１呼出通知として「管理者ユーザを呼んでください」と通知される。これにより、一般ユーザは、管理者ユーザを呼んで、「廃トナーボックス交換」を依頼することができ、よって、画像形成装置１０１の迅速な復帰が可能となる。なお、復旧手順が「廃トナーボックス交換」であり、管理者ユーザが検出された場合には、第２呼出通知、すなわち、サービスマンへの連絡を促すメッセージを発行しない。これは、前述したように、「廃トナーボックス交換」については、管理者ユーザが対応するからである。
Further, if the recovery procedure is "waste toner box replacement" and a general user is detected, the general user is notified as a first call notification, "Please call the administrator user." As a result, the general user can call the administrator user and request "waste toner box replacement", thereby making it possible to quickly restore the
以上のように、通知システム１００では、一般ユーザに対して第１通知で通知した場合、管理者ユーザを呼び出すための第１呼出通知が可能であり、管理者ユーザに対して第２通知で通知した場合、サービスマンを呼び出すための第２呼出通知が可能である。これにより、画像形成装置１０１を迅速に復帰させて、使用することができる。
As described above, in the
なお、本実施形態では、メンテナンス管理部７０４は、第１呼出通知、第２呼出通知を予め記憶する記憶手段として機能する。また、第１通知が発せられた場合、第１通知と第１呼出通知とが繰り返され、第２通知が発せられた場合、第２通知と第２呼出通知とが繰り返される。これにより、復帰作業をさらに促すことができる。また、通知システム１００では、画像形成装置１０１の不具合の内容に応じて、第１呼出通知や第２呼出通知を発したり、停止したりすることもできる。例えば、画像形成装置１０１の不具合が紙詰まり（ジャム）の場合には、一般ユーザでも対処が可能であるため、第１呼出通知や第２呼出通知を停止することができる。
Note that in this embodiment, the
＜周辺監視処理のシーケンス＞
図１２は、カメラ制御プログラム８００とシステム制御プログラム７００との間で実施される周辺監視制御処理を示すシーケンス図である。本実施形態では、システム制御プログラム７００の指示に従い、撮影装置１０６が画像形成装置１０１の周辺に存在するユーザを監視する。撮影装置１０６は、画像形成装置１０１の周辺（監視対象領域）を撮影し、常時撮影画像データをシステム制御プログラム７００へ送信する。
<Peripheral monitoring processing sequence>
FIG. 12 is a sequence diagram showing the surrounding monitoring control process performed between the
システム制御プログラム７００（画像解析部７０３）は、撮影装置１０６から受信した撮影画像データを画像解析する。また、システム制御プログラム７００は、この解析結果と、ユーザ情報管理部７０８で保持するユーザ情報とを照らし合わせて、ユーザ個人を特定する。特定中のユーザ情報は、撮影装置１０６の撮影範囲内に存在し続ける間、特定済みユーザとして保持され続ける。このように、システム制御プログラム７００は、撮影装置１０６で撮像された画像に基づいて、画像中の人物の属性に関する属性情報(役割)を取得する取得手段として機能する（取得工程）。
The system control program 700 (image analysis unit 703) performs image analysis on photographed image data received from the photographing
この属性情報は、撮影装置１０６で撮影された監視対象領域内のユーザが、一般ユーザ、管理者ユーザ、サービスマンのうちのいずれかであるかの情報となる。そして、前述したように、通知システム１００では、属性情報(役割)、すなわち、一般ユーザ、管理者ユーザ、サービスマンに応じて、メッセージの内容を、第１通知、第２通知、第３通知のうちのいずれかに決定することができる。このように、システム制御プログラム７００は、属性情報(役割)に応じてメッセージの内容を決定する決定手段として機能する（決定工程）。
This attribute information is information indicating whether the user in the monitoring target area photographed by the photographing
図１２に示すように、ステップＳ１０１では、システム制御プログラム７００は、カメラ制御プログラム８００に対して、画像形成装置１０１の周囲の監視を開始させる指示信号を送信する。ステップＳ１０２では、カメラ制御プログラム８００は、撮影装置１０６を制御して画像形成装置１０１の周囲の様子を撮影させ、所定の周期で撮影画像データをシステム制御プログラム７００に送信する。
As shown in FIG. 12, in step S101, the
ステップＳ１０３では、システム制御プログラム７００は、ステップＳ１０２で受信した撮影画像データから画像を形成して、当該画像に対して、画像解析処理を行う。この画像解析処理は、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ－Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも１つの特徴量抽出アルゴリズムを用いた処理である。これにより、画像中のユーザの特徴量を正確かつ迅速に抽出することができる。
In step S103, the
ステップＳ１０４では、システム制御プログラム７００は、ステップＳ１０３で抽出した特徴量から人物検出モデルに該当するパターンを抽出して、撮影画像に特定のユーザと思われる特徴が存在するか人物検出解析する。すなわち、ステップＳ１０４では、ステップＳ１０３での抽出結果に基づいて、属性情報が得られる。これにより、撮影装置１０６で撮影された監視対象領域内のユーザが、一般ユーザ、管理者ユーザ、サービスマンのうちのいずれかであるかを判定することができる。
In step S104, the
ステップＳ１０５では、システム制御プログラム７００は、ステップＳ１０４での人物検出解析結果と、ユーザ情報管理部７０８に保持されているユーザ情報とを照らし合わせて、ユーザ個人を特定する。ここで特定されたユーザの情報は、撮影装置１０６の撮影範囲内に存在し続ける間、特定済みユーザとして保持され続ける。
In step S105, the
＜デバイス異常検知時から音声通知までのシーケンス＞
図１３は、デバイス制御プログラム５０００、システム制御プログラム７００、音声制御プログラム６００の間で実施されるデバイス異常検知時から音声通知までの処理を示すシーケンス図である。デバイス制御プログラム５０００が自身の不具合により異常を検知するした場合、その不具合情報とともにデバイス情報をシステム制御プログラム７００へ送信する。システム制御プログラム７００は、デバイス制御プログラム５０００から受信したデバイス情報に基づいて、画像形成装置１０１の不具合種別を判定する。
<Sequence from device abnormality detection to audio notification>
FIG. 13 is a sequence diagram showing the processing performed between the
その後、システム制御プログラム７００は、メンテナンス管理部７０４を参照して、不具合種別に対応する復旧手順と実施可能ユーザとを抽出する。また、システム制御プログラム７００は、周辺監視処理（図１２）で検出中のユーザを参照し、画像形成装置１０１の周辺に所定のユーザが存在するか否かを判定する。
Thereafter, the
システム制御プログラム７００は、ユーザが存在すると判定した場合は、そのユーザに対する通知メッセージを生成して音声合成する。音声合成された音声データは、音声制御プログラム６００へ送信される。音声制御プログラム６００は、システム制御プログラム７００から受信した音声データを再生する。これにより、ユーザに音声データ、すなわち、メッセージが通知される。
If the
音声制御プログラム６００は、音声データ再生後、ユーザからの応答を所定時間待つ。音声制御プログラム６００は、ユーザからの応答があった場合は、その応答を音声データとして録音し、システム制御プログラム７００へ送信する。システム制御プログラム７００は、音声認識部７０５、形態素解析部７０６により、ユーザからの応答を解析する。
After reproducing the audio data, the
その後、デバイス制御プログラム５０００は、画像形成装置１０１の不具合に対する復旧操作がなされた場合に、システム制御プログラム７００に復帰操作状況情報を送信する。システム制御プログラム７００は、ユーザからの応答の解析結果や復帰操作状況情報を参照し、復旧操作がなされたか否かを判断する。システム制御プログラム７００は、復旧操作がなされていないと判断した場合には、再度、検出中ユーザ情報の参照、メッセージ生成、音声合成、音声制御プログラム６００への音声データ送信、通知指示を実施する。
Thereafter, the
図１３に示すように、ステップＳ２０１では、デバイス制御プログラム５０００は、自身の不具合により、状態異常を検知する。ステップＳ２０２では、デバイス制御プログラム５０００は、不具合情報を含む自身のデバイス情報をシステム制御プログラム７００に送信する。
As shown in FIG. 13, in step S201, the
ステップＳ２０３では、システム制御プログラム７００は、デバイス制御プログラム５０００から受信したデバイス情報と、メンテナンス管理部７０４で管理されているメンテナンス情報とを照らし合わせて、画像形成装置１０１の不具合の原因を判定する。また、システム制御プログラム７００は、復旧手順管理テーブル（図１０参照）を参照して、画像形成装置１０１の不具合に対する復旧手順と実施可能ユーザとを抽出する。ステップＳ２０４では、システム制御プログラム７００は、カメラ制御プログラム８００が撮影装置１０６を使って監視している画像形成装置１０１付近に検知されているユーザに関するユーザ情報を参照する。
In step S203, the
ステップＳ２０５では、システム制御プログラム７００は、検知中のユーザに対して、画像形成装置１０１で発生している不具合の復旧手順情報として適したメッセージ内容を、ユーザ種別メッセージ生成テーブル（図１１Ａ参照）から生成する。ステップＳ２０６では、システム制御プログラム７００は、ステップＳ２０５で生成したメッセージ内容を所定のデータ形式の音声データへ変換する。ステップＳ２０７では、システム制御プログラム７００は、音声制御プログラム６００に対して、ステップＳ２０６で生成した音声データを送信する。
In step S205, the
ステップＳ２０８では、音声制御プログラム６００は、システム制御プログラム７００から受信した音声データをスピーカ３１０から再生する。これにより、検知中ユーザに対して、そのメッセージ内容が通知される。ステップＳ２０９では、音声制御プログラム６００は、メッセージ内容が通知された後のユーザ反応を受け付ける制御を実施する。音声制御プログラム６００は、所定の時間、通知メッセージに対するユーザの応答を待ち受け、ユーザからの応答があった場合には、その応答を音声データとして録音して所定の音声データ形式に変換する。一方、音声制御プログラム６００は、所定の時間内にユーザからの応答がなかった場合には、「応答なし」を意味する空のデータを生成する。ステップＳ２１０では、音声制御プログラム６００は、システム制御プログラム７００に対して反応結果を示すユーザからの応答として生成した音声データ、または「応答なし」を意味する空のデータをシステム制御プログラム７００に送信する。
In step S208, the
また、ステップＳ２１０での音声データの送信後、ステップＳ２１１では、デバイス制御プログラム５０００は、ステップＳ２０１で検知された自身の不具合を解消するための復帰操作を検出した場合に、その旨をシステム制御プログラム７００に通知する。システム制御プログラム７００は、この通知の有無によって、ステップＳ２０４から再度本シーケンスを繰り返すかを切り替える。デバイス制御プログラム５０００は、ステップＳ２１０の応答受信から所定期間内に復帰操作の通知がない場合は、再度ステップＳ２０４からシーケンスをやり直す。そして、デバイス制御プログラム５０００は、監視対象領域内で検知中のユーザに対する音声通知を実施する。
In addition, after transmitting the audio data in step S210, in step S211, if the
＜周辺監視処理のフローチャート＞
図１４は、カメラ制御プログラム８００による周辺監視処理を示すフローチャートである。カメラ制御プログラム８００は、システム制御プログラム７００の監視指示に従い、画像形成装置１０１の周辺である監視対象領域を撮影し、当該撮影した画像をシステム制御プログラム７００へ所定の周期で送信する。監視対象領域としては、特に限定されず、例えば、画像形成装置１０１を中心とする半径２～３ｍｍまでの領域とすることができる。また、例えば、画像形成装置１０１が小房に配置されている場合には、小房内全体を監視対象領域とすることができる。また、カメラ制御プログラム８００による撮影処理は、システム制御プログラム７００からの停止指示がない限りは常時実施されるが、停止指示を受信した場合には、直ちに撮影を停止し、処理を終了する。
<Flowchart of surrounding monitoring process>
FIG. 14 is a flowchart showing the surrounding monitoring process by the
図１４に示すように、ステップＳ１００１では、ＣＰＵ５０２は、システム制御プログラム７００から監視対象領域の監視開始指示を受信する。ステップＳ１００２では、ＣＰＵ５０２は、監視対象領域の撮影を開始して、その撮影画像をシステム制御プログラム７００へ転送する。ステップＳ１００３では、ＣＰＵ５０２は、システム制御プログラム７００からの終了指示を受信したか判定する。ＣＰＵ５０２が終了指示を受信した場合には、処理は、ステップＳ１００４に進む。一方、ＣＰＵ５０２が終了指示を受信していない場合には、処理はステップＳ１００１に戻り、以降のステップを順次実行する。ステップＳ１００４では、ＣＰＵ５０２は、監視対象領域の撮影を停止し、処理を終了する。
As shown in FIG. 14, in step S1001, the
＜検知ユーザ特定処理のフローチャート＞
図１５は、システム制御プログラム７００による検知ユーザ特定処理を示すフローチャートである。システム制御プログラム７００は、カメラ制御プログラム８００から受信した撮影画像を解析して、人物検知、検知ユーザの特定、特定済みユーザ情報の登録を実施する。システム制御プログラム７００は、通知システム１００がシステム管理者ユーザからの停止指示がない限り検知ユーザ特定処理を繰り返す。また、人物検知されていない場合は、一旦登録した検知中ユーザ情報はクリアされる。システム制御プログラム７００は、システム管理者ユーザからの停止指示がなされた場合は、直ちに通知システム１００を停止させる。
<Flowchart of detected user identification process>
FIG. 15 is a flowchart showing detected user identification processing by the
図１５に示すように、ステップＳ２００１では、ＣＰＵ４０２は、カメラ制御プログラム８００に対して、監視対象領域の監視開始指示を送信する。ステップＳ２００２では、ＣＰＵ４０２は、カメラ制御プログラム８００から撮影画像データを受信する。ステップＳ２００３では、ＣＰＵ４０２は、ステップＳ２００２で受信した撮影画像データに対する画像解析処理を実施する。この画像解析処理には、前述したＯＲＢ、ＳＵＲＦ、ＳＩＦＴのうちの少なくとも１つが用いられる。これにより、画像中のユーザの特徴量を抽出することができる。
As shown in FIG. 15, in step S2001, the
ステップＳ２００４では、ＣＰＵ４０２は、ステップＳ２００３で抽出した特徴量から人物の検知に合致する特徴量パターンが存在するか否かを判断する。ステップＳ２００４での判断の結果、特徴量パターンが存在する、すなわち、人物が検出された場合には、処理はステップＳ２００５に進む。一方、ステップＳ２００４での判断の結果、特徴量パターンが存在しない、すなわち、人物が検出されていない場合には、処理はステップＳ２００８に進む。
In step S2004, the
ステップＳ２００５では、ＣＰＵ４０２は、ユーザ情報管理部７０８で管理しているユーザ情報を参照する。ステップＳ２００６では、ＣＰＵ４０２は、ステップＳ２００４で検出した人物の特徴量に対して、ステップＳ２００５で参照したユーザ情報を照らし合わせて、特徴を解析し、ステップＳ２００４で検知している人物のユーザ個人を特定する。なお、ユーザ個人が特定不可の場合は、「特定ユーザ無し」として処理を進める。ステップＳ２００７では、ＣＰＵ４０２は、ステップＳ２００６で特定したユーザ情報を「特定済み検知中ユーザ」としてユーザ情報を登録、保持する。このユーザ情報は、監視対象領域に当該ユーザを人物検知している間、そのまま保持され続ける。
In step S2005, the
ステップＳ２００７を実行後のステップＳ２００８では、ＣＰＵ４０２は、「監視対象領域に人物検知されているユーザは存在しない」として、ステップＳ２００７で登録した「特定済み検知中ユーザ」のユーザ情報を消去する。なお、本ステップ実施開始時に「特定済み検知中ユーザ」が存在しない場合は、特に何も実行せずに処理を進める。
In step S2008 after executing step S2007, the
ステップＳ２００９では、ＣＰＵ４０２は、本システム管理者ユーザが通知システム１００の停止指示をしたか否かを判断する。ステップＳ２００９での判断の結果、ＣＰＵ４０２が、本システム管理者ユーザからの停止指示有りと判断した場合には、処理はステップＳ２０１０に進む。一方、ステップＳ２００９での判断の結果、ＣＰＵ４０２が、本システム管理者ユーザからの停止指示無しと判断した場合には、処理はステップＳ２００２へ戻り、以降のステップを順次実行する。
In step S2009, the
＜デバイス異常情報通知処理のフローチャート＞
図１６は、デバイス制御プログラム５０００によるデバイス異常情報通知処理を示すフローチャートである。デバイス制御プログラム５０００は、画像形成装置１０１の起動の後に、常時自身の状態を自己監視する。以降、デバイス制御プログラム５０００は、ユーザからの停止指示がない限り、状態監視を継続するが、不具合に起因する何かしらの状態異常を検知した場合には、その不具合情報とともに自身のデバイス情報をシステム制御プログラム７００へ送信する。
<Flowchart of device abnormality information notification processing>
FIG. 16 is a flowchart showing device abnormality information notification processing by the
また、デバイス制御プログラム５０００は、不具合情報およびデバイス情報送信後も、ユーザからの停止指示がない限り、状態監視を継続するが、ユーザからの停止指示があった場合には、シャットダウン処理を実施し、直ちに処理を終了する。なお、図示は省略するが、通知システム１００では、状態異常検知後、復旧手順の実行可能ユーザからの復旧操作を受け付けると、ステップＳ２１１のように、操作情報をシステム制御プログラム７００に対して送信する。そして、以降の復旧手順に従った復旧制御は、所定の復旧フローに従い実施される。
Furthermore, even after sending the defect information and device information, the
図１６に示すように、ステップＳ３００１では、ＣＰＵ２０２は、画像形成装置１０１を構成する各デバイス（例えばＩＴＢベルトやローラ等を有する搬送機構等）を起動させる。ステップＳ３００２では、ＣＰＵ２０２は、画像形成装置１０１の各デバイスの現在の状態を参照する。ステップＳ３００３では、ＣＰＵ２０２は、ステップＳ３００２で参照したデバイスに、不具合に起因する状態異常が発生しているか否かを判断する。ステップＳ３００３での判断の結果、ＣＰＵ２０２が、状態異常の発生有りと判断した場合には、処理はステップＳ３００４に進む。一方、ステップＳ３００３での判断の結果、ＣＰＵ２０２が、状態異常の発生無しと判断した場合には、処理はステップＳ３００５に進む。
As shown in FIG. 16, in step S3001, the
ステップＳ３００４では、ＣＰＵ２０２は、不具合に起因する状態異常の情報とともに、デバイス情報をシステム制御プログラム７００へ転送する。また、ステップＳ３００５では、ＣＰＵ２０２は、ユーザによる電源ＯＦＦ操作等でデバイス停止指示がなされたか否かを判断する。ステップＳ３００５での判断の結果、ＣＰＵ２０２が、デバイス停止指示有りと判断した場合には、処理を終了する。一方、ステップＳ３００５での判断の結果、ＣＰＵ２０２が、デバイス停止指示無しと判断した場合には、処理はステップＳ３００２に戻り、以降のステップを順次実行する。
In step S3004, the
＜検知ユーザに対するメッセージ生成および音声合成転送処理のフローチャート＞
図１７は、システム制御プログラム７００による検知ユーザに対するメッセージ生成および音声合成転送処理を示すフローチャートである。システム制御プログラム７００は、デバイス制御プログラム５０００から不具合情報を含むデバイス情報を受信した場合に、メンテナンス管理部７０４を参照して、当該不具合に対応する復旧手順を抽出する。その後、システム制御プログラム７００は、その復旧手順の実施可能ユーザを抽出する。
<Flowchart of message generation and voice synthesis transfer processing for detected users>
FIG. 17 is a flowchart showing message generation and voice synthesis transfer processing for the detected user by the
また、システム制御プログラム７００は、カメラ制御プログラム８００の周辺監視処理で検出中のユーザ情報を参照して、監視対象領域に所定のユーザが存在する場合は、そのユーザに対応する通知メッセージを生成して音声合成する。音声合成された音声データは、音声制御プログラム６００へ送信される。なお、本処理は、デバイス制御プログラム５０００からデバイス情報が送信された場合に開始される。
Further, the
図１７に示すように、ステップＳ４００１では、ＣＰＵ４０２は、デバイス制御プログラム５０００からデバイス情報を受信する。ステップＳ４００２では、ＣＰＵ４０２は、ステップＳ４００１で受信したデバイス情報からデバイス状態を判定し、画像形成装置１０１で発生している不具合の原因を特定する。ステップＳ４００３では、ＣＰＵ４０２は、カメラ制御プログラム８００の監視対象領域で検知されている「特定済み検知中ユーザ」のユーザ情報を参照する。
As shown in FIG. 17, in step S4001, the
ステップＳ４００４では、ＣＰＵ４０２は、ステップＳ４００３で参照した「特定済み検知中ユーザ」が監視対象領域内に存在するか否かを判断する。ステップＳ４００４での判断の結果、ＣＰＵ４０２が、「特定済み検知中ユーザ」が監視対象領域内に存在すると判断した場合には、処理はステップＳ４００５に進む。一方、ステップＳ４００４での判断の結果、ＣＰＵ４０２が、「特定済み検知中ユーザ」が監視対象領域内に存在しないと判断した場合には、処理は終了する。
In step S4004, the
ステップＳ４００５では、ＣＰＵ４０２は、「特定済み検知中ユーザ」への不具合情報に係るメッセージ生成処理を実施する。ステップＳ４００５で生成されるメッセージは、「特定済み検知中ユーザ」のユーザ種別に応じてその内容が決定されるが、これについては、図１８を参照して後述する。ステップＳ４００６では、ＣＰＵ４０２は、ステップＳ４００５で生成したメッセージ内容に対応する音声データを、所定の音声データ形式で合成して生成する。ステップＳ４００７では、ＣＰＵ４０２は、ステップＳ４００６で生成した音声データを音声制御プログラム６００へ転送して、処理は終了する。
In step S4005, the
＜メッセージ生成処理の詳細フローチャート＞
図１８は、システム制御プログラム７００によるメッセージ生成処理を示すフローチャートである。図１８は、図１７のステップＳ４００５のサブルーチンのフローチャートである。前述したように、通知システム１００では、画像形成装置１０１で発生した不具合に対し、一般ユーザ、管理者ユーザ、サービスマンを区別して、これらの各ユーザに対応するメッセージを生成して通知する。システム制御プログラム７００は、デバイス制御プログラム５０００から受信した不具合情報から復旧手順を抽出して、検知中のユーザが画像形成装置１０１付近に存在すると判断した後に本処理を開始する。
<Detailed flowchart of message generation process>
FIG. 18 is a flowchart showing message generation processing by the
システム制御プログラム７００は、不具合情報、検知中のユーザ情報、ユーザ種別メッセージ生成テーブル（図１１Ａ、図１１Ｂ参照）を照らし合わせる。これにより、システム制御プログラム７００は、検知中のユーザ種別に対応する通知メッセージを、ユーザ種別メッセージ生成テーブル（図１１Ａ参照）のテーブルから選択して生成することができる。なお、メッセージ通知が初回ではなく、既に所定の検知中ユーザに通知済みである場合は、メッセージ生成処理（ステップＳ５００２）以下の処理がスキップされる、すなわち、メッセージ生成の実施が停止される。
The
また、前回のメッセージ通知後に一定時間経過していない場合も、メッセージ生成処理（ステップＳ５００２）以下の処理がスキップされる。この場合、ステップＳ４００６（図１７参照）の音声合成処理で音声データは生成されず、ステップＳ４００７もスキップされる。その結果、音声制御プログラム６００からの音声通知は実施が抑制される。これにより、既に所定のユーザに対してメッセージを通知済みであるにも関わらず、監視対象領域でユーザが検出される度に都度過剰に通知されることを防ぐことができる。また、復旧作業が所定時間内に実施されることの様子見をすることができる。
Also, if a certain period of time has not elapsed since the previous message notification, the message generation process (step S5002) and subsequent processes are skipped. In this case, no voice data is generated in the voice synthesis process of step S4006 (see FIG. 17), and step S4007 is also skipped. As a result, the voice notification from the
図１８に示すように、ステップＳ５００１では、ＣＰＵ４０２は、検出対象としての不具合に係るメッセージ通知を未だ所定のユーザに対して一度も通知したことが無いか否かを判断する。また、ステップＳ５００１では、ＣＰＵ４０２は、この判断に加え、メッセージを通知済みであっても所定の時間が経過しているのに復帰操作が画像形成装置１０１へ実施されていないか否かも判断する。ステップＳ５００１での判断の結果、ＣＰＵ４０２が、今回が初回のメッセージ通知であり、一度もメッセージを通知したことが無い、または、一定時間経過しても復帰操作がなされていないと判断した場合には、処理はステップＳ５００２に進む。一方、ステップＳ５００１での判断の結果、上記以外の場合には、処理は終了する。
As shown in FIG. 18, in step S5001, the
ステップＳ５００２では、ＣＰＵ４０２は、ユーザ種別メッセージ生成テーブル（図１１Ａ参照）を参照して、不具合に対する「特定済み検知中ユーザ」のユーザ種別に対応するメッセージを生成する。ステップＳ５００３では、ＣＰＵ４０２は、ユーザ種別メッセージ生成テーブル（図１１Ｂ参照）を参照して、「特定済み検知中ユーザ」のユーザ種別に対し、別ユーザによる追加復旧作業が必要であるか否かを判断する。ステップＳ５００３での判断の結果、ＣＰＵ４０２が、別ユーザによる追加復旧作業が必要である、すなわち、別ユーザへのコンタクトが要求されていると判断した場合には、処理は・BR>XテップＳ５００４に進む。ステップＳ５００３での判断の結果、ＣＰＵ４０２が、別ユーザによる追加復旧作業が必要ではないと判断した場合には、処理は終了する。ステップＳ５００４では、ＣＰＵ４０２は、ユーザ種別メッセージ生成テーブル（図１１Ｂ参照）上の別ユーザへのコンタクトを促すメッセージを付与して、処理は終了する。
In step S5002, the
＜音声通知処理のフローチャート＞
図１９は、音声制御プログラム６００による音声通知処理を示すフローチャートである。音声制御プログラム６００は、システム制御プログラム７００から音声データを受信した場合に、スピーカ３１０から音声データを再生する。音声データの再生後は、一定期間、ユーザからの応答を待つ期間が設けられる。また、音声制御プログラム６００は、ユーザからの応答の受信した場合、または、一定期間応答なし状態が経過した場合には、応答データをデータ変換して、システム制御プログラム７００へ送信する。なお、応答がなかった場合は、空のデータがシステム制御プログラム７００へ送信される。この場合は、「反応なし」と判断される。
<Flowchart of voice notification processing>
FIG. 19 is a flowchart showing voice notification processing by the
図１９に示すように、ステップＳ６００１では、ＣＰＵ３０２は、システム制御プログラム７００から音声データを受信する。ステップＳ６００２では、ＣＰＵ３０２は、ステップＳ６００１で受信した音声データをスピーカ３１０から再生する。これにより、対象ユーザへメッセージ内容が通知される。ステップＳ６００３では、ＣＰＵ３０２は、ステップＳ６００１で通知したメッセージに対するユーザからの応答を受け付ける。この受け付けとしては、所定の期間、ユーザからの応答を待ち、マイクロフォン３０８を介してユーザからの音声を録音する。ステップＳ６００４では、ＣＰＵ３０２は、ユーザからの応答として反応があったか、または、一定時間が経過したか否かを判断する。
As shown in FIG. 19, in step S6001, the
ステップＳ６００４での判断の結果、ＣＰＵ３０２が、反応が有り、または、一定時間が経過したと判断した場合には、処理はステップＳ６００５に進む。一方、ステップＳ６００４での判断の結果、上記以外の場合には、処理はステップＳ６００３に戻り、それ以降のステップを順次実行する。ステップＳ６００５では、ＣＰＵ３０２は、ステップＳ６００３で録音された音声データを所定の音声データ形式に変換して、システム制御プログラム７００へ転送する。なお、ステップＳ６００４での反応の入力がなく、一定時間経過してタイムアウトとなっていた場合には、「反応なし」の情報として、空の音声データを生成して、送信する。
As a result of the determination in step S6004, if the
＜画像形成装置と撮影装置の配置と人物判定を示す俯瞰図＞
図２０Ａは、画像形成装置１０１、撮影装置１０６および監視対象となるユーザとの配置例を示す俯瞰図である。図２０Ｂは、顔認証を説明するための図である。図２０Ｃ～図２０Ｆは、それぞれ、画像形成装置１０１、撮影装置１０６および監視対象となるユーザとの配置例を示す俯瞰図である。本実施形態の通知システム１００では、画像形成装置１０１の不具合発生時に、監視対象領域内のユーザを検出して、ユーザ種別（役割）に応じたメッセージを通知する。一般ユーザに対しては、不具合解消のための手順は通知されない。
<Overhead view showing arrangement of image forming device and photographing device and person determination>
FIG. 20A is an overhead view showing an example of the arrangement of the
しかしながら、通知システム１００では、一般ユーザが画像形成装置１０１に対して何か操作を行おうとした際に、不具合が発生しているために機能が制限されている旨が通知されて、当該操作を規制するのが好ましい。そのため、図２０Ａ中のユーザＡのように、画像形成装置１０１の設置位置に対して、直線的に移動して来ていない通りすがりのユーザに対しては、たとえユーザが検出されたとしても、積極的にメッセージを通知しないのが好ましい。一方、図２０Ａ中のユーザＢのように、画像形成装置１０１の設置位置に対して直線的に移動して来ているユーザに対しては、積極的にメッセージ通知を出して、余計な操作を抑制するのが好ましい。
However, in the
ユーザが画像形成装置１０１に対して直線的に移動して来ているか否かについては、撮影装置１０６の設置位置に応じて、例えば次の態様が挙げられるが、これに限定されない。図２０Ａに示すように、カメラＡが画像形成装置１０１とほぼ同じ位置および向きに設置されている場合、カメラＡの正面向きと向かい合うように接近してくるユーザは、画像形成装置１０１に直線的に移動してきていると判断することができる。この判断は、顔認証により可能となる。図２０Ｂに示すように、顔認証では、当該顔認証のための特徴点として抽出される目、鼻、口の位置関係から、ユーザがカメラＡに対して、正面を向いているのか、左向きなのか、右向きなのかが判断される。ユーザがカメラＡに対して正面を向いて、一定期間近づいて来ていると判断された場合には、対象ユーザが画像形成装置１０１へ直線的に移動して来ていると決定されて、メッセージを通知する。
Regarding whether or not the user is moving linearly with respect to the
一方、カメラＢが画像形成装置１０１とは別の位置に設置されている場合は、画像形成装置１０１の設置位置と、ユーザの存在位置と、ユーザの移動向きとの関係で、ユーザが直線的に移動しているか否かを判断する。ユーザＡは、自身の存在位置と画像形成装置１０１の設置位置とを結ぶ直線上とは違う向きに移動しているため、直線的に移動しているとは判断されない。ユーザＢは、自身の存在位置と画像形成装置１０１の設置位置とを結ぶ直線上と同じ向きに移動しているため、直線的に移動していると判断される。
On the other hand, if camera B is installed at a different position from the
また、通知システム１００は、ユーザの移動方向に応じて、メッセージを通知するか否かを判断することもできる。すなわち、通知システム１００では、ユーザが画像形成装置１０１へ接近してきているか、または、近くを通りすがるのかも検出して、メッセージ通知要否を判断することもできる。この判断は、例えば、クラウドサーバ１０３のコントローラ部４００（ＣＰＵ４０２）が判断手段として行う。監視対象領域内で検出されたユーザが管理者ユーザかまたはサービスマンかである場合、当該ユーザが通りすがりである状態であっても、積極的にメッセージを通知して、不具合に対する機能縮退、部品交換を促す。
Furthermore, the
図２０Ｃは、管理者ユーザが通りすがりのユーザとして検出された場合に、縮退設定（縮退操作）を促すように、メッセージを積極的に通知している状況を示している。図２０Ｄは、サービスマンが通りすがりのユーザとして検出された場合に、部品交換を促すように、メッセージを積極的に通知している状況を示している。 FIG. 20C shows a situation where, when the administrator user is detected as a passing user, a message is actively sent to prompt the administrator to perform degeneration settings (degeneration operation). FIG. 20D shows a situation in which, when a serviceman is detected as a passing user, a message is actively sent to prompt the user to replace the part.
一方、通りすがりの一般ユーザに対しては、無駄に部品交換、機能縮退の通知を実施したとしても、余計な操作による不具合を引き起こすおそれがあるため、積極的なメッセージ通知は抑制される。このような一般ユーザに対しては、画像形成装置１０１を使用することを目的として接近して来た場合にのみ、制限されている機能の情報をメッセージで通知するのが好ましい。図２０Ｅは、一般ユーザが画像形成装置１０１の近くを通りすがった場合に、メッセージ通知をせず、一般ユーザが画像形成装置１０１に接近して来た場合に、制限されている機能をメッセージで通知している状況を示している。
On the other hand, proactive message notifications are suppressed for general users who are passing by, since even if they are wasted in notifying them of parts replacement or functional deterioration, there is a risk of causing problems due to unnecessary operations. For such general users, it is preferable to notify information about restricted functions by message only when the user approaches the
さらに、ユーザ種別として、社内のユーザではなく、個別識別不可なゲストユーザは、画像形成装置１０１を操作する権限自体が無い。この場合、ゲストユーザに対しては、通りすがり時だけでなく、画像形成装置１０１へ接近して来た場合であっても、メッセージを通知しないのが好ましい。図２０Ｆは、ゲストユーザが画像形成装置１０１の近くを通りすがるか、または、画像形成装置１０１接近して来た場合に、積極的なメッセージ通知が抑制されている状況を示している。
Further, as a user type, a guest user who is not an in-house user and cannot be individually identified does not have the authority to operate the
＜ユーザ種別判断基準とする特徴の一例>
図２１は、撮影装置１０６が撮影した画像からユーザ種別を判断する際の特徴の一例を示す図である。通知システム１００では、監視対象領域内で検出された不特定多数のユーザに対して、不具合に関するメッセージを通知するが、その内容はユーザ種別に応じて異なる。ここでは、ユーザ種別判別のために、顔認証を用いずに、ユーザが身につけている服やアクセサリ等を検出し、その検出結果を用いる構成となっている。
<Example of characteristics used as criteria for determining user type>
FIG. 21 is a diagram illustrating an example of characteristics when determining a user type from an image photographed by the photographing
図２１に示すように、ユーザの顔部分以外の領域から服装を検出し、その検出結果として、服装にネクタイや所定の社員証が含まれる場合には、一般ユーザと判別される。また、服装がスーツである場合には、管理者ユーザと判別され、服装が所定の作業服である場合には、サービスマンと判別される。また、服装がこれら以外の場合には、ゲストユーザとして判定される。なお、ユーザ種別判別構成は、上記の構成に限定されない。例えば、ユーザ種別を個人ユーザ単位で管理しているユーザカウント管理手段を有する環境の場合、顔認証を用いて個人を特定した上で、当該個人ユーザのユーザ種別を抽出し、その抽出結果に応じて、メッセージ内容を決定することも可能である。 As shown in FIG. 21, clothing is detected from areas other than the user's face, and if the clothing includes a necktie or a predetermined employee ID card, the user is determined to be a general user. Further, if the user is wearing a suit, the user is determined to be an administrator user, and if the user is wearing predetermined work clothes, the user is determined to be a service worker. Furthermore, if the user wears clothes other than these, the user is determined to be a guest user. Note that the user type determination configuration is not limited to the above configuration. For example, in an environment with a user count management means that manages user types on an individual user basis, after identifying an individual using facial recognition, the user type of the individual user is extracted, and based on the extraction result, It is also possible to determine the content of the message.
＜ユーザ種別メッセージ生成処理の詳細フローチャート＞
図２２は、ユーザ種別メッセージ生成処理を示すフローチャートである。図２２は、図１８のステップＳ５００２のサブルーチンのフローチャートである。前述したように、通知システム１００では、ユーザ種別に応じて通知すべきメッセージ内容をユーザ種別メッセージ生成テーブル（図１１Ａ、図１１Ｂ参照）に基づいて、メッセージの通知制御を行う。
<Detailed flowchart of user type message generation process>
FIG. 22 is a flowchart showing user type message generation processing. FIG. 22 is a flowchart of the subroutine of step S5002 in FIG. As described above, the
さらに、通知システム１００では、当該ユーザが画像形成装置１０１へ接近してきているか、または、近くを通りすがるのかについても検出して、メッセージの通知の要否を判断する。監視対象領域内で検出されたユーザがサービスマンか管理者である場合には、当該ユーザが通りすがりの状態でも、積極的にメッセージを通知する。
Furthermore, the
また、監視対象領域内で検出されたユーザが一般ユーザやゲストユーザである場合には、当該ユーザが通りすがりの状態であってもメッセージ通知は行われない。一般ユーザが不具合に関連する機能を使用しようとして、更なる不具合が引き起こされるおそれがある場合、画像形成装置１０１へ近づいてきたときのみ、メッセージとして、制限されている機能の情報が通知される。
Furthermore, if the user detected within the monitored area is a general user or a guest user, no message notification will be performed even if the user is passing by. If a general user attempts to use a function related to a problem and there is a risk of further problems occurring, information about the restricted functions is notified as a message only when the general user approaches the
図２２に示すように、ステップＳ５１０１では、ＣＰＵ４０２は、検出対象のユーザの服装がサービスマンの作業服の特徴と一致するか否かを判断する。ステップＳ５１０１での判断の結果、ＣＰＵ４０２が、サービスマンの作業服の特徴と一致すると判断した場合には、処理はステップＳ５１０２に進む。一方、ステップＳ５１０１での判断の結果、ＣＰＵ４０２が、サービスマンの作業服の特徴と一致しないと判断した場合には、処理はステップＳ５１０３に進む。ステップＳ５１０２では、ＣＰＵ４０２は、検出対象のユーザはサービスマンであるとして、部品交換依頼を通知するようなメッセージを、ユーザ種別メッセージ生成テーブルから生成して、これを通知する制御モードへ移行する。
As shown in FIG. 22, in step S5101, the
ステップＳ５１０３では、ＣＰＵ４０２は、検出対象のユーザを個別ユーザとして識別可能か否かを判断する。ステップＳ５１０３での判断の結果、ＣＰＵ４０２が、個別ユーザとして識別可能であると判断した場合には、処理はステップＳ５１０３に進む。一方、ステップＳ５１０３での判断の結果、ＣＰＵ４０２が、個別ユーザとして識別可能ではないと判断した場合には、検出対象のユーザはゲストユーザであるとして、処理はステップＳ５１０４に進む。ステップＳ５１０４では、ＣＰＵ４０２は、検出対象のユーザはゲストユーザであるとして、メッセージとしては何も生成せず、何もメッセージ通知しない制御モードへ移行する。なお、ステップＳ５１０４を制御ステップとして設けるのを省略することができる。
In step S5103, the
ステップＳ５１０５では、ＣＰＵ４０２は、検出対象のユーザを個別識別した上で、このユーザが管理者ユーザであるか否かを判断する。ステップＳ５１０５での判断の結果、ＣＰＵ４０２が、ユーザが管理者ユーザであると判断した場合には、処理はステップＳ５１０６に進む。一方、ステップＳ５１０５での判断の結果、ＣＰＵ４０２が、ユーザが管理者ユーザではないと判断した場合には、処理はステップＳ５１０７に進む。ステップＳ５１０６では、ＣＰＵ４０２は、不具合に付随して使うことができない機能を縮退することを推奨する旨のメッセージを、ユーザ種別メッセージ生成テーブルから生成して、これを通知する制御モードへ移行する。
In step S5105, the
ステップＳ５１０７では、ＣＰＵ４０２は、検出対象のユーザを個別識別した上で、このユーザが一般ユーザであるか否かを判断する。ステップＳ５１０７での判断の結果、ＣＰＵ４０２が、ユーザが一般ユーザであると判断した場合には、処理はステップＳ５１０８に進む。一方、ステップＳ５１０７での判断の結果、ＣＰＵ４０２が、ユーザが一般ユーザではないと判断した場合には、検出対象ユーザはゲストユーザでもない不定ユーザとしてエラー判定され、メッセージの生成を省略して、処理は終了する。
In step S5107, the
ステップＳ５１０８では、ＣＰＵ４０２は、個別識別した一般ユーザが画像形成装置１０１へ接近してきているか否かを判断する。ステップＳ５１０８での判断の結果、ＣＰＵ４０２が、一般ユーザが接近してきていると判断した場合には、処理はステップＳ５１０９に進む。
In step S5108, the
一方、ステップＳ５１０８での判断の結果、ＣＰＵ４０２が、一般ユーザが接近してきていないと判断した場合には、処理はステップＳ５１１０に進む。ステップＳ５１０９では、不具合に伴う機能制限を通知するメッセージを、ユーザ種別メッセージ生成テーブルから生成して、これを通知する制御モードへ移行する。ステップＳ５１１０では、ＣＰＵ４０２は、ステップＳ５１０４と同様に、メッセージとしては何も生成せず、何もメッセージ通知しない制御モードへ移行する。なお、ステップＳ５１１０についても、制御ステップとして設けるのを省略することができる。
On the other hand, as a result of the determination in step S5108, if the
以上説明したように、通知システム１００では、撮影装置１０６により、画像形成装置に接近したユーザの有無を監視する。そして、ユーザが検知された場合は、そのユーザの画像データをクラウドサーバ１０３に送信して、ユーザの特定が行われる。また、画像形成装置１０１に不具合が発生した場合には、その異常を検知したタイミングで、デバイス情報がクラウドサーバ１０３へ転送され、その原因特定と復旧手段とが参照される。
As described above, in the
また、特定されたユーザ種別に応じて、適宜なメッセージが内部的に生成されて、ユーザへ通知される。別ユーザによる追加の復旧作業が必要な場合は、この通知に伴って、復旧作業の情報も付与して通知される。また、この通知処理では、ユーザを検知する度に毎回通知するのではなく、一度通知済みであれば、所定時間復旧作業が実施されるか様子を見て、それでもなお復旧作業が実施されない場合にのみ、再度通知するように制御される。すなわち、属性情報に変更がない場合には、メッセージの通知と、通知の停止とが所定時間ごとに繰り返される。 Further, an appropriate message is internally generated according to the specified user type and is notified to the user. If additional recovery work is required by another user, information on the recovery work is also added and notified along with this notification. In addition, in this notification process, instead of notifying the user every time a user is detected, once the user has been notified, the system waits for a predetermined period of time to see if the recovery work is carried out, and if the recovery work is still not carried out, only, the notification will be controlled again. That is, if there is no change in the attribute information, message notification and notification stopping are repeated at predetermined intervals.
これにより、必要以上な通知を抑制しつつ、不具合に係るメッセージをユーザ種別に応じて通知することができ、更なる不具合の発生を防止することができる。また、適切なユーザに対してのみ復帰作業を促すことも可能となる。なお、通知システム１００では、属性情報が変更されるたびに、メッセージの内容を切り替える。これにより、属性情報に適したメッセージを通知することができる。
Thereby, it is possible to notify a message related to a problem according to the user type while suppressing unnecessary notifications, and it is possible to prevent further problems from occurring. Furthermore, it is also possible to prompt only appropriate users to return to work. Note that in the
なお、本実施形態では、ユーザが画像形成装置１０１周辺に接近したことを撮影装置１０６の撮影画像に基づいて検出しているが、これに限定されない。例えば、画像形成装置１０１周辺にユーザが接近したことを検出可能な近距離通信手段（ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）等）を使用してもよい。また、本実施形態では、クラウドサーバ１０３がユーザ情報を保持し、ユーザの判定を行っているがこれに限定されない。例えば、不具合発生時に画像形成装置１０１から転送されるデバイス情報とともに自身が保持するユーザ情報も同時に転送して、ユーザ判定を実施する構成であってもよい。
Note that in this embodiment, the fact that the user has approached the vicinity of the
また、メッセージを停止させる構成としては、特に限定されず、例えば、メッセージ停止用の操作ボタンを設けてもよい。その他、メッセージを所定回数発した場合に、メッセージ停止を行ってもよい。この場合、一般ユーザ、管理者ユーザ、サービスマンに応じて、メッセージの発行回数を変更してもよい。また、ユーザが監視対象領域から外れた場合に、メッセージ停止を行ってもよい。また、画像形成装置１０１の復帰用のリカバリ操作が完了した場合に、メッセージ停止を行ってもよい。なお、一定期間経過後も、画像形成装置１０１の復帰用のリカバリ操作がなされない場合、検出ユーザに応じたメッセージ通知を再度実施してもよい。
Further, the configuration for stopping the message is not particularly limited, and for example, an operation button for stopping the message may be provided. Alternatively, the message may be stopped when the message has been issued a predetermined number of times. In this case, the number of messages issued may be changed depending on the general user, administrator user, or service person. Furthermore, the message may be stopped when the user leaves the monitored area. Furthermore, the message may be stopped when a recovery operation for returning the
また、本実施形態では、通知システム１００は、撮影装置１０６で撮像された画像に基づいて、当該画像中のユーザ（人物）の属性に関する属性情報を取得するよう構成されているが、この構成に限定されない。例えば社員証にＩＣタグが組み込まれている場合、ＩＣタグからの信号を受信部（検出手段）で受信してユーザを検出し、その検出結果に基づいて、ユーザの属性に関する属性情報を取得してもよい。
Further, in the present embodiment, the
＜第２の実施形態＞
次に、本発明の第２の実施形態に係る通知システムについて説明する。第２の実施形態では、顔認証によりユーザを特定し、登録されているユーザの役割(権限や所属)に基づいてメッセージの内容を決定する。なお、以下の説明において、第１の実施形態と共通の構成、処理については説明を省略し、異なる部分についてのみ説明する。
<Second embodiment>
Next, a notification system according to a second embodiment of the present invention will be described. In the second embodiment, a user is identified through facial recognition, and the content of the message is determined based on the registered role (authority and affiliation) of the user. Note that in the following description, descriptions of common configurations and processes with the first embodiment will be omitted, and only different parts will be described.
＜全体構成＞
通知システム１００の全体、画像形成装置１０１、音声制御装置１０２、撮影装置１０６、クラウドサーバ１０３のハードウェア構成は、図１～図５に示す構成と同一である。なお、クラウドサーバ１０３は、音声制御装置１０２での音声認識結果から画像形成装置１０１の画面操作・ジョブ実行に関わるワードを判定することができる。「ジョブ」とは、画像形成装置１０１がプリントエンジン２１１またはスキャナ２１３を用いて実現する一連の画像形成処理（例えばコピー、スキャン、プリント等）の実行単位のことである。また、クラウドサーバ１０３は、音声認識結果またはワードの判定結果に応じて、所定のメッセージ（テキスト）を生成し、そのメッセージ内容を音声制御装置１０２で音声再生するための音声データの合成も行う。
<Overall configuration>
The overall hardware configuration of the
本実施形態では、人物として、一般ユーザ（使用者）、管理者ユーザ（管理者）の２者がいることとする。なお、人物として、サービスマンやゲストユーザもさらに含めてもよい。ゲストユーザは、原則的に画像形成装置１０１の使用が禁止されている来客者等である。
In this embodiment, it is assumed that there are two people: a general user (user) and an administrator user (administrator). Note that the person may further include a service person or a guest user. The guest user is, in principle, a visitor or the like who is prohibited from using the
画像形成装置１０１のソフトウェア構成は、図６に示す構成と同様である。すなわち、データ送受信部５００１は、ネットワークＩ／Ｆ２０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによりデータを送受信する。データ送受信部５００１は、クラウドサーバ１０３が生成するデバイス操作データを受信する。また、本実施形態では、データ送受信部５００１は、ジョブ実行結果、デバイス操作結果の応答の画面表示内容が更新されたことを示す画面更新通知や、ジョブの状態を示すジョブ実行状態通知をクラウドサーバ１０３に対して送信する。この通知の内容に関しては、図２４に示すシーケンス図を参照して後述する。
The software configuration of the
データ管理部５００４は、デバイス制御プログラム５０００の実行で生成された作業データや、各デバイス制御に必要な設定パラメータ、ユーザによる各種操作履歴等の様々なデータを、ＲＡＭ２０３およびストレージ２０５上の所定の領域へ保存し、管理する。このようなデータとしては、その他に例えば、後述するジョブ制御部５００３で実行されるジョブの各設定項目と設定値との組み合わせからなるジョブデータや、操作パネル２０９に表示される言語の情報としての言語設定等がある。
The
また、データ管理部５００４は、ゲートウェイ１０５との通信に必要な認証情報、クラウドサーバ１０３と通信するために必要なデバイス情報等も保存、管理する。また、データ管理部５００４は、画像形成装置１０１で画像形成される画像データを保存し、管理する。また、データ管理部５００４は、表示部５００５で画面表示制御に用いられる画面制御情報と、操作対象判定部５００６で操作対象を判定するために用いられる操作対象判定情報とを保存する。
The
そして、データ管理部５００４は、画面制御情報と操作対象判定情報とを、表示部５００５で表示される画面ごとに管理する。また、データ管理部５００４には、ユーザを判別することができるデータが格納されている。データ管理部５００４に格納されているデータとしては、例えば、ユーザの顔データやユーザの顔の特徴量を算出した値等がある。また、画像形成装置１０１では、例えば、データ解析部５００２が、カメラ５０８で取得した画像データと、データ管理部５００４のデータとを照合して、一致するユーザか否かを判別することもできる。
The
表示部５００５は、ディスプレイコントローラ２０７を介して、操作パネル２０９の制御を行う。例えば、表示部５００５は、ユーザが操作可能なＵＩ部品（ボタン、プルダウンリスト、チェックボックス等）を操作パネル２０９に表示する。操作パネル２０９に表示された画面は、画面表示制御情報に基づいて更新される。例えば、表示部５００５は、データ管理部５００４に保存されている言語設定対応する言語辞書をストレージ２０５から取得し、言語辞書に基づいたテキストデータを画面に表示する。
The
操作対象判定部５００６は、操作Ｉ／Ｆ２０８を介して、操作パネル２０９上のタッチされた座標を取得し、このとき操作パネル２０９に表示されているユーザが操作可能なＵＩ部品を操作対象として判定する。また、操作対象判定部５００６は、操作対象として判定したＵＩ部品に対応する画面表示制御情報を読み出し、当該情報に基づいて操作受付時の処理内容を決定する。例えば、操作対象判定部５００６は、表示部５００５に対して画面の表示内容の更新指示を出したり、ユーザ操作により設定されたジョブのパラメータおよび当該ジョブの開始指示をジョブ制御部５００３に送信したりする。
The operation
音声制御装置１０２のソフトウェア構成は、図７に示す構成と同様である。ただし、データ送受信部６０１は、ユーザへの応答となる音声合成データを受信する。なお、音声操作開始検知部６０７がウェイクワードを検知してからの音声処理については後述する。
The software configuration of the
発話終了判定部６０８は、音声取得部６０４での処理の終了タイミングを判定する。例えば、発話終了判定部６０８は、ユーザの音声が所定時間（例えば３秒）途切れたときに、ユーザの発話が終了したと判定し、その判定結果を発話終了通知として音声制御部６０３に送信する。なお、発話終了の判定は、発話が無い時間（空白時間）に基づいて行われるのに限定されず、例えば、ユーザの所定の語句に基づいて行われてもよい。発話終了判定部６０８は、例えば、「はい」、「いいえ」、「ＯＫ」、「キャンセル」、「終了」、「スタート」等所定の語句のときには、所定時間を待たずに発話終了と判定してもよい。また、発話終了の判定は、クラウドサーバ１０３で行われてもよいし、ユーザの発話内容の意味や文脈等に基づいて行われてもよい。
The utterance
ここで、音声取得部６０４、音声再生部６０５、表示部６０６の処理開始・終了のタイミングについて説明する。音声制御部６０３は、音声操作開始検知部６０７からの操作開始通知を受信した場合に、音声取得部６０４の処理を開始する。また、音声制御部６０３は、発話終了判定部６０８からの発話終了通知を受信した場合に、音声取得部６０４の処理を終了する。
Here, the timing of starting and ending the processing of the
例えば、ユーザがウェイクワードを発話し、続いて「コピーしたい」と話したとする。このとき、音声操作開始検知部６０７は、ウェイクワードの音声を検知し、音声制御部６０３に操作開始通知を送信する。音声制御部６０３は、操作開始通知を受信すると、音声取得部６０４の処理を開始するよう制御する。
For example, assume that the user utters a wake word and then says "I want to copy." At this time, the voice operation
音声取得部６０４は、ユーザが続いて話す「コピーしたい」というアナログ音声を取得して、音声データへ変換し、一時保存をする。発話終了判定部６０８は、「コピーしたい」の発話後に空白時間が所定時間あったと判定した場合に、発話終了通知を音声制御部６０３に送信する。音声制御部６０３は、発話終了通知を受信すると、音声取得部６０４の処理を終了する。なお、音声取得部６０４が処理を開始してから終了するまでの状態を「発話処理状態」と言うこととする。表示部６０６は、発話処理状態であることを示すようにＬＥＤ３１２を点灯表示する。
The
音声制御部６０３は、ユーザの発話終了判定後、音声取得部６０４が一時保存した音声データを、データ送受信部６０１を介してクラウドサーバ１０３へ送信するよう制御し、クラウドサーバ１０３からの応答を待つ。クラウドサーバ１０３からの応答としては、例えば、応答であることを示すヘッダ部と、音声合成データからなる応答メッセージとがある。
After determining that the user has finished speaking, the
音声制御部６０３は、データ送受信部６０１で応答メッセージを受信すると、音声再生部６０５で音声合成データを再生するよう制御する。音声合成データは、例えば、「コピー画面を表示します」である。なお、発話終了判定後から音声合成データの再生終了までの状態を「応答処理状態」と言うこととする。
When the data transmission/
表示部６０６は、応答処理状態であることを示すようにＬＥＤ３１２を点滅表示する。応答処理の後、クラウドサーバ１０３との対話セッションが継続している間は、ユーザはウェイクワードを発話することなく、続けて自身の行いたいことを発話することができる。対話セッションの終了判定は、音声制御装置１０２に対話セッション終了通知をクラウドサーバ１０３が送信することで行われる。なお、対話セッション終了から次の対話セッションが開始されるまでの状態を「待機状態」と言うこととする。音声制御装置１０２が音声操作開始検知部６０７からの操作開始通知を受信するまでは、常時待機状態であるとする。表示部６０６は、待機状態の間、ＬＥＤ３１２を消灯する。
The
＜クラウドサーバのソフトウェア構成＞
図２３は、第２の実施形態におけるクラウドサーバのソフトウェア構成を示すブロック図である。図２３に示すデータ変換制御プログラム（システム制御プログラム）１７００は、ストレージ４０５に格納され、クラウドサーバ１０３の起動時にＣＰＵ４０２がＲＡＭ４０３上に展開して実行する。データ変換制御プログラム１７００は、データ送受信部７０１、データ管理部７０２、デバイス操作データ生成部１７０３、ユーザ判定部１７０８、音声データ変換部７１０を含む。音声データ変換部７１０は、音声認識部７０５、形態素解析部７０６、音声合成部７０７を含む。
<Cloud server software configuration>
FIG. 23 is a block diagram showing the software configuration of the cloud server in the second embodiment. A data conversion control program (system control program) 1700 shown in FIG. 23 is stored in the
データ送受信部７０１は、ネットワークＩ／Ｆ４０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータを送受信する。データ送受信部７０１は、音声制御装置１０２からのユーザの音声データを受信する。また、データ管理部７０２は、ユーザ判定部１７０８で判定されたユーザＩＤや、音声認識部７０５で音声認識処理して生成されるテキストデータ判定結果を送信する。
The data transmitting/receiving
データ管理部７０２は、データ変換制御プログラム１７００の実行で生成された作業データや、音声データ変換部７１０で音声認識処理をするために必要なパラメータ等様々なデータをストレージ４０５の所定の領域へ保存し、管理する。例えば、データ管理部７０２は、データ送受信部７０１が受信した音声データをテキストへ変換するための音響モデルや言語モデルをストレージ４０５の所定の領域へ保存し、管理する。
The
また、データ管理部７０２は、形態素解析部７０６でテキストの形態素解析を行うための辞書をストレージ４０５の所定の領域へ保存し、管理する。また、データ管理部７０２は、ユーザ判定部１７０８でユーザＩＤを判定するためのユーザＩＤリストをストレージ４０５の所定の領域へ保存し、管理する。
Further, the
また、データ管理部７０２は、音声合成部７０７で音声合成を行うための音声データベースをストレージ４０５の所定の領域へ保存し、管理する。また、データ管理部７０２は、音声制御装置１０２および画像形成装置１０１と通信するために必要な各デバイス情報等を保存、管理する。デバイス操作データ生成部１７０３は、画像形成装置１０１がユーザによって操作された際の操作データを生成する。
Further, the
前述したように、音声データ変換部７１０は、音声認識部７０５、形態素解析部７０６、音声合成部７０７を含む。音声認識部７０５は、データ送受信部７０１が受信したユーザの音声データを、テキストに変換するための音声認識処理を行う。音声認識処理は、音響モデルを用いてユーザの音声データを音素に変換して、さらに言語モデルを用いて音素を実際のテキストデータに変換する。
As described above, the speech
なお、入力音声の言語は複数存在してよい。この場合、入力音声データの言語を判定して、言語に沿ったテキストデータに変換する第１の音声認識方式を用いてもよい。または、入力音声データを異なる言語の音響モデルを用いて音素に変換し、対応する言語モデルを用いて、言語ごとのテキストデータに変換して出力する第２の音声認識方式を用いてもよい。第２の音声認識方式の場合、複数の言語形式でテキストデータに変換するため、音声認識部７０５は、音声認識処理の結果として、テキストと言語設定からなる音声認識データを出力する。
Note that there may be a plurality of input speech languages. In this case, a first speech recognition method may be used that determines the language of input speech data and converts it into text data in accordance with the language. Alternatively, a second speech recognition method may be used in which input speech data is converted into phonemes using an acoustic model of a different language, and then converted into text data for each language using a corresponding language model and output. In the case of the second speech recognition method, in order to convert into text data in a plurality of language formats, the
本実施形態では、入力音声の言語を日本語と英語とする。日本語における前記音声認識データは、１つ以上のカナから構成されるテキストと、言語設定「日本語」からなるものとする。また、英語における前記音声認識データは、１つ以上のアルファベットから構成されるテキストと、言語設定「英語」からなるものとする。なお、音声データを音声認識データへ変換する音声認識処理としては、上記処理に限定されない。形態素解析部７０６は、音声認識部７０５で変換された音声認識データを、言語設定に沿った形態素解析する。
In this embodiment, the languages of input speech are Japanese and English. The speech recognition data in Japanese is assumed to consist of text composed of one or more kana characters and a language setting of "Japanese". Further, the speech recognition data in English is assumed to consist of text composed of one or more alphabets and a language setting of "English". Note that the voice recognition process for converting voice data into voice recognition data is not limited to the above process. The
形態素解析は、その言語の文法や、品詞等の情報を有する辞書から形態素列を導出し、さらに各形態素の品詞等を判別する。形態素解析部７０６は、例えば、ＪＵＭＡＮ、茶筌、ＭｅＣａｂ等の公知の形態素解析ソフトウェアを用いて実現される。音声合成部７０７は、テキストデータに記載された文章情報を、言語設定に基づき音声情報化する。なお、形態素解析部７０６、音声合成部７０７に関しては、公知である。
Morphological analysis derives a morpheme sequence from a dictionary containing information such as the grammar of the language and parts of speech, and further determines the part of speech of each morpheme. The
ユーザ判定部１７０８は、データ送受信部７０１が受信したユーザ情報に基づいて、データ管理部７０２に登録されているユーザＩＤリストに一致するユーザであるか否かを判定する。また、ユーザ判定部１７０８は、ユーザＩＤリストに一致するユーザと判定した場合、画像形成装置１０１に対する権限を有するか否かも判定する。
The
撮影装置１０６のソフトウェア構成は、図９に示す構成と同様である。データ送受信部８０１は、監視開始および終了指示の受信と、撮影装置１０６で撮影した撮影画像のデータ変換、変換後の画像データの送信とを行う機能を有する。
The software configuration of the
監視開始および終了指示データは、画像形成装置１０１またはクラウドサーバ１０３（本実施形態では画像形成装置１０１）で行われる。また、画像データは、画像形成装置１０１またはクラウドサーバ１０３（本実施形態では画像形成装置１０１）に送信される。撮影部８０２は、搭載されている撮影レンズを制御して、撮影対象を撮影するレンズ制御と、撮像信号取り込みとを行う機能を有する。監視制御部８０３は、監視開始および終了指示データの解釈と、監視処理の開始および終了の制御と、撮影データの送信指示制御とを統括的に行う機能を有する。
Monitoring start and end instruction data is provided by the
＜カメラ制御プログラム、デバイス制御プログラム、音声制御プログラム、データ変換制御プログラムの間で実施される処理を示すシーケンス＞
図２４は、カメラ制御プログラム８００、デバイス制御プログラム５０００、音声制御プログラム６００、データ変換制御プログラム１７００の間で実施される処理を示すシーケンス図である。図２４に示すシーケンスでは、監視対象領域内で画像形成装置１０１に近づくユーザを検出して、当該ユーザ個人を識別する（判別する）。そして、その識別結果に応じて、画像形成装置１０１の状態が音声で通知されたり、通知されなかったりする。
<Sequence showing processing performed between camera control program, device control program, audio control program, and data conversion control program>
FIG. 24 is a sequence diagram showing the processing performed among the
なお、図２４で示すシーケンスの例では、画像形成装置１０１は、Ｋトナー（ブラックトナー）残量が少なく、新たなＫトナーカートリッジをユーザに準備して交換してもらうことが通知されるべき状態となっている。新たなＫトナーカートリッジへの交換作業は、第１グループに属するユーザによって行われる。「第１グループ」とは、画像形成装置１０１でのイベントに対して所定の権限を有するグループのこと、すなわち、本実施形態では画像形成装置１０１の状態を管理するために交換作業が許可された管理者グループのことである。この場合、新たなＫトナーカートリッジへの交換作業は、管理者ユーザによって行われる。
In the sequence example shown in FIG. 24, the
一方、第１グループに対して、第２グループもある。「第２グループ」とは、第１グループでの権限と異なる権限を有するグループのこと、すなわち、本実施形態では画像形成装置１０１を使用する使用者グループのことである。一般ユーザは、第２グループに属する。図２４で示すシーケンスの例では、監視対象領域内で画像形成装置１０１に近づくユーザは、第１グループに属する管理者ユーザであるとする。
On the other hand, in addition to the first group, there is also a second group. The "second group" refers to a group that has authority different from that of the first group, that is, a user group that uses the
図２４に示すように、ステップＳ８００では、デバイス制御プログラム５０００は、カメラ制御プログラム８００にユーザの検知を開始させる。ユーザの検知の開始は、例えば、画像形成装置１０１の電源オン時や操作パネル２０９からユーザの検知を許可したことを条件に行われる。ステップＳ８０１では、カメラ制御プログラム８００は、監視対象領域内で画像形成装置１０１に近づくユーザの検知を開始する。監視対象領域としては、特に限定されず、例えば、画像形成装置１０１を中心とする半径２～３ｍまでの領域とすることができる。また、例えば、画像形成装置１０１が小房に配置されている場合には、小房内全体を監視対象領域とすることができる。
As shown in FIG. 24, in step S800, the
ステップＳ８０２では、カメラ制御プログラム８００は、カメラ５０８でユーザを識別するための検知画像を撮影する。ユーザの識別は、人物の顔を検出する顔認証で行われるため、ステップＳ８０２で撮影される検知画像には、ユーザの顔が含まれる。ステップＳ８０３では、カメラ制御プログラム８００は、検知画像をデバイス制御プログラム５０００に送信する。
In step S802, the
ステップＳ８０４では、デバイス制御プログラム５０００は、データ解析部５００２が、ステップＳ８０３で撮影された検知画像に対して顔検知処理を実施して、顔が含まれているか否かを判断する。データ解析部５００２は、顔が含まれていると判断した場合には、検知画像と、ストレージ２０５に保存されているユーザの顔認証画像との類似度を算出して、類似度が閾値以上であり、かつ、最も類似度が高いユーザを識別対象として決定する。これにより、撮影装置１０６で撮影された監視対象領域内のユーザが、一般ユーザ、管理者ユーザのうちのいずれかであるかを判別することができる。
In step S804, the
このように本実施形態では、データ解析部５００２は、撮影装置１０６で撮像された画像に基づいて、当該画像中のユーザを識別する。そして、データ解析部５００２は、この識別結果に基づいて、監視対象領域内のユーザが、属するグループ（第１グループ、または、第２グループ）を取得する取得手段として機能する。これにより、例えば、監視対象領域内のユーザが管理者ユーザと識別された場合、この管理者ユーザが第１グループに属すると決定される、すなわち、紐付けられる。
In this manner, in this embodiment, the
また、監視対象領域内のユーザが一般ユーザと識別された場合、この一般ユーザが第２グループに属すると決定される。なお、データ解析部５００２で実行されるユーザ識別処理は、ＯＲＢ、ＳＵＲＦ、ＳＩＦＴのうちの少なくとも１つを用いた処理であるのが好ましい。これにより、検知画像中のユーザの特徴量を正確かつ迅速に抽出することができ、よって、ユーザを正確に識別することができる。
Furthermore, if a user within the monitored area is identified as a general user, it is determined that this general user belongs to the second group. Note that the user identification process executed by the
ステップＳ８０５では、デバイス制御プログラム５０００は、ＲＡＭ２０３に保持された画像形成装置１０１の状態情報や、画像形成装置１０１が受信しているジョブ状況を取得する。ステップＳ８０６では、デバイス制御プログラム５０００は、ステップＳ８０４で識別したユーザ情報として、画像形成装置１０１のストレージ２０５に保持されているユーザ名やパーソナルＩＤをデータ変換制御プログラム１７００に送信する。
In step S805, the
ステップＳ８０７では、デバイス制御プログラム５０００は、ステップＳ８０５で取得した画像形成装置１０１の状態情報やジョブ状況に関する情報をデバイス情報として、データ変換制御プログラム１７００に送信する。ステップＳ８０８では、デバイス制御プログラム５０００は、画像形成装置１０１のＲＡＭ２０３に保持された状態情報やジョブ状況に応じて、特定ユーザ向け、すなわち、第１グループに属するユーザ向けのメッセージ情報を送信する。
In step S807, the
ステップＳ８０９では、データ変換制御プログラム１７００は、画像形成装置１０１から通知されたメッセージ情報に応じた処理を行う。このステップＳ８０９の詳細については、図２５を参照して後述する。
In step S809, the data
ステップＳ８１０では、音声制御プログラム６００は、データ送受信部６０１が、データ変換制御プログラム１７００で生成された音声合成データを受信する。ステップＳ８１１では、音声制御プログラム６００は、データ送受信部６０１が、データ変換制御プログラム１７００で生成された音声合成データの終了通知を受信する。
In step S810, the data transmitting/receiving
ステップＳ８１２では、音声制御プログラム６００は、音声再生部６０５が、ステップＳ８１０で受信した音声合成データを再生する。音声合成データとしては、特に限定されず、例えば、「Ｋトナーの残量が不足しています。新たなＫトナーカートリッジに交換してください。」等が挙げられる。また、音声合成データは、スピーカ３１０から発生される。このように画像形成装置１０１の不具合についてのメッセージは、スピーカ３１０を介して、音声で通知される（通知工程）。
In step S812, the
本実施形態では、スピーカ３１０は、メッセージを通知する通知手段として機能する。これにより、メッセージを管理者ユーザに積極的に認識させて、Ｋトナーカートリッジの交換作業を促すことができる。なお、メッセージの通知は、音声による通知に限定されず、例えば、画像による通知でもよいし、音声と画像との双方による通知でもよい。音声合成データの再生後は、音声制御プログラム６００は、音声制御装置１０２を待機状態へ移行する。
In this embodiment, the
以上のように、通知システム１００では、メッセージには、画像形成装置１０１の不具合の要因（Ｋトナーの残量不足）と、その不具合に応じた対処方法（新たなＫトナーカートリッジへの交換）とが含まれるのが好ましい。これにより、管理者ユーザは、画像形成装置１０１の状況を正確に把握することができる。なお、メッセージには、画像形成装置１０１の不具合の要因と、その不具合に応じた対処方法との双方が含まれるのに限定されず、例えば、これらのうちの一方のみが含まれていてもよい。
As described above, in the
また、不具合に応じた対処方法として、不具合を解消するための復旧作業の情報（新たなＫトナーカートリッジへの交換）が含まれるが、これに限定されない。例えば、不具合に応じた対処方法として、不具合下でも一時的に画像形成装置１０１の使用を可能とするための画像形成装置１０１の機能縮退の作業の情報であってもよい。機能縮退の作業の情報としては、例えば画像形成装置１０１がカラー印刷可能に構成されている場合、Ｋトナー以外の他の複数のトナーを代用して印刷を行うための操作等が挙げられる。これにより、一時的に画像形成装置１０１を使用して印刷を実行することができる。
In addition, countermeasures according to the malfunction include, but are not limited to, information on recovery work to eliminate the malfunction (replacement with a new K toner cartridge). For example, as a countermeasure in response to a malfunction, the information may be information about deterioration of the function of the
そして、通知システム１００では、データ解析部５００２で識別されたユーザが第１グループに属する場合には、メッセージを通知し、データ解析部５００２で識別されたユーザが第２グループに属する場合には、メッセージの通知を抑制することができる。これにより、メッセージを報知する際、このメッセージと関連性が高いユーザに対して、その報知を行うことができる。本実施形態では、Ｋトナーの残量不足と新たなＫトナーカートリッジへの交換とのメッセージを報知する際、このメッセージと関連性が高い第１グループに属する管理者ユーザに対して、その報知を行うことができる。
Then, in the
また、メッセージを停止させる構成としては、特に限定されず、例えば、メッセージ停止用の操作ボタンを設けてもよい。その他、メッセージを所定回数発した場合に、メッセージの通知を停止してもよい。また、ユーザが監視対象領域から外れた場合に、メッセージの通知を停止してもよい。また、画像形成装置１０１の復帰用のリカバリ操作が完了した場合に、メッセージの通知を停止してもよい。なお、一定期間経過後も、画像形成装置１０１の復帰用のリカバリ操作がなされない場合、メッセージを再度通知してもよい。
Further, the configuration for stopping the message is not particularly limited, and for example, an operation button for stopping the message may be provided. In addition, message notification may be stopped when a message has been issued a predetermined number of times. Further, message notification may be stopped when the user leaves the monitored area. Further, message notification may be stopped when a recovery operation for returning the
カメラ制御プログラムによる周辺監視処理は、図１４に示すフローチャートと同様である。カメラ制御プログラム８００は、デバイス制御プログラム５０００の監視指示に従い、画像形成装置１０１の周辺である監視対象領域を撮影し、当該撮影した画像をデバイス制御プログラム５０００へ所定の周期で送信する。また、カメラ制御プログラム８００による撮影処理は、デバイス制御プログラム５０００からの停止指示がない限りは常時実施されるが、停止指示を受信した場合には、直ちに撮影を停止し、処理を終了する。
The surrounding monitoring process by the camera control program is similar to the flowchart shown in FIG. 14. The
＜データ変換制御プログラムによる音声メッセージ制御処理＞
図２５は、データ変換制御プログラム１７００による音声通知までの音声メッセージ制御処理を示すフローチャートである。図２５は、図２４中のステップＳ８０９における詳細な処理を示すフローチャートである。
<Voice message control processing using data conversion control program>
FIG. 25 is a flowchart showing voice message control processing up to voice notification by the data
図２５に示すように、ステップＳ９０１では、ＣＰＵ４０２は、撮影装置１０６が検知したユーザ情報として、ステップＳ８０６で送信されたユーザ名やユーザＩＤを受信する。このユーザ名等は、画像形成装置１０１のストレージ２０５に保持されている。ステップＳ９０２では、ＣＰＵ４０２は、デバイス情報として、ステップＳ８０７で送信された画像形成装置１０１の状態情報やジョブ状況に関する情報を受信する。
As shown in FIG. 25, in step S901, the
ステップＳ９０３では、ＣＰＵ４０２は、デバイスの状態情報やジョブ状況に応じて、ステップＳ８０８で送信されたメッセージ情報を受信する。ステップＳ９０４では、ＣＰＵ４０２は、ステップＳ９０１で受信したユーザＩＤを元に、ＲＡＭ４０３に保持しているユーザデータリストを参照する。そして、ＣＰＵ４０２は、ユーザＩＤがユーザデータリストに存在するか否かを判断する。ユーザデータリストについては、図２６を参照して後述する。ステップＳ９０４での判断の結果、ＣＰＵ４０２が、ユーザＩＤがユーザデータリストに存在すると判断した場合には、処理はステップＳ９０５に進む。一方、ステップＳ９０４での判断の結果、ＣＰＵ４０２が、ユーザＩＤがユーザデータリストに存在しないと判断した場合には、処理は終了する。これにより、不要なメッセージの通知を防止することができる。
In step S903, the
ステップＳ９０５では、ＣＰＵ４０２は、ステップＳ９０３で受信したメッセージ情報の種別を判断する。ステップＳ９０５での判断の結果、ＣＰＵ４０２が、メッセージが特定のユーザ向け、すなわち、第１グループに属する管理者ユーザ向けのメッセージであると判断した場合には、処理はステップＳ９０９に進む。一方、ＣＰＵ４０２が、メッセージが特定のユーザ向けではないと判断した場合には、処理はステップＳ９０６に進む。
In step S905, the
ステップＳ９０６では、ＣＰＵ４０２は、ステップＳ９０３で受信したメッセージ情報の種別が画像形成装置１０１の例外状態（不具合）を通知するメッセージであるか否かを判断する。具体的には、ＣＰＵ４０２は、画像形成装置１０１のＪＡＭやトナー残量無し等のような解消可能なデバイス停止要求になっているか否かを確認する。
In step S906, the
ステップＳ９０６での判断の結果、ＣＰＵ４０２が、デバイス停止要求であると判断した場合には、ステップＳ９０７に進む。一方、ステップＳ９０６での判断の結果、ＣＰＵ４０２が、デバイス停止要求ではないと判断した場合には、処理はステップＳ９１０に進む。この場合、メッセージは、ユーザが誰であっても通知してよいメッセージとなる。従って、データ解析部５００２で識別されたユーザが第１グループに属するか、または、第２グループに属するかを問わない場合には、ユーザが誰であってもよいメッセージが通知される。例えばステップＳ９１０では、ジョブ終了のメッセージとして、「コピーが完了しています」の音声が合成される。これにより、いずれのユーザもコピー完了を認識することができる。
As a result of the determination in step S906, if the
ステップＳ９０７では、ＣＰＵ４０２は、ステップＳ９０１で受信したユーザＩＤを元に、ユーザデータリスト（ユーザ情報リスト）を先頭から検索する。そして、ＣＰＵ４０２は、ユーザＩＤと紐付けられているユーザ権限に関する情報をユーザデータリストから取得する。前述したように、監視対象領域内で撮像されるユーザの一例として、一般ユーザ、管理者ユーザの２者がいる。ユーザ権限は、解消可能な画像形成装置１０１の例外状態の内容に応じて、一般ユーザに対する権限と、管理者ユーザに対する権限とに分けられている。
In step S907, the
ステップＳ９０８では、ＣＰＵ４０２は、ステップＳ９０７で取得したユーザ権限に応じて処理を実行する。具体的には、ＣＰＵ４０２は、ステップＳ９０７で取得したユーザ権限が画像形成装置１０１の例外状態を解消可能な権限であるか否か、すなわち、ユーザが画像形成装置１０１の例外状態を解消可能なユーザ権限を有するか否かを判断する。ステップＳ９０８での判断の結果、ＣＰＵ４０２が、ユーザがユーザ権限を有すると判断した場合には、処理はステップＳ９１０に進む。一方、ステップＳ９０８での判断の結果、ＣＰＵ４０２が、ユーザがユーザ権限を有さないと判断した場合には、処理は終了する。これにより、不要なメッセージの通知を防止することができる。
In step S908, the
ステップＳ９０９では、ＣＰＵ４０２は、ステップＳ９０１でユーザ情報として受信したユーザＩＤと、ステップＳ９０３で取得したユーザＩＤとが一致するか否かを判断する。ステップＳ９０９での判断の結果、ＣＰＵ４０２が、ユーザＩＤ同士が一致すると判断した場合には、処理はステップＳ９１０に進む。一方、ステップＳ９０９での判断の結果、ＣＰＵ４０２が、ユーザＩＤ同士が一致しないと判断した場合には、処理は終了する。
In step S909, the
ステップＳ９１０では、ＣＰＵ４０２は、音声制御装置１０２へ通知する音声データを合成する。例えば管理者ユーザに例外状態が発生していることを通知する場合、その旨のメッセージとして、「例外状態が発生しています」の音声データが合成される。また、メッセージ種別が受信プリントの場合、その旨のメッセージとして、例えば「ユーザＡＡＡにプリントジョブが届いています」の音声データが合成される。ステップＳ９１１では、ＣＰＵ４０２は、ステップＳ９１０で得られた音声合成データを音声制御装置１０２に送信する。これにより、音声制御装置１０２からは、音声合成データが音声で発生される。
In step S910, the
＜ユーザデータリスト＞
図２６は、ユーザデータリストの一例を示す図である。図２６に示すユーザデータリストには、項目として、ユーザＩＤ、メールアドレス、各ユーザの役割（Ｒｏｌｅ）があり、各項目の情報が格納されている。このユーザデータリストは、個別のユーザ情報と、画像形成装置１０１の例外状態に対する権限とを紐づけて管理するデータベースとなっている。本実施形態では、ユーザの役割に応じて、画像形成装置１０１の例外状態を解消する権限が設定されている。
<User data list>
FIG. 26 is a diagram showing an example of a user data list. The user data list shown in FIG. 26 includes items such as user ID, email address, and role of each user, and information on each item is stored. This user data list is a database that manages individual user information and privileges for exceptional states of the
管理者ユーザは、画像形成装置１０１の例外状態を解消する権限を有し、一般ユーザは、例外状態の解除の実行が制限された設定となっている。例えば、図２６に示すように、番号「１」に着目した場合、ユーザＩＤが「ＡＡＡ」のユーザは、役割が一般ユーザとして紐付けられている。同様に、番号「２」に着目した場合、ユーザＩＤが「ＢＢＢ」のユーザは、役割が管理者ユーザとして紐付けられ、番号「３」に着目した場合、ユーザＩＤが「ＣＣＣ」のユーザは、役割が一般ユーザとして紐付けられている。このようなユーザデータリストにより、ユーザが一般ユーザであるのか、または、管理者ユーザであるのかを迅速に判断することができる。
The administrator user has the authority to cancel the exceptional state of the
デバイス制御プログラムによるデバイス例外状態（不具合）情報通知処理は、図１６に示すフローチャートと同様である。デバイス制御プログラム５０００は、不具合に起因する何かしらの状態異常を検知した場合には、その情報をデータ変換制御プログラム１７００へ送信する。また、デバイス制御プログラム５０００は、不具合情報送信後も、ユーザからの停止指示がない限り、状態監視を継続するが、ユーザからの停止指示があった場合には、シャットダウン処理を実施し、直ちに処理を終了する。なお、不具合情報（デバイス異常情報）としては、例えば、前述したトナー残量無しや、ＪＡＭ等がある。
The device exception state (malfunction) information notification process by the device control program is similar to the flowchart shown in FIG. 16. When the
音声制御プログラムによる音声通知処理は、図１９に示すフローチャートと同様である。音声制御プログラム６００は、データ変換制御プログラム１７００から音声データを受信した場合に、スピーカ３１０から音声データを再生する。音声データの再生後は、一定期間、ユーザからの応答を待つ期間が設けられる。また、音声制御プログラム６００は、ユーザからの応答の受信、または、一定期間応答なし状態が経過した場合には、応答データをデータ変換して、データ変換制御プログラム１７００へ送信する。なお、応答がなかった場合は、空のデータがデータ変換制御プログラム１７００へ送信される。この場合は、「反応なし」と判断される。
The voice notification process by the voice control program is similar to the flowchart shown in FIG. When the
＜メッセージ生成テーブル＞
図２７は、メッセージ生成テーブルの一例を示す図である。図２７に示すメッセージ生成テーブルは、画像形成装置１０１（デバイス）の状態とメッセージ種別とユーザとの関係を示すテーブルであり、クラウドサーバ１０３のデータ管理部７０２に格納されている。本実施形態では、画像形成装置１０１が例外状態としての印刷実行不可の状態になった場合に、例外状態を解消することが可能な管理者ユーザのみに復旧手順を通知し、一般ユーザに対しては復旧手順の通知が制限される。復旧手順は、画像形成装置１０１に用事があり、意図的に近づいてくる管理者ユーザに対して通知される。
<Message generation table>
FIG. 27 is a diagram showing an example of a message generation table. The message generation table shown in FIG. 27 is a table showing the relationship between the state of the image forming apparatus 101 (device), the message type, and the user, and is stored in the
図２７に示すように、メッセージ生成テーブルには、画像形成装置１０１の各状態に応じて、メッセージ種別と、一般ユーザ、個別ユーザ、管理者ユーザ向けの音声メッセージとがある。例えば、画像形成装置１０１の状態がジャムやＫトナー残量無し等の例外状態発生の場合、メッセージ種別は、不具合の要因と不具合に応じた対処方法とのうちの少なくとも一方を含むのメッセージとなる。そして、このメッセージは、例外状態の解消が可能な管理者ユーザのみに音声通知される。
As shown in FIG. 27, the message generation table includes message types and voice messages for general users, individual users, and administrator users, depending on each state of the
また、画像形成装置１０１の状態がファックスジョブの受信中の場合、メッセージ種別は、個別ユーザに対してジョブが存在する旨のメッセージとなる。そして、このメッセージは、個別ユーザのみに音声通知される。また、画像形成装置１０１の状態がコピージョブの終了の場合、メッセージ種別は、その旨のメッセージとなる。そして、このメッセージは、一般ユーザ、個別ユーザ、管理者ユーザに関わらず、全てのユーザに向けて音声通知される。
Further, when the
以上のように、通知システム１００では、画像形成装置１０１の状態（イベント）に応じて、メッセージを通知するユーザが変更される。これにより、メッセージを報知する際、このメッセージと関連性が高い人物に対して、その報知を正確に行うことができる。また、メッセージは、データ管理部７０２を記憶手段として、データ管理部７０２に予め記憶されている。これにより、データ管理部７０２からメッセージを選択して、迅速に通知することができる。
As described above, in the
＜画像形成装置と撮影装置の配置と人物判定を示す俯瞰図＞
図２８は、画像形成装置、撮影装置および監視対象となるユーザとの配置例を示す俯瞰図である。通知システム１００では、画像形成装置１０１の例外状態を解消することが可能な管理者ユーザのみに復旧手順を通知したい。そのため、画像形成装置１０１に近づくユーザを検出して、ユーザによってメッセージを通知するか否かを切り替える。
<Overhead view showing arrangement of image forming device and photographing device and person determination>
FIG. 28 is an overhead view showing an example of the arrangement of an image forming device, a photographing device, and a user to be monitored. In the
図２８に示すように、画像形成装置１０１の設置位置に対して、直線的に移動して来ていない通りすがりのユーザＡに対しては、たとえユーザ検出がされたとしても、メッセージを通知しないのが好ましい。一方、図２８中のユーザＢやユーザＣのように、画像形成装置１０１の設置位置に対して直線的に移動して来ているユーザに対しては、当該ユーザＢやユーザＣが管理者ユーザであれば、積極的にメッセージ通知を出すのが好ましい。
As shown in FIG. 28, a message is not sent to user A who is passing by and has not moved in a straight line with respect to the installation position of the
ユーザが画像形成装置１０１に対して直線的に移動して来ているか否かについては、第１の実施形態と同様に決定される。顔認証については、図１７Ｂで説明した通りである。ユーザＡは、自身の存在位置と画像形成装置１０１の設置位置とを結ぶ直線上とは違う向きに移動しているため、直線的に移動しているとは判断されない。ユーザＢおよびユーザＣは、自身の存在位置と画像形成装置１０１の設置位置とを結ぶ直線上と同じ向きに移動しているため、直線的に移動していると判断される。
Whether the user is moving linearly toward the
そして、その対象ユーザが第１グループに属するユーザか否かに応じて、メッセージ通知の要否を判断する。このように、通知システム１００では、ユーザの移動方向に応じて、メッセージを通知するか否かを判断することができる。これにより、監視対象領域に向かう管理者ユーザがいれば、当該管理者ユーザが例えば先を急いでいる場合等であっても、むやみにメッセージが通知されるのを防止することができる。なお、この判断は、データ解析部５００２を判断手段として用いることにより可能である。また、ユーザの顔認証では、例えば、赤外線センサをさらに用いることにより、顔の立体情報を特徴量とすることができ、ユーザ識別性が向上する。
Then, it is determined whether the message notification is necessary or not depending on whether the target user belongs to the first group. In this way, the
管理者ユーザが通りすがりのユーザとして検出された場合には、図２０Ｃに示す例と同様に、縮退設定（縮退操作）を促すように、メッセージを積極的に通知する。これにより、監視対象領域に向かう管理者ユーザがいれば、当該管理者ユーザが例えば先を急いでいる場合等であっても、縮退設定が容易であれば、管理者ユーザによって、一時的に画像形成装置１０１を使用可能状態に設定することができる。第１グループに属するユーザであるサービスマンが、通りすがりのユーザとして検出された場合には、図２０Ｄに示す例と同様に、部品交換を促すように、メッセージを積極的に通知する。これにより、サービスマンは、部品交換が必要であることを認識することができ、例えば後日、部品交換を行うことができる。
When the administrator user is detected as a passing user, similarly to the example shown in FIG. 20C, a message is actively sent to prompt the administrator to perform degeneration settings (degeneration operation). As a result, if there is an administrator user heading to the monitored area, even if the administrator user is in a hurry, if the degeneration setting is easy, the administrator user can temporarily image the image. Forming
一方、通りすがりの一般ユーザに対しては、無駄に部品交換、機能縮退の通知を実施したとしても、余計な操作による不具合を引き起こすおそれがあるため、積極的なメッセージ通知は抑制される。このような一般ユーザに対しては、画像形成装置１０１を使用することを目的として接近して来た場合にのみ、制限されている機能の情報をメッセージで通知するのが好ましい。図２０Ｅに示す例と同様に、一般ユーザが画像形成装置１０１の近くを通りすがった場合に、メッセージ通知をせず、一般ユーザが画像形成装置１０１に接近して来た場合に、制限されている機能をメッセージで通知する。
On the other hand, proactive message notifications are suppressed for general users who are passing by, since even if they are wasted in notifying them of parts replacement or functional deterioration, there is a risk of causing problems due to unnecessary operations. For such general users, it is preferable to notify information about restricted functions by message only when the user approaches the
さらに、ユーザ種別として、社内のユーザではなく、個別識別不可なゲストユーザは、第２グループに属するユーザであるため、画像形成装置１０１を操作する権限自体が無い。この場合、ゲストユーザに対しては、通りすがり時だけでなく、画像形成装置１０１へ接近して来た場合であっても、メッセージを通知しないのが好ましい。ゲストユーザが画像形成装置１０１の近くを通りすがるか、または、画像形成装置１０１接近して来た場合には、図２０Ｆに示す例と同様に、積極的なメッセージ通知が抑制される。
Further, as a user type, a guest user who is not an in-house user and cannot be individually identified belongs to the second group, and therefore does not have the authority to operate the
＜ユーザ種別判断における特徴の一例＞
図２９は、撮影装置が撮影した画像からユーザ種別を判断する際の特徴の一例を示す図である。通知システム１００では、監視対象領域内で検出された特定のユーザ、すなわち第１グループに属するユーザに対して、メッセージを通知する。ここでは、監視対象領域内で検出されたユーザが第１グループに属するユーザなのか否かの判別のための顔認証の具体例について説明する。
<Example of characteristics for determining user type>
FIG. 29 is a diagram illustrating an example of characteristics when determining a user type from an image photographed by a photographing device. The
図２９に示すように、画像形成装置１０１には、第１グループに属する管理者ユーザの顔を正面から見たときの画像（図中の右側の顔画像）が予め保持されている。この状態で、例えば撮影装置１０６がユーザの撮影を行った場合、当該ユーザの顔の画像として、図２９中の左上側の顔画像が得られたとする。この画像は、監視対象領域内で検出されたユーザの顔を正面から撮影したときの実画像である。
As shown in FIG. 29, the
そして、顔認証を行うのに際して、この実画像に対して、前述したＯＲＢ等の特徴量抽出アルゴリズムを用いて、目、鼻、口等の位置関係を特徴点として抽出する。実画像の特徴点と、画像形成装置１０１に予め保持されている管理者ユーザの顔画像の特徴点との一致の程度を演算する。その演算結果が所定以上であれば、実画像は、ユーザＩＤが「ＢＢＢ」（図２６参照）のユーザの顔画像と判断される。そして、ユーザＩＤが「ＢＢＢ」と紐づけられたグループの属性が判断されて、当該ユーザは、第１グループに属する管理者ユーザとして決定される。
Then, when performing face authentication, the positional relationships of the eyes, nose, mouth, etc. are extracted as feature points from this real image using a feature extraction algorithm such as the above-mentioned ORB. The degree of coincidence between the feature points of the actual image and the feature points of the administrator user's face image stored in advance in the
一方、ユーザの顔の画像として、図２９中の左下側の顔画像が得られたとする。この画像は、監視対象領域内で検出されたユーザの顔を正面から撮影したときの実画像である。そして、顔認証を行うのに際して、実画像に対して、前述したＯＲＢ等の特徴量抽出アルゴリズムを用いて、目、鼻、口等の位置関係を特徴点として抽出する。実画像の特徴点と、画像形成装置１０１に予め保持されている管理者ユーザの顔画像の特徴点との一致の程度を演算する。その演算結果が所定以上でなければ、実画像は、ユーザＩＤが「ＡＡＡ」（図２６参照）のユーザの顔画像と判断される。そして、ユーザＩＤが「ＡＡＡ」と紐づけられたグループの属性が判断されて、当該ユーザは、第２グループに属する一般ユーザとして決定される。
On the other hand, assume that the lower left face image in FIG. 29 is obtained as the user's face image. This image is an actual image taken from the front of the user's face detected within the monitoring target area. Then, when performing face authentication, the positional relationships of the eyes, nose, mouth, etc. are extracted as feature points from the real image using a feature extraction algorithm such as the above-mentioned ORB. The degree of coincidence between the feature points of the actual image and the feature points of the administrator user's face image stored in advance in the
前述したように、通知システム１００は、撮影装置１０６で撮像された画像に基づいた顔認証により、当該画像中のユーザ（人物）の識別するよう構成されている。そして、この顔認証には、例えば、ユーザを推論して識別する機械学習を用いることもできる。この場合、推論モデルは、例えば、誤差逆伝搬法等によりパラメータが調整されたニューラルネットワークを用いた学習モデルであるのが好ましい。これにより、推論モデルは、例えば、学習するための特徴量、重み等の各種パラメータを自ら生成するディープラーニングを行うことができる。
As described above, the
なお、機械学習としては、ディープラーニングに限定されず、例えば、サポートベクターマシンやロジスティクス回帰、決定木等の任意の機械学習アルゴリズムを用いた機械学習であってもよい。また、本実施形態では、ユーザが画像形成装置１０１周辺に接近したことを撮影装置１０６の撮影画像に基づいて検出しているが、これに限定されない。例えば、画像形成装置１０１周辺にユーザが接近したことを検出可能な近距離通信手段（ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）等）を使用してもよい。
Note that machine learning is not limited to deep learning, and may be machine learning using any machine learning algorithm such as support vector machine, logistics regression, decision tree, etc., for example. Further, in this embodiment, the fact that the user approaches the vicinity of the
また、本実施形態では、画像形成装置１０１がユーザ情報を保持し、ユーザの識別を行っているが、これに限定されず、例えば、クラウドサーバ１０３がユーザ情報を保持し、ユーザの識別を行ってもよい。
Further, in this embodiment, the
本実施形態の開示は、以下の構成、方法およびプログラムを含む。
（構成１） 人物を含む画像を撮像する撮像手段と、
前記撮像手段で撮像された前記画像に基づいて、該画像中の前記人物の役割を取得する取得手段と、
前記取得手段で取得された前記役割に応じて所定のイベントについてのメッセージの内容を決定する決定手段と、
前記決定手段で決定されたメッセージを通知する通知手段と、を備えることを特徴とする通知システム。
（構成２） 前記取得手段は、前記役割として前記人物の属性に関する属性情報を取得することを特徴とする構成１に記載の通知システム。
（構成３） 前記通知手段は、前記メッセージを音声で通知するスピーカを有することを特徴とする構成１また２に記載の通知システム。
（構成４） 前記所定のイベントは、所定の装置の不具合であり、
前記メッセージには、前記不具合の要因と、前記不具合に応じた対処方法とのうちの少なくとも一方が含まれることを特徴とする構成１乃至３のいずれか１つに記載の通知システム。
（構成５） 前記所定のイベントは、所定の装置の不具合であり、
前記決定手段は、前記属性情報に応じて、前記メッセージの内容を、前記不具合による前記装置の使用停止または使用制限を通知する第１通知と、前記不具合下でも一時的に前記装置の使用を可能とするための前記装置の機能縮退の作業を通知する第２通知と、前記不具合を解消するための復旧作業を通知する第３通知とのうちのいずれかに決定することを特徴とする構成２乃至４のいずれか１つに記載の通知システム。
（構成６） 前記属性情報は、前記人物が、前記装置を使用する使用者、前記装置の状態を管理する管理者、前記装置の保守および点検を行う保守点検者のうちのいずれかであるかの情報であり、
前記決定手段は、前記使用者に対しては前記第１通知を決定し、前記管理者に対しては前記第２通知を決定し、前記保守点検者に対しては前記第３通知を決定することを特徴とする構成５に記載の通知システム。
（構成７） 前記第１通知、前記第２通知、前記第３通知を予め記憶する記憶手段を備えることを特徴とする構成５または６に記載の通知システム。
（構成８） 前記通知手段は、前記装置を使用する使用者に対して前記第１通知を通知した場合、前記装置の状態を管理する管理者を呼び出すための第１呼出通知が可能であり、前記管理者に対して前記第２通知を通知した場合、前記装置の保守および点検を行う保守点検者を呼び出すための第２呼出通知が可能であることを特徴とする構成５乃至７のいずれか１つに記載の通知システム。
（構成９） 前記通知手段は、前記第１通知と前記第１呼出通知とを繰り返し、前記第２通知と前記第２呼出通知とを繰り返すことを特徴とする構成８に記載の通知システム。
（構成１０） 前記第１呼出通知、前記第２呼出通知を予め記憶する記憶手段を備えることを特徴とする構成８または９に記載の通知システム。
（構成１１） 前記決定手段は、前記属性情報が変更されるたびに、前記メッセージの内容を決定し直すことを特徴とする構成２乃至１０のいずれか１つに記載の通知システム。
（構成１２） 前記通知手段は、前記取得手段で取得された前記属性情報に変更がない場合には、前記メッセージの通知と、該通知の停止とを所定時間ごとに繰り返すことを特徴とする構成２乃至１１のいずれか１つに記載の通知システム。
（構成１３） 前記人物の移動方向に応じて、前記メッセージを通知するか否かを判断する判断手段を備えることを特徴とする構成１乃至１２のいずれか１つに記載の通知システム。
（構成１４） 前記取得手段は、Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ、Ｓｐｅｅｄｅｄ－Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ、Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍのうちの少なくとも１つを用いて、前記役割を取得することを特徴とする構成１乃至１３のいずれか１つに記載の通知システム。
（構成１５） 前記取得手段は、前記画像中の前記人物の顔を検出する顔認証を行うことにより前記人物を識別し、前記役割として前記人物が属するグループを取得し、
前記通知手段は、前記人物の属するグループが、前記イベントに対して所定の権限を有する第１グループである場合には、前記メッセージを通知し、前記人物が属するグループが、前記第１グループでの権限と異なる権限を有する第２グループである場合には、前記メッセージを通知しないことを特徴とする構成１乃至１４のいずれか１つに記載の通知システム。
（構成１６） 前記所定のイベントは、所定の装置の不具合であり、
前記メッセージには、前記不具合下でも一時的に前記装置の使用を可能とするための前記装置の機能縮退の作業の情報、または、前記不具合を解消するための復旧作業の情報が含まれることを特徴とする構成１５に記載の通知システム。
（構成１７） 前記所定のイベントは、所定の装置の不具合であり、
前記第１グループは、前記装置の状態を管理する管理者グループであり、前記第２グループは、前記装置を使用する使用者グループであることを特徴とする構成１５または１６に記載の通知システム。
（構成１８） 前記通知手段は、前記識別された人物が前記第１グループに属するか、または、前記第２グループに属するかを問わない場合には、前記メッセージを通知することを特徴とする構成１５乃至１７のいずれか１つに記載の通知システム。
（構成１９） 前記所定のイベントは、所定の装置の不具合であり、
前記撮像手段は、前記画像として、少なくとも前記装置の周辺の画像を撮像することを特徴とする構成１５乃至１８のいずれか１つに記載の通知システム。
（構成２０） 人物を検出する検出手段と、
前記検出手段での検出結果に基づいて、前記人物の役割を取得する取得手段と、
前記取得手段で取得された前記役割に応じて所定のイベントについてのメッセージの内容を決定する決定手段と、
前記決定手段で決定されたメッセージを通知する通知手段と、を備えることを特徴とする通知システム。
（方法１） 人物を含む画像を撮像する撮像工程と、
前記撮像工程で撮像された前記画像に基づいて、該画像中の前記人物の役割を取得する取得工程と、
前記取得工程で取得された前記役割に応じて所定のイベントについてのメッセージの内容を決定する決定工程と、
前記決定工程で決定されたメッセージを通知する通知工程とを備えることを特徴とする通知システムの制御方法。
（プログラム１） 構成１に記載の通知システムの各手段をコンピュータに実行させるためのプログラム。
The disclosure of this embodiment includes the following configuration, method, and program.
(Configuration 1) Imaging means for capturing an image including a person;
acquisition means for acquiring the role of the person in the image based on the image captured by the imaging means;
determining means for determining the content of a message regarding a predetermined event according to the role acquired by the acquiring means;
A notification system comprising: notification means for notifying the message determined by the determination means.
(Configuration 2) The notification system according to
(Configuration 3) The notification system according to
(Configuration 4) The predetermined event is a malfunction of a predetermined device,
4. The notification system according to any one of
(Configuration 5) The predetermined event is a malfunction of a predetermined device,
The determining means may change the content of the message into a first notification that notifies the suspension or restriction of use of the device due to the malfunction, and a first notification that temporarily allows the use of the device even under the malfunction, according to the attribute information. A
(Configuration 6) The attribute information indicates whether the person is a user who uses the device, an administrator who manages the state of the device, or a maintenance inspector who maintains and inspects the device. The information is
The determining means determines the first notification for the user, the second notification for the administrator, and the third notification for the maintenance inspector. The notification system according to configuration 5, characterized in that:
(Configuration 7) The notification system according to configuration 5 or 6, further comprising a storage unit that stores the first notification, the second notification, and the third notification in advance.
(Configuration 8) When the notification means notifies the first notification to a user who uses the device, the notification means is capable of issuing a first call notification for calling an administrator who manages the state of the device, Any one of configurations 5 to 7, characterized in that when the second notification is notified to the administrator, a second call notification for calling a maintenance inspector who performs maintenance and inspection of the device can be issued. Notification system described in one.
(Configuration 9) The notification system according to Configuration 8, wherein the notification means repeats the first notification and the first call notification, and repeats the second notification and the second call notification.
(Structure 10) The notification system according to Structure 8 or 9, further comprising a storage means for storing the first call notification and the second call notification in advance.
(Configuration 11) The notification system according to any one of
(Structure 12) A structure characterized in that the notification means repeats the notification of the message and the stop of the notification at predetermined time intervals when there is no change in the attribute information acquired by the acquisition means. 12. The notification system according to any one of 2 to 11.
(Structure 13) The notification system according to any one of
(Structure 14) The acquisition means acquires the role using at least one of Oriented FAST and Rotated BRIEF, Speeded-Up Robust Features, and Scale-Invariant Feature Transform.
(Structure 15) The acquisition means identifies the person by performing face authentication to detect the face of the person in the image, and acquires a group to which the person belongs as the role;
The notification means notifies the message when the group to which the person belongs is a first group that has a predetermined authority for the event; 15. The notification system according to any one of
(Configuration 16) The predetermined event is a malfunction of a predetermined device,
The message includes information on work to degrade the functionality of the device to temporarily enable use of the device even under the problem, or information on recovery work to eliminate the problem. The notification system according to feature 15.
(Configuration 17) The predetermined event is a malfunction of a predetermined device,
17. The notification system according to configuration 15 or 16, wherein the first group is an administrator group that manages the state of the device, and the second group is a user group that uses the device.
(Structure 18) A structure characterized in that the notification means notifies the message regardless of whether the identified person belongs to the first group or the second group. 18. The notification system according to any one of 15 to 17.
(Configuration 19) The predetermined event is a malfunction of a predetermined device,
19. The notification system according to any one of configurations 15 to 18, wherein the image capturing means captures at least an image around the device as the image.
(Configuration 20) Detection means for detecting a person;
acquisition means for acquiring the role of the person based on the detection result by the detection means;
determining means for determining the content of a message regarding a predetermined event according to the role acquired by the acquiring means;
A notification system comprising: notification means for notifying the message determined by the determination means.
(Method 1) An imaging step of capturing an image including a person;
an acquisition step of acquiring the role of the person in the image based on the image taken in the imaging step;
a determining step of determining the content of a message regarding a predetermined event according to the role acquired in the acquiring step;
A method of controlling a notification system, comprising: a notification step of notifying the message determined in the determination step.
(Program 1) A program for causing a computer to execute each means of the notification system described in
以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステムまたは装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications and changes can be made within the scope of the invention. The present invention provides a program that implements one or more functions of the embodiments described above to a system or device via a network or a storage medium, and one or more processors of a computer in the system or device reads the program. It can also be realized by executing processing. The present invention can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
１００ 通知システム
１０１ 画像形成装置（画像処理装置）
１０２ 音声制御装置
１０３ クラウドサーバ
１０６ 撮影装置（撮像手段）
３１０ スピーカ
６００ 音声制御プログラム
７００ システム制御プログラム
８００ カメラ制御プログラム
５０００ デバイス制御プログラム
１７００ データ変換制御プログラム
100
102
310
Claims (22)
前記撮像手段で撮像された前記画像に基づいて、該画像中の前記人物の役割を取得する取得手段と、
前記取得手段で取得された前記役割に応じて所定のイベントについてのメッセージの内容を決定する決定手段と、
前記決定手段で決定されたメッセージを通知する通知手段と、を備えることを特徴とする通知システム。 an imaging means for capturing an image including a person;
acquisition means for acquiring the role of the person in the image based on the image captured by the imaging means;
determining means for determining the content of a message regarding a predetermined event according to the role acquired by the acquiring means;
A notification system comprising: notification means for notifying the message determined by the determination means.
前記メッセージには、前記不具合の要因と、前記不具合に応じた対処方法とのうちの少なくとも一方が含まれることを特徴とする請求項１に記載の通知システム。 The predetermined event is a malfunction of a predetermined device,
2. The notification system according to claim 1, wherein the message includes at least one of a cause of the problem and a countermeasure according to the problem.
前記決定手段は、前記属性情報に応じて、前記メッセージの内容を、前記不具合による前記装置の使用停止または使用制限を通知する第１通知と、前記不具合下でも一時的に前記装置の使用を可能とするための前記装置の機能縮退の作業を通知する第２通知と、前記不具合を解消するための復旧作業を通知する第３通知とのうちのいずれかに決定することを特徴とする請求項２に記載の通知システム。 The predetermined event is a malfunction of a predetermined device,
The determining means may change the content of the message into a first notification that notifies the suspension or restriction of use of the device due to the malfunction, and a first notification that temporarily allows the use of the device even under the malfunction, according to the attribute information. A claim characterized in that either a second notification notifying work to degrade the function of the device to solve the problem or a third notification notifying a restoration work to eliminate the problem is determined. 2. The notification system described in 2.
前記決定手段は、前記使用者に対しては前記第１通知を決定し、前記管理者に対しては前記第２通知を決定し、前記保守点検者に対しては前記第３通知を決定することを特徴とする請求項５に記載の通知システム。 The attribute information is information indicating whether the person is a user who uses the device, an administrator who manages the state of the device, or a maintenance inspector who maintains and inspects the device. ,
The determining means determines the first notification for the user, the second notification for the administrator, and the third notification for the maintenance inspector. The notification system according to claim 5, characterized in that:
前記通知手段は、前記人物の属するグループが、前記イベントに対して所定の権限を有する第１グループである場合には、前記メッセージを通知し、前記人物が属するグループが、前記第１グループでの権限と異なる権限を有する第２グループである場合には、前記メッセージを通知しないことを特徴とする請求項１に記載の通知システム。 The acquisition means identifies the person by performing face authentication to detect the face of the person in the image, and acquires a group to which the person belongs as the role;
The notification means notifies the message when the group to which the person belongs is a first group that has a predetermined authority for the event; The notification system according to claim 1, wherein the notification system does not notify the message if the second group has an authority different from the authority.
前記メッセージには、前記不具合下でも一時的に前記装置の使用を可能とするための前記装置の機能縮退の作業の情報、または、前記不具合を解消するための復旧作業の情報が含まれることを特徴とする請求項１５に記載の通知システム。 The predetermined event is a malfunction of a predetermined device,
The message includes information on work to degrade the functionality of the device to temporarily enable use of the device even under the problem, or information on recovery work to eliminate the problem. 16. The notification system according to claim 15.
前記第１グループは、前記装置の状態を管理する管理者グループであり、前記第２グループは、前記装置を使用する使用者グループであることを特徴とする請求項１５に記載の通知システム。 The predetermined event is a malfunction of a predetermined device,
16. The notification system according to claim 15, wherein the first group is an administrator group that manages the status of the device, and the second group is a user group that uses the device.
前記撮像手段は、前記画像として、少なくとも前記装置の周辺の画像を撮像することを特徴とする請求項１５に記載の通知システム。 The predetermined event is a malfunction of a predetermined device,
16. The notification system according to claim 15, wherein the image capturing means captures at least an image around the device as the image.
前記検出手段での検出結果に基づいて、前記人物の役割を取得する取得手段と、
前記取得手段で取得された前記役割に応じて所定のイベントについてのメッセージの内容を決定する決定手段と、
前記決定手段で決定されたメッセージを通知する通知手段と、を備えることを特徴とする通知システム。 a detection means for detecting a person;
acquisition means for acquiring the role of the person based on the detection result by the detection means;
determining means for determining the content of a message regarding a predetermined event according to the role acquired by the acquiring means;
A notification system comprising: notification means for notifying the message determined by the determination means.
前記撮像工程で撮像された前記画像に基づいて、該画像中の前記人物の役割を取得する取得工程と、
前記取得工程で取得された前記役割に応じて所定のイベントについてのメッセージの内容を決定する決定工程と、
前記決定工程で決定されたメッセージを通知する通知工程とを備えることを特徴とする通知システムの制御方法。 an imaging step of capturing an image including a person;
an acquisition step of acquiring the role of the person in the image based on the image taken in the imaging step;
a determining step of determining the content of a message regarding a predetermined event according to the role acquired in the acquiring step;
A method of controlling a notification system, comprising: a notification step of notifying the message determined in the determination step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/191,281 US20230336669A1 (en) | 2022-04-18 | 2023-03-28 | Notification system notifying user of message, control method therefor, and storage medium storing control program therefor |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022068273 | 2022-04-18 | ||
| JP2022068273 | 2022-04-18 | ||
| JP2022076685 | 2022-05-06 | ||
| JP2022076685 | 2022-05-06 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023158629A true JP2023158629A (en) | 2023-10-30 |
Family
ID=88509471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023022893A Pending JP2023158629A (en) | 2022-04-18 | 2023-02-16 | Notification system, control method therefor, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023158629A (en) |
-
2023
- 2023-02-16 JP JP2023022893A patent/JP2023158629A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5460818B2 (en) | Information processing apparatus and method | |
| JP5998830B2 (en) | Power supply control device, image processing device, power supply control program | |
| JP6575215B2 (en) | Image forming apparatus and image forming system | |
| JP2014099205A (en) | Electric power supply control apparatus, image processing apparatus, and electric power supply control program | |
| JP2014082596A (en) | Power supply control device, image processing apparatus, and power supply control program | |
| JP7471379B2 (en) | Voice operation system and voice operation method | |
| JP6776639B2 (en) | Information processing system, electronic device, information processing device, information processing method, electronic device processing method, and program | |
| US11611668B2 (en) | Image processing system that generates job setting information based on interaction with user of information processing apparatus using chatbot | |
| JP2006205671A (en) | Information processor and its controlling method | |
| US9554016B2 (en) | System, and method for controlling the system | |
| JP6780667B2 (en) | Management system | |
| US9525790B1 (en) | Image forming apparatus and notification method for image forming apparatus | |
| JP6642316B2 (en) | Information processing system, electronic device, information processing device, information processing method, electronic device processing method, and program | |
| JP6456042B2 (en) | Image forming apparatus, printing system, method and program in image forming apparatus. | |
| JP2009065562A (en) | Audio output device, and image forming device including the same | |
| JP2023158629A (en) | Notification system, control method therefor, and program | |
| JP7284455B2 (en) | Device | |
| JP6741386B2 (en) | Equipment with security function | |
| US20230336669A1 (en) | Notification system notifying user of message, control method therefor, and storage medium storing control program therefor | |
| US20200274979A1 (en) | System, image forming apparatus, method, and program | |
| JP2024017221A (en) | Notification system, voice notification device, method for controlling the same, and program | |
| US9596368B2 (en) | Server apparatus, method for controlling server apparatus, and storage medium | |
| US20210195041A1 (en) | Image forming apparatus and information transmission method | |
| JP7040190B2 (en) | A recognition system, recognition method, and recognition program for the taker of the output of the image forming apparatus. | |
| JP7414922B2 (en) | Image forming device and audio output method |