JP2020021294A - デバイスの障害検出装置、障害検出方法、および障害検出プログラム - Google Patents

Abstract

【課題】コマンド・レスポンス方式では検出することができない、２種類の故障フェーズを検出可能とすること。【解決手段】処理装置の中でユーザによって操作可能な複数のデバイスの障害を検出する障害検出装置は、複数のデバイスに対するユーザによる操作状況を撮影可能なカメラを備える。操作デバイス特定部は、カメラで撮影されたカメラ画像に基づいて、ユーザがどのデバイスを操作しているかを特定し、ユーザ操作検出結果信号を出力する。デバイス出力検出部は、複数のデバイスのいずれかから出力される信号を検出し、デバイス出力検出信号を出力する。故障判定制御部は、デバイス出力検出信号とユーザ操作検出結果信号とを比較して、複数のデバイスのいずれかの故障の有無を判定する。【選択図】図３

Description

本発明は、デバイスの障害検出装置、障害検出方法、および障害検出プログラムに関する。

周知のように、現在、世の中にはユーザが操作を行う必要がある処理装置が多数存在する。例えば、そのような処理装置としては、ＡＴＭ（automatic teller’s machine）等の現金処理装置や、マルチメディア端末、ＰＯＳ（point of sales）端末のような店舗端末等が挙げられる。

このようなユーザが操作を行う必要がある処理装置は、ユーザが操作をするための複数の入力装置（操作ユニット）を備えている。複数の入力装置（操作ユニット）としては、例えば、タッチパネルやテンキー、カードの情報を読み取るためのカードリーダなどが挙げられる。タッチパネルは複数のボタン（ソフトウェアキー）を持つ。テンキーは複数のハードウェアキーから成る。カードリーダは、キャッシュカードなどのカードを挿入するための挿入口を持つ。

本明細書中においては、入力装置（操作ユニット）を「デバイス」とも呼ぶことにする。なお、デバイスは、上記のものに限定されないのは勿論であり、ユーザが操作をするための任意の入力装置（操作ユニット）を含んでもよい。

この種の処理装置においては、一般的に、各デバイスの障害検出を、コマンド・レスポンス方式により行っている。しかしながら、後で図面を参照して詳細に説明するように、このコマンド・レスポンス方式では、次に述べるような２種類の故障フェーズを検出することができない。

第１の故障フェーズは、処理装置の操作中にユーザが特定のデバイスを操作したにも拘わらず、当該特定のデバイスが動作しない故障フェーズである。第２の故障フェーズは、ユーザが何もデバイスを操作していないにも拘わらず、あるデバイスが勝手に動作する故障フェーズである。このように、コマンド・レスポンス方式では、上記第１および第２の故障フェーズを検出することができない。したがって、そのような場合には、処理装置を操作した操作者（ユーザ）の申告でしか、処理装置の当該デバイスの障害を検出できないことになる。そのため、関連技術では、事前に運用側で故障を検出することができず、保守対応が遅れる可能性があるという課題がある。

また、本発明に関連する先行技術文献が、種々、知られている。

例えば、特許文献１は、操作部と表示部と制御部とを含む携帯端末を開示している。操作部は、利用者が携帯端末を操作するための操作インターフェースである。操作部は、テンキーやタッチパネル等の入力装置で構成され、利用者からの各種操作を受け付け、それらの操作に対応する信号を制御部へ出力する。表示部をタッチパネルディスプレイで構成することで、表示部と操作部とを一体化してもよい。

特許文献２は、監視カメラとして機能するネットワークカメラを備えたデバイス管理システムを開示している。特許文献２において、撮像手段として機能するネットワークカメラはネットワークデバイスの操作を行うユーザを撮像する。ユーザが管理の対象となるネットワークデバイスとして、ＭＦＰ（Multifunction Peripheral）の操作を行う際に、撮像手段として機能するネットワークデバイスにより操作記録の画像が録画される。

また、特許文献３は、誤入力に起因する情報処理装置の誤動作を軽減する座標入力装置を開示している。特許文献３に開示された座標入力装置は、タッチパネルと、入力座標検出部と、振動センサと、波形パターン記憶部と、振動波形識別部と、判定部とを含む。タッチパネルは、オペレータからのタッチ入力操作を受け付ける。入力座標検出部は、タッチパネル上でタッチ入力操作された際に生じる電気信号に基づいて座標位置を検出して、タッチ入力通知信号を出力する。振動センサは、タッチパネルの表面に設けられ、タッチパネル操作時にタッチパネルを振動伝達板として伝達された振動を検出する。波形パターン記憶部は、タッチ入力操作が良好に行われた際に生じる操作振動を周波数解析して得られる波形パターンを基準波形パターンとして記憶している。振動波形識別部は、振動センサによって検出された振動を周波数解析して検出波形パターンを取得し、この検出波形パターンおよび基準波形パターンを比較し、各タッチ入力操作がオペレータが意図した正常な操作か否かを識別し、識別結果を操作状態通知信号として出力する。判定部は、タッチ入力通知信号および操作状態通知信号に基づいて、タッチ入力操作が有効か無効かを判定し、その判定結果を出力する。

特許文献４は、情報処理システムの可用性を向上させた「処理装置」を開示している。情報処理システムは、複数の処理装置によって冗長化されて、いずれかの処理装置が故障しても業務を継続できるように構築されている。処理装置は、処理装置を構築するデバイスと、処理部とを含む。特許文献４におけるデバイスは、フロントエンド（ＦＥ）、ＦＥ中継デバイス、制御部、メモリ、状態管理部、バックエンド（ＢＥ）、ＢＥ中継デバイス等の機能ブロックのことである。処理部は、デバイスまたはデバイス間の異常を検知する。処理部は、検知したデバイスの異常の回数を計測する。処理部は、計測したデバイスの異常の回数が閾値以上の場合、該デバイスを情報処理装置システムから論理的に切り離す。処理部は、検知したデバイスの異常の回数が閾値より小さい場合には、デバイスのリブートを実行する。

特許文献４の処理装置において、状態管理部は、ポーリングにより、各機能ブロックへ状態確認パケット（コマンド）を送信する。各機能ブロックは、状態監視コマンドを受信した場合、自身の状態情報（自身の機能ブロック内のエラー発生の有無）を状態管理部へ送信する。各機能ブロックが自分の異常状態を示す情報を状態管理部に通知する。致命的エラーが発生した場合には、各機能ブロックは、エラー通知パケット（コマンド）を送信する。また、特許文献４では、状態確認部が、ポーリングにより機能ブロックに状態確認パケットを送信して、各機能ブロックの状態確認を行っている。

特許文献５は、セキュリティを確保しつつ、複雑化するパスワードの入力操作の簡易化を図ることが可能な「画像処理装置の簡易認証システム」を開示している。特許文献５では、ユーザが画像処理装置にログインする際に、表示手段に表示されたパスワード入力画面に、ユーザの登録済パスワードが登録済のジェスチャパターンの並び順で表示されるようになっている。これにより、ユーザはパスワード入力画面に対して、ジェスチャパターン通りに表示中のソフトウェアキーを押下するだけでパスワードを入力することができる。

特開２０１５−１２１９６９号公報 特開２００９−１９３１６９号公報 特開２００９−０２６１７４号公報 特開２０１４−１９１４０１号公報 特開２０１４−０７５０１１号公報

しかしながら、特許文献１〜５には、それぞれ、次に述べるような問題がある。

特許文献１では、単に操作部での操作に対応する信号を制御部へ出力することを開示しているに過ぎない。換言すれば、特許文献１では、本発明が解決しようとする、デバイスの障害検出を行う技術思想を、何ら認識も開示も示唆もしていない。

特許文献２は、単に、ネットワークデバイスの操作を行うユーザを撮像するネットワークカメラ（監視カメラ）を開示しているに過ぎない。特許文献２でも、本発明が解決しようとする、デバイスの障害検出を行う技術思想を、何ら認識も開示も示唆もしていない。

特許文献３は、タッチパネルと振動センサによる位置検出で二重化することで、タッチ入力操作が正常な操作か否かを識別するようにした技術を開示しているに過ぎない。したがって、特許文献３は単に誤入力を識別し、除外することを開示するのみで、本発明が検出しようとする、上記２種類の故障フェーズを検出することはできない。

特許文献４は、処理装置の内部にあるデバイスで発生した異常を、上記コマンド・レスポンス方式で検知し、デバイスの異常検知を回数で検出する技術を開示しているに過ぎない。したがって、特許文献４の処理装置では、本発明が検出しようとする、上記２種類の故障フェーズを検出することはできない。

また、特許文献４のデバイスは、処理装置の側（内部）で障害（故障）を検出できる機器を対象としている。これに対して、本発明が対象としているデバイスは、処理装置の側（内部）で障害を検出できない機器（入力装置）である。換言すれば、特許文献４のデバイスには、本発明が対象としている入力装置（操作ユニット）が含まれておらず、本発明が対象とするデバイスとは異なる。

特許文献５は、認証に必要なパスワードの入力としてジェスチャパターンを用いた技術的思想を開示しているに過ぎない。特許文献５でも、本発明が解決しようとする、デバイスの障害検出を行う技術思想を、何ら認識も開示も示唆もしていない。

本発明の目的は、上述した課題を解決するデバイスの障害検出装置、障害検出方法、および障害検出プログラムを提供することにある。

本発明の１つの態様として、デバイスの障害検出装置は、処理装置の中でユーザによって操作可能な複数のデバイスの障害を検出する障害検出装置であって、前記複数のデバイスに対する前記ユーザによる操作状況を撮影可能なカメラと；該カメラで撮影されたカメラ画像に基づいて、前記ユーザがどのデバイスを操作しているかを特定し、ユーザ操作検出結果信号を出力する操作デバイス特定部と；前記複数のデバイスのいずれかから出力される信号を検出し、デバイス出力検出信号を出力するデバイス出力検出部と；前記デバイス出力検出信号と前記ユーザ操作検出結果信号とを比較して、前記複数のデバイスのいずれかの故障の有無を判定する故障判定制御部と；を備える。

本発明の他の態様として、デバイスの障害検出方法は、処理装置の中でユーザによって操作可能な複数のデバイスの障害を検出する障害検出方法であって、前記複数のデバイスに対する前記ユーザによる操作状況を撮影可能なカメラで撮影されたカメラ画像に基づいて、前記ユーザがどのデバイスを操作しているかを特定し、ユーザ操作検出結果信号を出力し；前記複数のデバイスのいずれかから出力される信号を検出し、デバイス出力検出信号を出力し；前記デバイス出力検出信号と前記ユーザ操作検出結果信号とを比較して、前記複数のデバイスのいずれかの故障の有無を判定する。

本発明の他の態様として、障害検出プログラムは、コンピュータに、処理装置の中でユーザによって操作可能な複数のデバイスの障害を検出させる障害検出プログラムであって、前記複数のデバイスに対する前記ユーザによる操作状況を撮影可能なカメラで撮影されたカメラ画像に基づいて、前記ユーザがどのデバイスを操作しているかを特定し、ユーザ操作検出結果信号を出力する操作デバイス特定手順と；前記複数のデバイスのいずれかから出力される信号を検出し、デバイス出力検出信号を出力するデバイス出力検出手順と；前記デバイス出力検出信号と前記ユーザ操作検出結果信号とを比較して、前記複数のデバイスのいずれかの故障の有無を判定する故障判定制御手順と；を前記コンピュータに実行させる。

さらに、係るプログラムを記録するコンピュータが読み取り可能な記録媒体によっても実現される。

本発明によれば、コマンド・レスポンス方式では検出することができない、２種類の故障フェーズを検出することができる。

関連技術のデバイスの障害検出フローを示すフローチャートである。 本発明の第１の実施形態に係るデバイスの障害検出装置が適用される処理装置のハードウェア構成を示す図であって、（Ａ）は処理装置の正面図であり、（Ｂ）は処理装置のパネル側面図である。 図２に示した処理装置に備えらえる、本発明の第１の実施形態に係るデバイスの障害検出装置の構成を示すブロック図である。 本発明の第２の実施形態に係るデバイスの障害検出装置の構成を示すブロック図である。 図４に示した障害検出装置に使用される操作デバイス特定部の詳細な内部構成を示すブロック図である。 図５のユーザ操作パターン格納部に格納された複数のユーザ操作パターンの一例を示す図である。 図４に示した障害検出装置に使用される故障判定制御納部の詳細な内部構成を示すブロック図である。 図４に示した障害検出装置の操作フローを示すフローチャートである。 図３又は図４に示した障害検出装置を、ソフトウェアで実現する場合の情報処理装置（コンピュータ）のハードウェアの一例を示すブロック図である。

［関連技術］
本発明の理解を容易にするために、先ず、本発明の関連技術について説明する。

図１は、関連技術のデバイスの障害検出フローを示すフローチャートである。図１に示すように、関連技術のデバイスの障害検出方法では、ユーザ操作（ステップＳ１０１）をトリガとして、ユーザの動作コマンドが発行される（ステップＳ１０２）。このユーザの動作コマンドの発行（ステップＳ１０２）に対して、デバイスの動作レスポンスの検出が行われる（ステップＳ１０３）。レスポンスが検出された場合（ステップＳ１０３のＹＥＳ）、処理装置は通常の動作を継続する（ステップＳ１０４）。一方、レスポンスを検出できない場合（ステップＳ１０３のＮＯ）、処理装置はエラー通知を行う（ステップＳ１０５）。

図１に示した、関連技術のデバイスの障害検出方法では、次に述べるような第１および第２の故障フェーズを処理装置で検出することができない。

第１の故障フェーズは、処理装置の操作中にユーザが特定のデバイスを操作した（ステップＳ１０１）にも拘わらず、ステップＳ１０２の動作コマンドが特定のデバイスから発行されず、特定のデバイスが動作しない故障フェーズである。第２の故障フェーズは、ステップＳ１０１にてユーザがデバイスを操作していないにも拘わらず、ステップＳ１０２で動作コマンドがあるデバイスから発行され、当該デバイスが動作する故障フェーズである。

このように関連技術のデバイスの障害検出方法では、第１または第２の故障フェーズを処理装置で検出することができない。その結果、処理装置を操作した操作者の申告でしか、デバイスの障害を検知できない場合があった。

［実施の形態］
以下、図面を参照して本発明の実施形態について詳細に説明する。

［第１の実施形態］
図２及び図３を参照して、本発明の第１の実施形態に係るデバイスの障害検出装置について説明する。

図２は本第１の実施形態に係るデバイスの障害検出装置が適用される処理装置２００のハードウェア構成を示す図である。図２において、（Ａ）は処理装置２００の正面図であり、（Ｂ）は処理装置２００のパネル側面図である。図３は本第１の実施形態に係る障害検出装置３００の構成を示すブロック図である。

図２（Ａ）に示されるように、図示の処理装置２００は、例えば、コンビニエンスストア内に設置される現金処理装置から成ってよい。

処理装置２００はカメラ２０２を実装している。処理装置２００は、その両側面にバイザー２０４を備えている。処理装置２００は、バイザー２０４の間に、ユーザによって操作可能な、タッチパネルディスプレイ２０６を備える。また、処理装置２００は、タッチパネルディスプレイ２０６の下部に、テンキー２０８を備える。なお、図２（Ａ）には図示はしないが、処理装置２００は、その内部に、キャッシュカード等のカードの情報を読み取り可能な、カードリーダ２１０を備えている。処理装置２００は、その正面に、カードリーダ２１０の挿入口２１０ａを備えている。

図２（Ｂ）に示されるように、タッチパネルディスプレイ２０６は、タッチパネル２１２と、表示パネル２１４と、視野角制限フィルタ２１６とを備える。タッチパネルディスプレイ２０６の上部に、カメラ２０２が実装されている。カメラ２０２は、図２（Ａ）に示されるように、撮影範囲を撮影可能である。すなわち、カメラ２０２は、タッチパネルディスプレイ２０６、テンキー２０８、およびカードリーダの挿入口２１０を含む撮影範囲を撮影可能である。

したがって、図示の処理装置２００は、デバイスとして、タッチパネル２１０、テンキー２０８、およびカードリーダ２１０（の挿入口２１０ａ）を備えている。

本発明の第１の実施形態によるデバイスの障害検出方法は、処理装置２００に実装されているカメラ２０２を利用して、ユーザによる上記デバイスに対する操作動作を検出する。そして、デバイスの障害検出方法は、ユーザの操作動作の検出時に、デバイスからの出力信号（動作レスポンス）を検出する。デバイスの障害検出方法は、操作動作検出と出力信号検出（動作レスポンス検出）との一致、不一致により、デバイスの障害検出を、図３に示す障害検出装置３００で行う。

前述したように、関連技術では、処理装置の操作中にユーザが操作したにも拘わらずデバイスが動作しない第１の故障フェーズと、ユーザが操作していないにも拘わらずデバイスが動作する第２の故障フェーズとを、現状では操作者の申告でしか検知できない。

これに対して、本第１の実施形態では、後述する図３に示す障害検出装置３００により、操作動作検出とデバイスの動作レスポンス検出との一致、不一致により、デバイスの故障検出を行い、自律的にHW（hardware）リセット、故障検出を行うことを実現する。

図３は、図２（Ａ）の処理装置２００に備えられる、デバイスの障害検出装置３００を示すブロック図である。

デバイスの障害検出装置３００は、操作デバイス特定部３０２と、デバイス出力検出部３０４と、故障判定制御部３０６とを備える。

操作デバイス特定部３０２は、カメラ２０２で撮像された、ユーザのデバイスの操作状況を表すカメラ画像を受け、このカメラ画像に基づいて、ユーザがどのデバイスを操作しているかを特定し、ユーザ操作検出結果信号を出力する。このユーザ操作検出結果信号は、上記操作動作検出、すなわち、ユーザ操作を表している。

デバイス出力検出部３０４は、複数のデバイス２０８、２１０、２１２のいずれかから出力される信号（動作レスポンス）を検出し、デバイス出力検出信号を出力する。このデバイス出力検出信号は、上記デバイスの動作レスポンス検出、すなわち、デバイス状態を表している。

故障判定制御部３０６は、デバイス出力検出信号とユーザ操作検出結果信号とを比較して、上記複数のデバイス２０８、２１０、２１２のいずれかの故障の有無を判定する。すなわち、デバイス出力検出信号とユーザ操作検出結果信号とが一致しない場合、当該デバイスは、上記第１の故障フェーズまたは上記第２の故障フェーズにあることになる。

具体的には、ユーザ操作検出結果信号を受けたが、デバイス出力検出信号を受けなかった場合、故障判定制御部３０６は、当該デバイスが第１の故障フェーズにあると判定することができる。一方、ユーザ操作検出結果信号を受けなかったが、デバイス出力検出信号を受けた場合、故障判定制御部３０６は、当該デバイスが第２の故障フェーズにあると判定することができる。

このように本第１の実施形態によれば、第１及び第２の故障フェーズを、ユーザの申告を伴わずに、処理装置２００で故障判定を行うことができる。

［第２の実施形態］
図４乃至図８を参照して、本発明の第２の実施形態に係るデバイスの障害検出装置３００Ａについて説明する。

図４は本第２の実施形態に係るデバイスの障害検出装置３００Ａの構成を示すブロック図である。図５は図４に示した障害検出装置３００Ａに用いられる操作デバイス特定部３０２の内部構成を詳細に示すブロック図である。図６は、操作デバイス特定部３０２のユーザ操作パターン格納部（後述）に格納された複数のユーザ操作パターンの一例を示す図である。図７は図４に示した障害検出装置３００Ａに用いられる故障判定制御部３０６の内部構成を詳細に示すブロック図である。図８は図４に示した障害検出装置３００Ａの操作フローを示すフローチャートである。

図示の障害検出装置３００Ａは、図３に図示した障害検出装置３００に対して、ＣＰＵ（central processing unit）３０１と、デバイスリセット制御部３０８と、エラー通知部３１０とを更に備える点を除いて、図３に図示した障害検出装置３００と同様の構成を有し、動作をする。以下では説明を簡略化するために、図３に図示した障害検出装置３００と異なる点についてのみ詳細に説明する。

ＣＰＵ３０１は、障害検出装置３００Ａ全体を主制御する。

デバイスリセット制御部３０８は、検出したユーザ操作状態とデバイス状態とが一致しない時に、デバイスをリセットする。換言すれば、デバイスリセット制御部３０８は、後述するように、故障判定制御部３０６から供給されるリセット信号に応答して、該当デバイスをリセットする。

エラー通知部３１０は、デバイスの故障が有ると判定したときに通知する。詳述すると、故障判定制御部３０６は、まず、故障有の判定結果を示す故障結果判定信号の回数をカウントする。そして、故障判定制御部３０６は、このカウントした回数が所定回数に達したときに、エラーメッセージをエラー通知部３１０に発行する。

本障害検出装置３００Ａでは、図１に示した関連技術の課題を、次の様にして解決している。すなわち、後述するように、操作デバイス特定部３０２のユーザ操作パターン格納部（後述）で対象デバイスの操作パターンをあらかじめ保存しておく。そして、操作デバイス特定部３０２は、図２に示す処理装置２００に実装されたカメラ２０２で撮像したカメラ画像で示されるユーザ操作と、操作パターンとを比較し、ユーザが当該デバイスを操作しているかどうかを判定する。これより、上記関連技術の課題を解決している。

図５は、図４に示される操作デバイス特定部３０２の内部構成を詳細に示すブロック図である。

操作デバイス特定部３０２は、カメラ制御部５０２と、ユーザ操作検出部５０４と、ユーザ操作パターン格納部５０６とを備える。

カメラ制御部５０２は、処理装置２００に実装されたカメラ２０２を制御し、カメラ画像を取得する。

ユーザ操作パターン格納部５０６は、ユーザが複数のデバイス２１２、２１０、２０８に対して操作する操作状況を、あらかじめカメラ２０２で撮影したカメラ画像で表された操作ジェスチャを、複数のデバイス２１２、２１０、２０８毎にパターン化して得られる複数のユーザ操作パターンを格納する。

ユーザ操作検出部５０４は、上記取得したカメラ画像からユーザ操作を検出する。詳述すると、ユーザ操作検出部５０４は、取得したカメラ画像から、ユーザ操作パターン格納部５０６に格納されている複数のユーザ操作パターンを参照することにより、ユーザが操作したデバイスを特定し、上記ユーザ操作検出結果信号を出力する。

本例の場合、上記操作ジェスチャは、次に述べる第１乃至第３のジェスチャから成る。第１のジェスチャは、ユーザがタッチパネル２１２を操作する第１の操作状況を表す。第２のジェスチャは、ユーザがカードリーダ２１０の挿入口２１０ａへカードを挿入する第２の操作状況を表す。第３のジェスチャは、ユーザがテンキー２０８を操作する第３の操作状況を表す。

図６は、ユーザ操作パターン格納部５０６に格納された複数のユーザ操作パターンの一例を示す図である。

図６に示されるように、ユーザ操作パターン格納部５０６には、複数の操作種別と複数のユーザ操作パターンとが一対一に紐付けて登録されている。例えば、操作種別が「タッチパネルの操作」である場合には、対応するユーザ操作パターンとして上記第１のジェスチャが登録される。同様に、操作種別が「カードリーダの操作」である場合には、対応するユーザ操作パターンとして上記第２のジェスチャが登録される。操作種別が「テンキーの操作」である場合、対応するユーザ操作パターンとして第３のジェスチャが登録される。

より詳細に説明すると、第１のジェスチャとは、タッチパネル２１２の表面を押下しようとするユーザの動きをパターン化したものであって、パネル表面をユーザが押そうとした時の動作をパターン化したものである。第２のジェスチャは、カードリーダ２１０の挿入口２１０ａにカードを挿入しようとするユーザの動きをパターン化したものである。第３のジェスチャは、テンキー２０８を押下しようとするユーザの動きをパターン化したものである。

尚、各ユーザ操作パターンは、各操作種別に対応したユーザ操作の操作状況の特徴を表すデータである。このユーザ操作パターンは、カメラ２０２で撮像したカメラ画像に対して、予め、ソフトウェアの画像解析システムを用いて解析を行い、どのような操作ジェスチャであったかを認識して得られるデータである。

図７は、図４に示される故障判定制御部３０６の内部構成を詳細に示すブロック図である。

故障判定制御部３０６は、デバイス動作判定部４０２と、操作デバイス判定部４０４と、故障判定部４０６と、回復制御部４０８とを備える。

デバイス動作判定部４０２は、デバイスから出力された信号を検出し、デバイスが動作しているかどうかを判定する。詳述すると、デバイス動作判定部４０２は、デバイス出力検出部３０４から供給される上記デバイス出力検出信号を検出して、複数のデバイス２１２、２１０、２０８のいずれかが動作しているか否かを判定して、デバイス動作状態を表すデバイス動作判定結果信号を出力する。

操作デバイス判定部４０４は、操作デバイス特定部３０２のユーザ操作検出部５０４で検出されたユーザ操作から操作されているデバイスを判定する。詳述すると、操作デバイス判定部４０４は、ユーザ操作検出部５０４から送出される上記ユーザ操作検出結果信号に応答して、ユーザによって操作されているデバイスを判定して、ユーザ操作状態を表すユーザ操作状態判定結果信号を出力する。

故障判定部４０６は、デバイス動作状態とユーザ操作状態とを比較して、デバイスの動作状態を判定する。詳述すると、故障判定部４０６は、上記デバイス動作判定結果信号と上記ユーザ操作状態判定結果信号とを比較することにより、ユーザ操作状態とデバイス動作状態との一致又は不一致を判定して、複数のデバイス２１２、２１０、２０８のいずれかの故障の有無の判定結果を示す故障判定結果信号を出力する。

回復制御部４０８は、検出したユーザ操作状態とデバイス動作状態とが一致しない時に、デバイスをリセットする。詳述すると、回復制御部４０８は、故障判定部４０６においてユーザ操作状態とデバイス動作状態とが不一致であると判定されたときに、故障と判定されたデバイスを回復するための上記リセット信号を出力する。

本第２の実施形態の動作の概略について説明する。

まず、操作デバイス特定部３０２のユーザ操作検出部５０４が、図２に示す処理装置２００に実装されたカメラ２０２で撮像されたカメラ画像からユーザ操作を検出したとする。この時、操作デバイス判定部４０４は、ユーザ操作検出結果信号に応答して、操作対象デバイスを判定する。デバイス出力検出部３０４は、判定した操作対象デバイスからの出力信号を監視し、デバイス動作判定部４０２は、デバイスの動作状態を判定する。故障判定部４０６は、検出した操作対象デバイスのユーザ操作状態とデバイス動作状態とから、デバイスの故障の有無を判定する。このことで、ユーザ申告を伴わずに、処理装置２００で故障判定を行うことができる。

本発明の第２の実施形態は、次を特徴とする。

操作デバイス特定部３０２のユーザ操作パターン格納部５０６は、上述したように、あらかじめデバイスを操作する操作ジェスチャをパターン化して格納している。操作デバイス特定部３０２のユーザ操作検出部５０４が、図２に示す処理装置２００に実装されたカメラ２０２でのカメラ画像からユーザ操作を検出した時、操作デバイス判定部４０４は、一致するパターンから操作されるデバイスを判定する。デバイス出力検出部３０４は、判定されたデバイスからの出力信号を監視する。デバイス動作判定部４０２は、デバイスの動作状態を判定する。故障判定部４０６は、ユーザ操作状態とデバイス動作状態との一致、不一致を判定する。これにより、デバイスの故障を処理装置２００で検出可能としている。

次に、図８の操作フロー図に従って、第２の実施形態の動作について説明する。

開始に先立って、あらかじめ、押下する画像をパターン化したものを障害検出装置３００Ａにあるユーザ操作パターン格納部５０６に登録する。登録方法は、基本動作パターン取得のために各種方向からのデバイス操作を実施し、デバイスが動作した時のパターンをユーザ操作パターン格納部５０６に保存する（ステップＳ２０１）。

ユーザ操作検出部５０４は、デバイス操作の有無をカメラ２０２で撮像したカメラ画像から検出する（ステップＳ２０２）。デバイス操作の検出が有りの場合（ステップＳ２０２のＹＥＳ）、デバイス出力検出部３０４は、特定されたデバイスからのデバイス出力信号の取得を行う（ステップＳ２０３）。デバイス出力信号の検出が有りの場合（ステップＳ２０３のＹＥＳ）、故障判定制御部３０６は正常動作と判定し、処理装置２００は動作を継続する（ステップＳ２０４）。デバイス出力信号の検出が無しの場合（ステップＳ２０３のＮＯ）、故障判定制御部３０６は、故障判定モードを実行する。

故障判定モードでは、回復制御部４０８からのリセット信号に応答して、デバイスリセット制御部３０８は、該当デバイスをリセットする（ステップＳ２０９）。そして、故障判定制御部３０６は、再度デバイス操作のメッセージをユーザに示して再操作を促す（ステップＳ２１０）。故障判定部４０６は、複数回で復帰しなければ故障と判定し（ステップＳ２１１）、エラー通知部３１０へエラー通知を行う（ステップＳ２１２）。

一方、デバイス操作の検出が無しの場合（ステップＳ２０２のＮＯ）、デバイス出力検出部３０４は、各デバイスからのデバイス出力信号を監視する（ステップＳ２０５）。デバイス出力信号がない場合（ステップＳ１０５のＮＯ）、故障判定部４０６は、ユーザ操作状態とデバイス動作状態とが一致していると判定して、処理装置２００は通常動作を継続する（Ｓ２０６）。デバイス出力信号がある場合（ステップＳ２０５のＹＥＳ）、ユーザ操作状態とデバイス動作状態とが不一致となるので故障判定モードに入る。

この故障判定モードでは、回復制御部４０８は、デバイス信号出力のあったデバイスをリセットするためにリセット信号をデバイスリセット制御部３０８へ供給する（ステップＳ２０７）。故障判定部４０６は、複数回で回復しなければ故障と判定し（ステップＳ２０８）、エラー通知部３１０へエラー通知をする（ステップＳ２１２）。

次に、本第２の実施形態の効果について説明する。

関連技術には、ユーザ操作が動作トリガとなるデバイスではユーザの操作状況を検知する手段がない。そのため、以下の２パターンについて処理装置側で故障を検知できない場合がある。

１）実際ユーザが操作しているにも拘わらず、操作検出信号（動作出力信号）がデバイスから出力されない場合。
２）実際ユーザが操作していないにも拘わらず、デバイスから動作出力信号が出力されて誤動作している場合。

関連技術では上記の２パターンについて処理装置側で操作状況を検知できない為、デバイスの故障を検知できない場合がある。これに対して、本発明の第２の実施形態では、処理装置側でデバイスの故障検出が可能になる。

これにより、本第２の実施形態では、以下の効果が見込まれる。

・自律的にHW（hardware）リセットを行いデバイスが回復できる可能性が高まる。
・関連技術では操作結果をユーザ自身が申告しないと故障が判明しないが、本第２の実施形態では、処理装置側で故障判定できることでリモート保守が容易となる。

次に、上記第２の実施形態に適用した場合における、本発明の第１の実施例について説明する。第１の実施例は、デバイスがタッチパネル２１２の場合の例である。

この場合、第１の実施例では、図４の操作デバイス特定部３０２によりあらかじめユーザがタッチパネル２１２を操作する操作ジェスチャ（第１のジェスチャ）をパターン化してユーザ操作パターン格納部５０６に格納しておく。この状況において、操作デバイス特定部３０２のユーザ操作検出部５０４が、図２に示す処理装置２００に実装されたカメラ２０２でタッチパネル２１２を押下するユーザ操作を検出したとする。この場合、図７の操作デバイス判定部４０４は、操作対象デバイスをタッチパネル２１２と判定する。デバイス出力検出部３０４は、判定されたタッチパネル２１２からの出力信号を監視し、デバイス動作判定部４０２は、タッチパネル２１２のデバイス動作状態を判定する。故障判定部４０６は、ユーザによるタッチパネル２１２のユーザ操作状態とタッチパネル２１２のデバイス動作状態の一致、不一致を判定する。これより、第１の実施例では、タッチパネル２１２の故障を処理装置２００で検出可能としている。

以下、第１の実施例の動作について詳細に説明する。

あらかじめユーザがタッチパネル２１２を操作するジェスチャ（第１のジェスチャ）をパターン化し、図５の操作デバイス特定部３０２のユーザ操作パターン格納部５０６にデータベース化して収集する。ここで、操作するジェスチャ（第１のジェスチャ）とは、上述したように、タッチパネル２１２の表面を押下しようとするユーザの動きをパターン化したものであって、ユーザがタッチパネル２１２の表面を押そうとした時の動作をパターン化したものである。

このようにして、操作デバイス特定部３０２のユーザ操作パターン格納部５０６に、図６に示されるように、あらかじめユーザがタッチパネル２１２を操作する操作パターン（第１のジェスチャ）を保存しておく。故障判定制御部３０６は、図２に示す処理装置２００に実装されたカメラ２０２で撮像されたカメラ画像に基づいてユーザ操作検出部５０４が検出したユーザ操作状態と、デバイス出力検出部３０４で検出されたデバイス動作状態とを比較して、ユーザがタッチパネル２１２を操作しているかどうかを判定する。エラー検知時には、故障判定制御部３０６がエラー通知をエラー通知部３１０に発行する。

前述したように、故障判定制御部３０６は、デバイス動作判定部４０２と、操作デバイス判定部４０４と、故障判定部４０６と、回復制御部４０８とから成る。

第１の実施例の場合、デバイス動作判定部４０２は、デバイス出力検出部３０４から供給される、タッチパネル２１２から出力信号が出力されたことを示すデバイス出力検出信号を検出し、タッチパネル２１２が動作しているかどうかを判定する。操作デバイス判定部４０４は、ユーザ操作検出部５０４で検出されたユーザ操作検出結果信号から、操作されているデバイスをタッチパネル２１２と判定する。故障判定部４０６は、タッチパネル動作状態とユーザ操作状態とを比較して、タッチパネル２１２の動作状態を判定する。回復制御部４０８は、故障判定部４０６において検出したタッチパネル２１２のユーザ操作状態とタッチパネル動作状態とが一致しないと判定された時に、タッチパネル２１２をリセットするためのリセット信号を出力する。

図２に示す処理装置２００に実装されたカメラ２０２でユーザがタッチパネル２１２を操作している操作状況を表すカメラ画像が取得されたとする。このとき、ユーザ操作検出部５０４は、ユーザ操作パターン格納部５０６に格納されたユーザ操作パターンを参照して、タッチパネル２１２をユーザが操作していることを示すユーザ操作検出結果信号を出力する。このユーザ操作検出結果信号に応答して、操作デバイス判定部４０４は、操作対象デバイスをタッチパネル２１２と判定する。デバイス出力検出部３０４は、判定したタッチパネル２１２からの出力信号を監視し、デバイス動作判定部４０２は、タッチパネル２１２の動作状態を判定する。故障判定部４０６は、検出したタッチパネル２１２のユーザ操作状態とタッチパネル２１２のデバイス動作状態とから、タッチパネル２１２の動作状態を判定する。これより、ユーザ申告を伴わずに、処理装置２００で故障判定を行うことができる。故障判定部４０６においてタッチパネル２１２のユーザ操作状態とタッチパネル２１２のデバイス動作状態とが一致したと判定された時には、処理装置２００は、通常動作を継続する。一方、故障判定部４０６で不一致と判定された時には、回復制御部４０８は、デバイス回復制御を行う。複数回不一致の場合、故障判定部４０６は、エラーと判定して、エラー通知部３１０にエラーメッセージを発行する。

次に、上記第２の実施形態に適用した場合における、本発明の第２の実施例について説明する。第２の実施例は、デバイスがカードリーダ２１０の場合の例である。

この場合、第２の実施例では、図４の操作デバイス特定部３０２によりあらかじめユーザがカードリーダ２１０の挿入口２１０aにキャッシュカードを挿入するジェスチャ（第２のジェスチャ）をパターン化してユーザ操作パターン格納部５０６に格納しておく。この状況において、操作デバイス特定部３０２のユーザ操作検出部５０４が、図２に示す処理装置２００に実装されたカメラ２０２でカードリーダ２１０の挿入口２１０aにカードを挿入するユーザ操作を検出したとする。この場合、図７の操作デバイス判定部４０４は、操作対象デバイスをカードリーダ３１０と判定する。デバイス出力検出部３０４は、判定されたカードリーダ３１０からの出力信号を監視し、デバイス動作判定部４０２は、カードリーダ３１０の動作状態を判定する。故障判定部４０６は、ユーザによるカードリーダ３１０のユーザ操作状態とカードリーダ３１０のデバイス動作状態の一致、不一致を判定する。これにより、第２の実施例では、カードリーダ２１０の故障を処理装置２００で検出可能としている。

以下、第２の実施例の動作について詳細に説明する。

あらかじめユーザがカードをカードリーダ２１０の挿入口２１０aに挿入するジェスチャ（第２のジェスチャ）をパターン化し、図５の操作デバイス特定部３０２のユーザ操作パターン格納部５０６にデータベース化して収集する。ここで、操作するジェスチャ（第２のジェスチャ）とは、上述したように、カードリーダ２１０の挿入口２１０aにカードを挿入しようとするユーザの動きをパターン化したものである。

このようにして、操作デバイス特定部３０２のユーザ操作パターン格納部５０６に、図６に示されるように、あらかじめユーザがカードリーダ２１０を操作する操作パターン（第２のジェスチャ）を保存しておく。故障判定制御部３０６は、図２に示す処理装置２００に実装されたカメラ２０２で撮像されたカメラ画像に基づいてユーザ操作検出部５０４が検出したユーザ操作状態と、デバイス出力検出部３０４で検出されたデバイス動作状態とを比較して、ユーザがカードリーダ２１０を操作しているかどうかを判定する。エラー検知時には、故障判定制御部３０６がエラー通知をエラー通知部３１０に発行する。

前述したように、故障判定制御部３０６は、デバイス動作判定部４０２と、操作デバイス判定部４０４と、故障判定部４０６と、回復制御部４０８とから成る。

第２の実施例の場合、デバイス動作判定部４０２は、デバイス出力検出部３０４から供給される、カードリーダ２１０から出力信号が出力されたことを示すデバイス出力検出信号を検出し、カードリーダ２１０が動作しているかどうかを判定する。操作デバイス判定部４０４は、ユーザ操作検出部５０４で検出されたユーザ操作検出結果信号から、操作されているデバイスをカードリーダ２１０と判定する。故障判定部４０６は、カードリーダ動作状態とユーザ操作状態とを比較して、カードリーダ２１０の動作状態を判定する。回復制御部４０８は、故障判定部４０６において検出したカードリーダ２１０のユーザ操作状態とカードリーダ動作状態とが一致しない時に、カードリーダ２１０をリセットするためのリセット信号を出力する。

図２に示す処理装置２００に実装されたカメラ２０２でユーザがカードリーダ２１０を操作している操作状況を表すカメラ画像が取得されたとする。このとき、ユーザ操作検出部５０４は、ユーザ操作パターン格納部５０６に格納されたユーザ操作パターンを参照して、カードリーダ２１０をユーザが操作していることを示すユーザ操作検出結果信号を出力する。このユーザ操作検出結果信号に応答して、操作デバイス判定部４０４は、操作対象デバイスをカードリーダ２１０と判定する。デバイス出力検出部３０４は、判定したカードリーダ２１０からの出力信号を監視し、デバイス動作判定部４０２は、カードリーダ２１０の動作状態を判定する。故障判定部４０６は、検出したカードリーダ２１０のユーザ操作状態とカードリーダ２１０のデバイス動作状態とから、カードリーダ２１０の動作状態を判定する。これにより、ユーザ申告を伴わずに、処理装置２００で故障判定を行うことができる。故障判定部４０６においてカードリーダ２１０のユーザ操作状態とカードリーダ２１０のデバイス動作状態とが一致したと判定された時には、処理装置２００は、通常動作を継続する。一方、故障判定部４０６で不一致と判定された時には、回復制御部４０８は、デバイス回復制御を行う。複数回不一致の場合、故障判定部４０６は、エラーと判定して、エラー通知部３１０にエラーメッセージを発行する。

デバイスがテンキー２０８であるときの動作も、上記第１又は第２の実施例と同様であるので、その説明を省略する。

上述の障害検出装置３００および障害検出装置３００Ａは、ハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。また、障害検出装置３００および障害検出装置３００Ａは、ハードウェアとソフトウェアの組み合わせによって実現してもよい。

［障害検出装置のハードウェア構成］
図９は、障害検出装置３００および障害検出装置３００Ａを、ソフトウェアで実現する場合の情報処理装置（コンピュータ）のハードウェアの一例を示すブロック図である。

図９に示すように、情報処理装置６００は、制御部（ＣＰＵ：Central Processing Unit）６１０と、記憶部６２０と、ＲＯＭ（Read Only Memory）６３０と、ＲＡＭ（Random Access Memory）６４０と、通信インターフェース６５０と、ユーザインターフェース６６０とを備えている。

制御部（ＣＰＵ）６１０は、記憶部６２０またはＲＯＭ６３０に格納されたプログラムをＲＡＭ６４０に展開して実行することで、障害検出装置３００および障害検出装置３００Ａの各種の機能を実現することができる。また、制御部（ＣＰＵ）６１０は、データ等を一時的に格納できる内部バッファを備えていてもよい。

記憶部６２０は、各種のデータを保持できる大容量の記憶媒体であって、ＨＤＤ（Hard Disk Drive）およびＳＳＤ（Solid State Drive）等の記憶媒体で実現することができる。また、記憶部６２０は、情報処理装置６００が通信インターフェース６５０を介して通信ネットワークと接続されている場合には、通信ネットワーク上に存在するクラウドストレージであってもよい。また、記憶部６２０は、制御部（ＣＰＵ）６１０が読み取り可能なプログラムを保持していてもよい。

ＲＯＭ６３０は、記憶部６２０と比べると小容量なフラッシュメモリ等で構成できる不揮発性の記憶装置である。また、ＲＯＭ６３０は、制御部（ＣＰＵ）６１０が読み取り可能なプログラムを保持していてもよい。なお、制御部（ＣＰＵ）６１０が読み取り可能なプログラムは、記憶部６２０およびＲＯＭ６３０の少なくとも一方が保持していればよい。

なお、制御部（ＣＰＵ）６１０が読み取り可能なプログラムは、コンピュータが読み取り可能な様々な記憶媒体に非一時的に格納した状態で、情報処理装置６００に供給してもよい。このような記憶媒体は、例えば、磁気テープ、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ−Ｒ（Compact Disc- Recordable）、ＣＤ−ＲＷ（Compact Disc-ReWritable）、半導体メモリである。

ＲＡＭ６４０は、ＤＲＡＭ（Dynamic Random Access Memory）およびＳＲＡＭ（Static Random Access Memory）等の半導体メモリであり、データ等を一時的に格納する内部バッファとして用いることができる。

通信インターフェース６５０は、有線または無線を介して、情報処理装置６００と、通信ネットワークとを接続するインターフェースである。

ユーザインターフェース６６０は、例えば、ディスプレイ等の表示部、およびキーボード、マウス、タッチパネル等の入力部である。

以上、実施形態および実施例を参照して本発明を説明したが、本発明は上記実施形態および実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本発明は、現金処理装置、マルチメディア端末、店舗端末（ＰＯＳ）等ユーザ操作が行われる処理装置にも利用可能である。

２００ 処理装置
２０２ カメラ
２０４ バイザー
２０６ タッチパネルディスプレイ
２０８ テンキー（デバイス）
２１０ カードリーダ（デバイス）
２１０a 挿入口
２１２ タッチパネル（デバイス）
２１４ 表示パネル
２１６ 視野角制限フィルタ
３００、３００Ａ 障害検出装置
３０１ ＣＰＵ
３０２ 操作デバイス特定部
３０４ デバイス出力検出部
３０６ 故障判定制御部
３０８ デバイスリセット制御部
３１０ エラー通知部
４０２ デバイス動作判定部
４０４ 操作デバイス判定部
４０６ 故障判定部
４０８ 回復制御部
５０２ カメラ制御部
５０４ ユーザ操作検出部
５０６ ユーザ操作パターン格納部
６００ 情報処理装置
６１０ 制御部（ＣＰＵ）
６２０ 記憶部
６３０ ＲＯＭ
６４０ ＲＡＭ
６５０ 通信インターフェース
６６０ ユーザインターフェース

Claims (9)

1. 処理装置の中でユーザによって操作可能な複数のデバイスの障害を検出する障害検出装置であって、
   前記複数のデバイスに対する前記ユーザによる操作状況を撮影可能なカメラと、
   該カメラで撮影されたカメラ画像に基づいて、前記ユーザがどのデバイスを操作しているかを特定し、ユーザ操作検出結果信号を出力する操作デバイス特定部と、
   前記複数のデバイスのいずれかから出力される信号を検出し、デバイス出力検出信号を出力するデバイス出力検出部と、
   前記デバイス出力検出信号と前記ユーザ操作検出結果信号とを比較して、前記複数のデバイスのいずれかの故障の有無を判定する故障判定制御部と、
   を備える、デバイスの障害検出装置。
2. 前記操作デバイス特定部は、
   前記ユーザが前記複数のデバイスに対して操作する操作状況を、あらかじめ前記カメラで撮影したカメラ画像で表された操作ジェスチャを、前記複数のデバイス毎にパターン化して得られる複数のユーザ操作パターンを格納するユーザ操作パターン格納部と、
   前記カメラを制御して、前記カメラ画像を取得するカメラ制御部と、
   前記取得したカメラ画像から、前記複数のユーザ操作パターンを参照することにより、前記ユーザが操作したデバイスを特定し、前記ユーザ操作検出結果信号を出力するユーザ操作検出部と、
   を有する、請求項１に記載のデバイスの障害検出装置。
3. 前記複数のデバイスは、タッチパネル、カードリーダ、およびテンキーのうちの少なくとも２つを含む、請求項１又は２に記載のデバイスの障害検出装置。
4. 前記操作ジェスチャは、前記ユーザが前記タッチパネルを操作する第１の操作状況を表す第１のジェスチャ、前記ユーザが前記カードリーダの挿入口へカードを挿入する第２の操作状況を表す第２のジェスチャ、および前記ユーザが前記テンキーを操作する第３の操作状況を表す第３のジェスチャのうちの少なくとも２つを含む、請求項３に記載のデバイスの障害検出装置。
5. 前記故障判定制御部は、
   前記デバイス出力検出信号を検出して、前記複数のデバイスのいずれかが動作しているか否かを判定して、デバイス動作状態を表すデバイス動作判定結果信号を出力するデバイス動作判定部と、
   前記ユーザ操作検出結果信号に応答して、前記ユーザによって操作されているデバイスを判定して、ユーザ操作状態を表すユーザ操作状態判定結果信号を出力する操作デバイス判定部と、
   前記デバイス動作判定結果信号と前記ユーザ操作状態判定結果信号とを比較することにより、前記ユーザ操作状態と前記デバイス動作状態との一致又は不一致を判定して、前記複数のデバイスのいずれかの故障の有無の判定結果を示す故障判定結果信号を出力する故障判定部と、
   を有する、請求項１〜４のいずれか１項に記載のデバイスの障害検出装置。
6. 前記故障判定制御部は、前記故障判定部において前記ユーザ操作状態と前記デバイス動作状態とが不一致であると判定されたときに、故障と判定されたデバイスを回復するためのリセット信号を出力する回復制御部を更に有する、請求項５に記載のデバイスの障害検出装置。
7. 前記故障判定部は、故障有の判定結果を示す前記故障結果判定信号の回数をカウントし、該カウントした回数が所定回数に達したときに、エラーメッセージをエラー通知部に発行する、請求項５又は６に記載のデバイスの障害検出装置。
8. 処理装置の中でユーザによって操作可能な複数のデバイスの障害を検出する障害検出方法であって、
   前記複数のデバイスに対する前記ユーザによる操作状況を撮影可能なカメラで撮影されたカメラ画像に基づいて、前記ユーザがどのデバイスを操作しているかを特定し、ユーザ操作検出結果信号を出力し、
   前記複数のデバイスのいずれかから出力される信号を検出し、デバイス出力検出信号を出力し、
   前記デバイス出力検出信号と前記ユーザ操作検出結果信号とを比較して、前記複数のデバイスのいずれかの故障の有無を判定する、
   デバイスの障害検出方法。
9. コンピュータに、処理装置の中でユーザによって操作可能な複数のデバイスの障害を検出させる障害検出プログラムであって、
   前記複数のデバイスに対する前記ユーザによる操作状況を撮影可能なカメラで撮影されたカメラ画像に基づいて、前記ユーザがどのデバイスを操作しているかを特定し、ユーザ操作検出結果信号を出力する操作デバイス特定手順と、
   前記複数のデバイスのいずれかから出力される信号を検出し、デバイス出力検出信号を出力するデバイス出力検出手順と、
   前記デバイス出力検出信号と前記ユーザ操作検出結果信号とを比較して、前記複数のデバイスのいずれかの故障の有無を判定する故障判定制御手順と、
   を前記コンピュータに実行させるための障害検出プログラム。

Images