JP2020517926A - スクリーン状態自動検出ロボット、方法及びコンピュータ読み取り可能な記憶媒体 - Google Patents

Abstract

スクリーン状態自動検出ロボット、方法を提供する。当該スクリーン状態自動検出ロボットはメモリ（１１）と、プロセッサ（１２）とを含み、メモリ（１１）にスクリーン状態自動検出プログラムが記憶され、当該プログラムがプロセッサによって実行される時、ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御するステップと、ロボットが１つの業務機器の予め設定されたエリア内に移動する場合、当該業務機器のディスプレイスクリーンに回路故障が生じるか否かを検出するステップと、生じない場合、当該業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、当該業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析するステップと、を実現する。本発明はさらにスクリーン状態自動検出方法及びコンピュータ読み取り可能な記憶媒体を提供する。本発明は、人力を使わず、無人業務エリア内の各セルフサービス式業務機器のスクリーンの状態に対して自動的に検出を行うことを実現する。

Description

「関連出願の相互参照」
本願は、２０１７年８月２９日に提出された、中国特許出願第２０１７１０７５４５８０．７号で、名称が「スクリーン状態自動検出ロボット、方法及びコンピュータ読み取り可能な記憶媒体」である中国特許出願の優先権をパリ条約により主張し、当該出願の全体内容は参照の方式により本願に組み込まれる。

本願は、端末技術の分野に関し、特に、スクリーン状態自動検出ロボット、方法及びコンピュータ読み取り可能な記憶媒体に関する。

現在、金融、保険等分野において、人件費を削減し、業務処理の利便性を向上させるために、業界で無人業務エリア（例えば、銀行のセルフサービス式業務エリア）を設置して業務の展開及び処理を行うことが一般的になり、無人業務エリアはセルフサービス式銀行業務、保険業務等を提供するためのエリアであり、異なる地域の支店にわたって分布する。支店には、さまざまな業務を取り扱う業務機器、例えば、キャッシュリサイクルシステム、現金自動預け払い機、セルフサービス式自動支払機、顧客用ＰＣ（例えば、資産運用、基金、株式情報等を照会するための大口顧客用ＰＣ）、セルフサービス式照会機器、ナンバリングマシン、宣伝機器等が設けられる。これらの各種業務を取り扱う業務機器には一般的にスクリーン端末を配置する必要がある。スクリーン端末はデリケートな電子機器で、表示関連の問題がよく生じる。表示関連の問題が生じると顧客の使用に影響が及ぶため、業界では通常、無人業務エリアの各セルフサービス式業務機器のスクリーン状態を定期的にチェックし保守する必要がある。

従来、セルフサービス式業務機器のスクリーン状態を検出する方式は一般に２つの方式を含む。方式１、人力によって検査し問題のフィードバックを行う、方式２、顧客の苦情に基づき問題のフィードバックを行う。

しかしながら、上記方式１は、人力によって検査する方式が大量の労力を使い、適時性が悪いだけでなく、注意を払ってチェックしても確認できない部分があるという欠点がある。例えば、些細なクラックがある場合、人力によって検査すると気づきにくく、誤検出や検出漏れが生じやすい。上記方法２には次の欠点がある。ユーザの使用体験に影響を与えるだけでなく、多くのユーザはフィードバックを行わないことを選ぶ可能性があり、たとえユーザがフィードバックを行うとしても、全ての問題を客観的に報告することができず、適時性が悪いだけでなく、誤検出や検出漏れも避けられる。したがって、無人業務エリア内の各セルフサービス式業務機器のスクリーン状態を自動的且つ正確に検出するかは、早急に解決すべき技術的課題となっている。

本願は、人力を使わず、無人業務エリア内の各セルフサービス式業務機器のスクリーン状態を自動的に検出すること実現することが主な目的であり、スクリーン状態自動検出ロボット、方法及びコンピュータ読み取り可能な記憶媒体を提供する。

本願は、上記目的を達成するために、スクリーン状態自動検出ロボットを提供し、当該ロボットはメモリと、プロセッサとを含み、前記メモリにスクリーン状態自動検出プログラムが記憶され、前記スクリーン状態自動検出プログラムが前記プロセッサによって実行される時、
前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御する動作と、
前記ロボットが１つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断する動作と、
前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析する動作と、を実現する。

さらに、本願は、上記目的を達成するために、スクリーン状態自動検出方法を提供し、当該方法は、
前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御することと、
前記ロボットが１つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断することと、
前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析することと、を含む。

さらに、本願は、上記目的を達成するために、コンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ読み取り可能な記憶媒体にスクリーン状態自動検出プログラムが記憶され、前記スクリーン状態自動検出プログラムが１つ以上のプロセッサによって実行されることにより、
前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御するステップと、
前記ロボットが１つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断するステップと、
前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析するステップと、を実現する。

本願によって提供されるスクリーン状態自動検出ロボット、方法及びコンピュータ読み取り可能な記憶媒体は、ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御し、ロボットが１つの所定機器の予め設定されたエリア内に移動する場合、検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき検出対象の業務機器に回路故障が生じるか否かを判断し、回路故障が生じない場合、前記検出対象の業務機器が予め設定された表示パラメータに従ってグラフィックを表示するように制御し、ディスプレイスクリーンに表示される画像に対して予め設定された分析ルールに従って分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析するように構成され、当該方式は人力の介入を必要とせず、ロボットが対応するエリアに移動することで機器の回路故障及びスクリーンの表示状態を自動的に検出する。

本願によるスクリーン状態自動検出ロボットの好ましい実施例を概略的に示す図である。 一部情報が遮蔽される二次元コードである。 一部情報が遮蔽される二次元コードである。 一部情報が遮蔽される二次元コードである。 一部情報が遮蔽される二次元コードである。 透視が発生した二次元コードである。 透視が発生した二次元コードの外輪郭の概略図である。 透視が発生した二次元コードに対して脱透視を行った後の効果である。 ディスプレイスクリーンに設定された異なるサイズの表示エリアを概略的に示す図である。 小サイズの長方形エリア及び中サイズの長方形表示エリアの境界である。 大サイズの長方形エリアの外輪郭曲線である。 長方形の境界から取得された複数の点を概略的に示す図である。 取得された点に対して最小二乗法による直線当てはめアルゴリズムによって得た直線を概略的に示す図である。 ノイズ除去−強調前処理が行われる前のスクリーン状態である。 ノイズ除去−強調前処理が行われた後のスクリーン状態である。 スクリーンに異常に表示される線が出現した状態を概略的に示す図である。 スクリーンに異常に表示されるスポットが出現した状態を概略的に示す図である。 スクリーンにクラックが出現した状態を概略的に示す図である。 スクリーンに横方向のクラックが出現した状態を概略的に示す図である。 本願によるスクリーン状態自動検出ロボットの一つの実施例におけるスクリーン状態自動検出プログラムのプログラムモジュールを概略的に示す図である。 本願によるスクリーン状態自動検出方法の好ましい実施例のフローチャートである。 本願によるスクリーン状態自動検出方法の第２の実施例のフローチャートである。 本願の目的の達成、機能上の特徴及び利点について、各図を参照してさらに説明する。

なお、以下説明される具体的な実施例は、本願を解釈するためのものに過ぎず、本願を限定するためのものではない。

本願はスクリーン状態自動検出ロボットを提供する。図１に示すのは、本願によるスクリーン状態自動検出ロボットの好ましい実施例を概略的に示す図である。

本実施例において、スクリーン状態自動検出ロボットはメモリ１１と、プロセッサ１２と、通信バス１３と、ネットワークインタフェース１４と、カメラ１５とを含む。

ただし、メモリ１１は少なくとも１種の読み取り可能な記憶媒体を含み、前記読み取り可能な記憶媒体はフラッシュメモリ、ハードディスク、マルチメディアカード、カード型メモリ（例えば、ＳＤ又はＤＸメモリ等）、磁気メモリ、磁気ディスク、光ディスク等を含む。いくつかの実施例において、メモリ１１はスクリーン状態自動検出ロボットの内部記憶ユニット、例えば当該スクリーン状態自動検出ロボットのハードディスクとすることができる。別の実施例において、メモリ１１はスクリーン状態自動検出ロボットの外部記憶機器、例えばスクリーン状態自動検出ロボットに配置されたプラグイン式ハードディスク、スマートメディアカード（Ｓｍａｒｔ Ｍｅｄｉａ(登録商標) Ｃａｒｄ、略称ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ、略称ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ Ｃａｒｄ）等とすることができる。さらに、メモリ１１はスクリーン状態自動検出ロボットの内部記憶ユニット及び外部記憶機器の両方を含んでもよい。メモリ１１はスクリーン状態自動検出ロボットにインストールされているアプリケーションソフトウェア及び各種データ、例えばスクリーン状態自動検出プログラムのコード等を記憶するために用いるだけでなく、既に出力された又は出力されようとするデータを一時的に記憶するために用いることができる。

いくつかの実施例において、プロセッサ１２は中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、略称ＣＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又はその他のデータ処理チップとすることができ、メモリ１１に記憶されているプログラムコードを動作させる又はデータを処理する、例えばスクリーン状態自動検出プログラムを実行するために用いられる。

通信バス１３は、これらのコンポーネントの間の通信接続を実現するために用いられる。

ネットワークインタフェース１４は、標準の有線インタフェース、無線インタフェース（例えばＷＩ−ＦＩインタフェース）を含むことが好ましく、通常、当該ロボットとその他の電子機器との間に通信接続を確立するために用いられる。当該実施例において、ロボットはネットワークインタフェース１４を介してユーザ端末に接続して、ユーザ端末によって送信される検出コマンドを受信するか、又はネットワークインタフェース１４を介して業務機器に接続して、業務機器が予め設定された表示パラメータに従って画像を表示するように制御することができる。

カメラ１５は、業務機器のディスプレイスクリーンに表示されるコンテンツを収集するために用いられる。

図１でコンポーネント１１〜１５と、スクリーン状態自動検出プログラムとを有するスクリーン状態自動検出ロボットが示されるが、必ずしもここに示す全てのコンポーネントで実施するとは限らず、その代わりにこれらより多い又は少ないコンポーネントで実施してもよいことは理解される。

好ましくは、当該ロボットはユーザインタフェースを含み、ユーザインタフェースはディスプレイ（Ｄｉｓｐｌａｙ）、キーボード（Ｋｅｙｂｏａｒｄ）等の入力ユニット、検出コマンドをトリガーするための物理ボタン等を含み、好ましくは、ユーザインタフェースは標準の有線インタフェース、無線インタフェースを含む。好ましくは、いくつかの実施例において、ディスプレイはＬＥＤディスプレイ、液晶ディスプレイ、タッチパネル式液晶ディスプレイ及びＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、有機発光ダイオード）タッチセンサ等とすることができる。なお、場合によってディスプレイはディスプレイスクリーン又は表示ユニットと呼ばれることもある。

好ましくは、当該ロボットはＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、高周波）回路、センサ、ＷｉＦｉモジュール等をさらに含む。ただし、センサは光センサ、距離センサ等とすることができる。

図１に示す実施例において、メモリ１１内にスクリーン状態自動検出プログラムが記憶されている。プロセッサ１２は当該プログラムを実行する時、動作Ｓ１〜Ｓ３を実現する。
Ｓ１において、前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御する。

当該実施例によって提供されるロボットは無人業務エリア内に配置されてもよく、無人業務エリアの業務機器は１つ以上とすることができる。リアルタイムに、定時的に、アイドル状態である時又は検出コマンドを受信した時に、ロボットが無人業務エリアに移動するように制御し、無人業務エリア内の各業務機器のスクリーン表示状態に対する検出を開始することができる。ただし、ロボットが予め設定された時間内で業務を処理する必要がない場合、ロボットはアイドル状態であることを決定する。

無人業務エリア内の各業務機器には予め設定されたエリアが指定され、１つの業務機器の予め設定されたエリアとは、当該業務機器との距離が予め設定された距離以下のエリアを指し、ロボットが移動する過程で、自身の位置を測位することによって無人業務エリア内での位置座標を決定し、各業務機器の無人業務エリア内における既知の位置座標と組み合わせて、カレントの位置と予め決定された各業務機器が配置される位置との間の距離を算出し、カレントの位置と１つの業務機器が配置される位置との間の距離が予め設定された距離以下である場合、当該ロボットが当該業務機器の予め設定されたエリアに移動することを決定する。

無人業務エリア内に複数の業務機器が設置されている場合、各業務機器に対して１つずつ検出を行う必要がある。ロボットが無人業務エリアの各業務機器の予め設定されたエリア内にそれぞれ移動するように制御する方式は様々であるが、以下そのうちの２種の方式を挙げて説明する。

一つの実施例において、予め設定された移動ナビゲーション経路に従ってロボットの移動を制御し、１つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、ロボットが前記移動ナビゲーション経路に従って検出されていない業務機器に移動し続けるように制御し、全ての業務機器のディスプレイスクリーンはいずれも検出が完了するまで継続する。

又は、別の実施例において、ロボットがランダムに移動するように制御し、１つの業務機器の予め設定されたエリア内に移動し且つ当該検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、ロボットが前記検出対象の業務機器を障害物としてマークし、障害物を回避して移動するように制御し、回避して移動することが完了した後、ロボットがランダムに移動し続け、別の業務機器に移動して検出を行い、全ての業務機器がいずれも障害物としてマークされると移動を停止し、業務機器の障害物マークを除去するように制御する。

具体的に、ロボットがランダムに移動する過程で、障害物回避移動に関するアルゴリズムは以下の原理のものである。ロボットが１つの業務機器に対して検出を完了した後、現下の移動方向から左方又は右方に予め設定された角度でオフセットし、当該角度でオフセットした後に妨げられずに移動できるか否かを判断し、当該角度でオフセットした後に通行できる場合、オフセット後の方向に沿ってランダムに移動し続け、当該角度でオフセットした後に妨げられて通行できない場合、妨げられずに移動できるまで同一方向に予め設定された角度でオフセットし続け、このようにオフセット角度を絶えず調整するアルゴリズムによって移動を妨げる障害物を回避する。

Ｓ２において、前記ロボットが１つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断する。

ロボットがある予め設定されたエリアに進入すると、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、当該予め設定されたエリアに対応する業務機器に対して検出を行う。ロボットは、当該業務機器のカレントのディスプレイスクリーンに表示される画面を撮影できるまでカメラ１５の角度を調整し、次に当該検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断することができる。具体的に、ロボットが検出対象の業務機器（即ち現下の前記予め設定されたエリアに対応する業務機器）と無線通信を行い、検出対象の業務機器に対して予め設定された情報を含む予め設定されたグラフィックコードを表示するための表示コマンドを送信するように制御し、業務機器は受信した表示コマンドに基づき当該予め設定されたグラフィックコードを表示する。ロボットが検出対象の業務機器のディスプレイスクリーンに表示されるコンテンツに対してスキャン及び分析を行うように制御する。スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られる場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じていないことを決定する。スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られない場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じていることを決定する。

いくつかの実施例において、前記予め設定されたグラフィックコードは、予め設定された情報を有する二次元コードとすることができる。二次元コードを使用して回路故障の検出を行うことは以下の利点を有する。二次元コードは優れたフォールトトレランス能力を有し、誤り訂正能力を備える。図２ａから図２ｄが参照されるように、たとえディスプレイスクリーンに汚れた跡、スポット、クラック等干渉要因があるため一部情報が遮蔽される場合でも、依然として二次元コードを認識でき、二次元コードの方式によって、電源が入れるか否か、即ち回路故障に生じるか否かを判断することに影響を与えない。また、二次元コードは例えばスクリーンＩＤ等の情報を含むことができ、即ちロボットが複数の業務機器のディスプレイスクリーンを同時に見ている場合でも、二次元コードに含まれるスクリーンＩＤに基づき、現下の予め設定されたエリアに対応する業務機器を認識でき、二次元コードの外輪郭が正方形であるため、ロボットは対象スクリーンに厳密に向き合わなくても認識することができ、ロボットビジョンに透視が発生する場合、図３ａから図３ｃが参照されるように、ロボットは透視による歪みを容易に復元できる。

図３ａ及び図３ｂから分かるように、ロボットがカメラを用いてスクリーンのコンテンツに対して処理を行う時、ロボットの位置によってある程度の透視が発生し、ロボットのレンズに表示される二次元コードの外輪郭は非長方形になる可能性がある。図３ｂから分かるように、二次元コードは正方形ではなく、四辺形として表示され、「近くで大きく見え遠方では小さく見える」、いわゆる透視が発生する。一方、二次元コードの認識において透視が発生する場合でも脱透視を行うことによって当該二次元コードを正常に認識することができ、脱透視は定着されている従来の技術であり、ここでは詳細な説明は省略される。図３ｃに示すのは、二次元コードに対して脱透視を行った後の効果である。

さらに、いくつかの実施例において、ディスプレイスクリーンに回路故障が生じる場合、予め決定された監視機器に対して指示情報を送信し、前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じるため処理を行う必要があることを指示する。例えば、バックグラウンドサーバに指示情報を送信し、当該指示情報は回路故障が生じる業務機器の一意のアイデンティティＩＤ、及び前記検出対象の業務機器が配置される無人業務エリアの支店標識を含み、例えば、当該指示情報のフォーマットは「支店標識が＊＊＊＊＊の無人業務エリアで、ＩＤ番号が＊＊＊＊＊の業務機器のディスプレイスクリーンに回路故障が生じるため処理を行う必要がある」とすることができる。

Ｓ３において、前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析する。

Ｓ３は具体的に動作Ｓ３１〜Ｓ３６を含む。
Ｓ３１において、前記検出対象の業務機器のディスプレイスクリーンが単色表示の方式でそれぞれ複数種の予め設定されたカラー、例えば、赤、緑、青の３種の予め設定されたカラーを表示するように制御し、ただし、異なる予め設定されたカラーは異なるサイズの表示エリアに対応し、各予め設定されたカラーに対応する表示エリアの形状は前記ディスプレイスクリーンの最大表示エリアの形状に対応し、且つ、そのうちの１つの前記予め設定されたカラーに対応する表示エリアは前記ディスプレイスクリーンの最大表示エリアである。

Ｓ３２において、単色表示の方式で１種の予め設定されたカラーが表示される時、当該予め設定されたカラーに対してディスプレイスクリーンに表示されるグラフィックにマスクを適用し、即ちディスプレイスクリーンの当該予め設定されたカラー以外のその他のカラーを遮蔽することにより、マスク画像を取得する。

Ｓ３３において、比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して抗干渉処理を行うことにより抗干渉画像を取得し、ただし、前記比較的小サイズの表示エリアは最大表示エリア以外のその他のサイズの表示エリアである。

Ｓ３４において、取得した抗干渉画像に基づき、前記ディスプレイスクリーンの最大表示エリアを決定し、決定された最大表示エリアに基づき、最大表示エリアに対応する予め設定されたカラーのマスク画像に対して実際の表示エリアの画像抽出を行って、最大表示画像を抽出し、スクリーンの周辺範囲に干渉エリアがある場合、例えば、スクリーンの周囲に「浸水」が発生する状況では、スクリーンの境界エリアが正常に表示できないため、マスクを取得して得た最大画像は不完全なものであり、これは境界干渉の問題を除外することに相当し、従って上記方式により最大表示エリアを取得する必要がある。

図４が参照されるように、ディスプレイスクリーンにサイズが異なる３つの表示エリアを設けることを例とすると、そのうち、小サイズの長方形のスクリーンの幅はＬ１で、中サイズの長方形のスクリーンの幅はＬ２で、大サイズの長方形のスクリーンの幅はＬ３である。ロボットはスクリーンの表示を制御する際にＬ１、Ｌ２とＬ３の比例関係をＬ３＝θ_１Ｌ２＝θ_２Ｌ１に設定でき、即ちθ_１及びθ_２はいずれも既知の数値である。また、画面の長さと幅の比例関係ζも既知のデータである。表示されるコンテンツに基づきＬ１又はＬ２の値を取得した後、上記Ｌ１、Ｌ２とＬ３の比例関係に基づきディスプレイスクリーンの幅Ｌ３を算出し、次にスクリーンの長さと幅の比例関係Ｌ／Ｗ＝ζに基づきディスプレイスクリーンの長さＷを算出することができる。

具体的に、比較的小サイズの表示エリアに対応する予め設定されたカラーの抗干渉画像に基づき、前記ディスプレイスクリーンの最大表示エリアを決定し、決定された最大表示エリアに基づき、最大表示エリアに対応する予め設定されたカラーのマスク画像に対して実際の表示エリアの画像抽出を行って、最大表示画像を抽出することの原理は以下に説明されるとおりである。
小サイズの長方形のエリアの幅Ｌ_１を利用してＬ３＝θ_１Ｌ２＝θ_２Ｌ１により大サイズの長方形フレームの幅を算出することができ、Ｌ_３′と記し、同様に、中サイズの長方形フレームの幅Ｌ_２を利用して大サイズの長方形の幅を算出することができ、Ｌ_３″と記し、本願において誤差を低減するために、好ましくは、式１に従ってこの２つの値の平均値を取って大サイズの長方形の幅とする。
Ｌ_３＝（Ｌ_３′＋Ｌ_３″）／２…式１
次にスクリーンの長さと幅の比例関係Ｌ／Ｗ＝ζに基づき大サイズの長方形の長さＷを算出する。これにより大サイズの長方形のエリア範囲を取得することができ、大サイズの長方形のエリア範囲は画面の最大表示エリアである、即ち図６に示す最大サイズの長方形エリアの外輪郭曲線である。

しかしながら、異なるカラーのマスク画像をそれぞれ取得した後、スクリーンの境界自体にその他のカラーで干渉がある可能性があるため、例えば、スクリーンの境界自体にスポットがある場合、異なるカラーによってそれぞれマスクを取得した後の画像は依然として不完全な画像である可能性がある。マスクを取得した後の画像が不完全である状況に対して、本願は以下の解決手段を取る。
比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像の各境界線上の複数の点の座標を取得し、
前記各境界線上の複数の点の座標に基づき、それぞれ最小二乗法による直線当てはめアルゴリズムによって前記マスク画像の各境界線の延長線を取得し、
前記マスク画像の各境界線の延長線に基づき前記４つの境界線の交差点を取得し、前記４つの境界線の交差点及び前記４つの境界線に基づき前記マスク画像の四辺形の位置、即ち中サイズの長方形又は小サイズの長方形フレームの範囲を決定し、
前記四辺形に脱透視変換を行って長方形とし、前記マスク画像の長方形の位置に基づき前記抗干渉画像を取得する。

図５が参照されるように、算出された小サイズの長方形の境界及び中サイズの長方形の境界がそれぞれ示される。図７が参照されるように、境界上のいくつかの点に対して、図８が参照されるように、最小二乗法による直線当てはめアルゴリズムによって当該境界をシミュレーションする。ここで、最小二乗法による直線当てはめアルゴリズムはｙ_計＝ａ_０＋ａ_１＊ｘである。ここで、ｙ_計はシミュレーションして得る直線であり、ａ_０、ａ_１は求めるべきパラメータである。当該アルゴリズムによってａ_０、ａ_１を取得すると、当該境界線の延長線を取得でき、上記方式によって４つの境界線の延長線をそれぞれ取得し、次に４つの境界線の交差点を決定し、前記４つの境界線の交差点及び前記４つの境界線に基づき前記マスク画像の四辺形の位置、即ち中サイズの長方形又は小サイズの長方形の範囲を決定し、さらにＬ１及びＬ２の正確な値を決定する。

Ｓ３５において、前記最大表示画像に対してノイズ除去−強調前処理を行って、強調画像を取得する。

最大表示画像に対してノイズ除去−強調前処理を行って、強調画像を取得することの原理は次に説明されるとおりである。収集されたスクリーンの異常状態の画像は不均一な照明、スクリーンの表面の不規則な隙間及び機器等の影響を受け、収集された画像がノイズを有するため、これらのノイズを除去するとともに、スクリーンの異常状態の細部を保持し、クラックと背景のコントラストを可能な限り高めることにより、後続の分離と認識を容易にする必要がある。図９の前処理前及び図１０の前処理図後の画像から分かるように、ノイズ除去−強調された画像の方はノイズ干渉が少なく、問題は明瞭に反映される。

本願においてガイデットフィルタを利用するアルゴリズムによって画像に対して前処理を行う。ガイデットフィルタを利用するアルゴリズムのステップは次のとおりである。グレースケール処理されたスクリーン画像を入力画像Ｐとし、同様にグレースケール処理されたスクリーン画像をガイド画像Ｉとし、ノイズフィルタでフィルタリングされた画像をｑとして、式２を利用して入力画像Ｐを強調する。
Ｐ＿ｅｎｈａｎｃｅｄ＝（Ｉ−ｑ）ｍ＋ｑ…式２
ここで、ｍは強調係数であり、実際の状況に応じて決定することができ、ここでフィルタは実際の状況に応じて選択することができ、ここにおいてガイデットフィルタを選択して画像Ｐに対してフィルタリング処理を行う。

ここでパラメータｍの調整はＰ＿ｅｎｈａｎｃｅｄ（強調画像Ｐ）の効果に基づきフィードバックを行って再調整することができる。ここで反復法によって求める方式を想定する。当該方式は主にＰ＿ｅｎｈａｎｃｅｄの効果に対してフィードバックを行うことにより、パフォーマンスのよいＰ＿ｅｎｈａｎｃｅｄにより比較的高い重み値を与え、逆の場合に比較的低い重み値を与えるものである。

下記式中のεは満足度の割合であり、ｅｎｈａｎｃｅｄ満足度はＰ＿ｅｎｈａｎｃｅｄ画像の効果に基づき評価され、ｅｎｈａｎｃｅｄの最高満足度は固定値、例えば５００に設定される。
ε＝（ｅｎｈａｎｃｅｄ満足度）／（ｅｎｈａｎｃｅｄ最高満足度）…式３

満足度の値をよりよく調整するために、本願において下記式によりε値をａｌｐｈａ化し、その過程は以下のとおりである。
α＝（１／２）ｌｎ（（１−ε）／ε）…式４

第ｎ回の反復をＴ_ｎと記すと、第ｎ＋１回はＴ_ｎ＋１と記すことができ、第ｎ回の反復後のｍの取る値はｍ_Ｔｎであることから、以下の式を有する。
ｍ_Ｔｎ＝ｍ_Ｔｎ−１ｅ^−α…式５

反復過程は以下のとおりである。最初に、初期重み値ｍをｍ_Ｔ１として指定し、次に式２に代入してＰ＿ｅｎｈａｎｃｅｄ後の画像を求め、式３に従ってＰ＿ｅｎｈａｎｃｅｄ後の画像の満足度を評価し、得た満足度の割合εをａｌｐｈａ化し、次にａｌｐｈａ化後の値及び式５を利用して重み値ｍを更新する。次に上記ステップを順に繰り返し実行することによりｍを更新し、幾通りかの反復後に好ましい重み値ｍを得る。これは反復するたびに重み値ｍが変更されるため、画像Ｐ＿ｅｎｈａｎｃｅｄに対するパフォーマンスが好ましくない場合にε値は低下し、結果的に重み値ｍも低下し、逆の場合に重み値が増大するからである。調整されるたびに画像Ｐ＿ｅｎｈａｎｃｅｄの効果は一層良くなり、反復回数を固定値（ここでは１０）に設定し、ｎ回の反復後に収束する状態が得られ、即ち画像Ｐ＿ｅｎｈａｎｃｅｄの効果は最良に近い状態である。強調された画像Ｐ＿ｅｎｈａｎｃｅｄを入力画像Ｐとし、グレースケール処理されたスクリーン画像をガイド画像Ｉとし、これによって得たフィルタリングされた画像は最終的に強調され平滑化された画像である。

Ｓ３６において、前記強調画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析し、前記予め設定されたタイプの異常は異常に表示されるスポット、異常に表示される線及びクラックを含む。

前記強調画像に対して異常に表示されるスポットの検出及び分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに異常に表示されるスポットが出現するか否かを判断する。

図１１に示すのは、スクリーンに異常に表示される線が出現する状況である。

一つの実施例において、異常に表示される線の認識過程は次のとおりである。上記ステップで前処理された画像を取得し、ハフ変換を利用して直線を検出し、検出された異常に表示される線の数量が１より大きい場合、異常に表示される線が存在すると判断し、そうでない場合、異常に表示される線は存在しないと判断する。

ハフ変換に関する説明である。ハフ変換は一種の特徴抽出技術であり、古典的なハフ変換は画像中の直線を認識し、後に任意の形状が認識できるように発展しているが、認識可能なより一般的な形状は円及び楕円であるため、ここでスクリーンの異常に表示される線の状態を認識するためにこれを用いる。

直角座標糸では、直線は次のように定義される。
ｙ＝ｍｘ＋ｂ…式６
ここで、ｍは勾配であり、ｂはｙ切片であり、ｍ及びｂが決定されれば、直線は一意に決定される。ρ_０は原点の当該直線との代数距離を表し、θ_０は当該直線に直交する線のｘ軸との夾角を表すと、以下の式を有する。
ｍ＝−（１／ｔａｎθ_０）…式７
ｂ＝ρ_０／ｓｉｎθ_０…式８
よって、当該直線は次のように表すこともできる。
ｙ＝（−（ｃｏｓθ_０／ｓｉｎθ_０））ｘ＋（ρ_０／ｓｉｎθ_０）…式９
より一般的な形式として以下のように書き換えることができる。
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ…式１０
なお、（ρ，θ）は極座標で表す形式として想到されやすいことである。（ρ，θ）を直角座標の形式で表す、即ちρ及びθに対して直交処理を行うと、（ρ，θ）はハフ空間と呼ばれる。

直角座標系における１つの点は、ハフ空間における１つの正弦曲線に対応する。直線は無数の点で構成されるため、ハフ空間においては無数の正弦曲線となるが、これらの正弦曲線は点（ρ_０，θ_０）で交差し、当該点を式７及び式８に代入して直線の勾配及び切片を得ると、１つの直線は決定される。従って、ハフ変換を用いて直線を認識する場合、ハフ空間における最大値は１つの直線に対応する可能性がある。

異常に表示される線を検出するための従来の方法は人力による観察であるが、本実施例の方法により、ロボットは上記方式によって前処理された画像に対して異常に表示される線が存在するか否かを自動的に検出する。

前記強調画像に対して異常に表示される線の検出及び分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに異常に表示される線が出現するか否かを判断する。図１２に示すのは、スクリーンに異常に表示されるスポットが出現する状況である。

一つの実施例において、スポットを検出する際、異常に表示されるスポットを判断するプロセスは以下のとおりである。前処理された画像を取得し、ＳｉｍｐｌｅＢｌｏｂＤｅｔｅｃｔｏｒ（スポット検出オペレーター）アルゴリズムを用いてスポットが存在するか否かを検出し、検出されたスポットの数量が１より大きい場合、スクリーンに異常に表示されるスポットが存在すると判断し、そうでない場合は異常に表示されるスポットは存在しないと判断する。

また、異常に表示される固定スポットの面積範囲、二値化閾値等のパラメータの設定を簡素化するために、当該実施例ではＳｉｍｐｌｅＢｌｏｂＤｅｔｅｃｔｏｒアルゴリズムにおけるパラメータの選択方法を利用する。

いくつかのスクリーン上の異常に表示されるスポットの画像を選択して集計し、どの画像が異常に表示されるスポットが存在するかをマークする。異なるパラメータを選択して処理を行い、処理後の結果に対して分析する。結果は下表に示すとおりである。

特徴値がｋを取る場合にスポットとして判断されるのが実際にスポットである比率は以下のとおりである。
ｐｋ＝ｒｋ／Ｎｒ…式１１
特徴値がｋを取る場合に、スポットとして判断されるが実際にスポットではない数量が実際にスポットではない数量を占める比率は以下のとおりである。
ｕｋ＝（ｄｒ−ｒｋ）／（Ｎｄ−Ｎｒ）…式１２
ここにおいて特徴値がｋを取る場合の重み値係数を得る必要があり、以下のとおりに定義することができる。
ｗｋ＝（ｐｋ／（１−ｐｋ））／（ｕｋ／（１−ｕｋ））…式１３
上式を用いると、特徴値がｋを取る場合に、スポットが正確に判断される確率を可能な限り高めるとともに、スポットとして判断されるが実際にスポットではない確率が低いほど、重み値ｗｋが大きいようにすることができる。各特徴のパラメータｗｋ値が最大の方をＳｉｍｐｌｅＢｌｏｂＤｅｔｅｃｔｏｒアルゴリズムによる特徴点検出で決定すべきパラメータとして選択する。これによりこのパラメータの具体的な数値を人為的に判定する必要はない。

異常に表示されるスポットを検出するための従来の方法は人力による観察であるが、本実施例の方法により、ロボットは上記方式によって前処理された画像に対して異常に表示されるスポットが存在するか否かを自動的に検出する。

前記強調画像に対してクラックの検出及び分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンにクラックが出現するか否かを判断する。図１３に示すのは、スクリーンにクラックが出現する状況である。

一つの実施例において、以下のステップに従ってスクリーンにクラックが出現するか否かを検出する。
画像に対して分離を行い、図１４が参照されるように、ここで定着されている従来の方法としてミーンシフト分離アルゴリズムを利用してクラックの分離を行う。次に、分離後の画像に対して次のとおりにクラックの認識を行う。分離後にいくつかの連通するエリアが確認され、ここで連通するエリアとはクラックの分離後に形成された画像エリアを指し、検出された連通するエリアの数量が１より大きい場合、画像にクラックがあると判断してもよく、クラックは網状であるかスクリーンを横切る１本のクラックである可能性がある。連通するエリアが１つのみである場合、図１４が参照されるように、クラックのＸ軸に対する投影距離Ｈ、ｙ軸に対する投影距離Ｒをそれぞれ取得する。Ｈ＜閾値Ｄ且つＲ＜閾値Ｄである場合、スクリーンにクラックがないことを示す。ここで、閾値Ｄは距離を表す値であり、Ｈ及びＲがいずれも当該値より小さい場合に当該線はクラックではなく、ノイズ点であると見なすことができる。Ｈ及びＲのいずれかが当該閾値より大きい場合にスクリーンに横方向又は縦方向のクラックが存在するが、ただし当該クラックはスクリーン全体にわたるものではないと判断でき、図１４に示すのは横方向のクラックの１種の形態である。

クラックを検出するための従来の方法は人力による観察であるが、本実施例の方法により、ロボットは上記方式により前処理された画像に対してクラックが存在するか否かを自動的に検出する。

上記実施例において、ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御し、ロボットが１つの所定機器の予め設定されたエリア内に移動する場合、検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき検出対象の業務機器に回路故障が生じるか否かを判断し、回路故障が生じない場合、検出対象の業務機器が予め設定された表示パラメータに従ってグラフィックを表示するように制御し、ディスプレイスクリーンに表示される画像に対して予め設定された分析ルールに従って分析を行うことにより、検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析するように構成され、当該方式は人力の介入を必要とせず、ロボットが対応するエリアに移動することで機器の回路故障及びスクリーンの表示状態を自動的に検出する。

好ましくは、別の実施例において、スクリーン状態自動検出プログラムは１つ以上のモジュールに分割され、１つ以上のモジュールはメモリ１１に記憶され、１つ以上のプロセッサ（本実施例ではプロセッサ１２）によって実行されることにより、本願を実現する。本願に記載されるモジュールというのは、特定の機能を完了できる一連のコンピュータプログラムコマンドセグメントを指す。

図１５に示すのは、本願によるスクリーン状態自動検出ロボットの一つの実施例におけるスクリーン状態自動検出プログラムのプログラムモジュールを概略的に示す図であり、当該実施例において、スクリーン状態自動検出プログラムは移動制御モジュール１０と、第１の検出モジュール２０と、第２の検出モジュール３０とに分割されてもよく、モジュール１０〜３０が実行されて実現される機能又は動作ステップは、上記実施例と実質的に同じであるため、ここで詳細な説明は省略される。例示的に、移動制御モジュール１０は前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御するために用いられる。
第１の検出モジュール２０は、前記ロボットが１つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断するために用いられる。
第２の検出モジュール３０は、前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析するために用いられる。

さらに、本願は、スクリーン状態自動検出方法を提供する。図１６に示すのは、本願によるスクリーン状態自動検出方法の好ましい実施例のフローチャートである。当該方法は１つの装置によって実行されてもよく、当該ロボットはソフトウェア及び／又はハードウェアによって実現されてもよい。

本実施例において、スクリーン状態自動検出方法は、ステップＳ１０〜Ｓ３０を含む。
ステップＳ１０において、前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御する。
当該実施例においてロボットは無人業務エリア内に配置されてもよく、無人業務エリアの業務機器は１つ以上とすることができる。リアルタイムに、定時的に、アイドル状態である時又は検出コマンドを受信した時に、ロボットが無人業務エリアに移動するように制御し、無人業務エリア内の各業務機器のスクリーン表示状態に対する検出を開始することができる。ただし、ロボットが予め設定された時間内で業務を処理する必要がない場合、ロボットはアイドル状態であることを決定する。

無人業務エリア内の各業務機器には予め設定されたエリアが指定され、１つの業務機器の予め設定されたエリアとは、当該業務機器との距離が予め設定された距離以下のエリアを指し、ロボットが移動する過程で、自身の位置を測位することによって無人業務エリア内での位置座標を決定し、各業務機器の無人業務エリア内における既知の位置座標と組み合わせて、現時点の位置と予め決定された各業務機器が配置される位置との間の距離を算出し、現時点の位置と１つの業務機器が配置される位置との間の距離が予め設定された距離以下である場合、当該ロボットが当該業務機器の予め設定されたエリアに移動することを決定する。

無人業務エリア内に複数の業務機器が設置されている場合、各業務機器に対して１つずつ検出を行う必要がある。ロボットが無人業務エリアの各業務機器の予め設定されたエリア内にそれぞれ移動するように制御する方式は様々であるが、以下そのうちの２種の方式を挙げて説明する。

一つの実施例において、予め設定された移動ナビゲーション経路に従ってロボットの移動を制御し、１つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、ロボットが前記移動ナビゲーション経路に従って検出されていない業務機器に移動し続けるように制御し、全ての業務機器のディスプレイスクリーンはいずれも検出が完了するまで継続する。

又は、別の実施例において、ロボットがランダムに移動するように制御し、１つの業務機器の予め設定されたエリア内に移動し且つ当該検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、ロボットが前記検出対象の業務機器を障害物としてマークし、障害物を回避して移動するように制御し、回避して移動することが完了した後、ロボットがランダムに移動し続け、別の業務機器に移動して検出を行い、全ての業務機器はいずれも障害物としてマークされると移動を停止し、業務機器の障害物マークを除去するように制御する。

具体的に、ロボットがランダムに移動する過程で、障害物回避移動に関するアルゴリズムは以下の原理のものである。ロボットが１つの業務機器に対して検出を完了した後、現時点の移動方向から左方又は右方に予め設定された角度でオフセットし、当該角度でオフセットした後に妨げられずに移動できるか否かを判断し、当該角度でオフセットした後に通行できる場合、オフセット後の方向に沿ってランダムに移動し続け、当該角度でオフセットした後に妨げられて通行できない場合、妨げられずに移動できるまで同一方向に予め設定された角度でオフセットし続け、このようにオフセット角度を絶えず調整するアルゴリズムによって移動を妨げる障害物を回避する。

ステップＳ２０において、前記ロボットが１つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じているか否かを判断する。

ロボットがある予め設定されたエリアに進入すると、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、当該予め設定されたエリアに対応する業務機器に対して検出を行う。ロボットは、当該業務機器のカレントのディスプレイスクリーンに表示される画面を撮影できるまでカメラ１５の角度を調整し、次に当該検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断することができる。具体的に、ロボットが検出対象の業務機器（即ち現下の前記予め設定されたエリアに対応する業務機器）と無線通信を行い、検出対象の業務機器に対して予め設定された情報を含む予め設定されたグラフィックコードを表示するための表示コマンドを送信するように制御し、業務機器は受信した表示コマンドに基づき当該予め設定されたグラフィックコードを表示する。ロボットが検出対象の業務機器のディスプレイスクリーンに表示されるコンテンツに対してスキャン及び分析を行うように制御する。スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られる場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じていないことを決定する。スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られない場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じていることを決定する。

いくつかの実施例において、前記予め設定されたグラフィックコードは、予め設定された情報を有する二次元コードとすることができる。二次元コードを使用して回路故障の検出を行うことは以下の利点を有する。二次元コードは優れたフォールトトレランス能力を有し、誤り訂正能力を備える。図２ａから図２ｄが参照されるように、たとえディスプレイスクリーンに汚れた跡、スポット、クラック等干渉要因があるため一部情報が遮蔽される場合でも、依然として二次元コードを認識でき、二次元コードの方式によって、電源が入れるか否か、即ち回路故障に生じるか否かを判断することに影響を与えない。また、二次元コードは例えばスクリーンＩＤ等の情報を含むことができ、即ちロボットが複数の業務機器のディスプレイスクリーンを同時に見ている場合でも、二次元コードに含まれるスクリーンＩＤに基づき、現下の予め設定されたエリアに対応する業務機器を認識でき、二次元コードの外輪郭が正方形であるため、ロボットは対象スクリーンに厳密に向き合わなくても認識することができ、ロボットビジョンに透視が発生する場合、図３ａから図３ｃが参照されるように、ロボットは透視による歪みを容易に復元できる。

図３ａ及び図３ｂから分かるように、ロボットがカメラを用いてスクリーンのコンテンツに対して処理を行う時、ロボットの位置によってある程度の透視が発生し、ロボットのレンズに表示される二次元コードの外輪郭は非長方形になる可能性がある。図３ｂから分かるように、二次元コードは正方形ではなく、四辺形として表示され、「近くで大きく見え遠方では小さく見える」、いわゆる透視が発生する。一方、二次元コードの認識において透視が発生する場合でも脱透視を行うことによって当該二次元コードを正常に認識することができ、脱透視は定着されている従来の技術であり、ここでは詳細な説明は省略される。図３ｃに示すのは、二次元コードに対して脱透視を行った後の効果である。

さらに、いくつかの実施例において、ディスプレイスクリーンに回路故障が生じている場合、予め決定された監視機器に対して指示情報を送信し、前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じているため処理を行う必要があることを指示する。例えば、バックグラウンドサーバに指示情報を送信し、当該指示情報は回路故障が生じる業務機器の一意のアイデンティティＩＤ、及び前記検出対象の業務機器が配置される無人業務エリアの支店標識を含み、例えば、当該指示情報のフォーマットは「支店標識が＊＊＊＊＊の無人業務エリアで、ＩＤ番号が＊＊＊＊＊の業務機器のディスプレイスクリーンに回路故障が生じるため処理を行う必要がある」とすることができる。

ステップＳ３０において、前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じていない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じているか否かを分析する。

図１７に示すのは、本願によるスクリーン状態自動検出方法の好ましい実施例におけるステップＳ３０を細分化して概略的に示す図であり、ステップＳ３０は、ステップＳ３０１〜Ｓ３０６を含む。
ステップＳ３０１において、前記検出対象の業務機器のディスプレイスクリーンが単色表示の方式でそれぞれ複数種の予め設定されたカラー、例えば、赤、緑、青の３種の予め設定されたカラーを表示するように制御し、ただし、異なる予め設定されたカラーは異なるサイズの表示エリアに対応し、各予め設定されたカラーに対応する表示エリアの形状は、前記ディスプレイスクリーンの最大表示エリアの形状に対応し、且つ、そのうちの１つの前記予め設定されたカラーに対応する表示エリアは前記ディスプレイスクリーンの最大表示エリアである。

ステップＳ３０２において、単色表示の方式で１種の予め設定されたカラーが表示される時、当該予め設定されたカラーに対してディスプレイスクリーンに表示されるグラフィックにマスクを適用し、即ちディスプレイスクリーンの当該予め設定されたカラー以外のその他のカラーを遮蔽することにより、マスク画像を取得する。

ステップＳ３０３において、比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して抗干渉処理を行うことにより抗干渉画像を取得し、ただし、前記比較的小サイズの表示エリアは最大表示エリア以外のその他のサイズの表示エリアである。

ステップＳ３０４において、取得した抗干渉画像に基づき、前記ディスプレイスクリーンの最大表示エリアを決定し、決定された最大表示エリアに基づき、最大表示エリアに対応する予め設定されたカラーのマスク画像に対して実際の表示エリアの画像抽出を行って、最大表示画像を抽出し、スクリーンの周辺範囲に干渉エリアがある場合、例えば、スクリーンの周囲に「浸水」が発生する状況では、スクリーンの境界エリアが正常に表示できないため、マスクを取得して得た最大画像は不完全なものであり、これは境界干渉の問題を除外することに相当し、従って上記方式により最大表示エリアを取得する必要がある。

図４が参照されるように、ディスプレイスクリーンにサイズが異なる３つの表示エリアを設けることを例とすると、そのうち、小サイズの長方形のスクリーンの幅はＬ１で、中サイズの長方形のスクリーンの幅はＬ２で、大サイズの長方形のスクリーンの幅はＬ３である。ロボットはスクリーンの表示を制御する際にＬ１、Ｌ２とＬ３の比例関係をＬ３＝θ_１Ｌ２＝θ_２Ｌ１に設定でき、即ちθ_１及びθ_２はいずれも既知の数値である。また、画面の長さと幅の比例関係ζも既知のデータである。表示されるコンテンツに基づきＬ１又はＬ２の値を取得した後、上記Ｌ１、Ｌ２とＬ３の比例関係に基づきディスプレイスクリーンの幅Ｌ３を算出し、次にスクリーンの長さと幅の比例関係Ｌ／Ｗ＝ζに基づきディスプレイスクリーンの長さＷを算出することができる。

具体的に、比較的小サイズの表示エリアに対応する予め設定されたカラーの抗干渉画像に基づき、前記ディスプレイスクリーンの最大表示エリアを決定し、決定された最大表示エリアに基づき、最大表示エリアに対応する予め設定されたカラーのマスク画像に対して実際の表示エリアの画像抽出を行って、最大表示画像を抽出することの原理は以下に説明されるとおりである。
小サイズの長方形のエリアの幅Ｌ１を利用してＬ３＝θ_１Ｌ２＝θ_２Ｌ１により大サイズの長方形フレームの幅を算出することができ、Ｌ_３′と記し、同様に、中サイズの長方形フレームの幅Ｌ_２を利用して大サイズの長方形の幅を算出することができ、Ｌ_３″と記し、本願において誤差を低減するために、好ましくは、式１に従ってこの２つの値の平均値を取って大サイズの長方形の幅とする。
Ｌ_３＝（Ｌ_３′＋Ｌ_３″）／２…式１
次にスクリーンの長さと幅の比例関係Ｌ／Ｗ＝ζに基づき大サイズの長方形の長さＷを算出する。これにより大サイズの長方形のエリア範囲を取得することができ、大サイズの長方形のエリア範囲は画面の最大表示エリアである、即ち図６に示す最大サイズの長方形エリアの外輪郭曲線である。

しかしながら、異なるカラーのマスク画像をそれぞれ取得した後、スクリーンの境界自体にその他のカラーで干渉がある可能性があるため、例えば、スクリーンの境界自体にスポットがある場合、異なるカラーによってそれぞれマスクを取得した後の画像は依然として不完全な画像である可能性がある。マスクを取得した後の画像が不完全である状況に対して、本願は以下の解決手段を取る。
比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像の各境界線上の複数の点の座標を取得し、
前記各境界線上の複数の点の座標に基づき、それぞれ最小二乗法による直線当てはめアルゴリズムによって前記マスク画像の各境界線の延長線を取得し、
前記マスク画像の各境界線の延長線に基づき前記４つの境界線の交差点を取得し、前記４つの境界線の交差点及び前記４つの境界線に基づき前記マスク画像の四辺形の位置、即ち中サイズの長方形又は小サイズの長方形フレームの範囲を決定し、
前記四辺形に脱透視変換を行って長方形とし、前記マスク画像の長方形の位置に基づき前記抗干渉画像を取得する。

図５が参照されるように、算出された小サイズの長方形の境界及び中サイズの長方形の境界がそれぞれ示される。図７が参照されるように、境界上のいくつかの点に対して、図８が参照されるように、最小二乗法による直線当てはめアルゴリズムによって当該境界をシミュレーションする。ここで、最小二乗法による直線当てはめアルゴリズムはｙ_計＝ａ_０＋ａ_１＊ｘである。ここで、ｙ_計はシミュレーションして得る直線であり、ａ_０、ａ_１は求めるべきパラメータである。当該アルゴリズムによってａ_０、ａ_１を取得すると、当該境界線の延長線を取得でき、上記方式によって４つの境界線の延長線をそれぞれ取得し、次に４つの境界線の交差点を決定し、前記４つの境界線の交差点及び前記４つの境界線に基づき前記マスク画像の四辺形の位置、即ち中サイズの長方形又は小サイズの長方形の範囲を決定し、さらにＬ１及びＬ２の正確な値を決定する。

ステップＳ３０５において、前記最大表示画像に対してノイズ除去−強調前処理を行って、強調画像を取得する。

最大表示画像に対してノイズ除去−強調前処理を行って、強調画像を取得することの原理は次に説明されるとおりである。
収集されたスクリーンの異常状態の画像は不均一な照明、スクリーンの表面の不規則な隙間及び機器等の影響を受け、収集された画像がノイズを有するため、これらのノイズを除去するとともに、スクリーンの異常状態の細部を保持し、クラックと背景のコントラストを可能な限り高めることにより、後続の分離と認識を容易にする必要がある。図９の前処理前及び図１０の前処理図後の画像から分かるように、ノイズ除去−強調された画像の方はノイズ干渉が少なく、問題は明瞭に反映される。

本願においてガイデットフィルタを利用するアルゴリズムによって画像に対して前処理を行う。ガイデットフィルタを利用するアルゴリズムのステップは次のとおりである。
グレースケール処理されたスクリーン画像を入力画像Ｐとし、同様にグレースケール処理されたスクリーン画像をガイド画像Ｉとし、ノイズフィルタでフィルタリングされた画像をｑとして、式２を利用して入力画像Ｐを強調する。
Ｐ＿ｅｎｈａｎｃｅｄ＝（Ｉ−ｑ）ｍ＋ｑ…式２
ここで、ｍは強調係数であり、実際の状況に応じて決定することができ、ここでフィルタは実際の状況に応じて選択することができ、ここにおいてガイデットフィルタを選択して画像Ｐに対してフィルタリング処理を行う。

ここでパラメータｍの調整はＰ＿ｅｎｈａｎｃｅｄ（強調画像Ｐ）の効果に基づきフィードバックを行って再調整することができる。ここで反復法によって求める方式を想定する。当該方式は主にＰ＿ｅｎｈａｎｃｅｄの効果に対してフィードバックを行うことにより、パフォーマンスのよいＰ＿ｅｎｈａｎｃｅｄにより比較的高い重み値を与え、逆の場合に比較的低い重み値を与えるものである。

下記式中のεは満足度の割合であり、ｅｎｈａｎｃｅｄ満足度はＰ＿ｅｎｈａｎｃｅｄ画像の効果に基づき評価され、ｅｎｈａｎｃｅｄの最高満足度は固定値、例えば５００に設定される。
ε＝（ｅｎｈａｎｃｅｄ満足度）／（ｅｎｈａｎｃｅｄ最高満足度）…式３

満足度の値をよりよく調整するために、本願において下記式によりε値をａｌｐｈａ化し、その過程は以下のとおりである。
α＝（１／２）ｌｎ（（１−ε）／ε）…式４

第ｎ回の反復Ｔ_ｎと記すと、第ｎ＋１回はＴ_ｎ＋１と記すことができ、第ｎ回の反復後のｍの取る値はｍ_Ｔｎであることから、以下の式を有する。
ｍ_Ｔｎ＝ｍ_Ｔｎ−１ｅ^−α…式５

反復過程は以下のとおりである。最初に、初期重み値ｍをｍ_Ｔ１として指定し、次に式２に代入してＰ＿ｅｎｈａｎｃｅｄ後の画像を求め、式３に従ってＰ＿ｅｎｈａｎｃｅｄ後の画像の満足度を評価し、得た満足度の割合εをａｌｐｈａ化し、次にａｌｐｈａ化後の値及び式５を利用して重み値ｍを更新する。次に上記ステップを順に繰り返し実行することによりｍを更新し、幾通りかの反復後に好ましい重み値ｍを得る。これは反復するたびに重み値ｍが変更されるため、画像Ｐ＿ｅｎｈａｎｃｅｄに対するパフォーマンスが好ましくない場合にε値は低下し、結果的に重み値ｍも低下し、逆の場合に重み値が増大するからである。調整されるたびに画像Ｐ＿ｅｎｈａｎｃｅｄの効果は一層良くなり、反復回数を固定値（ここでは１０）に設定し、ｎ回の反復後に収束する状態が得られ、即ち画像Ｐ＿ｅｎｈａｎｃｅｄの効果は最良に近い状態である。強調された画像Ｐ＿ｅｎｈａｎｃｅｄを入力画像Ｐとし、グレースケール処理されたスクリーン画像をガイド画像Ｉとし、これによって得たフィルタリングされた画像は最終的に強調され平滑化された画像である。

ステップＳ３０６において、前記強調画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じているか否かを分析し、前記予め設定されたタイプの異常は異常に表示されるスポット、異常に表示される線及びクラックを含む。

前記強調画像に対して異常に表示されるスポットの検出及び分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに異常に表示されるスポットが出現するか否かを判断する。

図１１に示すのは、スクリーンに異常に表示される線が出現する状況である。

一つの実施例において、異常に表示される線の認識過程は次のとおりである。上記ステップで前処理された画像を取得し、ハフ変換を利用して直線を検出し、検出された異常に表示される線の数量が１より大きい場合、異常に表示される線が存在すると判断し、そうでない場合、異常に表示される線は存在しないと判断する。

ハフ変換に関する説明である。ハフ変換は一種の特徴抽出技術であり、古典的なハフ変換は画像中の直線を認識し、後に任意の形状が認識できるように発展しているが、認識可能なより一般的な形状は円及び楕円であるため、ここでスクリーンの異常に表示される線の状態を認識するためにこれを用いる。

直角座標糸では、直線は次のように定義される。
ｙ＝ｍｘ＋ｂ…式６
ここで、ｍは勾配であり、ｂはｙ切片であり、ｍ及びｂが決定されれば、直線は一意に決定される。ρ_０は原点の当該直線との代数距離を表し、θ_０は当該直線に直交する線のｘ軸との夾角を表すと、以下の式を有する。
ｍ＝−（１／ｔａｎθ_０）…式７
ｂ＝ρ_０／ｓｉｎθ_０…式８
よって、当該直線は次のように表すこともできる。
ｙ＝（−（ｃｏｓθ_０／ｓｉｎθ_０））ｘ＋（ρ_０／ｓｉｎθ_０）…式９
より一般的な形式として以下のように書き換えることができる。
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ…式１０
なお、（ρ，θ）は極座標で表す形式として想到されやすいことである。（ρ，θ）を直角座標の形式で表す、即ちρ及びθに対して直交処理を行うと、（ρ，θ）はハフ空間と呼ばれる。

直角座標系における１つの点は、ハフ空間における１つの正弦曲線に対応する。直線は無数の点で構成されるため、ハフ空間においては無数の正弦曲線となるが、これらの正弦曲線は点（ρ０，θ０）で交差し、当該点を式７及び式８に代入して直線の勾配及び切片を得ると、１つの直線は決定される。従って、ハフ変換を用いて直線を認識する場合、ハフ空間における最大値は１つの直線に対応する可能性がある。

異常に表示される線を検出するための従来の方法は人力による観察であるが、本実施例の方法により、ロボットは上記方式によって前処理された画像に対して異常に表示される線が存在するか否かを自動的に検出する。

前記強調画像に対して異常に表示される線の検出及び分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに異常に表示される線が出現するか否かを判断する。図１２に示すのは、スクリーンに異常に表示されるスポットが出現する状況である。

一つの実施例において、スポットを検出する際、異常に表示されるスポットを判断するプロセスは以下のとおりである。前処理された画像を取得し、ＳｉｍｐｌｅＢｌｏｂＤｅｔｅｃｔｏｒ（スポット検出オペレーター）アルゴリズムを用いてスポットが存在するか否かを検出し、検出されたスポットの数量が１より大きい場合、スクリーンに異常に表示されるスポットが存在すると判断し、そうでない場合は異常に表示されるスポットは存在しないと判断する。

また、異常に表示される固定スポットの面積範囲、二値化閾値等のパラメータの設定を簡素化するために、当該実施例ではＳｉｍｐｌｅＢｌｏｂＤｅｔｅｃｔｏｒアルゴリズムにおけるパラメータの選択方法を利用する。

いくつかのスクリーン上の異常に表示されるスポットの画像を選択して集計し、どの画像が異常に表示されるスポットが存在するかをマークする。異なるパラメータを選択して処理を行い、処理後の結果に対して分析する。結果は表１に示すとおりである。

特徴値がｋを取る場合にスポットとして判断されるのが実際にスポットである比率は以下のとおりである。
ｐｋ＝ｒｋ／Ｎｒ…式１１
特徴値がｋを取る場合に、スポットとして判断されるが実際にスポットではない数量が実際にスポットではない数量を占める比率は以下のとおりである。
ｕｋ＝（ｄｒ−ｒｋ）／（Ｎｄ−Ｎｒ）…式１２
ここにおいて特徴値がｋを取る場合の重み値係数を得る必要があり、以下のとおりに定義することができる。
ｗｋ＝（ｐｋ／（１−ｐｋ））／（ｕｋ／（１−ｕｋ））…式１３
上式を用いると、特徴値がｋを取る場合に、スポットが正確に判断される確率を可能な限り高めるとともに、スポットとして判断されるが実際にスポットではない確率が低いほど、重み値ｗｋが大きいようにすることができる。各特徴のパラメータｗｋ値が最大の方をＳｉｍｐｌｅＢｌｏｂＤｅｔｅｃｔｏｒアルゴリズムによる特徴点検出で決定すべきパラメータとして選択する。これによりこのパラメータの具体的な数値を人為的に判定する必要はない。

異常に表示されるスポットを検出するための従来の方法は人力による観察であるが、本実施例の方法により、ロボットは上記方式によって前処理された画像に対して異常に表示されるスポットが存在するか否かを自動的に検出する。

前記強調画像に対してクラックの検出及び分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンにクラックが出現するか否かを判断する。図１３に示すのは、スクリーンにクラックが出現する状況である。

一つの実施例において、以下のステップに従ってスクリーンにクラックが出現するか否かを検出する。
画像に対して分離を行い、図１４が参照されるように、ここで定着されている従来の方法としてミーンシフト分離アルゴリズムを利用してクラックの分離を行う。次に、分離後の画像に対して次のとおりにクラックの認識を行う。分離後にいくつかの連通するエリアが確認され、ここで連通するエリアとはクラックの分離後に形成された画像エリアを指し、検出された連通するエリアの数量が１より大きい場合、画像にクラックがあると判断してもよく、クラックは網状であるかスクリーンを横切る１本のクラックである可能性がある。連通するエリアが１つのみである場合、図１４が参照されるように、クラックのＸ軸に対する投影距離Ｈ、ｙ軸に対する投影距離Ｒをそれぞれ取得する。Ｈ＜閾値Ｄ且つＲ＜閾値Ｄである場合、スクリーンにクラックがないことを示す。ここで、閾値Ｄは距離を表す値であり、Ｈ及びＲがいずれも当該値より小さい場合に当該線はクラックではなく、ノイズ点であると見なすことができる。Ｈ及びＲのいずれかが当該閾値より大きい場合にスクリーンに横方向又は縦方向のクラックが存在するが、ただし当該クラックはスクリーン全体にわたるものではないと判断でき、図１４に示すのは横方向のクラックの１種の形態である。

クラックを検出するための従来の方法は人力による観察であるが、本実施例の方法により、ロボットは上記方式により前処理された画像に対してクラックが存在するか否かを自動的に検出する。

上記実施例によって提供されるスクリーン状態自動検出方法は、ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御し、ロボットが１つの所定機器の予め設定されたエリア内に移動する場合、検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき検出対象の業務機器に回路故障が生じるか否かを判断し、回路故障が生じない場合、検出対象の業務機器が予め設定された表示パラメータに従ってグラフィックを表示するように制御し、ディスプレイスクリーンに表示される画像に対して予め設定された分析ルールに従って分析を行うことにより、検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析するように構成され、当該方式は人力の介入を必要とせず、ロボットが対応するエリアに移動することで機器の回路故障及びスクリーンの表示状態を自動的に検出する。

さらに、本願の実施例は、コンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ読み取り可能な記憶媒体にスクリーン状態自動検出プログラムが記憶され、前記スクリーン状態自動検出プログラムが１つ以上のプロセッサによって実行されることにより、
前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御する動作と、
前記ロボットが１つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じているか否かを判断する動作と、
前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じていない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析する動作と、を実現する。

さらに、前記スクリーン状態自動検出プログラムがプロセッサによって実行される時、
前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じている場合、予め決定された監視機器に対して指示情報を送信し、前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じているため処理を行う必要があることを指示する動作を実現する。

さらに、前記スクリーン状態自動検出プログラムがプロセッサによって実行される時、
予め設定された移動ナビゲーション経路に従って前記ロボットの移動を制御し、１つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、前記ロボットが前記移動ナビゲーション経路に従って移動し続け、全ての業務機器のディスプレイスクリーンはいずれも検出が完了するまで継続するように制御する動作、
又は、前記ロボットがランダムに移動し、１つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、前記検出対象の業務機器を障害物としてマークするように制御し、ロボットが回避して移動するように制御し、回避して移動することが完了した後、前記ロボットがランダムに移動し続け、全ての業務機器がいずれも障害物としてマークされると移動を停止し、業務機器の障害物マークを除去するように制御する動作を実現する。

さらに、前記スクリーン状態自動検出プログラムがプロセッサによって実行される時、
前記ロボットが検出対象の業務機器と無線通信を行うように制御することにより、予め設定されたグラフィックコードを表示するための表示コマンドを前記検出対象の業務機器に送信し、ただし、前記予め設定された画像コードは予め設定された情報を含む動作と、前記ロボットが前記検出対象の業務機器が前記表示コマンドに基づきディスプレイスクリーンに表示するコンテンツに対してスキャン及び分析を行うように制御する動作と、スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られる場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じていないことを決定する動作と、スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られない場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じていることを決定する動作とを実現する。

さらに、前記スクリーン状態自動検出プログラムがプロセッサによって実行される時、
前記検出対象の業務機器のディスプレイスクリーンが単色表示の方式でそれぞれ複数種の予め設定されたカラーを表示するように制御し、ただし、異なる予め設定されたカラーは異なるサイズの表示エリアに対応し、各予め設定されたカラーに対応する表示エリアの形状は前記ディスプレイスクリーンの最大表示エリアの形状に対応し、且つ、そのうちの１つの前記予め設定されたカラーに対応する表示エリアは前記ディスプレイスクリーンの最大表示エリアである動作と、単色表示の方式で１種の予め設定されたカラーが表示される時、当該予め設定されたカラーに対してディスプレイスクリーンに表示されるグラフィックにマスクを適用することにより、マスク画像を取得する動作と、比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して抗干渉処理を行うことにより抗干渉画像を取得し、ただし、前記比較的小サイズの表示エリアは最大表示エリア以外のその他のサイズの表示エリアである動作と、取得した抗干渉画像に基づき、前記ディスプレイスクリーンの最大表示エリアを決定し、決定された最大表示エリアに基づき、最大表示エリアに対応する予め設定されたカラーのマスク画像に対して実際の表示エリアの画像抽出を行って、最大表示画像を抽出する動作と、前記最大表示画像に対してノイズ除去−強調前処理を行って、強調画像を取得する動作と、前記強調画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析する動作とを実現する。

さらに、前記スクリーン状態自動検出プログラムがプロセッサによって実行される時、
比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像の各境界線上の複数の点の座標を取得する動作と、前記各境界線上の複数の点の座標に基づき、それぞれ最小二乗法による直線当てはめアルゴリズムによって前記マスク画像の各境界線の延長線を取得する動作と、前記マスク画像の各境界線の延長線に基づき前記４つの境界線の交差点を取得し、前記４つの境界線の交差点及び前記４つの境界線に基づき前記マスク画像の四辺形の位置を決定する動作と、前記四辺形に脱透視変換を行って長方形とし、前記マスク画像の長方形の位置に基づき前記抗干渉画像を取得する動作と、を実現する。

本願によるコンピュータ読み取り可能な記憶媒体の具体的な実施形態は上記スクリーン状態自動検出ロボット及び方法の各実施例とほぼ同じであるため、ここで贅言しない。

なお、本願の実施例に記載された各番号は説明目的のものに過ぎず、実施例の優劣を示すものではない。本明細書中の「含む」という用語、又はこれに準じるその他の用語は非排他的に包む場合をカバーすることを意図するものであり、これによって一連の要素を含む過程、装置、物品もしくは方法は、これらの要素だけでなく、明記されていないその他の要素も含むか、又はかかる過程、装置、物品もしくは方法に固有する要素をさらに含む。特段の限定がない限り、「〜を含む」という文言で限定される要素は、当該要素を含む過程、装置、物品もしくは方法に同一の要素がさらに存在する場合は除外しない。

当業者は、実施形態に関する上記説明により、上記実施例の方法がソフトウェア及び必要な汎用ハードウェアプラットフォームの組み合わせの方式によって実現されてもよければ、ハードウェアによって実現されてもよいが、前者がより好ましい実施形態である場合は多いことを理解できるだろう。このような理解を踏まえ、本願の技術的解決手段の趣旨又は従来技術に対して貢献がある部分はソフトウェア製品の形式で表現されてもよく、当該コンピュータソフトウェア製品は上述した１つの記憶媒体（例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、１つの端末機器（携帯電話、コンピュータ、サーバ、又はネットワーク機器等とすることができる）が本願の各実施例に記載の方法を実行するための複数のコマンドを含む。

上記内容は本願の好ましい実施例に過ぎず、本願の特許請求の範囲を限定するためのものではない。本願の明細書及び図面の内容に基づいて行われる構造上の同等な変更又はプロセス上の変更、又はその他の関連する技術分野への直接又は間接的な適用は、いずれも本願の特許請求の範囲に含まれるものとする。

さらに、前記スクリーン状態自動検出プログラムがプロセッサによって実行される時、
前記ロボットが検出対象の業務機器と無線通信を行うように制御することにより、予め設定されたグラフィックコードを表示するための表示コマンドを前記検出対象の業務機器に送信し、ただし、前記予め設定されたグラフィックコードは予め設定された情報を含む動作と、前記ロボットが前記検出対象の業務機器が前記表示コマンドに基づきディスプレイスクリーンに表示するコンテンツに対してスキャン及び分析を行うように制御する動作と、スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られる場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じていないことを決定する動作と、スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られない場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じていることを決定する動作とを実現する。

Claims (20)

1. メモリと、プロセッサとを含むスクリーン状態自動検出ロボットであって、
   前記メモリにスクリーン状態自動検出プログラムが記憶され、前記スクリーン状態自動検出プログラムが前記プロセッサによって実行される時、
   前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御する動作と、
   前記ロボットが１つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断する動作と、
   前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析する動作と、を実現する
   ことを特徴とするスクリーン状態自動検出ロボット。
2. 前記プロセッサはさらに、前記スクリーン状態自動検出プログラムを実行することにより、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断するステップの後に、さらに、
   前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じる場合、予め決定された監視機器に対して指示情報を送信し、前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じるため処理を行う必要があることを指示するステップを実現するために用いられる
   ことを特徴とする請求項１に記載のスクリーン状態自動検出ロボット。
3. ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御することは、
   予め設定された移動ナビゲーション経路に従って前記ロボットの移動を制御し、１つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、前記ロボットが前記移動ナビゲーション経路に従って移動し続け、全ての業務機器のディスプレイスクリーンはいずれも検出が完了するまで継続するように制御する、
   又は、前記ロボットがランダムに移動し、１つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、前記検出対象の業務機器を障害物としてマークするように制御し、ロボットが回避して移動するように制御し、回避して移動することが完了した後、前記ロボットがランダムに移動し続け、全ての業務機器がいずれも障害物としてマークされると移動を停止し、業務機器の障害物マークを除去するように制御することを含む
   ことを特徴とする請求項１に記載のスクリーン状態自動検出ロボット。
4. 前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断する前記ステップは、
   前記ロボットが検出対象の業務機器と無線通信を行うように制御することにより、予め設定されたグラフィックコードを表示するための表示コマンドを前記検出対象の業務機器に送信し、ただし、前記予め設定された画像コードは予め設定された情報を含むことと、
   前記ロボットが前記検出対象の業務機器が前記表示コマンドに基づきディスプレイスクリーンに表示するコンテンツに対してスキャン及び分析を行うように制御することと、
   スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られる場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じないことを決定することと、
   スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られない場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じることを決定することと、を含む
   ことを特徴とする請求項１に記載のスクリーン状態自動検出ロボット。
5. 前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して予め設定された分析ルールに従って分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析することは、
   前記検出対象の業務機器のディスプレイスクリーンが単色表示の方式でそれぞれ複数種の予め設定されたカラーを表示するように制御し、ただし、異なる予め設定されたカラーは異なるサイズの表示エリアに対応し、各予め設定されたカラーに対応する表示エリアの形状は前記ディスプレイスクリーンの最大表示エリアの形状に対応し、且つ、そのうちの１つの前記予め設定されたカラーに対応する表示エリアは前記ディスプレイスクリーンの最大表示エリアであることと、
   単色表示の方式で１種の予め設定されたカラーが表示される時、当該予め設定されたカラーに対してディスプレイスクリーンに表示されるグラフィックにマスクを適用することにより、マスク画像を取得することと、
   比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して抗干渉処理を行うことにより抗干渉画像を取得し、ただし、前記比較的小サイズの表示エリアは最大表示エリア以外のその他のサイズの表示エリアであることと、
   取得した抗干渉画像に基づき、前記ディスプレイスクリーンの最大表示エリアを決定し、決定された最大表示エリアに基づき、最大表示エリアに対応する予め設定されたカラーのマスク画像に対して実際の表示エリアの画像抽出を行って、最大表示画像を抽出することと、
   前記最大表示画像に対してノイズ除去−強調前処理を行って、強調画像を取得することと、
   前記強調画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析することと、を含む
   ことを特徴とする請求項１に記載のスクリーン状態自動検出ロボット。
6. 前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して予め設定された分析ルールに従って分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析する前記ステップは、
   前記検出対象の業務機器のディスプレイスクリーンが単色表示の方式でそれぞれ複数種の予め設定されたカラーを表示するように制御し、ただし、異なる予め設定されたカラーは異なるサイズの表示エリアに対応し、各予め設定されたカラーに対応する表示エリアの形状は、前記ディスプレイスクリーンの最大表示エリアの形状に対応し、且つ、そのうちの１つの前記予め設定されたカラーに対応する表示エリアは前記ディスプレイスクリーンの最大表示エリアであることと、
   単色表示の方式で１種の予め設定されたカラーが表示される時、当該予め設定されたカラーに対してディスプレイスクリーンに表示されるグラフィックにマスクを適用することにより、マスク画像を取得することと、
   比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して抗干渉処理を行うことにより抗干渉画像を取得し、ただし、前記比較的小サイズの表示エリアは最大表示エリア以外のその他のサイズの表示エリアであることと、
   取得した抗干渉画像に基づき、前記ディスプレイスクリーンの最大表示エリアを決定し、決定された最大表示エリアに基づき、最大表示エリアに対応する予め設定されたカラーのマスク画像に対して実際の表示エリアの画像抽出を行って、最大表示画像を抽出することと、
   前記最大表示画像に対してノイズ除去−強調前処理を行って、強調画像を取得することと、
   前記強調画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析することと、を含む
   ことを特徴とする請求項２に記載のスクリーン状態自動検出ロボット。
7. 比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して抗干渉処理を行うことにより抗干渉画像を取得する前記ステップは、
   比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像の各境界線上の複数の点の座標を取得することと、
   前記各境界線上の複数の点の座標に基づき、それぞれ最小二乗法による直線当てはめアルゴリズムによって前記マスク画像の各境界線の延長線を取得することと、
   前記マスク画像の各境界線の延長線に基づき前記４つの境界線の交差点を取得し、前記４つの境界線の交差点及び前記４つの境界線に基づき前記マスク画像の四辺形の位置を決定することと、
   前記四辺形に脱透視変換を行って長方形とし、前記マスク画像の長方形の位置に基づき前記抗干渉画像を取得することとを含む
   ことを特徴とする請求項６に記載のスクリーン状態自動検出ロボット。
8. スクリーン状態自動検出方法であって、
   前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御することと、
   前記ロボットが１つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断することと、
   前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析することと、を含む
   ことを特徴とするスクリーン状態自動検出方法。
9. 前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断するステップの後に、前記方法はさらに、
   前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じる場合、予め決定された監視機器に対して指示情報を送信し、前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じるため処理を行う必要があることを指示するステップを含む
   ことを特徴とする請求項８に記載のスクリーン状態自動検出方法。
10. ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御する前記ステップは、
    予め設定された移動ナビゲーション経路に従って前記ロボットの移動を制御し、１つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、前記ロボットが前記移動ナビゲーション経路に従って移動し続け、全ての業務機器のディスプレイスクリーンはいずれも検出が完了するまで継続するように制御する、
    又は、前記ロボットがランダムに移動し、１つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、前記検出対象の業務機器を障害物としてマークするように制御し、ロボットが回避して移動するように制御し、回避して移動することが完了した後、前記ロボットがランダムに移動し続け、全ての業務機器がいずれも障害物としてマークされると移動を停止し、業務機器の障害物マークを除去するように制御することを含む
    ことを特徴とする請求項８に記載のスクリーン状態自動検出方法。
11. 前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断する前記ステップは、
    前記ロボットが検出対象の業務機器と無線通信を行うように制御することにより、予め設定されたグラフィックコードを表示するための表示コマンドを前記検出対象の業務機器に送信し、ただし、前記予め設定された画像コードは予め設定された情報を含むことと、
    前記ロボットが前記検出対象の業務機器が前記表示コマンドに基づきディスプレイスクリーンに表示するコンテンツに対してスキャン及び分析を行うように制御することと、
    スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られる場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じないことを決定することと、
    スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られない場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じることを決定することと、を含む
    ことを特徴とする請求項８に記載のスクリーン状態自動検出方法。
12. 前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して予め設定された分析ルールに従って分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析する前記ステップは、
    前記検出対象の業務機器のディスプレイスクリーンが単色表示の方式でそれぞれ複数種の予め設定されたカラーを表示するように制御し、ただし、異なる予め設定されたカラーは異なるサイズの表示エリアに対応し、各予め設定されたカラーに対応する表示エリアの形状は前記ディスプレイスクリーンの最大表示エリアの形状に対応し、且つ、そのうちの１つの前記予め設定されたカラーに対応する表示エリアは前記ディスプレイスクリーンの最大表示エリアであることと、
    単色表示の方式で１種の予め設定されたカラーが表示される時、当該予め設定されたカラーに対してディスプレイスクリーンに表示されるグラフィックにマスクを適用することにより、マスク画像を取得することと、
    比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して抗干渉処理を行うことにより抗干渉画像を取得し、ただし、前記比較的小サイズの表示エリアは最大表示エリア以外のその他のサイズの表示エリアであることと、
    取得した抗干渉画像に基づき、前記ディスプレイスクリーンの最大表示エリアを決定し、決定された最大表示エリアに基づき、最大表示エリアに対応する予め設定されたカラーのマスク画像に対して実際の表示エリアの画像抽出を行って、最大表示画像を抽出することと、
    前記最大表示画像に対してノイズ除去−強調前処理を行って、強調画像を取得することと、
    前記強調画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析することと、を含む
    ことを特徴とする請求項８に記載のスクリーン状態自動検出方法。
13. 前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して予め設定された分析ルールに従って分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析する前記ステップは、
    前記検出対象の業務機器のディスプレイスクリーンが単色表示の方式でそれぞれ複数種の予め設定されたカラーを表示するように制御し、ただし、異なる予め設定されたカラーは異なるサイズの表示エリアに対応し、各予め設定されたカラーに対応する表示エリアの形状は、前記ディスプレイスクリーンの最大表示エリアの形状に対応し、且つ、そのうちの１つの前記予め設定されたカラーに対応する表示エリアは前記ディスプレイスクリーンの最大表示エリアであることと、
    単色表示の方式で１種の予め設定されたカラーが表示される時、当該予め設定されたカラーに対してディスプレイスクリーンに表示されるグラフィックにマスクを適用することにより、マスク画像を取得することと、
    比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して抗干渉処理を行うことにより抗干渉画像を取得し、ただし、前記比較的小サイズの表示エリアは最大表示エリア以外のその他のサイズの表示エリアであることと、
    取得した抗干渉画像に基づき、前記ディスプレイスクリーンの最大表示エリアを決定し、決定された最大表示エリアに基づき、最大表示エリアに対応する予め設定されたカラーのマスク画像に対して実際の表示エリアの画像抽出を行って、最大表示画像を抽出することと、
    前記最大表示画像に対してノイズ除去−強調前処理を行って、強調画像を取得することと、
    前記強調画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析することと、を含む
    ことを特徴とする請求項９に記載のスクリーン状態自動検出方法。
14. 比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して抗干渉処理を行うことにより抗干渉画像を取得する前記ステップは、
    比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像の各境界線上の複数の点の座標を取得することと、
    前記各境界線上の複数の点の座標に基づき、それぞれ最小二乗法による直線当てはめアルゴリズムによって前記マスク画像の各境界線の延長線を取得することと、
    前記マスク画像の各境界線の延長線に基づき前記４つの境界線の交差点を取得し、前記４つの境界線の交差点及び前記４つの境界線に基づき前記マスク画像の四辺形の位置を決定することと、
    前記四辺形に脱透視変換を行って長方形とし、前記マスク画像の長方形の位置に基づき前記抗干渉画像を取得することとを含む
    ことを特徴とする請求項１３に記載のスクリーン状態自動検出方法。
15. コンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ読み取り可能な記憶媒体にスクリーン状態自動検出プログラムが記憶され、前記スクリーン状態自動検出プログラムが１つ以上のプロセッサによって実行されることにより、
    前記ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御するステップと、
    前記ロボットが１つの予め設定されたエリア内に移動する場合、当該予め設定されたエリアに対応する業務機器を検出対象の業務機器とし、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断するステップと、
    前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じない場合、前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析するステップと、を実現する
    ことを特徴とするコンピュータ読み取り可能な記憶媒体。
16. 前記スクリーン状態自動検出プログラムはさらに、１つ以上のプロセッサによって実行されることにより、前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断するステップの後に、さらに、
    前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じる場合、予め決定された監視機器に対して指示情報を送信し、前記検出対象の業務機器のディスプレイスクリーンに回路故障が生じるため処理を行う必要があることを指示するステップを実現する
    ことを特徴とする請求項１５に記載のコンピュータ読み取り可能な記憶媒体。
17. ロボットが無人業務エリア内の各業務機器の予め設定されたエリア内にそれぞれ移動するように制御する前記ステップは、
    予め設定された移動ナビゲーション経路に従って前記ロボットの移動を制御し、１つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、前記ロボットが前記移動ナビゲーション経路に従って移動し続け、全ての業務機器のディスプレイスクリーンはいずれも検出が完了するまで継続するように制御する、
    又は、前記ロボットがランダムに移動し、１つの業務機器の予め設定されたエリア内に移動し且つ前記検出対象の業務機器のディスプレイスクリーンに対して検出を完了した後、前記検出対象の業務機器を障害物としてマークするように制御し、ロボットが回避して移動するように制御し、回避して移動することが完了した後、前記ロボットがランダムに移動し続け、全ての業務機器がいずれも障害物としてマークされると移動を停止し、業務機器の障害物マークを除去するように制御することを含む
    ことを特徴とする請求項１５に記載のコンピュータ読み取り可能な記憶媒体。
18. 前記検出対象の業務機器に対して予め設定されたグラフィックコードを送信することにより、前記予め設定されたグラフィックコードによってディスプレイスクリーンに表示されるコンテンツに基づき前記検出対象の業務機器に回路故障が生じるか否かを判断する前記ステップは、
    前記ロボットが検出対象の業務機器と無線通信を行うように制御することにより、予め設定されたグラフィックコードを表示するための表示コマンドを前記検出対象の業務機器に送信し、ただし、前記予め設定された画像コードは予め設定された情報を含むことと、
    前記ロボットが前記検出対象の業務機器が前記表示コマンドに基づきディスプレイスクリーンに表示するコンテンツに対してスキャン及び分析を行うように制御することと、
    スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られる場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じないことを決定することと、
    スキャン及び分析により検出対象の業務機器のディスプレイスクリーンから予め設定された情報が得られない場合、検出対象の業務機器のディスプレイスクリーンに回路故障が生じることを決定することと、を含む
    ことを特徴とする請求項１５に記載のコンピュータ読み取り可能な記憶媒体。
19. 前記検出対象の業務機器が予め設定された表示パラメータに従って画像を表示するように制御し、ディスプレイスクリーンに表示される画像に対して予め設定された分析ルールに従って分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析する前記ステップは、
    前記検出対象の業務機器のディスプレイスクリーンが単色表示の方式でそれぞれ複数種の予め設定されたカラーを表示するように制御し、ただし、異なる予め設定されたカラーは異なるサイズの表示エリアに対応し、各予め設定されたカラーに対応する表示エリアの形状は前記ディスプレイスクリーンの最大表示エリアの形状に対応し、且つ、そのうちの１つの前記予め設定されたカラーに対応する表示エリアは前記ディスプレイスクリーンの最大表示エリアであることと、
    単色表示の方式で１種の予め設定されたカラーが表示される時、当該予め設定されたカラーに対してディスプレイスクリーンに表示されるグラフィックにマスクを適用することにより、マスク画像を取得することと、
    比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して抗干渉処理を行うことにより抗干渉画像を取得し、ただし、前記比較的小サイズの表示エリアは最大表示エリア以外のその他のサイズの表示エリアであることと、
    取得した抗干渉画像に基づき、前記ディスプレイスクリーンの最大表示エリアを決定し、決定された最大表示エリアに基づき、最大表示エリアに対応する予め設定されたカラーのマスク画像に対して実際の表示エリアの画像抽出を行って、最大表示画像を抽出することと、
    前記最大表示画像に対してノイズ除去−強調前処理を行って、強調画像を取得することと、
    前記強調画像に対して分析を行うことにより、前記検出対象の業務機器のディスプレイスクリーンに予め設定されたタイプの異常が生じるか否かを分析することと、を含む
    ことを特徴とする請求項１５に記載のコンピュータ読み取り可能な記憶媒体。
20. 比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像に対して抗干渉処理を行うことにより抗干渉画像を取得する前記ステップは、
    比較的小サイズの表示エリアに対応する予め設定されたカラーのマスク画像の各境界線上の複数の点の座標を取得することと、
    前記各境界線上の複数の点の座標に基づき、それぞれ最小二乗法による直線当てはめアルゴリズムによって前記マスク画像の各境界線の延長線を取得することと、
    前記マスク画像の各境界線の延長線に基づき前記４つの境界線の交差点を取得し、前記４つの境界線の交差点及び前記４つの境界線に基づき前記マスク画像の四辺形の位置を決定することと、
    前記四辺形に脱透視変換を行って長方形とし、前記マスク画像の長方形の位置に基づき前記抗干渉画像を取得することとを含む
    ことを特徴とする請求項１９に記載のコンピュータ読み取り可能な記憶媒体。