JP2018107756A - Information processing apparatus, control method of the same, and program - Google Patents
Information processing apparatus, control method of the same, and program Download PDFInfo
- Publication number
- JP2018107756A JP2018107756A JP2016255252A JP2016255252A JP2018107756A JP 2018107756 A JP2018107756 A JP 2018107756A JP 2016255252 A JP2016255252 A JP 2016255252A JP 2016255252 A JP2016255252 A JP 2016255252A JP 2018107756 A JP2018107756 A JP 2018107756A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- error
- imaging
- unit
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Programmable Controllers (AREA)
Abstract
Description
本発明は情報処理装置、情報処理装置の制御方法、およびプログラムに関し、特に、監視対象エリアでエラーが発生したときに、エラーの原因をユーザが特定しやすくすることが可能な仕組みに関する。 The present invention relates to an information processing apparatus, a control method for the information processing apparatus, and a program, and more particularly to a mechanism that allows a user to easily identify the cause of an error when an error occurs in a monitoring target area.
一般に生産工場においては、様々な工作機械を制御するためにPLC(Programmarable Logic Controller)が使用されており、生産工程に不具合が発生した場合は、PLCがエラーのアラートを上げる。また、別途生産ラインを監視するネットワークカメラが設置されており、両者は別のシステムとして稼働する場合もあれば1つのシステムとして稼動する場合もある。 Generally, in a production factory, a PLC (Programmable Logic Controller) is used to control various machine tools, and when a malfunction occurs in the production process, the PLC raises an error alert. In addition, a network camera for monitoring the production line is installed separately, and both may operate as separate systems or as one system.
特許文献1には、ネットワークカメラで物の生産工程を監視する仕組が開示されている。更に特許文献1には工作機械からアラートがあがると、ネットワークカメラをアラートがあがった方向に向けることが開示されている。
ところで、特許文献1のように工作機械からアラートがあがると、ネットワークカメラをその方向に向けるだけでは、実際に何が起きてエラーとなったのかという原因特定を特定することが難しいケースが存在する可能性があった。例えば、生産物を持ち上げて、箱に梱包する製造装置のアームについているについているセンサーが、本来ならば工作機械101が生産物301を持ち上げていればONになるはずなのにONにならなかったことを示すエラーイベントである場合に、もし当該エラーイベントの発生原因が工作機械101のアームのネジが外れていることに起因するものであったとしてもエラーイベントや、アラートがあがった方向を広範囲で撮像するネットワークカメラ104の画像データからは分からない可能性があった。
By the way, when an alert is raised from a machine tool as in
本発明は、監視対象エリアでエラーが発生したときに、エラーの原因をユーザが特定しやすくすることが可能な仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism that allows a user to easily identify the cause of an error when an error occurs in a monitoring target area.
本発明は、監視対象エリアを撮像する撮像手段であって、当該監視対象エリアでエラーが発生すると、当該エラーに対応する被撮像対象物を撮像する撮像手段と通信可能な情報処理装置であって、前記撮像手段で撮像した画像データを取得する取得手段と、前記取得手段で取得した前記画像データと、前記エラーが発生していないときに前記被撮像対象物を撮像した画像データとを用いて、前記取得手段で取得した画像データの中からエラーの要因となった可能性の高い箇所を特定する特定手段と、前記特定手段で特定された箇所を前記撮像手段でズームして撮像するように制御する制御手段とを備えることを特徴とする。 The present invention relates to an image capturing unit that captures an image of a monitoring target area, and when an error occurs in the monitoring target area, the information processing apparatus can communicate with the image capturing unit that captures an imaged target corresponding to the error. , Using acquisition means for acquiring image data captured by the imaging means, the image data acquired by the acquisition means, and image data obtained by imaging the object to be imaged when the error does not occur A specifying unit that identifies a portion that is likely to cause an error from the image data acquired by the acquiring unit, and a portion that is specified by the specifying unit is zoomed and imaged by the imaging unit. And a control means for controlling.
また、本発明は、監視対象エリアを撮像する撮像手段であって、当該監視対象エリアでエラーが発生すると、当該エラーに対応する被撮像対象物を撮像する撮像手段と通信可能な情報処理装置の制御方法であって、前記情報処理装置の取得手段が、前記撮像手段で撮像した画像データを取得する取得工程と、前記情報処理装置の特定手段が、前記取得工程で取得した前記画像データと、前記エラーが発生していないときに前記被撮像対象物を撮像した画像データとを用いて、前記取得手段で取得した画像データの中からエラーの要因となった可能性の高い箇所を特定する特定工程と、前記情報処理装置の制御手段が、前記特定工程で特定された箇所を前記撮像手段でズームして撮像するように制御する制御工程とを備えることを特徴とする。 Further, the present invention provides an imaging unit that images a monitoring target area, and when an error occurs in the monitoring target area, the information processing apparatus is capable of communicating with the imaging unit that captures an imaging target corresponding to the error. In the control method, the acquisition unit of the information processing device acquires the image data captured by the imaging unit, and the image data acquired by the specifying unit of the information processing device in the acquisition step; Identifying a location that is likely to cause an error from the image data acquired by the acquisition unit using image data obtained by imaging the object to be imaged when the error does not occur And a control step of controlling the control means of the information processing apparatus so as to zoom and pick up an image of the location specified in the specifying step with the image pickup means.
また、本発明は、監視対象エリアを撮像する撮像手段であって、当該監視対象エリアでエラーが発生すると、当該エラーに対応する被撮像対象物を撮像する撮像手段と通信可能な情報処理装置で読み取り実行可能なプログラムであって、前記情報処理装置を、前記撮像手段で撮像した画像データを取得する取得手段と、前記取得手段で取得した前記画像データと、前記エラーが発生していないときに前記被撮像対象物を撮像した画像データとを用いて、前記取得手段で取得した画像データの中からエラーの要因となった可能性の高い箇所を特定する特定手段と、前記特定手段で特定された箇所を前記撮像手段でズームして撮像するように制御する制御手段として機能させることを特徴とする。 In addition, the present invention is an image processing unit that captures an image of a monitoring target area. When an error occurs in the monitoring target area, the information processing apparatus can communicate with the image capturing unit that captures an imaged target corresponding to the error. A read-executable program when the information processing apparatus acquires an image data captured by the imaging unit, the image data acquired by the acquisition unit, and the error does not occur Using the image data obtained by imaging the object to be imaged, a specifying unit that specifies a portion that is likely to cause an error from the image data acquired by the acquiring unit, and specified by the specifying unit It is characterized by functioning as a control means for controlling the imaged portion to be zoomed and imaged by the imaging means.
本発明によると、監視対象エリアでエラーが発生したときに、エラーの原因をユーザが特定しやすくすることができる。 According to the present invention, when an error occurs in the monitoring target area, the user can easily identify the cause of the error.
以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の1つである。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The embodiment described below shows an example when the present invention is specifically implemented, and is one of the specific embodiments having the configurations described in the claims.
図1は本発明の工作機械101、PLC102、PLCクライアント端末103、ネットワークカメラ104、中継サーバ105、録画サーバ106、閲覧クライアント端末107を含む、工場のラインを流れる物の生産工程を監視する生産工程監視システムの構成の一例を示すシステム構成図である。
FIG. 1 shows a production process for monitoring a production process of an object flowing through a factory line including a
本生産工程監視システムでは、各装置が、ネットワーク108や無線LAN(移動体通信網を含む)を介して通信接続可能に接続されている。
工作機械101は、生産対象となっている生産物の組立、加工、梱包等を行なう。
In the production process monitoring system, each device is connected to be communicable via a
The
PLC102は、工作機械101を制御する。また、工作機械101にエラーが発生した場合に、エラーを検出し、PLCクライアント端末103に、PLC102の処理結果を送信する。また、工作機械101に異常が発生したときには、異常発生時の原因を示すコードを、PLCクライアント端末103に送信する。
The PLC 102 controls the
PLCクライアント端末103は、PLC102から送信されたPLC102の処理結果や、異常発生時の原因を示すコードを受信し、当該受信した情報がPLC102の異常発生時の原因を示すコードである場合には、エラーを示すイベント(エラーイベントともいう)を中継サーバ105に送信する。
The
なお、エラーイベントとは、例えば、「生産工程Aで、容器取出しロボット_把持OFF異常(生産物である容器を取り出す工作機械101のハンドについているセンサーがONにならない。)」といった、生産工程監視システム上で発生する各種エラーである。
The error event is, for example, a production process monitoring such as “In the production process A, the container take-out robot_gripping OFF abnormality (the sensor attached to the hand of the
中継サーバ105は、エラーを示すイベントをPLCクライアント端末103から受信すると、イベントの内容に応じて、ネットワークカメラ104のPTZ(左右に動かすパン、上下に動かすチルト、そして、望遠にしたり広角にしたりするズームのこと)を調整するかを決定し、決定した内容を録画サーバ106に送信する。
When the
録画サーバ106は、ネットワークカメラ104に、画像データ(撮像データとも言う)の取得リクエストを送って、当該ネットワークカメラ104で撮像した画像データを取得して記憶したり、閲覧クライアント端末107に取得した画像データを送信したりする。更に、録画サーバは、取得した画像データを解析し、ネットワークカメラ104のPTZの調整が必要であるかを判断する。
The
なお、本実施形態では中継サーバ105と録画サーバ106を別々の装置としたが他の実施形態として、中継サーバ105と録画サーバ106は同一の装置であっても良い。
In this embodiment, the
ネットワークカメラ104は、生産工程ごとに、1または複数設けられ、各生産工程を撮像する。そして、録画サーバ106に対して当該ネットワークカメラ104で撮像した画像データを送信する。また、録画サーバ106からの指示に従って、当該ネットワークカメラ104のPTZの調整を行なう。
One or a plurality of
閲覧クライアント端末107は、ユーザがエラーイベント発生時の画像データを確認したりするために用いられ、録画サーバ106から送信された画像データをディスプレイに表示する。
以上で、図1の説明を終了する。
The
This is the end of the description of FIG.
次に、図2を用いて、図1に示したPLCクライアント端末103、中継サーバ105、録画サーバ106、閲覧クライアント端末107に適用可能な情報処理装置のハードウェア構成について説明する。
Next, the hardware configuration of the information processing apparatus applicable to the
図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。また、ROM202あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
In FIG. 2,
203はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは外部メモリ211からRAM203にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。
A
また、205は入力コントローラで、キーボード(KB)209等のポインティングデバイス等からの入力を制御する。206はビデオコントローラで、ディスプレイ210(液晶、ブラウン管を問わない)等の表示器への表示を制御する。
An
207はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。
A
208は通信I/Fコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。
A communication I /
なお、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ210上での表示を可能としている。また、CPU201は、ディスプレイ210上の不図示のマウスカーソル等でのユーザ指示を可能とする。
Note that the
本発明を実現するための後述する各種プログラムは、外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ211に格納されており、これらについての詳細な説明も後述する。以上で、図2の説明を終了する。
Various programs to be described later for realizing the present invention are recorded in the
次に、図3を用いて、本発明の生産工程監視システムを適用した一例を示す図であり、ある工場の生産ラインを上から見た図である。 Next, it is a figure which shows an example which applied the production process monitoring system of this invention using FIG. 3, and is the figure which looked at the production line of a certain factory from the top.
図3に示す生産ラインでは、生産工程A〜生産工程Cまでの3つの生産工程からなり、生産工程ごとにネットワークカメラ104が1台ずつ設置されている。ネットワークカメラ104は、設置時に予めユーザにより決定されたプリセットで、通常は撮像を行なっている。
The production line shown in FIG. 3 includes three production processes from production process A to production process C, and one
なお、生産ラインに設置されたネットワークカメラ104の情報は、図4に示すネットワークカメラデータベースで管理されている。
Information on the
また、生産工程ごとに工作機械101が設けられており、工作機械101は、生産物301の組立や、加工、梱包等を行なっている。生産物301は搬送台302によって、各生産工程に搬送される。以上で図3の説明を終了する。
次に図4を用いて、ネットワークカメラデータベースについて説明する。
A
Next, the network camera database will be described with reference to FIG.
図4は、中継サーバ105、または録画サーバ106の外部メモリ211で管理する、ネットワークカメラデータベースの一例を示す図であり、ネットワークカメラデータベースは、各ネットワークカメラ104を一意に識別するためのネットワークカメラ名401、ネットワークカメラ名401で示されるネットワークカメラ104が撮影している生産工程を示す撮像対象402、ネットワークカメラ名401で示されるネットワークカメラ104のプリセットを示すプリセット403で構成される。以上で図4の説明を終了する。
FIG. 4 is a diagram showing an example of the network camera database managed by the
次に図5を用いて、ネットワークカメラ104で撮像した画像を閲覧クライアント端末107で表示したときの表示画面の一例について説明する。
Next, an example of a display screen when an image captured by the
図5は、閲覧クライアント端末107のディスプレイ210に表示される、ネットワークカメラ104で撮像した画像を閲覧クライアント端末107で表示したときの表示画面の一例を示す図である。
FIG. 5 is a diagram illustrating an example of a display screen when an image captured by the
表示画面500は、生産ラインを、イラスト化した画像データを表示する生産ライン表示領域501、現在ネットワークカメラ104が撮像している画像データ(ライブ映像)を表示するライブ映像領域502、生産工程でエラーイベントが発生したときの画像データ(録画映像)を表示する録画映像表示領域503、生産工程で発生したエラーイベントの一覧を表示する一覧領域504で構成される。
The
生産ライン表示領域501には、現在ライブ映像を表示しているネットワークカメラ104の位置をユーザが認識可能となるように画像データを表示する。
In the production
一覧領域504は、エラーイベントの発生日時を示す日時505、エラーの状態(新規で追加されたエラーイベントであれば「新規」と表示)を示す名称506、エラーイベントの内容を示すメッセージ507、エラーイベントが発生した生産工程と、当該生産工程を撮像するネットワークカメラ104を示すソース508で構成される。以上で、図5の説明を終了する。
次に、図6を用いて、本発明の生産工程監視システムにおける全体の処理について説明する。
A
Next, the overall processing in the production process monitoring system of the present invention will be described with reference to FIG.
図6は、本発明の生産工程監視システムにおける全体の処理に関するフローチャートの一例を示す図である。 FIG. 6 is a diagram showing an example of a flowchart relating to the overall processing in the production process monitoring system of the present invention.
図6、および後述する図8、図10、図11、図13に示すフローチャートの各ステップは、各装置のCPUが処理を実行する。 Each step of the flowcharts shown in FIG. 6 and FIGS. 8, 10, 11, and 13 described later is executed by the CPU of each device.
ステップS601において、PLCクライアント端末103は、PLC102から送信されたPLC102の処理結果や、異常発生時の原因を示すコードを受信し、当該受信した情報がPLC102の異常発生時の原因を示すコードであるかを判定して(ステップS602)、受信した情報がPLC102の異常発生時の原因を示すコードである場合には、エラーイベントを中継サーバ105に送信する(ステップS603)。
In step S601, the
ステップS604において、中継サーバ105は、エラーイベントをPLCクライアント端末103から受信すると(ステップS604)、受信したエラーイベント解析処理を実行する(ステップS605)。ステップS605の処理の詳細は、図8を用いて後ほど説明する。
In step S604, when the
なお、いずれのPLC102から受信したエラーイベントなのかは、送信元のIPアドレスから判別可能とする。また、PLC102はメーカーによってエラーイベントの送信手順、送信データ形式は異なるが、中継サーバ105は、対応する複数のPLCメーカーの送信手順、送信データ形式に対してメーカー別の受信ドライバを実装することで、メーカーの違いを吸収できるものとなっている。
Note that the error event received from which
また、本発明では、エラーイベントからエラーのおおよその発生箇所やエラーの内容を特定できるものとする。 Further, in the present invention, it is assumed that an approximate location of an error and the content of the error can be specified from the error event.
複数のエラーイベントがある場合には、ステップS604において、中継サーバ105は、それらすべてのエラーイベントを取得する。
If there are a plurality of error events, the
ステップS604は、本発明における、前記生産工程でエラーが発生したことを検知する検知手段による検知結果を取得する取得手段の一例である。 Step S604 is an example of an acquisition unit that acquires a detection result by a detection unit that detects that an error has occurred in the production process according to the present invention.
ステップS606において、中継サーバ105は、ステップS605の処理で決定された、ネットワークカメラ104のPTZ(左右に動かすパン、上下に動かすチルト、そして、望遠にしたり広角にしたりするズームのこと)を調整するかの内容を含むエラーイベントの情報を録画サーバ106に送信し、録画サーバ106を介して、ネットワークカメラ104に調整指示を行なう。
In step S606, the
ステップS606は、本発明における、前記決定手段により、エラーが発生した前記生産工程を撮像する前記撮像手段以外の生産工程を撮像する他の前記撮像手段を、エラーが発生した前記生産工程を撮像するように制御すると決定されると、他の前記撮像手段を、エラーが発生した前記生産工程を撮像するように制御する制御手段の一例である。 In step S606, the determination unit according to the present invention captures the production process in which the error has occurred with the imaging unit other than the imaging unit that images the production process in which the error has occurred. When it is determined to control in this way, it is an example of a control unit that controls the other imaging unit to image the production process in which an error has occurred.
ステップS607において、録画サーバ106は、ネットワークカメラ104に対して当該ネットワークカメラ104で撮像した画像データの取得リクエストを送信する。
In step S <b> 607, the
ステップS608において、録画サーバ106は、ステップS607における画像データの取得リクエストに対して、ネットワークカメラ104から送信される画像データを取得して、当該画像データに対する処理を実行する(ステップS609)。ステップS609の処理の詳細は、図10を用いて後ほど説明する。なお、取得した画像データは所定時間バッファリングする。
In step S608, the
ステップS610において、録画サーバ106は、閲覧クライアント端末107にネットワークカメラ104から取得した画像データを送信する。
In step S610, the
ステップS611において、ネットワークカメラ104は、録画サーバ106からのリクエストを受信し、リクエストに応じた処理を実行する(ステップS612)。ステップS612の処理の詳細は、図11を用いて後ほど説明する。
In step S611, the
ステップS613において、閲覧クライアント端末107は、録画サーバ106から送信された画像データを受信し、当該画像データをディスプレイ210に表示する処理を実行する(ステップS614)。ステップS614の処理の詳細は、図13を用いて後ほど説明する。
In step S613, the
ステップS613は、本発明における、前記監視対象エリアでエラーが発生したときの前記撮像手段で撮像した画像データを取得する取得手段の一例である。
以上で図6の説明を終了する。
次に図7、8を用いて、図6のステップS605の処理の詳細について説明する。
Step S613 is an example of an acquisition unit that acquires image data captured by the imaging unit when an error occurs in the monitoring target area in the present invention.
This is the end of the description of FIG.
Next, details of the processing in step S605 of FIG. 6 will be described with reference to FIGS.
図4で説明したとおり、生産工程ごとに撮像するネットワークカメラ104は決まっているため、生産工程でエラーイベントが発生した場合には、当該生産工程を撮影対象(撮像対象402)とするネットワークカメラ104(ネットワークカメラ名401によって示されるネットワークカメラ)が、当該生産工程を撮像する。しかしながら、エラーの内容によっては、そのネットワークカメラ104の画像データだけではエラー状態が把握できない場合がある。
As described with reference to FIG. 4, since the
例えば、図3に示す状態で、生産工程Aでエラーイベントが発生した場合に、カメラ1では、工作機械aのカメラ1で撮像している側と反対側、つまり工作機械aの背面がカメラ1から死角となり、エラー箇所が撮像できない可能性がある。また、生産物301を搬送する搬送台302より下でエラーイベントが発生した場合にもエラー箇所が撮像できない可能性があった。
For example, in the state shown in FIG. 3, when an error event occurs in the production process A, in the
そこで、本発明は、図8に示す処理を実行することにより、上述したような場合であってもエラー箇所を撮像可能な仕組を提供する。 Therefore, the present invention provides a mechanism capable of imaging an error location even in the above-described case by executing the processing shown in FIG.
具体的には、図8の処理を実行することによって、エラーイベントが発生した生産工程を撮像するネットワークカメラ104の死角となる位置でエラーイベントが発生した場合には、当該エラーイベントの発生箇所のおおよその位置は、PLCクライアント端末103から送信されるエラーイベントの情報から特定できるため、そのような場合には、図7に示すとおり、他の生産工程を撮像するネットワークカメラ104もエラーイベントが発生した生産工程を撮像するように決定する。
Specifically, by executing the processing of FIG. 8, when an error event occurs at a position that is a blind spot of the
図7は、本発明の生産工程監視システムを適用した一例を示す図であり、図3に示す生産ラインにおいて、エラーイベントが発生した生産工程を撮像するネットワークカメラ104の死角となる位置でエラーイベントが発生した場合に、他の生産工程を撮像するネットワークカメラ104(カメラ2とカメラ3)もエラーイベントが発生した生産工程を撮像するようにした図である。
FIG. 7 is a diagram showing an example to which the production process monitoring system of the present invention is applied. In the production line shown in FIG. 3, an error event is detected at a position that is a blind spot of the
他の生産工程を撮像するネットワークカメラ104もエラーイベントが発生した生産工程を撮像することで、カメラ1では死角となる場所も撮影することが可能となる。
The
さらに、このとき、エラーイベントが発生した生産工程から最も遠い生産工程を撮像するネットワークカメラ104(図7の場合は、カメラ3)については、ズームアウトさせるように制御する(つまり、広い範囲を撮像させる)ことにより、本発明では、生産工程で発生したエラーイベントが、他の生産工程に影響を与えていたとしても、ズームアウトしたネットワークカメラ104の画像データからその影響を確認可能とする。
では、ここから、図8の各ステップについて説明する。
Further, at this time, the network camera 104 (
Now, each step of FIG. 8 will be described.
ステップS801において、中継サーバ105は、ステップS604で取得したエラーイベントが、エラーイベントが発生した生産工程以外の他の生産工程を撮像するネットワークカメラ104も当該エラーイベントが発生した生産工程を撮像するようにすべきエラーイベントであるかを判定する。つまり、エラーイベントが発生した生産工程を撮像するネットワークカメラ104の死角となる位置でエラーイベントが発生したかを判定する。他の生産工程を撮像するネットワークカメラ104も当該エラーイベントが発生した生産工程を撮像するようにすべきエラーイベントであるならばステップS803に処理を移行し、他の生産工程を撮像するネットワークカメラ104も当該エラーイベントが発生した生産工程を撮像するようにすべきエラーイベントでなければステップS802に処理を移行する。
In step S801, the
ステップS802において、中継サーバ105は、エラーイベントが発生した生産工程を撮像するネットワークカメラ104でエラーの発生箇所を撮像すると決定して、本処理を終了する。
In step S <b> 802, the
ステップS803において、中継サーバ105は、他の生産工程でもエラーイベントが発生しているかを、ステップS604で複数のエラーイベントを取得し、かつそれぞれのエラーイベントが発生した生産工程が異なるかにより判定する。他の生産工程でもエラーイベントが発生していると判定した場合には、ステップS805に処理を移行し、そうでなければステップS804に処理を移行する。
In step S803, the
ステップS804において、中継サーバ105は、エラーが発生した生産工程以外の他の生産工程を撮像するネットワークカメラ104も当該エラーが発生した生産工程を撮像するようにすると決定する。
In step S804, the
ステップS804は、本発明における、前記取得手段で取得した前記検知結果を用いて、エラーが発生した前記生産工程を撮像する前記撮像手段以外の生産工程を撮像する他の前記撮像手段を、エラーが発生した前記生産工程を撮像するように制御するかを決定する決定手段の一例である。 In step S804, in the present invention, the detection result acquired by the acquisition unit is used to detect the other imaging unit that images the production process other than the imaging unit that images the production process in which an error has occurred. It is an example of the determination means which determines whether it controls to image the said produced production process.
ステップS805において、中継サーバ105は、他の生産工程で発生しているエラーイベントが、重大なエラーを示すエラーイベントであるかを、ステップS604で取得したエラーイベントの内容から判定する。中継サーバ105は、重大なエラーを示すエラーイベントであれば、ステップS806に処理を移行し、重大なエラーを示すエラーイベントでなければステップS804に処理を移行する。
In step S805, the
つまり、他の生産工程でエラーイベントが発生していたとしても軽微なエラーイベントであれば、エラーが発生した生産工程以外の他の生産工程を撮像するネットワークカメラ104も当該エラーが発生した生産工程を撮像するようにすると決定する。
That is, even if an error event has occurred in another production process, if it is a minor error event, the
重大なエラーイベントであるかは、ユーザが各エラーイベントに対して、重み付けを設定しておき、重み付けの値が基準値を超える場合に重大なエラーであると特定することが可能である。 Whether the error event is a serious error event can be specified by the user by setting a weight for each error event, and when the weighting value exceeds the reference value, the user can identify a serious error event.
ここでいう重大なエラーとは、例えば、工作機械101が誤作動をおこし制御不可能になったり、工作機械101が完全に停止してしまったりしている場合等である。
The serious error here is, for example, a case where the
ステップS806において、中継サーバ105は、各ネットワークカメラ104を、元々それぞれが撮像対象(撮像対象402)としていた生産工程を撮像させると決定する。
In step S806, the
なお、ステップS801では、エラーイベントが発生した生産工程を撮像するネットワークカメラ104の死角となる位置でエラーイベントが発生したとしても軽微なエラーイベントであれば、他の生産工程を撮像するネットワークカメラ104を当該エラーが発生した生産工程を撮像するようにしなくとも良い。以上で、図8の説明を終了する。
次に、図9、10を用いて、図6のステップS609の処理の詳細について説明する。
Note that in step S801, even if an error event occurs in a position that becomes a blind spot of the
Next, details of the processing in step S609 in FIG. 6 will be described with reference to FIGS.
これまで説明してきたとおり、中継サーバ105は、エラーイベントをPLCクライアント端末103から受信すると、エラーイベントが発生した生産工程を撮影対象とするネットワークカメラ104が、当該生産工程を撮像するが、実際に何が起きてエラーとなったのかという原因特定は、エラーイベントの内容と、当該生産工程を予め設定されたプリセットで撮像するネットワークカメラ104の画像データをユーザが目視で確認するだけでは難しいケースが存在する。例えば、生産物301を持ち上げて、箱に梱包する工作機械101のアームについているについているセンサーが、本来ならば工作機械101が生産物301を持ち上げていればONになるはずなのにONにならなかったことを示すエラーイベントである場合に、もし当該エラーイベントの発生原因が工作機械101のアームの部品が外れていることに起因するものであったとしてもエラーイベントや、予め設定されたプリセットで撮像するネットワークカメラ104の画像データからは分からない可能性があった。
As described above, when the
そこで、本発明では、予め録画サーバ106で管理する、当該生産工程で工作機械101が正しく動作が実行されているときの画像データ(正常系の画像データ)をPlug−inアプリに読み込ませることで、正常時の一定時間における画像データの変化のパターン(工作機械101が正しく動作しているときの画像データの変化のパターン)を認識させておき、エラーイベントが発生したときの当該生産工程を撮像した画像データの変化の中で、認識させた画像データの変化パターンと異なる変化を検知する。そして、異なる変化を検知した部分に対応する現実空間上の位置をネットワークカメラ104でズームして撮像するように指示をする。ユーザは、ズームしたネットワークカメラ104で撮像した画像データを確認することで、よりエラーイベントの原因となった箇所を詳細に確認することが可能となる。
Therefore, in the present invention, image data (normal image data) when the
更に本発明では、画像の変化を検知する上で、予めエラーイベントの内容から、当該画像データの中でエラーの要因となっている可能性が高い大まかな位置に矩形を設定し、当該矩形の中の画像データの変化が、認識させた画像データと異なる変化をしているかを検知することで、変化の特定に要する処理時間の短縮や、録画サーバ106の負荷を軽減する。
なお、矩形は、エラーイベントの内容から問題発生が予想される箇所に対して設定される。
ここまでの処理を実施した結果のイメージを図9に示す。
Further, in the present invention, when detecting a change in an image, a rectangle is set in advance at a rough position that is likely to cause an error in the image data from the content of the error event. By detecting whether the change in the image data is different from the recognized image data, the processing time required for specifying the change is reduced and the load on the
Note that the rectangle is set for a location where a problem is expected to occur from the contents of the error event.
FIG. 9 shows an image of the result of performing the processing so far.
図9は、閲覧クライアント端末107のディスプレイ210に表示される、ネットワークカメラ104で撮像した画像データを閲覧クライアント端末107で表示したときの表示画面の一例を示す図である。
FIG. 9 is a diagram illustrating an example of a display screen when image data captured by the
図9では録画映像表示領域503内の画像データの中でエラーの要因となっている可能性が高い大まかな位置に矩形901を設定している。そして、図9の例では、矩形901の中で、予め認識させた正常時に生産工程を撮像した画像データの一定時間における変化のパターンと異なる変化をしている箇所として枠902の箇所が特定されている状態を示す。その後、枠902の箇所をズームするように録画サーバ106から指示されたネットワークカメラ104によりズーム撮像が実行されると、録画映像表示領域503内にズーム撮像した画像データ(ズーム画像データ903)が表示される。なお、他の実施形態として、正常時に生産工程を撮像した画像データを、一時的に生産ライン表示領域501や、ライブ映像領域502に表示することで、エラーイベントが発生したときの当該生産工程を撮像した画像データ(録画映像表示領域503内に表示される画像データ)との、変化の違いをユーザが比較できるようにすることも可能である。
In FIG. 9, a rectangle 901 is set at a rough position where there is a high possibility of causing an error in the image data in the recorded
ステップS1001において、録画サーバ106は、エラーイベントを受信したかを判定する。録画サーバ106は、エラーイベントを受信したならば、ステップS1004に処理を移行し、そうでなければステップS1002−1に処理を移行する。
In step S1001, the
ステップS1002−1において、録画サーバ106は、ステップS608でネットワークカメラ104から取得した画像データを閲覧クライアント端末107のライブ映像領域502に表示させるべく閲覧クライアント端末107に当該画像データを送信し、その後当該画像データを所定時間バッファリングしている間にステップS1001でエラーイベントを受信しないと、ステップS1002において、当該画像データを削除する。
In step S1002-1, the
ステップS1003において、録画サーバ106は、ユーザから終了指示を受け付けたかを判定し、終了指示を受け付けたならば本処理を終了し、そうでなければステップS1001に処理を戻す。
In step S1003, the
ステップS1004において、録画サーバ106は、中継サーバ105からネットワークカメラ104の動作指示(具体的には、ステップS804のエラーが発生した生産工程以外の他の生産工程を撮像するネットワークカメラ104も当該エラーが発生した生産工程を撮像するようにする指示)を受信しているかを判定する。中継サーバ105からネットワークカメラ104の動作指示を受信しているならば、受信した動作指示をネットワークカメラ104に送信し(ステップS1005)、そうでなければステップS1006に処理を移行する。
In step S1004, the
ステップS1006において、録画サーバ106は、バッファリングした画像データのうちエラーイベント発生前後所定時間の画像データを外部メモリ211に記憶(録画)する。
In step S1006, the
ステップS1007において、録画サーバ106は、エラーイベントが発生したときの生産工程を撮像した画像データの変化の中で、予め認識させた正常時に生産工程を撮像した画像データの一定時間における変化のパターンと異なる変化をしている箇所を特定する。
In step S <b> 1007, the
ステップS1007は、本発明における前記取得手段で取得した前記画像データと、前記エラーが発生していないときに前記被撮像対象物を撮像した画像データとを用いて、前記取得手段で取得した画像データの中からエラーの要因となった可能性の高い箇所を特定する特定手段の一例である。 Step S1007 uses the image data acquired by the acquisition unit according to the present invention and the image data acquired by the acquisition unit using the image data obtained by imaging the object to be imaged when the error has not occurred. It is an example of a specifying means for specifying a portion that is likely to cause an error from among the above.
ステップS1008において、録画サーバ106は、ステップS1007の処理の結果、ネットワークカメラ104のズームが必要であるかを判定する。ネットワークカメラ104のズームが必要であればステップS1009に処理を移行し、そうでなければステップS1001に処理を移行する。
In step S1008, the
ステップS1009において、録画サーバ106は、ネットワークカメラ104に、ステップS1007で異なる変化をしていると特定された箇所に対応する生産工程の位置をズームして撮像するようにリクエストを送信する。その後、ネットワークカメラ104がズームして撮像した画像データを取得し、外部メモリ211に記憶(録画)する。
In step S1009, the
ステップS1009は、本発明における、前記特定手段で特定された箇所を前記撮像手段でズームして撮像するように制御する制御手段の一例である。
以上で図10の説明を終了する。
次に、図11を用いて、図6のステップS612の処理の詳細について説明する。
Step S1009 is an example of a control unit that performs control so that the part specified by the specifying unit in the present invention is zoomed and imaged by the imaging unit.
This is the end of the description of FIG.
Next, details of the processing in step S612 in FIG. 6 will be described with reference to FIG.
ステップS1101において、ネットワークカメラ104は、ステップS611で受信したリクエストが、何をするリクエストかを判定する。ネットワークカメラ104で撮像した画像データの送信リクエストであれば、ステップS1102で、画像データを録画サーバ106に送信し、プリセット位置変更指示であれば、ステップS1103で支持されたプリセット位置に変更し、ズームイン、またはズームアウト指示であれば、ズームイン、またはズームアウトを実行し、その他の指示であれば、指示の内容に従った操作を実行し、終了指示であれば、本処理を終了する。以上で、図11の説明を終了する。
次に図12、13を用いて、図6のステップS614の処理の詳細について説明する。
In step S1101, the
Next, details of the processing in step S614 in FIG. 6 will be described with reference to FIGS.
図5で説明したように、閲覧クライアント端末107は、生産工程でエラーイベントが発生すると、エラーイベントが発生したときの画像データ(録画映像)を録画映像表示領域503に表示するが、従来、エラーイベントが発生したときの画像データ(録画映像)を録画映像表示領域503に表示させ、当該エラーイベントの画像データをユーザが閲覧中に、次のエラーイベントが発生すると、録画映像表示領域503に次のエラーイベントが発生したときの画像データが表示されてしまうため、それまでユーザが閲覧していたエラーイベントの画像データの閲覧が中断してしまっていた。
As described with reference to FIG. 5, when an error event occurs in the production process, the
そのため、もし閲覧が中断されたエラーイベントの画像データを引き続きユーザが閲覧したい場合には、一覧領域504から該当するエラーイベントを探し出して録画映像表示領域503に表示させ、更に閲覧を中断した所まで画像データを送る必要があり、操作が非常に煩雑であった。
Therefore, if the user wants to continue browsing the image data of the error event for which browsing has been interrupted, the corresponding error event is searched from the
そこで、本発明では、図12に示すとおり、エラーイベントの画像データをユーザが閲覧中に、次のエラーイベントが発生した場合には、次のエラーイベントが発生したときの画像データを録画映像表示領域503に表示させるかをユーザに選択させるためのポップアップ1201を表示画面500に表示させ、YESボタン1202がユーザ操作に従って選択されると、次のエラーイベントが発生したときの画像データを録画映像表示領域503に表示させ、NOボタン1203がユーザ操作に従って選択されると、現在のエラーイベントが発生したときの画像データを録画映像表示領域503に継続して表示させることで、ユーザの煩雑な操作を軽減する。
では、ここから図13の各ステップについて説明する。
Therefore, in the present invention, as shown in FIG. 12, if the next error event occurs while the user is viewing the image data of the error event, the image data when the next error event occurs is displayed as a recorded video. When a pop-
Now, each step of FIG. 13 will be described.
ステップS1301において、閲覧クライアント端末107は、録画サーバ106がネットワークカメラ104から取得した画像データ(ライブ映像)を、ライブ映像領域502に表示させる。
In step S <b> 1301, the
ステップS1302において、閲覧クライアント端末107は、エラーイベントの画像データを録画サーバ106から受信したかを判定する。エラーイベントの画像データを録画サーバ106から受信したならば、ステップS1304に処理を移行し、エラーイベントの画像データを録画サーバ106から受信しなければ、ユーザから終了指示を受け付けたかを判定して(ステップS1303)、終了指示を受け付けたなら本処理を終了する。
In step S <b> 1302, the
ステップS1304において、閲覧クライアント端末107は、エラーイベントが発生したときの画像データを、現在録画映像表示領域503に表示しているかを判定する。エラーイベントが発生したときの画像データを、現在録画映像表示領域503に表示しているならばステップS1306に処理を移行し、エラーイベントが発生したときの画像データを、現在録画映像表示領域503に表示していなければ、ステップS1305において、受信した画像データを、録画映像表示領域503に表示する。
In step S1304, the
ステップS1304は、本発明における、記取得手段により、前記画像データを取得したときに、既に他のエラーが発生したときの前記撮像手段で撮像した画像データを前記表示制御手段で表示するように制御しているかを判定する判定手段の一例である。 In step S1304, when the image data is acquired by the recording unit according to the present invention, control is performed so that the display control unit displays the image data captured by the imaging unit when another error has already occurred. It is an example of the determination means which determines whether it is doing.
また、ステップS1305は、本発明における、前記取得手段で取得した画像データを表示するように制御する表示制御手段の一例である。 Step S1305 is an example of display control means for controlling to display the image data acquired by the acquisition means in the present invention.
ステップS1306において、閲覧クライアント端末107は、画像データを録画サーバ106から受信したエラーイベントが重大なエラーであるかを判定する重大なエラーであれば、ステップS1309において、強制的に受信した画像データを録画映像表示領域503に表示させ、そうでなければ、ステップS1307において、図12に示す、次のエラーイベントが発生したときの画像データを録画映像表示領域503に表示させるかをユーザに選択させるためのポップアップ1201を表示画面500に表示させる。
In step S1306, if the
ステップS1307は、本発明における、前記判定手段により、既に他のエラーが発生したときの前記撮像手段で撮像した画像データを前記表示制御手段で表示するように制御していると判定されることを条件に、通知する通知手段の一例である。 In step S1307, it is determined by the determination unit in the present invention that it is determined that the display control unit displays image data captured by the imaging unit when another error has already occurred. It is an example of a notification means for notifying a condition.
なお、ここでいう重大なエラーとは、例えば、工作機械101が誤作動をおこし制御不可能になったり、工作機械101が完全に停止してしまったりしている場合等である。
Here, the serious error is, for example, a case where the
ステップS1308において、閲覧クライアント端末107は、ステップS1307で表示したポップアップ1201のYESボタン1202がユーザ操作に従って選択されたかを判定する。YESボタン1202がユーザ操作に従って選択されると、ステップ1309に処理を移行し、NOボタン1203がユーザ操作に従って選択されると、ステップS1310に処理を移行して、現在のエラーイベントが発生したときの画像データを録画映像表示領域503に継続して表示させる。
In step S1308, the
ステップS1311において、閲覧クライアント端末107は、NOボタン1203がユーザ操作に従って選択されてから所定時間が経過するか、録画映像表示領域503に継続して表示させている現在のエラーイベントが発生したときの画像データの再生が終了すると、ステップS1309に処理を移行する。
以上で図13の説明を終了する。
In step S1311, the
This is the end of the description of FIG.
以上、本発明によると、監視対象エリアでエラーが発生したときに、エラーの原因をユーザが特定しやすくすることができる。 As described above, according to the present invention, when an error occurs in the monitoring target area, the user can easily identify the cause of the error.
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。 The present invention can be implemented as a system, apparatus, method, program, storage medium, or the like, and can be applied to a system including a plurality of devices. You may apply to the apparatus which consists of one apparatus.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 Note that the present invention includes a software program that implements the functions of the above-described embodiments directly or remotely from a system or apparatus. The present invention also includes a case where the system or the computer of the apparatus is achieved by reading and executing the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などもある。 Examples of the recording medium for supplying the program include a flexible disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, and CD-RW. In addition, there are magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R), and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 As another program supply method, a browser on a client computer is used to connect to an Internet home page. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let It is also possible to execute the encrypted program by using the downloaded key information and install the program on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. In addition, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
101 工作機械
102 PLC
103 PLCクライアント端末
104 ネットワークカメラ
105 中継サーバ
106 録画サーバ
107 閲覧クライアント端末
101
103
Claims (5)
前記撮像手段で撮像した画像データを取得する取得手段と、
前記取得手段で取得した前記画像データと、前記エラーが発生していないときに前記被撮像対象物を撮像した画像データとを用いて、前記取得手段で取得した画像データの中からエラーの要因となった可能性の高い箇所を特定する特定手段と、
前記特定手段で特定された箇所を前記撮像手段でズームして撮像するように制御する制御手段と
を備えることを特徴とする情報処理装置。 An imaging unit for imaging a monitoring target area, and when an error occurs in the monitoring target area, an information processing apparatus capable of communicating with an imaging unit for imaging an imaging target corresponding to the error,
Obtaining means for obtaining image data imaged by the imaging means;
Using the image data acquired by the acquisition unit and the image data obtained by imaging the object to be imaged when the error has not occurred, the cause of the error from the image data acquired by the acquisition unit, A specific means of identifying the likely location,
An information processing apparatus comprising: a control unit configured to perform control so that the part specified by the specifying unit is zoomed and imaged by the imaging unit.
前記情報処理装置の取得手段が、前記撮像手段で撮像した画像データを取得する取得工程と、
前記情報処理装置の特定手段が、前記取得工程で取得した前記画像データと、前記エラーが発生していないときに前記被撮像対象物を撮像した画像データとを用いて、前記取得手段で取得した画像データの中からエラーの要因となった可能性の高い箇所を特定する特定工程と、
前記情報処理装置の制御手段が、前記特定工程で特定された箇所を前記撮像手段でズームして撮像するように制御する制御工程と
を備えることを特徴とする情報処理装置の制御方法。 An imaging unit that images a monitoring target area, and when an error occurs in the monitoring target area, a control method for an information processing apparatus that can communicate with an imaging unit that captures an imaging target corresponding to the error,
An acquisition step in which the acquisition unit of the information processing apparatus acquires image data captured by the imaging unit;
The identification unit of the information processing apparatus uses the acquisition unit to acquire the image data acquired in the acquisition step and image data obtained by imaging the object to be imaged when the error has not occurred. A specific process for identifying a portion that is likely to cause an error from the image data;
A control method for controlling the information processing apparatus, comprising: a control step for controlling the imaging unit to zoom and image the location specified in the specifying step.
前記情報処理装置を、
前記撮像手段で撮像した画像データを取得する取得手段と、
前記取得手段で取得した前記画像データと、前記エラーが発生していないときに前記被撮像対象物を撮像した画像データとを用いて、前記取得手段で取得した画像データの中からエラーの要因となった可能性の高い箇所を特定する特定手段と、
前記特定手段で特定された箇所を前記撮像手段でズームして撮像するように制御する制御手段と
して機能させることを特徴とするプログラム。 An image capturing unit that captures an image of a monitoring target area, and when an error occurs in the monitoring target area, a program that can be read and executed by an information processing apparatus that can communicate with the image capturing unit that captures an image capturing target object corresponding to the error There,
The information processing apparatus;
Obtaining means for obtaining image data imaged by the imaging means;
Using the image data acquired by the acquisition unit and the image data obtained by imaging the object to be imaged when the error has not occurred, the cause of the error from the image data acquired by the acquisition unit, A specific means of identifying the likely location,
A program for causing a part specified by the specifying means to function as a control means for controlling to take an image by zooming with the imaging means.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016255252A JP7079565B2 (en) | 2016-12-28 | 2016-12-28 | Information processing system, information processing system control method, and its program |
JP2022084064A JP7427050B2 (en) | 2016-12-28 | 2022-05-23 | Information processing system, information processing system control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016255252A JP7079565B2 (en) | 2016-12-28 | 2016-12-28 | Information processing system, information processing system control method, and its program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022084064A Division JP7427050B2 (en) | 2016-12-28 | 2022-05-23 | Information processing system, information processing system control method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018107756A true JP2018107756A (en) | 2018-07-05 |
JP7079565B2 JP7079565B2 (en) | 2022-06-02 |
Family
ID=62785858
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016255252A Active JP7079565B2 (en) | 2016-12-28 | 2016-12-28 | Information processing system, information processing system control method, and its program |
JP2022084064A Active JP7427050B2 (en) | 2016-12-28 | 2022-05-23 | Information processing system, information processing system control method, and program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022084064A Active JP7427050B2 (en) | 2016-12-28 | 2022-05-23 | Information processing system, information processing system control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7079565B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020040190A (en) * | 2018-09-13 | 2020-03-19 | Dmg森精機株式会社 | Processing device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08123946A (en) * | 1994-10-27 | 1996-05-17 | Toshiba Corp | Plant monitoring device |
JPH11275558A (en) * | 1998-03-19 | 1999-10-08 | Fujitsu General Ltd | Abnormity supervisory camera system |
JP2001084031A (en) * | 1999-09-10 | 2001-03-30 | Toshiba Corp | Plant monitoring system |
JP2006050435A (en) * | 2004-08-06 | 2006-02-16 | Victor Co Of Japan Ltd | Monitoring system |
JP2013023313A (en) * | 2011-07-19 | 2013-02-04 | Daifuku Co Ltd | Article conveying device management system |
JP2016039473A (en) * | 2014-08-07 | 2016-03-22 | 株式会社ユピテル | Device, system, and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6286990A (en) * | 1985-10-11 | 1987-04-21 | Matsushita Electric Works Ltd | Abnormality supervisory equipment |
JP3875629B2 (en) | 2002-12-24 | 2007-01-31 | リンナイ株式会社 | Bathroom monitoring device |
JP2007285880A (en) | 2006-04-17 | 2007-11-01 | Omron Corp | Sample image registration method in board inspection, and sample image producing system |
-
2016
- 2016-12-28 JP JP2016255252A patent/JP7079565B2/en active Active
-
2022
- 2022-05-23 JP JP2022084064A patent/JP7427050B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08123946A (en) * | 1994-10-27 | 1996-05-17 | Toshiba Corp | Plant monitoring device |
JPH11275558A (en) * | 1998-03-19 | 1999-10-08 | Fujitsu General Ltd | Abnormity supervisory camera system |
JP2001084031A (en) * | 1999-09-10 | 2001-03-30 | Toshiba Corp | Plant monitoring system |
JP2006050435A (en) * | 2004-08-06 | 2006-02-16 | Victor Co Of Japan Ltd | Monitoring system |
JP2013023313A (en) * | 2011-07-19 | 2013-02-04 | Daifuku Co Ltd | Article conveying device management system |
JP2016039473A (en) * | 2014-08-07 | 2016-03-22 | 株式会社ユピテル | Device, system, and program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020040190A (en) * | 2018-09-13 | 2020-03-19 | Dmg森精機株式会社 | Processing device |
Also Published As
Publication number | Publication date |
---|---|
JP2022107675A (en) | 2022-07-22 |
JP7079565B2 (en) | 2022-06-02 |
JP7427050B2 (en) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20160080640A1 (en) | Image monitoring system and image monitoring program | |
WO2017208391A1 (en) | Monitoring apparatus and monitoring method | |
US20150109438A1 (en) | Management method for network system and network device, network device and control method therefor, and management system | |
US8300098B1 (en) | Techniques for providing access to video data using a network attached storage device | |
JP2018107755A (en) | Information processing apparatus, control method of the same, and program | |
JP7427050B2 (en) | Information processing system, information processing system control method, and program | |
JP4317234B2 (en) | Image display control device, image display control method, and image display control program | |
JP6602067B2 (en) | Display control apparatus, display control method, and program | |
JP2018110368A (en) | Information processing apparatus, control method of the same, and program | |
JP5293270B2 (en) | Imaging object selection device, imaging object selection device control method, imaging object selection device control program, and computer-readable recording medium recording the program | |
JP5268960B2 (en) | Information processing apparatus, control method thereof, and program | |
US8824872B2 (en) | Display control apparatus, reproduction system, and recording medium in which display control is performed based on a detected event | |
US20160191792A1 (en) | Display control apparatus and camera system | |
JP2007287065A (en) | Electronic apparatus and log output method | |
JP7020822B2 (en) | System, image pickup device, information processing device, control method, and program | |
JP2016111578A (en) | Information processing apparatus, control method of the same, and program | |
JP4845175B2 (en) | Information processing apparatus, control method therefor, program, and recording medium | |
US11323606B2 (en) | Image capturing apparatus that stores information indicating whether communication with lens is possible, control method, and storage medium | |
JP6401480B2 (en) | Information processing apparatus, information processing method, and program | |
JP6810351B2 (en) | Information processing equipment, its control method, and programs | |
JP7098367B2 (en) | Program products, monitoring and control systems, and information processing equipment | |
US9818444B2 (en) | Information processing apparatus, control method thereof, and program | |
JP6537406B2 (en) | Image processing system | |
US11528408B1 (en) | Image capturing apparatus and control method for image capturing apparatus | |
JP2019101783A (en) | Information processing device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180703 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181031 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190109 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201020 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20201109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220523 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7079565 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |