JP2018107755A - 情報処理装置、情報処理装置の制御方法、およびプログラム - Google Patents
情報処理装置、情報処理装置の制御方法、およびプログラム Download PDFInfo
- Publication number
- JP2018107755A JP2018107755A JP2016255250A JP2016255250A JP2018107755A JP 2018107755 A JP2018107755 A JP 2018107755A JP 2016255250 A JP2016255250 A JP 2016255250A JP 2016255250 A JP2016255250 A JP 2016255250A JP 2018107755 A JP2018107755 A JP 2018107755A
- Authority
- JP
- Japan
- Prior art keywords
- production process
- error
- imaging
- occurred
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Testing And Monitoring For Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- General Factory Administration (AREA)
Abstract
【課題】生産工程でエラーが発生した場合に、当該エラーが発生した箇所を撮像できない可能性を低減することが可能な仕組みを提供すること。【解決手段】生産工程でエラーが発生したことを検知する検知手段の検知結果を用いて、ラーが発生した生産工程を撮像する撮像手段以外の、他の生産工程を撮像する他の撮像手段を、エラーが発生した生産工程を撮像するように制御すると決定されると、他の撮像手段を、エラーが発生した生産工程を撮像するように制御する【選択図】図7
Description
本発明は情報処理装置、情報処理装置の制御方法、およびプログラムに関し、特に、生産工程でエラーが発生した場合に、当該エラーが発生した箇所を撮像できない可能性を低減することが可能な仕組みに関する。
一般に生産工場においては、様々な工作機械を制御するためにPLC(Programmarable Logic Controller)が使用されており、生産工程に不具合が発生した場合は、PLCがエラーのアラートを上げる。また、別途生産ラインを監視するネットワークカメラが設置されており、両者は別のシステムとして稼働する場合もあれば1つのシステムとして稼動する場合もある。
特許文献1には、ネットワークカメラで物の生産工程を監視する仕組が開示されている。更に特許文献1には工作機械からアラートがあがると、ネットワークカメラをアラートがあがった方向に向けることが開示されている。
ところで、生産工場では、生産工程ごとに撮像するネットワークカメラが決まっている場合が多く、生産工程でエラーが発生した場合には、当該生産工程を撮影対象とするネットワークカメラが、当該生産工程を撮像している。しかしながら、ネットワークカメラの死角となる位置でエラーが発生した場合には、そのネットワークカメラの画像データだけではエラー状態が把握できない場合があった。
例えば、ネットワークカメラで撮像している生産工程内にある工作機械を正面から撮像している場合、工作機械の裏面はネットワークカメラから死角となっており、工作機械の裏側でエラーが発生すると、ネットワークカメラで撮像できない可能性があった。
上記課題を解決するためには、従来、その生産工程を撮像するネットワークカメラの数を増やして死角をなくすしかなく、コスト高になっていた。
特許文献1にも上述した課題に対する解決策は開示されていないため、特許文献1に記載の技術を用いたとしても、依然として、上述した課題が発生する恐れがあった。
本発明は、生産工程でエラーが発生した場合に、当該エラーが発生した箇所を撮像できない可能性を低減することが可能な仕組みを提供することを目的とする。
本発明は、物の生産工程を、生産工程ごとにそれぞれ撮像する複数の撮像手段を制御する情報処理装置であって、生産工程でエラーが発生したことを検知する検知手段による検知結果を取得する取得手段と、前記取得手段で取得した前記検知結果を用いて、エラーが発生した前記生産工程を撮像する前記撮像手段以外の、他の生産工程を撮像する他の撮像手段を、エラーが発生した前記生産工程を撮像するように制御するかを決定する決定手段と、前記決定手段により、エラーが発生した前記生産工程を撮像する前記撮像手段以外の前記他の撮像手段を、エラーが発生した前記生産工程を撮像するように制御すると決定されると、他の前記撮像手段を、エラーが発生した前記生産工程を撮像するように制御する制御手段とを備えることを特徴とする。
また、本発明は、物の生産工程を、生産工程ごとにそれぞれ撮像する複数の撮像手段を制御する情報処理装置の制御方法であって、前記情報処理装置の取得手段が、生産工程でエラーが発生したことを検知する検知手段による検知結果を取得する取得工程と、前記情報処理装置の決定手段が、前記取得工程で取得した前記検知結果を用いて、エラーが発生した前記生産工程を撮像する前記撮像手段以外の、他の生産工程を撮像する他の撮像手段を、エラーが発生した前記生産工程を撮像するように制御するかを決定する決定工程と、前記情報処理装置の制御手段が、前記決定工程で、エラーが発生した前記生産工程を撮像する前記撮像手段以外の前記他の撮像手段を、エラーが発生した前記生産工程を撮像するように制御すると決定されると、他の前記撮像手段を、エラーが発生した前記生産工程を撮像するように制御する制御工程とを備えることを特徴とする。
また、本発明は、物の生産工程を、生産工程ごとにそれぞれ撮像する複数の撮像手段を制御する情報処理装置で読み取り実行可能なプログラムであって、前記情報処理装置を、生産工程でエラーが発生したことを検知する検知手段による検知結果を取得する取得手段と、前記取得手段で取得した前記検知結果を用いて、エラーが発生した前記生産工程を撮像する前記撮像手段以外の、他の生産工程を撮像する他の撮像手段を、エラーが発生した前記生産工程を撮像するように制御するかを決定する決定手段と、前記決定手段により、エラーが発生した前記生産工程を撮像する前記撮像手段以外の前記他の撮像手段を、エラーが発生した前記生産工程を撮像するように制御すると決定されると、他の前記撮像手段を、エラーが発生した前記生産工程を撮像するように制御する制御手段として機能させることを特徴とする。
本発明によると、生産工程でエラーが発生した場合に、当該エラーが発生した箇所を撮像できない可能性を低減することができる。
以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の1つである。
図1は本発明の工作機械101、PLC102、PLCクライアント端末103、ネットワークカメラ104、中継サーバ105、録画サーバ106、閲覧クライアント端末107を含む、工場のラインを流れる物の生産工程を監視する生産工程監視システムの構成の一例を示すシステム構成図である。
本生産工程監視システムでは、各装置が、ネットワーク108や無線LAN(移動体通信網を含む)を介して通信接続可能に接続されている。
工作機械101は、生産対象となっている生産物の組立、加工、梱包等を行なう。
工作機械101は、生産対象となっている生産物の組立、加工、梱包等を行なう。
PLC102は、工作機械101を制御する。また、工作機械101にエラーが発生した場合に、エラーを検出し、PLCクライアント端末103に、PLC102の処理結果を送信する。また、工作機械101に異常が発生したときには、異常発生時の原因を示すコードを、PLCクライアント端末103に送信する。
PLCクライアント端末103は、PLC102から送信されたPLC102の処理結果や、異常発生時の原因を示すコードを受信し、当該受信した情報がPLC102の異常発生時の原因を示すコードである場合には、エラーを示すイベント(エラーイベントともいう)を中継サーバ105に送信する。
なお、エラーイベントとは、例えば、「生産工程Aで、容器取出しロボット_把持OFF異常(生産物である容器を取り出す工作機械101のハンドについているセンサーがONにならない。)」といった、生産工程監視システム上で発生する各種エラーである。
中継サーバ105は、エラーを示すイベントをPLCクライアント端末103から受信すると、イベントの内容に応じて、ネットワークカメラ104のPTZ(左右に動かすパン、上下に動かすチルト、そして、望遠にしたり広角にしたりするズームのこと)を調整するかを決定し、決定した内容を録画サーバ106に送信する。
録画サーバ106は、ネットワークカメラ104に、画像データ(撮像データとも言う)の取得リクエストを送って、当該ネットワークカメラ104で撮像した画像データを取得して記憶したり、閲覧クライアント端末107に取得した画像データを送信したりする。更に、録画サーバは、取得した画像データを解析し、ネットワークカメラ104のPTZの調整が必要であるかを判断する。
なお、本実施形態では中継サーバ105と録画サーバ106を別々の装置としたが他の実施形態として、中継サーバ105と録画サーバ106は同一の装置であっても良い。
ネットワークカメラ104は、生産工程ごとに、1または複数設けられ、各生産工程を撮像する。そして、録画サーバ106に対して当該ネットワークカメラ104で撮像した画像データを送信する。また、録画サーバ106からの指示に従って、当該ネットワークカメラ104のPTZの調整を行なう。
閲覧クライアント端末107は、ユーザがエラーイベント発生時の画像データを確認したりするために用いられ、録画サーバ106から送信された画像データをディスプレイに表示する。
以上で、図1の説明を終了する。
以上で、図1の説明を終了する。
次に、図2を用いて、図1に示したPLCクライアント端末103、中継サーバ105、録画サーバ106、閲覧クライアント端末107に適用可能な情報処理装置のハードウェア構成について説明する。
図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。また、ROM202あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
203はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは外部メモリ211からRAM203にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。
また、205は入力コントローラで、キーボード(KB)209等のポインティングデバイス等からの入力を制御する。206はビデオコントローラで、ディスプレイ210(液晶、ブラウン管を問わない)等の表示器への表示を制御する。
207はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。
208は通信I/Fコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。
なお、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ210上での表示を可能としている。また、CPU201は、ディスプレイ210上の不図示のマウスカーソル等でのユーザ指示を可能とする。
本発明を実現するための後述する各種プログラムは、外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ211に格納されており、これらについての詳細な説明も後述する。以上で、図2の説明を終了する。
次に、図3を用いて、本発明の生産工程監視システムを適用した一例を示す図であり、ある工場の生産ラインを上から見た図である。
図3に示す生産ラインでは、生産工程A〜生産工程Cまでの3つの生産工程からなり、生産工程ごとにネットワークカメラ104が1台ずつ設置されている。ネットワークカメラ104は、設置時に予めユーザにより決定されたプリセットで、通常は撮像を行なっている。
なお、生産ラインに設置されたネットワークカメラ104の情報は、図4に示すネットワークカメラデータベースで管理されている。
また、生産工程ごとに工作機械101が設けられており、工作機械101は、生産物301の組立や、加工、梱包等を行なっている。生産物301は搬送台302によって、各生産工程に搬送される。以上で図3の説明を終了する。
次に図4を用いて、ネットワークカメラデータベースについて説明する。
次に図4を用いて、ネットワークカメラデータベースについて説明する。
図4は、中継サーバ105、または録画サーバ106の外部メモリ211で管理する、ネットワークカメラデータベースの一例を示す図であり、ネットワークカメラデータベースは、各ネットワークカメラ104を一意に識別するためのネットワークカメラ名401、ネットワークカメラ名401で示されるネットワークカメラ104が撮影している生産工程を示す撮像対象402、ネットワークカメラ名401で示されるネットワークカメラ104のプリセットを示すプリセット403で構成される。以上で図4の説明を終了する。
次に図5を用いて、ネットワークカメラ104で撮像した画像を閲覧クライアント端末107で表示したときの表示画面の一例について説明する。
図5は、閲覧クライアント端末107のディスプレイ210に表示される、ネットワークカメラ104で撮像した画像を閲覧クライアント端末107で表示したときの表示画面の一例を示す図である。
表示画面500は、生産ラインを、イラスト化した画像データを表示する生産ライン表示領域501、現在ネットワークカメラ104が撮像している画像データ(ライブ映像)を表示するライブ映像領域502、生産工程でエラーイベントが発生したときの画像データ(録画映像)を表示する録画映像表示領域503、生産工程で発生したエラーイベントの一覧を表示する一覧領域504で構成される。
生産ライン表示領域501には、現在ライブ映像を表示しているネットワークカメラ104の位置をユーザが認識可能となるように画像データを表示する。
一覧領域504は、エラーイベントの発生日時を示す日時505、エラーの状態(新規で追加されたエラーイベントであれば「新規」と表示)を示す名称506、エラーイベントの内容を示すメッセージ507、エラーイベントが発生した生産工程と、当該生産工程を撮像するネットワークカメラ104を示すソース508で構成される。以上で、図5の説明を終了する。
次に、図6を用いて、本発明の生産工程監視システムにおける全体の処理について説明する。
次に、図6を用いて、本発明の生産工程監視システムにおける全体の処理について説明する。
図6は、本発明の生産工程監視システムにおける全体の処理に関するフローチャートの一例を示す図である。
図6、および後述する図8、図10、図11、図13に示すフローチャートの各ステップは、各装置のCPUが処理を実行する。
ステップS601において、PLCクライアント端末103は、PLC102から送信されたPLC102の処理結果や、異常発生時の原因を示すコードを受信し、当該受信した情報がPLC102の異常発生時の原因を示すコードであるかを判定して(ステップS602)、受信した情報がPLC102の異常発生時の原因を示すコードである場合には、エラーイベントを中継サーバ105に送信する(ステップS603)。
ステップS604において、中継サーバ105は、エラーイベントをPLCクライアント端末103から受信すると(ステップS604)、受信したエラーイベント解析処理を実行する(ステップS605)。ステップS605の処理の詳細は、図8を用いて後ほど説明する。
なお、いずれのPLC102から受信したエラーイベントなのかは、送信元のIPアドレスから判別可能とする。また、PLC102はメーカーによってエラーイベントの送信手順、送信データ形式は異なるが、中継サーバ105は、対応する複数のPLCメーカーの送信手順、送信データ形式に対してメーカー別の受信ドライバを実装することで、メーカーの違いを吸収できるものとなっている。
また、本発明では、エラーイベントからエラーのおおよその発生箇所やエラーの内容を特定できるものとする。
複数のエラーイベントがある場合には、ステップS604において、中継サーバ105は、それらすべてのエラーイベントを取得する。
ステップS604は、本発明における、前記生産工程でエラーが発生したことを検知する検知手段による検知結果を取得する取得手段の一例である。
ステップS606において、中継サーバ105は、ステップS605の処理で決定された、ネットワークカメラ104のPTZ(左右に動かすパン、上下に動かすチルト、そして、望遠にしたり広角にしたりするズームのこと)を調整するかの内容を含むエラーイベントの情報を録画サーバ106に送信し、録画サーバ106を介して、ネットワークカメラ104に調整指示を行なう。
ステップS606は、本発明における、前記決定手段により、エラーが発生した前記生産工程を撮像する前記撮像手段以外の生産工程を撮像する他の前記撮像手段を、エラーが発生した前記生産工程を撮像するように制御すると決定されると、他の前記撮像手段を、エラーが発生した前記生産工程を撮像するように制御する制御手段の一例である。
ステップS607において、録画サーバ106は、ネットワークカメラ104に対して当該ネットワークカメラ104で撮像した画像データの取得リクエストを送信する。
ステップS608において、録画サーバ106は、ステップS607における画像データの取得リクエストに対して、ネットワークカメラ104から送信される画像データを取得して、当該画像データに対する処理を実行する(ステップS609)。ステップS609の処理の詳細は、図10を用いて後ほど説明する。なお、取得した画像データは所定時間バッファリングする。
ステップS610において、録画サーバ106は、閲覧クライアント端末107にネットワークカメラ104から取得した画像データを送信する。
ステップS611において、ネットワークカメラ104は、録画サーバ106からのリクエストを受信し、リクエストに応じた処理を実行する(ステップS612)。ステップS612の処理の詳細は、図11を用いて後ほど説明する。
ステップS613において、閲覧クライアント端末107は、録画サーバ106から送信された画像データを受信し、当該画像データをディスプレイ210に表示する処理を実行する(ステップS614)。ステップS614の処理の詳細は、図13を用いて後ほど説明する。
ステップS613は、本発明における、前記監視対象エリアでエラーが発生したときの前記撮像手段で撮像した画像データを取得する取得手段の一例である。
以上で図6の説明を終了する。
次に図7、8を用いて、図6のステップS605の処理の詳細について説明する。
以上で図6の説明を終了する。
次に図7、8を用いて、図6のステップS605の処理の詳細について説明する。
図4で説明したとおり、生産工程ごとに撮像するネットワークカメラ104は決まっているため、生産工程でエラーイベントが発生した場合には、当該生産工程を撮影対象(撮像対象402)とするネットワークカメラ104(ネットワークカメラ名401によって示されるネットワークカメラ)が、当該生産工程を撮像する。しかしながら、エラーの内容によっては、そのネットワークカメラ104の画像データだけではエラー状態が把握できない場合がある。
例えば、図3に示す状態で、生産工程Aでエラーイベントが発生した場合に、カメラ1では、工作機械aのカメラ1で撮像している側と反対側、つまり工作機械aの背面がカメラ1から死角となり、エラー箇所が撮像できない可能性がある。また、生産物301を搬送する搬送台302より下でエラーイベントが発生した場合にもエラー箇所が撮像できない可能性があった。
そこで、本発明は、図8に示す処理を実行することにより、上述したような場合であってもエラー箇所を撮像可能な仕組を提供する。
具体的には、図8の処理を実行することによって、エラーイベントが発生した生産工程を撮像するネットワークカメラ104の死角となる位置でエラーイベントが発生した場合には、当該エラーイベントの発生箇所のおおよその位置は、PLCクライアント端末103から送信されるエラーイベントの情報から特定できるため、そのような場合には、図7に示すとおり、他の生産工程を撮像するネットワークカメラ104もエラーイベントが発生した生産工程を撮像するように決定する。
図7は、本発明の生産工程監視システムを適用した一例を示す図であり、図3に示す生産ラインにおいて、エラーイベントが発生した生産工程を撮像するネットワークカメラ104の死角となる位置でエラーイベントが発生した場合に、他の生産工程を撮像するネットワークカメラ104(カメラ2とカメラ3)もエラーイベントが発生した生産工程を撮像するようにした図である。
他の生産工程を撮像するネットワークカメラ104もエラーイベントが発生した生産工程を撮像することで、カメラ1では死角となる場所も撮影することが可能となる。
さらに、このとき、エラーイベントが発生した生産工程から最も遠い生産工程を撮像するネットワークカメラ104(図7の場合は、カメラ3)については、ズームアウトさせるように制御する(つまり、広い範囲を撮像させる)ことにより、本発明では、生産工程で発生したエラーイベントが、他の生産工程に影響を与えていたとしても、ズームアウトしたネットワークカメラ104の画像データからその影響を確認可能とする。
では、ここから、図8の各ステップについて説明する。
では、ここから、図8の各ステップについて説明する。
ステップS801において、中継サーバ105は、ステップS604で取得したエラーイベントが、エラーイベントが発生した生産工程以外の他の生産工程を撮像するネットワークカメラ104も当該エラーイベントが発生した生産工程を撮像するようにすべきエラーイベントであるかを判定する。つまり、エラーイベントが発生した生産工程を撮像するネットワークカメラ104の死角となる位置でエラーイベントが発生したかを判定する。他の生産工程を撮像するネットワークカメラ104も当該エラーイベントが発生した生産工程を撮像するようにすべきエラーイベントであるならばステップS803に処理を移行し、他の生産工程を撮像するネットワークカメラ104も当該エラーイベントが発生した生産工程を撮像するようにすべきエラーイベントでなければステップS802に処理を移行する。
ステップS802において、中継サーバ105は、エラーイベントが発生した生産工程を撮像するネットワークカメラ104でエラーの発生箇所を撮像すると決定して、本処理を終了する。
ステップS803において、中継サーバ105は、他の生産工程でもエラーイベントが発生しているかを、ステップS604で複数のエラーイベントを取得し、かつそれぞれのエラーイベントが発生した生産工程が異なるかにより判定する。他の生産工程でもエラーイベントが発生していると判定した場合には、ステップS805に処理を移行し、そうでなければステップS804に処理を移行する。
ステップS804において、中継サーバ105は、エラーが発生した生産工程以外の他の生産工程を撮像するネットワークカメラ104も当該エラーが発生した生産工程を撮像するようにすると決定する。
ステップS804は、本発明における、前記取得手段で取得した前記検知結果を用いて、エラーが発生した前記生産工程を撮像する前記撮像手段以外の生産工程を撮像する他の前記撮像手段を、エラーが発生した前記生産工程を撮像するように制御するかを決定する決定手段の一例である。
ステップS805において、中継サーバ105は、他の生産工程で発生しているエラーイベントが、重大なエラーを示すエラーイベントであるかを、ステップS604で取得したエラーイベントの内容から判定する。中継サーバ105は、重大なエラーを示すエラーイベントであれば、ステップS806に処理を移行し、重大なエラーを示すエラーイベントでなければステップS804に処理を移行する。
つまり、他の生産工程でエラーイベントが発生していたとしても軽微なエラーイベントであれば、エラーが発生した生産工程以外の他の生産工程を撮像するネットワークカメラ104も当該エラーが発生した生産工程を撮像するようにすると決定する。
重大なエラーイベントであるかは、ユーザが各エラーイベントに対して、重み付けを設定しておき、重み付けの値が基準値を超える場合に重大なエラーであると特定することが可能である。
ここでいう重大なエラーとは、例えば、工作機械101が誤作動をおこし制御不可能になったり、工作機械101が完全に停止してしまったりしている場合等である。
ステップS806において、中継サーバ105は、各ネットワークカメラ104を、元々それぞれが撮像対象(撮像対象402)としていた生産工程を撮像させると決定する。
なお、ステップS801では、エラーイベントが発生した生産工程を撮像するネットワークカメラ104の死角となる位置でエラーイベントが発生したとしても軽微なエラーイベントであれば、他の生産工程を撮像するネットワークカメラ104を当該エラーが発生した生産工程を撮像するようにしなくとも良い。以上で、図8の説明を終了する。
次に、図9、10を用いて、図6のステップS609の処理の詳細について説明する。
次に、図9、10を用いて、図6のステップS609の処理の詳細について説明する。
これまで説明してきたとおり、中継サーバ105は、エラーイベントをPLCクライアント端末103から受信すると、エラーイベントが発生した生産工程を撮影対象とするネットワークカメラ104が、当該生産工程を撮像するが、実際に何が起きてエラーとなったのかという原因特定は、エラーイベントの内容と、当該生産工程を予め設定されたプリセットで撮像するネットワークカメラ104の画像データをユーザが目視で確認するだけでは難しいケースが存在する。例えば、生産物301を持ち上げて、箱に梱包する工作機械101のアームについているについているセンサーが、本来ならば工作機械101が生産物301を持ち上げていればONになるはずなのにONにならなかったことを示すエラーイベントである場合に、もし当該エラーイベントの発生原因が工作機械101のアームの部品が外れていることに起因するものであったとしてもエラーイベントや、予め設定されたプリセットで撮像するネットワークカメラ104の画像データからは分からない可能性があった。
そこで、本発明では、予め録画サーバ106で管理する、当該生産工程で工作機械101が正しく動作が実行されているときの画像データ(正常系の画像データ)をPlug−inアプリに読み込ませることで、正常時の一定時間における画像データの変化のパターン(工作機械101が正しく動作しているときの画像データの変化のパターン)を認識させておき、エラーイベントが発生したときの当該生産工程を撮像した画像データの変化の中で、認識させた画像データの変化パターンと異なる変化を検知する。そして、異なる変化を検知した部分に対応する現実空間上の位置をネットワークカメラ104でズームして撮像するように指示をする。ユーザは、ズームしたネットワークカメラ104で撮像した画像データを確認することで、よりエラーイベントの原因となった箇所を詳細に確認することが可能となる。
更に本発明では、画像の変化を検知する上で、予めエラーイベントの内容から、当該画像データの中でエラーの要因となっている可能性が高い大まかな位置に矩形を設定し、当該矩形の中の画像データの変化が、認識させた画像データと異なる変化をしているかを検知することで、変化の特定に要する処理時間の短縮や、録画サーバ106の負荷を軽減する。
なお、矩形は、エラーイベントの内容から問題発生が予想される箇所に対して設定される。
ここまでの処理を実施した結果のイメージを図9に示す。
なお、矩形は、エラーイベントの内容から問題発生が予想される箇所に対して設定される。
ここまでの処理を実施した結果のイメージを図9に示す。
図9は、閲覧クライアント端末107のディスプレイ210に表示される、ネットワークカメラ104で撮像した画像データを閲覧クライアント端末107で表示したときの表示画面の一例を示す図である。
図9では録画映像表示領域503内の画像データの中でエラーの要因となっている可能性が高い大まかな位置に矩形901を設定している。そして、図9の例では、矩形901の中で、予め認識させた正常時に生産工程を撮像した画像データの一定時間における変化のパターンと異なる変化をしている箇所として枠902の箇所が特定されている状態を示す。その後、枠902の箇所をズームするように録画サーバ106から指示されたネットワークカメラ104によりズーム撮像が実行されると、録画映像表示領域503内にズーム撮像した画像データ(ズーム画像データ903)が表示される。なお、他の実施形態として、正常時に生産工程を撮像した画像データを、一時的に生産ライン表示領域501や、ライブ映像領域502に表示することで、エラーイベントが発生したときの当該生産工程を撮像した画像データ(録画映像表示領域503内に表示される画像データ)との、変化の違いをユーザが比較できるようにすることも可能である。
ステップS1001において、録画サーバ106は、エラーイベントを受信したかを判定する。録画サーバ106は、エラーイベントを受信したならば、ステップS1004に処理を移行し、そうでなければステップS1002−1に処理を移行する。
ステップS1002−1において、録画サーバ106は、ステップS608でネットワークカメラ104から取得した画像データを閲覧クライアント端末107のライブ映像領域502に表示させるべく閲覧クライアント端末107に当該画像データを送信し、その後当該画像データを所定時間バッファリングしている間にステップS1001でエラーイベントを受信しないと、ステップS1002において、当該画像データを削除する。
ステップS1003において、録画サーバ106は、ユーザから終了指示を受け付けたかを判定し、終了指示を受け付けたならば本処理を終了し、そうでなければステップS1001に処理を戻す。
ステップS1004において、録画サーバ106は、中継サーバ105からネットワークカメラ104の動作指示(具体的には、ステップS804のエラーが発生した生産工程以外の他の生産工程を撮像するネットワークカメラ104も当該エラーが発生した生産工程を撮像するようにする指示)を受信しているかを判定する。中継サーバ105からネットワークカメラ104の動作指示を受信しているならば、受信した動作指示をネットワークカメラ104に送信し(ステップS1005)、そうでなければステップS1006に処理を移行する。
ステップS1006において、録画サーバ106は、バッファリングした画像データのうちエラーイベント発生前後所定時間の画像データを外部メモリ211に記憶(録画)する。
ステップS1007において、録画サーバ106は、エラーイベントが発生したときの生産工程を撮像した画像データの変化の中で、予め認識させた正常時に生産工程を撮像した画像データの一定時間における変化のパターンと異なる変化をしている箇所を特定する。
ステップS1007は、本発明における前記取得手段で取得した前記画像データと、前記エラーが発生していないときに前記被撮像対象物を撮像した画像データとを用いて、前記取得手段で取得した画像データの中からエラーの要因となった可能性の高い箇所を特定する特定手段の一例である。
ステップS1008において、録画サーバ106は、ステップS1007の処理の結果、ネットワークカメラ104のズームが必要であるかを判定する。ネットワークカメラ104のズームが必要であればステップS1009に処理を移行し、そうでなければステップS1001に処理を移行する。
ステップS1009において、録画サーバ106は、ネットワークカメラ104に、ステップS1007で異なる変化をしていると特定された箇所に対応する生産工程の位置をズームして撮像するようにリクエストを送信する。その後、ネットワークカメラ104がズームして撮像した画像データを取得し、外部メモリ211に記憶(録画)する。
ステップS1009は、本発明における、前記特定手段で特定された箇所を前記撮像手段でズームして撮像するように制御する制御手段の一例である。
以上で図10の説明を終了する。
次に、図11を用いて、図6のステップS612の処理の詳細について説明する。
以上で図10の説明を終了する。
次に、図11を用いて、図6のステップS612の処理の詳細について説明する。
ステップS1101において、ネットワークカメラ104は、ステップS611で受信したリクエストが、何をするリクエストかを判定する。ネットワークカメラ104で撮像した画像データの送信リクエストであれば、ステップS1102で、画像データを録画サーバ106に送信し、プリセット位置変更指示であれば、ステップS1103で支持されたプリセット位置に変更し、ズームイン、またはズームアウト指示であれば、ズームイン、またはズームアウトを実行し、その他の指示であれば、指示の内容に従った操作を実行し、終了指示であれば、本処理を終了する。以上で、図11の説明を終了する。
次に図12、13を用いて、図6のステップS614の処理の詳細について説明する。
次に図12、13を用いて、図6のステップS614の処理の詳細について説明する。
図5で説明したように、閲覧クライアント端末107は、生産工程でエラーイベントが発生すると、エラーイベントが発生したときの画像データ(録画映像)を録画映像表示領域503に表示するが、従来、エラーイベントが発生したときの画像データ(録画映像)を録画映像表示領域503に表示させ、当該エラーイベントの画像データをユーザが閲覧中に、次のエラーイベントが発生すると、録画映像表示領域503に次のエラーイベントが発生したときの画像データが表示されてしまうため、それまでユーザが閲覧していたエラーイベントの画像データの閲覧が中断してしまっていた。
そのため、もし閲覧が中断されたエラーイベントの画像データを引き続きユーザが閲覧したい場合には、一覧領域504から該当するエラーイベントを探し出して録画映像表示領域503に表示させ、更に閲覧を中断した所まで画像データを送る必要があり、操作が非常に煩雑であった。
そこで、本発明では、図12に示すとおり、エラーイベントの画像データをユーザが閲覧中に、次のエラーイベントが発生した場合には、次のエラーイベントが発生したときの画像データを録画映像表示領域503に表示させるかをユーザに選択させるためのポップアップ1201を表示画面500に表示させ、YESボタン1202がユーザ操作に従って選択されると、次のエラーイベントが発生したときの画像データを録画映像表示領域503に表示させ、NOボタン1203がユーザ操作に従って選択されると、現在のエラーイベントが発生したときの画像データを録画映像表示領域503に継続して表示させることで、ユーザの煩雑な操作を軽減する。
では、ここから図13の各ステップについて説明する。
では、ここから図13の各ステップについて説明する。
ステップS1301において、閲覧クライアント端末107は、録画サーバ106がネットワークカメラ104から取得した画像データ(ライブ映像)を、ライブ映像領域502に表示させる。
ステップS1302において、閲覧クライアント端末107は、エラーイベントの画像データを録画サーバ106から受信したかを判定する。エラーイベントの画像データを録画サーバ106から受信したならば、ステップS1304に処理を移行し、エラーイベントの画像データを録画サーバ106から受信しなければ、ユーザから終了指示を受け付けたかを判定して(ステップS1303)、終了指示を受け付けたなら本処理を終了する。
ステップS1304において、閲覧クライアント端末107は、エラーイベントが発生したときの画像データを、現在録画映像表示領域503に表示しているかを判定する。エラーイベントが発生したときの画像データを、現在録画映像表示領域503に表示しているならばステップS1306に処理を移行し、エラーイベントが発生したときの画像データを、現在録画映像表示領域503に表示していなければ、ステップS1305において、受信した画像データを、録画映像表示領域503に表示する。
ステップS1304は、本発明における、記取得手段により、前記画像データを取得したときに、既に他のエラーが発生したときの前記撮像手段で撮像した画像データを前記表示制御手段で表示するように制御しているかを判定する判定手段の一例である。
また、ステップS1305は、本発明における、前記取得手段で取得した画像データを表示するように制御する表示制御手段の一例である。
ステップS1306において、閲覧クライアント端末107は、画像データを録画サーバ106から受信したエラーイベントが重大なエラーであるかを判定する重大なエラーであれば、ステップS1309において、強制的に受信した画像データを録画映像表示領域503に表示させ、そうでなければ、ステップS1307において、図12に示す、次のエラーイベントが発生したときの画像データを録画映像表示領域503に表示させるかをユーザに選択させるためのポップアップ1201を表示画面500に表示させる。
ステップS1307は、本発明における、前記判定手段により、既に他のエラーが発生したときの前記撮像手段で撮像した画像データを前記表示制御手段で表示するように制御していると判定されることを条件に、通知する通知手段の一例である。
なお、ここでいう重大なエラーとは、例えば、工作機械101が誤作動をおこし制御不可能になったり、工作機械101が完全に停止してしまったりしている場合等である。
ステップS1308において、閲覧クライアント端末107は、ステップS1307で表示したポップアップ1201のYESボタン1202がユーザ操作に従って選択されたかを判定する。YESボタン1202がユーザ操作に従って選択されると、ステップ1309に処理を移行し、NOボタン1203がユーザ操作に従って選択されると、ステップS1310に処理を移行して、現在のエラーイベントが発生したときの画像データを録画映像表示領域503に継続して表示させる。
ステップS1311において、閲覧クライアント端末107は、NOボタン1203がユーザ操作に従って選択されてから所定時間が経過するか、録画映像表示領域503に継続して表示させている現在のエラーイベントが発生したときの画像データの再生が終了すると、ステップS1309に処理を移行する。
以上で図13の説明を終了する。
以上で図13の説明を終了する。
以上、本発明によると、生産工程でエラーが発生した場合に、当該エラーが発生した箇所を撮像できない可能性を低減することができる。
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などもある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
101 工作機械
102 PLC
103 PLCクライアント端末
104 ネットワークカメラ
105 中継サーバ
106 録画サーバ
107 閲覧クライアント端末
102 PLC
103 PLCクライアント端末
104 ネットワークカメラ
105 中継サーバ
106 録画サーバ
107 閲覧クライアント端末
Claims (6)
- 物の生産工程を、生産工程ごとにそれぞれ撮像する複数の撮像手段を制御する情報処理装置であって、
生産工程でエラーが発生したことを検知する検知手段による検知結果を取得する取得手段と、
前記取得手段で取得した前記検知結果を用いて、エラーが発生した前記生産工程を撮像する前記撮像手段以外の、他の生産工程を撮像する他の撮像手段を、エラーが発生した前記生産工程を撮像するように制御するかを決定する決定手段と、
前記決定手段により、エラーが発生した前記生産工程を撮像する前記撮像手段以外の前記他の撮像手段を、エラーが発生した前記生産工程を撮像するように制御すると決定されると、他の前記撮像手段を、エラーが発生した前記生産工程を撮像するように制御する制御手段と
を備えることを特徴とする情報処理装置。 - 前記決定手段は、前記他の前記撮像手段で撮像する前記他の生産工程でエラーが発生したことを前記検知手段により検知することを条件に、前記他の撮像手段を前記他の生産工程を撮像するように制御すると決定することを特徴とする請求項1に記載の情報処理装置。
- 前記決定手段は、前記他の前記撮像手段で撮像する前記他の生産工程でエラーが発生したことを前記検知手段により検知し、かつ当該エラーが、所定の基準よりも重大なエラーであることを条件に、前記他の撮像手段を前記他の生産工程を撮像するように制御すると決定することを特徴とする請求項2に記載の情報処理装置。
- 前記決定手段は、前記取得手段で取得した前記検知結果を用いて、前記エラーが発生した箇所が、エラーが発生した前記生産工程を撮像する前記撮像手段の撮像範囲外であるかを特定する特定手段と、
前記決定手段は、前記特定手段により、前記エラーの発生箇所が、前記撮像手段の撮像範囲外であると特定された場合に、前記他の生産工程を撮像する前記他の撮像手段を、エラーが発生した前記生産工程を撮像するように制御すると決定することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。 - 物の生産工程を、生産工程ごとにそれぞれ撮像する複数の撮像手段を制御する情報処理装置の制御方法であって、
前記情報処理装置の取得手段が、生産工程でエラーが発生したことを検知する検知手段による検知結果を取得する取得工程と、
前記情報処理装置の決定手段が、前記取得工程で取得した前記検知結果を用いて、エラーが発生した前記生産工程を撮像する前記撮像手段以外の、他の生産工程を撮像する他の撮像手段を、エラーが発生した前記生産工程を撮像するように制御するかを決定する決定工程と、
前記情報処理装置の制御手段が、前記決定工程で、エラーが発生した前記生産工程を撮像する前記撮像手段以外の前記他の撮像手段を、エラーが発生した前記生産工程を撮像するように制御すると決定されると、他の前記撮像手段を、エラーが発生した前記生産工程を撮像するように制御する制御工程と
を備えることを特徴とする情報処理装置の制御方法。 - 物の生産工程を、生産工程ごとにそれぞれ撮像する複数の撮像手段を制御する情報処理装置で読み取り実行可能なプログラムであって、
前記情報処理装置を、
生産工程でエラーが発生したことを検知する検知手段による検知結果を取得する取得手段と、
前記取得手段で取得した前記検知結果を用いて、エラーが発生した前記生産工程を撮像する前記撮像手段以外の、他の生産工程を撮像する他の撮像手段を、エラーが発生した前記生産工程を撮像するように制御するかを決定する決定手段と、
前記決定手段により、エラーが発生した前記生産工程を撮像する前記撮像手段以外の前記他の撮像手段を、エラーが発生した前記生産工程を撮像するように制御すると決定されると、他の前記撮像手段を、エラーが発生した前記生産工程を撮像するように制御する制御手段と
して機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016255250A JP2018107755A (ja) | 2016-12-28 | 2016-12-28 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016255250A JP2018107755A (ja) | 2016-12-28 | 2016-12-28 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018107755A true JP2018107755A (ja) | 2018-07-05 |
Family
ID=62787607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016255250A Pending JP2018107755A (ja) | 2016-12-28 | 2016-12-28 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018107755A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019175302A (ja) * | 2018-03-29 | 2019-10-10 | 三菱電機エンジニアリング株式会社 | 機器制御装置、及び機器制御方法 |
JP2021060942A (ja) * | 2019-10-09 | 2021-04-15 | 芝浦機械株式会社 | 作業管理装置及び作業管理システム |
JP2023001206A (ja) * | 2018-06-05 | 2023-01-04 | シャープ株式会社 | 表示システム及び表示方法 |
-
2016
- 2016-12-28 JP JP2016255250A patent/JP2018107755A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019175302A (ja) * | 2018-03-29 | 2019-10-10 | 三菱電機エンジニアリング株式会社 | 機器制御装置、及び機器制御方法 |
JP2023001206A (ja) * | 2018-06-05 | 2023-01-04 | シャープ株式会社 | 表示システム及び表示方法 |
JP2021060942A (ja) * | 2019-10-09 | 2021-04-15 | 芝浦機械株式会社 | 作業管理装置及び作業管理システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8300098B1 (en) | Techniques for providing access to video data using a network attached storage device | |
JP2018107755A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
US10841481B2 (en) | Control apparatus, method of controlling the same and program | |
US20170237936A1 (en) | Information processing apparatus, method for controlling the information processing apparatus, and recording medium | |
JP7427050B2 (ja) | 情報処理システム、情報処理システムの制御方法、およびプログラム | |
JP2018110368A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JP6602067B2 (ja) | 表示制御装置、表示制御方法、プログラム | |
US20140333818A1 (en) | Apparatus and method for composing moving object in one image | |
JP2008219474A (ja) | 画像表示制御装置および画像表示制御方法および画像表示制御プログラム | |
US8824872B2 (en) | Display control apparatus, reproduction system, and recording medium in which display control is performed based on a detected event | |
US9525816B2 (en) | Display control apparatus and camera system | |
JP2010134724A (ja) | メッセージキューイング監視装置、メッセージキューイング監視方法、プログラム、及び記録媒体 | |
JP4845175B2 (ja) | 情報処理装置及びその制御方法、プログラム、記録媒体 | |
US11323606B2 (en) | Image capturing apparatus that stores information indicating whether communication with lens is possible, control method, and storage medium | |
JP2016111578A (ja) | 情報処理装置、その制御方法、及びプログラム | |
JP2016118982A (ja) | データ記録装置及びその制御方法、プログラム | |
JP2019046145A (ja) | システム、撮像装置、情報処理装置、制御方法、及び、プログラム | |
KR20100118478A (ko) | 사용자 조작 정보 전달을 위한 통신방법 및 이를 적용한 전자장치 | |
US9818444B2 (en) | Information processing apparatus, control method thereof, and program | |
JP4382726B2 (ja) | ソフトウェア製品インストールシステムおよび方法ならびに実行端末およびそのプログラム | |
JP6537406B2 (ja) | 画像処理システム | |
CN100530404C (zh) | 图像重放装置和重放方法 | |
JP2921718B2 (ja) | 産業用視覚センサにおける画像処理方法 | |
JP2018093357A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2007058272A (ja) | アイコン説明表示装置、アイコン説明表示方法、プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180703 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181031 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190109 |