JP2010262323A - Monitoring controller - Google Patents

Monitoring controller Download PDF

Info

Publication number
JP2010262323A
JP2010262323A JP2009110202A JP2009110202A JP2010262323A JP 2010262323 A JP2010262323 A JP 2010262323A JP 2009110202 A JP2009110202 A JP 2009110202A JP 2009110202 A JP2009110202 A JP 2009110202A JP 2010262323 A JP2010262323 A JP 2010262323A
Authority
JP
Japan
Prior art keywords
computer
console
monitoring control
information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009110202A
Other languages
Japanese (ja)
Other versions
JP5178620B2 (en
Inventor
Atsufumi Fujita
淳文 藤田
Masaaki Arimoto
雅昭 有本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2009110202A priority Critical patent/JP5178620B2/en
Publication of JP2010262323A publication Critical patent/JP2010262323A/en
Application granted granted Critical
Publication of JP5178620B2 publication Critical patent/JP5178620B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To solve a problem wherein a system of distributing image information by a software cannot follow an movement of a mouse cursor in real time, in the prior art, to generate erroneous recognition. <P>SOLUTION: A monitoring controller includes the first console 1 and the second console 2 connected to a network, the first console 1 includes the first computer 110, the first display devices 112-114, and the first input device, and the second console 2 includes the second computer 150, the first computer outputs, to the first display devices, the image information obtained from a monitoring control object, and operation input information from the first input device, and transmits the image information and the operation input information separately to the second computer, and the second computer receives the image information and the operation input information from the first computer, and outputs an image signal based on the image information and an image signal based on the operation input information. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

この発明は監視制御装置に関するものである。   The present invention relates to a monitoring control device.

電力プラントの監視制御を行うシステムでは、運転室において、運転員が専用の運転操作用コンソール(第1コンソール)を使用して監視制御対象設備の監視や制御操作を実施する。この制御操作用コンソールは、最近のシステムでは汎用のPCまたはエンジニアリングワークステーションで構成される計算機に接続されたCRTや液晶ディスプレイ装置により実現され、運転員はマウスを使って制御操作を実施する。運転員は、運転員の長である当直長の監督の下に監視制御業務を行っている。つまり、運転員は、自分専用の運転操作用コンソールに表示される監視対象設備の状態を監視し、必要な場合には当直長の指示を仰ぎながら制御操作を実施する。ここで、当直長は、各運転員の操作状況を確認するために、各運転員専用の運転操作用コンソールの状態を当直長がモニタ用コンソール(第2コンソール)によりリアルタイムで把握する必要がある。   In a system that performs monitoring control of a power plant, an operator uses a dedicated operation console (first console) in a cab to perform monitoring and control operations on equipment to be monitored and controlled. This control operation console is realized by a CRT or a liquid crystal display device connected to a computer constituted by a general-purpose PC or an engineering workstation in a recent system, and an operator performs a control operation using a mouse. The operator conducts monitoring and control work under the supervision of the duty manager who is the head of the operator. In other words, the operator monitors the state of the monitoring target equipment displayed on his / her own driving operation console, and performs a control operation while asking for a duty length instruction if necessary. Here, in order to check the operation status of each operator, the duty length is required to be monitored in real time by the monitor length by the monitoring console (second console). .

このように、コンソールのディスプレイ装置に表示される制御操作状況を他のコンソールのディスプレイ装置にリアルタイムに表示可能とする方式として、ハードウェアで映像情報を分配して行う方式とソフトウェアで映像分配して行う方式があり、先行技術として例えば特許文献1、2がある。   As described above, the control operation status displayed on the display device of the console can be displayed in real time on the display device of other consoles. The video information is distributed by hardware and the video is distributed by software. For example, Patent Documents 1 and 2 are known as prior arts.

ハードウェアで映像情報を分配する方式は、信号分配器により運転操作用コンソールに対する映像出力信号を分岐させ、分岐させた映像信号を当直長のコンソールまで映像信号ケーブルを敷設して伝播させて画面表示させる方式、あるいは、分岐させた映像信号を専用の信号収集装置及び配信装置を設置して、ネットワーク経由で配信させて表示させる方式がある。   The method of distributing video information by hardware uses a signal distributor to branch the video output signal to the operation console, and the split video signal is propagated by laying the video signal cable to the duty console. There is a system for distributing the video signal, or a system for distributing and displaying the branched video signal via a network by installing a dedicated signal collection device and distribution device.

一方、ソフトウェアで映像情報を分配する方式では、運転操作用コンソールの画面表示用メモリに書き込まれた、運転員のマウス操作の動きを含む表示用データを圧縮し、圧縮後のデータを、通信路を経由してモニタ用コンソールに転送して伸長することで、当直長のモニタ用コンソールに内容を表示可能とする方式がある。最近ではVNC(Virtual Network Computing)などを活用することで、特別なソフトウェアを新たに用意しなくても容易に実現が可能である。   On the other hand, in the method of distributing video information by software, the display data including the movement of the mouse operation of the operator written in the screen display memory of the operation console is compressed, and the compressed data is transferred to the communication channel. There is a method in which the contents can be displayed on the monitor console of the duty length by transferring to the monitor console via the network and expanding. Recently, by using VNC (Virtual Network Computing) or the like, it can be easily realized without newly preparing special software.

特開2007−179526号公報の図1FIG. 1 of JP2007-179526A 特開平10−326111号公報の段落[0016][0049]Paragraphs [0016] and [0049] of JP-A-10-326111

しかし、上述したハードウェアで映像情報を分配する方式では、専用のハードウェアが必要であるうえ、配線が複雑でシステムの構築時や保守に必要とされるコストが高いという問題があった。また、ソフトウェアで映像情報を分配する方式では、コスト面は抑えることができるが、ハードウェア方式に比べると描画が遅く、特にマウスカーソルの動きが描画データ全体の読み取り、配信、及び表示に要する時間の長さに影響を受けてしまい、リアルタイムに追随できず誤認してしまうという問題があった。   However, the above-described method for distributing video information using hardware has a problem in that dedicated hardware is required and wiring is complicated and the cost required for system construction and maintenance is high. In addition, the method of distributing video information by software can reduce the cost, but drawing is slower than the hardware method, and the time required for reading, distributing, and displaying the entire drawing data is particularly slow when the mouse cursor moves. There was a problem that it was influenced by the length of and could not follow in real time and misunderstood.

この発明に係る監視制御装置は、ネットワークに接続された第1コンソールと第2コンソールからなる監視制御装置であって、第1コンソールは、第1計算機と第1ディスプレイ装置と第1入力デバイスを備え、第2コンソールは、第2計算機を備え、第1計算機は第1ディスプレイ装置に、監視制御対象から取得した映像情報と第1入力デバイスからの操作入力情報を画像信号として出力するとともに、映像情報と操作入力情報とを分けて第2計算機に送信し、第2計算機は、第1計算機の映像情報と操作入力情報を受信して映像情報に基づく画像信号と操作入力情報に基づく画像信号を出力するようにしたものである。   A monitoring control apparatus according to the present invention is a monitoring control apparatus including a first console and a second console connected to a network, and the first console includes a first computer, a first display device, and a first input device. The second console includes a second computer. The first computer outputs video information acquired from the monitoring control target and operation input information from the first input device to the first display device as image signals, and video information. And the operation input information are transmitted separately to the second computer. The second computer receives the video information and the operation input information of the first computer, and outputs an image signal based on the video information and an image signal based on the operation input information. It is what you do.

また、監視制御対象の監視制御を行う第1計算機と第1ディスプレイ装置と第1入力デバイスを有する第1のコンソール、及び第1コンソールとネットワークで接続され、第2計算機と第2ディスプレイ装置と第2入力デバイスを有する第2コンソールからなる監視制御装置であって、第1計算機は、監視制御対象から取得した映像情報を第2計算機に送信する映像中継サーバと、第1入力デバイスの操作入力情報を映像情報とは切り離して第2計算機に送信するデバイス中継サーバを備え、第2計算機は、映像中継サーバから送信された映像情報を受け取る映像中継クライアントと、デバイス中継サーバから送信された操作入力情報を受け取るデバイス中継クライアントを備え、第2計算機は、映像中継クライアントで受け取った映像情報と、デバイス中継クライアントで受け取った操作入力情報に対応して生成されたマウスカーソルのシンボルとを第2ディスプレイ装置に画像として重ねて表示するようにしたものである。   In addition, the first computer, the first display device, and the first console having the first input device that perform the monitoring control of the monitoring control target, and the first console and the first console are connected via a network, and the second computer, the second display device, and the first computer. A monitoring control device including a second console having two input devices, wherein the first computer includes a video relay server that transmits video information acquired from a monitoring control target to the second computer, and operation input information of the first input device. A device relay server that transmits the video information to the second computer separately from the video information, the second computer receiving the video information transmitted from the video relay server, and the operation input information transmitted from the device relay server The second computer receives the video information received by the video relay client. , In which be displayed superimposed as an image of the symbols of the mouse cursor which is generated corresponding to the operation input information received by the device relay client on the second display device.

この発明は、以上のように構成されており、専用のハードウェアを使用するものではないので、装置のコストを抑えることができる。また、第1コンソール側の変化の多いマウスやキーボード等の操作入力情報が第2コンソール側に速やかに送られるため、第2コンソールにおいてマウスカーソルの動きをリアルタイムで確認でき、より効果的な監視制御が可能となる。その際、第1コンソールにおけるマウスの操作に対応するマウスカーソルを、第2コンソールのディスプレイ装置に映像情報の画像に重ねて表示することにより、第1コンソールの状況を第2コンソールにおいてよりきめ細かに監視できる。   Since the present invention is configured as described above and does not use dedicated hardware, the cost of the apparatus can be reduced. In addition, since operation input information such as a mouse or a keyboard that has many changes on the first console side is sent to the second console side quickly, the movement of the mouse cursor can be confirmed in real time on the second console, and more effective monitoring control can be performed. Is possible. At that time, a mouse cursor corresponding to the operation of the mouse in the first console is displayed on the display device of the second console so as to be superimposed on the image of the video information, thereby monitoring the status of the first console more closely in the second console. it can.

この発明の実施の形態1に係る監視制御装置の構成図である。It is a block diagram of the monitoring control apparatus which concerns on Embodiment 1 of this invention. 実施の形態1の監視制御装置の画面表示例である。3 is a screen display example of the monitoring control apparatus according to the first embodiment. この発明の実施の形態2に係る監視制御装置の構成図である。It is a block diagram of the monitoring control apparatus which concerns on Embodiment 2 of this invention. 実施の形態2の監視制御装置の画面表示例である。6 is a screen display example of the monitoring control apparatus according to the second embodiment.

実施の形態1.
図1は、この発明に係る監視制御装置の構成図である。この構成では、一般的に第1コンソールと呼ぶ運転操作用コンソール1と、同じく一般的に第2コンソールと呼ぶモニタ用コンソール2がネットワーク140で接続されている。第1コンソール1は、監視制御対象設備102の情報を収集する機能を持つサーバ計算機100から各種監視情報の処理結果データを受信したり、監視制御対象設備102に対する指令をサーバ計算機100経由で送信したりする第1計算機110を有する。第1計算機110は汎用のパーソナルコンピュータまたはエンジニアリングワークステーションで構成され、運転員が制御操作を行うための装置として、第1入力デバイスであるマウス118とキーボード119が接続され、さらに、出力装置としてCRTや液晶などの複数の第1ディスプレイ装置112〜114が接続される。ここでは3台の第1ディスプレイ装置を接続した例を記載しているが、その数に制限はない。
Embodiment 1 FIG.
FIG. 1 is a configuration diagram of a monitoring control device according to the present invention. In this configuration, an operation console 1 generally called a first console and a monitor console 2 also generally called a second console are connected by a network 140. The first console 1 receives processing result data of various types of monitoring information from the server computer 100 having a function of collecting information on the monitoring control target equipment 102, and sends a command to the monitoring control target equipment 102 via the server computer 100. The first computer 110 is included. The first computer 110 is composed of a general-purpose personal computer or an engineering workstation. A mouse 118 and a keyboard 119 as a first input device are connected as an apparatus for an operator to perform a control operation, and a CRT is used as an output apparatus. A plurality of first display devices 112 to 114 such as a liquid crystal display and the like are connected. Here, an example in which three first display devices are connected is described, but the number is not limited.

第1計算機110ではOS上に各種ソフトウェアが動作している。まず、GUI基本ソフトウェア111は、画面表示や、第1入力デバイスであるマウス118とキーボード119の入力を処理する役割を担うソフトウェアであり、一般的なものにXサーバがある。このGUI基本ソフトウェア111は、デバイス中継サーバ122を経由してマウスドライバ120及びキーボードドライバ121と情報連携している。   In the first computer 110, various software is running on the OS. First, the GUI basic software 111 is software that plays a role of processing screen display and input of the mouse 118 and the keyboard 119 as the first input devices, and an X server is a general one. The GUI basic software 111 is linked with the mouse driver 120 and the keyboard driver 121 via the device relay server 122.

第1計算機110は、また、監視制御対象設備102の監視制御業務を遂行するために必要な画面コンテンツを作成する監視制御プログラム101を備えている。監視制御プログラム101はGUI基本ソフトウェア111と連携しており、前記画面コンテンツはGUI基本ソフトウェア111によりビデオメモリ115〜117を通して第1ディスプレイ装置112〜114に表示される。第1計算機110には、第1ディスプレイ装置112〜114に1対1で対応して動作する映像中継サーバ123〜125が設けられ、この映像中継サーバ123〜125の信号は、ネットワーク140を通して第2コンソール2に送られる。   The first computer 110 also includes a monitoring control program 101 that creates screen content necessary for performing the monitoring control work of the monitoring control target facility 102. The monitoring control program 101 is linked to the GUI basic software 111, and the screen content is displayed on the first display devices 112 to 114 through the video memories 115 to 117 by the GUI basic software 111. The first computer 110 is provided with video relay servers 123 to 125 that operate in a one-to-one correspondence with the first display devices 112 to 114, and signals from the video relay servers 123 to 125 are transmitted through the network 140 to the second computer 110. Sent to console 2.

第2コンソール2は、第2計算機であるモニタ用計算機150を有する。第2計算機150は汎用のパーソナルコンピュータまたはエンジニアリングワークステーションで構成され、当直長が操作を行うための装置として、第2入力デバイスであるマウス158とキーボード159が接続され、さらに、出力装置としてCRTや液晶などの複数の第2ディスプレイ装置152〜154が接続される。ここでは3台の第2ディスプレイ装置を接続した例を記載しているが、その数に制限はない。   The second console 2 has a monitor computer 150 which is a second computer. The second computer 150 is composed of a general-purpose personal computer or engineering workstation, and a mouse 158 as a second input device and a keyboard 159 are connected as devices for operation by the watch length, and a CRT or the like as an output device. A plurality of second display devices 152 to 154 such as liquid crystal are connected. Here, an example in which three second display devices are connected is described, but the number is not limited.

第1計算機110と同様に、第2計算機150ではOS上に各種ソフトウェアが動作している。まず、GUI基本ソフトウェア151は、画面表示や、第2入力デバイスであるマウス158とキーボード159の入力を処理する役割を担うソフトウェアであり、一般的なものにXサーバがある。このGUI基本ソフトウェア151は、直接マウスドライバ160及びキーボードドライバ161と情報連携している。   Similar to the first computer 110, the second computer 150 operates various software on the OS. First, the GUI basic software 151 is software that plays a role of processing the screen display and the input of the mouse 158 and the keyboard 159 that are the second input devices, and an X server is a general one. This GUI basic software 151 is directly linked with the mouse driver 160 and the keyboard driver 161.

さらに、第2計算機150には、第1計算機110の映像中継サーバ123〜125から送信される映像情報を中継するためのソフトウェアである映像中継クライアント163〜165、デバイス中継サーバ122から送信される第1入力デバイスの操作入力情報を中継するためのソフトウェアであるデバイス中継クライアント162、デバイス中継クライアント162で中継された操作入力情報を受信して処理を行うマウスカーソル管理プログラム170、前記操作入力情報からマウスやキーボードの操作履歴を生成する操作履歴管理プログラム171、及び操作履歴を保存する操作履歴保存手段172が設けられている。   Further, the second computer 150 is transmitted from the video relay clients 163 to 165 and the device relay server 122 which are software for relaying the video information transmitted from the video relay servers 123 to 125 of the first computer 110. A device relay client 162 that is software for relaying operation input information of one input device, a mouse cursor management program 170 that receives and processes operation input information relayed by the device relay client 162, and a mouse from the operation input information And an operation history management program 171 that generates an operation history of the keyboard, and an operation history storage unit 172 that stores the operation history.

第2計算機150には、GUI基本ソフトウェア151により制御される出力装置として、ビデオメモリ155〜157を経由して第2ディスプレイ装置152〜154が接続されている。   Second display devices 152 to 154 are connected to the second computer 150 via video memories 155 to 157 as output devices controlled by the GUI basic software 151.

次に動作を説明する。まず、第1計算機110において、監視制御プログラム101がサーバ計算機100から受信したデータを元に映像情報である画面コンテンツを生成し、GUI基本ソフトウェア111に対して画面表示を指令すると、GUI基本ソフトウェア111は映像情報を画像信号としてビデオメモリ115〜117に書き込み、その画像信号が第1ディスプレイ装置112〜114に出力され映像情報の画像表示が行われる。   Next, the operation will be described. First, when the first computer 110 generates screen content that is video information based on data received from the server computer 100 by the monitoring control program 101 and instructs the GUI basic software 111 to display a screen, the GUI basic software 111 is displayed. Writes video information as image signals to the video memories 115 to 117, and the image signals are output to the first display devices 112 to 114 to display images of the video information.

映像中継サーバ123〜125は、第1計算機110に接続された第1ディスプレイ装置112〜114に1対1で対応して動作し、第1ディスプレイ装置に対応したビデオメ
モリ115〜117への書き込み内容を逐次読み取り、前回読み取った映像情報からの差分情報のみを圧縮し、ネットワーク140を経由して、第2計算機150にて動作する映像中継クライアント163〜165に送信する。
The video relay servers 123 to 125 operate in a one-to-one correspondence with the first display devices 112 to 114 connected to the first computer 110, and the contents to be written to the video memories 115 to 117 corresponding to the first display device. Are sequentially read, and only the difference information from the previously read video information is compressed and transmitted to the video relay clients 163 to 165 operating on the second computer 150 via the network 140.

映像中継クライアント163〜165は、受信した映像情報を伸長して画像信号を作成し、GUI基本ソフトウェア151を経由してビデオメモリ155〜157に書き込む。この結果、第1計算機110の第1ディスプレイ装置112〜114に表示されている画像と同じ画像が第2ディスプレイ装置152〜154に表示される。   The video relay clients 163 to 165 decompress the received video information to create an image signal, and write it into the video memories 155 to 157 via the GUI basic software 151. As a result, the same image as that displayed on the first display devices 112 to 114 of the first computer 110 is displayed on the second display devices 152 to 154.

一方、第1コンソール1側のマウス118やキーボード119など第1入力デバイスから入力される操作入力情報は、前記映像情報とは別に次のような経路で第2計算機150に送信され、これにより第1計算機における第1入力デバイスのマウスカーソル移動やキーボードの釦押し下げ等の操作履歴がリアルタイムで第2コンソール2の第2計算機150
に送信される。
On the other hand, the operation input information input from the first input device such as the mouse 118 and the keyboard 119 on the first console 1 side is transmitted to the second computer 150 through the following route, separately from the video information, thereby The second computer 150 of the second console 2 has a real-time operation history such as moving the mouse cursor of the first input device and pressing the button of the keyboard in one computer.
Sent to.

すなわち、マウスドライバ120は運転員が操作するマウス118からの入力内容を、また、キーボードドライバ121は運転員が操作するキーボード119からの入力内容をそれぞれ受信し、デバイス中継サーバ122に伝達する。このデバイス中継サーバ122は、GUI基本ソフトウェア111に供給しているマウス120やキーボード121など第1入力デバイスからの操作入力情報を横取りして、デバイス中継クライアント162に対してもネットワーク140を経由して同時に送信する。上記のようにデバイス中継サーバ122がマウスドライバ120とキーボードドライバ121から操作入力情報を横取りして取得する具体的な方法は、例えばLinux OSを利用する。このOSでは擬似的なデバイスを用意して取得する方法が一般的に知られており、高速に読み取りが行え、また、実現するために特別なハードウェアを用意したり既存のプログラムを改造したりする必要はない。   That is, the mouse driver 120 receives the input contents from the mouse 118 operated by the operator, and the keyboard driver 121 receives the input contents from the keyboard 119 operated by the operator, and transmits them to the device relay server 122. The device relay server 122 intercepts operation input information supplied from the first input device such as the mouse 120 and the keyboard 121 supplied to the GUI basic software 111, and also transmits the device relay client 162 via the network 140. Send at the same time. As described above, a specific method for the device relay server 122 to obtain operation input information from the mouse driver 120 and the keyboard driver 121 by using a Linux OS is used, for example. In this OS, a method of preparing and acquiring a pseudo device is generally known, and can read at high speed. In addition, special hardware is prepared or an existing program is modified in order to realize it. do not have to.

デバイス中継クライアント162は、受信した第1入力デバイスからの操作入力情報をマウスカーソル管理プログラム170、及び操作履歴管理プログラム171に対して通知する。   The device relay client 162 notifies the mouse cursor management program 170 and the operation history management program 171 of the received operation input information from the first input device.

マウスカーソル管理プログラム170は、操作入力情報に対応してマウスカーソルに相当する形状のシンボルを生成して、GUI基本ソフトウェア151を通して第2ディスプレイ装置152〜154に表示する。前記シンボルの生成は、例えば、予め登録されているマウスカーソルに相当する形状のシンボルを読み出すことにより行うことができる。第2ディスプレイ装置152〜154には、前述のとおり、映像中継クライアント163〜165により、第1計算機110のビデオメモリ115〜117から読み取った映像情報が画像として表示されているため、前記シンボルはこの画像に重ねて表示される。   The mouse cursor management program 170 generates a symbol having a shape corresponding to the mouse cursor corresponding to the operation input information, and displays it on the second display devices 152 to 154 through the GUI basic software 151. The symbol can be generated by, for example, reading a symbol having a shape corresponding to a mouse cursor registered in advance. As described above, since the video information read from the video memories 115 to 117 of the first computer 110 by the video relay clients 163 to 165 is displayed as images on the second display devices 152 to 154, the symbol is this Overlaid on the image.

マウスカーソル管理プログラム170は、マウスカーソルのシンボルが常にこの映像情報よりも上(前面)に表示されるように制御する。これにより、映像中継クライアント163〜165により更新される映像情報の結果を待たなくても、第1コンソール1で操作されるマウスのカーソルの位置表示がリアルタイムで第2コンソール2の第2ディスプレイ装置152〜154に表示可能となる。   The mouse cursor management program 170 performs control so that the mouse cursor symbol is always displayed above (in front of) the video information. Accordingly, the position of the mouse cursor operated on the first console 1 can be displayed in real time on the second display device 152 of the second console 2 without waiting for the result of the video information updated by the video relay clients 163 to 165. ~ 154 can be displayed.

操作履歴管理プログラム171は、デバイス中継クライアント162から受信した、第1入力デバイスであるマウス118及びキーボード119からのすべての操作入力情報に時間情報や運転員のIDなど必要な情報を付加し、GUI基本ソフトウェア151を通して第2ディスプレイ152〜154の画面の一部に表示する。操作履歴管理プログラムは、同時に、マウス118及びキーボード119からのすべての操作入力情報に時間情報や
運転員のIDなど必要な情報を付加したものを操作履歴保存手段172にテキスト形式で蓄積する。従って、操作履歴管理プログラム171は、操作履歴保存手段172から操作履歴保存データを読み出して、過去の操作履歴も必要に応じて第2ディスプレイ152〜154の画面の一部に表示させることができる。
The operation history management program 171 adds necessary information such as time information and an operator ID to all operation input information received from the device relay client 162 from the mouse 118 and the keyboard 119 as the first input device, and the GUI. It is displayed on a part of the screen of the second display 152 to 154 through the basic software 151. The operation history management program simultaneously stores all operation input information from the mouse 118 and the keyboard 119 added with necessary information such as time information and operator ID in the operation history storage unit 172 in a text format. Therefore, the operation history management program 171 can read the operation history storage data from the operation history storage unit 172, and can display the past operation history on a part of the screen of the second display 152 to 154 as necessary.

図2は、第1ディスプレイ装置112〜114に表示される第1コンソール側画面202の表示例と、このとき上述の動作により、第2ディプレイ装置152〜154に表示される第2コンソール側画面302の表示例を示したものである。ここで、画面202は、監視制御プログラム101によって生成された監視制御対象設備102の状態を示すシンボルや、監視制御対象設備102に対しての制御操作指令を示す画面である。この画面202の画像信号は、映像情報として映像情報クライアント163〜165へと送信され、第2ディスプレイ装置152〜154により画面302の画像として表示される。   FIG. 2 shows a display example of the first console side screen 202 displayed on the first display devices 112 to 114 and the second console side screen displayed on the second display devices 152 to 154 by the above-described operation at this time. The example of a display of 302 is shown. Here, the screen 202 is a screen showing a symbol indicating the state of the monitoring control target equipment 102 generated by the monitoring control program 101 and a control operation command for the monitoring control target equipment 102. The image signal on the screen 202 is transmitted as video information to the video information clients 163 to 165 and displayed as an image on the screen 302 by the second display devices 152 to 154.

このとき、第1ディスプレイ装置112〜114に表示されるマウスカーソル201の動きは、マウスカーソルのシンボル301として監視制御対象の状態を示すシンボルや、監視制御対象に対して操作指令を行うための画面よりも前面に重ねて表示される。   At this time, the movement of the mouse cursor 201 displayed on the first display devices 112 to 114 is a symbol indicating the state of the monitoring control target as the mouse cursor symbol 301 or a screen for operating the monitoring control target. Are displayed in front of each other.

303は第2ディスプレイ152〜154の画面の一部に表示された第1入力デバイスの操作履歴を表示する画面の一例である。この画面303には、第1入力デバイスの操作入力情報である操作内容及び操作時刻の履歴が時系列で表示され、従来監視できなかった、マウス釦の押下状態や、キーボードからの入力操作の状況についてもリアルタイムに監視できる。また、この画面303には、操作履歴管理プログラム171により、テキスト形式で保存されている操作履歴保存データを検索して過去の操作履歴を表示させることもできる。   Reference numeral 303 denotes an example of a screen that displays an operation history of the first input device displayed on a part of the screens of the second displays 152 to 154. In this screen 303, the operation contents and operation time history that is the operation input information of the first input device are displayed in time series, and the mouse button pressed state and the input operation status from the keyboard, which could not be monitored conventionally. Can also be monitored in real time. In addition, the operation history management program 171 can search the operation history storage data stored in the text format and display the past operation history on the screen 303.

このように、この発明による監視制御装置においては、第1コンソール側に表示される画面の状況を、映像分配用の専用ハードウェアを設けることなく、既存プログラムにソフトウェアを追加することにより第2コンソール側で監視することが可能となる。このとき、マウスの位置情報は別ルートで送信し、変化の少ない他の画面表示部分は従来どおり映像情報で送信し、モニタ用コンソール上で両者を重ねあわせて表示するため、マウスのカーソルの追随遅れがなくなり、マウスカーソル位置をリアルタイムで表示できる。   As described above, in the monitoring and control apparatus according to the present invention, the status of the screen displayed on the first console side can be set by adding software to the existing program without providing dedicated hardware for video distribution. It is possible to monitor on the side. At this time, the mouse position information is transmitted by another route, and other screen display parts with little change are transmitted as video information as before, and both are displayed on the monitor console so that the mouse cursor can be tracked. There is no delay and the mouse cursor position can be displayed in real time.

また、マウスの位置情報の取得を、OSのデバイスドライバから横取りする方式としているため、マウスカーソルの追随遅れが解消される上に、低コストの監視制御装置を実現できる。   In addition, since the acquisition of mouse position information is intercepted from the OS device driver, the follow-up delay of the mouse cursor is eliminated, and a low-cost monitoring control device can be realized.

また、表示された映像情報を共有するだけでは確認できなかった、第1コンソール側でのマウスの釦押下の情報や、キー押下の情報を同時に第2コンソール側で監視可能としたため、当直長による操作チェックの精度向上が図られるという効果がある。   In addition, the information on mouse button presses on the first console and key press information that could not be confirmed simply by sharing the displayed video information can be monitored on the second console at the same time. There is an effect that the accuracy of the operation check can be improved.

また、映像情報をすべて保存するのではなく、マウスとキーボードの入力変化情報に運転者のIDや時間などの情報を付加してテキスト形式で保存することで、少ない記憶領域でのデータ保存が可能で、かつ、検索が容易になる。   Also, instead of saving all video information, it is possible to save data in a small storage area by adding information such as the driver's ID and time to the input change information of the mouse and keyboard and saving it in text format. And the search becomes easy.

実施の形態2.
実施の形態1では、運転員は、第1コンソール1の第1入力デバイスを操作していつでも監視制御対象設備102の制御操作を行えるようになっているが、実施の形態2では、認証実行プログラム180を第2計算機150に付加することにより、当直長の承認を得なければ監視制御対象設備102の制御操作を行えないようにしている。
Embodiment 2. FIG.
In the first embodiment, the operator can control the monitoring control target facility 102 at any time by operating the first input device of the first console 1, but in the second embodiment, the authentication execution program By adding 180 to the second computer 150, the control operation of the monitored control target equipment 102 cannot be performed unless the approval of the duty length is obtained.

図3は実施の形態2に係る監視制御装置の構成図である。実施の形態2は、実施の形態1に認証実行プログラム180を付加した以外は実施の形態1と同じ構成なので、実施の形態1と共通する要素については説明を省略する。   FIG. 3 is a configuration diagram of the monitoring control apparatus according to the second embodiment. Since the second embodiment has the same configuration as the first embodiment except that the authentication execution program 180 is added to the first embodiment, description of elements common to the first embodiment is omitted.

以下、認証実行プログラム180に関連する動作を中心に説明する。第1コンソール1の運転員がマウス118やキーボード119を使って監視制御対象設備102の制御を行う場合、本実施の形態では、デバイス中継サーバ122は、先ず、マウス118やキーボード119の操作入力情報を、デバイス中継クライアント162を経由して承認実行プログラム180に承認要求信号として送るようにしている。この承認要求信号により、承認実行プログラム180は第2ディスプレイ装置152〜154に承認を促す画面の表示を指示する。   Hereinafter, the operation related to the authentication execution program 180 will be mainly described. When the operator of the first console 1 controls the monitoring control target equipment 102 using the mouse 118 or the keyboard 119, in this embodiment, the device relay server 122 first operates input information of the mouse 118 and the keyboard 119. Is sent as an approval request signal to the approval execution program 180 via the device relay client 162. In response to the approval request signal, the approval execution program 180 instructs the second display devices 152 to 154 to display a screen for prompting approval.

第2コンソール2を運用する当直長が承認実行プログラム180により表示される第2ディスプレイ装置152〜154の画面上で、承認の可否のチェックを開始する旨を、マウス158を使って指示すると、承認実行プログラム180は、デバイス中継クライアント162を通して第1計算機110のデバイス中継サーバ122にチェック開始指令を伝達する。デバイス中継サーバ122は、チェック開始指令を受信すると、以降、マウス118のクリックなど特定釦の操作入力情報をマウス118から受信しても、それをGUI基本ソフトウェア111には伝達せず保留とし、監視制御対象装置102の制御操作を無効とする。   When the duty length of the second console 2 operating the second display device 152 to 154 displayed on the screen of the approval execution program 180 indicates that the approval check is to be started using the mouse 158, the approval is made. The execution program 180 transmits a check start command to the device relay server 122 of the first computer 110 through the device relay client 162. When the device relay server 122 receives the check start command, even if it receives operation input information of a specific button such as a click of the mouse 118 from the mouse 118, the device relay server 122 does not transmit the information to the GUI basic software 111 and puts it on hold. The control operation of the control target device 102 is invalidated.

当直長がマウス158を使って承認を促す画面上で承認を実行すると、認証実行プログラム180は、デバイス中継クライアント162を経由して、デバイス中継サーバ122に承認通知を伝達する。デバイス中継サーバ122は承認通知を受信すると、保留にしていた操作入力情報を、GUI基本ソフトウェア111に通知し、当該制御操作が監視制御プログラム101に伝達され、監視制御対象装置102の制御が可能になる。   When the duty manager executes the approval on the screen prompting the approval using the mouse 158, the authentication execution program 180 transmits the approval notification to the device relay server 122 via the device relay client 162. Upon receiving the approval notification, the device relay server 122 notifies the GUI basic software 111 of the operation input information put on hold, and the control operation is transmitted to the monitoring control program 101 so that the monitoring control target device 102 can be controlled. Become.

図4は、第1コンソール1の運転員がマウス118を使って操作実行のためマウス釦を押下した場合に、第2コンソール150の第2ディスプレイ装置152〜154に表示される承認を促す画面401の表示例を示したものである。第2コンソール2の当直長が、マウス158で操作するマウスカーソル402を使って承認を促す画面401の“はい”釦を押下すると、デバイス中継クライアント162を通して承認通知が第1計算機110に伝達され、運転員のマウス釦の押下操作が有効となる。“いいえ”を押下すると運転員のマウス118の釦の押下操作は無効になる。   FIG. 4 shows a screen 401 for prompting approval displayed on the second display devices 152 to 154 of the second console 150 when the operator of the first console 1 uses the mouse 118 to press the mouse button for executing the operation. Is a display example. When the duty length of the second console 2 presses the “Yes” button on the screen 401 urging approval using the mouse cursor 402 operated by the mouse 158, an approval notification is transmitted to the first computer 110 through the device relay client 162, The operation of pressing the mouse button by the operator is effective. When “No” is pressed, the operation of pressing the button of the operator's mouse 118 becomes invalid.

このように、本実施の形態2によれば、第2コンソール2を運用する当直長の承認がなければ、第1コンソール1を使用する運転員の操作を完全に抑止することができるため、必要に応じて厳重な操作チェックが行えるという効果がある。   As described above, according to the second embodiment, the operation of the operator who uses the first console 1 can be completely suppressed without the approval of the duty length for operating the second console 2. There is an effect that a strict operation check can be performed according to the situation.

上記説明では、この発明の適用例として、運転員の操作を当直長がチェックする場合の監視制御装置について説明したが、これ以外に、訓練時のトレーナとトレーニー間で画面情報を共有する場合などにも適用できる。   In the above description, as an application example of the present invention, the supervisory control device when the duty manager checks the operation of the operator has been described, but in addition to this, when the screen information is shared between the trainer and the trainee at the time of training, etc. It can also be applied to.

1 第1コンソール、
2 第2コンソール、
100 サーバ計算機、
101 監視制御プログラム、
102 監視制御対象設備、
110 第1計算機、
111 GUI基本ソフトウェア、
112〜114 第1ディスプレイ装置、
115〜117 ビデオメモリ、
118 マウス、
119 キーボード、
120 マウスドライバ、
121 キーボードドライバ、
122 デバイス中継サーバ、
123〜125 映像中継サーバ、
150 第2計算機、
151 GUI基本ソフトウェア、
152〜154 第2ディスプレイ装置、
155〜157 ビデオメモリ、
158 マウス、
159 キーボード、
160 マウスドライバ、
161 キーボードドライバ、
162 デバイス中継クライアント、
170 マウスカーソル管理プログラム、
171 操作履歴管理プログラム、
172 操作履歴保存手段、
180 承認実行プログラム、
201 第1コンソール側画面に表示されるマウスカーソル、
202 第1コンソール側画面に表示される監視画面、
301 第2コンソール側画面に表示されるマウスカーソルのシンボル、
302 第2コンソール側画面に表示される監視画面、
303 第2コンソール側画面に表示される操作履歴表示画面、
401 第2コンソール側画面に表示される承認実行画面、
402 第2コンソール側画面に表示されるマウスカーソル。
1 First console,
2 Second console,
100 server computer,
101 monitoring control program,
102 equipment to be monitored and controlled,
110 First computer,
111 GUI basic software,
112-114 1st display apparatus,
115-117 video memory,
118 mice,
119 keyboard,
120 mouse driver,
121 keyboard driver,
122 device relay server,
123-125 video relay server,
150 Second computer,
151 GUI basic software,
152-154 second display device,
155-157 video memory,
158 mice,
159 keyboard,
160 mouse driver,
161 keyboard driver,
162 device relay client,
170 mouse cursor management program,
171 operation history management program,
172 operation history storage means,
180 approval execution program,
201 Mouse cursor displayed on the first console side screen,
202 monitoring screen displayed on the first console side screen,
301 Mouse cursor symbol displayed on the second console screen
302 monitoring screen displayed on the second console side screen,
303 Operation history display screen displayed on the second console side screen,
401 Approval execution screen displayed on the second console side screen,
402 Mouse cursor displayed on the second console side screen.

Claims (10)

ネットワークに接続された第1コンソールと第2コンソールからなる監視制御装置であって、前記第1コンソールは、第1計算機と第1ディスプレイ装置と第1入力デバイスを備え、前記第2コンソールは第2計算機を備え、前記第1計算機は、前記第1ディスプレイ装置に、監視制御対象から取得した映像情報と前記第1入力デバイスからの操作入力情報を画像信号として出力するとともに、前記映像情報と操作入力情報とを分けて前記第2計算機に送信し、前記第2計算機は、前記第1計算機の映像情報と操作入力情報を受信して前記映像情報に基づく画像信号と前記操作入力情報に基づく画像信号を出力するようにしたことを特徴とする監視制御装置。   A monitoring control device comprising a first console and a second console connected to a network, wherein the first console comprises a first computer, a first display device and a first input device, and the second console is a second console. A first computer that outputs video information acquired from a monitoring control target and operation input information from the first input device to the first display device as image signals, and the video information and operation input; The information is separately transmitted to the second computer, and the second computer receives the video information and the operation input information of the first computer, and receives the image signal based on the video information and the image signal based on the operation input information. A monitoring control device characterized in that the output is output. 前記第2コンソールには第2ディスプレイ装置を備え、前記第2計算機は、前記第1計算機から受信した前記二つの画像信号を重ねて前記第2ディスプレイ装置に画像として表示するようにしたことを特徴とする請求項1に記載の監視制御装置。   The second console includes a second display device, and the second computer superimposes the two image signals received from the first computer and displays them as images on the second display device. The monitoring control device according to claim 1. 監視制御対象の監視制御を行う第1計算機と第1ディスプレイ装置と第1入力デバイスを有する第1のコンソール、及び前記第1コンソールとネットワークで接続され、第2計算機と第2ディスプレイ装置と第2入力デバイスを有する第2コンソールからなる監視制御装置であって、前記第1計算機は、前記監視制御対象から取得した映像情報を画像として表示する第1ディスプレイ装置と、前記映像情報を前記第2計算機に送信する映像中継サーバと、前記第1入力デバイスの操作入力情報を前記映像情報とは切り離して前記第2計算機に送信するデバイス中継サーバとを備え、前記第2計算機は、前記映像中継サーバから送信された前記映像情報を受け取る映像中継クライアントと、前記映像中継クライアントからの映像情報を画像として表示する第2ディスプレイ装置と、前記デバイス中継サーバから送信された操作入力情報を受け取るデバイス中継クライアントを備え、前記第2計算機は、上記映像中継クライアントで受け取った映像情報と、前記デバイス中継クライアントで受け取った操作入力情報に対応するマウスカーソルのシンボルとを前記第2ディスプレイ装置に画像として重ねて表示するようにしたことを特徴とする監視制御装置。   A first computer that performs monitoring control of a monitoring control target, a first display device, a first console having a first input device, and a network connected to the first console, a second computer, a second display device, and a second A monitoring control apparatus including a second console having an input device, wherein the first computer displays a video information acquired from the monitoring control target as an image, and the video information is displayed on the second computer. A video relay server that transmits the operation input information of the first input device to the second computer separately from the video information, and the second computer is connected to the video relay server from the video relay server. The video relay client that receives the transmitted video information and the video information from the video relay client as an image A second display device for displaying; and a device relay client that receives operation input information transmitted from the device relay server, wherein the second computer receives the video information received by the video relay client and the device relay client. A monitoring control device, wherein a symbol of a mouse cursor corresponding to the operation input information is displayed as an image on the second display device. 前記第2計算機は、前記デバイス中継クライアントからの信号を受け、前記マウスカーソルのシンボルを生成するマウスカーソル管理手段を有することを特徴とする請求項3に記載の監視制御装置。   The monitoring control apparatus according to claim 3, wherein the second computer includes a mouse cursor management unit that receives a signal from the device relay client and generates a symbol of the mouse cursor. 前記第2計算機は、操作履歴管理手段を備え、前記第2ディスプレイ装置の画面の一部に、前記デバイス中継クライアントで取得した操作入力情報を元に前記操作履歴管理手段で生成された前記第1入力デバイスの操作履歴を表示するようにしたことを特徴とする請求項3に記載の監視制御装置。   The second computer includes an operation history management unit, and the first computer generated by the operation history management unit based on the operation input information acquired by the device relay client in a part of the screen of the second display device. The monitoring control apparatus according to claim 3, wherein an operation history of the input device is displayed. 前記第1入力デバイスの操作履歴は、前記第1コンソールの運転員のID及び操作時刻、操作内容を含むものであることを特徴とする請求項5に記載の監視制御装置。   The monitoring control apparatus according to claim 5, wherein the operation history of the first input device includes an ID, an operation time, and an operation content of an operator of the first console. 前記第2計算機に、前記第1入力デバイスの操作入力情報を履歴として保存する操作履歴保存手段を設けたことを特徴とする請求項1〜6のいずれか一項に記載の監視制御装置。   The monitoring control apparatus according to claim 1, wherein the second computer is provided with an operation history storage unit that stores operation input information of the first input device as a history. 前記第2計算機に、前記第1入力デバイスの操作を承認する承認実行手段を付加し、前記第2入力デバイスの操作による承認の通知を前記第1計算機に与えないかぎり、前記第1入力デバイスによる前記監視制御対象の制御操作を無効にするようにしたことを特徴とする請求項3〜7のいずれか一項に記載の監視制御装置。   Approval executing means for approving the operation of the first input device is added to the second computer, and unless the first computer is notified of the approval by the operation of the second input device, The monitoring control apparatus according to claim 3, wherein the control operation of the monitoring control target is invalidated. 前記承認実行手段は、前記第1入力デバイスの操作を承認するか否かを照会する画面を前記第2ディスプレイ装置に表示し、前記画面上で承認の実行を行うことを可能にしたことを特徴とする請求項8に記載の監視制御装置。   The approval execution means displays a screen for inquiring whether or not to approve the operation of the first input device on the second display device, and can execute the approval on the screen. The monitoring control device according to claim 8. 前記操作入力情報は、マウスまたはキーボードからの入力情報であることを特徴とする請求項1〜9のいずれか一項に記載の監視制御装置。   The monitoring control apparatus according to claim 1, wherein the operation input information is input information from a mouse or a keyboard.
JP2009110202A 2009-04-29 2009-04-29 Supervisory control device Active JP5178620B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009110202A JP5178620B2 (en) 2009-04-29 2009-04-29 Supervisory control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009110202A JP5178620B2 (en) 2009-04-29 2009-04-29 Supervisory control device

Publications (2)

Publication Number Publication Date
JP2010262323A true JP2010262323A (en) 2010-11-18
JP5178620B2 JP5178620B2 (en) 2013-04-10

Family

ID=43360358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009110202A Active JP5178620B2 (en) 2009-04-29 2009-04-29 Supervisory control device

Country Status (1)

Country Link
JP (1) JP5178620B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012226653A (en) * 2011-04-21 2012-11-15 Mitsubishi Electric Corp Monitoring control system
JP2016035621A (en) * 2014-08-01 2016-03-17 株式会社野村総合研究所 Work support system and work support method
CN112908504A (en) * 2021-01-20 2021-06-04 福建宁德核电有限公司 Nuclear power station master control room human-computer interaction process tracking system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63120396A (en) * 1986-11-10 1988-05-24 株式会社東芝 Plant monitoring apparatus
JPH03168801A (en) * 1989-11-29 1991-07-22 Toshiba Corp Plant operation device
JP2003256035A (en) * 2002-02-27 2003-09-10 Toshiba Corp Plant monitoring device
JP2004302990A (en) * 2003-03-31 2004-10-28 Tm T & D Kk Equipment state supervisory control system
JP2007115185A (en) * 2005-10-24 2007-05-10 Yokogawa Electric Corp Plant operation supporting device
JP2009060304A (en) * 2007-08-30 2009-03-19 Toshiba Corp Image data transmission system for remote monitoring control

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63120396A (en) * 1986-11-10 1988-05-24 株式会社東芝 Plant monitoring apparatus
JPH03168801A (en) * 1989-11-29 1991-07-22 Toshiba Corp Plant operation device
JP2003256035A (en) * 2002-02-27 2003-09-10 Toshiba Corp Plant monitoring device
JP2004302990A (en) * 2003-03-31 2004-10-28 Tm T & D Kk Equipment state supervisory control system
JP2007115185A (en) * 2005-10-24 2007-05-10 Yokogawa Electric Corp Plant operation supporting device
JP2009060304A (en) * 2007-08-30 2009-03-19 Toshiba Corp Image data transmission system for remote monitoring control

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012226653A (en) * 2011-04-21 2012-11-15 Mitsubishi Electric Corp Monitoring control system
JP2016035621A (en) * 2014-08-01 2016-03-17 株式会社野村総合研究所 Work support system and work support method
CN112908504A (en) * 2021-01-20 2021-06-04 福建宁德核电有限公司 Nuclear power station master control room human-computer interaction process tracking system
CN112908504B (en) * 2021-01-20 2023-07-07 福建宁德核电有限公司 Nuclear power station master control room human-computer interaction process tracking system

Also Published As

Publication number Publication date
JP5178620B2 (en) 2013-04-10

Similar Documents

Publication Publication Date Title
US20180113663A1 (en) Browser based display system for displaying image data
US20140032699A1 (en) Remote user interface in a terminal server environment
US20090271012A1 (en) Method or System for Displaying an Internet Page on a Visualization Device of an Industrial Automation Device
US8706922B2 (en) Information processing apparatus, KVM switch, server, and computer readable medium
JP2013178764A5 (en)
US20100162127A1 (en) Information processing system and display control method
US20190025787A1 (en) Server, remote monitoring system, and remote monitoring method
US20120287042A1 (en) Portable terminal and display output method thereof
KR102051568B1 (en) System and method for vr training
KR102051543B1 (en) System and method for vr training
JP5178620B2 (en) Supervisory control device
KR20110055203A (en) Method for controlling display according to operation mode of display apparatus and digital device using the same
KR102051558B1 (en) System and method for vr training
CN101464785A (en) Screen acquiring method based on WDDM and computer system with multiple displays
CN102855867B (en) Synchronous control method of remote high-resolution display system
US20020080171A1 (en) Method and apparatus for coordinating screen views in a collaborative computing environment
JP2014153776A (en) Information processing system, information processor, and control method and program therefor
JP5115457B2 (en) Cursor movement control method, apparatus, and program
JP5765999B2 (en) Supervisory control system
KR101316677B1 (en) Application service system based on user interface virtualization and method thereof
TW200512635A (en) Image display control method, image display device, display controller, computer and image display control system
JP6467531B2 (en) Image processing apparatus and control method thereof
JP2010198509A (en) Display control device, input operation device, and air traffic control system
US20090231360A1 (en) Method for combining display information from graphic subsystem of computer systems and equipment for carrying out that method
JP3831132B2 (en) Plant monitoring system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130108

R151 Written notification of patent or utility model registration

Ref document number: 5178620

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160118

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250