JP2018036812A - System and method for remotely supporting it operation work - Google Patents

System and method for remotely supporting it operation work Download PDF

Info

Publication number
JP2018036812A
JP2018036812A JP2016168773A JP2016168773A JP2018036812A JP 2018036812 A JP2018036812 A JP 2018036812A JP 2016168773 A JP2016168773 A JP 2016168773A JP 2016168773 A JP2016168773 A JP 2016168773A JP 2018036812 A JP2018036812 A JP 2018036812A
Authority
JP
Japan
Prior art keywords
video
masking
user
worker
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016168773A
Other languages
Japanese (ja)
Inventor
信弘 川嶋
Nobuhiro Kawashima
信弘 川嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Systems Ltd
Original Assignee
Hitachi Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Systems Ltd filed Critical Hitachi Systems Ltd
Priority to JP2016168773A priority Critical patent/JP2018036812A/en
Publication of JP2018036812A publication Critical patent/JP2018036812A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a technology that supports IT system operation work and can achieve efficient remote cooperative work while ensuring security.SOLUTION: An IT operation work remote support system comprises: a portable terminal 10 for a field worker in an IT system 1; a portable terminal 20 for remote worker in a remote area 2; and a server 30. The IT system 1 includes an apparatus 11 that is provided with an ID medium 12. The server 30 detects the ID of the ID medium 12 from a photographed video obtained by the field worker photographing the apparatus 11 by using a camera, checks reference authority of the remote worker on the apparatus 11 indicated by the ID on the basis of setting information 51, performs masking processing with, for the photographed video, an image part of the apparatus in which the remote worker has the reference authority as a non-mask area, and an image part of an apparatus in which the remote worker does not have the reference authority as a mask area to create a masking video, and provides the masking video to the portable terminal 20 to be displayed on a display screen.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理サービス技術に関し、ITシステムの運用作業を支援するための技術に関する。   The present invention relates to an information processing service technology, and relates to a technology for supporting IT system operation work.

事業者のデータセンタや顧客組織のシステム等のITシステムにおいて、稼動する機器やシステムの監視、保守、及び障害対応等を含む運用作業が作業者によって行われている。その運用作業は、主に、現地のITシステムの所にいる専任の作業者(以下、「現地作業者」と記載する場合がある)によって行われている。この運用作業において、通常時の定型的な作業や既知の障害への対応作業等、予め設計時に想定されている作業や、過去に発生した事例がある作業については、現地作業者によって対応可能である。そのような作業は、整備されているマニュアルや自動実行ジョブ等を用いて対応可能である。   In an IT system such as a data center of a business operator or a system of a customer organization, operation work including monitoring, maintenance, failure handling, and the like of operating devices and systems is performed by workers. The operation work is mainly performed by a full-time worker (hereinafter sometimes referred to as “local worker”) in the local IT system. In this operation work, local workers can handle work that is assumed at the time of design in advance, such as routine work at normal times and work for handling known faults, and work that has occurred in the past. is there. Such work can be handled by using a maintained manual, an automatic execution job, or the like.

しかし、新規の障害への対応や通常時に想定していなかった臨時の作業等の運用作業については、現地作業者だけでは対応できない場合がある。その場合、現地作業者から、遠隔地にいる専門技術者等の作業者(以下、「遠隔作業者」と記載する場合がある)に連絡して状況等を説明する。そして、遠隔作業者から現地作業者へ連絡で作業指示等を与え、現地作業者は、その作業指示等を受けて対応作業を行う。また、その際、文章や口頭による遠隔の作業指示では伝達や対応が困難である場合には、遠隔作業者が現地のITシステムの所へ駆けつけて対応作業を行う。   However, local workers may not be able to handle operations such as dealing with new obstacles and extraordinary tasks that were not expected during normal times. In that case, a local worker will contact a worker such as a professional engineer (hereinafter sometimes referred to as “remote worker”) in a remote place to explain the situation. Then, a remote worker gives a work instruction or the like by contacting the local worker, and the local worker performs a corresponding work in response to the work instruction or the like. At that time, if it is difficult to communicate or respond by a remote work instruction by text or verb, the remote worker rushes to the local IT system and performs the corresponding work.

ITシステムの遠隔での運用作業に関する先行技術例としては、特開2011−150399号(特許文献1)が挙げられる。特許文献1には、保守システム等として以下の旨が記載されている。そのシステムは、作業員端末と、コンピュータシステムを遠隔保守するための保守端末とを備える。保守端末は、コンピュータシステムに障害が発生した場合、ログ解析結果に基づいて障害要因を抽出し、復旧手順を算出し、作業員端末へ送信する。また、作業員端末は、作業内容を撮影した映像データを、保守端末へ送信する。   JP-A-2011-150399 (Patent Document 1) can be cited as an example of prior art relating to remote operation of an IT system. Patent Document 1 describes the following as a maintenance system and the like. The system includes a worker terminal and a maintenance terminal for remotely maintaining the computer system. When a failure occurs in the computer system, the maintenance terminal extracts a failure factor based on the log analysis result, calculates a recovery procedure, and transmits it to the worker terminal. Further, the worker terminal transmits video data obtained by photographing the work content to the maintenance terminal.

映像マスキング技術に関する先行技術例としては、特許第5269033号公報(特許文献2)が挙げられる。特許文献2には、映像のプライバシーマスキング方法等として以下の旨が記載されている。その方法は、映像からプライバシー領域を検出する段階と、映像にマスキングを遂行する段階と、マスキングされた映像からマスキングされたプライバシー領域を検出する段階と、映像にアンマスキングを遂行する段階と、を含む。   Japanese Patent No. 5269033 (Patent Document 2) is given as an example of the prior art related to the video masking technology. Patent Document 2 describes the following as a privacy masking method for video. The method includes detecting a privacy region from the image, performing masking on the image, detecting a masked privacy region from the masked image, and performing unmasking on the image. Including.

特開2011−150399号JP 2011-150399 A 特許第5269033号公報Japanese Patent No. 5269033

上記ITシステムの運用作業を現地作業者と遠隔作業者との両者で遠隔で連携して行う遠隔連携作業の場合に、電話やメール等による連絡のみでは、状況や作業指示内容等が正確かつ迅速に伝達できない場合がある。また、遠隔作業者が現地へ迅速に赴くことができない場合がある。このような場合、完了までに要する総合的な作業時間が長くなってしまう。即ち、従来のシステムでは、運用作業の支援に関し、効率性の点で改善余地がある。   In the case of remote collaboration work where the above-mentioned IT system operation work is carried out by remote collaboration between the local worker and the remote worker, the situation and the contents of the work instructions are accurate and swift only by contact by telephone or e-mail. May not be able to communicate. Also, remote workers may not be able to go to the site quickly. In such a case, the total work time required for completion is increased. In other words, the conventional system has room for improvement in terms of efficiency with respect to support of operation work.

上記遠隔連携作業の場合に、現地作業者がITシステムの対象機器の映像を撮影してその映像を遠隔作業者へ伝達し、両者で映像を共有することができる場合、効率的な作業が期待できる。従来、現地と遠隔地とで映像、音声、及び文字等を共有できる映像共有システムとしては、テレビ会議やテレビ電話やビデオチャット等のシステム、あるいは、ウェアブルカメラやスマートグラス等を用いた映像配信システム、等が挙げられる。それらのシステムは、専用システム、または携帯端末のアプリケーション等で実現できる。   In the case of the above remote collaboration work, efficient work is expected if the local worker can take a picture of the target device of the IT system, transmit the picture to the remote worker, and share the video with both it can. Conventionally, video sharing systems that can share video, audio, text, etc. between local and remote locations include video conferencing, videophone and video chat systems, or video distribution using wearable cameras, smart glasses, etc. System, etc. Such a system can be realized by a dedicated system or a mobile terminal application.

しかし、従来のデータセンタ等のITシステムでは、通常、殆どのエリアでは、セキュリティ確保の観点から、撮影不許可とされ、一部のワークエリア等のエリアのみで撮影許可とされる場合が多い。個人情報等の機密性が高い情報の取り扱いの場合等、事業者及び顧客組織のセキュリティポリシーに応じて、そのような撮影不許可等のルールが決められている。そのため、撮影不許可のエリアの機器の映像を、現地と遠隔地との両者で共有して作業することは、実現が難しい。作業者が機器の映像を参照や共有することには注意を要する。従来のシステムでは、遠隔連携作業の映像共有に関して、セキュリティ確保の観点で課題がある。   However, in an IT system such as a conventional data center, in most areas, from the viewpoint of ensuring security, photographing is usually not permitted, and photographing is permitted only in some areas such as work areas. In the case of handling highly confidential information such as personal information, rules such as such photographing non-permission are determined according to the security policy of the business operator and the customer organization. Therefore, it is difficult to work by sharing the image of the device in the area where photographing is not permitted between the local site and the remote location. Care must be taken when an operator refers to or shares the video of the device. In the conventional system, there is a problem from the viewpoint of ensuring security with respect to video sharing in remote cooperation work.

また、従来、遠隔で運用作業を行う技術としては、OS等により提供されるリモート接続機能もある。リモート接続機能では、遠隔地の作業者が情報端末から現地の機器へリモート接続し、その機器のコンソール画面を表示してコマンド入力等の操作が可能である。しかし、データセンタ等では、外部からの不正操作防止のために、リモート接続機能についても不許可とされる場合が多い。そのため、リモート接続機能を活用して遠隔連携作業を実現することも難しい。   Conventionally, a remote connection function provided by an OS or the like is a technique for performing an operation work remotely. With the remote connection function, a remote worker can remotely connect to a local device from an information terminal, display a console screen of the device, and perform operations such as command input. However, in a data center or the like, the remote connection function is often not permitted in order to prevent unauthorized operation from the outside. For this reason, it is difficult to realize remote cooperation work by utilizing the remote connection function.

本発明の目的は、ITシステムの運用作業の支援技術に関して、セキュリティを確保しつつ、効率的な遠隔連携作業を実現できる技術を提供することである。   An object of the present invention is to provide a technology capable of realizing an efficient remote cooperation work while ensuring security with respect to an IT system operation work support technique.

本発明のうち代表的な実施の形態は、IT運用作業遠隔支援システムであって、以下に示す構成を有することを特徴とする。   A typical embodiment of the present invention is an IT operation work remote support system having the following configuration.

一実施の形態のIT運用作業遠隔支援システムは、ITシステムの運用作業を支援するIT運用作業遠隔支援システムであって、現地のITシステムで作業を行う第1作業者の第1携帯端末と、遠隔地で作業を行う第2作業者の第2携帯端末と、サーバと、を備え、前記ITシステムの機器には、IDが記載されたID媒体が付与されており、前記機器と前記IDとの関連付け情報と、前記第1作業者のユーザID及び前記第2作業者のユーザIDと、前記IDで示す前記機器に対する前記第2作業者の参照権限の情報と、を含む設定情報を有し、前記サーバは、前記第1作業者がカメラを用いて前記機器を撮影した撮影映像から、前記ID媒体の前記IDを検出し、前記設定情報に基づいて、前記検出した前記IDで示す前記機器に関する前記第2作業者の参照権限の有無を確認し、前記撮影映像に対し、前記第2作業者の参照権限が有る前記機器の画像部分を非マスク領域とし、前記第2作業者の参照権限が無い前記機器の画像部分をマスク領域としたマスキング処理を施して、マスキング映像を生成し、前記マスキング映像を前記第2携帯端末へ送信して表示画面に表示させる。   An IT operation work remote support system according to an embodiment is an IT operation work remote support system that supports an operation work of an IT system, and includes a first portable terminal of a first worker who performs work in a local IT system, A second portable terminal of a second worker who performs work at a remote location, and a server, and an ID medium in which an ID is described is assigned to the device of the IT system, and the device, the ID, Setting information including the association information of the first worker, the user ID of the first worker and the user ID of the second worker, and information of the reference right of the second worker with respect to the device indicated by the ID. The server detects the ID of the ID medium from a video image of the device photographed by the first worker using a camera, and the device indicated by the detected ID based on the setting information Concerning The second worker confirms whether or not the second worker has the reference authority, and the image portion of the device to which the second worker has the reference authority is set as a non-mask area for the captured image, and the second worker has the reference authority. Masking processing is performed using the image portion of the device that is not present as a mask region to generate a masking image, and the masking image is transmitted to the second portable terminal and displayed on the display screen.

本発明のうち代表的な実施の形態によれば、ITシステムの運用作業の支援技術に関して、セキュリティを確保しつつ、効率的な遠隔連携作業を実現できる。   According to a typical embodiment of the present invention, it is possible to realize efficient remote cooperation work while ensuring security with respect to IT system operation work support technology.

本発明の実施の形態のIT運用作業遠隔支援システムの構成を示す図である。It is a figure which shows the structure of the IT operation work remote assistance system of embodiment of this invention. 実施の形態のシステムで、機器の構成例及び撮影の様子を示す図である。It is a figure which shows the structural example of an apparatus, and the mode of imaging | photography in the system of embodiment. 実施の形態のシステムで、装置間の処理シーケンスを示す図である。It is a figure which shows the process sequence between apparatuses in the system of embodiment. 実施の形態のシステムで、サーバの制御処理フローを示す図である。It is a figure which shows the control processing flow of a server in the system of embodiment. 実施の形態のシステムで、設定情報のうちの識別情報マスタ表の構成例を示す図である。It is a figure which shows the structural example of the identification information master table among setting information in the system of embodiment. 実施の形態のシステムで、設定情報のうちのユーザマスタ表、参照権限表、及び担当表の構成例を示す図である。It is a figure which shows the structural example of the user master table of the setting information, a reference authority table, and a charge table in the system of embodiment. 実施の形態のシステムで、現地作業者及び遠隔作業者の携帯端末の表示画面例を示す図である。It is a figure which shows the example of a display screen of a local worker and a remote worker's portable terminal in the system of embodiment. 実施の形態のシステムで、マスキングの第1例を示す図である。It is a figure which shows the 1st example of masking in the system of embodiment. 実施の形態のシステムで、マスキングの第2例を示す図である。It is a figure which shows the 2nd example of masking in the system of embodiment. 実施の形態のシステムで、機器輪郭情報を用いた処理例を示す図である。It is a figure which shows the process example using apparatus outline information in the system of embodiment. 実施の形態の変形例のシステムにおける、マスクフレーム決定例を示す図である。It is a figure which shows the example of a mask frame determination in the system of the modification of embodiment. 実施の形態の変形例のシステムにおける、マスキング詳細制御例を示す図である。It is a figure which shows the masking detailed control example in the system of the modification of embodiment.

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiment, and the repetitive description thereof will be omitted.

(実施の形態)
図1〜図12を用いて、本発明の実施の形態のIT運用作業遠隔支援システム及びIT運用作業遠隔支援方法について説明する。実施の形態のIT運用作業遠隔支援方法は、実施の形態のIT運用作業遠隔支援システムにおいて実行されるステップを有する方法である。
(Embodiment)
The IT operation work remote support system and IT operation work remote support method according to the embodiment of the present invention will be described with reference to FIGS. The IT operation work remote support method of the embodiment is a method having steps executed in the IT operation work remote support system of the embodiment.

[遠隔作業支援システム]
図1は、実施の形態のIT運用作業遠隔支援システムの構成を示す。実施の形態のIT運用作業遠隔支援システムは、現地のITシステム1及び現地作業者であるユーザU1の携帯端末10と、遠隔地2のシステムの遠隔作業者であるユーザU2の携帯端末20と、支援システム3のサーバ30とを有する。それらは通信網4を介して接続されている。
[Remote work support system]
FIG. 1 shows a configuration of an IT operation work remote support system according to the embodiment. The IT operation work remote support system of the embodiment includes a local IT system 1 and a mobile terminal 10 of a user U1 who is a local worker, a mobile terminal 20 of a user U2 who is a remote worker of a system in a remote area 2, And a server 30 of the support system 3. They are connected via a communication network 4.

現地のITシステム1は、運用対象機器である複数の機器11を有する。機器11は、サーバ、ストレージ、通信機器、それらに接続される保守端末、等がある。機器11には、予め、ID媒体12が貼り付けられている。ID媒体12は、制御用の特有のID(識別情報)が記載された媒体である。   The local IT system 1 includes a plurality of devices 11 that are operation target devices. The device 11 includes a server, a storage, a communication device, a maintenance terminal connected to them, and the like. An ID medium 12 is pasted on the device 11 in advance. The ID medium 12 is a medium in which a unique ID (identification information) for control is described.

現地作業者であるユーザU1は、ITシステム1の機器11を対象に運用作業を行う。ユーザU1は、作業用の携帯端末10を所持している。携帯端末10は、例えばスマートフォン、タブレット端末、ノートPC等の各種の電子機器が適用可能である。携帯端末10は、撮影部10A、映像送受信部10Bを有する。   A user U1 who is a local worker performs an operation work on the device 11 of the IT system 1. The user U1 has a working mobile terminal 10. For example, various electronic devices such as a smartphone, a tablet terminal, and a notebook PC can be applied to the mobile terminal 10. The portable terminal 10 includes a photographing unit 10A and a video transmission / reception unit 10B.

撮影部10Aは、例えば携帯端末10に内蔵されているカメラであり、レンズ、撮像素子、駆動回路等を含む。ユーザU1は、運用作業の際、携帯端末10のカメラを用いて、操作に基づいて、対象の機器11等を撮影する。その際、撮影部10Aは、レンズを介した入射光を撮像素子で撮像信号に変換し、撮影映像を得る。撮影映像は、動画または静止画として得られる。撮影部10Aは、撮影映像データをメモリ等に格納する。撮影部10Aは、携帯端末10に内蔵されているカメラに限らず、携帯端末10に外部接続されるカメラとしてもよい。撮影部10Aは、ユーザの頭部等に装着されるウェアラブルカメラや、ユーザの両眼に装着されるスマートグラスに備えているカメラ等を用いてもよい。スマートグラスを用いる場合、スマートグラスに備えている表示画面に、撮影映像やマスキング映像を表示するようにしてもよい。   The imaging unit 10A is a camera built in the mobile terminal 10, for example, and includes a lens, an image sensor, a drive circuit, and the like. The user U1 uses the camera of the portable terminal 10 during the operation work to photograph the target device 11 and the like based on the operation. At that time, the imaging unit 10A converts incident light that has passed through the lens into an imaging signal using an imaging device, and obtains a captured image. The captured video is obtained as a moving image or a still image. The imaging unit 10A stores the captured video data in a memory or the like. The imaging unit 10 </ b> A is not limited to a camera built in the mobile terminal 10, and may be a camera externally connected to the mobile terminal 10. The imaging unit 10A may use a wearable camera attached to the user's head or the like, a camera provided in a smart glass attached to the user's eyes, or the like. When using smart glasses, a captured image or a masking image may be displayed on a display screen provided in the smart glasses.

映像送受信部10B及び映像送受信部20Bは、映像共有システムを構成する要素である。携帯端末10の映像送受信部10Bは、遠隔地2のユーザU2の携帯端末20の映像送受信部20Bとの間で、撮影映像データを含む映像、音声、及び文字等のデータを、送信及び受信する機能を有する。同様に、携帯端末20の映像送受信部20Bは、携帯端末10の映像送受信部10Bとの間で、映像、音声、及び文字等のデータを、送信及び受信する機能を有する。即ち、この映像共有システムでは、双方向で、映像等のデータを授受可能である。   The video transmission / reception unit 10B and the video transmission / reception unit 20B are elements constituting the video sharing system. The video transmission / reception unit 10B of the portable terminal 10 transmits and receives data such as video, audio, and characters including photographed video data to and from the video transmission / reception unit 20B of the portable terminal 20 of the user U2 in the remote location 2. It has a function. Similarly, the video transmission / reception unit 20 </ b> B of the mobile terminal 20 has a function of transmitting and receiving data such as video, audio, and characters with the video transmission / reception unit 10 </ b> B of the mobile terminal 10. That is, in this video sharing system, data such as video can be exchanged in both directions.

遠隔地2の遠隔作業者であるユーザU2は、現地作業者のユーザU1と遠隔で連携して運用作業を行う。即ち、ユーザU1とユーザU2は遠隔連携作業を行う。ユーザU2は、ユーザU1の運用作業を遠隔から支援する。また、ユーザU2は、遠隔から直接的に運用作業を行うことができる。ユーザU2は、作業用の携帯端末20を所持している。携帯端末20は、同様にスマートフォン等の各種の電子機器が適用可能である。携帯端末20は、映像送受信部20Bを有する。   The user U2 who is a remote worker in the remote area 2 performs operation work in cooperation with the user U1 of the local worker remotely. That is, the user U1 and the user U2 perform remote cooperation work. The user U2 remotely supports the operation work of the user U1. Further, the user U2 can directly perform operation work from a remote location. The user U2 has a working mobile terminal 20. Similarly, various electronic devices such as a smartphone can be applied to the mobile terminal 20. The portable terminal 20 includes a video transmission / reception unit 20B.

支援システム3は、IT運用作業遠隔支援システムの主な機能を実現する、事業者のシステムであり、サーバ30を含む。サーバ30は、ソフトウェアプログラム処理により実現される処理部として、設定部31、認証部32、映像マスキング部33を有する。サーバ30は、データや情報として、設定情報51やマスキング映像データ52等を、図示しないDBやメモリに記憶する。サーバ30は、管理者により保守管理される。   The support system 3 is a company system that realizes the main functions of the IT operation work remote support system, and includes a server 30. The server 30 includes a setting unit 31, an authentication unit 32, and a video masking unit 33 as processing units realized by software program processing. The server 30 stores setting information 51, masking video data 52, and the like as data and information in a DB or memory (not shown). The server 30 is maintained and managed by an administrator.

設定部31は、管理者の操作に基づいて、設定情報51を設定する処理を行う。設定情報51には、後述するが、IDと機器11との関連付け情報や、各作業者のユーザID等のユーザ情報や、IDで示す機器11に対するユーザの参照権限等の情報が設定されている。事業者や顧客組織のセキュリティポリシー等に応じて、予め、設定情報51が設定される。   The setting unit 31 performs processing for setting the setting information 51 based on the operation of the administrator. As will be described later, the setting information 51 includes information relating to an association between the ID and the device 11, user information such as the user ID of each worker, and information such as a user's reference authority for the device 11 indicated by the ID. . Setting information 51 is set in advance according to the security policy of the business operator or customer organization.

認証部32は、設定情報51のユーザID等に基づいて、各作業者であるユーザについてのユーザ認証処理を行う。ユーザ認証は、遠隔連携作業を行う正当な作業者であることの確認及び把握のために行われる。   The authentication unit 32 performs user authentication processing for the user who is each worker based on the user ID and the like of the setting information 51. User authentication is performed in order to confirm and grasp that the user is a valid worker who performs remote cooperation work.

映像マスキング部33は、設定情報51に基づいて、携帯端末10の撮影映像からIDを検出する処理や、IDで示す機器11に対するユーザの参照権限等を確認、判断する処理を行う。そして、映像マスキング部33は、撮影映像データに対するマスキング処理を行ってマスキング映像データ52を生成し、携帯端末10へ送信する。   Based on the setting information 51, the video masking unit 33 performs processing for detecting an ID from a captured video of the mobile terminal 10 and processing for checking and determining a user's reference authority for the device 11 indicated by the ID. Then, the video masking unit 33 performs a masking process on the captured video data to generate masked video data 52 and transmits the masked video data 52 to the mobile terminal 10.

ユーザU1の携帯端末10は、機器11等の撮影映像を、携帯端末10の表示画面にモニタ映像として表示可能である。携帯端末10は、サーバ30と通信し、撮影映像データをサーバ30に送信する。サーバ30は、マスキング処理によって生成したマスキング映像データ52を携帯端末20へ送信する。携帯端末10は、サーバ30から受信したマスキング映像データ52によるマスキング映像を表示画面に表示し、マスキング映像データ52を携帯端末20へ送信する。携帯端末20は、携帯端末10から受信したマスキング映像データ52によるマスキング映像を、表示画面に表示する。マスキング映像では、ユーザU1及びユーザU2の参照権限が有る機器11の画像部分については非マスク領域としてそのまま見えるように表示される。マスキング映像では、他の画像部分についてはマスク領域として遮蔽されて表示される。   The mobile terminal 10 of the user U1 can display a captured video of the device 11 or the like on the display screen of the mobile terminal 10 as a monitor video. The mobile terminal 10 communicates with the server 30 and transmits captured video data to the server 30. The server 30 transmits the masking video data 52 generated by the masking process to the mobile terminal 20. The mobile terminal 10 displays the masking video based on the masking video data 52 received from the server 30 on the display screen, and transmits the masking video data 52 to the mobile terminal 20. The mobile terminal 20 displays the masking video based on the masking video data 52 received from the mobile terminal 10 on the display screen. In the masking video, the image portion of the device 11 to which the user U1 and the user U2 have reference authority is displayed so as to be seen as it is as a non-mask area. In the masking video, other image portions are displayed as being masked as a mask area.

なお、実施の形態では、支援システム3のサーバ30は、独立したサーバとして設置されているが、これに限らず、どこに設置されてもよい。例えば、現地のITシステム1内にサーバ30が設置されてもよいし、遠隔地2のシステム内に設置されてもよい。また、サーバ30内にDBを管理してもよいし、サーバ30の外部に接続されるDBサーバ等にDBを管理してもよい。支援システム3のサーバ30の各処理部は、分割され連携する複数のサーバ等によって実現されてもよい。   In the embodiment, the server 30 of the support system 3 is installed as an independent server, but is not limited thereto, and may be installed anywhere. For example, the server 30 may be installed in the local IT system 1 or may be installed in the system of the remote place 2. Further, the DB may be managed in the server 30, or the DB may be managed by a DB server or the like connected to the outside of the server 30. Each processing unit of the server 30 of the support system 3 may be realized by a plurality of divided servers and the like.

また、サーバ30の機能の一部または全部は、ユーザU1の携帯端末10に、アプリケーションソフトウェア等によって、併合されて実装されていてもよい。例えば、撮影映像からIDを検出する機能が、ユーザU1の携帯端末10に実装されていてもよい。例えば、マスキング処理を行う機能が、ユーザU1の携帯端末10に実装されていてもよい。   Also, some or all of the functions of the server 30 may be combined and implemented in the mobile terminal 10 of the user U1 by application software or the like. For example, a function of detecting an ID from a captured video may be implemented in the mobile terminal 10 of the user U1. For example, the function of performing the masking process may be implemented in the mobile terminal 10 of the user U1.

また、実施の形態では、サーバ30は、ユーザU1の携帯端末10とクライアントサーバ方式で通信する。これに限らず、サーバ30は、ユーザU2の携帯端末20とクライアントサーバ方式で通信してもよい。   Moreover, in embodiment, the server 30 communicates with the portable terminal 10 of the user U1 by a client server system. Not only this but the server 30 may communicate with the portable terminal 20 of the user U2 by a client server system.

[映像共有システム]
携帯端末10と携帯端末20は、映像送受信手段である映像共有システムを用いて、マスキング映像データ52によるマスキング映像と、マスキング映像に対して入出力される映像、音声、及び文字等を共有する。映像共有システムとして、公知のテレビ会議、テレビ電話、ビデオチャット等のシステムや、映像配信システムが適用可能である。携帯端末10及び携帯端末20は、その映像共有システムのインタフェースを有する。実施の形態では、映像共有システムは、主に携帯端末10及び携帯端末20のアプリケーションプログラム処理により実現されている。これにより、ユーザU1及びユーザU2の両者間におけるテレビ会議、即ち映像、音声、及び文字等の情報の双方向のコミュニケーションが実現される。
[Video sharing system]
The mobile terminal 10 and the mobile terminal 20 share the masking video based on the masking video data 52 and the video, audio, and characters that are input to and output from the masking video, using a video sharing system that is video transmission / reception means. As a video sharing system, a known system such as a video conference, a video phone, a video chat, or a video distribution system can be applied. The mobile terminal 10 and the mobile terminal 20 have an interface of the video sharing system. In the embodiment, the video sharing system is realized mainly by application program processing of the mobile terminal 10 and the mobile terminal 20. This realizes a video conference between both the user U1 and the user U2, that is, bidirectional communication of information such as video, audio, and text.

映像共有システムとしては、映像だけでなく音声や文字等を一緒に送受信できるシステムがより好ましいが、映像のみを送受信するシステムでもよい。映像のみを送受信システムに加えて、音声を送受信するシステムや、文字を送受信システムを、適宜併用してもよい。別途、電話やメール等の既存の任意の手段を用いて、両者間で作業のコミュニケーションが可能である。   As a video sharing system, a system that can transmit and receive not only video but also audio and text is more preferable, but a system that transmits and receives only video may also be used. In addition to a video transmission / reception system, a system for transmitting / receiving audio or a text transmission / reception system may be used in combination as appropriate. Separately, work can be communicated between the two using any existing means such as telephone or e-mail.

また、映像共有システムとしては、最低限、現地のユーザU1の携帯端末10から遠隔地2のユーザU2の携帯端末20への一方向でマスキング映像データ等を送信する機能を有する。より好ましくは、映像共有システムとしては、遠隔地2の携帯端末20から現地の携帯端末10への方向でも映像データ等を送信する機能、即ち双方向での通信機能を有する。   Also, the video sharing system has a function of transmitting masking video data and the like in one direction from the portable terminal 10 of the local user U1 to the portable terminal 20 of the user U2 in the remote place 2 at a minimum. More preferably, the video sharing system has a function of transmitting video data and the like in the direction from the mobile terminal 20 in the remote location 2 to the local mobile terminal 10, that is, a bidirectional communication function.

実施の形態では、映像共有システムとして、テレビ会議システム等を併用とするが、これに限らず、簡単には、携帯端末10と携帯端末20との間でHTTP通信等に基づいて映像データを送受信する手段を適用可能である。その場合、携帯端末10及び携帯端末20におけるWebブラウザ等のアプリケーションの画面において、その映像データによる映像が表示される。   In the embodiment, a video conference system or the like is used as the video sharing system. However, the video sharing system is not limited to this, and simply, video data is transmitted and received between the mobile terminal 10 and the mobile terminal 20 based on HTTP communication or the like. It is possible to apply means to In that case, an image based on the image data is displayed on the screen of an application such as a web browser on the mobile terminal 10 and the mobile terminal 20.

[概要]
本システムである実施の形態のIT運用作業遠隔支援システムの機能や動作の概要は以下である。本システムは、映像共有及び映像マスキングを用いて、ITシステム1の運用作業に関するユーザU1及びユーザU2の遠隔連携作業を含む作業を支援するシステムである。遠隔連携作業は、現地のITシステム1の所にいる現地作業者であるユーザU1と遠隔地2にいる遠隔作業者であるユーザU2との両者間で遠隔で連携して運用作業を行うこと等を指す。遠隔連携作業は、遠隔作業者が現地作業者を遠隔で支援すること、遠隔作業者が直接的に遠隔で運用作業を行うこと等を含む。
[Overview]
An outline of the functions and operations of the IT operation work remote support system according to the embodiment of the present system is as follows. This system is a system that supports work including remote cooperation work of the user U1 and the user U2 related to the operation work of the IT system 1 by using video sharing and video masking. The remote collaboration work is a remote collaboration between the user U1 who is a local worker in the local IT system 1 and the user U2 who is a remote worker in the remote area 2, and so on. Point to. The remote cooperation work includes a remote worker supporting a local worker remotely, a remote worker directly performing an operation work remotely, and the like.

本システムでは、予め、ITシステム1における運用作業の対象となる各機器11に、特有のID(識別情報)を記載したID媒体12を付与しておく。IDは、バーコード等の形式で符号化された情報としてID媒体12に記載される。機器11の所定の位置に、そのID媒体12が貼り付けられる。設定情報51において、予め、IDと機器11との関連付け情報や、IDで示す機器11に対するユーザの参照権限等が設定される。   In this system, an ID medium 12 in which a unique ID (identification information) is described is assigned in advance to each device 11 that is a target of operation work in the IT system 1. The ID is described in the ID medium 12 as information encoded in a format such as a barcode. The ID medium 12 is attached to a predetermined position of the device 11. In the setting information 51, association information between the ID and the device 11, a user's reference authority for the device 11 indicated by the ID, and the like are set in advance.

遠隔連携作業を行う際、現地作業者は、携帯端末10のカメラを用いて、ID媒体12を含む作業対象の機器11を対象に撮影する。携帯端末10は、その撮影映像を、遠隔作業者の携帯端末20へ送信して映像共有を図る。その際、携帯端末10は、サーバ30と通信し、サーバ30によって撮影映像をマスキング処理してマスキング映像データ52を得て、携帯端末20へ送信する。   When performing the remote cooperation work, the local worker uses the camera of the portable terminal 10 to photograph the work target device 11 including the ID medium 12. The mobile terminal 10 transmits the captured video to the mobile terminal 20 of the remote worker to share the video. At that time, the mobile terminal 10 communicates with the server 30, masks the captured video by the server 30 to obtain masked video data 52, and transmits the masked video data 52 to the mobile terminal 20.

サーバ30は、映像共有による遠隔連携作業を行おうとしているユーザU1及びユーザU2のユーザ認証を行うことによって、遠隔連携作業の正当な二人の作業者を確認、把握する。サーバ30は、ユーザ認証を成功した二人のユーザに対して、マスキング映像を提供する。   The server 30 confirms and grasps two authorized workers for the remote cooperation work by performing user authentication of the user U1 and the user U2 who are going to perform the remote cooperation work by video sharing. The server 30 provides a masking image to two users who have succeeded in user authentication.

サーバ30は、撮影映像フレーム内からID媒体12のIDを検出し、そのIDの認識によって対象の機器11を確認、把握する。言い換えると、サーバ30は、IDを用いた特有の認証を行う。サーバ30は、ユーザ及びIDの認識に基づいて、設定情報51を用いて、映像マスキングに関する判断を行う。判断は、ユーザU2がそのIDで示す機器11に対する参照権限が有るか否か等の判断を含む。参照権限は、機器11等が含まれる映像についての参照や作業実施等に関する許可や不許可である。   The server 30 detects the ID of the ID medium 12 from the captured video frame, and confirms and grasps the target device 11 by recognizing the ID. In other words, the server 30 performs unique authentication using the ID. Based on the user and ID recognition, the server 30 uses the setting information 51 to make a determination regarding video masking. The determination includes a determination as to whether or not the user U2 has reference authority for the device 11 indicated by the ID. The reference authority is permission or disapproval regarding reference to a video including the device 11 or the like or execution of work.

サーバ30は、判断結果に基づいて、撮影映像にリアルタイムでマスキング処理を施してマスキング映像データ52を生成する。このマスキング処理は、作業者の参照権限を考慮して、映像共有の際のセキュリティ確保のために行われる。このマスキング処理では、遠隔地2へ送信する撮影映像フレームのうち、遠隔作業者による参照が許可される機器11等の画像部分を非マスク領域とし、他の画像部分をマスク領域とする。非マスク領域は、元画像がそのまま透過されて見える領域、言い換えるとマスク解除された領域である。マスク領域は、元画像が遮蔽され見えなくなる領域である。   Based on the determination result, the server 30 performs masking processing on the captured video in real time to generate masking video data 52. This masking process is performed in order to ensure security during video sharing in consideration of the operator's reference authority. In this masking process, in the captured video frame transmitted to the remote place 2, the image portion of the device 11 or the like that is allowed to be referred to by the remote operator is set as a non-mask region, and the other image portion is set as a mask region. The non-mask area is an area where the original image can be seen as it is, in other words, an unmasked area. The mask area is an area where the original image is blocked and cannot be seen.

携帯端末20は、携帯端末10から受信したマスキング映像データ52に基づいて、表示画面にマスキング映像を表示する。マスキング映像では、遠隔作業者の参照権限が有る機器11等の部分は非マスク領域となっており、参照権限が無い機器11等の部分はマスク領域となっている。これにより、遠隔作業者は、現地作業者との間で、作業対象の機器11に関する映像を共有できる。これにより、セキュリティを確保した上で、現地と遠隔地との両者で映像を共有しながら遠隔連携作業が可能である。   The mobile terminal 20 displays the masking video on the display screen based on the masking video data 52 received from the mobile terminal 10. In the masking video, the part such as the device 11 having the reference authority of the remote worker is a non-mask area, and the part such as the apparatus 11 having no reference authority is the mask area. Thereby, the remote worker can share the video regarding the work target device 11 with the local worker. As a result, it is possible to perform remote cooperation work while ensuring security and sharing images between the local site and the remote location.

本システムでは、映像共有機能として、少なくとも、現地作業者の撮影映像に対するマスキング映像を、遠隔作業者の携帯端末20の表示画面に表示させる。これにより、現地作業者が見る機器11等の実物や撮影映像と、遠隔作業者が見るマスキング映像のうちの非マスク領域の機器11等の画像とで映像共有ができる。また、本システムでは、映像共有機能として、特に、現地作業者の携帯端末10の表示画面に、遠隔作業者に提供するマスキング映像と同じマスキング映像を表示する。これにより、現地作業者が見るマスキング映像と、遠隔作業者が見るマスキング映像とで、映像共有ができる。   In this system, as a video sharing function, at least a masking video for a video taken by a local worker is displayed on the display screen of the mobile terminal 20 of the remote worker. As a result, it is possible to share the video between the real thing and the photographed image of the device 11 and the like seen by the local worker and the image of the device 11 and the like in the non-masked area of the masking video seen by the remote worker. In the present system, as the video sharing function, in particular, the same masking video as the masking video provided to the remote worker is displayed on the display screen of the portable terminal 10 of the local worker. As a result, the video can be shared between the masking video seen by the local worker and the masking video seen by the remote worker.

[装置構成]
図1の本システムを構成する各装置のハードウェア及びソフトウェア等の構成例は以下である。携帯端末10及び携帯端末20の構成例は同様であるが以下である。携帯端末10及び携帯端末20は、CPU、ROM、RAM、メモリ、ストレージ、通信インタフェース装置、センサ、タッチパネル、キーボタン、カメラ、マイク、スピーカ、バッテリ、バス等を有する。CPU等により構成される制御部は、ソフトウェアプログラム処理により、OS、Webブラウザ、各種アプリケーション等を実現する。メモリ等により構成される記憶部には、各種のプログラムやデータが記憶される。記憶部に記憶されるデータは、アプリケーション等で扱うファイルや設定情報等を含む。通信インタフェース装置は、無線通信インタフェース部等を含み、通信網4を介した通信処理を行う。
[Device configuration]
A configuration example of hardware and software of each device constituting the system of FIG. 1 is as follows. The configuration examples of the mobile terminal 10 and the mobile terminal 20 are the same but are as follows. The mobile terminal 10 and the mobile terminal 20 include a CPU, ROM, RAM, memory, storage, communication interface device, sensor, touch panel, key button, camera, microphone, speaker, battery, bus, and the like. A control unit configured by a CPU or the like realizes an OS, a Web browser, various applications, and the like by software program processing. Various programs and data are stored in a storage unit configured by a memory or the like. The data stored in the storage unit includes files handled by applications and setting information. The communication interface device includes a wireless communication interface unit and performs communication processing via the communication network 4.

センサは、電子コンパス、ジャイロセンサ、GPS受信部等を含む。電子コンパスやジャイロセンサは、携帯端末の方向や動きを検出する。GPS受信部は、GPS通信に基づいて携帯端末の位置情報を例えば緯度及び経度の形式で取得する。タッチパネルは、例えばタッチセンサ等を備えた液晶ディスプレイであり、表示画面を構成し、入力手段の1つとしてタッチ入力操作を可能とする。キーボタンは、入力手段の1つであり、電源ボタンやホームボタン等を含む。カメラは、レンズ及び撮像素子を含み、ユーザ操作に基づいて外界の画像を撮像し、撮像信号を出力する。マイクは、音声入力手段であり、外界の音波を音声信号に変換する。スピーカは、音声出力手段であり、音声信号を音波に変換して出力する。   The sensor includes an electronic compass, a gyro sensor, a GPS receiver, and the like. The electronic compass and the gyro sensor detect the direction and movement of the mobile terminal. The GPS receiver acquires position information of the mobile terminal based on GPS communication, for example, in the form of latitude and longitude. The touch panel is, for example, a liquid crystal display provided with a touch sensor and the like, constitutes a display screen, and enables a touch input operation as one of input means. The key button is one of input means, and includes a power button, a home button, and the like. The camera includes a lens and an imaging device, captures an image of the outside world based on a user operation, and outputs an imaging signal. The microphone is an audio input means and converts external sound waves into an audio signal. The speaker is an audio output unit that converts an audio signal into a sound wave and outputs the sound wave.

サーバ30は、CPU、ROM、RAM、メモリ、ストレージ、通信インタフェース装置、バス等を有する。CPU等により構成される制御部は、ソフトウェアプログラム処理により、サーバ30のサービス処理を実現する。サービス処理は、携帯端末10からの要求を受けて、DBの設定情報51を参照しながら、所定の処理を行って、応答を送信する処理である。メモリ等により構成される記憶部には、各種のプログラムやサービス処理で扱うデータ等が記憶される。通信インタフェース装置は、通信網4を介した通信処理を行う。なお、サーバ30には、図示しない管理端末が接続されてもよく、管理端末から管理者の入力操作に基づいてサーバ30及びDBの保守管理が可能である。   The server 30 includes a CPU, ROM, RAM, memory, storage, communication interface device, bus, and the like. A control unit configured by a CPU or the like realizes service processing of the server 30 by software program processing. The service process is a process of receiving a request from the mobile terminal 10, performing a predetermined process while referring to the DB setting information 51, and transmitting a response. The storage unit configured by a memory or the like stores various programs and data handled by service processing. The communication interface device performs communication processing via the communication network 4. Note that a management terminal (not shown) may be connected to the server 30, and maintenance and management of the server 30 and the DB can be performed from the management terminal based on an input operation by the administrator.

[機器撮影]
図2は、ITシステム1内の機器11の構成例、及び携帯端末10のカメラを用いた機器11及びID媒体12の撮影等の様子を示す。ITシステム1の例として、ある事業者の「データセンタA」とする。データセンタA内の空間は、区画等のエリアを有する。ITシステム1内に、複数の機器11として、複数のラック11A、複数の機器11B、及び保守端末11C等を有する。区画には、ラック11A等が設置されている。ラック11Aの複数のスロットには、複数の各種の機器11Bが搭載可能となっている。機器11Bは、サーバやストレージや通信機器や電源ユニット等の各種の機器がある。また、機器11Bには、必要に応じて保守端末11Cが接続可能となっている。保守端末11Cは、機器11Bの保守管理用の情報端末であり、コマンドラインインタフェース等を有し、コンソール画面が表示可能である。
[Device Shooting]
FIG. 2 shows a configuration example of the device 11 in the IT system 1 and a state of photographing the device 11 and the ID medium 12 using the camera of the mobile terminal 10. As an example of the IT system 1, it is assumed that the data center A of a certain business operator is used. The space in the data center A has areas such as partitions. The IT system 1 includes a plurality of racks 11A, a plurality of devices 11B, a maintenance terminal 11C, and the like as the plurality of devices 11. A rack 11A and the like are installed in the section. A plurality of various devices 11B can be mounted in a plurality of slots of the rack 11A. The device 11B includes various devices such as a server, storage, communication device, and power supply unit. A maintenance terminal 11C can be connected to the device 11B as necessary. The maintenance terminal 11C is an information terminal for maintenance management of the device 11B, has a command line interface, etc., and can display a console screen.

本システムのマスキング等の機能の対象とする各種の機器11には、それぞれ、ID媒体12が貼り付けられている。ID媒体12は、本例では、IDがバーコードの形式で符号化された情報として記載されており、裏面がシールとして機器11に貼り付け可能となっている。機器11の一部の箇所、例えば機器11Bの筐体の正面の右上等の箇所に、ID媒体12が貼り付けられている。   An ID medium 12 is affixed to each of various devices 11 to be subjected to functions such as masking of this system. In this example, the ID medium 12 is described as information in which the ID is encoded in the form of a barcode, and the back surface can be attached to the device 11 as a seal. An ID medium 12 is affixed to a part of the device 11, for example, a location such as the upper right of the front surface of the housing of the device 11 </ b> B.

現地作業者であるユーザU1は、作業対象の機器11のID媒体12の付近をカメラで撮影する。本例では、あるラック11Aに搭載されているある機器11B(機器Xとする)が障害状態である。ユーザU1は、その機器11Bに関する復旧等の対応作業を行う。ユーザU1は、例えばその機器11Bの配線やLEDランプ等の状態をユーザU2と映像共有する。その際に、ユーザU1は、携帯端末10のカメラを用いて、その機器11B及びID媒体12が含まれる範囲で撮影する。破線枠は、その際の撮影映像フレーム201を示す。カメラの撮影方向を一点鎖線で示し、撮影映像フレーム201内の中心を丸点で示す。撮影映像フレーム201内にはID媒体12の部分が写っている。携帯端末10の表示画面には、カメラの機能によって、撮影映像フレームがモニタ映像として表示される。   The user U1 who is a local worker takes a picture of the vicinity of the ID medium 12 of the work target device 11 with a camera. In this example, a certain device 11B (referred to as device X) mounted on a certain rack 11A is in a failure state. The user U1 performs a corresponding operation such as recovery related to the device 11B. For example, the user U1 shares the video of the state of the wiring of the device 11B, the LED lamp, and the like with the user U2. At that time, the user U <b> 1 uses the camera of the mobile terminal 10 to shoot in the range including the device 11 </ b> B and the ID medium 12. A broken-line frame indicates a captured video frame 201 at that time. The shooting direction of the camera is indicated by a one-dot chain line, and the center in the shot video frame 201 is indicated by a round dot. A portion of the ID medium 12 is shown in the photographed video frame 201. On the display screen of the mobile terminal 10, a captured video frame is displayed as a monitor video by the function of the camera.

保守端末11Cの表示画面の付近にもID媒体12が付与されている。ユーザU1は、保守端末11Cのコンソール画面の状態に関する映像共有を行いたい場合には、同様に、カメラでそのコンソール画面を対象に撮影する。破線枠は、その際の撮影映像フレーム202を示す。   An ID medium 12 is also provided near the display screen of the maintenance terminal 11C. Similarly, when the user U1 wants to share the video regarding the state of the console screen of the maintenance terminal 11C, the user U1 similarly captures the console screen with the camera. A broken-line frame indicates a captured video frame 202 at that time.

また、ラック11AにID媒体12が付与されていてもよい。この場合、ラック11Aの単位で、複数の機器11Bを1つのグループとしてまとめて管理して、マスキングの制御対象にすることができる。その場合、ユーザU1は、ラック11AのID媒体12の付近をカメラで撮影する。   Further, the ID medium 12 may be provided to the rack 11A. In this case, a plurality of devices 11B can be collectively managed as a group in units of the rack 11A to be a masking control target. In that case, the user U1 takes a picture of the vicinity of the ID medium 12 of the rack 11A with a camera.

設定情報51において、機器11を利用する顧客組織が関連付けられて設定されていてもよい。例えば、ある機器11は、ある顧客組織である会社等が専用に利用する。別のある機器11は、複数の顧客組織で共用される。ラック11Aには、同じ種類の複数の機器11が搭載されていてもよいし、異なる種類の複数の機器11が搭載されていてもよい。ラック11Aには、同じ顧客組織が利用する複数の機器11が搭載されていてもよいし、異なる顧客組織が利用する複数の機器11が搭載されていてもよい。   In the setting information 51, a customer organization that uses the device 11 may be set in association with each other. For example, a certain device 11 is used exclusively by a company that is a certain customer organization. Another device 11 is shared by a plurality of customer organizations. A plurality of devices 11 of the same type may be mounted on the rack 11A, or a plurality of devices 11 of different types may be mounted. A plurality of devices 11 used by the same customer organization may be mounted on the rack 11A, or a plurality of devices 11 used by different customer organizations may be mounted.

[処理シーケンス]
図3は、図1の本システムにおいてユーザ間で映像共有を伴う遠隔連携作業を行う場合における装置間の処理シーケンスを示す。図3のシーケンスはステップS101〜S118を有する。左側は現地のITシステム1のユーザU1の携帯端末10のステップ、中央は遠隔地2のユーザU2の携帯端末20のステップ、右側は支援システム3のサーバ30のステップを示す。以下、ステップの順に説明する。
[Processing sequence]
FIG. 3 shows a processing sequence between apparatuses when remote cooperation work involving video sharing is performed between users in the system of FIG. The sequence in FIG. 3 includes steps S101 to S118. The left side shows the steps of the mobile terminal 10 of the user U1 of the local IT system 1, the center shows the steps of the mobile terminal 20 of the user U2 in the remote location 2, and the right side shows the steps of the server 30 of the support system 3. Hereinafter, it demonstrates in order of a step.

(1) 現地のITシステム1において、現地作業者であるユーザU1は、運用作業の際、遠隔作業者であるユーザU2との映像共有による遠隔連携作業が必要となった場合、以下の手順を行う。例えば、ユーザU1が障害状態の機器11B(機器X)の復旧等の対応作業のために、ユーザU2に状況等を報告して作業指示等を要求する場合とする。ユーザU1は、ユーザU2に、映像共有による遠隔連携作業を行う旨を、任意の手段で連絡する(S101)。この連絡の手段は、電話やメールでもよいし、本システムの一部の機能として連絡機能を設け、それを利用してもよい。連絡により、ユーザU1はユーザU2が対応可能であることを確認する。   (1) In the local IT system 1, the user U1 who is a local worker performs the following procedure when the remote cooperation work by video sharing with the user U2 who is a remote worker is necessary during the operation work. Do. For example, it is assumed that the user U1 reports a situation or the like to the user U2 and requests a work instruction or the like for a corresponding work such as recovery of the troubled device 11B (device X). The user U1 notifies the user U2 that the remote cooperation work by video sharing is to be performed by any means (S101). The means for contacting may be telephone or e-mail, or may be a contact function provided as a part of the function of this system. By the contact, the user U1 confirms that the user U2 is available.

本システムでは、機器11の参照が許可されるユーザ範囲を特定するために、映像共有しようとする二人のユーザであるユーザU1及びユーザU2に関するユーザ認証を行う。実施の形態では、ユーザ認証は、ユーザID及びパスワードを用いた基本認証を用いる。   In this system, in order to specify a user range in which reference to the device 11 is permitted, user authentication relating to the user U1 and the user U2 who are two users who want to share a video is performed. In the embodiment, basic authentication using a user ID and a password is used for user authentication.

ユーザU1は、自分の携帯端末10から、支援システム3のサーバ30に接続してサービスにログインする(S102)。サーバ30では、ログインするユーザU1に関するユーザ認証が行われる(S103)。同様に、ユーザU2は、ユーザU1からの連絡に基づいて、対応を行う場合、自分の携帯端末20からサーバ30のサービスにログインする(S104)。サーバ30では、ログインするユーザU2に関するユーザ認証が行われる(S105)。サーバ30は、S103及びS105のユーザ認証を成功したユーザU1及びユーザU2を、遠隔連携作業を行う二人のユーザとして把握する。   The user U1 connects to the server 30 of the support system 3 from his / her mobile terminal 10 and logs in to the service (S102). In the server 30, user authentication relating to the user U1 who logs in is performed (S103). Similarly, the user U2 logs in to the service of the server 30 from his / her portable terminal 20 when performing a response based on the communication from the user U1 (S104). In the server 30, user authentication relating to the user U2 who logs in is performed (S105). The server 30 recognizes the user U1 and the user U2 who have succeeded in the user authentication in S103 and S105 as two users who perform remote cooperation work.

なお、変形例として、上記ユーザU1及びユーザU2のログイン及びユーザ認証は、併用する映像共有システムへのログイン及びユーザ認証としてもよい。即ち、サーバ30は、映像共有システムでのユーザ認証の結果を用いて、同様に制御を行えばよい。ユーザ認証は、基本認証に限らず、他の認証方式を適用してもよい。また、ユーザ認証を行うことにより高いセキュリティが確保されるが、ユーザ認証を省略して機器11のIDを用いた認証及びマスキング制御を行うのみとしても、相応の効果が得られる。特に、本システムとは別に、現地及び遠隔地の作業者に関する既存の認証手段が存在し、その認証手段を用いて正当な作業者の認証がされる場合には、本システムのユーザ認証を省略可能である。その認証手段としては、例えばデータセンタ等の建物のエリアに人が入退する際に認証を行う入退管理システムが挙げられる。あるいは、作業者が用いる携帯端末の認証が挙げられる。   As a modification, the login and user authentication of the user U1 and the user U2 may be login and user authentication to the video sharing system used together. That is, the server 30 may perform similar control using the result of user authentication in the video sharing system. User authentication is not limited to basic authentication, and other authentication methods may be applied. Further, although high security is ensured by performing user authentication, a corresponding effect can be obtained by performing authentication and masking control using the ID of the device 11 without performing user authentication. In particular, there is an existing authentication method for local and remote workers separately from this system, and if the authentication method is used to authenticate a valid worker, the user authentication of this system is omitted. Is possible. As the authentication means, for example, an entrance / exit management system that performs authentication when a person enters or exits an area of a building such as a data center. Or authentication of the portable terminal which an operator uses is mentioned.

(2) ユーザU1は、携帯端末10のカメラを用いて、作業対象の機器11のID媒体12を含む範囲を対象に撮影する(S106)。撮影対象は、例えば、ユーザU1がユーザU2に見せたい機器11の筐体の正面の状態等である。その際、携帯端末10の撮影部10Aは、撮影映像データである動画を得ると共に、表示画面に、撮影中のモニタ映像を表示する。携帯端末10は、その撮影映像データを、サーバ30へ送信する。   (2) The user U1 uses the camera of the mobile terminal 10 to photograph the range including the ID medium 12 of the work target device 11 (S106). The shooting target is, for example, the state of the front of the housing of the device 11 that the user U1 wants to show to the user U2. At that time, the photographing unit 10A of the mobile terminal 10 obtains a moving image that is photographed video data and displays a monitor video during photographing on the display screen. The mobile terminal 10 transmits the captured video data to the server 30.

撮影映像データの動画は、時系列の複数の撮影映像フレームから成る。なお、撮影映像データは、動画に限らず、静止画も可能である。静止画を用いる場合、ユーザU1が任意のタイミング及び操作で静止画を撮像し、その静止画がサーバ30へ送信される。また、動画を用いる場合、時系列の複数のフレームのうち、一定時間間隔毎のフレームのみを用いてもよい。   The moving image of the captured video data is composed of a plurality of time-series captured video frames. Note that the captured video data is not limited to a moving image, and can be a still image. When a still image is used, the user U1 captures a still image at an arbitrary timing and operation, and the still image is transmitted to the server 30. Moreover, when using a moving image, you may use only the flame | frame for every fixed time interval among several time-sequential frames.

サーバ30は、携帯端末10からの撮影映像データ等を受信する。サーバ30の映像マスキング部33は、受信した撮影映像データ等、及び設定情報51に基づいて、ID検出処理、及びマスキングに関する判断処理を行う(S107)。   The server 30 receives captured video data and the like from the mobile terminal 10. The video masking unit 33 of the server 30 performs ID detection processing and masking determination processing based on the received captured video data and the setting information 51 (S107).

まず、サーバ30の映像マスキング部33は、撮影映像フレームから、画像処理に基づいて、IDを検出する。サーバ30は、検出したIDが、設定情報51に設定されているIDに該当するかを確認し、IDに関連付けられた機器11を把握する。   First, the video masking unit 33 of the server 30 detects the ID from the captured video frame based on image processing. The server 30 confirms whether the detected ID corresponds to the ID set in the setting information 51, and grasps the device 11 associated with the ID.

なお、変形例として、S106で、サーバ30ではなく携帯端末10が、撮影映像データから画像処理に基づいてIDを検出してもよい。その場合、携帯端末10は、撮影映像データと共にIDを含む情報を、サーバ30へ送信する。   As a modification, in S106, the mobile terminal 10 instead of the server 30 may detect the ID from the captured video data based on image processing. In that case, the mobile terminal 10 transmits information including the ID together with the captured video data to the server 30.

サーバ30の映像マスキング部33は、ユーザ認証で把握した二人のユーザ、及び認識したIDで示す機器11について、設定情報51に基づいて、判断処理を行う。この判断処理では、映像共有の際に、そのIDで示す機器11の画像部分を、ユーザU2に参照を許可するどうかの判断を含む。サーバ30は、少なくとも、ユーザU2にその機器11に関する参照権限が有ること、即ち参照が許可されることを確認する。実施の形態では、特に、サーバ30は、この判断処理で、ユーザU1及びユーザU2の二人の参照権限の有無を確認し、二人共にその機器11の参照権限が有ることを確認する。   The video masking unit 33 of the server 30 performs a determination process based on the setting information 51 for the two users identified by the user authentication and the device 11 indicated by the recognized ID. This determination processing includes determination of whether or not to allow the user U2 to refer to the image portion of the device 11 indicated by the ID at the time of video sharing. The server 30 confirms that at least the user U2 has the reference authority regarding the device 11, that is, the reference is permitted. In the embodiment, in particular, the server 30 confirms whether or not the user U1 and the user U2 have reference authority in this determination process, and confirms that both of them have the authority to refer to the device 11.

サーバ30の映像マスキング部33は、判断に基づいて、次のS108のマスキング処理の内容を決定する。即ち、サーバ30は、撮影映像フレームのうち、どの部分をマスク領域とし、どの部分を非マスク領域とするか、後述のマスクフレームを決定する。サーバ30は、そのIDで示す機器11に関して、ユーザU2を含め二人共に参照権限が有る場合には、撮影映像フレームのその機器11の画像部分を、非マスク領域にする。サーバ30は、それ以外の場合、即ちそのIDで示す機器11に関して二人の一方または両方に参照権限が無い場合には、その機器11の画像部分を、マスク領域にする。   The video masking unit 33 of the server 30 determines the content of the next masking process in S108 based on the determination. That is, the server 30 determines a mask frame, which will be described later, which part of the captured video frame is a mask area and which part is a non-mask area. The server 30 sets the image portion of the device 11 in the captured video frame as a non-masked area when both of the devices 11 including the user U2 have the authority to refer to the device 11 indicated by the ID. In other cases, that is, when one or both of the two devices do not have the reference authority for the device 11 indicated by the ID, the server 30 sets the image portion of the device 11 as a mask area.

サーバ30の映像マスキング部33は、マスキング処理(S108)では、S108で決定したマスクフレームを用いて、撮影映像フレームに対するマスキング処理を施してマスキング映像フレームを生成し、メモリに一時的に保持する。サーバ30は、生成したマスキング映像フレームによるマスキング映像データ52を、携帯端末10に送信する。   In the masking process (S108), the video masking unit 33 of the server 30 performs a masking process on the captured video frame using the mask frame determined in S108, generates a masked video frame, and temporarily stores it in the memory. The server 30 transmits the masking video data 52 based on the generated masking video frame to the mobile terminal 10.

携帯端末10は、サーバ30からのマスキング映像データ52のフレームを受信し、表示画面にマスキング映像を表示する(S109)。携帯端末10は、後述の図7に示すように、モニタ映像表示と共に、マスキング映像を並列で表示する。   The mobile terminal 10 receives the frame of the masking video data 52 from the server 30 and displays the masking video on the display screen (S109). As shown in FIG. 7 described later, the mobile terminal 10 displays the masking video in parallel with the monitor video display.

携帯端末10は、そのマスキング映像データ52を、映像共有システムの映像送受信部10Bによって、携帯端末20へ送信する(S110)。携帯端末20は、そのマスキング映像データ52を受信して、後述の図7に示すように、表示画面にマスキング映像を表示する(S111)。   The mobile terminal 10 transmits the masking video data 52 to the mobile terminal 20 by the video transmission / reception unit 10B of the video sharing system (S110). The portable terminal 20 receives the masking video data 52, and displays the masking video on the display screen as shown in FIG. 7 (S111).

また、S110で携帯端末10から携帯端末20へマスキング映像データ52を送信する際、ユーザU1は、映像共有システムの機能を用いて、マスキング映像データ52に、状況報告等の任意の情報を、重畳または並列で付随させる形で送信することもできる。   Further, when transmitting the masking video data 52 from the mobile terminal 10 to the mobile terminal 20 in S110, the user U1 superimposes arbitrary information such as a status report on the masking video data 52 by using the function of the video sharing system. Alternatively, it can be transmitted in parallel.

また、変形例として、ユーザU1の携帯端末10でマスキング映像表示が不要である場合には表示せずに、サーバ30からのマスキング映像データ52を携帯端末20へ転送するのみとしてもよい。   As a modification, when the masking video display is unnecessary on the mobile terminal 10 of the user U1, the masking video data 52 from the server 30 may be transferred to the mobile terminal 20 without displaying the masking video.

また、変形例として、携帯端末10からサーバ30へ撮影映像データを送信し、サーバ30でマスキング処理を施した後、サーバ30から直接的に携帯端末20へマスキング映像データ52を送信するようにしてもよい。   As a modification, the captured video data 52 is transmitted from the mobile terminal 10 to the server 30, masked by the server 30, and then the masked video data 52 is transmitted directly from the server 30 to the mobile terminal 20. Also good.

また、変形例として、サーバ30でマスキング処理を施した後、サーバ30から携帯端末10及び携帯端末20の両方へ、それぞれのマスキング映像データを並列で送信するようにしてもよい。   As a modification, after masking processing is performed by the server 30, the masking video data may be transmitted from the server 30 to both the mobile terminal 10 and the mobile terminal 20 in parallel.

(3) ユーザU2は、携帯端末20の表示画面に表示されたマスキング映像における非マスク領域の機器11等の画像部分を見て、作業対象の機器11や状況等を把握する。ユーザU2は、ユーザU1への作業指示等を、任意の手段を用いてユーザU1へ与える(S112)。作業指示は、例えば障害対応のための確認手順や復旧手順等の指示である。作業指示を与える際、手段としては、既存の電話やメール等の手段を併用することもできるが、特に、本システムの映像共有システムの機能を用いることができる。その際、後述の図7に示すように、携帯端末20の表示画面でのマスキング映像に対し、ユーザU2は、作業指示等に係わる映像、音声、文字等の情報を重畳または並列で入力し、その情報を携帯端末10へ送信することができる。携帯端末10は、その携帯端末20からの映像、音声、文字等のデータを受信し、表示画面のマスキング映像に対し、重畳または並列で出力する。   (3) The user U2 views the image portion such as the device 11 in the non-mask area in the masking video displayed on the display screen of the mobile terminal 20, and grasps the device 11 and the situation to be worked on. The user U2 gives a work instruction or the like to the user U1 to the user U1 using any means (S112). The work instruction is, for example, an instruction such as a confirmation procedure or a recovery procedure for handling a failure. When giving a work instruction, means such as an existing telephone or e-mail can be used in combination, but in particular, the function of the video sharing system of the present system can be used. At that time, as shown in FIG. 7 to be described later, the user U2 inputs information such as video, voice, characters, etc. related to the work instruction on the masking video on the display screen of the mobile terminal 20 in superposition or in parallel. The information can be transmitted to the mobile terminal 10. The mobile terminal 10 receives data such as video, audio, text, etc. from the mobile terminal 20 and outputs it in a superimposed or parallel manner on the masking video on the display screen.

ユーザU1は、携帯端末10の表示画面のマスキング映像、及びユーザU2からの作業指示等に従い、対象の機器11に関する対応作業を行う(S113)。以降同様に、ユーザU1とユーザU2との間で、必要に応じて、マスキング映像の共有や情報授受が繰り返して行われる。   The user U1 performs corresponding work on the target device 11 in accordance with the masking video on the display screen of the mobile terminal 10, the work instruction from the user U2, and the like (S113). Thereafter, similarly, sharing of masking video and information exchange are repeatedly performed between the user U1 and the user U2 as necessary.

(4) 運用作業の終了後、ユーザU1は、遠隔連携作業を終了する旨をユーザU2へ任意の手段で連絡する(S114)。ユーザU1は、携帯端末10を操作して本システムのサービスからログアウトする(S115)。サーバ30は、その際のログアウト処理を行う(S116)。同様に、ユーザU2は、携帯端末20を操作してサービスからログアウトし(S117)、サーバ30はその際のログアウト処理を行う(S118)。サーバ30は、二人のユーザのログアウトから、遠隔連携作業の終了を把握する。   (4) After the operation work is finished, the user U1 notifies the user U2 that the remote cooperation work is finished by any means (S114). The user U1 operates the mobile terminal 10 to log out from the service of this system (S115). The server 30 performs logout processing at that time (S116). Similarly, the user U2 operates the mobile terminal 20 to log out from the service (S117), and the server 30 performs logout processing at that time (S118). The server 30 grasps the end of the remote cooperation work from the logout of the two users.

上記のように、本システムでは、撮影映像に対してリアルタイムでマスキングが行われ、セキュリティを確保した上で、効率的な遠隔連携作業が実現される。なお、サーバ30は、ログ情報に基づいて、遠隔連携作業の開始から終了までの履歴情報を記録するようにしてもよい。管理者等は、後で履歴情報を参照して遠隔連携作業の内容を確認できる。   As described above, in this system, real-time masking is performed on a captured image, and security is ensured, and efficient remote cooperation work is realized. The server 30 may record history information from the start to the end of the remote cooperation work based on the log information. The administrator or the like can later confirm the contents of the remote cooperation work by referring to the history information.

[処理フロー]
図4は、サーバ30の主な制御処理の処理フローを示す。図4はステップS1〜S11を有する。以下、ステップの順に説明する。
[Processing flow]
FIG. 4 shows a processing flow of main control processing of the server 30. FIG. 4 includes steps S1 to S11. Hereinafter, it demonstrates in order of a step.

(S1) サーバ30の認証部32は、現地作業者であるユーザU1や遠隔作業者であるユーザU2のログインの際に、ユーザ認証処理を行い、遠隔連携作業を行う二人のユーザを把握する。   (S1) The authentication unit 32 of the server 30 performs user authentication processing when the user U1 who is a local worker or the user U2 which is a remote worker logs in, and grasps two users who perform remote cooperation work. .

(S2) サーバ30は、ユーザU1の携帯端末10からの撮像映像データを受信して、映像マスキング部33の処理に入力する。   (S2) The server 30 receives the captured video data from the mobile terminal 10 of the user U1 and inputs it to the processing of the video masking unit 33.

(S3) サーバ30の映像マスキング部33は、マスキング用のフィルタであるマスクフレームを初期化する。この初期のマスクフレームは、デフォルト設定例としては、フレーム内の全領域がマスク領域にセットされる。マスク領域は、例えば黒領域であり、元画像部分の上に置換される。他の設定例では、マスク領域は、所定のノイズ領域等として、元画像部分に対して合成されるものとしてもよい。   (S3) The video masking unit 33 of the server 30 initializes a mask frame which is a masking filter. In this initial mask frame, as a default setting example, the entire area in the frame is set in the mask area. The mask area is, for example, a black area, and is replaced on the original image portion. In another setting example, the mask area may be combined with the original image portion as a predetermined noise area or the like.

(S4) サーバ30の映像マスキング部33は、S2の入力撮影映像フレームから、画像処理に基づいて、ID媒体12のIDを検出する。この画像処理は、公知の画像認識技術を適用可能であり、特に限定されない。本例では、フレーム内のバーコードの読み取りによってIDが認識される。なお、前述のように変形例として携帯端末10でIDを検出する場合には、携帯端末10からそのID情報を取得すればよい。   (S4) The video masking unit 33 of the server 30 detects the ID of the ID medium 12 from the input captured video frame of S2 based on image processing. This image processing is not particularly limited, and a known image recognition technique can be applied. In this example, the ID is recognized by reading the barcode in the frame. As described above, when an ID is detected by the mobile terminal 10 as a modification, the ID information may be acquired from the mobile terminal 10.

(S5) サーバ30は、撮影映像フレーム内からIDを検出できた場合(Y)にはS6へ進み、検出できない場合(N)にはS9へ進む。   (S5) The server 30 proceeds to S6 when the ID can be detected from the captured video frame (Y), and proceeds to S9 when the ID cannot be detected (N).

(S6) サーバ30の映像マスキング部33は、検出したIDと、設定情報51に設定されているIDとを比較して、一致するIDがあるかを確認する。サーバ30は、一致するIDに関する情報を設定情報51から読み出す。サーバ30は、後述の識別情報マスタ表から、該当するIDに関連付けられた機器11の情報を読み出し、後述の参照権限表から、該当するIDに関連付けられた参照許可ユーザIDを読み出す。   (S6) The video masking unit 33 of the server 30 compares the detected ID with the ID set in the setting information 51 to confirm whether there is a matching ID. The server 30 reads information regarding the matching ID from the setting information 51. The server 30 reads information on the device 11 associated with the corresponding ID from an identification information master table described later, and reads a reference-permitted user ID associated with the corresponding ID from a reference authority table described later.

(S7) サーバ30の映像マスキング部33は、設定情報51から読み出した情報を用いて、該当するIDに関連付けられた機器11に関する、ユーザU1及びユーザU2の参照権限の有無を確認する。言い換えると、サーバ30は、二人のユーザが映像共有に際して、その機器11の参照等が許可されるか否かを確認する。実施の形態では、特に、この判断の際、二人のユーザの参照権限有りのAND条件を用いる。両者共に参照権限が有りの場合(Y)にはS8へ進み、一方または両方に参照権限が無い場合(N)にはS9へ進む。   (S7) The video masking unit 33 of the server 30 uses the information read from the setting information 51 to check whether or not the user U1 and the user U2 have reference authority regarding the device 11 associated with the corresponding ID. In other words, the server 30 confirms whether or not the two users are allowed to refer to the device 11 when sharing the video. In the embodiment, in particular, in this determination, an AND condition with reference authority of two users is used. If both have reference authority (Y), the process proceeds to S8, and if one or both do not have reference authority (N), the process proceeds to S9.

(S8) サーバ30の映像マスキング部33は、初期のマスクフレームの整形加工に基づいて、その時点の撮影映像フレームに合わせた最新のマスクフレームを決定する。サーバ30は、整形加工として、初期のマスクフレームの全マスク領域に対し、参照が許可される機器11の画像部分に対応させて非マスク領域をセットする。その非マスク領域以外の領域はすべてマスク領域に決定される。   (S8) Based on the initial mask frame shaping process, the video masking unit 33 of the server 30 determines the latest mask frame that matches the captured video frame at that time. As the shaping process, the server 30 sets a non-mask area corresponding to the image portion of the device 11 that is allowed to be referenced for all the mask areas of the initial mask frame. All regions other than the non-mask region are determined as mask regions.

また、この処理の際、後述するが、サーバ30の映像マスキング部33は、設定情報51の機器輪郭情報に基づいて、撮影映像フレーム内の機器輪郭に合わせて、非マスク領域及びマスク領域の形状を決定する。   In this process, as will be described later, the video masking unit 33 of the server 30 forms the shapes of the non-mask area and the mask area in accordance with the device contour in the captured video frame based on the device contour information of the setting information 51. To decide.

(S9) サーバ30の映像マスキング部33は、S2の入力撮影映像フレームの上に、S8で決定した最新のマスクフレームを重畳するように合成することにより、マスキング映像フレームを生成し、メモリに格納する。   (S9) The video masking unit 33 of the server 30 generates a masking video frame by superimposing the latest mask frame determined in S8 on the input captured video frame of S2, and stores it in the memory. To do.

(S10) サーバ30は、S9で生成したマスキング映像フレームによるマスキング映像データ52を、携帯端末10へ送信する。   (S10) The server 30 transmits the masking video data 52 based on the masking video frame generated in S9 to the mobile terminal 10.

(S11) サーバ30は、撮影映像データ入力の状態や、ログアウト処理やユーザ指示入力等に基づいて、遠隔連携作業に伴う映像マスキングの処理が終了か継続かを判断する。終了する場合(Y)には本フローを終了し、継続する場合(N)にはS2へ戻り、次の入力撮影映像フレームに関して同様に処理を繰り返す。   (S11) The server 30 determines whether the video masking process associated with the remote cooperation work is completed or continued based on the state of the captured video data input, the logout process, the user instruction input, and the like. If it is to be terminated (Y), this flow is terminated. If it is to be continued (N), the process returns to S2, and the same processing is repeated for the next input photographed video frame.

実施の形態では、上記のように、映像共有する二人のユーザの携帯端末で表示するマスキング映像の内容を同じにしている。また、判断処理では、二人のユーザの参照権限のAND条件を用いている。参照権限は、言い換えると、映像共有権限である。ある機器11に関連付けられたIDに関して、二人共に参照権限が有る場合のみ、マスキング映像フレーム内でその機器11の画像部分が非マスク領域として表示される。   In the embodiment, as described above, the contents of the masking video displayed on the portable terminals of the two users sharing the video are the same. In the determination process, the AND condition of the reference authority of the two users is used. In other words, the reference authority is a video sharing authority. Only when both of the IDs associated with a certain device 11 have reference authority, the image portion of the device 11 is displayed as a non-masked area in the masking video frame.

簡易的な制御としては、遠隔作業者であるユーザU2の参照権限のみを判断するようにしてもよい。ユーザU1の参照権限については全許可として扱う。この場合、ある機器11のIDに関して、ユーザU2の参照権限が有る場合には、その機器11の画像部分が非マスク領域として表示される。また、変形例として、二人のユーザのいずれか一方に参照権限が有るかどうかのOR条件を用いて判断してもよい。   As simple control, only the reference authority of the user U2 who is a remote worker may be determined. The reference authority of the user U1 is treated as full permission. In this case, if the user U2 has the authority to refer to the ID of a certain device 11, the image portion of the device 11 is displayed as a non-mask area. Further, as a modification, the determination may be made using an OR condition as to whether or not one of the two users has a reference authority.

[マスキング処理]
実施の形態では、上記のように、マスキング処理の際に、初期のマスクフレームを全マスク領域としておき、機器11に関するユーザの参照権限に応じて、非マスク領域がセットされる、言い換えるとマスク解除される。マスキング処理の詳細は、特に限定されない。マスク領域としては、ユーザが視認不可能になる領域とすればよく、どのような画像処理でもよい。公知のモザイク処理やランダムにノイズを重畳する処理等でもよい。
[Masking process]
In the embodiment, as described above, in the masking process, the initial mask frame is set as the entire mask area, and the non-mask area is set according to the user's reference authority regarding the device 11, in other words, the mask release. Is done. The details of the masking process are not particularly limited. The mask area may be an area where the user cannot visually recognize, and any image processing may be performed. A known mosaic process or a process of randomly superimposing noise may be used.

また、本システムでは、マスキング処理は、元の撮影映像フレームからマスキング映像フレームを生成する一方向の処理でよい。マスキング映像フレームから元の撮影映像フレームを復元する処理は不要である。何らかの目的で元の撮影映像フレームが必要である場合には、最初の撮影時に得られている撮影映像フレームを使用すればよい。その撮影映像フレームは、例えば携帯端末10やサーバ30のメモリに一時的に保持されている。   In this system, the masking process may be a one-way process for generating a masking video frame from the original captured video frame. There is no need to restore the original captured video frame from the masking video frame. If the original photographed video frame is necessary for some purpose, the photographed video frame obtained at the time of the first photographing may be used. The captured video frame is temporarily held in the memory of the mobile terminal 10 or the server 30, for example.

[設定情報]
図5及び図6は、サーバ30がDBに管理している設定情報51の構成例としてテーブル実装例を示す。設定情報51を構成するテーブルとして、図5の識別情報マスタ表、図6のユーザマスタ表、参照権限表、担当表、等を有する。
[Setting information]
5 and 6 show table implementation examples as configuration examples of the setting information 51 managed by the server 30 in the DB. Tables constituting the setting information 51 include the identification information master table in FIG. 5, the user master table in FIG. 6, a reference authority table, a charge table, and the like.

図5の識別情報マスタ表は、IDと機器11と他の情報との関連付け情報が設定されている。図5の識別情報マスタ表は、列として、ID、機器ID、機器名称、場所、顧客組織、機器輪郭情報、制御種別を有する。「ID」列には、ID媒体12に符号化された形式で記載されるIDが格納されている。このIDは、言い換えれば、マスキング制御用の識別番号である。「機器ID」列には、対象の機器11の識別情報が格納されている。「機器名称」列には、その機器11の名称や種別等が格納されている。「場所」列には、その機器11が設置されている場所を表す情報が格納されている。その場所情報は、例えば、データセンタや顧客組織システム等のITシステム1の識別情報、ITシステム1内のエリアや区画等の識別情報を含む。その場所情報は、機器11が搭載されるラック11Aやそのスロット等がある場合にはその識別情報を含む。あるいは、その場所情報は、GPS位置座標情報等としてもよい。   In the identification information master table of FIG. 5, association information for the ID, the device 11, and other information is set. The identification information master table in FIG. 5 includes ID, device ID, device name, location, customer organization, device contour information, and control type as columns. In the “ID” column, an ID described in a format encoded on the ID medium 12 is stored. In other words, this ID is an identification number for masking control. In the “device ID” column, identification information of the target device 11 is stored. The “device name” column stores the name and type of the device 11. The “location” column stores information indicating the location where the device 11 is installed. The location information includes, for example, identification information of the IT system 1 such as a data center and a customer organization system, and identification information of areas and sections in the IT system 1. The location information includes the identification information when there is a rack 11A in which the equipment 11 is mounted, its slot, or the like. Alternatively, the location information may be GPS position coordinate information or the like.

「顧客組織」列には、その機器11を利用する顧客組織が存在する場合の、その顧客組織の識別情報が格納されている。なお、機器11を特定の顧客組織が専用に利用する場合もあるし、機器11を不特定の複数の顧客組織が共用する場合もある。   The “customer organization” column stores identification information of the customer organization when the customer organization that uses the device 11 exists. The device 11 may be used exclusively by a specific customer organization, or the device 11 may be shared by a plurality of unspecified customer organizations.

「機器輪郭情報」列には、マスキング処理の際に撮影映像フレームから機器輪郭の比較照合を行う場合に用いる、機器11の輪郭を表す情報が格納されている。この機器輪郭情報は、例えば後述の図10で示すように、機器11とそのID媒体12とを含む物体の2次元形状または3次元形状のモデルの画像データである。画像データは、例えばバイナリデータ形式のファイルである。   The “apparatus outline information” column stores information representing the outline of the apparatus 11 that is used when the apparatus outline is compared and collated from the captured video frame during the masking process. The device outline information is, for example, image data of a two-dimensional shape or a three-dimensional shape model of an object including the device 11 and its ID medium 12 as shown in FIG. The image data is, for example, a binary data format file.

「制御種別」列には、本システムの特有のマスキングの機能に関する制御の種別を表す情報が設定される。制御としてユーザの参照権限に応じたマスキングを適用する場合には、第1の値(“1”)が設定され、適用しない場合には第2の値(“0”)が設定される。他の制御種別の値としては、全ユーザに参照許可、即ち非マスク領域とする設定や、全ユーザに参照不許可、即ちマスク領域とする設定も可能である。   In the “control type” column, information indicating the type of control related to the masking function peculiar to this system is set. When masking according to the user's reference authority is applied as control, the first value (“1”) is set, and when not applied, the second value (“0”) is set. As other control type values, all users can be allowed to reference, that is, set as a non-masked area, or all users can be denied reference, that is, set as a masked area.

図6のユーザマスタ表は、作業者のユーザ認証等に用いる。ユーザマスタ表には、現地作業者及び遠隔作業者を含むユーザ毎に、列として、ユーザID、パスワード、作業者種別、作業場所、アドレス等を有する。「ユーザID」及び「パスワード」は、ユーザ認証である基本認証に用いられる。「作業者種別」列は、その作業者の種別として、現地作業者、遠隔作業者、等の区別を示す情報が格納されている。「作業場所」列は、その作業者の標準的な作業場所を示す情報、例えば勤務地等の情報が格納されている。「アドレス」列は、その作業者の携帯端末の通信用のアドレスや、連絡先の電話番号等が格納されている。   The user master table in FIG. 6 is used for user authentication of the worker. The user master table includes a user ID, a password, a worker type, a work location, an address, and the like as columns for each user including a local worker and a remote worker. The “user ID” and “password” are used for basic authentication which is user authentication. The “worker type” column stores information indicating the distinction between a local worker, a remote worker, and the like as the type of the worker. The “work place” column stores information indicating the standard work place of the worker, for example, information such as work place. The “address” column stores the communication address of the worker's portable terminal, the telephone number of the contact, and the like.

図6の参照権限表は、作業者の機器11の参照権限、即ち映像の参照や作業実施等の権限を表す情報が設定されている。図6の参照権限表では、列として、ID、参照許可ユーザIDを有する。「ID」列は、識別情報マスタ表で機器11に関連付けられたIDを示す。「参照許可ユーザID」列には、そのIDに関連付けられた機器11に対する参照が許可されるユーザのユーザIDが関連付けられて設定されている。即ち、この行の設定によって、そのユーザIDの作業者がそのIDで示す機器11の映像を参照する際に、非マスク領域とされる。   In the reference authority table of FIG. 6, information indicating the authority of the worker to refer to the device 11, that is, the authority to refer to the video or perform the work is set. In the reference authority table of FIG. 6, it has ID and reference permission user ID as a column. The “ID” column indicates an ID associated with the device 11 in the identification information master table. In the “reference permitted user ID” column, a user ID of a user permitted to refer to the device 11 associated with the ID is set in association with the ID. That is, by setting this line, when the worker of the user ID refers to the video of the device 11 indicated by the ID, the area is set as a non-mask area.

図6の担当表は、必須情報ではないが、ユーザ毎に顧客組織や機器の担当を表す情報が設定されている。図6の担当表は、列として、ユーザID、顧客組織、機器IDを有する。例えば、ユーザID=U01で示すユーザは、「顧客組織A」の利用する機器{S001,S002,……}を担当している。このような担当表に基づいて、ユーザの参照権限を決めることもできる。ユーザが担当している機器11についてはすべて参照権限有りと決めてもよい。参照権限表や担当表は、識別情報マスタ表やユーザマスタ表に併合してもよい。   Although the charge table in FIG. 6 is not essential information, information indicating the charge of the customer organization or the device is set for each user. The assignment table in FIG. 6 includes a user ID, a customer organization, and a device ID as columns. For example, the user indicated by user ID = U01 is in charge of the device {S001, S002,... The user's reference authority can be determined based on such a charge table. It may be determined that all devices 11 that the user is in charge of have reference authority. The reference authority table and the charge table may be merged with the identification information master table and the user master table.

図5及び図6の表の設定例において、例えば、ID=0001で示す機器11は、機器ID=S001のDBサーバであり、「データセンタA」の「区画1」にある「ラックL1」の所定のスロットに搭載されている。この機器11は、「顧客組織A」が利用している。この機器11の機器輪郭情報として画像データG001を有し、制御種別は第1の値である。   5 and 6, for example, the device 11 indicated by ID = 0001 is a DB server with the device ID = S001, and the “rack L1” in “partition 1” of “data center A”. It is mounted in a predetermined slot. This device 11 is used by “customer organization A”. The device 11 has image data G001 as device contour information, and the control type is the first value.

ID=0001で示す機器11は、参照許可ユーザとしてユーザID=U01,U02で示す二人のユーザが設定されている。ユーザID=U01のユーザは、現地作業者であり、「データセンタA」の運用部に所属しており、「顧客組織A」及び「顧客組織A」が利用する機器(S001等)を担当している。ユーザID=U02のユーザは、遠隔作業者であり、「データセンタA」の開発部に所属しており、「顧客組織A」等を担当している。ID=0002で示す機器11は、参照許可ユーザとしてユーザID=U01で示すユーザのみが設定されている。   In the device 11 indicated by ID = 0001, two users indicated by user IDs = U01 and U02 are set as reference-permitted users. The user with user ID = U01 is a local worker, belongs to the operation department of “Data Center A”, and is in charge of equipment (S001, etc.) used by “Customer Organization A” and “Customer Organization A”. ing. The user with user ID = U02 is a remote worker, belongs to the development department of “data center A”, and is in charge of “customer organization A” and the like. In the device 11 indicated by ID = 0002, only a user indicated by user ID = U01 is set as a reference-permitted user.

ユーザID=U01,U02で示す二人のユーザは、ID=0001で示す機器11に関する参照権限が有る。よって、その二人のユーザは、その機器11の運用作業の際に、その機器11を非マスク領域としてマスキング映像を共有して、遠隔連携作業が可能である。また、ユーザID=U01で示すユーザは、ID=0002で示す機器11に関する参照権限が有るが、ユーザID=U02で示すユーザは、ID=0002で示す機器11に関する参照権限が無い。よって、マスキング映像においてその機器11はマスク領域となる。   Two users indicated by user ID = U01 and U02 have a reference authority regarding the device 11 indicated by ID = 0001. Therefore, the two users can perform remote cooperation work by sharing the masking video using the device 11 as a non-mask area when the device 11 is operated. Further, the user indicated by user ID = U01 has the reference authority for the device 11 indicated by ID = 0002, but the user indicated by user ID = U02 does not have the reference authority for the device 11 indicated by ID = 0002. Therefore, the device 11 becomes a mask area in the masking image.

実施の形態では、上記のように、参照権限に関する設定として、参照権限表のIDとユーザIDとの関連付けとした。即ち、機器11の単位でマスキングが制御可能である。これに限らず、区画等の場所単位や顧客組織の単位で、ユーザの参照権限を柔軟に詳細に設定可能である。設定情報51にユーザ毎の参照権限を細かく設定する場合には、マスキングの領域を細かくして、セキュリティをより高めることができる。ユーザ毎の参照権限をおおまかな単位で設定する場合には、設定作業の手間を少なくし、マスキングの領域をおおまかにして処理を軽くすることができる。   In the embodiment, as described above, as the setting relating to the reference authority, the ID of the reference authority table and the user ID are associated with each other. That is, masking can be controlled in units of the device 11. Not limited to this, the user's reference authority can be set flexibly and in detail in units of places such as sections and units of customer organizations. When the reference authority for each user is set in the setting information 51 in detail, the masking area can be made finer to enhance security. When the reference authority for each user is set in a rough unit, the setting work can be reduced and the masking area can be roughly reduced to reduce the processing.

[表示画面]
図7は、携帯端末10及び携帯端末20の表示画面例を示す。図7の左側は現地のユーザU1の携帯端末10の表示画面701を示し、右側は遠隔地2のユーザU2の携帯端末20の表示画面702を示す。
[Display screen]
FIG. 7 shows a display screen example of the mobile terminal 10 and the mobile terminal 20. The left side of FIG. 7 shows the display screen 701 of the mobile terminal 10 of the local user U1, and the right side shows the display screen 702 of the mobile terminal 20 of the user U2 in the remote location 2.

現地の携帯端末10の表示画面701では、元の撮影映像データによるモニタ映像711(省略)が表示されると共に、マスキング映像データ52によるマスキング映像712が並列で表示されている。モニタ映像711のフレームは非マスキング状態であり、マスキング映像712のフレームはマスキング状態である。   On the display screen 701 of the local mobile terminal 10, a monitor video 711 (omitted) based on the original captured video data is displayed, and a masking video 712 based on the masking video data 52 is displayed in parallel. The frame of the monitor video 711 is in an unmasked state, and the frame of the masking video 712 is in a masking state.

遠隔地の携帯端末20の表示画面702では、マスキング映像データ52によるマスキング映像722が表示されている。マスキング映像712及びマスキング映像722は、同じ内容であり、例えばユーザU1及びユーザU2の参照権限が有る機器Xの画像部分が非マスク状態となっている。   On the display screen 702 of the mobile terminal 20 at a remote location, a masking video 722 based on the masking video data 52 is displayed. The masking video 712 and the masking video 722 have the same content. For example, the image portion of the device X having the reference authority for the user U1 and the user U2 is in an unmasked state.

なお、これに限らず、携帯端末10では、モニタ映像のみの表示としてもよいし、マスキング映像のみの表示としてもよいし、どのような映像を表示させるかの表示モードをユーザU1によって選択や設定を可能としてもよい。また、遠隔地のユーザU2がカメラを用いて遠隔地で任意の対象物を撮影し、撮影映像データを、映像共有システムを通じてユーザU1の携帯端末10へ送信してもよい。その場合、携帯端末10の表示画面701及び携帯端末20の表示画面702に、遠隔地での撮影映像を表示してもよい。   Not limited to this, the mobile terminal 10 may display only the monitor video, may display only the masking video, or may select or set a display mode for displaying what video is displayed. May be possible. Alternatively, the user U2 at a remote location may take an image of an arbitrary object at a remote location using a camera, and the captured video data may be transmitted to the mobile terminal 10 of the user U1 through a video sharing system. In that case, you may display the imaging | photography image | video in a remote place on the display screen 701 of the portable terminal 10, and the display screen 702 of the portable terminal 20. FIG.

また、携帯端末20の表示画面702で、ユーザU2は、マスキング映像に、作業指示等に係わる任意の文字入力や音声入力も可能であり、マスキング映像上のカーソル移動操作も可能である。例えば、ユーザU2は、マスキング映像の上に、または並列で、作業指示等の文字を書き込むことや、作業指示等の音声をマイクから入力できる。入力された文字やカーソル位置や音声等の情報は、映像共有システムを通じて携帯端末20から携帯端末10へ送信される。それらの情報は、携帯端末10の表示画面701のマスキング映像の上に、または並列で、出力される。同様に、携帯端末10の表示画面701で、ユーザU1は、マスキング映像に、任意の文字入力や音声入力、カーソル移動操作等が可能であり、入力情報が携帯端末20へ送信されて出力される。   In addition, on the display screen 702 of the mobile terminal 20, the user U2 can input any character or voice related to a work instruction or the like on the masking video, and can also move the cursor on the masking video. For example, the user U2 can write characters such as work instructions on the masking video or in parallel, and can input sound such as work instructions from a microphone. Information such as input characters, cursor position, and voice is transmitted from the portable terminal 20 to the portable terminal 10 through the video sharing system. Such information is output on a masking image on the display screen 701 of the mobile terminal 10 or in parallel. Similarly, on the display screen 701 of the mobile terminal 10, the user U1 can perform arbitrary character input, voice input, cursor movement operation, and the like on the masking video, and the input information is transmitted to the mobile terminal 20 and output. .

このように、現地と遠隔地の両者で同じマスキング映像を見て共有ができ、両者間で状況や作業指示等の情報を迅速にわかりやすく伝達でき、意思疎通がしやすく、効率的な遠隔連携作業が実現できる。   In this way, the same masking video can be viewed and shared between the local and remote locations, information such as the situation and work instructions can be quickly and easily communicated between the two, easy communication, and efficient remote collaboration Work can be realized.

[マスキング例(1)]
図8は、本システムの具体例として、マスキングの制御に関する第1例について示す。図8の上側には、対象の機器11の構成や撮影の例を示し、図8の下側には、マスキング処理の例を示す。図8の上側で、第1例では、「データセンタA」において、「区画1」のラック11Aである「ラックL1」には、機器11Bとして機器A1,B1,C1,D1等が搭載されている。「区画2」の「ラックL2」には、機器11Bとして機器A2,B2,C2,D2等が搭載されている。各機器11Bには一意にIDが付与されている。機器11と顧客組織との対応関係として、例えば機器A1,A2は顧客組織Aが利用しており、機器B1,B2は顧客組織Bが利用しており、機器C1,C2は顧客組織Cが利用している。
[Masking example (1)]
FIG. 8 shows a first example relating to masking control as a specific example of the present system. The upper side of FIG. 8 shows a configuration of the target device 11 and an example of photographing, and the lower side of FIG. 8 shows an example of masking processing. On the upper side of FIG. 8, in the first example, in the “data center A”, in the “rack L1” that is the rack 11A of “section 1”, the devices A1, B1, C1, D1, etc. are mounted as the devices 11B. Yes. In the “rack L2” of “section 2”, devices A2, B2, C2, D2, etc. are mounted as the device 11B. Each device 11B is uniquely assigned an ID. As the correspondence relationship between the device 11 and the customer organization, for example, the device A1 and A2 are used by the customer organization A, the devices B1 and B2 are used by the customer organization B, and the devices C1 and C2 are used by the customer organization C. doing.

第1例では、ラック11Aに搭載されている複数の機器11Bは、利用する顧客組織が異なる複数の種類の機器であり、機器11B毎にユーザの参照権限が異なる。参照権限の設定として、例えば、顧客組織Aの機器A1,A2については、ユーザID=U01,U02のユーザが参照許可となっており、顧客組織Bの機器B1,B2については、ユーザID=U03,U04のユーザが参照許可となっている。   In the first example, the plurality of devices 11B mounted on the rack 11A are a plurality of types of devices having different customer organizations to be used, and the user's reference authority differs for each device 11B. As reference authority settings, for example, for the devices A1 and A2 of the customer organization A, the user ID = U01 and U02 are allowed to reference, and for the devices B1 and B2 of the customer organization B, the user ID = U03. , U04 user is allowed to refer.

第1例では、ユーザID=U03であるユーザU1と、ユーザID=U04であるユーザU2とで遠隔連携作業を行うとする。ユーザID=U03であるユーザU1が、「ラックL1」の機器B1を主に対象としてカメラで撮影している。その撮影映像フレーム801内には、機器B1のID媒体12が含まれている。撮影映像フレーム801内には、機器A1や機器C1の部分も含まれている。   In the first example, it is assumed that the user U1 with user ID = U03 and the user U2 with user ID = U04 perform remote cooperation work. A user U1 with a user ID = U03 is taking a picture with a camera mainly for the device B1 in the “rack L1”. The captured video frame 801 includes the ID medium 12 of the device B1. The photographed video frame 801 also includes devices A1 and C1.

図8の下側で、マスキング前の撮影映像フレーム801、マスクフレーム802、マスキング後のマスキング映像フレーム803を示す。撮影映像フレーム801内から、機器B1のIDが検出される。そのIDで示す機器B1に関して、ユーザID=U03であるユーザU1、及びユーザID=U04であるユーザU2は、二人共に参照権限が有る。また、撮影映像フレーム801内から、機器C1のIDが検出される。そのIDで示す機器C1に関して、ユーザID=U03であるユーザU1、及びユーザID=U04であるユーザU2は、二人共に参照権限が無い。   The lower side of FIG. 8 shows a captured video frame 801 before masking, a mask frame 802, and a masked video frame 803 after masking. From the captured video frame 801, the ID of the device B1 is detected. Regarding the device B1 indicated by the ID, both the user U1 with the user ID = U03 and the user U2 with the user ID = U04 have reference authority. Further, the ID of the device C1 is detected from the captured video frame 801. Regarding the device C1 indicated by the ID, both the user U1 with the user ID = U03 and the user U2 with the user ID = U04 have no reference authority.

よって、マスクフレーム802は、初期の全マスク領域のうち、機器B1の画像部分が非マスク領域とされ、他の画像部分はマスク領域とされる。撮影映像フレーム801にマスクフレーム802が合成されることにより、マスキング映像フレーム803が生成される。マスキング映像フレーム803では、機器B1の画像部分が非マスク領域として見えている。   Therefore, in the mask frame 802, the image part of the device B1 is set as a non-mask area, and the other image parts are set as mask areas among all initial mask areas. A masking video frame 803 is generated by combining the captured video frame 801 with the mask frame 802. In the masking video frame 803, the image portion of the device B1 is seen as a non-mask area.

[マスキング例(2)]
図9は、マスキングの制御に関する第2例を同様に示す。図9の上側で、第2例では、「データセンタA」において、「区画1」のラック11Aである「ラックL1」には、機器11Bとして機器A1,A2,A3,A4等が搭載されている。「区画2」の「ラックL2」には、機器11Bとして機器B1,B2,B3,B4等が搭載されている。各機器11Bには一意にIDが付与されている。機器11と顧客組織との対応関係として、例えば「ラックL1」の機器A1〜A4は顧客組織Aが利用しており、「ラックL2」の機器B1〜B4は顧客組織Bが利用している。
[Masking example (2)]
FIG. 9 similarly shows a second example relating to masking control. In the second example on the upper side of FIG. 9, in “data center A”, “rack L1” that is rack 11A of “section 1” has devices A1, A2, A3, A4, etc. mounted as devices 11B. Yes. Equipment B1, B2, B3, B4, etc. are mounted as equipment 11B in “rack L2” of “section 2”. Each device 11B is uniquely assigned an ID. As a correspondence relationship between the device 11 and the customer organization, for example, the device A1 to A4 of the “rack L1” is used by the customer organization A, and the device B1 to B4 of the “rack L2” is used by the customer organization B.

第2例では、ラック11Aに搭載されている複数の機器11Bは、利用する顧客組織が同じである複数の種類の機器である。参照権限の設定として、例えば、顧客組織Aの機器A1〜A4については、ユーザID=U01,U02のユーザが参照許可となっており、顧客組織Bの機器B1〜B4については、ユーザID=U03,U04のユーザが参照許可となっている。   In the second example, the plurality of devices 11B mounted on the rack 11A are a plurality of types of devices that use the same customer organization. As reference authority setting, for example, the user ID = U01, U02 is permitted to refer to the devices A1 to A4 of the customer organization A, and the user ID = U03 for the devices B1 to B4 of the customer organization B. , U04 user is allowed to refer.

第2例では、ユーザID=U01であるユーザU1と、ユーザID=U02であるユーザU2とで遠隔連携作業を行うとする。ユーザID=U01であるユーザU1が、「ラックL1」の機器A3を主に対象としてカメラで撮影している。その撮影映像フレーム901内には、機器A3のID媒体12が含まれている。撮影映像フレーム901内には、機器A2や機器A4の部分や、隣の「ラックL2」の機器B3等の一部も含まれている。   In the second example, it is assumed that the user U1 with user ID = U01 and the user U2 with user ID = U02 perform remote cooperation work. A user U1 having a user ID = U01 is taking a picture with a camera mainly for the device A3 in the “rack L1”. The captured video frame 901 includes the ID medium 12 of the device A3. The photographed video frame 901 includes a part of the device A2 and the device A4 and a part of the device B3 of the adjacent “rack L2”.

図9の下側で、マスキング前の撮影映像フレーム901、マスクフレーム902、マスキング後のマスキング映像フレーム903を示す。撮影映像フレーム901内から、機器A2,A3,A4のIDが検出される。それらのIDで示す機器A2,A3,A4に関して、ユーザID=U01であるユーザU1、及びユーザID=U02であるユーザU2は、二人共に参照権限が有る。   The lower part of FIG. 9 shows a captured video frame 901, a mask frame 902, and a masked video frame 903 after masking. The IDs of the devices A2, A3 and A4 are detected from the captured video frame 901. Regarding the devices A2, A3, and A4 indicated by these IDs, the user U1 with user ID = U01 and the user U2 with user ID = U02 both have reference authority.

よって、マスクフレーム902は、初期の全マスク領域のうち、機器A2〜A4の画像部分が非マスク領域とされ、他の画像部分はマスク領域とされる。撮影映像フレーム901にマスクフレーム902が合成されることにより、マスキング映像フレーム903が生成される。マスキング映像フレーム903では、機器A2〜A4の画像部分が非マスク領域として見えている。   Therefore, in the mask frame 902, the image portions of the devices A2 to A4 among the initial all mask regions are set as non-mask regions, and the other image portions are set as mask regions. A masking video frame 903 is generated by combining the captured video frame 901 with the mask frame 902. In the masking video frame 903, the image portions of the devices A2 to A4 are seen as non-mask areas.

また、仮に、撮影映像フレーム901内から、隣の「ラックL2」の機器B3等のIDも検出された場合、そのIDで示す機器B3等に関して、ユーザID=U01であるユーザU1、及びユーザID=U02であるユーザU2は、二人共に参照権限が無い。よって、その場合も、同様に、マスキング映像フレーム903では、機器A2〜A4の画像部分のみが非マスク領域として見える。   Also, if the ID of the device “B3” of the adjacent “rack L2” is also detected from within the captured video frame 901, the user U1 and the user ID with user ID = U01 are associated with the device B3 indicated by the ID. Both of the users U2 with = U02 have no reference authority. Therefore, in this case as well, in the masking video frame 903, only the image portions of the devices A2 to A4 are seen as a non-mask area.

なお、ラック11A単位でマスキングを制御する場合、以下のように可能である。予め、ラック11AにID媒体12が付与される。設定情報51には、ラック11AとIDとの関連付け情報や、ラック11Aの機器輪郭情報等が設定される。ユーザU1は、ラック11Aを対象に撮影する。撮影映像からラック11AのIDが検出される。サーバ30は、マスキング処理で、ラック11Aの複数の機器11Bに関してまとめて非マスク領域とする。   When masking is controlled in units of rack 11A, the following is possible. The ID medium 12 is previously given to the rack 11A. In the setting information 51, association information between the rack 11A and the ID, equipment outline information of the rack 11A, and the like are set. The user U1 takes an image of the rack 11A. The ID of the rack 11A is detected from the captured video. The server 30 performs a masking process and collectively sets a plurality of devices 11B of the rack 11A as a non-mask area.

[機器輪郭情報を用いたマスクフレーム決定]
図10は、補足として、図4のS8のマスクフレーム決定処理に関する詳細処理例を示す。この処理例では、サーバ30は、設定情報51の図5の識別情報マスタ表の機器輪郭情報を用いて、撮影映像フレームから画像比較照合により機器輪郭を検出し、機器輪郭に合わせて非マスク領域を決定する。映像マスキング部33は、撮影映像フレーム内の画像部分と、機器輪郭情報とを比較照合して、機器輪郭を検出する。映像マスキング部33は、検出した機器輪郭に合わせて、マスクフレームに、非マスク領域をセットする。これにより、より細かく非マスク領域を決定できる。機器輪郭の検出処理の際には、公知の画像処理を適用可能であり、特に限定されない。画像処理は、例えば、画像フレーム内から主な線分や色を検出して機器輪郭情報の線分や色と比較するものでもよい。
[Mask frame determination using device outline information]
FIG. 10 shows, as a supplement, a detailed processing example regarding the mask frame determination processing in S8 of FIG. In this processing example, the server 30 uses the device contour information in the identification information master table in FIG. 5 of the setting information 51 to detect the device contour from the captured video frame by image comparison and matches the device contour with the non-mask area. To decide. The video masking unit 33 compares the image portion in the captured video frame with the device contour information to detect the device contour. The video masking unit 33 sets a non-mask area on the mask frame in accordance with the detected device outline. Thereby, a non-mask area | region can be determined more finely. In the device outline detection process, known image processing can be applied, and is not particularly limited. In the image processing, for example, main line segments and colors may be detected from the image frame and compared with the line segments and colors of the device outline information.

図10の(1)は、機器輪郭情報の画像データ例として、機器11を所定の方向から見た場合の2次元の機器輪郭形状を表す。この機器輪郭情報内には、機器11に付与されているID媒体12の形状及び位置も記述されている。本例では、この機器輪郭情報は、機器11の筐体の正面を見た矩形の画像であり、右上の付近にはID媒体12の画像を有する。   (1) of FIG. 10 represents a two-dimensional device contour shape when the device 11 is viewed from a predetermined direction as an example of image data of the device contour information. In the device outline information, the shape and position of the ID medium 12 assigned to the device 11 are also described. In this example, the device outline information is a rectangular image when the front of the casing of the device 11 is viewed, and has an image of the ID medium 12 in the vicinity of the upper right.

図10の(2)は、撮影映像フレーム例を示し、あるラック11Aに搭載されているある機器11Bの正面及びそのID媒体12が写っている。サーバ30は、(2)の撮影映像フレーム内の画像部分と、(1)の機器輪郭情報とを比較照合し、機器11Bの輪郭を抽出する。また、動画の場合、時系列のフレームにおいて、機器11の輪郭が変動する。その場合、サーバ30は、フレーム間において、機器11の輪郭の変動を追随して検出する。   (2) in FIG. 10 shows an example of a captured video frame, in which the front surface of a certain device 11B mounted on a certain rack 11A and its ID medium 12 are shown. The server 30 compares the image portion in the captured video frame of (2) with the device outline information of (1), and extracts the contour of the device 11B. In the case of a moving image, the contour of the device 11 varies in a time-series frame. In that case, the server 30 follows and detects the variation in the contour of the device 11 between frames.

図10の(3)は、(1)及び(2)に基づいて決定されたマスクフレームによるマスキング映像フレームを示す。(2)で検出された機器輪郭に合わせて非マスク領域がセットされており、他の領域にはマスク領域がセットされている。   (3) of FIG. 10 shows a masking video frame by the mask frame determined based on (1) and (2). A non-mask area is set according to the device outline detected in (2), and a mask area is set in the other areas.

図10の(4)は、同様に、機器輪郭情報の画像データ例として、機器11を斜視で見た場合の3次元の機器輪郭形状を表す。本例では、この機器輪郭情報は、機器11の筐体が長方体形状を有する。   Similarly, (4) in FIG. 10 represents a three-dimensional device contour shape when the device 11 is viewed in perspective as an example of image data of the device contour information. In this example, the device outline information indicates that the housing of the device 11 has a rectangular parallelepiped shape.

図10の(5)は、同様に、撮影映像フレーム例を示し、ある機器11B及びそのID媒体12が斜め上から見た状態で写っている。サーバ30は、(5)の撮影映像フレーム内の画像部分と、(4)の機器輪郭情報とを比較照合し、機器11Bの輪郭を抽出する。   Similarly, (5) in FIG. 10 shows an example of a captured video frame, in which a certain device 11B and its ID medium 12 are seen as seen from obliquely above. The server 30 compares the image portion in the captured video frame of (5) with the device outline information of (4), and extracts the outline of the device 11B.

図10の(6)は、同様に、(4)及び(5)に基づいて決定されたマスクフレームによるマスキング映像フレームを示す。(5)で検出された機器輪郭に合わせて非マスク領域がセットされており、他の領域にはマスク領域がセットされている。   Similarly, (6) in FIG. 10 shows a masking video frame by the mask frame determined based on (4) and (5). A non-mask area is set according to the device outline detected in (5), and a mask area is set in the other areas.

なお、機器輪郭情報としては、実際の写真画像等に基づいて細かい輪郭形状を設定してもよいし、あるいは、実際の輪郭を包含するように矩形や長方体等の簡単な輪郭形状を設定してもよい。また、サーバ30は、撮影映像フレームから機器輪郭を検出する際には、カメラの撮影方向を判断し、撮影方向に応じて機器輪郭情報を加工して、機器輪郭を検出してもよい。   As the device outline information, a fine outline shape may be set based on an actual photographic image or the like, or a simple outline shape such as a rectangle or a rectangular shape is set so as to include the actual outline. May be. Further, when detecting the device contour from the captured video frame, the server 30 may determine the shooting direction of the camera, process the device contour information according to the shooting direction, and detect the device contour.

[効果等]
上記のように、実施の形態のIT運用作業遠隔支援システムによれば、ITシステムの運用作業の支援に関して、セキュリティを確保しつつ、効率的な遠隔連携作業を実現できる。従来のデータセンタ等のITシステムでは、セキュリティの観点で、遠隔地との映像、視覚情報等の共有による遠隔連携作業は難しかったが、本システムによれば、セキュリティを確保した上でその遠隔連携作業が可能となる。これにより、ITシステムの運用作業の効率化ができ、例えば障害発生時の復旧対応作業等に要する作業時間の短縮等が見込める。本システムは、テレビ会議システムやウェアブルカメラ等を用いた映像配信システム等の既存の映像共有システムとの併用も可能である。
[Effects]
As described above, according to the IT operation work remote support system of the embodiment, it is possible to realize efficient remote cooperation work while ensuring security with respect to support of the IT system operation work. In conventional IT systems such as data centers, remote collaboration work by sharing video, visual information, etc. with remote locations was difficult from a security point of view. Work becomes possible. As a result, the efficiency of IT system operation work can be improved. For example, the work time required for recovery work when a failure occurs can be shortened. This system can be used in combination with an existing video sharing system such as a video conference system or a video distribution system using a wearable camera.

[変形例]
実施の形態のIT運用作業遠隔支援システムの変形例として以下が可能である。
[Modification]
The following is possible as a modification of the IT operation work remote support system of the embodiment.

ID媒体12は、バーコードやシール等に限らず適用可能である。撮像映像フレーム内からIDが検出できる形式であればよく、任意の手段を適用可能である。機器11の筐体に直接的にIDが記載されていてもよい。   The ID medium 12 is not limited to a bar code or a seal, and can be applied. Any format may be used as long as the ID can be detected from the captured video frame, and any means can be applied. The ID may be directly written on the casing of the device 11.

撮影映像フレーム内からIDや機器輪郭を検出する処理に関しては、機械学習による画像認識処理を適用してもよい。   An image recognition process based on machine learning may be applied to the process of detecting the ID and device outline from the captured video frame.

映像共有で遠隔連携作業を行う二人のユーザの参照権限が一部異なる場合に、それぞれのユーザの携帯端末で表示するマスキング映像の内容を一部異ならせてもよい。それにより、部分的に映像共有での遠隔連携作業が可能である。例えば、ある機器Xに関してはユーザU1及びユーザU2が共に参照権限が有り、ある機器Yに関してはユーザU1が参照権限が有り、ユーザU2は参照権限が無いとする。撮影映像フレーム内に、機器X及び機器Yが含まれているとする。その場合、ユーザU1用のマスキング映像フレームでは、機器X及び機器Yの画像部分が非マスク領域として表示される。ユーザU2用のマスキング映像フレームでは、機器Xの画像部分のみが非マスク領域として表示される。両者間では機器Xに関して部分的に映像共有ができる。   When the reference authority of two users who perform remote cooperation work by video sharing is partially different, the contents of the masking video displayed on each user's mobile terminal may be partially different. As a result, it is possible to partially perform remote cooperation work with video sharing. For example, it is assumed that the user U1 and the user U2 have a reference authority for a certain device X, the user U1 has a reference authority for a certain device Y, and the user U2 has no reference authority. Assume that device X and device Y are included in the captured video frame. In that case, in the masking video frame for the user U1, the image portions of the device X and the device Y are displayed as a non-mask area. In the masking video frame for the user U2, only the image portion of the device X is displayed as a non-mask area. The video sharing can be partially made between the two regarding the device X.

[変形例−マスクフレーム決定例]
図11は、変形例における、マスクフレーム決定例を示す。この変形例は、図4のS8のマスクフレーム決定処理に関する別の処理例を示す。この変形例では、サーバ30は、機器輪郭情報を用いた比較照合による機器輪郭の検出を行わない。サーバ30は、撮影映像フレーム内からID媒体12の画像部分及びIDを検出し、フレーム内のそのID画像部分の位置を把握する。その位置は、例えばフレーム内の水平方向及び垂直方向の座標等で表せる。サーバ30は、そのID位置に基づいて、マスクフレームの非マスク領域を決定する。サーバ30は、マスクフレームにおいて、そのID位置を中心として、その周りの所定のサイズの範囲を、非マスク領域としてセットする。その範囲は、対象の機器11の機器輪郭を概ねカバーできるように余裕を持たせたサイズとする。その範囲は、本例では矩形としている。この変形例では、マスク精度、即ちマスク領域と非マスク領域との区分の精度としてはやや劣ることになるが、簡易処理による高速化が見込める。
[Modification-Example of determining mask frame]
FIG. 11 shows an example of determining a mask frame in the modification. This modification shows another processing example related to the mask frame determination processing in S8 of FIG. In this modification, the server 30 does not detect a device contour by comparison and collation using device contour information. The server 30 detects the image portion and ID of the ID medium 12 from the captured video frame, and grasps the position of the ID image portion in the frame. The position can be expressed by, for example, horizontal and vertical coordinates in the frame. The server 30 determines a non-mask area of the mask frame based on the ID position. In the mask frame, the server 30 sets a range of a predetermined size around the ID position as a non-mask area. The range is a size with a margin so that the device outline of the target device 11 can be substantially covered. The range is rectangular in this example. In this modification, the mask accuracy, that is, the accuracy of the division between the mask region and the non-mask region is slightly inferior, but an increase in speed by simple processing can be expected.

[変形例−マスキング詳細制御例]
図12は、変形例における、マスキングの詳細制御例を示す。撮影映像フレームの内容は、カメラのズームや撮影方向等に応じて変動し得る。この変形例では、サーバ30は、撮影映像フレームから、機器輪郭を追随しながら、対象の機器11のID媒体12のIDが検出、認識できている状態では、対象の機器11の画像部分を非マスク領域とするマスキングを継続する。サーバ30は、ズームや撮影方向の変動に伴って、撮影映像フレームから対象の機器11のIDが検出、認識できない状態では、所定の判断に基づいて、マスキングをリセットする。即ち、サーバ30は、対象の機器11の画像部分を含めてマスク領域とするようにマスキングを更新する。サーバ30は、再度、対象の機器11のIDが検出できた状態になったら、その機器11を非マスク領域とするようにマスキングを更新する。
[Modification-Detailed Masking Control Example]
FIG. 12 shows a detailed masking control example in the modification. The content of the captured video frame may vary depending on the zoom of the camera, the shooting direction, and the like. In this modification, the server 30 follows the device outline from the captured video frame, and in the state where the ID of the ID medium 12 of the target device 11 can be detected and recognized, the image portion of the target device 11 is not displayed. Continue masking as a mask area. The server 30 resets the masking based on a predetermined determination in a state where the ID of the target device 11 cannot be detected or recognized from the captured video frame due to the zoom or the change in the shooting direction. That is, the server 30 updates the masking so that the image area of the target device 11 is included in the mask area. When the server 30 is in a state where the ID of the target device 11 can be detected again, the server 30 updates the masking so that the device 11 is set as a non-mask area.

図12の(1)は、ユーザU1が「ラックL1」の機器Xを主に対象にカメラで撮影した例を示す。撮影映像フレームには、機器XのID媒体12が含まれている。   (1) of FIG. 12 shows an example in which the user U1 has photographed the device X in the “rack L1” mainly with the camera. The captured video frame includes the ID medium 12 of the device X.

図12の(2)は、(1)の撮影例に関するカメラの第1ズーム状態における撮影映像フレームと、その時のマスキング映像フレームとを示す。第1ズーム状態では、IDが検出しやすいように、機器XのID媒体12が大きく写るようにして、カメラをズームインまたは接写として撮影されている。これにより、正しいIDが認識できている状態である。そのため、マスキング映像フレームでは、そのIDの機器輪郭に合わせて非マスク領域がセットされている。   (2) of FIG. 12 shows a captured video frame in the first zoom state of the camera related to the shooting example of (1) and a masking video frame at that time. In the first zoom state, the camera is photographed as zoom-in or close-up so that the ID medium 12 of the device X is enlarged so that the ID can be easily detected. Thus, the correct ID can be recognized. For this reason, in the masking video frame, a non-mask area is set according to the device outline of the ID.

図12の(3)は、カメラの第2ズーム状態における撮影映像フレームと、その時のマスキング映像フレームとを示す。第2ズーム状態では、第1ズーム状態よりも少しズームアウトまたは機器Xから遠ざけるようにして撮影されている。これにより、画像内容が細かくなっているが、機器輪郭が追随され、IDが検出できている状態である。そのため、マスキング映像フレームでは、(2)と同様に機器輪郭に合わせたマスキングが継続されている。フレーム内の機器輪郭の変化に合わせて非マスク領域も変化するように調整される。このように、サーバ30は、最初に認識できたID及び機器輪郭が継続して把握されている限り、同様のマスキングを継続する。   (3) in FIG. 12 shows a captured video frame in the second zoom state of the camera and a masking video frame at that time. In the second zoom state, the image is taken so that it is slightly zoomed out or away from the device X than in the first zoom state. Thereby, although the image content is fine, the device outline is followed and the ID can be detected. Therefore, in the masking video frame, masking according to the device outline is continued as in (2). The non-mask area is adjusted so as to change in accordance with the change in the device outline in the frame. Thus, the server 30 continues the same masking as long as the ID and the device outline that can be recognized first are continuously understood.

図12の(4)は、カメラの第3ズーム状態における撮影映像フレームと、その時のマスキング映像フレームとを示す。第3ズーム状態では、第2ズーム状態よりも更にズームアウトまたは遠ざかった撮影として、画像内容が細かくなっている。そのため、機器XのIDが検出できず、認識不可状態である。サーバ30は、例えばIDが検出、認識できない状態が、一定時間以上続いた場合、マスキングをリセットする。これにより、マスキング映像フレームでは、機器Xの画像部分を含め、すべてマスク領域となっている。   (4) in FIG. 12 shows a captured video frame in the third zoom state of the camera and a masking video frame at that time. In the third zoom state, the image content is finer as a further zoomed-out or farther shooting than in the second zoom state. For this reason, the ID of the device X cannot be detected and is in an unrecognizable state. For example, the server 30 resets the masking when the state in which the ID cannot be detected or recognized continues for a certain period of time or longer. As a result, the masking video frame is entirely a mask area including the image portion of the device X.

ズームアウト状態からズームイン状態とした場合にも、上記と同様の制御が適用可能である。また、マスキングのリセットの際には、携帯端末10の表示画面に、「再度IDの読み取りを行ってください」等の案内情報を出力するようにしてもよい。   The same control as described above can be applied when the zoom-out state is changed to the zoom-in state. When resetting the masking, guidance information such as “Please read ID again” may be output on the display screen of the mobile terminal 10.

上記マスキングのリセットに関する判断は、ID認識不可状態の一定時間継続の判断に限らず可能である。例えば、サーバ30は、ID認識不可状態になったら即時にマスキングをリセットしてもよい。また、例えば、サーバ30は、撮影映像フレームの画像の変化の度合いを判断し、変化の度合いが一定のレベルを超える場合に、マスキングをリセットしてもよい。例えば、カメラの撮影方向の揺れ等によって、映像内容が著しく変化した場合、撮影映像フレーム内からID媒体12が消えてIDが検出できない状態が生じる。そのような場合、安全のために、マスキングがリセットされ、IDが安定的に検出できる状態になるまでは、参照不許可にされる。   The determination regarding the resetting of the masking is not limited to the determination of continuing for a certain period of time when the ID cannot be recognized. For example, the server 30 may reset the masking immediately when the ID recognition is disabled. For example, the server 30 may determine the degree of change in the image of the captured video frame, and reset the masking when the degree of change exceeds a certain level. For example, when the video content is remarkably changed due to shaking of the shooting direction of the camera, the ID medium 12 disappears from the shot video frame, and the ID cannot be detected. In such a case, for safety, the masking is reset, and the reference is not permitted until the ID can be stably detected.

また、応用として、予め、機器11毎の機器輪郭情報として、撮影の際の距離を考慮して、複数の機器輪郭情報を設定しておいてもよい。マスキングの際にはそれらの複数の機器輪郭情報から距離等に応じて選択した機器輪郭情報を用いて非マスク領域をセットしてもよい。   As an application, a plurality of device contour information may be set in advance as device contour information for each device 11 in consideration of the distance at the time of shooting. At the time of masking, the non-mask area may be set using device contour information selected according to the distance from the plurality of device contour information.

この変形例では、ユーザによるカメラのズームや方向の振れ等の場合にも対応でき、セキュリティを確保しつつ、使い勝手を良くできる。   In this modification, it is possible to cope with a case where the user zooms in the camera or shakes the direction, and the usability can be improved while ensuring security.

以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。   Although the present invention has been specifically described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention.

1…ITシステム、2…遠隔地、3…支援システム、4…通信網、10…携帯端末、10A…撮影部、10B…映像送受信部、11…機器、12…ID媒体、20…携帯端末、20B…映像送受信部、30…サーバ、31…設定部、32…認証部、33…映像マスキング部、51…設定情報、52…マスキング映像データ、U1,U2…ユーザ。   DESCRIPTION OF SYMBOLS 1 ... IT system, 2 ... Remote place, 3 ... Support system, 4 ... Communication network, 10 ... Mobile terminal, 10A ... Image pick-up part, 10B ... Video transmission / reception part, 11 ... Equipment, 12 ... ID medium, 20 ... Mobile terminal, 20B ... Video transmission / reception unit, 30 ... Server, 31 ... Setting unit, 32 ... Authentication unit, 33 ... Video masking unit, 51 ... Setting information, 52 ... Masking video data, U1, U2 ... User.

Claims (10)

ITシステムの運用作業を支援するIT運用作業遠隔支援システムであって、
現地のITシステムで作業を行う第1作業者の第1携帯端末と、
遠隔地で作業を行う第2作業者の第2携帯端末と、
サーバと、
を備え、
前記ITシステムの機器には、IDが記載されたID媒体が付与されており、
前記機器と前記IDとの関連付け情報と、前記第1作業者のユーザID及び前記第2作業者のユーザIDと、前記IDで示す前記機器に対する前記第2作業者の参照権限の情報と、を含む設定情報を有し、
前記サーバは、
前記第1作業者がカメラを用いて前記機器を撮影した撮影映像から、前記ID媒体の前記IDを検出し、
前記設定情報に基づいて、前記検出した前記IDで示す前記機器に関する前記第2作業者の参照権限の有無を確認し、
前記撮影映像に対し、前記第2作業者の参照権限が有る前記機器の画像部分を非マスク領域とし、前記第2作業者の参照権限が無い前記機器の画像部分をマスク領域としたマスキング処理を施して、マスキング映像を生成し、
前記マスキング映像を前記第2携帯端末へ提供して表示画面に表示させる、
IT運用作業遠隔支援システム。
An IT operation work remote support system for supporting IT system operation work,
A first portable terminal of a first worker who works with a local IT system;
A second portable terminal of a second worker performing work at a remote location;
Server,
With
An ID medium in which an ID is written is given to the IT system device,
The association information between the device and the ID, the user ID of the first worker and the user ID of the second worker, and information on the reference authority of the second worker for the device indicated by the ID, With configuration information including
The server
The first worker detects the ID of the ID medium from a photographed image obtained by photographing the device using a camera,
Based on the setting information, confirm the presence or absence of reference authority of the second worker for the device indicated by the detected ID,
A masking process is performed on the captured video, with the image portion of the device having the reference authority of the second operator as a non-mask area and the image portion of the device without the reference authority of the second operator as a mask area. To generate a masking video,
Providing the masking image to the second mobile terminal to display on the display screen;
IT operation work remote support system.
請求項1記載のIT運用作業遠隔支援システムにおいて、
前記サーバは、前記マスキング映像を前記第1携帯端末へ提供して表示画面に表示させる、
IT運用作業遠隔支援システム。
In the IT operation work remote support system according to claim 1,
The server provides the masking video to the first mobile terminal to display on the display screen;
IT operation work remote support system.
請求項1記載のIT運用作業遠隔支援システムにおいて、
前記サーバは、前記マスキング処理では、初期のマスクフレームとして全領域を前記マスク領域とし、前記初期のマスクフレームに対し、前記参照権限が有る前記機器の画像部分を前記非マスク領域にセットし、他の全画像部分を前記マスク領域にセットして、最新のマスクフレームを決定し、前記撮影映像に前記最新のマスクフレームを合成することにより前記マスキング映像を生成する、
IT運用作業遠隔支援システム。
In the IT operation work remote support system according to claim 1,
In the masking process, the server sets the entire area as the initial mask frame as the mask area, sets the image portion of the device having the reference authority for the initial mask frame in the non-mask area, Set the entire image portion of the mask region, determine the latest mask frame, and generate the masking video by combining the latest mask frame with the captured video,
IT operation work remote support system.
請求項1記載のIT運用作業遠隔支援システムにおいて、
前記サーバは、前記第1作業者のユーザIDを用いて前記第1作業者のユーザ認証を行い、前記第2作業者のユーザIDを用いて前記第2作業者のユーザ認証を行い、前記ユーザ認証に基づいて前記第1作業者及び前記第2作業者を、遠隔連携作業を行う二人のユーザとして把握する、
IT運用作業遠隔支援システム。
In the IT operation work remote support system according to claim 1,
The server performs user authentication of the first worker using the user ID of the first worker, performs user authentication of the second worker using the user ID of the second worker, and the user Based on the authentication, the first worker and the second worker are grasped as two users who perform remote cooperation work.
IT operation work remote support system.
請求項1記載のIT運用作業遠隔支援システムにおいて、
前記第1携帯端末は、前記第2携帯端末との間で映像を含むデータを送受信する映像送受信部を有し、
前記第2携帯端末は、前記第1携帯端末との間で映像を含むデータを送受信する映像送受信部を有し、
前記第1携帯端末と前記第2携帯端末との間で、前記マスキング映像と、前記マスキング映像に対して重畳または並列で入出力される映像、音声、または文字の少なくとも1つのデータと、を共有する、
IT運用作業遠隔支援システム。
In the IT operation work remote support system according to claim 1,
The first mobile terminal has a video transmission / reception unit that transmits and receives data including video to and from the second mobile terminal,
The second mobile terminal has a video transmission / reception unit that transmits and receives data including video to and from the first mobile terminal,
Sharing the masking video and at least one data of video, audio, or characters input / output in a superimposed or parallel manner with the masking video between the first mobile terminal and the second mobile terminal To
IT operation work remote support system.
請求項1記載のIT運用作業遠隔支援システムにおいて、
前記機器には、前記IDが符号化された情報が記載された前記ID媒体が貼り付けられており、
前記第1携帯端末は、前記第1作業者の操作に基づいて、前記カメラの前記撮影映像を前記サーバに送信し、
前記サーバは、前記撮影映像から、画像処理に基づいて、前記IDを検出し、前記マスキング映像を前記第1携帯端末へ送信し、
前記第1携帯端末は、前記マスキング映像を前記第2携帯端末へ送信する、
IT運用作業遠隔支援システム。
In the IT operation work remote support system according to claim 1,
The ID medium on which the information encoded with the ID is written is pasted on the device,
The first portable terminal transmits the captured video of the camera to the server based on the operation of the first operator,
The server detects the ID from the captured video based on image processing, transmits the masking video to the first mobile terminal,
The first mobile terminal transmits the masking video to the second mobile terminal;
IT operation work remote support system.
請求項1記載のIT運用作業遠隔支援システムにおいて、
前記サーバは、前記マスキング処理では、前記IDで示す前記機器に関して、前記第1作業者の参照権限が有る、かつ、前記第2作業者の参照権限が有る場合、前記機器の画像部分を前記非マスク領域とする、
IT運用作業遠隔支援システム。
In the IT operation work remote support system according to claim 1,
In the masking process, when the server has the reference authority of the first worker and the reference authority of the second worker with respect to the device indicated by the ID, the server removes the image portion of the device. A mask area,
IT operation work remote support system.
請求項1記載のIT運用作業遠隔支援システムにおいて、
前記設定情報は、前記機器の機器輪郭情報を含み、
前記サーバは、前記撮影映像のフレーム内の画像部分と前記機器輪郭情報とを比較照合して前記機器の輪郭を検出し、前記検出した前記機器の輪郭に合わせて前記非マスク領域及び前記マスク領域を決定する、
IT運用作業遠隔支援システム。
In the IT operation work remote support system according to claim 1,
The setting information includes device outline information of the device,
The server detects an outline of the device by comparing and collating an image portion in a frame of the captured video with the device outline information, and matches the detected non-mask area and the mask area with the detected outline of the device. To decide,
IT operation work remote support system.
請求項1記載のIT運用作業遠隔支援システムにおいて、
前記サーバは、前記撮影映像のフレームから前記IDが検出できている状態では、前記マスキング処理によるマスキングを継続し、前記IDが検出できない状態、またはその状態が所定時間以上続いた場合には、前記マスキングのリセットとして前記フレームの全領域を前記マスク領域にし、再度前記IDが検出できた状態になった場合には、前記マスキングを更新する、
IT運用作業遠隔支援システム。
In the IT operation work remote support system according to claim 1,
The server continues masking by the masking process in a state where the ID can be detected from the frame of the photographed video, and if the ID cannot be detected, or if the state continues for a predetermined time or more, As a reset of masking, the entire area of the frame is changed to the mask area, and when the ID can be detected again, the masking is updated.
IT operation work remote support system.
ITシステムの運用作業を支援するIT運用作業遠隔支援システムにおけるIT運用作業遠隔支援方法であって、
前記IT運用作業遠隔支援システムは、
現地のITシステムで作業を行う第1作業者の第1携帯端末と、
遠隔地で作業を行う第2作業者の第2携帯端末と、
サーバと、
を備え、
前記ITシステムの機器には、IDが記載されたID媒体が付与されており、
前記機器と前記IDとの関連付け情報と、前記第1作業者のユーザID及び前記第2作業者のユーザIDと、前記IDで示す前記機器に対する前記第2作業者の参照権限の情報と、を含む設定情報を有し、
前記IT運用作業遠隔支援システムで前記サーバにより実行されるステップとして、
前記第1作業者がカメラを用いて前記機器を撮影した撮影映像から、前記ID媒体の前記IDを検出するステップと、
前記設定情報に基づいて、前記検出した前記IDで示す前記機器に関する前記第2作業者の参照権限の有無を確認するステップと、
前記撮影映像に対し、前記第2作業者の参照権限が有る前記機器の画像部分を非マスク領域とし、前記第2作業者の参照権限が無い前記機器の画像部分をマスク領域としたマスキング処理を施して、マスキング映像を生成するステップと、
前記マスキング映像を前記第2携帯端末へ提供して表示画面に表示させるステップと、
を有する、IT運用作業遠隔支援方法。
An IT operation work remote support method in an IT operation work remote support system for supporting IT system operation work,
The IT operation work remote support system is
A first portable terminal of a first worker who works with a local IT system;
A second portable terminal of a second worker performing work at a remote location;
Server,
With
An ID medium in which an ID is written is given to the IT system device,
The association information between the device and the ID, the user ID of the first worker and the user ID of the second worker, and information on the reference authority of the second worker for the device indicated by the ID, With configuration information including
As steps executed by the server in the IT operation work remote support system,
Detecting the ID of the ID medium from a photographed image of the device photographed by the first worker using a camera;
Based on the setting information, confirming the presence or absence of reference authority of the second worker for the device indicated by the detected ID;
A masking process is performed on the captured video, with the image portion of the device having the reference authority of the second operator as a non-mask area and the image portion of the device without the reference authority of the second operator as a mask area. And generating a masking image,
Providing the masking video to the second mobile terminal and displaying the masking video on a display screen;
An IT operation work remote support method.
JP2016168773A 2016-08-31 2016-08-31 System and method for remotely supporting it operation work Pending JP2018036812A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016168773A JP2018036812A (en) 2016-08-31 2016-08-31 System and method for remotely supporting it operation work

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016168773A JP2018036812A (en) 2016-08-31 2016-08-31 System and method for remotely supporting it operation work

Publications (1)

Publication Number Publication Date
JP2018036812A true JP2018036812A (en) 2018-03-08

Family

ID=61565834

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016168773A Pending JP2018036812A (en) 2016-08-31 2016-08-31 System and method for remotely supporting it operation work

Country Status (1)

Country Link
JP (1) JP2018036812A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020077898A (en) * 2018-11-05 2020-05-21 株式会社東芝 Image processing device and image processing method
JP6748793B1 (en) * 2019-03-22 2020-09-02 Sppテクノロジーズ株式会社 Maintenance support system, maintenance support method, program and method of generating processed image
WO2020194777A1 (en) * 2019-03-22 2020-10-01 Sppテクノロジーズ株式会社 Maintenance assistance system, maintenance assistance method, program, processed image generation method, and processed image
JP2021150866A (en) * 2020-03-19 2021-09-27 Necフィールディング株式会社 Video control device, video control system, video control method, and program
JP2022037675A (en) * 2020-08-25 2022-03-09 Sppテクノロジーズ株式会社 Remote maintenance support method
JP7377614B2 (en) 2019-03-26 2023-11-10 株式会社富士通エフサス Wearable device and transmission control method

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020077898A (en) * 2018-11-05 2020-05-21 株式会社東芝 Image processing device and image processing method
JP7179583B2 (en) 2018-11-05 2022-11-29 株式会社東芝 Image processing device and image processing method
US20220012868A1 (en) * 2019-03-22 2022-01-13 Spp Technologies Co., Ltd. Maintenance support system, maintenance support method, program, method for generating processed image, and processed image
WO2020196276A1 (en) * 2019-03-22 2020-10-01 Sppテクノロジーズ株式会社 Maintenance assistance system, maintenance assistance method, program, method for generating processed image, and processed image
WO2020194778A1 (en) * 2019-03-22 2020-10-01 Sppテクノロジーズ株式会社 Assistance system, assistance method, and program
JP6837603B1 (en) * 2019-03-22 2021-03-03 Sppテクノロジーズ株式会社 Support systems, support methods and programs
JPWO2020194413A1 (en) * 2019-03-22 2021-10-14 Sppテクノロジーズ株式会社 Maintenance support system, maintenance support method and program
JPWO2020196276A1 (en) * 2019-03-22 2021-10-21 Sppテクノロジーズ株式会社 Maintenance support system, maintenance support method, program and processed image generation method
WO2020194777A1 (en) * 2019-03-22 2020-10-01 Sppテクノロジーズ株式会社 Maintenance assistance system, maintenance assistance method, program, processed image generation method, and processed image
EP3944201A4 (en) * 2019-03-22 2022-04-13 SPP Technologies Co., Ltd. Maintenance assistance system, maintenance assistance method, and program
JP6748793B1 (en) * 2019-03-22 2020-09-02 Sppテクノロジーズ株式会社 Maintenance support system, maintenance support method, program and method of generating processed image
JP7377614B2 (en) 2019-03-26 2023-11-10 株式会社富士通エフサス Wearable device and transmission control method
JP2021150866A (en) * 2020-03-19 2021-09-27 Necフィールディング株式会社 Video control device, video control system, video control method, and program
JP7176775B2 (en) 2020-03-19 2022-11-22 Necフィールディング株式会社 VIDEO CONTROL DEVICE, VIDEO CONTROL SYSTEM, VIDEO CONTROL METHOD AND PROGRAM
JP2022037675A (en) * 2020-08-25 2022-03-09 Sppテクノロジーズ株式会社 Remote maintenance support method

Similar Documents

Publication Publication Date Title
JP2018036812A (en) System and method for remotely supporting it operation work
EP3237991B1 (en) Communication system comprising head wearable devices
US10915777B2 (en) Communication terminal, communication system, and image processing method
JP7238346B2 (en) Information processing device, control program for information processing device, and communication terminal
JP2007158421A (en) Monitoring camera system and face image tracing recording method
CN110689460A (en) Traffic accident data processing method, device, equipment and medium based on block chain
US11245707B2 (en) Communication terminal, communication system, communication control method, and recording medium
WO2007116804A1 (en) Digital camera system
JP2014154129A (en) Outfit recognition system
JP2020194295A (en) Information processor, and information processing program
JP6428152B2 (en) Portrait right protection program, information communication device, and portrait right protection method
WO2019084742A1 (en) Data transmission method, server, storage system, terminal device, and system
JP2013161098A (en) Server device and monitoring system
WO2022259569A1 (en) Authentication system, authentication device, authentication method, and program
JP2021150866A (en) Video control device, video control system, video control method, and program
JP7102859B2 (en) Video Conference Systems, Video Conference Methods, and Programs
CN111967555A (en) Mobile payment, people&#39;s identity verification and non-identity verification integrated system
JP6522691B2 (en) Personnel presence confirmation system
JP7077504B1 (en) Information processing equipment, programs, and control methods for information processing equipment
US11582274B2 (en) Videoconferencing system
JP2019186914A (en) Communication terminal, communication system, communication method, and program
KR20150027462A (en) Attendance verification system
KR20180048043A (en) Smart method for ordering work
KR20190061330A (en) Augmenting reality device providing video capture and marker function and method of providing augmented reality service using it
JP6213238B2 (en) Information processing apparatus, information processing apparatus control method, and program