JP2018036812A - System and method for remotely supporting it operation work - Google Patents
System and method for remotely supporting it operation work Download PDFInfo
- Publication number
- JP2018036812A JP2018036812A JP2016168773A JP2016168773A JP2018036812A JP 2018036812 A JP2018036812 A JP 2018036812A JP 2016168773 A JP2016168773 A JP 2016168773A JP 2016168773 A JP2016168773 A JP 2016168773A JP 2018036812 A JP2018036812 A JP 2018036812A
- Authority
- JP
- Japan
- Prior art keywords
- video
- masking
- user
- worker
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、情報処理サービス技術に関し、ＩＴシステムの運用作業を支援するための技術に関する。 The present invention relates to an information processing service technology, and relates to a technology for supporting IT system operation work.
事業者のデータセンタや顧客組織のシステム等のＩＴシステムにおいて、稼動する機器やシステムの監視、保守、及び障害対応等を含む運用作業が作業者によって行われている。その運用作業は、主に、現地のＩＴシステムの所にいる専任の作業者（以下、「現地作業者」と記載する場合がある）によって行われている。この運用作業において、通常時の定型的な作業や既知の障害への対応作業等、予め設計時に想定されている作業や、過去に発生した事例がある作業については、現地作業者によって対応可能である。そのような作業は、整備されているマニュアルや自動実行ジョブ等を用いて対応可能である。 In an IT system such as a data center of a business operator or a system of a customer organization, operation work including monitoring, maintenance, failure handling, and the like of operating devices and systems is performed by workers. The operation work is mainly performed by a full-time worker (hereinafter sometimes referred to as “local worker”) in the local IT system. In this operation work, local workers can handle work that is assumed at the time of design in advance, such as routine work at normal times and work for handling known faults, and work that has occurred in the past. is there. Such work can be handled by using a maintained manual, an automatic execution job, or the like.
しかし、新規の障害への対応や通常時に想定していなかった臨時の作業等の運用作業については、現地作業者だけでは対応できない場合がある。その場合、現地作業者から、遠隔地にいる専門技術者等の作業者（以下、「遠隔作業者」と記載する場合がある）に連絡して状況等を説明する。そして、遠隔作業者から現地作業者へ連絡で作業指示等を与え、現地作業者は、その作業指示等を受けて対応作業を行う。また、その際、文章や口頭による遠隔の作業指示では伝達や対応が困難である場合には、遠隔作業者が現地のＩＴシステムの所へ駆けつけて対応作業を行う。 However, local workers may not be able to handle operations such as dealing with new obstacles and extraordinary tasks that were not expected during normal times. In that case, a local worker will contact a worker such as a professional engineer (hereinafter sometimes referred to as “remote worker”) in a remote place to explain the situation. Then, a remote worker gives a work instruction or the like by contacting the local worker, and the local worker performs a corresponding work in response to the work instruction or the like. At that time, if it is difficult to communicate or respond by a remote work instruction by text or verb, the remote worker rushes to the local IT system and performs the corresponding work.
ＩＴシステムの遠隔での運用作業に関する先行技術例としては、特開２０１１−１５０３９９号（特許文献１）が挙げられる。特許文献１には、保守システム等として以下の旨が記載されている。そのシステムは、作業員端末と、コンピュータシステムを遠隔保守するための保守端末とを備える。保守端末は、コンピュータシステムに障害が発生した場合、ログ解析結果に基づいて障害要因を抽出し、復旧手順を算出し、作業員端末へ送信する。また、作業員端末は、作業内容を撮影した映像データを、保守端末へ送信する。
JP-A-2011-150399 (Patent Document 1) can be cited as an example of prior art relating to remote operation of an IT system.
映像マスキング技術に関する先行技術例としては、特許第５２６９０３３号公報（特許文献２）が挙げられる。特許文献２には、映像のプライバシーマスキング方法等として以下の旨が記載されている。その方法は、映像からプライバシー領域を検出する段階と、映像にマスキングを遂行する段階と、マスキングされた映像からマスキングされたプライバシー領域を検出する段階と、映像にアンマスキングを遂行する段階と、を含む。
Japanese Patent No. 5269033 (Patent Document 2) is given as an example of the prior art related to the video masking technology.
上記ＩＴシステムの運用作業を現地作業者と遠隔作業者との両者で遠隔で連携して行う遠隔連携作業の場合に、電話やメール等による連絡のみでは、状況や作業指示内容等が正確かつ迅速に伝達できない場合がある。また、遠隔作業者が現地へ迅速に赴くことができない場合がある。このような場合、完了までに要する総合的な作業時間が長くなってしまう。即ち、従来のシステムでは、運用作業の支援に関し、効率性の点で改善余地がある。 In the case of remote collaboration work where the above-mentioned IT system operation work is carried out by remote collaboration between the local worker and the remote worker, the situation and the contents of the work instructions are accurate and swift only by contact by telephone or e-mail. May not be able to communicate. Also, remote workers may not be able to go to the site quickly. In such a case, the total work time required for completion is increased. In other words, the conventional system has room for improvement in terms of efficiency with respect to support of operation work.
上記遠隔連携作業の場合に、現地作業者がＩＴシステムの対象機器の映像を撮影してその映像を遠隔作業者へ伝達し、両者で映像を共有することができる場合、効率的な作業が期待できる。従来、現地と遠隔地とで映像、音声、及び文字等を共有できる映像共有システムとしては、テレビ会議やテレビ電話やビデオチャット等のシステム、あるいは、ウェアブルカメラやスマートグラス等を用いた映像配信システム、等が挙げられる。それらのシステムは、専用システム、または携帯端末のアプリケーション等で実現できる。 In the case of the above remote collaboration work, efficient work is expected if the local worker can take a picture of the target device of the IT system, transmit the picture to the remote worker, and share the video with both it can. Conventionally, video sharing systems that can share video, audio, text, etc. between local and remote locations include video conferencing, videophone and video chat systems, or video distribution using wearable cameras, smart glasses, etc. System, etc. Such a system can be realized by a dedicated system or a mobile terminal application.
しかし、従来のデータセンタ等のＩＴシステムでは、通常、殆どのエリアでは、セキュリティ確保の観点から、撮影不許可とされ、一部のワークエリア等のエリアのみで撮影許可とされる場合が多い。個人情報等の機密性が高い情報の取り扱いの場合等、事業者及び顧客組織のセキュリティポリシーに応じて、そのような撮影不許可等のルールが決められている。そのため、撮影不許可のエリアの機器の映像を、現地と遠隔地との両者で共有して作業することは、実現が難しい。作業者が機器の映像を参照や共有することには注意を要する。従来のシステムでは、遠隔連携作業の映像共有に関して、セキュリティ確保の観点で課題がある。 However, in an IT system such as a conventional data center, in most areas, from the viewpoint of ensuring security, photographing is usually not permitted, and photographing is permitted only in some areas such as work areas. In the case of handling highly confidential information such as personal information, rules such as such photographing non-permission are determined according to the security policy of the business operator and the customer organization. Therefore, it is difficult to work by sharing the image of the device in the area where photographing is not permitted between the local site and the remote location. Care must be taken when an operator refers to or shares the video of the device. In the conventional system, there is a problem from the viewpoint of ensuring security with respect to video sharing in remote cooperation work.
また、従来、遠隔で運用作業を行う技術としては、ＯＳ等により提供されるリモート接続機能もある。リモート接続機能では、遠隔地の作業者が情報端末から現地の機器へリモート接続し、その機器のコンソール画面を表示してコマンド入力等の操作が可能である。しかし、データセンタ等では、外部からの不正操作防止のために、リモート接続機能についても不許可とされる場合が多い。そのため、リモート接続機能を活用して遠隔連携作業を実現することも難しい。 Conventionally, a remote connection function provided by an OS or the like is a technique for performing an operation work remotely. With the remote connection function, a remote worker can remotely connect to a local device from an information terminal, display a console screen of the device, and perform operations such as command input. However, in a data center or the like, the remote connection function is often not permitted in order to prevent unauthorized operation from the outside. For this reason, it is difficult to realize remote cooperation work by utilizing the remote connection function.
本発明の目的は、ＩＴシステムの運用作業の支援技術に関して、セキュリティを確保しつつ、効率的な遠隔連携作業を実現できる技術を提供することである。 An object of the present invention is to provide a technology capable of realizing an efficient remote cooperation work while ensuring security with respect to an IT system operation work support technique.
本発明のうち代表的な実施の形態は、ＩＴ運用作業遠隔支援システムであって、以下に示す構成を有することを特徴とする。 A typical embodiment of the present invention is an IT operation work remote support system having the following configuration.
一実施の形態のＩＴ運用作業遠隔支援システムは、ＩＴシステムの運用作業を支援するＩＴ運用作業遠隔支援システムであって、現地のＩＴシステムで作業を行う第１作業者の第１携帯端末と、遠隔地で作業を行う第２作業者の第２携帯端末と、サーバと、を備え、前記ＩＴシステムの機器には、ＩＤが記載されたＩＤ媒体が付与されており、前記機器と前記ＩＤとの関連付け情報と、前記第１作業者のユーザＩＤ及び前記第２作業者のユーザＩＤと、前記ＩＤで示す前記機器に対する前記第２作業者の参照権限の情報と、を含む設定情報を有し、前記サーバは、前記第１作業者がカメラを用いて前記機器を撮影した撮影映像から、前記ＩＤ媒体の前記ＩＤを検出し、前記設定情報に基づいて、前記検出した前記ＩＤで示す前記機器に関する前記第２作業者の参照権限の有無を確認し、前記撮影映像に対し、前記第２作業者の参照権限が有る前記機器の画像部分を非マスク領域とし、前記第２作業者の参照権限が無い前記機器の画像部分をマスク領域としたマスキング処理を施して、マスキング映像を生成し、前記マスキング映像を前記第２携帯端末へ送信して表示画面に表示させる。 An IT operation work remote support system according to an embodiment is an IT operation work remote support system that supports an operation work of an IT system, and includes a first portable terminal of a first worker who performs work in a local IT system, A second portable terminal of a second worker who performs work at a remote location, and a server, and an ID medium in which an ID is described is assigned to the device of the IT system, and the device, the ID, Setting information including the association information of the first worker, the user ID of the first worker and the user ID of the second worker, and information of the reference right of the second worker with respect to the device indicated by the ID. The server detects the ID of the ID medium from a video image of the device photographed by the first worker using a camera, and the device indicated by the detected ID based on the setting information Concerning The second worker confirms whether or not the second worker has the reference authority, and the image portion of the device to which the second worker has the reference authority is set as a non-mask area for the captured image, and the second worker has the reference authority. Masking processing is performed using the image portion of the device that is not present as a mask region to generate a masking image, and the masking image is transmitted to the second portable terminal and displayed on the display screen.
本発明のうち代表的な実施の形態によれば、ＩＴシステムの運用作業の支援技術に関して、セキュリティを確保しつつ、効率的な遠隔連携作業を実現できる。 According to a typical embodiment of the present invention, it is possible to realize efficient remote cooperation work while ensuring security with respect to IT system operation work support technology.
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiment, and the repetitive description thereof will be omitted.
（実施の形態）
図１〜図１２を用いて、本発明の実施の形態のＩＴ運用作業遠隔支援システム及びＩＴ運用作業遠隔支援方法について説明する。実施の形態のＩＴ運用作業遠隔支援方法は、実施の形態のＩＴ運用作業遠隔支援システムにおいて実行されるステップを有する方法である。
(Embodiment)
The IT operation work remote support system and IT operation work remote support method according to the embodiment of the present invention will be described with reference to FIGS. The IT operation work remote support method of the embodiment is a method having steps executed in the IT operation work remote support system of the embodiment.
［遠隔作業支援システム］
図１は、実施の形態のＩＴ運用作業遠隔支援システムの構成を示す。実施の形態のＩＴ運用作業遠隔支援システムは、現地のＩＴシステム１及び現地作業者であるユーザＵ１の携帯端末１０と、遠隔地２のシステムの遠隔作業者であるユーザＵ２の携帯端末２０と、支援システム３のサーバ３０とを有する。それらは通信網４を介して接続されている。
[Remote work support system]
FIG. 1 shows a configuration of an IT operation work remote support system according to the embodiment. The IT operation work remote support system of the embodiment includes a
現地のＩＴシステム１は、運用対象機器である複数の機器１１を有する。機器１１は、サーバ、ストレージ、通信機器、それらに接続される保守端末、等がある。機器１１には、予め、ＩＤ媒体１２が貼り付けられている。ＩＤ媒体１２は、制御用の特有のＩＤ（識別情報）が記載された媒体である。
The
現地作業者であるユーザＵ１は、ＩＴシステム１の機器１１を対象に運用作業を行う。ユーザＵ１は、作業用の携帯端末１０を所持している。携帯端末１０は、例えばスマートフォン、タブレット端末、ノートＰＣ等の各種の電子機器が適用可能である。携帯端末１０は、撮影部１０Ａ、映像送受信部１０Ｂを有する。
A user U1 who is a local worker performs an operation work on the
撮影部１０Ａは、例えば携帯端末１０に内蔵されているカメラであり、レンズ、撮像素子、駆動回路等を含む。ユーザＵ１は、運用作業の際、携帯端末１０のカメラを用いて、操作に基づいて、対象の機器１１等を撮影する。その際、撮影部１０Ａは、レンズを介した入射光を撮像素子で撮像信号に変換し、撮影映像を得る。撮影映像は、動画または静止画として得られる。撮影部１０Ａは、撮影映像データをメモリ等に格納する。撮影部１０Ａは、携帯端末１０に内蔵されているカメラに限らず、携帯端末１０に外部接続されるカメラとしてもよい。撮影部１０Ａは、ユーザの頭部等に装着されるウェアラブルカメラや、ユーザの両眼に装着されるスマートグラスに備えているカメラ等を用いてもよい。スマートグラスを用いる場合、スマートグラスに備えている表示画面に、撮影映像やマスキング映像を表示するようにしてもよい。
The imaging unit 10A is a camera built in the
映像送受信部１０Ｂ及び映像送受信部２０Ｂは、映像共有システムを構成する要素である。携帯端末１０の映像送受信部１０Ｂは、遠隔地２のユーザＵ２の携帯端末２０の映像送受信部２０Ｂとの間で、撮影映像データを含む映像、音声、及び文字等のデータを、送信及び受信する機能を有する。同様に、携帯端末２０の映像送受信部２０Ｂは、携帯端末１０の映像送受信部１０Ｂとの間で、映像、音声、及び文字等のデータを、送信及び受信する機能を有する。即ち、この映像共有システムでは、双方向で、映像等のデータを授受可能である。
The video transmission / reception unit 10B and the video transmission / reception unit 20B are elements constituting the video sharing system. The video transmission / reception unit 10B of the
遠隔地２の遠隔作業者であるユーザＵ２は、現地作業者のユーザＵ１と遠隔で連携して運用作業を行う。即ち、ユーザＵ１とユーザＵ２は遠隔連携作業を行う。ユーザＵ２は、ユーザＵ１の運用作業を遠隔から支援する。また、ユーザＵ２は、遠隔から直接的に運用作業を行うことができる。ユーザＵ２は、作業用の携帯端末２０を所持している。携帯端末２０は、同様にスマートフォン等の各種の電子機器が適用可能である。携帯端末２０は、映像送受信部２０Ｂを有する。
The user U2 who is a remote worker in the
支援システム３は、ＩＴ運用作業遠隔支援システムの主な機能を実現する、事業者のシステムであり、サーバ３０を含む。サーバ３０は、ソフトウェアプログラム処理により実現される処理部として、設定部３１、認証部３２、映像マスキング部３３を有する。サーバ３０は、データや情報として、設定情報５１やマスキング映像データ５２等を、図示しないＤＢやメモリに記憶する。サーバ３０は、管理者により保守管理される。
The
設定部３１は、管理者の操作に基づいて、設定情報５１を設定する処理を行う。設定情報５１には、後述するが、ＩＤと機器１１との関連付け情報や、各作業者のユーザＩＤ等のユーザ情報や、ＩＤで示す機器１１に対するユーザの参照権限等の情報が設定されている。事業者や顧客組織のセキュリティポリシー等に応じて、予め、設定情報５１が設定される。
The setting
認証部３２は、設定情報５１のユーザＩＤ等に基づいて、各作業者であるユーザについてのユーザ認証処理を行う。ユーザ認証は、遠隔連携作業を行う正当な作業者であることの確認及び把握のために行われる。
The
映像マスキング部３３は、設定情報５１に基づいて、携帯端末１０の撮影映像からＩＤを検出する処理や、ＩＤで示す機器１１に対するユーザの参照権限等を確認、判断する処理を行う。そして、映像マスキング部３３は、撮影映像データに対するマスキング処理を行ってマスキング映像データ５２を生成し、携帯端末１０へ送信する。
Based on the setting information 51, the
ユーザＵ１の携帯端末１０は、機器１１等の撮影映像を、携帯端末１０の表示画面にモニタ映像として表示可能である。携帯端末１０は、サーバ３０と通信し、撮影映像データをサーバ３０に送信する。サーバ３０は、マスキング処理によって生成したマスキング映像データ５２を携帯端末２０へ送信する。携帯端末１０は、サーバ３０から受信したマスキング映像データ５２によるマスキング映像を表示画面に表示し、マスキング映像データ５２を携帯端末２０へ送信する。携帯端末２０は、携帯端末１０から受信したマスキング映像データ５２によるマスキング映像を、表示画面に表示する。マスキング映像では、ユーザＵ１及びユーザＵ２の参照権限が有る機器１１の画像部分については非マスク領域としてそのまま見えるように表示される。マスキング映像では、他の画像部分についてはマスク領域として遮蔽されて表示される。
The
なお、実施の形態では、支援システム３のサーバ３０は、独立したサーバとして設置されているが、これに限らず、どこに設置されてもよい。例えば、現地のＩＴシステム１内にサーバ３０が設置されてもよいし、遠隔地２のシステム内に設置されてもよい。また、サーバ３０内にＤＢを管理してもよいし、サーバ３０の外部に接続されるＤＢサーバ等にＤＢを管理してもよい。支援システム３のサーバ３０の各処理部は、分割され連携する複数のサーバ等によって実現されてもよい。
In the embodiment, the
また、サーバ３０の機能の一部または全部は、ユーザＵ１の携帯端末１０に、アプリケーションソフトウェア等によって、併合されて実装されていてもよい。例えば、撮影映像からＩＤを検出する機能が、ユーザＵ１の携帯端末１０に実装されていてもよい。例えば、マスキング処理を行う機能が、ユーザＵ１の携帯端末１０に実装されていてもよい。
Also, some or all of the functions of the
また、実施の形態では、サーバ３０は、ユーザＵ１の携帯端末１０とクライアントサーバ方式で通信する。これに限らず、サーバ３０は、ユーザＵ２の携帯端末２０とクライアントサーバ方式で通信してもよい。
Moreover, in embodiment, the
［映像共有システム］
携帯端末１０と携帯端末２０は、映像送受信手段である映像共有システムを用いて、マスキング映像データ５２によるマスキング映像と、マスキング映像に対して入出力される映像、音声、及び文字等を共有する。映像共有システムとして、公知のテレビ会議、テレビ電話、ビデオチャット等のシステムや、映像配信システムが適用可能である。携帯端末１０及び携帯端末２０は、その映像共有システムのインタフェースを有する。実施の形態では、映像共有システムは、主に携帯端末１０及び携帯端末２０のアプリケーションプログラム処理により実現されている。これにより、ユーザＵ１及びユーザＵ２の両者間におけるテレビ会議、即ち映像、音声、及び文字等の情報の双方向のコミュニケーションが実現される。
[Video sharing system]
The
映像共有システムとしては、映像だけでなく音声や文字等を一緒に送受信できるシステムがより好ましいが、映像のみを送受信するシステムでもよい。映像のみを送受信システムに加えて、音声を送受信するシステムや、文字を送受信システムを、適宜併用してもよい。別途、電話やメール等の既存の任意の手段を用いて、両者間で作業のコミュニケーションが可能である。 As a video sharing system, a system that can transmit and receive not only video but also audio and text is more preferable, but a system that transmits and receives only video may also be used. In addition to a video transmission / reception system, a system for transmitting / receiving audio or a text transmission / reception system may be used in combination as appropriate. Separately, work can be communicated between the two using any existing means such as telephone or e-mail.
また、映像共有システムとしては、最低限、現地のユーザＵ１の携帯端末１０から遠隔地２のユーザＵ２の携帯端末２０への一方向でマスキング映像データ等を送信する機能を有する。より好ましくは、映像共有システムとしては、遠隔地２の携帯端末２０から現地の携帯端末１０への方向でも映像データ等を送信する機能、即ち双方向での通信機能を有する。
Also, the video sharing system has a function of transmitting masking video data and the like in one direction from the
実施の形態では、映像共有システムとして、テレビ会議システム等を併用とするが、これに限らず、簡単には、携帯端末１０と携帯端末２０との間でＨＴＴＰ通信等に基づいて映像データを送受信する手段を適用可能である。その場合、携帯端末１０及び携帯端末２０におけるＷｅｂブラウザ等のアプリケーションの画面において、その映像データによる映像が表示される。
In the embodiment, a video conference system or the like is used as the video sharing system. However, the video sharing system is not limited to this, and simply, video data is transmitted and received between the
［概要］
本システムである実施の形態のＩＴ運用作業遠隔支援システムの機能や動作の概要は以下である。本システムは、映像共有及び映像マスキングを用いて、ＩＴシステム１の運用作業に関するユーザＵ１及びユーザＵ２の遠隔連携作業を含む作業を支援するシステムである。遠隔連携作業は、現地のＩＴシステム１の所にいる現地作業者であるユーザＵ１と遠隔地２にいる遠隔作業者であるユーザＵ２との両者間で遠隔で連携して運用作業を行うこと等を指す。遠隔連携作業は、遠隔作業者が現地作業者を遠隔で支援すること、遠隔作業者が直接的に遠隔で運用作業を行うこと等を含む。
[Overview]
An outline of the functions and operations of the IT operation work remote support system according to the embodiment of the present system is as follows. This system is a system that supports work including remote cooperation work of the user U1 and the user U2 related to the operation work of the
本システムでは、予め、ＩＴシステム１における運用作業の対象となる各機器１１に、特有のＩＤ（識別情報）を記載したＩＤ媒体１２を付与しておく。ＩＤは、バーコード等の形式で符号化された情報としてＩＤ媒体１２に記載される。機器１１の所定の位置に、そのＩＤ媒体１２が貼り付けられる。設定情報５１において、予め、ＩＤと機器１１との関連付け情報や、ＩＤで示す機器１１に対するユーザの参照権限等が設定される。
In this system, an
遠隔連携作業を行う際、現地作業者は、携帯端末１０のカメラを用いて、ＩＤ媒体１２を含む作業対象の機器１１を対象に撮影する。携帯端末１０は、その撮影映像を、遠隔作業者の携帯端末２０へ送信して映像共有を図る。その際、携帯端末１０は、サーバ３０と通信し、サーバ３０によって撮影映像をマスキング処理してマスキング映像データ５２を得て、携帯端末２０へ送信する。
When performing the remote cooperation work, the local worker uses the camera of the
サーバ３０は、映像共有による遠隔連携作業を行おうとしているユーザＵ１及びユーザＵ２のユーザ認証を行うことによって、遠隔連携作業の正当な二人の作業者を確認、把握する。サーバ３０は、ユーザ認証を成功した二人のユーザに対して、マスキング映像を提供する。
The
サーバ３０は、撮影映像フレーム内からＩＤ媒体１２のＩＤを検出し、そのＩＤの認識によって対象の機器１１を確認、把握する。言い換えると、サーバ３０は、ＩＤを用いた特有の認証を行う。サーバ３０は、ユーザ及びＩＤの認識に基づいて、設定情報５１を用いて、映像マスキングに関する判断を行う。判断は、ユーザＵ２がそのＩＤで示す機器１１に対する参照権限が有るか否か等の判断を含む。参照権限は、機器１１等が含まれる映像についての参照や作業実施等に関する許可や不許可である。
The
サーバ３０は、判断結果に基づいて、撮影映像にリアルタイムでマスキング処理を施してマスキング映像データ５２を生成する。このマスキング処理は、作業者の参照権限を考慮して、映像共有の際のセキュリティ確保のために行われる。このマスキング処理では、遠隔地２へ送信する撮影映像フレームのうち、遠隔作業者による参照が許可される機器１１等の画像部分を非マスク領域とし、他の画像部分をマスク領域とする。非マスク領域は、元画像がそのまま透過されて見える領域、言い換えるとマスク解除された領域である。マスク領域は、元画像が遮蔽され見えなくなる領域である。
Based on the determination result, the
携帯端末２０は、携帯端末１０から受信したマスキング映像データ５２に基づいて、表示画面にマスキング映像を表示する。マスキング映像では、遠隔作業者の参照権限が有る機器１１等の部分は非マスク領域となっており、参照権限が無い機器１１等の部分はマスク領域となっている。これにより、遠隔作業者は、現地作業者との間で、作業対象の機器１１に関する映像を共有できる。これにより、セキュリティを確保した上で、現地と遠隔地との両者で映像を共有しながら遠隔連携作業が可能である。
The
本システムでは、映像共有機能として、少なくとも、現地作業者の撮影映像に対するマスキング映像を、遠隔作業者の携帯端末２０の表示画面に表示させる。これにより、現地作業者が見る機器１１等の実物や撮影映像と、遠隔作業者が見るマスキング映像のうちの非マスク領域の機器１１等の画像とで映像共有ができる。また、本システムでは、映像共有機能として、特に、現地作業者の携帯端末１０の表示画面に、遠隔作業者に提供するマスキング映像と同じマスキング映像を表示する。これにより、現地作業者が見るマスキング映像と、遠隔作業者が見るマスキング映像とで、映像共有ができる。
In this system, as a video sharing function, at least a masking video for a video taken by a local worker is displayed on the display screen of the
［装置構成］
図１の本システムを構成する各装置のハードウェア及びソフトウェア等の構成例は以下である。携帯端末１０及び携帯端末２０の構成例は同様であるが以下である。携帯端末１０及び携帯端末２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、メモリ、ストレージ、通信インタフェース装置、センサ、タッチパネル、キーボタン、カメラ、マイク、スピーカ、バッテリ、バス等を有する。ＣＰＵ等により構成される制御部は、ソフトウェアプログラム処理により、ＯＳ、Ｗｅｂブラウザ、各種アプリケーション等を実現する。メモリ等により構成される記憶部には、各種のプログラムやデータが記憶される。記憶部に記憶されるデータは、アプリケーション等で扱うファイルや設定情報等を含む。通信インタフェース装置は、無線通信インタフェース部等を含み、通信網４を介した通信処理を行う。
[Device configuration]
A configuration example of hardware and software of each device constituting the system of FIG. 1 is as follows. The configuration examples of the
センサは、電子コンパス、ジャイロセンサ、ＧＰＳ受信部等を含む。電子コンパスやジャイロセンサは、携帯端末の方向や動きを検出する。ＧＰＳ受信部は、ＧＰＳ通信に基づいて携帯端末の位置情報を例えば緯度及び経度の形式で取得する。タッチパネルは、例えばタッチセンサ等を備えた液晶ディスプレイであり、表示画面を構成し、入力手段の１つとしてタッチ入力操作を可能とする。キーボタンは、入力手段の１つであり、電源ボタンやホームボタン等を含む。カメラは、レンズ及び撮像素子を含み、ユーザ操作に基づいて外界の画像を撮像し、撮像信号を出力する。マイクは、音声入力手段であり、外界の音波を音声信号に変換する。スピーカは、音声出力手段であり、音声信号を音波に変換して出力する。 The sensor includes an electronic compass, a gyro sensor, a GPS receiver, and the like. The electronic compass and the gyro sensor detect the direction and movement of the mobile terminal. The GPS receiver acquires position information of the mobile terminal based on GPS communication, for example, in the form of latitude and longitude. The touch panel is, for example, a liquid crystal display provided with a touch sensor and the like, constitutes a display screen, and enables a touch input operation as one of input means. The key button is one of input means, and includes a power button, a home button, and the like. The camera includes a lens and an imaging device, captures an image of the outside world based on a user operation, and outputs an imaging signal. The microphone is an audio input means and converts external sound waves into an audio signal. The speaker is an audio output unit that converts an audio signal into a sound wave and outputs the sound wave.
サーバ３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、メモリ、ストレージ、通信インタフェース装置、バス等を有する。ＣＰＵ等により構成される制御部は、ソフトウェアプログラム処理により、サーバ３０のサービス処理を実現する。サービス処理は、携帯端末１０からの要求を受けて、ＤＢの設定情報５１を参照しながら、所定の処理を行って、応答を送信する処理である。メモリ等により構成される記憶部には、各種のプログラムやサービス処理で扱うデータ等が記憶される。通信インタフェース装置は、通信網４を介した通信処理を行う。なお、サーバ３０には、図示しない管理端末が接続されてもよく、管理端末から管理者の入力操作に基づいてサーバ３０及びＤＢの保守管理が可能である。
The
［機器撮影］
図２は、ＩＴシステム１内の機器１１の構成例、及び携帯端末１０のカメラを用いた機器１１及びＩＤ媒体１２の撮影等の様子を示す。ＩＴシステム１の例として、ある事業者の「データセンタＡ」とする。データセンタＡ内の空間は、区画等のエリアを有する。ＩＴシステム１内に、複数の機器１１として、複数のラック１１Ａ、複数の機器１１Ｂ、及び保守端末１１Ｃ等を有する。区画には、ラック１１Ａ等が設置されている。ラック１１Ａの複数のスロットには、複数の各種の機器１１Ｂが搭載可能となっている。機器１１Ｂは、サーバやストレージや通信機器や電源ユニット等の各種の機器がある。また、機器１１Ｂには、必要に応じて保守端末１１Ｃが接続可能となっている。保守端末１１Ｃは、機器１１Ｂの保守管理用の情報端末であり、コマンドラインインタフェース等を有し、コンソール画面が表示可能である。
[Device Shooting]
FIG. 2 shows a configuration example of the
本システムのマスキング等の機能の対象とする各種の機器１１には、それぞれ、ＩＤ媒体１２が貼り付けられている。ＩＤ媒体１２は、本例では、ＩＤがバーコードの形式で符号化された情報として記載されており、裏面がシールとして機器１１に貼り付け可能となっている。機器１１の一部の箇所、例えば機器１１Ｂの筐体の正面の右上等の箇所に、ＩＤ媒体１２が貼り付けられている。
An
現地作業者であるユーザＵ１は、作業対象の機器１１のＩＤ媒体１２の付近をカメラで撮影する。本例では、あるラック１１Ａに搭載されているある機器１１Ｂ（機器Ｘとする）が障害状態である。ユーザＵ１は、その機器１１Ｂに関する復旧等の対応作業を行う。ユーザＵ１は、例えばその機器１１Ｂの配線やＬＥＤランプ等の状態をユーザＵ２と映像共有する。その際に、ユーザＵ１は、携帯端末１０のカメラを用いて、その機器１１Ｂ及びＩＤ媒体１２が含まれる範囲で撮影する。破線枠は、その際の撮影映像フレーム２０１を示す。カメラの撮影方向を一点鎖線で示し、撮影映像フレーム２０１内の中心を丸点で示す。撮影映像フレーム２０１内にはＩＤ媒体１２の部分が写っている。携帯端末１０の表示画面には、カメラの機能によって、撮影映像フレームがモニタ映像として表示される。
The user U1 who is a local worker takes a picture of the vicinity of the
保守端末１１Ｃの表示画面の付近にもＩＤ媒体１２が付与されている。ユーザＵ１は、保守端末１１Ｃのコンソール画面の状態に関する映像共有を行いたい場合には、同様に、カメラでそのコンソール画面を対象に撮影する。破線枠は、その際の撮影映像フレーム２０２を示す。
An
また、ラック１１ＡにＩＤ媒体１２が付与されていてもよい。この場合、ラック１１Ａの単位で、複数の機器１１Ｂを１つのグループとしてまとめて管理して、マスキングの制御対象にすることができる。その場合、ユーザＵ１は、ラック１１ＡのＩＤ媒体１２の付近をカメラで撮影する。
Further, the
設定情報５１において、機器１１を利用する顧客組織が関連付けられて設定されていてもよい。例えば、ある機器１１は、ある顧客組織である会社等が専用に利用する。別のある機器１１は、複数の顧客組織で共用される。ラック１１Ａには、同じ種類の複数の機器１１が搭載されていてもよいし、異なる種類の複数の機器１１が搭載されていてもよい。ラック１１Ａには、同じ顧客組織が利用する複数の機器１１が搭載されていてもよいし、異なる顧客組織が利用する複数の機器１１が搭載されていてもよい。
In the setting information 51, a customer organization that uses the
［処理シーケンス］
図３は、図１の本システムにおいてユーザ間で映像共有を伴う遠隔連携作業を行う場合における装置間の処理シーケンスを示す。図３のシーケンスはステップS101〜S118を有する。左側は現地のＩＴシステム１のユーザＵ１の携帯端末１０のステップ、中央は遠隔地２のユーザＵ２の携帯端末２０のステップ、右側は支援システム３のサーバ３０のステップを示す。以下、ステップの順に説明する。
[Processing sequence]
FIG. 3 shows a processing sequence between apparatuses when remote cooperation work involving video sharing is performed between users in the system of FIG. The sequence in FIG. 3 includes steps S101 to S118. The left side shows the steps of the
（１） 現地のＩＴシステム１において、現地作業者であるユーザＵ１は、運用作業の際、遠隔作業者であるユーザＵ２との映像共有による遠隔連携作業が必要となった場合、以下の手順を行う。例えば、ユーザＵ１が障害状態の機器１１Ｂ（機器Ｘ）の復旧等の対応作業のために、ユーザＵ２に状況等を報告して作業指示等を要求する場合とする。ユーザＵ１は、ユーザＵ２に、映像共有による遠隔連携作業を行う旨を、任意の手段で連絡する（S101）。この連絡の手段は、電話やメールでもよいし、本システムの一部の機能として連絡機能を設け、それを利用してもよい。連絡により、ユーザＵ１はユーザＵ２が対応可能であることを確認する。
(1) In the
本システムでは、機器１１の参照が許可されるユーザ範囲を特定するために、映像共有しようとする二人のユーザであるユーザＵ１及びユーザＵ２に関するユーザ認証を行う。実施の形態では、ユーザ認証は、ユーザＩＤ及びパスワードを用いた基本認証を用いる。
In this system, in order to specify a user range in which reference to the
ユーザＵ１は、自分の携帯端末１０から、支援システム３のサーバ３０に接続してサービスにログインする（S102）。サーバ３０では、ログインするユーザＵ１に関するユーザ認証が行われる（S103）。同様に、ユーザＵ２は、ユーザＵ１からの連絡に基づいて、対応を行う場合、自分の携帯端末２０からサーバ３０のサービスにログインする（S104）。サーバ３０では、ログインするユーザＵ２に関するユーザ認証が行われる（S105）。サーバ３０は、S103及びS105のユーザ認証を成功したユーザＵ１及びユーザＵ２を、遠隔連携作業を行う二人のユーザとして把握する。
The user U1 connects to the
なお、変形例として、上記ユーザＵ１及びユーザＵ２のログイン及びユーザ認証は、併用する映像共有システムへのログイン及びユーザ認証としてもよい。即ち、サーバ３０は、映像共有システムでのユーザ認証の結果を用いて、同様に制御を行えばよい。ユーザ認証は、基本認証に限らず、他の認証方式を適用してもよい。また、ユーザ認証を行うことにより高いセキュリティが確保されるが、ユーザ認証を省略して機器１１のＩＤを用いた認証及びマスキング制御を行うのみとしても、相応の効果が得られる。特に、本システムとは別に、現地及び遠隔地の作業者に関する既存の認証手段が存在し、その認証手段を用いて正当な作業者の認証がされる場合には、本システムのユーザ認証を省略可能である。その認証手段としては、例えばデータセンタ等の建物のエリアに人が入退する際に認証を行う入退管理システムが挙げられる。あるいは、作業者が用いる携帯端末の認証が挙げられる。
As a modification, the login and user authentication of the user U1 and the user U2 may be login and user authentication to the video sharing system used together. That is, the
（２） ユーザＵ１は、携帯端末１０のカメラを用いて、作業対象の機器１１のＩＤ媒体１２を含む範囲を対象に撮影する（S106）。撮影対象は、例えば、ユーザＵ１がユーザＵ２に見せたい機器１１の筐体の正面の状態等である。その際、携帯端末１０の撮影部１０Ａは、撮影映像データである動画を得ると共に、表示画面に、撮影中のモニタ映像を表示する。携帯端末１０は、その撮影映像データを、サーバ３０へ送信する。
(2) The user U1 uses the camera of the
撮影映像データの動画は、時系列の複数の撮影映像フレームから成る。なお、撮影映像データは、動画に限らず、静止画も可能である。静止画を用いる場合、ユーザＵ１が任意のタイミング及び操作で静止画を撮像し、その静止画がサーバ３０へ送信される。また、動画を用いる場合、時系列の複数のフレームのうち、一定時間間隔毎のフレームのみを用いてもよい。
The moving image of the captured video data is composed of a plurality of time-series captured video frames. Note that the captured video data is not limited to a moving image, and can be a still image. When a still image is used, the user U1 captures a still image at an arbitrary timing and operation, and the still image is transmitted to the
サーバ３０は、携帯端末１０からの撮影映像データ等を受信する。サーバ３０の映像マスキング部３３は、受信した撮影映像データ等、及び設定情報５１に基づいて、ＩＤ検出処理、及びマスキングに関する判断処理を行う（S107）。
The
まず、サーバ３０の映像マスキング部３３は、撮影映像フレームから、画像処理に基づいて、ＩＤを検出する。サーバ３０は、検出したＩＤが、設定情報５１に設定されているＩＤに該当するかを確認し、ＩＤに関連付けられた機器１１を把握する。
First, the
なお、変形例として、S106で、サーバ３０ではなく携帯端末１０が、撮影映像データから画像処理に基づいてＩＤを検出してもよい。その場合、携帯端末１０は、撮影映像データと共にＩＤを含む情報を、サーバ３０へ送信する。
As a modification, in S106, the
サーバ３０の映像マスキング部３３は、ユーザ認証で把握した二人のユーザ、及び認識したＩＤで示す機器１１について、設定情報５１に基づいて、判断処理を行う。この判断処理では、映像共有の際に、そのＩＤで示す機器１１の画像部分を、ユーザＵ２に参照を許可するどうかの判断を含む。サーバ３０は、少なくとも、ユーザＵ２にその機器１１に関する参照権限が有ること、即ち参照が許可されることを確認する。実施の形態では、特に、サーバ３０は、この判断処理で、ユーザＵ１及びユーザＵ２の二人の参照権限の有無を確認し、二人共にその機器１１の参照権限が有ることを確認する。
The
サーバ３０の映像マスキング部３３は、判断に基づいて、次のS108のマスキング処理の内容を決定する。即ち、サーバ３０は、撮影映像フレームのうち、どの部分をマスク領域とし、どの部分を非マスク領域とするか、後述のマスクフレームを決定する。サーバ３０は、そのＩＤで示す機器１１に関して、ユーザＵ２を含め二人共に参照権限が有る場合には、撮影映像フレームのその機器１１の画像部分を、非マスク領域にする。サーバ３０は、それ以外の場合、即ちそのＩＤで示す機器１１に関して二人の一方または両方に参照権限が無い場合には、その機器１１の画像部分を、マスク領域にする。
The
サーバ３０の映像マスキング部３３は、マスキング処理（S108）では、S108で決定したマスクフレームを用いて、撮影映像フレームに対するマスキング処理を施してマスキング映像フレームを生成し、メモリに一時的に保持する。サーバ３０は、生成したマスキング映像フレームによるマスキング映像データ５２を、携帯端末１０に送信する。
In the masking process (S108), the
携帯端末１０は、サーバ３０からのマスキング映像データ５２のフレームを受信し、表示画面にマスキング映像を表示する（S109）。携帯端末１０は、後述の図７に示すように、モニタ映像表示と共に、マスキング映像を並列で表示する。
The
携帯端末１０は、そのマスキング映像データ５２を、映像共有システムの映像送受信部１０Ｂによって、携帯端末２０へ送信する（S110）。携帯端末２０は、そのマスキング映像データ５２を受信して、後述の図７に示すように、表示画面にマスキング映像を表示する（S111）。
The
また、S110で携帯端末１０から携帯端末２０へマスキング映像データ５２を送信する際、ユーザＵ１は、映像共有システムの機能を用いて、マスキング映像データ５２に、状況報告等の任意の情報を、重畳または並列で付随させる形で送信することもできる。
Further, when transmitting the masking
また、変形例として、ユーザＵ１の携帯端末１０でマスキング映像表示が不要である場合には表示せずに、サーバ３０からのマスキング映像データ５２を携帯端末２０へ転送するのみとしてもよい。
As a modification, when the masking video display is unnecessary on the
また、変形例として、携帯端末１０からサーバ３０へ撮影映像データを送信し、サーバ３０でマスキング処理を施した後、サーバ３０から直接的に携帯端末２０へマスキング映像データ５２を送信するようにしてもよい。
As a modification, the captured
また、変形例として、サーバ３０でマスキング処理を施した後、サーバ３０から携帯端末１０及び携帯端末２０の両方へ、それぞれのマスキング映像データを並列で送信するようにしてもよい。
As a modification, after masking processing is performed by the
（３） ユーザＵ２は、携帯端末２０の表示画面に表示されたマスキング映像における非マスク領域の機器１１等の画像部分を見て、作業対象の機器１１や状況等を把握する。ユーザＵ２は、ユーザＵ１への作業指示等を、任意の手段を用いてユーザＵ１へ与える（S112）。作業指示は、例えば障害対応のための確認手順や復旧手順等の指示である。作業指示を与える際、手段としては、既存の電話やメール等の手段を併用することもできるが、特に、本システムの映像共有システムの機能を用いることができる。その際、後述の図７に示すように、携帯端末２０の表示画面でのマスキング映像に対し、ユーザＵ２は、作業指示等に係わる映像、音声、文字等の情報を重畳または並列で入力し、その情報を携帯端末１０へ送信することができる。携帯端末１０は、その携帯端末２０からの映像、音声、文字等のデータを受信し、表示画面のマスキング映像に対し、重畳または並列で出力する。
(3) The user U2 views the image portion such as the
ユーザＵ１は、携帯端末１０の表示画面のマスキング映像、及びユーザＵ２からの作業指示等に従い、対象の機器１１に関する対応作業を行う（S113）。以降同様に、ユーザＵ１とユーザＵ２との間で、必要に応じて、マスキング映像の共有や情報授受が繰り返して行われる。
The user U1 performs corresponding work on the
（４） 運用作業の終了後、ユーザＵ１は、遠隔連携作業を終了する旨をユーザＵ２へ任意の手段で連絡する（S114）。ユーザＵ１は、携帯端末１０を操作して本システムのサービスからログアウトする（S115）。サーバ３０は、その際のログアウト処理を行う（S116）。同様に、ユーザＵ２は、携帯端末２０を操作してサービスからログアウトし（S117）、サーバ３０はその際のログアウト処理を行う（S118）。サーバ３０は、二人のユーザのログアウトから、遠隔連携作業の終了を把握する。
(4) After the operation work is finished, the user U1 notifies the user U2 that the remote cooperation work is finished by any means (S114). The user U1 operates the
上記のように、本システムでは、撮影映像に対してリアルタイムでマスキングが行われ、セキュリティを確保した上で、効率的な遠隔連携作業が実現される。なお、サーバ３０は、ログ情報に基づいて、遠隔連携作業の開始から終了までの履歴情報を記録するようにしてもよい。管理者等は、後で履歴情報を参照して遠隔連携作業の内容を確認できる。
As described above, in this system, real-time masking is performed on a captured image, and security is ensured, and efficient remote cooperation work is realized. The
［処理フロー］
図４は、サーバ３０の主な制御処理の処理フローを示す。図４はステップＳ１〜Ｓ１１を有する。以下、ステップの順に説明する。
[Processing flow]
FIG. 4 shows a processing flow of main control processing of the
（Ｓ１） サーバ３０の認証部３２は、現地作業者であるユーザＵ１や遠隔作業者であるユーザＵ２のログインの際に、ユーザ認証処理を行い、遠隔連携作業を行う二人のユーザを把握する。
(S1) The
（Ｓ２） サーバ３０は、ユーザＵ１の携帯端末１０からの撮像映像データを受信して、映像マスキング部３３の処理に入力する。
(S2) The
（Ｓ３） サーバ３０の映像マスキング部３３は、マスキング用のフィルタであるマスクフレームを初期化する。この初期のマスクフレームは、デフォルト設定例としては、フレーム内の全領域がマスク領域にセットされる。マスク領域は、例えば黒領域であり、元画像部分の上に置換される。他の設定例では、マスク領域は、所定のノイズ領域等として、元画像部分に対して合成されるものとしてもよい。
(S3) The
（Ｓ４） サーバ３０の映像マスキング部３３は、Ｓ２の入力撮影映像フレームから、画像処理に基づいて、ＩＤ媒体１２のＩＤを検出する。この画像処理は、公知の画像認識技術を適用可能であり、特に限定されない。本例では、フレーム内のバーコードの読み取りによってＩＤが認識される。なお、前述のように変形例として携帯端末１０でＩＤを検出する場合には、携帯端末１０からそのＩＤ情報を取得すればよい。
(S4) The
（Ｓ５） サーバ３０は、撮影映像フレーム内からＩＤを検出できた場合（Ｙ）にはＳ６へ進み、検出できない場合（Ｎ）にはＳ９へ進む。
(S5) The
（Ｓ６） サーバ３０の映像マスキング部３３は、検出したＩＤと、設定情報５１に設定されているＩＤとを比較して、一致するＩＤがあるかを確認する。サーバ３０は、一致するＩＤに関する情報を設定情報５１から読み出す。サーバ３０は、後述の識別情報マスタ表から、該当するＩＤに関連付けられた機器１１の情報を読み出し、後述の参照権限表から、該当するＩＤに関連付けられた参照許可ユーザＩＤを読み出す。
(S6) The
（Ｓ７） サーバ３０の映像マスキング部３３は、設定情報５１から読み出した情報を用いて、該当するＩＤに関連付けられた機器１１に関する、ユーザＵ１及びユーザＵ２の参照権限の有無を確認する。言い換えると、サーバ３０は、二人のユーザが映像共有に際して、その機器１１の参照等が許可されるか否かを確認する。実施の形態では、特に、この判断の際、二人のユーザの参照権限有りのＡＮＤ条件を用いる。両者共に参照権限が有りの場合（Ｙ）にはＳ８へ進み、一方または両方に参照権限が無い場合（Ｎ）にはＳ９へ進む。
(S7) The
（Ｓ８） サーバ３０の映像マスキング部３３は、初期のマスクフレームの整形加工に基づいて、その時点の撮影映像フレームに合わせた最新のマスクフレームを決定する。サーバ３０は、整形加工として、初期のマスクフレームの全マスク領域に対し、参照が許可される機器１１の画像部分に対応させて非マスク領域をセットする。その非マスク領域以外の領域はすべてマスク領域に決定される。
(S8) Based on the initial mask frame shaping process, the
また、この処理の際、後述するが、サーバ３０の映像マスキング部３３は、設定情報５１の機器輪郭情報に基づいて、撮影映像フレーム内の機器輪郭に合わせて、非マスク領域及びマスク領域の形状を決定する。
In this process, as will be described later, the
（Ｓ９） サーバ３０の映像マスキング部３３は、Ｓ２の入力撮影映像フレームの上に、Ｓ８で決定した最新のマスクフレームを重畳するように合成することにより、マスキング映像フレームを生成し、メモリに格納する。
(S9) The
（Ｓ１０） サーバ３０は、Ｓ９で生成したマスキング映像フレームによるマスキング映像データ５２を、携帯端末１０へ送信する。
(S10) The
（Ｓ１１） サーバ３０は、撮影映像データ入力の状態や、ログアウト処理やユーザ指示入力等に基づいて、遠隔連携作業に伴う映像マスキングの処理が終了か継続かを判断する。終了する場合（Ｙ）には本フローを終了し、継続する場合（Ｎ）にはＳ２へ戻り、次の入力撮影映像フレームに関して同様に処理を繰り返す。
(S11) The
実施の形態では、上記のように、映像共有する二人のユーザの携帯端末で表示するマスキング映像の内容を同じにしている。また、判断処理では、二人のユーザの参照権限のＡＮＤ条件を用いている。参照権限は、言い換えると、映像共有権限である。ある機器１１に関連付けられたＩＤに関して、二人共に参照権限が有る場合のみ、マスキング映像フレーム内でその機器１１の画像部分が非マスク領域として表示される。
In the embodiment, as described above, the contents of the masking video displayed on the portable terminals of the two users sharing the video are the same. In the determination process, the AND condition of the reference authority of the two users is used. In other words, the reference authority is a video sharing authority. Only when both of the IDs associated with a
簡易的な制御としては、遠隔作業者であるユーザＵ２の参照権限のみを判断するようにしてもよい。ユーザＵ１の参照権限については全許可として扱う。この場合、ある機器１１のＩＤに関して、ユーザＵ２の参照権限が有る場合には、その機器１１の画像部分が非マスク領域として表示される。また、変形例として、二人のユーザのいずれか一方に参照権限が有るかどうかのＯＲ条件を用いて判断してもよい。
As simple control, only the reference authority of the user U2 who is a remote worker may be determined. The reference authority of the user U1 is treated as full permission. In this case, if the user U2 has the authority to refer to the ID of a
［マスキング処理］
実施の形態では、上記のように、マスキング処理の際に、初期のマスクフレームを全マスク領域としておき、機器１１に関するユーザの参照権限に応じて、非マスク領域がセットされる、言い換えるとマスク解除される。マスキング処理の詳細は、特に限定されない。マスク領域としては、ユーザが視認不可能になる領域とすればよく、どのような画像処理でもよい。公知のモザイク処理やランダムにノイズを重畳する処理等でもよい。
[Masking process]
In the embodiment, as described above, in the masking process, the initial mask frame is set as the entire mask area, and the non-mask area is set according to the user's reference authority regarding the
また、本システムでは、マスキング処理は、元の撮影映像フレームからマスキング映像フレームを生成する一方向の処理でよい。マスキング映像フレームから元の撮影映像フレームを復元する処理は不要である。何らかの目的で元の撮影映像フレームが必要である場合には、最初の撮影時に得られている撮影映像フレームを使用すればよい。その撮影映像フレームは、例えば携帯端末１０やサーバ３０のメモリに一時的に保持されている。
In this system, the masking process may be a one-way process for generating a masking video frame from the original captured video frame. There is no need to restore the original captured video frame from the masking video frame. If the original photographed video frame is necessary for some purpose, the photographed video frame obtained at the time of the first photographing may be used. The captured video frame is temporarily held in the memory of the
［設定情報］
図５及び図６は、サーバ３０がＤＢに管理している設定情報５１の構成例としてテーブル実装例を示す。設定情報５１を構成するテーブルとして、図５の識別情報マスタ表、図６のユーザマスタ表、参照権限表、担当表、等を有する。
[Setting information]
5 and 6 show table implementation examples as configuration examples of the setting information 51 managed by the
図５の識別情報マスタ表は、ＩＤと機器１１と他の情報との関連付け情報が設定されている。図５の識別情報マスタ表は、列として、ＩＤ、機器ＩＤ、機器名称、場所、顧客組織、機器輪郭情報、制御種別を有する。「ＩＤ」列には、ＩＤ媒体１２に符号化された形式で記載されるＩＤが格納されている。このＩＤは、言い換えれば、マスキング制御用の識別番号である。「機器ＩＤ」列には、対象の機器１１の識別情報が格納されている。「機器名称」列には、その機器１１の名称や種別等が格納されている。「場所」列には、その機器１１が設置されている場所を表す情報が格納されている。その場所情報は、例えば、データセンタや顧客組織システム等のＩＴシステム１の識別情報、ＩＴシステム１内のエリアや区画等の識別情報を含む。その場所情報は、機器１１が搭載されるラック１１Ａやそのスロット等がある場合にはその識別情報を含む。あるいは、その場所情報は、ＧＰＳ位置座標情報等としてもよい。
In the identification information master table of FIG. 5, association information for the ID, the
「顧客組織」列には、その機器１１を利用する顧客組織が存在する場合の、その顧客組織の識別情報が格納されている。なお、機器１１を特定の顧客組織が専用に利用する場合もあるし、機器１１を不特定の複数の顧客組織が共用する場合もある。
The “customer organization” column stores identification information of the customer organization when the customer organization that uses the
「機器輪郭情報」列には、マスキング処理の際に撮影映像フレームから機器輪郭の比較照合を行う場合に用いる、機器１１の輪郭を表す情報が格納されている。この機器輪郭情報は、例えば後述の図１０で示すように、機器１１とそのＩＤ媒体１２とを含む物体の２次元形状または３次元形状のモデルの画像データである。画像データは、例えばバイナリデータ形式のファイルである。
The “apparatus outline information” column stores information representing the outline of the
「制御種別」列には、本システムの特有のマスキングの機能に関する制御の種別を表す情報が設定される。制御としてユーザの参照権限に応じたマスキングを適用する場合には、第１の値（“１”）が設定され、適用しない場合には第２の値（“０”）が設定される。他の制御種別の値としては、全ユーザに参照許可、即ち非マスク領域とする設定や、全ユーザに参照不許可、即ちマスク領域とする設定も可能である。 In the “control type” column, information indicating the type of control related to the masking function peculiar to this system is set. When masking according to the user's reference authority is applied as control, the first value (“1”) is set, and when not applied, the second value (“0”) is set. As other control type values, all users can be allowed to reference, that is, set as a non-masked area, or all users can be denied reference, that is, set as a masked area.
図６のユーザマスタ表は、作業者のユーザ認証等に用いる。ユーザマスタ表には、現地作業者及び遠隔作業者を含むユーザ毎に、列として、ユーザＩＤ、パスワード、作業者種別、作業場所、アドレス等を有する。「ユーザＩＤ」及び「パスワード」は、ユーザ認証である基本認証に用いられる。「作業者種別」列は、その作業者の種別として、現地作業者、遠隔作業者、等の区別を示す情報が格納されている。「作業場所」列は、その作業者の標準的な作業場所を示す情報、例えば勤務地等の情報が格納されている。「アドレス」列は、その作業者の携帯端末の通信用のアドレスや、連絡先の電話番号等が格納されている。 The user master table in FIG. 6 is used for user authentication of the worker. The user master table includes a user ID, a password, a worker type, a work location, an address, and the like as columns for each user including a local worker and a remote worker. The “user ID” and “password” are used for basic authentication which is user authentication. The “worker type” column stores information indicating the distinction between a local worker, a remote worker, and the like as the type of the worker. The “work place” column stores information indicating the standard work place of the worker, for example, information such as work place. The “address” column stores the communication address of the worker's portable terminal, the telephone number of the contact, and the like.
図６の参照権限表は、作業者の機器１１の参照権限、即ち映像の参照や作業実施等の権限を表す情報が設定されている。図６の参照権限表では、列として、ＩＤ、参照許可ユーザＩＤを有する。「ＩＤ」列は、識別情報マスタ表で機器１１に関連付けられたＩＤを示す。「参照許可ユーザＩＤ」列には、そのＩＤに関連付けられた機器１１に対する参照が許可されるユーザのユーザＩＤが関連付けられて設定されている。即ち、この行の設定によって、そのユーザＩＤの作業者がそのＩＤで示す機器１１の映像を参照する際に、非マスク領域とされる。
In the reference authority table of FIG. 6, information indicating the authority of the worker to refer to the
図６の担当表は、必須情報ではないが、ユーザ毎に顧客組織や機器の担当を表す情報が設定されている。図６の担当表は、列として、ユーザＩＤ、顧客組織、機器ＩＤを有する。例えば、ユーザＩＤ＝U01で示すユーザは、「顧客組織Ａ」の利用する機器｛S001，S002，……｝を担当している。このような担当表に基づいて、ユーザの参照権限を決めることもできる。ユーザが担当している機器１１についてはすべて参照権限有りと決めてもよい。参照権限表や担当表は、識別情報マスタ表やユーザマスタ表に併合してもよい。
Although the charge table in FIG. 6 is not essential information, information indicating the charge of the customer organization or the device is set for each user. The assignment table in FIG. 6 includes a user ID, a customer organization, and a device ID as columns. For example, the user indicated by user ID = U01 is in charge of the device {S001, S002,... The user's reference authority can be determined based on such a charge table. It may be determined that all
図５及び図６の表の設定例において、例えば、ＩＤ＝0001で示す機器１１は、機器ＩＤ＝S001のＤＢサーバであり、「データセンタＡ」の「区画１」にある「ラックＬ１」の所定のスロットに搭載されている。この機器１１は、「顧客組織Ａ」が利用している。この機器１１の機器輪郭情報として画像データG001を有し、制御種別は第１の値である。
5 and 6, for example, the
ＩＤ＝0001で示す機器１１は、参照許可ユーザとしてユーザＩＤ＝U01，U02で示す二人のユーザが設定されている。ユーザＩＤ＝U01のユーザは、現地作業者であり、「データセンタＡ」の運用部に所属しており、「顧客組織Ａ」及び「顧客組織Ａ」が利用する機器（S001等）を担当している。ユーザＩＤ＝U02のユーザは、遠隔作業者であり、「データセンタＡ」の開発部に所属しており、「顧客組織Ａ」等を担当している。ＩＤ＝0002で示す機器１１は、参照許可ユーザとしてユーザＩＤ＝U01で示すユーザのみが設定されている。
In the
ユーザＩＤ＝U01，U02で示す二人のユーザは、ＩＤ＝0001で示す機器１１に関する参照権限が有る。よって、その二人のユーザは、その機器１１の運用作業の際に、その機器１１を非マスク領域としてマスキング映像を共有して、遠隔連携作業が可能である。また、ユーザＩＤ＝U01で示すユーザは、ＩＤ＝0002で示す機器１１に関する参照権限が有るが、ユーザＩＤ＝U02で示すユーザは、ＩＤ＝0002で示す機器１１に関する参照権限が無い。よって、マスキング映像においてその機器１１はマスク領域となる。
Two users indicated by user ID = U01 and U02 have a reference authority regarding the
実施の形態では、上記のように、参照権限に関する設定として、参照権限表のＩＤとユーザＩＤとの関連付けとした。即ち、機器１１の単位でマスキングが制御可能である。これに限らず、区画等の場所単位や顧客組織の単位で、ユーザの参照権限を柔軟に詳細に設定可能である。設定情報５１にユーザ毎の参照権限を細かく設定する場合には、マスキングの領域を細かくして、セキュリティをより高めることができる。ユーザ毎の参照権限をおおまかな単位で設定する場合には、設定作業の手間を少なくし、マスキングの領域をおおまかにして処理を軽くすることができる。
In the embodiment, as described above, as the setting relating to the reference authority, the ID of the reference authority table and the user ID are associated with each other. That is, masking can be controlled in units of the
［表示画面］
図７は、携帯端末１０及び携帯端末２０の表示画面例を示す。図７の左側は現地のユーザＵ１の携帯端末１０の表示画面７０１を示し、右側は遠隔地２のユーザＵ２の携帯端末２０の表示画面７０２を示す。
[Display screen]
FIG. 7 shows a display screen example of the
現地の携帯端末１０の表示画面７０１では、元の撮影映像データによるモニタ映像７１１（省略）が表示されると共に、マスキング映像データ５２によるマスキング映像７１２が並列で表示されている。モニタ映像７１１のフレームは非マスキング状態であり、マスキング映像７１２のフレームはマスキング状態である。
On the
遠隔地の携帯端末２０の表示画面７０２では、マスキング映像データ５２によるマスキング映像７２２が表示されている。マスキング映像７１２及びマスキング映像７２２は、同じ内容であり、例えばユーザＵ１及びユーザＵ２の参照権限が有る機器Ｘの画像部分が非マスク状態となっている。
On the
なお、これに限らず、携帯端末１０では、モニタ映像のみの表示としてもよいし、マスキング映像のみの表示としてもよいし、どのような映像を表示させるかの表示モードをユーザＵ１によって選択や設定を可能としてもよい。また、遠隔地のユーザＵ２がカメラを用いて遠隔地で任意の対象物を撮影し、撮影映像データを、映像共有システムを通じてユーザＵ１の携帯端末１０へ送信してもよい。その場合、携帯端末１０の表示画面７０１及び携帯端末２０の表示画面７０２に、遠隔地での撮影映像を表示してもよい。
Not limited to this, the
また、携帯端末２０の表示画面７０２で、ユーザＵ２は、マスキング映像に、作業指示等に係わる任意の文字入力や音声入力も可能であり、マスキング映像上のカーソル移動操作も可能である。例えば、ユーザＵ２は、マスキング映像の上に、または並列で、作業指示等の文字を書き込むことや、作業指示等の音声をマイクから入力できる。入力された文字やカーソル位置や音声等の情報は、映像共有システムを通じて携帯端末２０から携帯端末１０へ送信される。それらの情報は、携帯端末１０の表示画面７０１のマスキング映像の上に、または並列で、出力される。同様に、携帯端末１０の表示画面７０１で、ユーザＵ１は、マスキング映像に、任意の文字入力や音声入力、カーソル移動操作等が可能であり、入力情報が携帯端末２０へ送信されて出力される。
In addition, on the
このように、現地と遠隔地の両者で同じマスキング映像を見て共有ができ、両者間で状況や作業指示等の情報を迅速にわかりやすく伝達でき、意思疎通がしやすく、効率的な遠隔連携作業が実現できる。 In this way, the same masking video can be viewed and shared between the local and remote locations, information such as the situation and work instructions can be quickly and easily communicated between the two, easy communication, and efficient remote collaboration Work can be realized.
［マスキング例（１）］
図８は、本システムの具体例として、マスキングの制御に関する第１例について示す。図８の上側には、対象の機器１１の構成や撮影の例を示し、図８の下側には、マスキング処理の例を示す。図８の上側で、第１例では、「データセンタＡ」において、「区画１」のラック１１Ａである「ラックＬ１」には、機器１１Ｂとして機器Ａ１，Ｂ１，Ｃ１，Ｄ１等が搭載されている。「区画２」の「ラックＬ２」には、機器１１Ｂとして機器Ａ２，Ｂ２，Ｃ２，Ｄ２等が搭載されている。各機器１１Ｂには一意にＩＤが付与されている。機器１１と顧客組織との対応関係として、例えば機器Ａ１，Ａ２は顧客組織Ａが利用しており、機器Ｂ１，Ｂ２は顧客組織Ｂが利用しており、機器Ｃ１，Ｃ２は顧客組織Ｃが利用している。
[Masking example (1)]
FIG. 8 shows a first example relating to masking control as a specific example of the present system. The upper side of FIG. 8 shows a configuration of the
第１例では、ラック１１Ａに搭載されている複数の機器１１Ｂは、利用する顧客組織が異なる複数の種類の機器であり、機器１１Ｂ毎にユーザの参照権限が異なる。参照権限の設定として、例えば、顧客組織Ａの機器Ａ１，Ａ２については、ユーザＩＤ＝U01，U02のユーザが参照許可となっており、顧客組織Ｂの機器Ｂ１，Ｂ２については、ユーザＩＤ＝U03，U04のユーザが参照許可となっている。
In the first example, the plurality of
第１例では、ユーザＩＤ＝U03であるユーザＵ１と、ユーザＩＤ＝U04であるユーザＵ２とで遠隔連携作業を行うとする。ユーザＩＤ＝U03であるユーザＵ１が、「ラックＬ１」の機器Ｂ１を主に対象としてカメラで撮影している。その撮影映像フレーム８０１内には、機器Ｂ１のＩＤ媒体１２が含まれている。撮影映像フレーム８０１内には、機器Ａ１や機器Ｃ１の部分も含まれている。
In the first example, it is assumed that the user U1 with user ID = U03 and the user U2 with user ID = U04 perform remote cooperation work. A user U1 with a user ID = U03 is taking a picture with a camera mainly for the device B1 in the “rack L1”. The captured
図８の下側で、マスキング前の撮影映像フレーム８０１、マスクフレーム８０２、マスキング後のマスキング映像フレーム８０３を示す。撮影映像フレーム８０１内から、機器Ｂ１のＩＤが検出される。そのＩＤで示す機器Ｂ１に関して、ユーザＩＤ＝U03であるユーザＵ１、及びユーザＩＤ＝U04であるユーザＵ２は、二人共に参照権限が有る。また、撮影映像フレーム８０１内から、機器Ｃ１のＩＤが検出される。そのＩＤで示す機器Ｃ１に関して、ユーザＩＤ＝U03であるユーザＵ１、及びユーザＩＤ＝U04であるユーザＵ２は、二人共に参照権限が無い。
The lower side of FIG. 8 shows a captured
よって、マスクフレーム８０２は、初期の全マスク領域のうち、機器Ｂ１の画像部分が非マスク領域とされ、他の画像部分はマスク領域とされる。撮影映像フレーム８０１にマスクフレーム８０２が合成されることにより、マスキング映像フレーム８０３が生成される。マスキング映像フレーム８０３では、機器Ｂ１の画像部分が非マスク領域として見えている。
Therefore, in the
［マスキング例（２）］
図９は、マスキングの制御に関する第２例を同様に示す。図９の上側で、第２例では、「データセンタＡ」において、「区画１」のラック１１Ａである「ラックＬ１」には、機器１１Ｂとして機器Ａ１，Ａ２，Ａ３，Ａ４等が搭載されている。「区画２」の「ラックＬ２」には、機器１１Ｂとして機器Ｂ１，Ｂ２，Ｂ３，Ｂ４等が搭載されている。各機器１１Ｂには一意にＩＤが付与されている。機器１１と顧客組織との対応関係として、例えば「ラックＬ１」の機器Ａ１〜Ａ４は顧客組織Ａが利用しており、「ラックＬ２」の機器Ｂ１〜Ｂ４は顧客組織Ｂが利用している。
[Masking example (2)]
FIG. 9 similarly shows a second example relating to masking control. In the second example on the upper side of FIG. 9, in “data center A”, “rack L1” that is
第２例では、ラック１１Ａに搭載されている複数の機器１１Ｂは、利用する顧客組織が同じである複数の種類の機器である。参照権限の設定として、例えば、顧客組織Ａの機器Ａ１〜Ａ４については、ユーザＩＤ＝U01，U02のユーザが参照許可となっており、顧客組織Ｂの機器Ｂ１〜Ｂ４については、ユーザＩＤ＝U03，U04のユーザが参照許可となっている。
In the second example, the plurality of
第２例では、ユーザＩＤ＝U01であるユーザＵ１と、ユーザＩＤ＝U02であるユーザＵ２とで遠隔連携作業を行うとする。ユーザＩＤ＝U01であるユーザＵ１が、「ラックＬ１」の機器Ａ３を主に対象としてカメラで撮影している。その撮影映像フレーム９０１内には、機器Ａ３のＩＤ媒体１２が含まれている。撮影映像フレーム９０１内には、機器Ａ２や機器Ａ４の部分や、隣の「ラックＬ２」の機器Ｂ３等の一部も含まれている。
In the second example, it is assumed that the user U1 with user ID = U01 and the user U2 with user ID = U02 perform remote cooperation work. A user U1 having a user ID = U01 is taking a picture with a camera mainly for the device A3 in the “rack L1”. The captured
図９の下側で、マスキング前の撮影映像フレーム９０１、マスクフレーム９０２、マスキング後のマスキング映像フレーム９０３を示す。撮影映像フレーム９０１内から、機器Ａ２，Ａ３，Ａ４のＩＤが検出される。それらのＩＤで示す機器Ａ２，Ａ３，Ａ４に関して、ユーザＩＤ＝U01であるユーザＵ１、及びユーザＩＤ＝U02であるユーザＵ２は、二人共に参照権限が有る。
The lower part of FIG. 9 shows a captured
よって、マスクフレーム９０２は、初期の全マスク領域のうち、機器Ａ２〜Ａ４の画像部分が非マスク領域とされ、他の画像部分はマスク領域とされる。撮影映像フレーム９０１にマスクフレーム９０２が合成されることにより、マスキング映像フレーム９０３が生成される。マスキング映像フレーム９０３では、機器Ａ２〜Ａ４の画像部分が非マスク領域として見えている。
Therefore, in the
また、仮に、撮影映像フレーム９０１内から、隣の「ラックＬ２」の機器Ｂ３等のＩＤも検出された場合、そのＩＤで示す機器Ｂ３等に関して、ユーザＩＤ＝U01であるユーザＵ１、及びユーザＩＤ＝U02であるユーザＵ２は、二人共に参照権限が無い。よって、その場合も、同様に、マスキング映像フレーム９０３では、機器Ａ２〜Ａ４の画像部分のみが非マスク領域として見える。
Also, if the ID of the device “B3” of the adjacent “rack L2” is also detected from within the captured
なお、ラック１１Ａ単位でマスキングを制御する場合、以下のように可能である。予め、ラック１１ＡにＩＤ媒体１２が付与される。設定情報５１には、ラック１１ＡとＩＤとの関連付け情報や、ラック１１Ａの機器輪郭情報等が設定される。ユーザＵ１は、ラック１１Ａを対象に撮影する。撮影映像からラック１１ＡのＩＤが検出される。サーバ３０は、マスキング処理で、ラック１１Ａの複数の機器１１Ｂに関してまとめて非マスク領域とする。
When masking is controlled in units of
［機器輪郭情報を用いたマスクフレーム決定］
図１０は、補足として、図４のＳ８のマスクフレーム決定処理に関する詳細処理例を示す。この処理例では、サーバ３０は、設定情報５１の図５の識別情報マスタ表の機器輪郭情報を用いて、撮影映像フレームから画像比較照合により機器輪郭を検出し、機器輪郭に合わせて非マスク領域を決定する。映像マスキング部３３は、撮影映像フレーム内の画像部分と、機器輪郭情報とを比較照合して、機器輪郭を検出する。映像マスキング部３３は、検出した機器輪郭に合わせて、マスクフレームに、非マスク領域をセットする。これにより、より細かく非マスク領域を決定できる。機器輪郭の検出処理の際には、公知の画像処理を適用可能であり、特に限定されない。画像処理は、例えば、画像フレーム内から主な線分や色を検出して機器輪郭情報の線分や色と比較するものでもよい。
[Mask frame determination using device outline information]
FIG. 10 shows, as a supplement, a detailed processing example regarding the mask frame determination processing in S8 of FIG. In this processing example, the
図１０の（１）は、機器輪郭情報の画像データ例として、機器１１を所定の方向から見た場合の２次元の機器輪郭形状を表す。この機器輪郭情報内には、機器１１に付与されているＩＤ媒体１２の形状及び位置も記述されている。本例では、この機器輪郭情報は、機器１１の筐体の正面を見た矩形の画像であり、右上の付近にはＩＤ媒体１２の画像を有する。
(1) of FIG. 10 represents a two-dimensional device contour shape when the
図１０の（２）は、撮影映像フレーム例を示し、あるラック１１Ａに搭載されているある機器１１Ｂの正面及びそのＩＤ媒体１２が写っている。サーバ３０は、（２）の撮影映像フレーム内の画像部分と、（１）の機器輪郭情報とを比較照合し、機器１１Ｂの輪郭を抽出する。また、動画の場合、時系列のフレームにおいて、機器１１の輪郭が変動する。その場合、サーバ３０は、フレーム間において、機器１１の輪郭の変動を追随して検出する。
(2) in FIG. 10 shows an example of a captured video frame, in which the front surface of a
図１０の（３）は、（１）及び（２）に基づいて決定されたマスクフレームによるマスキング映像フレームを示す。（２）で検出された機器輪郭に合わせて非マスク領域がセットされており、他の領域にはマスク領域がセットされている。 (3) of FIG. 10 shows a masking video frame by the mask frame determined based on (1) and (2). A non-mask area is set according to the device outline detected in (2), and a mask area is set in the other areas.
図１０の（４）は、同様に、機器輪郭情報の画像データ例として、機器１１を斜視で見た場合の３次元の機器輪郭形状を表す。本例では、この機器輪郭情報は、機器１１の筐体が長方体形状を有する。
Similarly, (4) in FIG. 10 represents a three-dimensional device contour shape when the
図１０の（５）は、同様に、撮影映像フレーム例を示し、ある機器１１Ｂ及びそのＩＤ媒体１２が斜め上から見た状態で写っている。サーバ３０は、（５）の撮影映像フレーム内の画像部分と、（４）の機器輪郭情報とを比較照合し、機器１１Ｂの輪郭を抽出する。
Similarly, (5) in FIG. 10 shows an example of a captured video frame, in which a
図１０の（６）は、同様に、（４）及び（５）に基づいて決定されたマスクフレームによるマスキング映像フレームを示す。（５）で検出された機器輪郭に合わせて非マスク領域がセットされており、他の領域にはマスク領域がセットされている。 Similarly, (6) in FIG. 10 shows a masking video frame by the mask frame determined based on (4) and (5). A non-mask area is set according to the device outline detected in (5), and a mask area is set in the other areas.
なお、機器輪郭情報としては、実際の写真画像等に基づいて細かい輪郭形状を設定してもよいし、あるいは、実際の輪郭を包含するように矩形や長方体等の簡単な輪郭形状を設定してもよい。また、サーバ３０は、撮影映像フレームから機器輪郭を検出する際には、カメラの撮影方向を判断し、撮影方向に応じて機器輪郭情報を加工して、機器輪郭を検出してもよい。
As the device outline information, a fine outline shape may be set based on an actual photographic image or the like, or a simple outline shape such as a rectangle or a rectangular shape is set so as to include the actual outline. May be. Further, when detecting the device contour from the captured video frame, the
［効果等］
上記のように、実施の形態のＩＴ運用作業遠隔支援システムによれば、ＩＴシステムの運用作業の支援に関して、セキュリティを確保しつつ、効率的な遠隔連携作業を実現できる。従来のデータセンタ等のＩＴシステムでは、セキュリティの観点で、遠隔地との映像、視覚情報等の共有による遠隔連携作業は難しかったが、本システムによれば、セキュリティを確保した上でその遠隔連携作業が可能となる。これにより、ＩＴシステムの運用作業の効率化ができ、例えば障害発生時の復旧対応作業等に要する作業時間の短縮等が見込める。本システムは、テレビ会議システムやウェアブルカメラ等を用いた映像配信システム等の既存の映像共有システムとの併用も可能である。
[Effects]
As described above, according to the IT operation work remote support system of the embodiment, it is possible to realize efficient remote cooperation work while ensuring security with respect to support of the IT system operation work. In conventional IT systems such as data centers, remote collaboration work by sharing video, visual information, etc. with remote locations was difficult from a security point of view. Work becomes possible. As a result, the efficiency of IT system operation work can be improved. For example, the work time required for recovery work when a failure occurs can be shortened. This system can be used in combination with an existing video sharing system such as a video conference system or a video distribution system using a wearable camera.
［変形例］
実施の形態のＩＴ運用作業遠隔支援システムの変形例として以下が可能である。
[Modification]
The following is possible as a modification of the IT operation work remote support system of the embodiment.
ＩＤ媒体１２は、バーコードやシール等に限らず適用可能である。撮像映像フレーム内からＩＤが検出できる形式であればよく、任意の手段を適用可能である。機器１１の筐体に直接的にＩＤが記載されていてもよい。
The
撮影映像フレーム内からＩＤや機器輪郭を検出する処理に関しては、機械学習による画像認識処理を適用してもよい。 An image recognition process based on machine learning may be applied to the process of detecting the ID and device outline from the captured video frame.
映像共有で遠隔連携作業を行う二人のユーザの参照権限が一部異なる場合に、それぞれのユーザの携帯端末で表示するマスキング映像の内容を一部異ならせてもよい。それにより、部分的に映像共有での遠隔連携作業が可能である。例えば、ある機器Ｘに関してはユーザＵ１及びユーザＵ２が共に参照権限が有り、ある機器Ｙに関してはユーザＵ１が参照権限が有り、ユーザＵ２は参照権限が無いとする。撮影映像フレーム内に、機器Ｘ及び機器Ｙが含まれているとする。その場合、ユーザＵ１用のマスキング映像フレームでは、機器Ｘ及び機器Ｙの画像部分が非マスク領域として表示される。ユーザＵ２用のマスキング映像フレームでは、機器Ｘの画像部分のみが非マスク領域として表示される。両者間では機器Ｘに関して部分的に映像共有ができる。 When the reference authority of two users who perform remote cooperation work by video sharing is partially different, the contents of the masking video displayed on each user's mobile terminal may be partially different. As a result, it is possible to partially perform remote cooperation work with video sharing. For example, it is assumed that the user U1 and the user U2 have a reference authority for a certain device X, the user U1 has a reference authority for a certain device Y, and the user U2 has no reference authority. Assume that device X and device Y are included in the captured video frame. In that case, in the masking video frame for the user U1, the image portions of the device X and the device Y are displayed as a non-mask area. In the masking video frame for the user U2, only the image portion of the device X is displayed as a non-mask area. The video sharing can be partially made between the two regarding the device X.
［変形例−マスクフレーム決定例］
図１１は、変形例における、マスクフレーム決定例を示す。この変形例は、図４のＳ８のマスクフレーム決定処理に関する別の処理例を示す。この変形例では、サーバ３０は、機器輪郭情報を用いた比較照合による機器輪郭の検出を行わない。サーバ３０は、撮影映像フレーム内からＩＤ媒体１２の画像部分及びＩＤを検出し、フレーム内のそのＩＤ画像部分の位置を把握する。その位置は、例えばフレーム内の水平方向及び垂直方向の座標等で表せる。サーバ３０は、そのＩＤ位置に基づいて、マスクフレームの非マスク領域を決定する。サーバ３０は、マスクフレームにおいて、そのＩＤ位置を中心として、その周りの所定のサイズの範囲を、非マスク領域としてセットする。その範囲は、対象の機器１１の機器輪郭を概ねカバーできるように余裕を持たせたサイズとする。その範囲は、本例では矩形としている。この変形例では、マスク精度、即ちマスク領域と非マスク領域との区分の精度としてはやや劣ることになるが、簡易処理による高速化が見込める。
[Modification-Example of determining mask frame]
FIG. 11 shows an example of determining a mask frame in the modification. This modification shows another processing example related to the mask frame determination processing in S8 of FIG. In this modification, the
［変形例−マスキング詳細制御例］
図１２は、変形例における、マスキングの詳細制御例を示す。撮影映像フレームの内容は、カメラのズームや撮影方向等に応じて変動し得る。この変形例では、サーバ３０は、撮影映像フレームから、機器輪郭を追随しながら、対象の機器１１のＩＤ媒体１２のＩＤが検出、認識できている状態では、対象の機器１１の画像部分を非マスク領域とするマスキングを継続する。サーバ３０は、ズームや撮影方向の変動に伴って、撮影映像フレームから対象の機器１１のＩＤが検出、認識できない状態では、所定の判断に基づいて、マスキングをリセットする。即ち、サーバ３０は、対象の機器１１の画像部分を含めてマスク領域とするようにマスキングを更新する。サーバ３０は、再度、対象の機器１１のＩＤが検出できた状態になったら、その機器１１を非マスク領域とするようにマスキングを更新する。
[Modification-Detailed Masking Control Example]
FIG. 12 shows a detailed masking control example in the modification. The content of the captured video frame may vary depending on the zoom of the camera, the shooting direction, and the like. In this modification, the
図１２の（１）は、ユーザＵ１が「ラックＬ１」の機器Ｘを主に対象にカメラで撮影した例を示す。撮影映像フレームには、機器ＸのＩＤ媒体１２が含まれている。
(1) of FIG. 12 shows an example in which the user U1 has photographed the device X in the “rack L1” mainly with the camera. The captured video frame includes the
図１２の（２）は、（１）の撮影例に関するカメラの第１ズーム状態における撮影映像フレームと、その時のマスキング映像フレームとを示す。第１ズーム状態では、ＩＤが検出しやすいように、機器ＸのＩＤ媒体１２が大きく写るようにして、カメラをズームインまたは接写として撮影されている。これにより、正しいＩＤが認識できている状態である。そのため、マスキング映像フレームでは、そのＩＤの機器輪郭に合わせて非マスク領域がセットされている。
(2) of FIG. 12 shows a captured video frame in the first zoom state of the camera related to the shooting example of (1) and a masking video frame at that time. In the first zoom state, the camera is photographed as zoom-in or close-up so that the
図１２の（３）は、カメラの第２ズーム状態における撮影映像フレームと、その時のマスキング映像フレームとを示す。第２ズーム状態では、第１ズーム状態よりも少しズームアウトまたは機器Ｘから遠ざけるようにして撮影されている。これにより、画像内容が細かくなっているが、機器輪郭が追随され、ＩＤが検出できている状態である。そのため、マスキング映像フレームでは、（２）と同様に機器輪郭に合わせたマスキングが継続されている。フレーム内の機器輪郭の変化に合わせて非マスク領域も変化するように調整される。このように、サーバ３０は、最初に認識できたＩＤ及び機器輪郭が継続して把握されている限り、同様のマスキングを継続する。
(3) in FIG. 12 shows a captured video frame in the second zoom state of the camera and a masking video frame at that time. In the second zoom state, the image is taken so that it is slightly zoomed out or away from the device X than in the first zoom state. Thereby, although the image content is fine, the device outline is followed and the ID can be detected. Therefore, in the masking video frame, masking according to the device outline is continued as in (2). The non-mask area is adjusted so as to change in accordance with the change in the device outline in the frame. Thus, the
図１２の（４）は、カメラの第３ズーム状態における撮影映像フレームと、その時のマスキング映像フレームとを示す。第３ズーム状態では、第２ズーム状態よりも更にズームアウトまたは遠ざかった撮影として、画像内容が細かくなっている。そのため、機器ＸのＩＤが検出できず、認識不可状態である。サーバ３０は、例えばＩＤが検出、認識できない状態が、一定時間以上続いた場合、マスキングをリセットする。これにより、マスキング映像フレームでは、機器Ｘの画像部分を含め、すべてマスク領域となっている。
(4) in FIG. 12 shows a captured video frame in the third zoom state of the camera and a masking video frame at that time. In the third zoom state, the image content is finer as a further zoomed-out or farther shooting than in the second zoom state. For this reason, the ID of the device X cannot be detected and is in an unrecognizable state. For example, the
ズームアウト状態からズームイン状態とした場合にも、上記と同様の制御が適用可能である。また、マスキングのリセットの際には、携帯端末１０の表示画面に、「再度ＩＤの読み取りを行ってください」等の案内情報を出力するようにしてもよい。
The same control as described above can be applied when the zoom-out state is changed to the zoom-in state. When resetting the masking, guidance information such as “Please read ID again” may be output on the display screen of the
上記マスキングのリセットに関する判断は、ＩＤ認識不可状態の一定時間継続の判断に限らず可能である。例えば、サーバ３０は、ＩＤ認識不可状態になったら即時にマスキングをリセットしてもよい。また、例えば、サーバ３０は、撮影映像フレームの画像の変化の度合いを判断し、変化の度合いが一定のレベルを超える場合に、マスキングをリセットしてもよい。例えば、カメラの撮影方向の揺れ等によって、映像内容が著しく変化した場合、撮影映像フレーム内からＩＤ媒体１２が消えてＩＤが検出できない状態が生じる。そのような場合、安全のために、マスキングがリセットされ、ＩＤが安定的に検出できる状態になるまでは、参照不許可にされる。
The determination regarding the resetting of the masking is not limited to the determination of continuing for a certain period of time when the ID cannot be recognized. For example, the
また、応用として、予め、機器１１毎の機器輪郭情報として、撮影の際の距離を考慮して、複数の機器輪郭情報を設定しておいてもよい。マスキングの際にはそれらの複数の機器輪郭情報から距離等に応じて選択した機器輪郭情報を用いて非マスク領域をセットしてもよい。
As an application, a plurality of device contour information may be set in advance as device contour information for each
この変形例では、ユーザによるカメラのズームや方向の振れ等の場合にも対応でき、セキュリティを確保しつつ、使い勝手を良くできる。 In this modification, it is possible to cope with a case where the user zooms in the camera or shakes the direction, and the usability can be improved while ensuring security.
以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。 Although the present invention has been specifically described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention.
１…ＩＴシステム、２…遠隔地、３…支援システム、４…通信網、１０…携帯端末、１０Ａ…撮影部、１０Ｂ…映像送受信部、１１…機器、１２…ＩＤ媒体、２０…携帯端末、２０Ｂ…映像送受信部、３０…サーバ、３１…設定部、３２…認証部、３３…映像マスキング部、５１…設定情報、５２…マスキング映像データ、Ｕ１，Ｕ２…ユーザ。
DESCRIPTION OF
Claims (10)
現地のＩＴシステムで作業を行う第１作業者の第１携帯端末と、
遠隔地で作業を行う第２作業者の第２携帯端末と、
サーバと、
を備え、
前記ＩＴシステムの機器には、ＩＤが記載されたＩＤ媒体が付与されており、
前記機器と前記ＩＤとの関連付け情報と、前記第１作業者のユーザＩＤ及び前記第２作業者のユーザＩＤと、前記ＩＤで示す前記機器に対する前記第２作業者の参照権限の情報と、を含む設定情報を有し、
前記サーバは、
前記第１作業者がカメラを用いて前記機器を撮影した撮影映像から、前記ＩＤ媒体の前記ＩＤを検出し、
前記設定情報に基づいて、前記検出した前記ＩＤで示す前記機器に関する前記第２作業者の参照権限の有無を確認し、
前記撮影映像に対し、前記第２作業者の参照権限が有る前記機器の画像部分を非マスク領域とし、前記第２作業者の参照権限が無い前記機器の画像部分をマスク領域としたマスキング処理を施して、マスキング映像を生成し、
前記マスキング映像を前記第２携帯端末へ提供して表示画面に表示させる、
ＩＴ運用作業遠隔支援システム。 An IT operation work remote support system for supporting IT system operation work,
A first portable terminal of a first worker who works with a local IT system;
A second portable terminal of a second worker performing work at a remote location;
Server,
With
An ID medium in which an ID is written is given to the IT system device,
The association information between the device and the ID, the user ID of the first worker and the user ID of the second worker, and information on the reference authority of the second worker for the device indicated by the ID, With configuration information including
The server
The first worker detects the ID of the ID medium from a photographed image obtained by photographing the device using a camera,
Based on the setting information, confirm the presence or absence of reference authority of the second worker for the device indicated by the detected ID,
A masking process is performed on the captured video, with the image portion of the device having the reference authority of the second operator as a non-mask area and the image portion of the device without the reference authority of the second operator as a mask area. To generate a masking video,
Providing the masking image to the second mobile terminal to display on the display screen;
IT operation work remote support system.
前記サーバは、前記マスキング映像を前記第１携帯端末へ提供して表示画面に表示させる、
ＩＴ運用作業遠隔支援システム。 In the IT operation work remote support system according to claim 1,
The server provides the masking video to the first mobile terminal to display on the display screen;
IT operation work remote support system.
前記サーバは、前記マスキング処理では、初期のマスクフレームとして全領域を前記マスク領域とし、前記初期のマスクフレームに対し、前記参照権限が有る前記機器の画像部分を前記非マスク領域にセットし、他の全画像部分を前記マスク領域にセットして、最新のマスクフレームを決定し、前記撮影映像に前記最新のマスクフレームを合成することにより前記マスキング映像を生成する、
ＩＴ運用作業遠隔支援システム。 In the IT operation work remote support system according to claim 1,
In the masking process, the server sets the entire area as the initial mask frame as the mask area, sets the image portion of the device having the reference authority for the initial mask frame in the non-mask area, Set the entire image portion of the mask region, determine the latest mask frame, and generate the masking video by combining the latest mask frame with the captured video,
IT operation work remote support system.
前記サーバは、前記第１作業者のユーザＩＤを用いて前記第１作業者のユーザ認証を行い、前記第２作業者のユーザＩＤを用いて前記第２作業者のユーザ認証を行い、前記ユーザ認証に基づいて前記第１作業者及び前記第２作業者を、遠隔連携作業を行う二人のユーザとして把握する、
ＩＴ運用作業遠隔支援システム。 In the IT operation work remote support system according to claim 1,
The server performs user authentication of the first worker using the user ID of the first worker, performs user authentication of the second worker using the user ID of the second worker, and the user Based on the authentication, the first worker and the second worker are grasped as two users who perform remote cooperation work.
IT operation work remote support system.
前記第１携帯端末は、前記第２携帯端末との間で映像を含むデータを送受信する映像送受信部を有し、
前記第２携帯端末は、前記第１携帯端末との間で映像を含むデータを送受信する映像送受信部を有し、
前記第１携帯端末と前記第２携帯端末との間で、前記マスキング映像と、前記マスキング映像に対して重畳または並列で入出力される映像、音声、または文字の少なくとも１つのデータと、を共有する、
ＩＴ運用作業遠隔支援システム。 In the IT operation work remote support system according to claim 1,
The first mobile terminal has a video transmission / reception unit that transmits and receives data including video to and from the second mobile terminal,
The second mobile terminal has a video transmission / reception unit that transmits and receives data including video to and from the first mobile terminal,
Sharing the masking video and at least one data of video, audio, or characters input / output in a superimposed or parallel manner with the masking video between the first mobile terminal and the second mobile terminal To
IT operation work remote support system.
前記機器には、前記ＩＤが符号化された情報が記載された前記ＩＤ媒体が貼り付けられており、
前記第１携帯端末は、前記第１作業者の操作に基づいて、前記カメラの前記撮影映像を前記サーバに送信し、
前記サーバは、前記撮影映像から、画像処理に基づいて、前記ＩＤを検出し、前記マスキング映像を前記第１携帯端末へ送信し、
前記第１携帯端末は、前記マスキング映像を前記第２携帯端末へ送信する、
ＩＴ運用作業遠隔支援システム。 In the IT operation work remote support system according to claim 1,
The ID medium on which the information encoded with the ID is written is pasted on the device,
The first portable terminal transmits the captured video of the camera to the server based on the operation of the first operator,
The server detects the ID from the captured video based on image processing, transmits the masking video to the first mobile terminal,
The first mobile terminal transmits the masking video to the second mobile terminal;
IT operation work remote support system.
前記サーバは、前記マスキング処理では、前記ＩＤで示す前記機器に関して、前記第１作業者の参照権限が有る、かつ、前記第２作業者の参照権限が有る場合、前記機器の画像部分を前記非マスク領域とする、
ＩＴ運用作業遠隔支援システム。 In the IT operation work remote support system according to claim 1,
In the masking process, when the server has the reference authority of the first worker and the reference authority of the second worker with respect to the device indicated by the ID, the server removes the image portion of the device. A mask area,
IT operation work remote support system.
前記設定情報は、前記機器の機器輪郭情報を含み、
前記サーバは、前記撮影映像のフレーム内の画像部分と前記機器輪郭情報とを比較照合して前記機器の輪郭を検出し、前記検出した前記機器の輪郭に合わせて前記非マスク領域及び前記マスク領域を決定する、
ＩＴ運用作業遠隔支援システム。 In the IT operation work remote support system according to claim 1,
The setting information includes device outline information of the device,
The server detects an outline of the device by comparing and collating an image portion in a frame of the captured video with the device outline information, and matches the detected non-mask area and the mask area with the detected outline of the device. To decide,
IT operation work remote support system.
前記サーバは、前記撮影映像のフレームから前記ＩＤが検出できている状態では、前記マスキング処理によるマスキングを継続し、前記ＩＤが検出できない状態、またはその状態が所定時間以上続いた場合には、前記マスキングのリセットとして前記フレームの全領域を前記マスク領域にし、再度前記ＩＤが検出できた状態になった場合には、前記マスキングを更新する、
ＩＴ運用作業遠隔支援システム。 In the IT operation work remote support system according to claim 1,
The server continues masking by the masking process in a state where the ID can be detected from the frame of the photographed video, and if the ID cannot be detected, or if the state continues for a predetermined time or more, As a reset of masking, the entire area of the frame is changed to the mask area, and when the ID can be detected again, the masking is updated.
IT operation work remote support system.
前記ＩＴ運用作業遠隔支援システムは、
現地のＩＴシステムで作業を行う第１作業者の第１携帯端末と、
遠隔地で作業を行う第２作業者の第２携帯端末と、
サーバと、
を備え、
前記ＩＴシステムの機器には、ＩＤが記載されたＩＤ媒体が付与されており、
前記機器と前記ＩＤとの関連付け情報と、前記第１作業者のユーザＩＤ及び前記第２作業者のユーザＩＤと、前記ＩＤで示す前記機器に対する前記第２作業者の参照権限の情報と、を含む設定情報を有し、
前記ＩＴ運用作業遠隔支援システムで前記サーバにより実行されるステップとして、
前記第１作業者がカメラを用いて前記機器を撮影した撮影映像から、前記ＩＤ媒体の前記ＩＤを検出するステップと、
前記設定情報に基づいて、前記検出した前記ＩＤで示す前記機器に関する前記第２作業者の参照権限の有無を確認するステップと、
前記撮影映像に対し、前記第２作業者の参照権限が有る前記機器の画像部分を非マスク領域とし、前記第２作業者の参照権限が無い前記機器の画像部分をマスク領域としたマスキング処理を施して、マスキング映像を生成するステップと、
前記マスキング映像を前記第２携帯端末へ提供して表示画面に表示させるステップと、
を有する、ＩＴ運用作業遠隔支援方法。 An IT operation work remote support method in an IT operation work remote support system for supporting IT system operation work,
The IT operation work remote support system is
A first portable terminal of a first worker who works with a local IT system;
A second portable terminal of a second worker performing work at a remote location;
Server,
With
An ID medium in which an ID is written is given to the IT system device,
The association information between the device and the ID, the user ID of the first worker and the user ID of the second worker, and information on the reference authority of the second worker for the device indicated by the ID, With configuration information including
As steps executed by the server in the IT operation work remote support system,
Detecting the ID of the ID medium from a photographed image of the device photographed by the first worker using a camera;
Based on the setting information, confirming the presence or absence of reference authority of the second worker for the device indicated by the detected ID;
A masking process is performed on the captured video, with the image portion of the device having the reference authority of the second operator as a non-mask area and the image portion of the device without the reference authority of the second operator as a mask area. And generating a masking image,
Providing the masking video to the second mobile terminal and displaying the masking video on a display screen;
An IT operation work remote support method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016168773A JP2018036812A (en) | 2016-08-31 | 2016-08-31 | System and method for remotely supporting it operation work |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016168773A JP2018036812A (en) | 2016-08-31 | 2016-08-31 | System and method for remotely supporting it operation work |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018036812A true JP2018036812A (en) | 2018-03-08 |
Family
ID=61565834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016168773A Pending JP2018036812A (en) | 2016-08-31 | 2016-08-31 | System and method for remotely supporting it operation work |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018036812A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020077898A (en) * | 2018-11-05 | 2020-05-21 | 株式会社東芝 | Image processing device and image processing method |
| JP6748793B1 (en) * | 2019-03-22 | 2020-09-02 | Ｓｐｐテクノロジーズ株式会社 | Maintenance support system, maintenance support method, program and method of generating processed image |
| WO2020194777A1 (en) * | 2019-03-22 | 2020-10-01 | Ｓｐｐテクノロジーズ株式会社 | Maintenance assistance system, maintenance assistance method, program, processed image generation method, and processed image |
| JP2020160696A (en) * | 2019-03-26 | 2020-10-01 | 株式会社富士通エフサス | Wearable device and transmission control method |
| JP2021150866A (en) * | 2020-03-19 | 2021-09-27 | Ｎｅｃフィールディング株式会社 | Video control device, video control system, video control method, and program |
| JP2022037675A (en) * | 2020-08-25 | 2022-03-09 | Ｓｐｐテクノロジーズ株式会社 | Remote maintenance support method |
-
2016
- 2016-08-31 JP JP2016168773A patent/JP2018036812A/en active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020077898A (en) * | 2018-11-05 | 2020-05-21 | 株式会社東芝 | Image processing device and image processing method |
| JP7179583B2 (en) | 2018-11-05 | 2022-11-29 | 株式会社東芝 | Image processing device and image processing method |
| JPWO2020194413A1 (en) * | 2019-03-22 | 2021-10-14 | Ｓｐｐテクノロジーズ株式会社 | Maintenance support system, maintenance support method and program |
| JPWO2020196276A1 (en) * | 2019-03-22 | 2021-10-21 | Ｓｐｐテクノロジーズ株式会社 | Maintenance support system, maintenance support method, program and processed image generation method |
| WO2020196276A1 (en) * | 2019-03-22 | 2020-10-01 | Ｓｐｐテクノロジーズ株式会社 | Maintenance assistance system, maintenance assistance method, program, method for generating processed image, and processed image |
| JP6748793B1 (en) * | 2019-03-22 | 2020-09-02 | Ｓｐｐテクノロジーズ株式会社 | Maintenance support system, maintenance support method, program and method of generating processed image |
| JP6837603B1 (en) * | 2019-03-22 | 2021-03-03 | Ｓｐｐテクノロジーズ株式会社 | Support systems, support methods and programs |
| EP3944201A4 (en) * | 2019-03-22 | 2022-04-13 | SPP Technologies Co., Ltd. | Maintenance assistance system, maintenance assistance method, and program |
| WO2020194778A1 (en) * | 2019-03-22 | 2020-10-01 | Ｓｐｐテクノロジーズ株式会社 | Assistance system, assistance method, and program |
| WO2020194777A1 (en) * | 2019-03-22 | 2020-10-01 | Ｓｐｐテクノロジーズ株式会社 | Maintenance assistance system, maintenance assistance method, program, processed image generation method, and processed image |
| US20220012868A1 (en) * | 2019-03-22 | 2022-01-13 | Spp Technologies Co., Ltd. | Maintenance support system, maintenance support method, program, method for generating processed image, and processed image |
| JP2020160696A (en) * | 2019-03-26 | 2020-10-01 | 株式会社富士通エフサス | Wearable device and transmission control method |
| JP7377614B2 (en) | 2019-03-26 | 2023-11-10 | 株式会社富士通エフサス | Wearable device and transmission control method |
| JP2021150866A (en) * | 2020-03-19 | 2021-09-27 | Ｎｅｃフィールディング株式会社 | Video control device, video control system, video control method, and program |
| JP7176775B2 (en) | 2020-03-19 | 2022-11-22 | Ｎｅｃフィールディング株式会社 | VIDEO CONTROL DEVICE, VIDEO CONTROL SYSTEM, VIDEO CONTROL METHOD AND PROGRAM |
| JP2022037675A (en) * | 2020-08-25 | 2022-03-09 | Ｓｐｐテクノロジーズ株式会社 | Remote maintenance support method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2018036812A (en) | System and method for remotely supporting it operation work | |
| EP3237991B1 (en) | Communication system comprising head wearable devices | |
| US10915777B2 (en) | Communication terminal, communication system, and image processing method | |
| JP7238346B2 (en) | Information processing device, control program for information processing device, and communication terminal | |
| CN110689460A (en) | Traffic accident data processing method, device, equipment and medium based on block chain | |
| US11245707B2 (en) | Communication terminal, communication system, communication control method, and recording medium | |
| WO2007116804A1 (en) | Digital camera system | |
| WO2019017440A1 (en) | Entrance/exit management system and entrance/exit management method | |
| JP2014154129A (en) | Outfit recognition system | |
| JP2020194295A (en) | Information processor, and information processing program | |
| JP2009104325A (en) | Entering/leaving person management system | |
| WO2019084742A1 (en) | Data transmission method, server, storage system, terminal device, and system | |
| JP2016085594A (en) | Portrait right protection program, information communication apparatus and portrait right protection method | |
| WO2022259569A1 (en) | Authentication system, authentication device, authentication method, and program | |
| JP2019175122A (en) | Information processing system, information processing method and program | |
| JP2021150866A (en) | Video control device, video control system, video control method, and program | |
| JP7102859B2 (en) | Video Conference Systems, Video Conference Methods, and Programs | |
| JP6522691B2 (en) | Personnel presence confirmation system | |
| CN111967555A (en) | Mobile payment, people's identity verification and non-identity verification integrated system | |
| JP7077504B1 (en) | Information processing equipment, programs, and control methods for information processing equipment | |
| US11582274B2 (en) | Videoconferencing system | |
| JP2019186914A (en) | Communication terminal, communication system, communication method, and program | |
| JPWO2019098205A1 (en) | Authentication device, authentication method, and program | |
| CN109033785A (en) | Screen control method and device, storage medium, terminal | |
| KR20180048043A (en) | Smart method for ordering work |