JP2016076150A - 遠隔制御システム、保守用端末、操作端末および遠隔制御方法 - Google Patents

遠隔制御システム、保守用端末、操作端末および遠隔制御方法 Download PDF

Info

Publication number
JP2016076150A
JP2016076150A JP2014207072A JP2014207072A JP2016076150A JP 2016076150 A JP2016076150 A JP 2016076150A JP 2014207072 A JP2014207072 A JP 2014207072A JP 2014207072 A JP2014207072 A JP 2014207072A JP 2016076150 A JP2016076150 A JP 2016076150A
Authority
JP
Japan
Prior art keywords
screen
terminal
remote control
maintenance
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014207072A
Other languages
English (en)
Other versions
JP6179954B2 (ja
Inventor
典宏 長徳
Norihiro Nagatoku
典宏 長徳
渡邊　明彦
Akihiko Watanabe
明彦 渡邊
匡史 小澤
Tadashi Ozawa
匡史 小澤
井上　淳
Atsushi Inoue
淳 井上
仁 川▲崎▼
Jin Kawasaki
仁 川▲崎▼
浩三 谷川
Kozo Tanigawa
浩三 谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Melco Power Systems Co Ltd
Mitsubishi Electric Corp
Mitsubishi Electric Building Solutions Corp
Original Assignee
Melco Power Systems Co Ltd
Mitsubishi Electric Corp
Mitsubishi Electric Building Techno Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Melco Power Systems Co Ltd, Mitsubishi Electric Corp, Mitsubishi Electric Building Techno Service Co Ltd filed Critical Melco Power Systems Co Ltd
Priority to JP2014207072A priority Critical patent/JP6179954B2/ja
Priority to CN201580054618.9A priority patent/CN106796482A/zh
Priority to PCT/JP2015/078468 priority patent/WO2016056588A1/ja
Priority to KR1020177007992A priority patent/KR101919723B1/ko
Priority to EP15849359.3A priority patent/EP3206116A4/en
Publication of JP2016076150A publication Critical patent/JP2016076150A/ja
Application granted granted Critical
Publication of JP6179954B2 publication Critical patent/JP6179954B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Abstract

【課題】操作端末から保守用端末を遠隔操作する場合において、操作対象の保守用アプリ画面に対する視認性および操作性を向上させることができる遠隔制御システムを得る。
【解決手段】保守用端末は、保守用端末の画面に表示された各アプリ画面から、表示・操作対象画面設定部の定義に従って、操作対象画面を１つ特定する画面特定部と、画面特定部が特定した操作対象画面から画面部品および部品状態を抽出し、これらの画面部品および部品状態に基づいて画面レイアウト情報を生成して操作端末に送信する画面情報生成部と、を備え、操作端末は、画面レイアウト情報に基づいて、操作端末の画面に画面部品を表示するとともに、画面部品に対する操作を監視し、操作があった場合に、画面操作イベント情報生成して保守用端末に送信する操作・表示部を備えたものである。
【選択図】図４

Description

この発明は、保守用端末の画面を操作端末に送信して表示するとともに、操作端末からの画面操作イベントに基づいて保守用端末を操作する遠隔制御システムおよび遠隔制御方法に関する。
保守用端末（ノートＰＣ）を使用する際に、保守作業中で片手に部品を持ちながら使用したい等、操作上の制約を回避するために、保守用端末を離れた場所に設置したまま、片手で操作可能なスマートフォン（スマホ）を操作端末にして、保守用端末を遠隔操作する方法がある。なお、スマホ以外にも、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の通信を搭載した小型の端末を利用する方法がある。
スマホからノートＰＣを遠隔操作する方法であるリモートデスクトップは、ＰＣ画面をスマホ画面に送信して表示し、スマホのタッチパネル操作（画面操作イベント）をノートＰＣの操作入力とすることで、スマホ画面によりＰＣ画面の表示・操作を可能とする。
しかしながら、この方法では、図８に示されるような相対的に大きいＰＣ画面（フルＨＤ １１．６インチ液晶）を、図９に示されるような小さいスマホ画面（７２０×１２８０ ４．３インチ液晶）に送信して表示すると、操作対象の保守用アプリ画面が小さくなり、視認性が低下するとともに、操作性が低下する。
なお、表示サイズを大きくするために、スマホ画面を拡大してスクロールバーを付けたとしても、保守用アプリ画面の所定の領域を表示するためには、スクロールバーを操作する必要があり、操作性が低下する。
ここで、主装置と端末装置とを通信で接続し、主装置の画面の一部を抽出して、端末装置に表示する技術が知られている（例えば、特許文献１、２参照）。また、スマホからＰＣ上のアプリケーションを遠隔操作するために、スマホ用のレイアウトを生成する技術が知られている（例えば、特許文献３参照）。
特開２０１４−１０５６８号公報 特開２０１３−１４５５６５号公報 特開２０１３−２３５４３８号公報
しかしながら、従来技術には、以下のような課題がある。
すなわち、特許文献３には、スマホからＰＣを遠隔操作するために、スマホ用のレイアウトを生成する技術が開示されているものの、操作対象となるアプリケーション画面を指定することについては、何等開示されていない。
そのため、特許文献１、２に開示された主装置の画面の一部を抽出して、端末装置に表示する技術を用いたとしても、操作対象の保守用アプリ画面をスマホに適切に表示することができず、視認性が低下するとともに、操作性が低下するという問題がある。
この発明は、上記のような課題を解決するためになされたものであり、操作端末から保守用端末を遠隔操作する場合において、操作対象の保守用アプリ画面に対する視認性および操作性を向上させることができる遠隔制御システムを得ることを目的とする。
この発明に係る遠隔制御システムは、保守用端末の画面を操作端末に送信して表示するとともに、操作端末からの画面操作イベントに基づいて保守用端末を操作する遠隔制御システムであって、保守用端末は、保守用端末の画面に表示された各アプリ画面から、表示・操作対象画面設定部の定義に従って、操作対象画面を１つ特定する画面特定部と、画面特定部が特定した操作対象画面から画面部品および部品状態を抽出し、これらの画面部品および部品状態に基づいて画面レイアウト情報を生成して操作端末に送信する画面情報生成部と、を備え、操作端末は、画面レイアウト情報に基づいて、操作端末の画面に画面部品を表示するとともに、画面部品に対する操作を監視し、操作があった場合に、画面操作イベント情報生成して保守用端末に送信する操作・表示部を備えたものである。
この発明に係る遠隔制御システムによれば、保守用端末の画面に表示された各アプリ画面から、表示・操作対象画面設定部の定義に従って、操作対象画面を１つ特定する画面特定部と、画面特定部が特定した操作対象画面から画面部品および部品状態を抽出し、これらの画面部品および部品状態に基づいて画面レイアウト情報を生成して操作端末に送信する画面情報生成部と、画面レイアウト情報に基づいて、操作端末の画面に画面部品を表示するとともに、画面部品に対する操作を監視し、操作があった場合に、画面操作イベント情報生成して保守用端末に送信する操作・表示部とを備えている。
そのため、操作端末から保守用端末を遠隔操作する場合において、操作対象の保守用アプリ画面に対する視認性および操作性を向上させることができる。
保守用端末の画面に複数の保守用アプリ画面と１つの非保守用アプリ画面とを表示した説明図である。 保守用アプリ画面の１つを示す説明図である。 操作端末の画面に抽出された保守用アプリ画面の画面部品を表示した説明図である。 この発明の実施の形態１に係る遠隔制御システムを示すブロック構成図である。 操作端末の画面にウィンドウタイトルと同画面のサムネイルとの一覧を表示した説明図である。 この発明の実施の形態１に係る遠隔制御システムにおける保守用端末の処理を示すフローチャートである。 この発明の実施の形態１に係る遠隔制御システムにおける操作端末の処理を示すフローチャートである。 従来のＰＣ画面に保守用アプリ画面を表示した説明図である。 図８に示したＰＣ画面をスマホ画面に送信して表示した説明図である。
以下、この発明に係る遠隔制御システムの好適な実施の形態につき図面を用いて説明するが、各図において同一、または相当する部分については、同一符号を付して説明する。
実施の形態１．
まず、この発明の概要について説明する。この発明では、保守用端末に表示された複数のアプリ画面から、操作対象となるアプリ画面を１つ特定し、その画面のうち操作対象となる画面部品と状態とを抽出して操作端末に送信して表示するとともに、操作端末に表示されたアプリ画面の画面部品に対する操作を画面操作イベント情報として保守用端末に送信して、保守用端末のアプリ画面を操作することで、保守用端末を操作端末から操作可能とする。
ここで、操作対象となるアプリ画面を１つ特定することについて説明する。図１に示されているように、保守用端末に表示されたアプリ画面のうち、保守用アプリ画面１、２は、操作端末から遠隔操作する可能性のある画面であり、非保守用アプリ画面は、遠隔操作しない画面である。
この発明では、保守用端末に表示するアプリ画面のうち、表示・操作対象画面である保守用アプリ画面１、２を定義し、保守用端末の表示を監視して、新たに表示されたアプリ画面が表示・操作対象画面に該当する場合には、操作対象となるアプリ画面を１つ選択する。
続いて、操作対象となる画面部品と状態とを抽出することについて説明する。図２に示されているように、特定された保守用アプリ画面２は、ウィンドウタイトル、テキスト１、２、ビットマップ１、２およびボタン１、２といった画面部品を含んでいる。このとき、図３に示されているように、この保守用アプリ画面２での操作に必要なテキスト１、ビットマップ１およびボタン１のみを操作端末の画面に表示する。
この発明では、保守用アプリ画面毎の画面部品のうち、操作端末に表示する画面レイアウトを定義し、選択した画面部品を、画面レイアウトに従い、抽出・配置して操作端末の画面部品に置き換えて表示する。
次に、保守用端末のアプリ画面を操作することについて説明する。この発明では、操作端末から受信した画面操作イベント情報に基づいて、保守端末の同画面部品に対する同操作を実行する。
以下、図４に示されるブロック構成図に基づいて、この発明の実施の形態１に係る遠隔制御システムについて説明する。図４において、この遠隔制御システムは、例えばノートＰＣである保守用端末１と、スマートフォン（スマホ）である操作端末２とから構成されている。なお、保守用端末１と操作端末２とは、無線ＬＡＮ等で接続されている。また、保守用端末１には、エレベータの監視カメラ３およびエレベータ装置４が接続されている。
保守用端末１は、アプリ制御部１０により、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）２０を介して表示されている操作対象アプリ３０のアプリ画面の内容を取得するとともに、操作対象アプリ３０に対する操作を行い、非操作対象アプリ４０については、処理を行わないものである。
操作端末２は、ＯＳ２１を介して、操作・表示部２２に保守用端末１から送信された画面を表示させるとともに、操作・表示部２２に対する画面操作イベント情報を、保守用端末１に送信する。
アプリ制御部１０は、画面特定部１１、表示・操作対象画面設定部１２、画面表示・操作関係設定部１３、画面情報生成部１４、画面レイアウト設定部１５およびアプリ画面操作部１６から構成されている。
保守用端末１の画面特定部１１は、保守用端末１に表示された各アプリ画面から、表示・操作対象画面設定部１２の定義に従って、操作対象画面を１つ特定する。ここで、表示・操作対象画面設定部１２には、画面特定部１１が画面を特定するための定義として、画面の属性と画面識別子とが、以下に示すようにあらかじめ設定されている。
表示・操作対象画面設定部１２の設定例
１）ウィンドウタイトル｜ウィンドウ表示プロセス（アプリケーション）名｜画面識別子
２）ウィンドウタイトル｜ウィンドウ内の画面部品数｜画面識別子
具体的には、画面特定部１１は、画面に表示されている各アプリ画面の属性をＯＳ２０から取得して、表示・操作対象画面設定部１２の定義内の各属性と比較して、一致した属性があった場合に、その画面識別子を操作対象画面として特定し、同画面の画面ＩＤをＯＳ２０から取得する。なお、画面ＩＤは、ＯＳ２０の実行中に一意に画面を特定する画面ＩＤであり、例えばＷｉｎｄｏｗｓ（登録商標）であれば、ウィンドウハンドルが画面ＩＤに相当する。
また、画面表示・操作関係設定部１３には、画面特定部１１が画面を特定するための定義として、現在操作対象であるアプリ画面に対する操作と、操作に対して次に操作対象となる画面識別子とが、以下に示すようにあらかじめ設定されている。
画面表示・操作関係設定部１３の設定例
１）操作対象画面識別子｜操作内容｜次操作対象画面識別子
ここで、操作内容は、例えばボタンＡ押下、ボタンＢ押下、チェックボックスＡ選択等の操作であり、これらの操作によって操作対象となる画面が切り替わるか、または新しく表示される操作を定義する。
このとき、画面特定部１１は、画面表示・操作関係設定部１３の定義と比較して、特定した操作対象画面と一致する操作対象画面識別子の示す操作内容と、操作端末２に対して行われた操作の内容とが一致する場合には、次操作対象画面識別子を、操作対象画面候補として選択する。すなわち、画面特定部１１は、表示・操作対象画面設定部１２の定義に基づいて、候補の画面が表示されたことを特定する。
保守用端末１の画面情報生成部１４は、画面特定部１１が特定した画面識別子と画面ＩＤ（例えばウィンドウハンドル）とを用いて、画面レイアウト設定部１５の定義に従って、操作端末２に送信する画面レイアウト情報を生成する。具体的には、まず、画面情報生成部１４は、画面ＩＤから操作対象のアプリ画面の属性（ウィンドウタイトル、画面部品、部品状態）を取得する。画面部品と部品状態とには、以下に示すようなものがある。
画面部品｜部品状態の例
１）ボタン｜部品ＩＤ、ボタンタイトル、ボタン押下可否、ボタン押下状態
２）チェックボックス｜部品ＩＤ、表示項目名、選択項目名
３）リストボックス｜部品ＩＤ、表示項目名、選択項目名
４）テキスト｜部品ＩＤ、表示されている文字列、文字列の色
５）ビットマップ｜部品ＩＤ、表示されているビットマップデータ
画面レイアウト設定部１５は、画面識別子に対して、操作端末２に表示する画面部品を特定する情報を、以下に示すようにあらかじめ設定する。
画面レイアウト設定部１５の設定例
１）画面識別子｜表示する画面部品を特定する情報｜表示する画面部品を特定する情報｜・・・・・
ここで、表示する画面部品を特定する情報には、以下に示すようなものがある。
画面部品｜画面部品を特定する情報の例
１）ボタンＡ｜ボタンタイトル
２）リストボックス｜表示項目名
３）チェックボックス｜表示項目名
４）テキストＡ｜表示文字列
５）ビットマップ｜画面内領域座標
続いて、画面情報生成部１４は、操作対象のアプリ画面の画面部品、部品状態に基づいて、画面レイアウト設定部１５に設定された画面識別子の画面部品と画面部品を特定する情報とに一致する画面部品を選択して、以下に示すような画面レイアウト情報を生成する。
画面レイアウト情報の例
１）ボタンＡ｜部品ＩＤ｜ボタンタイトル、ボタン押下可否、ボタン押下状態
２）ボタンＢ｜部品ＩＤ｜ボタンタイトル、ボタン押下可否、ボタン押下状態
３）テキストＡ｜部品ＩＤ｜文字列、文字列の色
４）ビットマップＡ｜部品ＩＤ｜ビットマップデータ
なお、画面情報生成部１４は、画面レイアウト情報を操作端末２に送信した後、操作対象アプリ３０の画面変化を監視し、変化が発生した場合に、新たな画面レイアウト情報を生成して、操作端末２に送信する。
例えば、画面情報生成部１４は、保守用端末１に監視カメラ３の画像が表示されている場合に、監視カメラ３が正常に動作していることを判定するために、画像の変化を操作端末２の画面に表示することができる。また、画面情報生成部１４は、エレベータの階床表示等の数値変化やバナー文字列等変化、グラフの変化等についても、画像の変化を操作端末２の画面に表示することができる。
操作端末２の操作・表示部２２は、画面レイアウト情報を受信すると、画面レイアウト情報に基づいて、操作端末２の画面に各画面部品を表示する。例えば、ボタンＡについては、ボタンを画面レイアウト情報に記載されたボタンタイトル、押下可否、押下状態で作成して画面上に配置する。また、チェックボックスやリストボックス、テキスト、ビットマップについても同じように作成して画面上に配置する。
これらの画面部品は、操作端末２の特徴に合わせてレイアウトが決定されてもよい。例えば、小さい画面で見易くするため画面部品を大きくする、小さいタッチパネルで操作しやすくするため画面部品を大きくする等である。ビットマップは、操作端末の画面サイズに合わせてリサイズしてもよいし、スクロールバーを設けて同じサイズで表示してもよい。
また、操作・表示部２２は、操作端末２の画面に画面部品を表示した後、各画面部品に対する操作を監視し、操作があった場合に、以下に示すような画面操作イベント情報を生成して、保守用端末１に送信する。このとき、部品ＩＤは、各画面部品に対して受信したものをそのまま用いて応答する。
画面操作イベント情報の例
１）ボタンＡ｜部品ＩＤ｜ボタン押下
２）チェックボックスＡ｜部品ＩＤ｜項目選択
３）リストボックスＡ｜部品ＩＤ｜項目選択
４）ビットマップＡ｜部品ＩＤ｜クリック座標
保守用端末１のアプリ画面操作部１６は、受信した画面操作イベント情報に基づいて、操作対象のアプリ画面への操作を実行する。例えば、ボタンＡに対する画面操作イベント情報を受信した場合には、アプリ画面操作部１６は、部品ＩＤからアプリ画面内の画面部品を特定して、同画面部品に対するボタン押下を実行する。
なお、画面特定部１１は、保守用端末１に表示された各アプリ画面のうち、操作対象画面を１つ特定するが、ＯＳ２０の起動直後は、操作対象アプリ３０が起動されていないので、操作対象のアプリ画面がない。そこで、画面特定部１１は、操作対象のアプリ画面がない場合には、画面情報生成部１４に対して、初期画面生成指示を出力する。画面情報生成部１４は、初期画面の画面レイアウト情報として、起動するアプリ一覧を操作端末２に送信する。
ここで、起動するアプリ一覧は、画面レイアウト設定部１５に、以下に示すようにあらかじめ定義されている。
起動するアプリの例
１）保守アプリ１起動ボタン｜実行ファイル名
２）保守アプリ２起動ボタン｜実行ファイル名
・・・
ｎ）保守アプリｎ起動ボタン｜実行ファイル名
このとき、操作・表示部２２は、保守アプリ起動ボタンとして、起動するアプリ一覧を画面に表示し、ボタンが押下された場合に、画面操作イベント情報として、同ボタンに対応する実行ファイル名を保守用端末１に送信する。これに対して、アプリ画面操作部１６は、実行ファイル名を受信すると、ＯＳ２０に対して同実行ファイルの起動を指示する。
また、画面特定部１１は、保守用端末１に表示された各アプリ画面から操作対象画面を１つ特定する処理において、表示されているアプリ画面の情報を、画面情報生成部１４を介して画面レイアウト情報として操作・表示部２２に送信し、操作対象のアプリ画面を選択させてもよい。画面レイアウト情報の設定例には、以下に示すようなものがある。
画面レイアウト情報の設定例
１）ウィンドウタイトル１｜画面ＩＤ｜画面のサムネイルのビットマップ
２）ウィンドウタイトル２｜画面ＩＤ｜画面のサムネイルのビットマップ
・・・
ｎ）ウィンドウタイトルｎ｜画面ＩＤ｜画面のサムネイルのビットマップ
このとき、操作・表示部２２は、図５に示されるように、操作端末２の画面にウィンドウタイトルと同画面のサムネイルとの一覧を表示して、選択されたウィンドウタイトルまたはサムネイルに対応した画面ＩＤを保守用端末１に送信する。これに対して、画面特定部１１は、画面ＩＤの画面を操作対象画面として特定する。
続いて、図６のフローチャートを参照しながら、この発明の実施の形態１に係る遠隔制御システムにおける保守用端末１の処理について説明する。図６の処理は、例えばあらかじめ設定された任意のタイミングや、アプリケーションが起動されたタイミングで実行される。
図６において、まず、画面特定部１１は、画面情報生成部１４に対して、初期画面生成指示を出力し（ステップＳ１）、画面情報生成部１４は、初期画面の画面レイアウト情報を生成して操作端末２に送信する（ステップＳ２）。
続いて、アプリ画面操作部１６が画面操作イベント情報を受信すると（ステップＳ３）、保守アプリを起動し（ステップＳ４）、画面表示待ち、または定期的に表示画面が検索される（ステップＳ５）。
次に、画面にアプリ画面が表示されると、画面特定部１１は、操作対象画面であるか否かを判定する（ステップＳ６）。ステップＳ６において、操作対象画面ではない（すなわち、Ｎｏ）と判定された場合には、ステップＳ５に移行する。
一方、ステップＳ６において、対象画面である（すなわち、Ｙｅｓ）と判定された場合には、画面特定部１１は、操作対象画面として選択し（ステップＳ７）、画面情報生成部１４は、画面レイアウト情報を生成して操作端末２に送信する（ステップＳ８）。
続いて、アプリ画面操作部１６は、画面操作イベント情報を受信したか否かを判定する（ステップＳ９）。ステップＳ９において、画面操作イベント情報を受信していない（すなわち、Ｎｏ）と判定された場合には、画面情報生成部１４は、操作対象画面に変化があるか否かを判定する（ステップＳ１０）。
ステップＳ１０において、操作対象画面に変化がある（すなわち、Ｙｅｓ）と判定された場合には、ステップＳ８に移行する。一方、ステップＳ１０において、操作対象画面に変化がない（すなわち、Ｎｏ）と判定された場合には、ステップＳ９に移行する。
また一方、ステップＳ９において、画面操作イベント情報を受信した（すなわち、Ｙｅｓ）と判定された場合には、アプリ画面操作部１６は、操作対象画面を操作する（ステップＳ１１）。
次に、画面特定部１１は、画面表示・操作関係設定部１３内に、操作対象画面と操作対象画面に対する操作とが定義されているか否かを判定する（ステップＳ１２）。ステップＳ１２において、画面表示・操作関係設定部１３内に定義されていない（すなわち、Ｎｏ）と判定された場合には、ステップＳ５に移行する。
一方、ステップＳ１２において、画面表示・操作関係設定部１３内に定義されている（すなわち、Ｙｅｓ）と判定された場合には、画面特定部１１は、操作対象画面と操作対象画面に対する操作とが定義と一致しているか否かを判定する（ステップＳ１３）。ステップＳ１３において、操作対象画面と操作対象画面に対する操作とが定義と一致していない（すなわち、Ｎｏ）と判定された場合には、ステップＳ５に移行する。
一方、ステップＳ１３において、操作対象画面と操作対象画面に対する操作とが定義と一致している（すなわち、Ｙｅｓ）と判定された場合には、画面特定部１１は、定義内の次の画面を操作対象画面の候補に決定して（ステップＳ１４）、ステップＳ５に移行する。
次に、図７のフローチャートを参照しながら、この発明の実施の形態１に係る遠隔制御システムにおける操作端末２の処理について説明する。図７の処理は、例えばあらかじめ設定された任意のタイミングや、操作端末２が起動されたタイミングで実行される。
図７において、操作・表示部２２は、保守用端末１から画面レイアウト情報を受信し（ステップＳ２１）、表示画面を生成して表示するとともに（ステップＳ２２）、画面操作を監視する（ステップＳ２３）。
続いて、操作・表示部２２は、画面操作があったか否かを判定する（ステップＳ２４）。ステップＳ２４において、画面操作がない（すなわち、Ｎｏ）と判定された場合には、操作・表示部２２は、画面レイアウト情報を受信したか否かを判定する（ステップＳ２５）。
ステップＳ２５において、画面レイアウト情報を受信した（すなわち、Ｙｅｓ）と判定された場合には、ステップＳ２２に移行する。一方、ステップＳ２５において、画面レイアウト情報を受信していない（すなわち、Ｎｏ）と判定された場合には、ステップＳ２３に移行する。
一方、ステップＳ２４において、画面操作があった（すなわち、Ｙｅｓ）と判定された場合には、操作・表示部２２は、画面操作イベント情報を生成して保守用端末１に送信し（ステップＳ２６）、ステップＳ２３に移行する。
以上のように、実施の形態１によれば、保守用端末の画面に表示された各アプリ画面から、表示・操作対象画面設定部の定義に従って、操作対象画面を１つ特定する画面特定部と、画面特定部が特定した操作対象画面から画面部品および部品状態を抽出し、これらの画面部品および部品状態に基づいて画面レイアウト情報を生成して操作端末に送信する画面情報生成部と、画面レイアウト情報に基づいて、操作端末の画面に画面部品を表示するとともに、画面部品に対する操作を監視し、操作があった場合に、画面操作イベント情報生成して保守用端末に送信する操作・表示部とを備えている。
そのため、操作端末から保守用端末を遠隔操作する場合において、操作対象の保守用アプリ画面に対する視認性および操作性を向上させることができる。
すなわち、相対的に大きいＰＣ画面のアプリを小さいスマホ画面で操作するために、操作対象となるアプリ画面を１つ特定して、同画面のうち操作対象となる画面部品のみをスマホで表示するようにしたので、スマホで視認・操作する場合において、視認性および操作性を向上させることができる。
１ 保守用端末、２ 操作端末、３ 監視カメラ、１０ アプリ制御部、１１ 画面特定部、１２ 表示・操作対象画面設定部、１３ 画面表示・操作関係設定部、１４ 画面情報生成部、１５ 画面レイアウト設定部、１６ アプリ画面操作部、２０ ＯＳ、２１ ＯＳ、２２ 操作・表示部、３０ 操作対象アプリ、４０ 非操作対象アプリ。

Claims (9)

  1. 保守用端末の画面を操作端末に送信して表示するとともに、前記操作端末からの画面操作イベントに基づいて前記保守用端末を操作する遠隔制御システムであって、
    前記保守用端末は、
    前記保守用端末の画面に表示された各アプリ画面から、表示・操作対象画面設定部の定義に従って、操作対象画面を１つ特定する画面特定部と、
    前記画面特定部が特定した操作対象画面から画面部品および部品状態を抽出し、これらの画面部品および部品状態に基づいて画面レイアウト情報を生成して前記操作端末に送信する画面情報生成部と、を備え、
    前記操作端末は、
    前記画面レイアウト情報に基づいて、前記操作端末の画面に前記画面部品を表示するとともに、前記画面部品に対する操作を監視し、操作があった場合に、画面操作イベント情報生成して前記保守用端末に送信する操作・表示部を備えた
    遠隔制御システム。
  2. 前記画面特定部は、前記表示・操作対象画面設定部に定義されたウィンドウタイトルと一致するアプリ画面を、前記操作対象画面として特定する
    請求項１に記載の遠隔制御システム。
  3. 前記画面特定部は、前記表示・操作対象画面設定部に定義されたウィンドウタイトルおよびウィンドウ表示プロセスと一致するアプリ画面を、前記操作対象画面として特定する
    請求項１に記載の遠隔制御システム。
  4. 前記画面特定部は、前記表示・操作対象画面設定部に定義されたウィンドウタイトルおよびウィンドウ内の画面部品数と一致するアプリ画面を、前記操作対象画面として特定する
    請求項１に記載の遠隔制御システム。
  5. 前記画面特定部は、前記画面特定部が特定した操作対象画面に対する操作と、この操作に対して次に操作対象となる画面とを定義した画面表示・操作関係設定部に従って、当該操作が行われた場合に、前記次に操作対象となる画面を操作対象画面の候補とする
    請求項１から請求項４までの何れか１項に記載の遠隔制御システム。
  6. 前記画面情報生成部は、前記画面レイアウト情報を前記操作端末に送信した後、前記操作対象画面の変化を監視し、変化が発生した場合に、新たな画面レイアウト情報を生成して、前記操作端末に送信する
    請求項１から請求項５までの何れか１項に記載の遠隔制御システム。
  7. 請求項１から請求項６までの何れか１項に記載の保守用端末であって、前記保守用端末の画面を操作端末に送信して表示するとともに、前記操作端末からの画面操作イベントに基づいて前記保守用端末を操作する遠隔制御システムに適用される保守用端末。
  8. 請求項１から請求項６までの何れか１項に記載の操作端末であって、保守用端末の画面を前記操作端末に送信して表示するとともに、前記操作端末からの画面操作イベントに基づいて前記保守用端末を操作する遠隔制御システムに適用される操作端末。
  9. 保守用端末の画面を操作端末に送信して表示するとともに、前記操作端末からの画面操作イベントに基づいて前記保守用端末を操作する遠隔制御システムにおける遠隔制御方法であって、
    前記保守用端末の画面に表示された各アプリ画面から、表示・操作対象画面設定部の定義に従って、操作対象画面を１つ特定する画面特定ステップと、
    前記画面特定ステップで特定された操作対象画面から画面部品および部品状態を抽出し、これらの画面部品および部品状態に基づいて画面レイアウト情報を生成して前記操作端末に送信する画面情報生成ステップと、
    前記画面レイアウト情報に基づいて、前記操作端末の画面に前記画面部品を表示するとともに、前記画面部品に対する操作を監視し、操作があった場合に、画面操作イベント情報生成して前記保守用端末に送信する操作・表示ステップと、備えた
    遠隔制御方法。
JP2014207072A 2014-10-08 2014-10-08 遠隔制御システム、保守用端末および遠隔制御方法 Expired - Fee Related JP6179954B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014207072A JP6179954B2 (ja) 2014-10-08 2014-10-08 遠隔制御システム、保守用端末および遠隔制御方法
CN201580054618.9A CN106796482A (zh) 2014-10-08 2015-10-07 远程控制系统、维护用终端、操作终端以及远程控制方法
PCT/JP2015/078468 WO2016056588A1 (ja) 2014-10-08 2015-10-07 遠隔制御システム、保守用端末、操作端末および遠隔制御方法
KR1020177007992A KR101919723B1 (ko) 2014-10-08 2015-10-07 원격 제어 시스템, 보수용 단말, 조작 단말 및 원격 제어 방법
EP15849359.3A EP3206116A4 (en) 2014-10-08 2015-10-07 Remote control system, maintenance terminal, operation terminal, and remote control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014207072A JP6179954B2 (ja) 2014-10-08 2014-10-08 遠隔制御システム、保守用端末および遠隔制御方法

Publications (2)

Publication Number Publication Date
JP2016076150A true JP2016076150A (ja) 2016-05-12
JP6179954B2 JP6179954B2 (ja) 2017-08-16

Family

ID=55653196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014207072A Expired - Fee Related JP6179954B2 (ja) 2014-10-08 2014-10-08 遠隔制御システム、保守用端末および遠隔制御方法

Country Status (5)

Country Link
EP (1) EP3206116A4 (ja)
JP (1) JP6179954B2 (ja)
KR (1) KR101919723B1 (ja)
CN (1) CN106796482A (ja)
WO (1) WO2016056588A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019511050A (ja) * 2016-03-07 2019-04-18 アー・ファウ・エル・リスト・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 画面ビューの遠隔エンティティを生成し更新するための方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011531A (ja) * 2005-06-29 2007-01-18 Fujitsu Ltd インタフェース制御プログラム、インタフェース制御方法、インタフェース制御装置、プラグインプログラム
JP2009245095A (ja) * 2008-03-31 2009-10-22 Nec Personal Products Co Ltd 情報処理装置、プログラム、及び、遠隔操作システム
JP2013235438A (ja) * 2012-05-09 2013-11-21 Hitachi Solutions East Japan Ltd 画面変換システム
JP2014137671A (ja) * 2013-01-16 2014-07-28 Japan Digital Laboratory Co Ltd リモートアクセス制御システム、方法、およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005041029A2 (en) * 2003-10-24 2005-05-06 Matsushita Electric Industrial Co., Ltd. Remote operation system, communication apparatus remote control system and document inspection apparatus
KR100752630B1 (ko) * 2005-07-11 2007-08-30 주식회사 로직플랜트 저속통신망과 저사양 개인용통신단말기에 최적화된 컴퓨터원격제어방법 및 그 시스템
US7835544B2 (en) * 2006-08-31 2010-11-16 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for far field image absolute navigation sensing
JP2009288093A (ja) * 2008-05-29 2009-12-10 Toshiba Corp 監視制御システム
JP4857406B1 (ja) * 2010-06-25 2012-01-18 パナソニック株式会社 制御装置およびスクリプト変換方法
CN103957236A (zh) * 2011-02-21 2014-07-30 北京奇虎科技有限公司 基于远程控制的图像显示方法和传输方法
KR20120100045A (ko) * 2011-03-02 2012-09-12 삼성전자주식회사 사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법
JP5434941B2 (ja) * 2011-03-22 2014-03-05 横河電機株式会社 操作監視装置及び操作監視方法
CN103530096B (zh) * 2012-07-03 2018-11-16 索尼公司 远程控制方法、远程控制设备和显示设备
CN103927222A (zh) * 2013-12-31 2014-07-16 瑞达信息安全产业股份有限公司 一种用于客户端与服务端的图形协同处理方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011531A (ja) * 2005-06-29 2007-01-18 Fujitsu Ltd インタフェース制御プログラム、インタフェース制御方法、インタフェース制御装置、プラグインプログラム
JP2009245095A (ja) * 2008-03-31 2009-10-22 Nec Personal Products Co Ltd 情報処理装置、プログラム、及び、遠隔操作システム
JP2013235438A (ja) * 2012-05-09 2013-11-21 Hitachi Solutions East Japan Ltd 画面変換システム
JP2014137671A (ja) * 2013-01-16 2014-07-28 Japan Digital Laboratory Co Ltd リモートアクセス制御システム、方法、およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019511050A (ja) * 2016-03-07 2019-04-18 アー・ファウ・エル・リスト・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 画面ビューの遠隔エンティティを生成し更新するための方法

Also Published As

Publication number Publication date
CN106796482A (zh) 2017-05-31
EP3206116A4 (en) 2018-06-20
KR20170047313A (ko) 2017-05-04
WO2016056588A1 (ja) 2016-04-14
JP6179954B2 (ja) 2017-08-16
KR101919723B1 (ko) 2018-11-16
EP3206116A1 (en) 2017-08-16

Similar Documents

Publication Publication Date Title
JP6200136B2 (ja) 画像形成装置、検索システム、画像形成装置の制御方法及びプログラム
JP2004264769A (ja) 情報処理装置およびプログラム
US9834876B2 (en) Sewing machine system, sewing machine, terminal device, method of displaying content for sewing machine system, recording medium storing program for sewing machine, and recording medium storing program for terminal device
US9386174B2 (en) Image forming apparatus, method for guidance on operation method by image forming apparatus, and system
US20150163369A1 (en) Remote control device, remote operation device, screen transmission control method, and non-transitory computer-readable recording medium encoded with screen display control program
US9875433B2 (en) Linkage system and linkage method for image processing, portable terminal device, and image processing linkage program
US10684813B2 (en) Display device and method for controlling same
KR102204676B1 (ko) 디스플레이 장치, 모바일 장치, 이를 포함하는 시스템 및 그 접속 제어방법
US20140215347A1 (en) Portable device and control method thereof
JP6488903B2 (ja) 画面転送制御システム、画面転送制御プログラム及び画面転送制御方法
JP6179954B2 (ja) 遠隔制御システム、保守用端末および遠隔制御方法
US20140368871A1 (en) Image forming system, image forming apparatus, remote control apparatus, and recording medium
US10388257B2 (en) Information processing apparatus, method of controlling the same and non-transitory computer-readable storage medium
JP2013210867A (ja) 表示制御装置、表示制御方法、プログラムおよび表示機器
US10785376B2 (en) Image processing apparatus for sending user interface data
US20150271431A1 (en) Information Transmission Method and Wireless Display System
US10359931B2 (en) Remote operation apparatus, remote operation system, and non-transitory computer readable medium storing program
US10652411B2 (en) Remote operation apparatus, remote operation system, and non-transitory computer readable medium storing program with text input assistance
US20150163214A1 (en) Information processing apparatus, method of controlling the same, and storage medium
JP2018046443A (ja) 情報端末、電子情報ボード及びプログラム
JP6481531B2 (ja) 画像形成装置、端末装置、エラー画面提供方法、およびコンピュータプログラム
JP2009238060A (ja) 情報処理システム、サーバ及び端末
JP2019096025A (ja) 画像処理システム、ユーザインタフェースの提供方法、およびコンピュータプログラム
JP2008242773A (ja) 看護支援システム
JP2004234196A (ja) ユーザーインターフェース登録システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170321

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170615

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170712

R150 Certificate of patent or registration of utility model

Ref document number: 6179954

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees