JP2020197932A - Software operation support system - Google Patents

Software operation support system Download PDF

Info

Publication number
JP2020197932A
JP2020197932A JP2019103860A JP2019103860A JP2020197932A JP 2020197932 A JP2020197932 A JP 2020197932A JP 2019103860 A JP2019103860 A JP 2019103860A JP 2019103860 A JP2019103860 A JP 2019103860A JP 2020197932 A JP2020197932 A JP 2020197932A
Authority
JP
Japan
Prior art keywords
display
display device
function
information
software
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019103860A
Other languages
Japanese (ja)
Other versions
JP7278152B2 (en
Inventor
七瀬 浅野
Nanase Asano
七瀬 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2019103860A priority Critical patent/JP7278152B2/en
Publication of JP2020197932A publication Critical patent/JP2020197932A/en
Application granted granted Critical
Publication of JP7278152B2 publication Critical patent/JP7278152B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide a software operation support system that improves the efficiency of a work using software.SOLUTION: The software operation support system includes a computing device, a first display device (display 11), a second display device (AR glasses 12), and an operation device (mouse). The computing device displays information Msg on a function of a specific button Bn1 on the second display device of a transparent display 120 according to the coordinates of the cursor Cr being included in the specific button Bn1, and executes the function of the specific button Bn1 in response to the clicking operation by a user on the operation device. The second display device can display information Msg regarding the function of the specific button Bn1 so as to overlap a display area Rg of the first display device.SELECTED DRAWING: Figure 3

Description

本発明は、ソフトウェア操作支援システムに関する。 The present invention relates to a software operation support system.

従来、ソフトウェア操作支援システムが知られている。たとえば、特開２０１３−２００４４０号公報（特許文献１）には、ガイド画面による操作支援が可能な映像表示装置が開示されている。当該映像表示装置によれば、操作者の視点から、視点が静止した位置の通常画面の情報に関連付けられた補助情報を、通常画面に重ね合わせて補助画面として表示できるため、操作者は補助情報を操作の際に映像表示部にて確認することができる。 Conventionally, a software operation support system is known. For example, Japanese Patent Application Laid-Open No. 2013-200440 (Patent Document 1) discloses a video display device capable of supporting operation by a guide screen. According to the video display device, the auxiliary information associated with the information on the normal screen at the position where the viewpoint is stationary can be superimposed on the normal screen and displayed as the auxiliary screen from the viewpoint of the operator, so that the operator can display the auxiliary information. Can be confirmed on the video display unit during operation.

特開２０１３−２００４４０号公報Japanese Unexamined Patent Publication No. 2013-200440

特許文献１においては、視線解析カメラから取り込んだ目線映像を判別して、操作者の視点であるアイポインタの静止位置にガイド情報が表示される。アイポインタの静止位置がマウスのカーソルの位置と異なり得るため、ガイド情報を参照しながら操作者がマウスを操作すると、マウスへのクリック操作によって選択されるＧＵＩ（Graphical User Interface）の情報とは異なる情報に基づいてソフトウェアが操作され得る。その結果、ソフトウェアを用いる作業の効率が低下し得る。 In Patent Document 1, the line-of-sight image captured from the line-of-sight analysis camera is discriminated, and guide information is displayed at the stationary position of the eye pointer, which is the viewpoint of the operator. Since the stationary position of the eye pointer can be different from the position of the mouse cursor, when the operator operates the mouse while referring to the guide information, the information is different from the GUI (Graphical User Interface) information selected by clicking the mouse. The software can be operated on the information. As a result, the efficiency of work using software can be reduced.

本発明は、上述のような課題を解決するためになされたものであり、その目的は、ソフトウェアを用いる作業の効率を向上させることである。 The present invention has been made to solve the above-mentioned problems, and an object of the present invention is to improve the efficiency of work using software.

本発明に係るソフトウェア操作支援システムは、計算装置と、第１表示装置と、第２表示装置と、操作装置とを備える。計算装置は、複数のグラフィカルユーザインタフェース（ＧＵＩ）へのユーザの入力を介して操作されるソフトウェアを実行する。第１表示装置は、複数のＧＵＩおよびカーソルを表示する。操作装置は、第１表示装置の表示領域内においてカーソルを操作する。第２表示装置は、複数のＧＵＩのうちカーソルの座標を含む特定ＧＵＩの機能に関する情報を表示する。計算装置は、カーソルの座標が特定ＧＵＩに含まれることに応じて特定ＧＵＩの機能に関する情報を第２表示装置に表示する。計算装置は、操作装置に対するユーザのクリック操作に応じて特定ＧＵＩの機能を実行する。第２表示装置は、第１表示装置の表示領域に重なるように特定ＧＵＩの機能に関する情報を表示可能である。 The software operation support system according to the present invention includes a calculation device, a first display device, a second display device, and an operation device. The computing unit runs software that is manipulated through user input into multiple graphical user interfaces (GUIs). The first display device displays a plurality of GUIs and cursors. The operating device operates the cursor within the display area of the first display device. The second display device displays information on the function of the specific GUI including the coordinates of the cursor among the plurality of GUIs. The computing device displays information on the function of the specific GUI on the second display device according to the coordinates of the cursor included in the specific GUI. The computing device executes the function of the specific GUI in response to a user's click operation on the operating device. The second display device can display information related to the function of the specific GUI so as to overlap the display area of the first display device.

本発明によれば、第２表示装置が第１表示装置の表示領域に重なるように特定ＧＵＩの機能に関する情報を表示可能であることにより、ソフトウェアを用いる作業の効率を向上させることができる。 According to the present invention, it is possible to improve the efficiency of work using software by being able to display information on the function of the specific GUI so that the second display device overlaps the display area of the first display device.

実施の形態に係るソフトウェア操作支援システムをユーザが操作している様子を示す図である。It is a figure which shows the state that the user is operating the software operation support system which concerns on embodiment. 図１のソフトウェア操作支援システムの構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the software operation support system of FIG. 特定ＧＵＩの機能に関する情報がＡＲメガネによって表示領域に重なるように表示される様子を説明するための図である。It is a figure for demonstrating how the information about the function of a specific GUI is displayed by AR glasses so as to overlap a display area.

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は原則として繰り返さない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In principle, the same or corresponding parts in the drawings are designated by the same reference numerals and the description is not repeated.

図１は、実施の形態に係るソフトウェア操作支援システム１をユーザＵｓが操作している様子を示す図である。図１に示されるように、ソフトウェア操作支援システム１は、ディスプレイ１１（第１表示装置）と、ＡＲ（Augmented Reality）メガネ１２（第２表示装置）と、マウス２０（操作装置）と、計算装置３０とを備える。図１においては、ユーザＵｓがＡＲメガネ１２を装着して、ディスプレイ１１を見ながらマウス２０を操作している様子が示されている。 FIG. 1 is a diagram showing a state in which a user Us is operating the software operation support system 1 according to the embodiment. As shown in FIG. 1, the software operation support system 1 includes a display 11 (first display device), AR (Augmented Reality) glasses 12 (second display device), a mouse 20 (operation device), and a calculation device. 30 and. FIG. 1 shows a user Us wearing AR glasses 12 and operating the mouse 20 while looking at the display 11.

計算装置３０は、複数のＧＵＩ（Graphical User Interface）へのユーザＵｓの入力を介して操作されるソフトウェアを実行する。当該ソフトウェアは、たとえば電力系統の監視制御ソフトウェアである。ディスプレイ１１の表示領域Ｒｇには、当該ソフトウェアの複数のＧＵＩに含まれるボタンＢｎ１〜Ｂｎ４、およびカーソルＣｒが表示されている。カーソルＣｒは、たとえば矢印の画像である。マウス２０は、表示領域Ｒｇ内においてカーソルＣｒを操作する。マウス２０は、作業平面（たとえば不図示の机）の上に置かれている。ユーザは、マウス２０を作業平面上で移動させることによりカーソルＣｒの位置を変えることができる。ユーザは、マウス２０へのクリック操作によって、表示領域Ｒｇ内のＧＵＩを選択することができる。クリック操作としては、たとえばマウス２０へのシングルクリックおよびダブルクリックを挙げることができる。 The computing device 30 executes software that is operated via input of a user Us to a plurality of GUIs (Graphical User Interfaces). The software is, for example, power system monitoring and control software. In the display area Rg of the display 11, the buttons Bn1 to Bn4 and the cursor Cr included in the plurality of GUIs of the software are displayed. The cursor Cr is, for example, an image of an arrow. The mouse 20 operates the cursor Cr in the display area Rg. The mouse 20 is placed on a working plane (for example, a desk (not shown). The user can change the position of the cursor Cr by moving the mouse 20 on the work plane. The user can select the GUI in the display area Rg by clicking the mouse 20. Examples of the click operation include a single click and a double click on the mouse 20.

図２は、図１のソフトウェア操作支援システム１の構成を示す機能ブロック図である。図２に示されるように、計算装置３０は、制御部３１と、メモリ３２（記憶部）とを含む。制御部３１は、処理回路を含む。処理回路は、専用のハードウェアであってもよいし、メモリ３２に格納されるプログラムを実行するＣＰＵ（Central Processing Unit）であってもよい。処理回路が専用のハードウェアである場合、処理回路は、たとえば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ(Field Programmable Gate Array)、あるいはこれらを組み合わせたものが該当する。処理回路がＣＰＵの場合、制御部３１の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアあるいはファームウェアはプログラムとして記述され、メモリ３２に格納される。処理回路は、メモリに記憶されたプログラムを読み出して実行する。なお、ＣＰＵは、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいはＤＳＰ（Digital Signal Processor）とも呼ばれる。 FIG. 2 is a functional block diagram showing the configuration of the software operation support system 1 of FIG. As shown in FIG. 2, the calculation device 30 includes a control unit 31 and a memory 32 (storage unit). The control unit 31 includes a processing circuit. The processing circuit may be dedicated hardware or a CPU (Central Processing Unit) that executes a program stored in the memory 32. When the processing circuit is dedicated hardware, the processing circuit may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate). Array), or a combination of these. When the processing circuit is a CPU, the function of the control unit 31 is realized by software, firmware, or a combination of software and firmware. The software or firmware is described as a program and stored in the memory 32. The processing circuit reads and executes the program stored in the memory. The CPU is also called a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a processor, or a DSP (Digital Signal Processor).

メモリ３２には、不揮発性または揮発性の半導体メモリ（たとえばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、あるいはＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory））、および磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、あるいはＤＶＤ（Digital Versatile Disc）が含まれる。 The memory 32 includes a non-volatile or volatile semiconductor memory (for example, RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), or EEPROM (Electrically Erasable Programmable Read Only Memory). )), And includes magnetic discs, flexible discs, optical discs, compact discs, mini discs, or DVDs (Digital Versatile Discs).

メモリ３２には、画面情報３２１（第１データ）と、座標情報３２２（第２データ）と、詳細情報３２３（第３データ）とが互いに別個にモジュール化されて保存されている。画面情報３２１は、複数のＧＵＩ各々の配置に関する情報を含む。画面情報３２１においては、たとえば複数のＧＵＩ各々のＩＤ、当該ＧＵＩの画像、および当該ＧＵＩが表示される領域が関連付けられている。 In the memory 32, the screen information 321 (first data), the coordinate information 322 (second data), and the detailed information 323 (third data) are modularized and stored separately from each other. The screen information 321 includes information regarding the arrangement of each of the plurality of GUIs. In the screen information 321, for example, IDs of each of a plurality of GUIs, an image of the GUI, and an area in which the GUI is displayed are associated with each other.

座標情報３２２は、カーソルＣｒの座標に関する情報を含む。座標情報３２２においては、たとえばマウス２０の作業平面上の座標と表示領域Ｒｇ内のカーソルＣｒの座標とが関連付けられている。カーソルＣｒの座標とは、たとえばカーソルＣｒの先端Ｐ１の座標である。 The coordinate information 322 includes information regarding the coordinates of the cursor Cr. In the coordinate information 322, for example, the coordinates on the work plane of the mouse 20 and the coordinates of the cursor Cr in the display area Rg are associated with each other. The coordinates of the cursor Cr are, for example, the coordinates of the tip P1 of the cursor Cr.

詳細情報３２３は、複数のＧＵＩ各々の機能に関する情報を含む。詳細情報３２３においては、たとえば複数のＧＵＩ各々のＩＤと当該ＧＵＩの機能に関する情報とが関連付けられている。 Detailed information 323 includes information on the functions of each of the plurality of GUIs. In the detailed information 323, for example, the ID of each of the plurality of GUIs and the information regarding the function of the GUI are associated with each other.

制御部３１は、マウス２０の位置に関する情報をマウス２０から受ける。制御部３１は、座標情報３２２を参照してマウス２０の座標に関連付けられているカーソルＣｒの座標を特定する。制御部３１は、画面情報３２１を参照してカーソルＣｒの座標がディスプレイ１１に表示されているＧＵＩに含まれているか否かを判定する。制御部３１は、カーソルＣｒの座標が当該ＧＵＩに重なっていることに応じて、詳細情報３２３を参照して当該ＧＵＩの機能に関する情報をＡＲメガネ１２に送信する。 The control unit 31 receives information about the position of the mouse 20 from the mouse 20. The control unit 31 specifies the coordinates of the cursor Cr associated with the coordinates of the mouse 20 with reference to the coordinate information 322. The control unit 31 refers to the screen information 321 and determines whether or not the coordinates of the cursor Cr are included in the GUI displayed on the display 11. The control unit 31 transmits information about the function of the GUI to the AR glasses 12 with reference to the detailed information 323 according to the coordinates of the cursor Cr overlapping the GUI.

ＡＲメガネ１２は、レンズ１２１および１２２を含む。レンズ１２１および１２２は、可視光を透過させる透過性ディスプレイ１２０を形成している。ＡＲメガネ１２は、制御部３１から受けたＧＵＩの機能に関する情報を透過性ディスプレイ１２０に表示する。 The AR glasses 12 include lenses 121 and 122. The lenses 121 and 122 form a transmissive display 120 that transmits visible light. The AR glasses 12 display information on the GUI function received from the control unit 31 on the transparent display 120.

なお、制御部３１とディスプレイ１１との通信は、有線通信および無線通信のいずれであってもよい。制御部３１とＡＲメガネ１２との通信は、有線通信および無線通信のいずれであってもよい。制御部３１とマウス２０との通信は、有線通信および無線通信のいずれであってもよい。 The communication between the control unit 31 and the display 11 may be either wired communication or wireless communication. The communication between the control unit 31 and the AR glasses 12 may be either wired communication or wireless communication. The communication between the control unit 31 and the mouse 20 may be either wired communication or wireless communication.

図３は、ボタンＢｎ１（特定ＧＵＩ）の機能に関する情報がＡＲメガネ１２によって表示領域Ｒｇに重なるように表示される様子を説明するための図である。図３（ａ）は、ディスプレイ１１の表示領域Ｒｇを示す。図３（ｂ）は、ＡＲメガネ１２を装着しているユーザから見た透過性ディスプレイ１２０の様子を示す。図３（ｃ）は、当該ユーザがディスプレイ１１を見た様子を示す図である。 FIG. 3 is a diagram for explaining how information related to the function of the button Bn1 (specific GUI) is displayed by the AR glasses 12 so as to overlap the display area Rg. FIG. 3A shows the display area Rg of the display 11. FIG. 3B shows the state of the transmissive display 120 as seen by the user wearing the AR glasses 12. FIG. 3C is a diagram showing a state in which the user looks at the display 11.

図３（ａ）に示されるように、表示領域Ｒｇにおいて、カーソルＣｒの座標がボタンＢｎ１に含まれている。図３（ｂ）に示されるように、ＡＲメガネ１２の透過性ディスプレイ１２０には、ボタンＢｎ１の機能に関する情報Ｍｓｇが表示されている。図３（ｂ）において情報Ｍｓｇには、ボタンＢｎ１の名称、およびボタンＢｎ１がクリックされた場合に実行される機能内容が示されている。図３（ｃ）に示されるように、情報Ｍｓｇが表示領域Ｒｇに重なるように表示されている。ユーザは、表示領域Ｒｇを見ながら表示領域Ｒｇ内において情報Ｍｓｇを視認可能である。 As shown in FIG. 3A, the coordinates of the cursor Cr are included in the button Bn1 in the display area Rg. As shown in FIG. 3B, the transmissive display 120 of the AR glasses 12 displays information Msg regarding the function of the button Bn1. In FIG. 3B, the information Msg shows the name of the button Bn1 and the function content to be executed when the button Bn1 is clicked. As shown in FIG. 3C, the information Msg is displayed so as to overlap the display area Rg. The user can visually recognize the information Msg in the display area Rg while looking at the display area Rg.

ソフトウェア操作支援システム１によれば、ユーザＵｓは、カーソルＣｒの位置に配置されているＧＵＩの機能に関するガイド情報をリアルタイムに参照しながらソフトウェアを操作することができるため、ガイド情報とユーザＵｓの実際のマウス操作との食い違いによる操作ミスを低減することができる。その結果、ソフトウェアを用いた作業の効率を向上させることができる。また、ソフトウェアの操作に対する習熟度が比較的低いユーザの操作ミスを低減することができるともに、当該ユーザのソフトェアに対する習熟を促進することができる。 According to the software operation support system 1, the user Us can operate the software while referring to the guide information about the GUI function arranged at the position of the cursor Cr in real time, so that the guide information and the actual user Us can be operated. It is possible to reduce operation mistakes due to discrepancies with mouse operations. As a result, the efficiency of work using software can be improved. In addition, it is possible to reduce operation mistakes of a user who has a relatively low level of proficiency in software operation, and to promote the user's proficiency in software.

さらに、画面情報３２１と、座標情報３２２と、詳細情報３２３とが互い別個のデータとしてモジュール化されていることにより、既存のソフトウェア操作支援システムのバージョンアップとして画面情報３２１および座標情報３２２に詳細情報３２３を追加する場合に、画面情報３２１および座標情報３２２の変更が不要である。その結果、システム改変による不具合発生のリスクを低減することができるとともに、システム改変のコストを削減することができる。 Further, since the screen information 321 and the coordinate information 322 and the detailed information 323 are modularized as data separate from each other, the detailed information is added to the screen information 321 and the coordinate information 322 as an upgrade of the existing software operation support system. When adding 323, it is not necessary to change the screen information 321 and the coordinate information 322. As a result, the risk of failure due to system modification can be reduced, and the cost of system modification can be reduced.

なお、実施の形態に係る第２表示装置は、ＡＲメガネに限定されず、第１表示装置の表示領域に重なるようにＧＵＩの機能に関する情報を表示可能であればどのような構成でもよい。たとえば、第２表示装置は、第１表示装置の表示領域に重なるように映像を投影することが可能なプロジェクタでもよい。 The second display device according to the embodiment is not limited to AR glasses, and may have any configuration as long as it can display information related to GUI functions so as to overlap the display area of the first display device. For example, the second display device may be a projector capable of projecting an image so as to overlap the display area of the first display device.

以上、実施の形態に係るソフトウェア操作支援システムによれば、ソフトウェアを用いる作業の効率を向上させることができる。 As described above, according to the software operation support system according to the embodiment, the efficiency of the work using the software can be improved.

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 It should be considered that the embodiments disclosed this time are exemplary in all respects and not restrictive. The scope of the present invention is shown by the claims rather than the above description, and it is intended to include all modifications within the meaning and scope equivalent to the claims.

１ ソフトウェア操作支援システム、１１ ディスプレイ、１２ ＡＲメガネ、２０ マウス、３０ 計算装置、３１ 制御部、３２ メモリ、１２０ 透過性ディスプレイ、１２１，１２２ レンズ、３２１ 画面情報、３２２ 座標情報、３２３ 詳細情報、Ｂｎ１〜Ｂｎ４ ボタン。 1 Software operation support system, 11 displays, 12 AR glasses, 20 mice, 30 calculators, 31 controls, 32 memories, 120 transmissive displays, 121,122 lenses, 321 screen information, 322 coordinate information, 323 detailed information, Bn1 ~ Bn4 button.

Claims (4)

複数のグラフィカルユーザインタフェース（ＧＵＩ）へのユーザの入力を介して操作されるソフトウェアを実行する計算装置と、
前記複数のＧＵＩおよびカーソルを表示する第１表示装置と、
前記第１表示装置の表示領域内において前記カーソルを操作する操作装置と、
前記複数のＧＵＩのうち前記カーソルの座標を含む特定ＧＵＩの機能に関する情報を表示する第２表示装置とを備え、
前記計算装置は、
前記カーソルの座標が前記特定ＧＵＩに含まれることに応じて前記機能に関する情報を前記第２表示装置に表示し、
前記操作装置に対する前記ユーザのクリック操作に応じて、前記カーソルの座標が含まれる機能を実行し、
前記第２表示装置は、前記表示領域に重なるように前記機能に関する情報を表示可能である、ソフトウェア操作支援システム。 Computers that execute software that is manipulated through user input to multiple graphical user interfaces (GUIs), and
A first display device that displays the plurality of GUIs and cursors,
An operating device that operates the cursor in the display area of the first display device,
It is provided with a second display device that displays information on the function of the specific GUI including the coordinates of the cursor among the plurality of GUIs.
The computing device
Information on the function is displayed on the second display device according to the coordinates of the cursor included in the specific GUI.
In response to the user's click operation on the operating device, the function including the coordinates of the cursor is executed.
The second display device is a software operation support system capable of displaying information related to the function so as to overlap the display area. 前記第２表示装置は、可視光を透過させる透過性ディスプレイを含み、前記透過性ディスプレイに前記機能に関する情報を表示する、請求項１に記載のソフトウェア操作支援システム。 The software operation support system according to claim 1, wherein the second display device includes a transmissive display that transmits visible light, and displays information related to the function on the transmissive display. 前記第２表示装置は、メガネとして装着可能であり、
前記メガネのレンズは、前記透過性ディスプレイを形成している、請求項２に記載のソフトウェア操作支援システム。 The second display device can be worn as glasses and can be worn.
The software operation support system according to claim 2, wherein the lens of the glasses forms the transmissive display. 前記計算装置は、
前記ソフトウェアを実行する制御部と、
第１データ、第２データ、および第３データとが互いに別個に保存された記憶部とを含み、
前記第１データは、前記複数のＧＵＩ各々の配置に関する情報を含み、
前記第２データは、前記カーソルの座標に関する情報を含み、
前記第３データは、前記複数のＧＵＩ各々の機能に関する情報を含み、
前記制御部は、
前記第１データおよび前記第２データを参照して前記特定ＧＵＩを特定し、
前記第３データを参照して、前記特定ＧＵＩの機能に関する情報を特定する、請求項１〜３のいずれか１項に記載のソフトウェア操作支援システム。
The computing device
A control unit that executes the software
A storage unit in which the first data, the second data, and the third data are stored separately from each other is included.
The first data includes information regarding the arrangement of each of the plurality of GUIs.
The second data includes information about the coordinates of the cursor.
The third data includes information on the functions of each of the plurality of GUIs.
The control unit
The specific GUI is specified with reference to the first data and the second data, and the specific GUI is specified.
The software operation support system according to any one of claims 1 to 3, which specifies information regarding the function of the specific GUI with reference to the third data.
JP2019103860A 2019-06-03 2019-06-03 Software operation support system Active JP7278152B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019103860A JP7278152B2 (en) 2019-06-03 2019-06-03 Software operation support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019103860A JP7278152B2 (en) 2019-06-03 2019-06-03 Software operation support system

Publications (2)

Publication Number Publication Date
JP2020197932A true JP2020197932A (en) 2020-12-10
JP7278152B2 JP7278152B2 (en) 2023-05-19

Family

ID=73649242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019103860A Active JP7278152B2 (en) 2019-06-03 2019-06-03 Software operation support system

Country Status (1)

Country Link
JP (1) JP7278152B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023248912A1 (en) * 2022-06-23 2023-12-28 京セラドキュメントソリューションズ株式会社 Electronic device and control method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240491A (en) * 1997-02-26 1998-09-11 Olympus Optical Co Ltd Information processor
JP2014093036A (en) * 2012-11-06 2014-05-19 Konica Minolta Inc Guide information display device
JP2015090569A (en) * 2013-11-06 2015-05-11 ソニー株式会社 Information processing device and information processing method
WO2016194844A1 (en) * 2015-05-29 2016-12-08 京セラ株式会社 Wearable device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240491A (en) * 1997-02-26 1998-09-11 Olympus Optical Co Ltd Information processor
JP2014093036A (en) * 2012-11-06 2014-05-19 Konica Minolta Inc Guide information display device
JP2015090569A (en) * 2013-11-06 2015-05-11 ソニー株式会社 Information processing device and information processing method
WO2016194844A1 (en) * 2015-05-29 2016-12-08 京セラ株式会社 Wearable device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023248912A1 (en) * 2022-06-23 2023-12-28 京セラドキュメントソリューションズ株式会社 Electronic device and control method

Also Published As

Publication number Publication date
JP7278152B2 (en) 2023-05-19

Similar Documents

Publication Publication Date Title
US20210004130A1 (en) Information processing apparatus, method, and non-transitory computer-readable medium
WO2021004415A1 (en) Method and apparatus for controlling mouse cursor of handheld input device
US9829975B2 (en) Gaze-controlled interface method and system
US10296186B2 (en) Displaying a user control for a targeted graphical object
US20140049462A1 (en) User interface element focus based on user's gaze
RU2623804C2 (en) Device for information processing, method of information processing, program and media for storage of information
US10514842B2 (en) Input techniques for virtual reality headset devices with front touch screens
JP2011203830A (en) Projection system and method of controlling the same
US9817572B2 (en) Overlapped transparent display and control method thereof
EP2485183A1 (en) Common user interface resources
JP2011054162A (en) Interactive information control system and program
CN106293442B (en) Information processing method and electronic equipment
JP6394190B2 (en) System and method enabling gesture control based on occlusion pattern detection
JP7278152B2 (en) Software operation support system
US20200218198A1 (en) Movement control of holographic objects with crown movement of a watch device
JP6638392B2 (en) Display device, display system, display device control method, and program
TW201820083A (en) Method, device, and non-transitory computer readable storage medium for virtual reality or augmented reality
US10073586B2 (en) Method and system for mouse pointer to automatically follow cursor
US10754524B2 (en) Resizing of images with respect to a single point of convergence or divergence during zooming operations in a user interface
CN113559501A (en) Method and device for selecting virtual units in game, storage medium and electronic equipment
US10057315B2 (en) Communication support system, information processing apparatus, control method, and storage medium that display an output image obtained by superposing a reference image over a captured image
KR20160015146A (en) Wearalble device and operating method for the same
EP3264203A1 (en) Intelligent interaction method, equipment and system
KR101260016B1 (en) Method and touch-screen device for implementing pointer interface using skin-type interface
JP2016139174A (en) Head-mount display, control method of head-mount display, and control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230509

R150 Certificate of patent or registration of utility model

Ref document number: 7278152

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150