JP2022052015A - Remote control support system, remote control terminal, remote control support method, and computer program - Google Patents
Remote control support system, remote control terminal, remote control support method, and computer program Download PDFInfo
- Publication number
- JP2022052015A JP2022052015A JP2020158159A JP2020158159A JP2022052015A JP 2022052015 A JP2022052015 A JP 2022052015A JP 2020158159 A JP2020158159 A JP 2020158159A JP 2020158159 A JP2020158159 A JP 2020158159A JP 2022052015 A JP2022052015 A JP 2022052015A
- Authority
- JP
- Japan
- Prior art keywords
- remote control
- pointer
- terminal
- target terminal
- operation target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Position Input By Displaying (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本発明は、所定の端末を遠隔で操作するための技術に関する。 The present invention relates to a technique for remotely operating a predetermined terminal.
従来、コンピュータあるいはシステムを遠隔から操作するためのシステムや装置が提供されている。 Conventionally, a system or device for remotely operating a computer or a system has been provided.
例えば、特許文献１では、コンピュータシステムを構成するコンピュータを通信ネットワークを介して管理する管理制御手段と、コンピュータシステムを構成するコンピュータの状態を撮影する撮像手段と、前記撮像手段からの画像を前記通信ネットワークを介して前記管理制御手段に伝送する画像伝送手段とを備えるコンピュータ運用管理システムが提案されている。
また、特許文献２では、操作対象となる被沿おう差操作端末及び前記被操作端末を奏すあ操作する操作端末と通信可能な携帯型中継装置であって、前記被操作端末の表示画面を撮影する撮影手段と、前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段と、前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段とを備えた携帯型中継装置が提案されている。
For example, in
Further, in
上記特許文献では、遠隔から所定のコンピュータ等を操作する技術が開示されているが、遠隔操作する端末では、自端末の操作と遠隔にある端末の操作が行われる。そのため、遠隔操作を行う者がいずれの端末を操作しているのかを把握しながら、的確に操作できるようにすることが望まれる。 The above-mentioned patent document discloses a technique for remotely operating a predetermined computer or the like, but in a remote-controlled terminal, an operation of a own terminal and an operation of a remote terminal are performed. Therefore, it is desired to be able to operate the terminal accurately while grasping which terminal the person performing the remote control is operating.
そこで本発明は、所定の端末の遠隔操作において、的確な操作を実行するのに適したシステムを提供することを目的とする。 Therefore, an object of the present invention is to provide a system suitable for performing an accurate operation in a remote control of a predetermined terminal.
上記目的を達成するため、本発明の一の観点に係る遠隔操作支援システムは、操作対象端末と接続し、所定の操作情報に基づいて当該操作対象端末を操作する遠隔操作支援装置と、ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムであって、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信部と、前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開部と、前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信部と、前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理部と、前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信手段と、を有し、前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される。
In order to achieve the above object, the remote control support system according to one aspect of the present invention is a remote control support device that connects to an operation target terminal and operates the operation target terminal based on predetermined operation information, and a pointing device. It is a system configured to be able to communicate with a remote control terminal used by a remote operator.
An image receiving unit that receives the image of the operation target terminal from the remote operation support device, an operation area in which the first pointer for operating the remote operation terminal is displayed, and an image display that displays the image of the operation target terminal. An image development unit that expands a screen provided with an area on the remote operation terminal, an operation information receiving unit that receives operation information of the pointing device from the remote operation terminal, and an instruction position by the pointing device. The switching processing unit that displays the first pointer when it is in the operation area and hides the first pointer when it is in the video display area, and the designated position by the pointing device are in the video display area. Occasionally, it has an operation information transmitting means for transmitting the operation information as the predetermined operation information to the remote operation support device, and an instruction position of the pointing device is displayed on the screen of the remote operation terminal. Depending on the situation, either the first pointer or the second pointer for operating the operation target terminal is selectively displayed.
また、前記遠隔操作端末上において、前記第一ポインタと前記第二ポインタとを識別可能に表示するものとしてもよい。 Further, the first pointer and the second pointer may be identifiablely displayed on the remote control terminal.
また、前記操作エリアには、前記操作対象端末上での操作を実行するためのボタン、が設けられているものとしてもよい。 Further, the operation area may be provided with a button for executing an operation on the operation target terminal.
また、前記操作対象端末の映像を補正する補正処理手段、をさらに有するものとしてもよい。 Further, it may further have a correction processing means for correcting the image of the operation target terminal.
また、前記遠隔操作支援装置は、前記操作対象端末と有線接続してデータの送受信を実行するものとしてもよい。 Further, the remote control support device may be connected to the operation target terminal by wire to execute data transmission / reception.
また、本発明の別の観点に係る遠隔操作端末は、操作対象端末と接続し、所定の操作情報に基づいて当該操作対象端末を操作する遠隔操作支援装置と、通信可能に構成された遠隔操作端末であって、ポインティングデバイスと、前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信部と、前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開部と、前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理部と、前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信手段と、を有し、前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される。 Further, the remote operation terminal according to another aspect of the present invention is a remote operation configured to be able to communicate with a remote operation support device that is connected to the operation target terminal and operates the operation target terminal based on predetermined operation information. A terminal, an image receiving unit that receives an image of the operation target terminal from a pointing device, the remote operation support device, an operation area in which a first pointer for operating the remote operation terminal is displayed, and the operation. A video display area for displaying the video of the target terminal, a video development unit that expands the screen provided with the remote control terminal, and the first pointer when the designated position by the pointing device is in the operation area. For the switching processing unit that displays and hides the first pointer when it is in the video display area, and to the remote operation support device when the designated position by the pointing device is in the video display area. It has an operation information transmitting means for transmitting the operation information as the predetermined operation information, and on the screen of the remote operation terminal, a first pointer or the operation target is used according to a designated position of the pointing device. One of the second pointers that operate the terminal is displayed selectively.
また、本発明の別の観点に係る遠隔操作支援方法は、操作対象端末と接続し、所定の操作情報に基づいて当該操作対象端末を操作する遠隔操作支援装置と、ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムによって実行される方法であって、前記システムが、前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信処理と、前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開処理と、前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信処理と、前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理と、前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信処理と、を実行し、前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される。 Further, the remote operation support method according to another aspect of the present invention includes a remote operation support device that connects to an operation target terminal and operates the operation target terminal based on predetermined operation information, and a pointing device for remote operation. A method executed by a remote control terminal used by a person and a system configured to be communicable, wherein the system receives a video of the operation target terminal from the remote control support device, and a video reception process. An image expansion process for expanding a screen provided with an operation area in which a first pointer for operating the remote control terminal is displayed and a video display area for displaying an image of the operation target terminal on the remote control terminal. , The operation information receiving process for receiving the operation information of the pointing device from the remote operation terminal, and the first pointer is displayed when the designated position by the pointing device is in the operation area, and is in the video display area. When the switching process for hiding the first pointer and when the designated position by the pointing device is in the video display area, the operation information is used as the predetermined operation information for the remote operation support device. The operation information transmission process to be transmitted is executed, and either the first pointer or the second pointer for operating the operation target terminal is displayed on the screen of the remote control terminal according to the instruction position of the pointing device. Is displayed alternately.
また、本発明の別の観点に係るコンピュータプログラムは、操作対象端末と接続し、所定の操作情報に基づいて当該操作対象端末を操作する遠隔操作支援装置と、ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムによって実行されるコンピュータプログラムであって、前記システムに対し、前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信処理と、前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開処理と、前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信処理と、前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理と、前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信処理と、を実行させ、前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される。 Further, the computer program according to another aspect of the present invention includes a remote operation support device that connects to an operation target terminal and operates the operation target terminal based on predetermined operation information, and a pointing device, and a remote operator can operate the terminal. A computer program executed by a remote control terminal to be used and a system configured to be communicable, and a video reception process for receiving the video of the operation target terminal from the remote control support device for the system. An operation area in which a first pointer for operating the remote control terminal is displayed, a video display area for displaying an image of the operation target terminal, and a video expansion process for expanding a screen provided with the remote control terminal on the remote control terminal. , The operation information receiving process for receiving the operation information of the pointing device from the remote operation terminal, and the first pointer is displayed when the designated position by the pointing device is in the operation area, and is in the video display area. When the switching process for hiding the first pointer and the operation information for the remote operation support device when the designated position by the pointing device is in the video display area, the operation information is used as the predetermined operation information. The operation information transmission process to be transmitted is executed, and either the first pointer or the second pointer for operating the operation target terminal is displayed on the screen of the remote control terminal according to the instruction position of the pointing device. Is displayed alternately.
なお、コンピュータプログラムは、各種のデータ読取可能な記録媒体に格納して提供したり、インターネット等のネットワークを介してダウンロード可能に提供したりすることができる。 The computer program can be stored in various data-readable recording media and provided, or can be provided for download via a network such as the Internet.
本発明によれば、所定の端末の遠隔操作において、的確な操作を実行するのに適したシステムを提供することができる。 According to the present invention, it is possible to provide a system suitable for performing an accurate operation in a remote control of a predetermined terminal.
●機能構成
以下、本発明の実施形態に係る遠隔操作支援システム１について、図を参照して説明する。
図１は、本実施形態に係る遠隔操作支援システム１の機能構成を示している。
遠隔操作支援システム１は、遠隔操作者が遠隔から操作対象端末３を設定する操作を支援するシステムであり、インターネット等のネットワークＮＷ２を介して遠隔操作支援装置２及び遠隔操作端末４と通信可能に構成されている。
● Functional Configuration Hereinafter, the remote
FIG. 1 shows the functional configuration of the remote
The remote
本実施形態に係る遠隔操作支援システム１の使用が想定される場面は以下のとおりである。即ち、操作対象端末３の使用者が、技術的な知見などを有しないために操作対象端末３の設定等に必要な操作が分からない場合に、遠隔にいる専門的な知識を有する人者に操作を行ってもらうことを想定している。なお、以下の説明では、操作の対象となる操作対象端末３を使用する者を「使用者」と称し、遠隔から操作対象端末３を操作する者を「操作者」と称することがある。
The situations where the remote
●操作対象端末３
操作対象端末３は、ネットワーク設定などの操作が行われる端末であり、遠隔操作者によって遠隔から操作される。
この操作対象端末３は、所謂パーソナルコンピュータ等であり、少なくとも、情報を出力可能なディスプレイを備えるほか、遠隔操作支援装置２から操作情報の入力を受け付けるための入力手段を備える。
●
The
The
ここで、入力手段は、ネットワーク設定などの操作を行うことも前提とすれば、遠隔操作支援装置２との有線接続を可能とする規格が好適であり、例えばＵＳＢUSB等のシリアルバス規格に基づいたネットワークＮＷ１を実現するＵＳＢUSB端子によって遠隔操作支援装置２と接続する。ただし、既に無線での接続が可能な状態であって、ネットワーク設定以外の設定等を行う場合には、遠隔操作支援装置２からBluetooth（登録商標）や無線LAN等を介して操作情報の入力を受け付けてもよい。
Here, as the input means, a standard that enables a wired connection with the remote
●遠隔操作支援装置２
遠隔操作支援装置２は、操作対象端末３を操作者に操作してもらうために使用者が使用する装置であり、遠隔操作支援システム１を介して遠隔操作端末４に接続されるホストコンピュータである。
この遠隔操作支援装置２は、操作対象端末３のディスプレイ上に出力されている映像を遠隔操作支援装置２に対して送信すると共に、操作対象端末３に接続し、遠隔操作支援システム１を介して遠隔操作端末４から送信された操作情報を操作対象端末３に入力する。
この遠隔操作支援装置２は例えば、タブレット端末やパーソナルコンピュータ、あるいはデータの送受信が可能な携帯電話端末等のスマートデバイスによって実現され、少なくとも、撮像部２１、出力部２２、及び通信処理部２３を有する。
● Remote
The remote
The remote
The remote
撮像部２１は、操作対象端末３のディスプレイ上に出力される映像を撮像する機能部であり、CCDカメラ等によって実現される。
この撮像部２１は、遠隔操作支援装置２自体が備えるものであってもいし、遠隔操作支援装置２に対して外付けされたものであってもよい。撮像部２１は、使用者により、操作対象端末３のディスプレイを撮影できるように固定あるいは設置される。
撮像部２１によって生成された映像は、遠隔操作支援システム１を介して、遠隔操作端末４に動画像として提供される。
The
The
The image generated by the
出力部２２は、操作対象端末３を操作する操作情報を当該操作対象端末３に対して出力するための機能部である。この出力部２２は例えば、USB端子等、所定のシリアルバス規格によって実現され、操作対象端末３が備えるUSB端子と接続してネットワークＮＷ１を構成有線接続し、操作情報を操作対象端末３に出力する。
The
通信処理部２３は、インターネット等のネットワークＮＷ２を介して遠隔操作支援システム１とデータの送受信を可能とする機能部であり、ブラウザプログラム等によって実現される。
遠隔操作支援装置２はこの通信処理部２３により、遠隔操作支援システム１に対して、撮像部２１により撮影した操作対象端末３の映像を送信したり、遠隔操作支援システム１から操作情報を受信したりすることができる。
The
The remote
なお、遠隔操作支援装置２が操作対象端末３に対してキーボードやマウスをエミュレートすることができる限り、遠隔操作支援装置２と操作対象端末３の間の通信方式は、有線ＬＡＮLAN方式、無線ＬＡＮLAN方式、Bluetooth（登録商標）、ZigBee（登録商標）のほか、近距離無線通消費電力を抑えつつ遠距離の無線通信を実現するＬＰＷＡLPWA（Low Power Wide Area）方式であってもよい。
また、遠隔操作支援装置２は、有線接続する操作対象端末３から電力の供給を受けることもできる。
As long as the remote
Further, the remote
●遠隔操作支援システム１
遠隔操作支援システム１は、遠隔操作支援装置２と遠隔操作端末４を仲介して、遠隔操作支援装置２と遠隔操作端末４の間で必要な情報処理や情報の送受信を実行する。
この遠隔操作支援システム１はサーバコンピュータ等によって実現され、映像展開部１１、補正処理部１２、切替処理部１３、及び通信処理部１４からなる機能部を有する。
● Remote
The remote
The remote
映像展開部１１は、遠隔操作支援装置２から受信した操作対象端末３のディスプレイの映像を遠隔操作端末４上に展開する機能部である。
映像展開部１１は例えば、Ｗｅｂクライアントにより、遠隔操作端末４が備えるブラウザプログラム等を用いて、遠隔操作端末４に映像を提供する。ただし、Ｗｅｂクライアントによらず、所定の専用アプリケーションを遠隔操作端末４にインストールさせ、当該所定の専用アプリケーションの機能実行により遠隔操作端末４上に映像を展開させることもできる。
The
The
補正処理部１２は、遠隔操作支援装置２から受信した映像の補正処理を行う。
この補正処理部１２によって実行される補正処理は、映像自体の歪みを補正する歪み補正、映像と遠隔操作端末４のディスプレイ４１の解像度に応じた補正などであり、広く遠隔操作端末４上で操作対象端末３の映像を的確に把握できるようにする処理を含む。
The
The correction processing executed by the
切替処理部１３は、遠隔操作端末４上に展開される、操作対象端末３の映像表示画面において、遠隔操作端末４が備えるポインティングデバイス（マウス４２）のポインタを所定の条件に従って表示又は非表示の状態に切り替える。操作対象端末３上の映像表示画面の詳細は後述するが、当該映像表示画面には、遠隔操作者が遠隔操作端末４を操作する操作エリアＧ１（図２～図５を参照して後述）と操作対象端末３の映像を表示する映像表示エリアＧ２（図２～図５を参照して後述）とが設けられており、ポインティングデバイス（マウス４２）の指示位置が操作エリアＧ１にあるときは、遠隔操作端末４を操作するポインタを表示する。一方、ポインティングデバイス（マウス４２）の指示位置が映像表示エリアＧ２にあるときは、遠隔操作端末４を操作するポインタを非表示に切り替える。
The switching
通信処理部１４は、遠隔操作支援装置２及び遠隔操作端末４とデータの送受信を実行可能とする機能部である。
この通信処理部１４により、遠隔操作支援システム１は遠隔操作支援装置２との間で、操作対象端末３を撮影した映像を受信したり、操作対象端末３を操作するための操作情報を送信したりする。また、遠隔操作端末４との間では、操作対象端末３を撮影した映像を送信したり、操作対象端末３を操作するための操作情報を受信したりする。
The
By the
●遠隔操作端末４
遠隔操作端末４は、遠隔から操作対象端末３を操作する操作者が使用する端末であり、遠隔操作支援システム１を介して遠隔操作支援装置２に接続するクライアントコンピュータである。
この遠隔操作端末４により、操作者は、遠隔操作端末４上に表示される映像を見ながら、操作対象端末３を操作する。
●
The
With this
この遠隔操作端末４は例えば、パーソナルコンピュータによって実現され、少なくとも、データの表示部としてのディスプレイ４１、ポインティングデバイスとしてのマウス４２、及び通信処理部４４を有し、本実施形態ではさらに、入力部としてのキーボード４３を有しいている。
なお、遠隔操作端末４はこのほか、タブレット端末やデータの送受信が可能な携帯電話端末等のスマートデバイスによって実現することができ、この場合には例えば、タッチパネル式ディスプレイがポインティングデバイスとしてのマウス４２やキーボード４３として機能する。
The
The
●画面構成例
続いて、操作者が操作対象端末３を操作する際、遠隔操作端末４のディスプレイ４１上に展開される画面の構成例について、図２乃至図４を参照して説明する。
遠隔操作支援システム１を介して、遠隔操作端末４と遠隔操作支援装置２とが通信可能に構成された状態において、遠隔操作端末４のディスプレイ４１上には操作対象端末３の撮影映像が表示される。
● Screen Configuration Example Next, a configuration example of a screen developed on the
In a state where the
図２（ａ）及び図３（ａ）は、操作対象端末３の撮影映像を表示した、遠隔操作端末４の映像表示画面の一例を示している。
この映像表示画面は、遠隔操作支援システム１の映像展開部１１によって生成されているものであり、遠隔操作端末４のブラウザプログラムを利用して展開されている。
画面上には、操作対象端末３の映像を表示する映像表示エリアＧ２、及び遠隔操作端末４の操作が実行可能な操作エリアＧ１が設けられている。
2 (a) and 3 (a) show an example of the image display screen of the
This video display screen is generated by the
An image display area G2 for displaying the image of the
本実施形態では、上下に分かれた操作エリアＧ１の間に映像表示エリアＧ２が設けられている。ただし、一の画面上に操作エリアＧ１と映像表示エリアＧ２が設けられる限り、操作エリアＧ１と映像表示エリアＧ２の配置の仕方やサイズは図２（ａ）や図３（ａ）に示す例に限られない。 In the present embodiment, the video display area G2 is provided between the upper and lower operation areas G1. However, as long as the operation area G1 and the image display area G2 are provided on one screen, the arrangement method and size of the operation area G1 and the image display area G2 are shown in the examples shown in FIGS. 2 (a) and 3 (a). Not limited.
画面上には、遠隔操作端末４が備えるマウス４２の指示位置を示すポインタＰ（第一ポインタＰ１、第二ポインタＰ２）が表示される。なお、「ポインタＰ」とは、マウス４２の操作に応じた画面上の指示位置に表示される図柄であり、本実施形態では後述する第一ポインタＰ１、第二ポインタＰ２、及び第三ポインタＰ３が該当するところ、これらを個別に区別することなく指称する場合には、「ポインタＰ」と称することがある。
A pointer P (first pointer P1, second pointer P2) indicating a designated position of the
ここで、遠隔操作端末４の画面上に表示されるポインタＰには２種類あり、一方は、マウス４２の操作を受け付けた遠隔操作端末４が画面上に出力したものであり、ここでは第一ポインタＰ１と称する。また、他方は、マウス４２の操作に応じて操作対象端末３の画面上に出力されたものを映像として遠隔操作端末４の画面上に出力したものであり、ここでは第二ポインタＰ２と称する。
また、操作対象端末３の画面上には、遠隔操作端末４のマウス４２の操作に応じて操作対象端末３が操作されている場合に第三ポインタＰ３が出力される。この第三ポインタＰ３は、遠隔操作端末４の画面に表示されている映像表示エリアＧ２において、第二ポインタＰ２として表示される。
Here, there are two types of pointers P displayed on the screen of the
Further, on the screen of the
遠隔操作端末４におけるマウス４２の指示位置に応じたポインタＰの表示について、説明する。
マウス４２の指示位置が操作エリアＧ１にあるとき、遠隔操作端末４上には図２（ａ）に示されるように、当該指示位置に対応する位置に第一ポインタＰ１が表示されている。このようにマウス４２の指示位置が操作エリアＧ１にあるとき、マウス４２による操作情報は操作対象端末３に送信されておらず、その結果、図２（ｂ）に示されるように、操作対象端末３の画面上には第三ポインタＰ３が表示されていない。
The display of the pointer P according to the instruction position of the
When the instruction position of the
この状態から図４に示されるように、マウス４２の指示位置が操作エリアＧ１から映像表示エリアＧ２に移ると、第一ポインタＰ１は切替処理部１３によって非表示に切り替えられ、遠隔操作端末４上ではポインタＰとして第二ポインタＰ２のみが映像表示エリアＧ２に表示される。即ち、マウス４２の指示位置が映像表示エリアＧ２に移ったことで、マウス４２の操作情報が遠隔操作支援システム１及び遠隔操作支援装置２を介して操作対象端末３に送信されるようになる。これに応じて、図３（ｂ）に示されるように、操作対象端末３の画面上には、第三ポインタＰ３が表示される。その結果、当該操作対象端末３の画面の映像を表示する遠隔操作端末４の映像表示エリアＧ２には、図３（ａ）に示されるように、当該第三ポインタＰ３に対応する第二ポインタＰ２が表示されている。
As shown in FIG. 4 from this state, when the instruction position of the
マウス４２の指示位置が映像表示エリアＧ２にあるとき、遠隔操作端末４上には図３（ａ）に示されるように、第一ポインタＰ１は表示されていない。一方、このようにマウス４２の指示位置が映像表示エリアＧ２にあるとき、マウス４２による操作情報は操作対象端末３に送信されており、その結果、図３（ｂ）に示されるように、操作対象端末３の画面上には、マウス４２の指示位置に第三ポインタＰ３が表示されている。そして、この第三ポインタＰ３が表示されている操作対象端末３の画面の映像は、図３（ａ）に示されるように、遠隔操作端末４上の映像表示エリアＧ２に表示され、第三ポインタＰ３は第二ポインタＰ２として遠隔操作端末４の画面上に表示されている。
When the designated position of the
この状態から図５に示されるように、マウス４２の指示位置が映像表示エリアＧ２から操作エリアＧ１に移ると、第一ポインタＰ１は切替処理部１３によって表示されるように切り替えられ、遠隔操作端末４上ではポインタＰとして第一ポインタＰ１のみが操作エリアＧ１に表示される。即ち、マウス４２の指示位置が操作エリアＧ１に移ったことで、マウス４２の操作情報が操作対象端末３に送信されなくなる。これに応じて、図２（ｂ）に示されるように、操作対象端末３の画面上からは第三ポインタＰ３の表示が消える。その結果、遠隔操作端末４の画面上において、当該操作対象端末３の映像を表示する映像表示エリアＧ２には、図２（ａ）に示されるように、第二ポインタＰ２が表示されていない。
As shown in FIG. 5 from this state, when the instruction position of the
このように、操作対象端末３の画面上では、マウス４２の指示位置に応じて、第一ポインタＰ１又は第二ポインタＰ２が択一的に表示されている。
As described above, on the screen of the
なお、本実施形態において、図２～図５により説明した映像表示画面中の操作エリアＧ１には、特定のコマンドを操作対象端末３に送信するためのコマンドボタンＧ１１が設けられている。このコマンドボタンＧ１１には例えば、任意の操作を設定することができ、これにより使用者は簡単な操作で必要な操作を実行することもできる。
In the present embodiment, the operation area G1 in the video display screen described with reference to FIGS. 2 to 5 is provided with a command button G11 for transmitting a specific command to the
また、本実施形態において、第一ポインタＰ１と第二ポインタＰ２の違いがさらに明確になるよう、第一ポインタＰ１又は第二ポインタＰ２のいずれか、あるいは両方に対して互いに異なる識別効果を付与するようにしてもよい。識別効果は色、模様、明滅等、各種の態様によることができ、特に限られない。 Further, in the present embodiment, different discrimination effects are imparted to either or both of the first pointer P1 and the second pointer P2 so that the difference between the first pointer P1 and the second pointer P2 becomes clearer. You may do so. The discriminating effect can be determined by various modes such as color, pattern, and blinking, and is not particularly limited.
●処理の流れ
続いて、本実施形態に係る遠隔操作支援システム１による処理の流れを説明する。
なお、予め、操作対象端末３の使用者は、操作対象端末３に遠隔操作支援装置２を接続すると共に、操作対象端末３のディスプレイが撮影領域に収まるように、遠隔操作支援装置２の撮像部２１の位置を調整し、撮影を開始する。
また、遠隔操作支援装置２が遠隔操作支援システム１と通信可能な状態にする。なお、遠隔操作支援装置２として、予め遠隔操作支援システム１と通信可能に設定された装置が使用者に提供されれば、使用者がネットワークまわりの操作に不慣れな場合に余計な負担がなく好適である。
● Processing flow Next, the processing flow by the remote
In advance, the user of the
Further, the remote
操作者は、遠隔操作支援装置２のホスト名等に基づいて接続する遠隔操作支援装置２を特定し、遠隔操作支援システム１を介して遠隔操作端末４を遠隔操作支援装置２に接続する。
The operator identifies the remote
操作対象端末３、遠隔操作支援装置２、遠隔操作支援システム１、及び遠隔操作端末４の接続が確立すると、図６に示されるように、遠隔操作支援システム１は遠隔操作支援装置２に対して映像の取得要求を送信する（Ｓ１０１）。
これに応じて、遠隔操作支援装置２から映像が送信されると（Ｓ１０２）、遠隔操作支援システム１は補正処理部１２によって所定の設定に従った補正処理を映像に施した上（Ｓ１０３）、遠隔操作端末４に対して当該補正処理後の映像を送信する（Ｓ１０４）。映像は随時更新され、映像表示エリアＧ２に表示される。
When the connection between the
In response to this, when the video is transmitted from the remote control support device 2 (S102), the remote
図７は、遠隔操作端末４により、操作対象端末３が操作される処理の流れを示している。
操作者が遠隔操作端末４のマウス４２を操作すると、操作情報が遠隔操作支援システム１に送信される（Ｓ２０１）。このとき、マウス４２の指示位置が映像表示エリアＧ２内にあれば、当該操作情報は操作対象端末３を操作する操作情報として、遠隔操作支援装置２に送信される（Ｓ２０３）。
FIG. 7 shows the flow of processing in which the
When the operator operates the
遠隔操作支援装置２は、遠隔操作支援システム１から受信した操作情報を操作対象端末３に送信し、当該操作情報に応じた動作を操作対象端末３に要求する（Ｓ２０４）。これにより、操作者の操作に基づいて操作対象端末３が操作される。
なお、Ｓ２０２の処理において、マウス４２の指示位置が映像表示エリアＧ２にない場合には、操作情報は遠隔操作支援装置２に送信されない。
The remote
In the process of S202, if the instruction position of the
図８は、操作対象端末３の画面上におけるポインタＰの動きに関する処理の流れを示している。
操作者がマウス４２を操作すると、遠隔操作支援システム１は当該操作に係る操作情報を受信する（Ｓ３０１）。このとき、操作者が行った操作により、操作エリアＧ１にあった第一ポインタＰ１が当該操作エリアＧ１から映像表示エリアＧ２に入ったときは（Ｓ３０２）、切替処理部１３によって第一ポインタＰ１が非表示に切り替えられ（Ｓ３０３）、当該操作は遠隔操作端末４上に反映される（Ｓ３０６）。
なお、第一ポインタＰ１は、画面上に表示されているか否かにかかわらず、操作者による操作に応じて画面上を動いており、その座標によって、操作エリアＧ１にいるか映像表示エリアＧ２にいるかが判別される。
FIG. 8 shows the flow of processing related to the movement of the pointer P on the screen of the
When the operator operates the
The first pointer P1 moves on the screen in response to an operation by the operator regardless of whether or not it is displayed on the screen, and whether it is in the operation area G1 or the video display area G2 depending on the coordinates. Is determined.
一方、操作者が行った操作により、映像表示エリアＧ２にあった第二ポインタＰ２が当該映像表示エリアＧ２から操作エリアＧ１に入ったときは（Ｓ３０４）、切替処理部１３によって第一ポインタＰ１が表示され（Ｓ３０５）、当該操作は遠隔操作端末４上に反映される（Ｓ３０６）。
On the other hand, when the second pointer P2 in the video display area G2 enters the operation area G1 from the video display area G2 due to the operation performed by the operator (S304), the switching
以上の本実施形態に係る遠隔操作支援システム１によれば、所定の端末の遠隔操作において、遠隔からの走者は的確な操作を実行することができる。特に、遠隔からの操作者は、自端末である遠隔操作端末４を操作しているのか、遠隔の操作対象端末３を操作しているのか、認識しやすく、操作ミスを防ぐことができる。
また、操作対象端末３の設定等を遠隔から行う場合、操作対象端末３の使用者がすべきことは、操作対象端末３に遠隔操作支援装置２を有線接続し、操作対象端末３を撮影するという平易且つ手間のない作業のみであるため、パソコンまわりの技術に不慣れな使用者にとっての負担が小さくて済む。
According to the remote
Further, when the
なお、以上の本発明の実施形態においては、遠隔操作端末４における操作の利便性や処理負担の軽減等のため、遠隔操作端末４にインストール可能な専用のアプリケーションであって、遠隔操作支援システム１と連携するアプリケーションを提供してもよい。
また、以上で説明したシステムや端末、あるいは装置の機能構成は一例であり、本例で示した機能部が、本例とは異なるシステムや端末、あるいは装置に備えさせることもできる。
In the above embodiment of the present invention, the remote
Further, the functional configuration of the system, terminal, or device described above is an example, and the functional unit shown in this example can be provided in a system, terminal, or device different from this example.
また、本発明の別の実施形態においては、遠隔操作支援システム１が備えた機能の全てを遠隔操作端末４に具備させ、遠隔操作端末４がネットワークＮＷ２を介して遠隔操作支援装置２とデータの送受信を実行するように構成することもできる。
Further, in another embodiment of the present invention, the
１ ：遠隔操作支援システム
２ ：遠隔操作支援装置
３ ：操作対象端末
４ ：遠隔操作端末
１１ ：映像展開部
１２ ：補正処理部
１３ ：切替処理部
１４ ：通信処理部
２１ ：撮像部
２２ ：出力部
２３ ：通信処理部
４１ ：ディスプレイ
４２ ：マウス
４３ ：キーボード
４４ ：通信処理部
Ｇ１ ：操作エリア
Ｇ１１ ：コマンドボタン
Ｇ２ ：映像表示エリア
ＮＷ１ ：ネットワーク
ＮＷ２ ：ネットワーク
Ｐ ：ポインタ
Ｐ１ ：第一ポインタ
Ｐ２ ：第二ポインタ
Ｐ３ ：第三ポインタ
1: Remote operation support system 2: Remote operation support device 3: Operation target terminal 4: Remote operation terminal 11: Video development unit 12: Correction processing unit 13: Switching processing unit 14: Communication processing unit 21: Imaging unit 22: Output unit 23: Communication processing unit 41: Display 42: Mouse 43: Keyboard 44: Communication processing unit G1: Operation area G11: Command button G2: Video display area NW1: Network NW2: Network P: Pointer P1: First pointer P2: Second Pointer P3: Third pointer
Claims (8)
ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムであって、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信部と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開部と、
前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信部と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理部と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信手段と、を有し、
前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される、
遠隔操作支援システム。 A remote control support device that connects to the operation target terminal and operates the operation target terminal based on the predetermined operation information,
It is a system equipped with a pointing device and configured to be able to communicate with a remote control terminal used by a remote control operator.
A video receiving unit that receives the video of the operation target terminal from the remote control support device, and
An operation area in which a first pointer for operating the remote control terminal is displayed, a video display area for displaying an image of the operation target terminal, and a video development unit that develops a screen provided with the remote control terminal on the remote control terminal. ,
An operation information receiving unit that receives operation information of the pointing device from the remote control terminal, and
A switching processing unit that displays the first pointer when the designated position by the pointing device is in the operation area and hides the first pointer when it is in the video display area.
It has an operation information transmitting means for transmitting the operation information as the predetermined operation information to the remote control support device when the instruction position by the pointing device is in the video display area.
Either the first pointer or the second pointer for operating the operation target terminal is selectively displayed on the screen of the remote control terminal according to the instruction position of the pointing device.
Remote control support system.
請求項１記載の遠隔操作支援システム。 The first pointer and the second pointer are identifiablely displayed on the remote control terminal.
The remote control support system according to claim 1.
請求項１又は２記載の遠隔操作支援システム。 The operation area is provided with a button for executing an operation on the operation target terminal.
The remote control support system according to claim 1 or 2.
請求項１乃至３いずれかの項に記載の遠隔操作支援システム。 Further having a correction processing means for correcting the image of the operation target terminal.
The remote control support system according to any one of claims 1 to 3.
請求項１乃至４いずれかの項に記載の遠隔操作支援システム。 The remote control support device connects to the operation target terminal by wire and executes data transmission / reception.
The remote control support system according to any one of claims 1 to 4.
ポインティングデバイスと、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信部と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開部と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理部と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信手段と、を有し、
前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される、
遠隔操作端末。 A remote control terminal configured to be able to communicate with a remote control support device that connects to the operation target terminal and operates the operation target terminal based on predetermined operation information.
With a pointing device
A video receiving unit that receives the video of the operation target terminal from the remote control support device, and
An operation area in which a first pointer for operating the remote control terminal is displayed, a video display area for displaying an image of the operation target terminal, and a video development unit that develops a screen provided with the remote control terminal on the remote control terminal. ,
A switching processing unit that displays the first pointer when the designated position by the pointing device is in the operation area and hides the first pointer when it is in the video display area.
It has an operation information transmitting means for transmitting the operation information as the predetermined operation information to the remote control support device when the instruction position by the pointing device is in the video display area.
Either the first pointer or the second pointer for operating the operation target terminal is selectively displayed on the screen of the remote control terminal according to the instruction position of the pointing device.
Remote control terminal.
ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムによって実行される方法であって、
前記システムが、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信処理と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開処理と、
前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信処理と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信処理と、を実行し、
前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される、
遠隔操作支援方法。 A remote control support device that connects to the operation target terminal and operates the operation target terminal based on the predetermined operation information,
A method performed by a system that is equipped with a pointing device and is configured to communicate with a remote-controlled terminal used by a remote operator.
The system
Video reception processing for receiving the video of the operation target terminal from the remote control support device, and
An image expansion process for expanding a screen provided with an operation area in which a first pointer for operating the remote control terminal is displayed and a video display area for displaying an image of the operation target terminal on the remote control terminal. ,
Operation information reception processing for receiving operation information of the pointing device from the remote control terminal, and
A switching process in which the first pointer is displayed when the designated position by the pointing device is in the operation area and the first pointer is hidden when the position is in the video display area.
When the instruction position by the pointing device is in the video display area, the operation information transmission process of transmitting the operation information as the predetermined operation information to the remote operation support device is executed.
Either the first pointer or the second pointer for operating the operation target terminal is selectively displayed on the screen of the remote control terminal according to the instruction position of the pointing device.
Remote control support method.
ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムによって実行されるコンピュータプログラムであって、
前記システムに対し、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信処理と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開処理と、
前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信処理と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信処理と、を実行させ、
前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される、
コンピュータプログラム。
A remote control support device that connects to the operation target terminal and operates the operation target terminal based on the predetermined operation information,
A computer program that is equipped with a pointing device and is executed by a system configured to be able to communicate with a remote-controlled terminal used by a remote operator.
For the system
Video reception processing for receiving the video of the operation target terminal from the remote control support device, and
An image expansion process for expanding a screen provided with an operation area in which a first pointer for operating the remote control terminal is displayed and an image display area for displaying an image of the operation target terminal on the remote control terminal. ,
Operation information reception processing for receiving operation information of the pointing device from the remote control terminal, and
A switching process in which the first pointer is displayed when the designated position by the pointing device is in the operation area and the first pointer is hidden when the position is in the video display area.
When the designated position by the pointing device is in the video display area, the remote control support device is made to execute an operation information transmission process of transmitting the operation information as the predetermined operation information.
Either the first pointer or the second pointer for operating the operation target terminal is selectively displayed on the screen of the remote control terminal according to the instruction position of the pointing device.
Computer program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020158159A JP7054548B2 (en) | 2020-09-23 | 2020-09-23 | Remote control support system, remote control terminal, remote control support method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020158159A JP7054548B2 (en) | 2020-09-23 | 2020-09-23 | Remote control support system, remote control terminal, remote control support method, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022052015A true JP2022052015A (en) | 2022-04-04 |
| JP7054548B2 JP7054548B2 (en) | 2022-04-14 |
Family
ID=80948972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020158159A Active JP7054548B2 (en) | 2020-09-23 | 2020-09-23 | Remote control support system, remote control terminal, remote control support method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7054548B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000215301A (en) * | 1999-01-22 | 2000-08-04 | Ricoh Co Ltd | Image processor, image processing method and computer readable recording medium recording program for making computer execute the method |
| JP2006139679A (en) * | 2004-11-15 | 2006-06-01 | Canon Inc | Terminal operation device and method, storage medium, and program |
| JP2007052491A (en) * | 2005-08-15 | 2007-03-01 | Internatl Business Mach Corp <Ibm> | System, method and computer program |
| JP2018045362A (en) * | 2016-09-13 | 2018-03-22 | 富士通株式会社 | Operation control program, operation control method and information processor |
-
2020
- 2020-09-23 JP JP2020158159A patent/JP7054548B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000215301A (en) * | 1999-01-22 | 2000-08-04 | Ricoh Co Ltd | Image processor, image processing method and computer readable recording medium recording program for making computer execute the method |
| JP2006139679A (en) * | 2004-11-15 | 2006-06-01 | Canon Inc | Terminal operation device and method, storage medium, and program |
| JP2007052491A (en) * | 2005-08-15 | 2007-03-01 | Internatl Business Mach Corp <Ibm> | System, method and computer program |
| JP2018045362A (en) * | 2016-09-13 | 2018-03-22 | 富士通株式会社 | Operation control program, operation control method and information processor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7054548B2 (en) | 2022-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5532018B2 (en) | Terminal device, program, and remote operation system | |
| JP2017092795A (en) | Image projection system, projector and control method for image projection system | |
| US20150094053A1 (en) | Terminal apparatus, control system, and control method for controlling collaboration among a plurality of devices | |
| JP2016009023A (en) | Information processing device, display control device, control methods therefor, system, and program | |
| WO2014027567A1 (en) | Image processing system, image processing method, and program | |
| EP2869587A1 (en) | Multimedia device and remote control device for synchronizing screen, and method for same | |
| JP6504907B2 (en) | Communication device, control method of communication device, and program | |
| EP2824936A1 (en) | Projector, projector control method, and recording medium storing projector control program | |
| JP4872482B2 (en) | Remote support device, remote support system, and remote support method | |
| JP2009253890A (en) | Display system and image display device | |
| KR100676366B1 (en) | Method and system for controlling computer using touchscrren of portable wireless terminal | |
| JP7054548B2 (en) | Remote control support system, remote control terminal, remote control support method, and computer program | |
| JP2004120284A (en) | Image sharing system, image sharing method, image display equipment, information terminal equipment, and image sharing program | |
| US10728487B2 (en) | Image display apparatus, external device, image display method, and image display system | |
| JP6448439B2 (en) | Electronic device and control method thereof | |
| JP6012351B2 (en) | Image processing apparatus, control method thereof, and program | |
| WO2014002242A1 (en) | Image display system, information terminal, and information-terminal control method and control program | |
| JP7307392B1 (en) | Information processing system, its control method, and program | |
| US11516404B2 (en) | Control apparatus and control method | |
| US20220083217A1 (en) | Electronic device, method, and non-transitory recording medium | |
| JP4631634B2 (en) | Information output system and information output method | |
| JP2006128951A (en) | Remote drawing device and system and remote drawing method | |
| JP2022175067A (en) | Imaging system and control method therefor | |
| JP2007028309A (en) | Material presentation device and operating method of terminal | |
| JP5511023B2 (en) | Video display system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220328 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7054548 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |