JP2006268510A - Computer control method, mouse control sound output program, and mouse control program - Google Patents
Computer control method, mouse control sound output program, and mouse control program Download PDFInfo
- Publication number
- JP2006268510A JP2006268510A JP2005086392A JP2005086392A JP2006268510A JP 2006268510 A JP2006268510 A JP 2006268510A JP 2005086392 A JP2005086392 A JP 2005086392A JP 2005086392 A JP2005086392 A JP 2005086392A JP 2006268510 A JP2006268510 A JP 2006268510A
- Authority
- JP
- Japan
- Prior art keywords
- mouse
- sound
- type
- computer
- control sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、コンピュータの操作法を電話にて教えるためや、遠隔地に存在するコンピュータを操作してしまうために使用されるコンピュータ制御方法，マウス制御音出力プログラム及びマウス制御プログラムに、関する。 The present invention relates to a computer control method, a mouse control sound output program, and a mouse control program used for teaching a computer operating method by telephone or operating a computer located in a remote place.
周知のように、コンピュータメーカーやソフトベンダーの多くは、自社製品に関する電話での問い合わせを受け付けるためのサポートセンタ（電話応対センタ，ヘルプデスク，コールセンタ等とも呼ばれている）を運営しているが、コンピュータやソフトの操作法を問い合わせ者に電話で教えるという作業は、極めて困難な作業である。 As is well known, many computer manufacturers and software vendors operate support centers (also called telephone reception centers, help desks, call centers, etc.) that accept telephone inquiries about their products. Teaching inquirers how to use computers and software by telephone is extremely difficult.
このため、コンピュータ関連のサポートセンタの中には、サポートセンタ側のコンピュータから顧客のコンピュータをリモート制御する形のサポートを行えるようにしたもの（例えば、特許文献１参照。）が、存在している。 For this reason, some support centers related to computers are capable of providing support in the form of remote control of a customer's computer from a computer on the support center side (see, for example, Patent Document 1). .
ただし、サポートセンタ側のコンピュータから顧客のコンピュータをリモート制御するために，現在，用いられているリモート制御技術は、顧客のコンピュータがネットワークに接続されていることを必要とするものとなっている。換言すれば、従来のリモート制御技術は、自身のコンピュータをネットワークに接続していない顧客からの問い合わせに応答する際には、使用することが出来ない技術となっている。 However, in order to remotely control a customer's computer from a computer on the support center side, the remote control technology currently used requires that the customer's computer is connected to a network. In other words, the conventional remote control technology cannot be used when responding to an inquiry from a customer who does not connect his computer to the network.
そこで、本発明の課題は、ネットワークへの接続の有無によらず，被制御コンピュータを，制御用コンピュータから制御することが出来るコンピュータ制御方法を、提供することにある。 Therefore, an object of the present invention is to provide a computer control method capable of controlling a controlled computer from a control computer regardless of the presence or absence of connection to a network.
また、本発明の他の課題は、それらを用いることにより、ネットワークへの接続の有無によらず，被制御コンピュータを，制御用コンピュータから制御することが可能となるマウス制御プログラム及びマウス制御音出力プログラムを、提供することにある。 In addition, another object of the present invention is to provide a mouse control program and a mouse control sound output that can control a controlled computer from a control computer regardless of the presence or absence of connection to a network. The program is to provide.
上記課題を解決するために、本発明のコンピュータ制御方法では、マウスポインタの移動と複数のマウスボタンイベントの発生とを監視して、マウスポインタが移動した場合には、マウスポインタの表示位置を示す第１種マウス制御音を出力し、複数のマウスポインタイベントのいずれかが発生した場合には、マウスポインタの表示位置と発生したマウスボタンイベントの種類を示す第２種マウス制御音を出力するマウス制御音出力処理を、制御用コンピュータに、バックグラウンド処理として実行させ、第１種マウス制御音或いは第２種マウス制御音が入力されるのを監視し、第１種マウス制御音が入力された場合には、マウスポインタの表示位置を当該第１種マウス制御音が示している表示位置まで移動し、第２種マウス制御音が入力された場合には、マウスポインタの表示位置を当該第２種マウス制御音が示している表示位置まで移動した後に、当該第２種マウス制御音が示している種類のマウスボタンイベントを発生させるマウス制御処理を、被制御コンピュータに、バックグラウンド処理として実行させ、制御用コンピュータが出力する各マウス制御音を被制御コンピュータに入力することにより、制御用コンピュータに対する操作で被制御コンピュータを制御できるようにする。 In order to solve the above problems, the computer control method of the present invention monitors the movement of the mouse pointer and the occurrence of a plurality of mouse button events, and indicates the display position of the mouse pointer when the mouse pointer moves. A mouse that outputs the first type mouse control sound and outputs a second type mouse control sound indicating the display position of the mouse pointer and the type of the generated mouse button event when any of a plurality of mouse pointer events occurs. The control sound output process is executed by the control computer as a background process, the input of the first type mouse control sound or the second type mouse control sound is monitored, and the first type mouse control sound is input. In this case, the display position of the mouse pointer is moved to the display position indicated by the first type mouse control sound, and the second type mouse control sound is input. If the mouse pointer is moved to the display position indicated by the second type mouse control sound, the mouse control that generates the mouse button event of the type indicated by the second type mouse control sound is performed. By causing the controlled computer to execute the process as a background process and inputting each mouse control sound output from the controlling computer to the controlled computer, the controlled computer can be controlled by an operation on the controlling computer. .
すなわち、本発明のコンピュータ制御方法は、マウス制御音によって，被制御コンピュータが制御される方法となっている。従って、このコンピュータ制御方法によれば、ネットワークへ接続されていない被制御コンピュータを制御用コンピュータから制御できることになる。 That is, the computer control method of the present invention is a method in which a controlled computer is controlled by a mouse control sound. Therefore, according to this computer control method, a controlled computer that is not connected to the network can be controlled from the control computer.
本発明のコンピュータ制御方法を実施するに際して、制御用コンピュータに実行させるマウス制御音出力処理は、第１種／第２種マウス制御音として、その音から、マウスポインタの表示位置／マウスポインタの表示位置及び発生したマウスボタンイベントの種類が分かる音を出力するものでありさえすれば良いので、マウス制御音出力処理を、第１種マウス制御音，第２種マウス制御音のいずれとしても、マウスポインタの表示位置のＸ座標値に応じた周波数の音と、当該表示位置のＹ座標値に応じた周波数の音とを含む音を出力する処理としておいても良い。また、マウス制御音出力処理を、第２種マウス制御音として、発生したマウスポインタの種類に応じた周波数の音を含む音を出力する処理しておくことも、出来る。 When executing the computer control method of the present invention, the mouse control sound output processing to be executed by the control computer is the first type / second type mouse control sound, and from that sound, the mouse pointer display position / mouse pointer display Since it is only necessary to output a sound that indicates the position and the type of the generated mouse button event, the mouse control sound output process can be performed using either the first type mouse control sound or the second type mouse control sound. Processing that outputs a sound including a sound having a frequency corresponding to the X coordinate value of the display position of the pointer and a sound having a frequency corresponding to the Y coordinate value of the display position may be performed. In addition, the mouse control sound output process can be performed as a second type mouse control sound that outputs a sound including a sound having a frequency corresponding to the type of the generated mouse pointer.
そして、本発明のマウス制御音出力プログラムは、コンピュータに、マウスポインタの移動と複数のマウスボタンイベントの発生とを監視して、マウスポインタが移動した場合には、マウスポインタの表示位置を示す第１種マウス制御音を出力し、複数のマウスポインタイベントのいずれかが発生した場合には、マウスポインタの表示位置と発生したマウスボタンイベントの種類を示す第２種マウス制御音を出力するマウス制御音出力処理を、バックグラウンド処理として実行させることが可能なプログラムであり、本発明のマウス制御プログラムは、コンピュータに、マウスポインタの表示位置を示す第１種マウス制御音或いはマウスポインタの表示位置と発生したマウスボタンイベントの種類を示す第２種マウス制御音が入力されるのを監視し、第１種マウス制御音が入力された場合には、マウスポインタの表示位置を当該第１種マウス制御音が示している表示位置まで移動し、第２種マウス制御音が入力された場合には、マウスポインタの表示位置を当該第２種マウス制御音が示している表示位置まで移動した後に、当該第２種マウス制御音が示している種類のマウスボタンイベントを発生させるマウス制御処理を、バックグラウンド処理として実行させることが可能なプログラムであるので、これらのプログラムを用いれば、ネットワークへ接続されていない被制御コンピュータを制御用コンピュータから制御できることになる。 Then, the mouse control sound output program of the present invention monitors the movement of the mouse pointer and the occurrence of a plurality of mouse button events on the computer, and when the mouse pointer moves, indicates the display position of the mouse pointer. A mouse control that outputs a type 1 mouse control sound and outputs a type 2 mouse control sound indicating the display position of the mouse pointer and the type of the generated mouse button event when any of a plurality of mouse pointer events occurs. The sound output process is a program that can be executed as a background process, and the mouse control program of the present invention causes the computer to display the first type mouse control sound indicating the display position of the mouse pointer or the display position of the mouse pointer. Type 2 mouse control sound indicating the type of mouse button event that occurred When the first type mouse control sound is input, the display position of the mouse pointer is moved to the display position indicated by the first type mouse control sound, and the second type mouse control sound is input. In this case, after moving the display position of the mouse pointer to the display position indicated by the second type mouse control sound, the mouse control process for generating the mouse button event of the type indicated by the second type mouse control sound. Can be executed as a background process, and by using these programs, a controlled computer that is not connected to the network can be controlled from the control computer.
本発明のコンピュータ制御方法，マウス制御プログラム及びマウス制御音出力プログラムを用いれば、ネットワークへ接続されていない被制御コンピュータを制御用コンピュータから制御できるので、ネットワークへ接続されていない被制御コンピュータの操作者に、コンピュータの操作法を電話で教えることが簡単に行えることになる。また、ネットワークへ接続されていない被制御コンピュータを、制御用コンピュータから操作してしまうことも可能となる。 By using the computer control method, the mouse control program, and the mouse control sound output program of the present invention, the controlled computer that is not connected to the network can be controlled from the control computer, so the operator of the controlled computer that is not connected to the network In addition, it is easy to teach how to operate a computer by telephone. It is also possible to operate a controlled computer that is not connected to the network from the control computer.
以下、本発明を実施するための最良の形態を、図面を参照して詳細に説明する。 Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings.
図１に模式的に示してあるように、本発明の一実施形態に係るマウス制御プログラム１０，マウス制御音出力プログラム２０は、それぞれ、被制御コンピュータ１５，制御用コンピュータ２５上で実行されるプログラムである。 As schematically shown in FIG. 1, a mouse control program 10 and a mouse control sound output program 20 according to an embodiment of the present invention are programs executed on a controlled computer 15 and a control computer 25, respectively. It is.
マウス制御音出力プログラム２０が実行される制御用コンピュータ２５は、コンピュータの操作法（アプリケーションプログラムやＷｅｂページの操作法）を教えることが出来る者（以下、第２操作者と表記する）が使用する，スピーカーを備えたコンピュータ（音を出力可能なコンピュータ）である。また、マウス制御プログラム１０が実行される被制御コンピュータ１５は、第２操作者から、アプリケーションプログラムやＷｅｂページの操作法を教わる者（以下、第１操作者と表記する）が使用する，マイクを備えたコンピュータ（音を入力可能なコンピュータ）である。 The control computer 25 on which the mouse control sound output program 20 is executed is used by a person who can teach a computer operation method (application program or Web page operation method) (hereinafter referred to as a second operator). , A computer equipped with speakers (a computer that can output sound). In addition, the controlled computer 15 that executes the mouse control program 10 uses a microphone that is used by a person who teaches how to operate an application program or a Web page from a second operator (hereinafter referred to as a first operator). A computer (a computer capable of inputting sound).
そして、本実施形態に係るマウス制御プログラム１０，マウス制御音出力プログラム２０は、制御用コンピュータ２５のスピーカーから出力される音が，電話回線を介して被制御コンピュータ１５のマイクに入力される状態で、使用されるプログラムとなっている。 The mouse control program 10 and the mouse control sound output program 20 according to the present embodiment are such that the sound output from the speaker of the control computer 25 is input to the microphone of the controlled computer 15 via the telephone line. , Has become a program to be used.
以上のことを前提に、以下、本実施形態に係るマウス制御プログラム１０，マウス制御音出力プログラム２０の構成及び動作を、さらに具体的に説明する。 Based on the above, the configurations and operations of the mouse control program 10 and the mouse control sound output program 20 according to the present embodiment will be described more specifically below.
図２に模式的に示したように、マウス制御プログラム１０，マウス制御音出力プログラム２０は、同内容の１０種の情報（Ｘ座標音周波数上限値，Ｘ座標音周波数下限値，Ｙ座標音周波数上限値，Ｙ座標音周波数下限値，右ボタンダウン音周波数，右ボタンアップ音周波数，右ボタンクリック音周波数，左ボタンダウン音周波数，左ボタンアップ音周波数及び左ボタンクリック音周波数）がコーディングされている（プログラム中で使用されている）プログラムとなっている。 As schematically shown in FIG. 2, the mouse control program 10 and the mouse control sound output program 20 have 10 types of information (X coordinate sound frequency upper limit value, X coordinate sound frequency lower limit value, Y coordinate sound frequency). Upper limit value, Y coordinate sound frequency lower limit value, right button down sound frequency, right button up sound frequency, right button click sound frequency, left button down sound frequency, left button up sound frequency and left button click sound frequency) are coded. It is a program (used in the program).
また、マウス制御プログラム１０，マウス制御音出力プログラム２０は、これらの情報間に、右ボタンダウン音周波数＞右ボタンアップ音周波数＞右ボタンクリック音周波数＞左ボタンダウン音周波数＞左ボタンアップ音周波数＞左ボタンクリック音周波数＞Ｘ座標音周波数上限値＞Ｘ座標音周波数下限値＞Ｙ座標音周波数上限値＞Ｙ座標音周波数下限値という関係が成立するように作成されたプログラムとなっている。 Further, the mouse control program 10 and the mouse control sound output program 20 include the right button down sound frequency> the right button up sound frequency> the right button click sound frequency> the left button down sound frequency> the left button up sound frequency. > Left button click sound frequency> X coordinate sound frequency upper limit value> X coordinate sound frequency lower limit value> Y coordinate sound frequency upper limit value> Y coordinate sound frequency lower limit value.
そして、マウス制御音出力プログラム２０は、制御用コンピュータ２５に、図３に示した手順のマウス制御音出力処理を、バックグラウンド処理として実行させることが出来るものとなっている。 The mouse control sound output program 20 can cause the control computer 25 to execute the mouse control sound output process of the procedure shown in FIG. 3 as a background process.
すなわち、マウス制御音出力プログラム２０は、起動されると、まず、ディスプレイのＸ，Ｙ方向解像度（Ｘ，Ｙ方向の画素数）をＯＳから取得する(ステップＳ１０１)。 That is, when the mouse control sound output program 20 is activated, first, the X and Y direction resolution (the number of pixels in the X and Y directions) of the display is acquired from the OS (step S101).
次いで、マウス制御音出力プログラム２０は、取得したＸ方向解像度でＸ座標音周波数範囲値を割った値を，Ｘ座標周波数変換係数として記憶する処理(ステップＳ１０２)と、取得したＹ方向解像度でＹ座標音周波数範囲値を割った値を、Ｙ座標周波数変換係数として記憶する処理(ステップＳ１０３)とを行う。ここで、Ｘ座標音周波数範囲値とは、Ｘ座標音周波数上限値からＸ座標音周波数下限値を減じた値（“Ｘ座標音周波数上限値−Ｘ座標音周波数下限値”；図２参照）のことであり、Ｙ座標音周波数範囲値とは、Ｙ座標音周波数上限値からＹ座標音周波数下限値を減じた値のことである。 Next, the mouse control sound output program 20 stores the value obtained by dividing the X-coordinate sound frequency range value by the acquired X-direction resolution as an X-coordinate frequency conversion coefficient (step S102), and the acquired Y-direction resolution Y A process of storing a value obtained by dividing the coordinate sound frequency range value as a Y coordinate frequency conversion coefficient (step S103). Here, the X coordinate sound frequency range value is a value obtained by subtracting the X coordinate sound frequency lower limit value from the X coordinate sound frequency upper limit value (“X coordinate sound frequency upper limit value−X coordinate sound frequency lower limit value”; see FIG. 2). The Y coordinate sound frequency range value is a value obtained by subtracting the Y coordinate sound frequency lower limit value from the Y coordinate sound frequency upper limit value.
ステップＳ１０１〜Ｓ１０３の処理を終えたマウス制御音出力プログラム２０は、マウスポインタ移動イベント，左ボタンダウンイベント，左ボタンアップイベント，左ボタンクリックイベント，右ボタンダウンイベント，右ボタンアップイベント，及び，右ボタンクリックイベントといった各種マウスイベントの発生を監視する処理(ステップＳ１０４)を開始する。なお、マウスポインタ移動イベントとは、マウスポインタが所定距離（本実施形態では、３ドット）以上移動したというイベントのことである。また、図示は省略してあるが、本実施形態に係るマウス制御音出力プログラム２０は、このステップＳ１０４において、所定のキーボード操作（特定の３つのキーの同時押下）が行われたことを検出した際には、動作を停止するプログラムとなっている。 The mouse control sound output program 20 that has finished the processing of steps S101 to S103 is a mouse pointer movement event, a left button down event, a left button up event, a left button click event, a right button down event, a right button up event, and a right Processing for monitoring the occurrence of various mouse events such as button click events (step S104) is started. The mouse pointer movement event is an event that the mouse pointer has moved by a predetermined distance (3 dots in the present embodiment) or more. Although not shown, the mouse control sound output program 20 according to the present embodiment detects that a predetermined keyboard operation (simultaneous pressing of three specific keys) has been performed in step S104. In some cases, the program stops the operation.
マウス制御音出力プログラム２０は、いずれかのマウスイベントの発生を検出した場合(ステップＳ１０４；ＹＥＳ)には、発生したマウスイベントがマウスポインタ移動イベントであるか否かを判断する(ステップＳ１０５)。 When the mouse control sound output program 20 detects the occurrence of any mouse event (step S104; YES), the mouse control sound output program 20 determines whether the generated mouse event is a mouse pointer movement event (step S105).
そして、マウス制御音出力プログラム２０は、発生したマウスイベントがマウスポインタ移動イベントであった場合(ステップＳ１０５；ＹＥＳ)には、その時点におけるマウスポインタのＸ，Ｙ座標値、Ｘ，Ｙ座標周波数変換係数等から求めた周波数のＸ，Ｙ座標音とからなるマウス制御音（Ｘ座標音とＹ座標音の和音）を、一定時間，出力する処理(ステップＳ１０６)を行う。より具体的には、マウス制御音出力プログラム２０は、このステップＳ１０６において、マウスポインタのＸ座標値とＸ座標周波数変換係数の乗算結果にＸ座標音周波数下限値を加算することによって得た周波数（“Ｘ座標値・Ｘ座標周波数変換係数＋Ｘ座標音周波数下限値”）のＸ座標音と、マウスポインタのＹ座標値とＹ座標周波数変換係数の乗算結果にＹ座標音周波数下限値を加算することによって得られた周波数のＹ座標音とからなるマウス制御音を、一定時間（本実施形態では、およそ、０．３秒），出力する処理を、行う。 When the generated mouse event is a mouse pointer movement event (step S105; YES), the mouse control sound output program 20 converts the X, Y coordinate value, X, Y coordinate frequency of the mouse pointer at that time. A process (step S106) of outputting a mouse control sound (a chord of the X coordinate sound and the Y coordinate sound) composed of the X and Y coordinate sounds having the frequency obtained from the coefficient or the like for a predetermined time is performed. More specifically, in step S106, the mouse control sound output program 20 adds the X coordinate sound frequency lower limit value to the multiplication result of the X coordinate value of the mouse pointer and the X coordinate frequency conversion coefficient ( Add the Y coordinate sound frequency lower limit value to the multiplication result of the X coordinate sound of “X coordinate value / X coordinate frequency conversion coefficient + X coordinate sound frequency lower limit value”) and the Y coordinate value of the mouse pointer and the Y coordinate frequency conversion coefficient. A process of outputting a mouse control sound consisting of the Y coordinate sound of the frequency obtained by the above for a predetermined time (approximately 0.3 seconds in this embodiment) is performed.
また、マウス制御音出力プログラム２０は、発生したマウスイベントがマウスポインタ移動イベントではなかった場合(ステップＳ１０５；ＮＯ)には、上記したＸ座標音及びＹ座標音と、発生したマウスボタンイベントに対応づけられている周波数（右ボタンダウン音周波数，右ボタンアップ音周波数，右ボタンクリック音周波数，左ボタンダウン音周波数，左ボタンアップ音周波数，或いは，左ボタンクリック音周波数）のマウスイベント音とからなるマウス制御音を、一定時間，発生する処理(ステップＳ１０７)を行う。 Further, when the generated mouse event is not a mouse pointer movement event (step S105; NO), the mouse control sound output program 20 corresponds to the above-described X coordinate sound and Y coordinate sound and the generated mouse button event. Mouse event sound of the assigned frequency (right button down sound frequency, right button up sound frequency, right button click sound frequency, left button down sound frequency, left button up sound frequency, or left button click sound frequency) A process for generating a mouse control sound for a predetermined time is performed (step S107).
そして、ステップＳ１０６或いはＳ１０７の処理を終えたマウス制御音出力プログラム２０は、ステップＳ１０４の処理を再び開始する。 And the mouse | mouth control sound output program 20 which finished the process of step S106 or S107 starts the process of step S104 again.
要するに、マウス制御音出力プログラム２０は、マウスが移動された際（マウスポインタが移動した際）やマウスボタンが操作された際に、マウスポインタの表示位置（及びマウスボタンが操作されていないこと）を示すマウス制御音（Ｘ座標音とＹ座標音とからなるマウス制御音）や，マウスポインタの表示位置とマウスボタンに対する操作内容を示すマウス制御音（Ｘ座標音，Ｙ座標音及びマウスイベント音からなるマウス制御音）を出力するプログラムとなっている。 In short, the mouse control sound output program 20 is displayed when the mouse is moved (the mouse pointer is moved) or when the mouse button is operated (and the mouse button is not operated). Mouse control sound (mouse control sound consisting of X-coordinate sound and Y-coordinate sound) and mouse control sound (X-coordinate sound, Y-coordinate sound and mouse event sound) indicating the operation position of the mouse pointer display position and mouse button This is a program that outputs mouse control sounds.
一方、マウス制御プログラム１０は、起動されると、図４に示した手順のマウス制御処理を、制御用コンピュータ１５にバックグランド処理として実行させるプログラムとして作成されている。 On the other hand, the mouse control program 10 is created as a program that, when activated, causes the control computer 15 to execute the mouse control process of the procedure shown in FIG. 4 as a background process.
すなわち、マウス制御プログラム１０は、起動されると、まず、ディスプレイのＸ，Ｙ方向解像度をＯＳから取得する(ステップＳ２０１) That is, when the mouse control program 10 is activated, first, the X and Y direction resolutions of the display are acquired from the OS (step S201).
次いで、マウス制御プログラム１０は、取得したＸ方向解像度をＸ座標音周波数範囲値で割った値を、周波数Ｘ座標変換係数として記憶する処理(ステップＳ２０２)と、取得したＹ方向解像度をＹ座標音周波数範囲値で割った値を、周波数Ｙ座標変換係数として記憶する処理(ステップＳ２０３)とを行う。 Next, the mouse control program 10 stores a value obtained by dividing the acquired X direction resolution by the X coordinate sound frequency range value as a frequency X coordinate conversion coefficient (step S202), and the acquired Y direction resolution is used as the Y coordinate sound. A process of storing the value divided by the frequency range value as a frequency Y coordinate conversion coefficient (step S203).
そして、マウス制御プログラム１０は、マウス制御音が被制御コンピュータ１５のマイクから入力されるのを監視する処理（ステップＳ２０４）を繰り返す状態となる。 And the mouse control program 10 will be in the state which repeats the process (step S204) which monitors that the mouse control sound is input from the microphone of the controlled computer 15.
このステップＳ２０４にて，マウス制御プログラム１０が実際に実行する処理は、被制御コンピュータ１５のマイクから入力された音（マイク等によりデジタルデータ化された音）に、Ｘ座標音周波数範囲（Ｘ座標音周波数下限値からＸ座標音周波数上限値までの周波数範囲）内の周波数の所定強度以上の音と、Ｙ座標音周波数範囲（Ｙ座標音周波数下限値からＹ座標音周波数上限値までの周波数範囲）内の周波数の所定強度以上の音とが含まれているか否かをチェックし、マイクから入力された音に，そのような２種の音が含まれていた場合に、マウス制御音が入力された（マイクに入力された音がマウス制御音である）と判断する処理である。 In this step S204, the processing actually executed by the mouse control program 10 is that the sound input from the microphone of the controlled computer 15 (the sound digitalized by the microphone or the like) is added to the X coordinate sound frequency range (X coordinate). Sounds with a frequency greater than or equal to a predetermined intensity within the frequency range from the sound frequency lower limit value to the X coordinate sound frequency upper limit value, and the Y coordinate sound frequency range (the frequency range from the Y coordinate sound frequency lower limit value to the Y coordinate sound frequency upper limit value) ) Check whether or not the sound with the frequency above the specified intensity is included, and if the sound input from the microphone contains such two kinds of sounds, the mouse control sound is input This is a process for determining that the sound input to the microphone is a mouse control sound.
なお、図示は省略してあるが、マウス制御プログラム１０は、マウス制御音出力プログラム２０と同様に、このステップＳ２０４において、所定のキーボード操作（特定の３つのキーの同時押下）が行われたことを検出した際には、動作を停止するプログラムとなっている。 Although not shown in the drawing, the mouse control program 10 has performed a predetermined keyboard operation (simultaneous pressing of three specific keys) in step S204, as with the mouse control sound output program 20. When this is detected, the program stops the operation.
マウス制御音が入力されたと判断した場合(ステップＳ２０４；ＹＥＳ)、マウス制御プログラム１０は、当該マウス制御音をさらに解析する（マウス制御音にボタンイベント音が含まれているか否かを、６種のボタンイベント音のそれぞれについてチェックする）ことにより、制御用コンピュータ２５におけるマウスボタンイベントの発生の有無や、制御用コンピュータ２５にて発生したマウスボタンイベントの種類を把握する(ステップＳ２０５)。 If it is determined that a mouse control sound has been input (step S204; YES), the mouse control program 10 further analyzes the mouse control sound (whether or not a button event sound is included in the mouse control sound) By checking each of the button event sounds, the presence or absence of a mouse button event in the control computer 25 and the type of mouse button event generated in the control computer 25 are grasped (step S205).
そして、マウス制御プログラム１０は、制御用コンピュータ２５にていずれのマウスボタンイベントも発生していなかった場合(ステップＳ２０６；ＹＥＳ)には、Ｘ座標値，Ｙ座標値が、それぞれ、“（マウス制御音中のＸ座標音の周波数−Ｘ座標音周波数下限値）・周波数Ｘ座標変換係数”，“（マウス制御音中のＹ座標音の周波数−Ｙ座標音周波数下限値）・周波数Ｙ座標変換係数”と一致している位置（図では、マウス制御音が示している位置）まで、マウスポインタを移動させる処理(ステップＳ２０７)を行う。 When no mouse button event has occurred in the control computer 25 (step S206; YES), the mouse control program 10 sets the X coordinate value and the Y coordinate value to “(mouse control), respectively. Frequency of X coordinate sound in sound-lower limit value of X coordinate sound frequency) / frequency X coordinate conversion coefficient "," (frequency of Y coordinate sound in mouse control sound-lower limit value of Y coordinate sound frequency) / frequency Y coordinate conversion coefficient ”(Step S207) is performed to move the mouse pointer to a position that coincides with“ ”(the position indicated by the mouse control sound in the figure).
また、マウス制御音出力プログラム２０は、マウス制御音出力プログラム２０にて或るマウスボタンイベントが発生していた場合(ステップＳ２０６；ＮＯ)には、ステップＳ２０８にて、ステップＳ２０７と同内容の処理を行ってから、ステップＳ２０９にて、制御用コンピュータ２５にて発生した種類のマウスボタンイベントを発生させる処理を行う。 Further, when a mouse button event has occurred in the mouse control sound output program 20 (step S206; NO), the mouse control sound output program 20 performs the same processing as step S207 in step S208. In step S209, a process for generating a mouse button event of the type generated in the control computer 25 is performed.
そして、ステップＳ２０７或いはステップＳ２０９の処理を終えたマウス制御音出力プログラム２０は、ステップＳ２０４の処理を再び開始する。 And the mouse | mouth control sound output program 20 which finished the process of step S207 or step S209 starts the process of step S204 again.
要するに、本実施形態に係るマウス制御プログラム１０，マウス制御音出力プログラム２０は、以下に例示するような形で使用すれば、第１操作者（被制御コンピュータ１５の操作者）が、第２操作者（制御用コンピュータ２５の操作者）から、アプリケーションプログラムやＷｅｂページの操作法を教わることが出来るプログラムとなっている。 In short, if the mouse control program 10 and the mouse control sound output program 20 according to the present embodiment are used in the form exemplified below, the first operator (the operator of the controlled computer 15) can perform the second operation. It is a program that allows an operator (operator of the control computer 25) to learn application program and Web page operation methods.
まず、第１操作者は、第２操作者に電話をかけ、操作法を知りたいアプリケーションプログラム／Ｗｅｂページの名称／ＵＲＬと，被制御コンピュータ１５のディスプレイの解像度とを、第２操作者に通知する。そして、第１操作者は、電話機の動作モードをスピーカモードにした上で、被制御コンピュータ１５にインストールされているマウス制御プログラム１０を起動しておく。 First, the first operator calls the second operator, and notifies the second operator of the name / URL of the application program / Web page that he / she wants to know how to operate and the display resolution of the controlled computer 15. To do. Then, the first operator activates the mouse control program 10 installed in the controlled computer 15 after setting the operation mode of the telephone to the speaker mode.
一方、アプリケーションプログラム／Ｗｅｂページの名称／ＵＲＬと、被制御コンピュータ１５のディスプレイの解像度とが通知された第２操作者は、制御用コンピュータ２５のディスプレイの解像度を，通知されたものに合わせる作業と、通知された名称のアプリケーションプログラムを起動する作業，或いは、通知されたＵＲＬのＷｅｂページをディスプレイ上に表示させる作業を、行う。そして、第２操作者は、電話機の動作モードをスピーカモードにした上で、制御用コンピュータ２５にインストールされているマウス制御音出力プログラム２０を起動しておく。 On the other hand, the second operator who is notified of the application program / Web page name / URL and the display resolution of the controlled computer 15 adjusts the display resolution of the control computer 25 to the notified one. The operation of starting the application program with the notified name or the operation of displaying the Web page with the notified URL on the display is performed. Then, the second operator activates the mouse control sound output program 20 installed in the control computer 25 after setting the operation mode of the telephone to the speaker mode.
これらの作業が行われると、制御用コンピュータ２５内でマウス制御音出力処理（図３）が実行されており、被制御コンピュータ１５内でマウス制御処理（図４）が実行されている状態となる。すなわち、制御用コンピュータ２５のマウスを移動させると、被制御コンピュータ１５のディスプレイ上のマウスポインタが，制御用コンピュータ２５のディスプレイ上のマウスポインタと同位置に移動し、制御用コンピュータ２５のマウスのボタンを操作すると、制御用コンピュータ２５及び被制御コンピュータ１５にて、同じマウスボタンイベントが発生する状態となる。 When these operations are performed, the mouse control sound output process (FIG. 3) is executed in the control computer 25, and the mouse control process (FIG. 4) is executed in the controlled computer 15. . That is, when the mouse of the control computer 25 is moved, the mouse pointer on the display of the controlled computer 15 is moved to the same position as the mouse pointer on the display of the control computer 25, and the mouse button of the control computer 25 is moved. Is operated, the same mouse button event occurs in the control computer 25 and the controlled computer 15.
従って、第２操作者は、第１操作者と会話をしながら、制御用コンピュータ２５のマウスを操作することにより、操作すべきアイテム（ボタンやリンク）の場所を知らせることや、当該アイテムを実際に操作してしまうことが出来ることになり、その結果として、第１操作者は、操作すべきアイテムの場所を、言葉によってではなく、ディスプレイ上のマウスポインタの位置によって、教わることが出来ることになる。 Therefore, the second operator operates the mouse of the control computer 25 while having a conversation with the first operator, thereby notifying the location of the item (button or link) to be operated, As a result, the first operator can learn the location of the item to be operated not by words but by the position of the mouse pointer on the display. Become.
《変形形態》
上記したマウス制御プログラム１０，マウス制御音出力プログラム２０は、各種の変形を行うことが出来る。例えば、マウス制御音出力プログラム２０を、Ｘ座標音とＹ座標音とを含むマウス制御音ではなく、その周波数が，マウスポインタのＸ，Ｙ座標値を示すＸＹ座標音（例えば、その周波数が“2000Ｙ＋Ｘ”の関数となっているＸＹ座標音）を含むマウス制御音を出力するものに変形し、マウス制御プログラム１０を、当該マウス制御音から、マウスポインタのＸ，Ｙ座標値を求められるものに変形しておいても良い。
<Deformation>
The above-described mouse control program 10 and mouse control sound output program 20 can be modified in various ways. For example, the mouse control sound output program 20 is not a mouse control sound including an X coordinate sound and a Y coordinate sound, but an XY coordinate sound (for example, the frequency is “ The mouse control program 10 is modified to output the mouse control sound including the XY coordinate sound that is a function of 2000Y + X ″, and the mouse control program 10 can obtain the X and Y coordinate values of the mouse pointer from the mouse control sound. It may be deformed.
また、マウス制御音出力プログラム２０を、時間的に変化するマウス制御音（その時間変化パターンがマウスポインタの座標等を表すマウス制御音）を出力するものに変形することも可能である。ただし、そのようなマウス制御音から、マウスポインタのＸ，Ｙ座標値を求められるマウス制御プログラム１０を作成するのは困難なので、実施形態のような構成を採用しておくことが望ましい。 Further, the mouse control sound output program 20 can be modified to output a mouse control sound that changes with time (a mouse control sound whose time change pattern indicates the coordinates of the mouse pointer or the like). However, since it is difficult to create the mouse control program 10 that can obtain the X and Y coordinate values of the mouse pointer from such mouse control sounds, it is desirable to adopt the configuration as in the embodiment.
また、当然のことではあるが、マウス制御プログラム１０，マウス制御音出力プログラム２０を、同一室内に存在する制御用コンピュータ２５から被制御コンピュータ１５を制御するために（マウス制御音が通信回線を介さずに制御用コンピュータ２５から被制御コンピュータ１５に供給される形で）用いても良い。 Naturally, the mouse control program 10 and the mouse control sound output program 20 are controlled so that the controlled computer 15 is controlled from the control computer 25 existing in the same room (the mouse control sound is transmitted via the communication line). Instead of being supplied from the control computer 25 to the controlled computer 15).
１０ マウス制御プログラム
１５ 被制御コンピュータ
２０ マウス制御音出力プログラム
２５ 制御用コンピュータ
10 Mouse Control Program 15 Controlled Computer 20 Mouse Control Sound Output Program 25 Control Computer
Claims (5)
マウスポインタの移動と複数のマウスボタンイベントの発生とを監視して、マウスポインタが移動した場合には、マウスポインタの表示位置を示す第１種マウス制御音を出力し、前記複数のマウスポインタイベントのいずれかが発生した場合には、マウスポインタの表示位置と発生したマウスボタンイベントの種類を示す第２種マウス制御音を出力するマウス制御音出力処理を、前記制御用コンピュータに、バックグラウンド処理として実行させ、
前記第１種マウス制御音或いは前記第２種マウス制御音が入力されるのを監視し、前記第１種マウス制御音が入力された場合には、マウスポインタの表示位置を当該第１種マウス制御音が示している表示位置まで移動し、前記第２種マウス制御音が入力された場合には、マウスポインタの表示位置を当該第２種マウス制御音が示している表示位置まで移動した後に、当該第２種マウス制御音が示している種類のマウスボタンイベントを発生させるマウス制御処理を、前記被制御コンピュータに、バックグラウンド処理として実行させ、
前記制御用コンピュータが出力する各マウス制御音を前記被制御コンピュータに入力する
ことを特徴とするコンピュータ制御方法。 A computer control method for controlling a controlled computer by an operation on a control computer,
The movement of the mouse pointer and the occurrence of a plurality of mouse button events are monitored, and when the mouse pointer moves, the first type mouse control sound indicating the display position of the mouse pointer is output, and the plurality of mouse pointer events are output. If any of the above occurs, mouse control sound output processing for outputting the second type mouse control sound indicating the display position of the mouse pointer and the type of the generated mouse button event is sent to the control computer as background processing. Run as
The input of the first type mouse control sound or the second type mouse control sound is monitored, and when the first type mouse control sound is input, the display position of the mouse pointer is changed to the first type mouse control sound. When the second type mouse control sound is input after moving to the display position indicated by the control sound, the display position of the mouse pointer is moved to the display position indicated by the second type mouse control sound. , Causing the controlled computer to execute a mouse control process for generating a mouse button event of the type indicated by the second type mouse control sound as a background process,
A computer control method, wherein each mouse control sound output from the control computer is input to the controlled computer.
ことを特徴とする請求項１記載のコンピュータ制御方法。 In the mouse control sound output process, the sound of the frequency corresponding to the X coordinate value of the display position of the mouse pointer and the Y of the display position are used as the first type mouse control sound and the second type mouse control sound. The computer control method according to claim 1, wherein the process includes outputting a sound including a sound having a frequency corresponding to the coordinate value.
ことを特徴とする請求項１又は請求項２記載のコンピュータ制御方法。 The said mouse control sound output process is a process which outputs the sound containing the sound of the frequency according to the kind of generated mouse pointer as said 2nd type mouse control sound. The computer control method as described.
マウスポインタの移動と複数のマウスボタンイベントの発生とを監視して、マウスポインタが移動した場合には、マウスポインタの表示位置を示す第１種マウス制御音を出力し、前記複数のマウスポインタイベントのいずれかが発生した場合には、マウスポインタの表示位置と発生したマウスボタンイベントの種類を示す第２種マウス制御音を出力するマウス制御音出力処理を、バックグラウンド処理として実行させる
ことを特徴とするマウス制御音出力プログラム。 On the computer,
The movement of the mouse pointer and the occurrence of a plurality of mouse button events are monitored, and when the mouse pointer moves, the first type mouse control sound indicating the display position of the mouse pointer is output, and the plurality of mouse pointer events are output. When any of the above occurs, the mouse control sound output process for outputting the second type mouse control sound indicating the display position of the mouse pointer and the type of the generated mouse button event is executed as a background process. Mouse control sound output program.
マウスポインタの表示位置を示す第１種マウス制御音或いはマウスポインタの表示位置と発生したマウスボタンイベントの種類を示す第２種マウス制御音が入力されるのを監視し、前記第１種マウス制御音が入力された場合には、マウスポインタの表示位置を当該第１種マウス制御音が示している表示位置まで移動し、前記第２種マウス制御音が入力された場合には、マウスポインタの表示位置を当該第２種マウス制御音が示している表示位置まで移動した後に、当該第２種マウス制御音が示している種類のマウスボタンイベントを発生させるマウス制御処理を、バックグラウンド処理として実行させる
ことを特徴とするマウス制御プログラム。 On the computer,
The first type mouse control sound indicating the display position of the mouse pointer or the input of the second type mouse control sound indicating the type of the mouse button event and the display position of the mouse pointer is monitored. When a sound is input, the display position of the mouse pointer is moved to the display position indicated by the first type mouse control sound. When the second type mouse control sound is input, the mouse pointer is displayed. After moving the display position to the display position indicated by the second type mouse control sound, a mouse control process for generating a mouse button event of the type indicated by the second type mouse control sound is executed as a background process. A mouse control program characterized in that
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005086392A JP2006268510A (en) | 2005-03-24 | 2005-03-24 | Computer control method, mouse control sound output program, and mouse control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005086392A JP2006268510A (en) | 2005-03-24 | 2005-03-24 | Computer control method, mouse control sound output program, and mouse control program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006268510A true JP2006268510A (en) | 2006-10-05 |
Family
ID=37204402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005086392A Pending JP2006268510A (en) | 2005-03-24 | 2005-03-24 | Computer control method, mouse control sound output program, and mouse control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006268510A (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06342365A (en) * | 1990-12-26 | 1994-12-13 | Internatl Business Mach Corp <Ibm> | Method and apparatus for linear sound control |
| JPH0876919A (en) * | 1994-09-06 | 1996-03-22 | Fujitsu General Ltd | Device for informing cursor position |
| JPH08179742A (en) * | 1994-12-21 | 1996-07-12 | Matsushita Electric Ind Co Ltd | Remote cursor position transmitting device |
| JPH08212050A (en) * | 1995-01-31 | 1996-08-20 | Satoshi Mizoguchi | Menu/character selection inputting terminal equipment used with mouse for visually handicapped person |
| JPH09231049A (en) * | 1996-02-22 | 1997-09-05 | Toshiba Corp | Information processor |
-
2005
- 2005-03-24 JP JP2005086392A patent/JP2006268510A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06342365A (en) * | 1990-12-26 | 1994-12-13 | Internatl Business Mach Corp <Ibm> | Method and apparatus for linear sound control |
| JPH0876919A (en) * | 1994-09-06 | 1996-03-22 | Fujitsu General Ltd | Device for informing cursor position |
| JPH08179742A (en) * | 1994-12-21 | 1996-07-12 | Matsushita Electric Ind Co Ltd | Remote cursor position transmitting device |
| JPH08212050A (en) * | 1995-01-31 | 1996-08-20 | Satoshi Mizoguchi | Menu/character selection inputting terminal equipment used with mouse for visually handicapped person |
| JPH09231049A (en) * | 1996-02-22 | 1997-09-05 | Toshiba Corp | Information processor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7974494B2 (en) | Image control from composed composite image using HID signal conversion to source image coordinates | |
| JPH0580009B2 (en) | ||
| JPWO2009122684A1 (en) | Display system, display method, program, and recording medium | |
| JP2005100279A (en) | Image display system, image display device, image display method, storage medium, and program | |
| US20090167715A1 (en) | User interface of portable device and operating method thereof | |
| JP2007172303A (en) | Information input system | |
| TW201512968A (en) | Apparatus and method for generating an event by voice recognition | |
| CN102226884A (en) | Touch screen control system and touch screen control method | |
| CN110007749A (en) | Control input system | |
| CN107370660B (en) | Information perception method and mobile terminal | |
| JP2005208991A (en) | Position information output device and signal processing method | |
| JP2009146192A (en) | Information processor, information processing system, and information processing program | |
| JP5736005B2 (en) | Input processing device, information processing device, information processing system, input processing method, information processing method, input processing program, and information processing program | |
| KR20220045220A (en) | Icon display method and terminal | |
| JP2006268510A (en) | Computer control method, mouse control sound output program, and mouse control program | |
| Jabarin et al. | Architectures for widget-level plasticity | |
| JP6624767B1 (en) | Information processing system and information processing method | |
| JP2005208992A (en) | Position information output device and signal processing method | |
| JP2007286964A (en) | Input device and program for controlling layout of keys | |
| JP6695530B1 (en) | Information processing system and information processing method | |
| CN103365427A (en) | Method and electronic device for adjusting input content | |
| WO2016043008A1 (en) | Information processing device, and control method and control program therefor | |
| JP5347271B2 (en) | Terminal device and program | |
| CN110012089B (en) | Control method and electronic equipment | |
| JP6652307B2 (en) | Keyboard input suppression calculator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080317 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080317 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100209 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100608 |