JP2010231290A - Input device and method using head motion - Google Patents
Input device and method using head motion Download PDFInfo
- Publication number
- JP2010231290A JP2010231290A JP2009075366A JP2009075366A JP2010231290A JP 2010231290 A JP2010231290 A JP 2010231290A JP 2009075366 A JP2009075366 A JP 2009075366A JP 2009075366 A JP2009075366 A JP 2009075366A JP 2010231290 A JP2010231290 A JP 2010231290A
- Authority
- JP
- Japan
- Prior art keywords
- head
- movement
- input
- operator
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
Abstract
Description
本発明は、操作者が直観的インターフェースで機器を操作することができる頭部運動による入力装置及び方法に関する。 The present invention relates to an input device and method using head movement that allows an operator to operate a device with an intuitive interface.
現在、ロボット工学、介護福祉機器開発、エンターテインメントの分野では、機器の操作は、各種スイッチ、ジョイスティックやマウス等の手による入力操作が主である。一方、介護福祉機器の開発分野では、手足が不自由な操作者のために身体の他の部分で操作できる機器が望まれている。 Currently, in the fields of robot engineering, care and welfare equipment development, and entertainment, equipment operations are mainly input operations using various switches, joysticks, mice, and the like. On the other hand, in the field of development of care and welfare devices, devices that can be operated in other parts of the body are desired for operators who are handicapped.
介護福祉機器の分野において、手足による入力の代わりに手足以外の部分の操作により各種機器のスイッチ等の入力を行う装置が工夫されている。頭部運動による操作を利用する例に、頭部運動を非接触で検出し電気電子機器の入力情報を得る装置（特許文献１参照）がある。特許文献１には、手足の不自由な障害者が頭部でスイッチを操作するために、光学式センサによって頭部運動を検出する技術が示されている。 In the field of care and welfare equipment, a device that performs input of switches and the like of various devices by operating parts other than limbs instead of limb input has been devised. An example of using an operation based on head movement is an apparatus that detects head movement without contact and obtains input information of an electric / electronic device (see Patent Document 1). Patent Document 1 discloses a technique for detecting head movement by an optical sensor so that a handicapped handicapped person operates a switch with his / her head.
また、手足の運動による入力ではなく、頭部の機能の一部である眼の動きを用いた視線入力などのインターフェースに関する技術が知られている。 In addition, there is known a technique related to an interface such as line-of-sight input using eye movement, which is a part of the function of the head, instead of input by limb movement.
ロボットや無線操縦機器などの産業・娯楽機器や、電動車椅子や電子文字盤などの福祉機器を直観的なインターフェースで操作することが望まれている。しかしながら、これらの目的で研究開発された新たな各種入力装置はそれぞれ独自の入力方式や入力装置が必要であり、各種入力装置をそれぞれ購入しなければならず、またそれぞれの操作を習得するのに時間がかかるという問題がある。 It is desired to operate industrial / amusement devices such as robots and radio control devices, and welfare devices such as electric wheelchairs and electronic dials with an intuitive interface. However, each new input device researched and developed for these purposes requires its own input method and input device, and each input device must be purchased and used to learn each operation. There is a problem that it takes time.
また、介護機器の操作では頭部運動に着目したものがあるが（特許文献１参照）、光学センサを環境に配置したりする必要があり、操作者の位置が限定されるなどの利用制約が大きいという問題がある。 In addition, there is a care device operation that focuses on head movement (see Patent Document 1), but it is necessary to place an optical sensor in the environment, and there are usage restrictions such as limiting the position of the operator. There is a problem of being big.
特に、頭部の運動により入力操作をすることを実際に行おうとすると、操作者の頭部を上下や左右や前後に運動するヘッドトラック時に、操作対象となる機器装置は顔の正面方向からずれているために、対象が見えなくなったり、補償的な眼球運動が必要になったりしてしまうという問題がある。操作対象の機器が眼前にある機器でなく、遠隔地の機器を操作する場合には、モニター表示装置を見る必要があることが考えられるが、同様に視野から外れてしまう問題がある。 In particular, when an input operation is actually performed by the movement of the head, the device to be operated is displaced from the front direction of the face when the head track moves the head of the operator up and down, left and right, and back and forth. Therefore, there is a problem that the object becomes invisible or compensatory eye movement becomes necessary. When the device to be operated is not a device in front of the eyes but a remote device, it may be necessary to look at the monitor display device.
なお、頭部にめがねのようにディスプレイを装着するヘッドマウントディスプレイの技術が知られている。また、例えば、特許文献２には、仮想空間技術に使用されるヘッドマウントディスプレイにおいて、頭部の動きを検出するセンサ（ジャイロ、地磁気センサ、加速度センサ）からの入力信号をもとにヘッドマウントディスプレイに提示する映像範囲を変える技術が記載されている。このヘッドマウントディスプレイには、頭部の動きを検出するセンサが設けられているが、これは単に映像範囲を変えるためであり、実機の操作や制御を行うことはできないという欠点がある。また同様に仮想空間内の機器の操作や制御を行うこともできないという欠点がある。 In addition, the technique of the head mounted display which mounts a display like spectacles on a head is known. Further, for example, in Patent Document 2, a head mounted display used in a virtual space technology is a head mounted display based on an input signal from a sensor (gyroscope, geomagnetic sensor, acceleration sensor) that detects head movement. Describes a technique for changing the video range to be presented. This head-mounted display is provided with a sensor for detecting the movement of the head, but this is merely for changing the video range, and there is a drawback that it is impossible to operate or control the actual device. Similarly, there is a drawback in that it is impossible to operate or control devices in the virtual space.
本発明は、これらの問題を解決しようとするものであり、ロボットや無線操縦機器などの産業・娯楽機器や、電動車椅子や電子文字盤などの福祉機器を直観的なインターフェースで操作することを目的とするものである。また、本発明は、操作者にとって操作が簡単で、操作を容易に習得できる装置を実現することを目的とするものである。また、操作入力のためのセンサの環境への配置が不要であることを目的とするものである。また、操作者が操作しながら操作結果を確認して、直観的なインターフェースで操作できることを目的とするものである。 The present invention is intended to solve these problems, and it is an object of the present invention to operate industrial / entertainment devices such as robots and radio control devices, and welfare devices such as electric wheelchairs and electronic dials with an intuitive interface. It is what. Another object of the present invention is to realize an apparatus that is easy for an operator and can be easily learned. Another object of the present invention is to eliminate the need to place sensors for operation input in the environment. It is another object of the present invention to allow an operator to check an operation result while operating and to operate with an intuitive interface.
本発明は、前記目的を達成するために、以下の特徴を有するものである。 The present invention has the following features in order to achieve the above object.
本発明の装置は、操作者の頭部に装着され、頭部のジョイスティック的な運動を検出する検出手段と、前記検出手段の出力に基づき機器を操作する制御装置と、操作結果をリアルタイムで表示する表示装置とを備え、前記表示装置により操作者にフィードバックすることを特徴とする装置である。また、本発明の装置において、前記検出手段は、頭部の前後及び左右の４方向、又は前後左右を含む８方向、又は前後左右を含む３６０度方向の運動を検出することを特徴とする。また、本発明の装置において、前記検出手段は、頭部の傾斜を検出することを特徴とする。また、本発明の装置において、前記検出手段は、加速度センサ、地磁気センサ及びジャイロセンサのうちのいずれか１つ以上のセンサからなることを特徴とする。また、本発明の装置において、前記機器は、ロボット、福祉機器、可動カメラ、可動ビデオカメラ、その他無線操縦機器のうちのいずれか１つ以上の実機であることを特徴とする。また、本発明の装置において、前記機器は、仮想空間内のアバター（自分の分身となるキャラクター）、仮想空間内の移動体（例えば電動車椅子シミュレータ）、電子文字盤、電子メッセージボードのうちのいずれか１つ以上の機器であることを特徴とする。また、本発明の装置において、前記表示装置は、操作者の視野内に配置された表示装置であることを特徴とする。また、本発明の装置において、前記表示装置は、ヘッドマウントディスプレイであることを特徴とする。また、本発明の装置の検出手段は、頭部の額、頭頂、髪等に装着又は固着されるものであることを特徴とする。また、本発明の装置は、さらに、ジョイスティック的動作以外の頭部の身体動作を検出する第２の検出手段、例えば、筋電スイッチ、呼気スイッチ、プッシュスイッチ、音声スイッチのような第２の検出手段を備え、第２の検出手段の出力に基づきマウスボタンのように外部機器を操作することを特徴とする。 The apparatus of the present invention is mounted on the operator's head and detects a joystick-like movement of the head, a control device that operates the device based on the output of the detection means, and displays the operation result in real time And a display device that feeds back to an operator through the display device. In the apparatus of the present invention, the detection means detects motion in four directions including front and rear and left and right of the head, eight directions including front and rear and left and right, or 360 degrees including front and rear and right and left. In the apparatus of the present invention, the detection means detects a tilt of the head. In the apparatus according to the present invention, the detection means includes one or more of an acceleration sensor, a geomagnetic sensor, and a gyro sensor. In the apparatus of the present invention, the device may be any one or more of a robot, a welfare device, a movable camera, a movable video camera, and other wireless control devices. In the apparatus of the present invention, the device may be any one of an avatar (a character to be used as a substitute) in a virtual space, a moving body (for example, an electric wheelchair simulator) in the virtual space, an electronic dial, and an electronic message board. Or one or more devices. In the device of the present invention, the display device is a display device arranged in an operator's field of view. In the device of the present invention, the display device is a head mounted display. Further, the detection means of the apparatus of the present invention is characterized in that it is attached or fixed to the forehead, the top of the head, the hair or the like. The device of the present invention further includes second detection means for detecting body movements of the head other than the joystick movement, for example, second detection such as a myoelectric switch, an expiration switch, a push switch, and a voice switch. And an external device is operated like a mouse button based on the output of the second detection means.
これらの特徴により、本発明の装置は、操作者の頭部のジョイスティック的な運動を検出するので、操作者が直観的な操作することができ、かつ、操作結果や操作状況をリアルタイムで表示するので、操作者のフィードバック制御が可能となる。ここで、操作者のフィードバック制御が可能とは、通常人間の手足の運動を考えると、眼によるフィードバック制御により手や足を動かして目的の動作を遂行しているが、この状態に近い状態を実現していることをいう。 Due to these features, the device of the present invention detects the joystick movement of the operator's head, so that the operator can intuitively operate, and displays the operation result and operation status in real time. Therefore, the operator's feedback control is possible. Here, the operator's feedback control is possible, usually considering the movement of the human limbs, the target movement is performed by moving the hands and feet by the feedback control with the eyes. It means that it has been realized.
本発明の方法は、操作者の頭部のジョイスティック的な運動を、頭部に装着された検出手段により検出して、該検出された信号に基づき機器を操作制御すると同時に、操作結果を操作者の視野内に配置された表示装置に表示することを特徴とする方法である。また、本発明の方法において、操作者の視野内に配置された表示装置は、ヘッドマウントディスプレイであることを特徴とする。また、前記検出手段を、頭部の額、頭頂、髪等に装着又は固着して使用するものであることを特徴とする。また、本発明の方法において、前記機器を操作制御することが、外部機器のカメラを操作制御することである場合は、前記表示装置は前記カメラの写す映像を表示することを特徴とする。また、本発明の方法において、前記機器を操作制御することが、外部機器である物体を移動することである場合は、前記表示装置は前記物体の移動状況を表示することを特徴とする。また、本発明の方法において、前記機器を操作制御することが、仮想空間内の視点の移動である場合は、前記表示装置は視点移動結果（仮想空間の景色の変化）の映像を表示することを特徴とする。また、本発明の方法において、前記機器を操作制御することが、仮想空間内のオブジェクトを移動する操作制御である場合は、表示装置は前記オブジェクトの移動結果をオブジェクト視点に立った仮想空間内の景色の移動、あるいは静止した仮想空間の俯瞰的視野からオブジェクトの位置移動として表示することを特徴とする。 According to the method of the present invention, the joystick movement of the operator's head is detected by the detection means mounted on the head, and the operation of the device is controlled based on the detected signal. Display on a display device arranged in the field of view. In the method of the present invention, the display device arranged in the visual field of the operator is a head mounted display. Further, the detecting means is used by being attached to or fixed to a forehead, a crown, hair or the like of the head. In the method of the present invention, when the operation control of the device is an operation control of a camera of an external device, the display device displays an image captured by the camera. In the method of the present invention, when the operation control of the device is to move an object that is an external device, the display device displays a movement status of the object. Further, in the method of the present invention, when the operation control of the device is movement of a viewpoint in the virtual space, the display device displays an image of the viewpoint movement result (change in scenery in the virtual space). It is characterized by. In the method of the present invention, when the operation control of the device is an operation control for moving an object in the virtual space, the display device displays the movement result of the object in the virtual space from the object viewpoint. It is displayed as a movement of scenery or a position movement of an object from a bird's-eye view of a static virtual space.
本発明によれば、ロボットや無線操縦機器などの産業・娯楽機器や、電動車椅子や電子文字盤などの福祉機器を直観的なインターフェースで操作することができる。本発明は頭部をジョイスティック的に動かす動作に着目してこれを検出するものであるので、手足を使わずに外部機器を直観的に操作できる。例えば移動体（ロボットや無線操縦機器）を操作する際、頭を前に傾ければ前進、後ろに傾ければ後進する。また、頭を左に傾ければ左回転、右に傾ければ右回転する。また、本発明によれば、操作入力のためのセンサの環境への配置が不要であり、操作者の位置の自由度が高く、小型化できる。また、本発明によれば、様々な外部機器を頭部のジョイスティック的動作という同一の操作方法で操作可能である。特に身体に障害のある人や両手を他の作業に使っている人でも使えるインターフェースである。 According to the present invention, it is possible to operate industrial / entertainment equipment such as robots and radio control equipment, and welfare equipment such as electric wheelchairs and electronic dials with an intuitive interface. Since the present invention detects this by paying attention to the operation of moving the head in a joystick manner, an external device can be operated intuitively without using limbs. For example, when operating a moving body (robot or radio control device), the head moves forward if tilted forward, and moves backward if tilted backward. If the head is tilted to the left, it rotates left, and if it tilts to the right, it rotates right. Further, according to the present invention, it is not necessary to arrange the sensor for the operation input in the environment, the degree of freedom of the position of the operator is high, and the size can be reduced. Further, according to the present invention, various external devices can be operated by the same operation method of joystick movement of the head. This interface can be used especially by people with physical disabilities and those who use both hands for other tasks.
本発明によれば、操作者が操作しながら操作結果を確認して操作することができるので操作者のフィードバック制御が可能である。それゆえ、上肢運動機能障害者や手を使えない状態の操作者にとって操作方法が簡単で、操作を容易に習得できる。表示装置としてヘッドマウントディスプレイを用いた場合は、表示される映像が視野内の見やすい位置にあるためにより直観的なインターフェースを実現することができる。また、ヘッドマウントディスプレイのような視野内に位置する表示装置を設けることにより、頭部動作が生じた時もカメラ・ＣＧ映像を眼前に補足し続けることができる。 According to the present invention, the operator can check and operate the operation result while operating, so that the operator can perform feedback control. Therefore, the operation method is simple for the upper limb motor function disabled person or the operator who cannot use the hand, and the operation can be easily learned. When a head-mounted display is used as the display device, a more intuitive interface can be realized because the displayed image is in an easily viewable position within the field of view. Further, by providing a display device located within the field of view such as a head-mounted display, it is possible to continue capturing the camera / CG image in front of the eyes even when a head movement occurs.
本発明によれば、直観的インターフェースで、インターネットやイントラネットなどを介して遠隔地の外部機器の移動操作などができる。また、直観的インターフェースで、インターネットやイントラネットなどを介して遠隔地の可動カメラの操作や外部機器の移動や操作結果のカメラ映像の取得ができる。 According to the present invention, it is possible to move an external device at a remote place via the Internet or an intranet with an intuitive interface. In addition, with an intuitive interface, it is possible to operate a movable camera at a remote location, move an external device, and obtain a camera image of the operation result via the Internet or an intranet.
本発明は、操作者が直観的インターフェースで機器を操作することができる頭部運動による入力装置及び方法である。 The present invention is an input device and method based on head movement that allows an operator to operate a device with an intuitive interface.
（第１の実施の形態）
本発明の第１の実施の形態について、図１を参照して以下説明する。図１は、頭部運動による入力装置及び方法を模式的に示す図である。
(First embodiment)
A first embodiment of the present invention will be described below with reference to FIG. FIG. 1 is a diagram schematically illustrating an input device and method using head movement.
図１では、操作者は、頭部の前頭部や額にセンサを装着している。センサは、簡易的に接着剤により肌に固着したり、装着具により装着したり、ヘッドマウントディスプレイの一部に固着したりして固定する。頭部のどこの位置であってもセンサにより操作者のジョイスティック的動作を検出できる位置に固着するとよい。操作者が、図１の操作者頭部に矢印で示すように、頭部を前後左右又は３６０度にわたり、ジョイスティック的に動かすと、センサは頭部の傾斜を検出し検出信号を出力する。図１では、首を軸にして頭を前後左右又は３６０度の方向にわたり傾ける動作を図示している。 In FIG. 1, the operator wears sensors on the forehead and forehead of the head. The sensor is simply fixed to the skin with an adhesive, mounted with a mounting tool, or fixed to a part of the head mounted display. It is advisable to fix the joystick-like movement of the operator by a sensor at any position on the head. When the operator moves the head joystickally back and forth or 360 degrees as indicated by arrows on the operator head in FIG. 1, the sensor detects the tilt of the head and outputs a detection signal. FIG. 1 illustrates an operation of tilting the head in the front / rear / right / left direction or 360 degrees with the neck as an axis.
図１のように、センサの出力信号、すなわち検出信号がコンピューターに入力されてさらに制御信号処理が実行されて、従来のジョイスティックの入力信号が入力される場合と同様に、機器を操作制御する。 As shown in FIG. 1, the output signal of the sensor, that is, the detection signal is input to the computer, the control signal processing is further executed, and the device is operated and controlled as in the case where the input signal of the conventional joystick is input.
図１において、操作者はヘッドマウントディスプレイを頭部に装着している。機器が操作されると同時に操作結果や操作状況が映像としてカメラなどにより取り込まれコンピューターで映像信号処理が実行されて、ディスプレイにリアルタイムで操作結果や操作状況が表示される。操作者は、頭をジョイスティック的に動作することで機器の操作を行い、その操作結果や操作状況が表示装置に提示されているので、当該操作結果や操作状況を操作者自身が眼で確認しながら、いわゆる操作者のフィードバック制御が可能となる。操作者にとって、直観的なインターフェースで機器を操作することができる。 In FIG. 1, the operator wears a head-mounted display on the head. At the same time that the device is operated, the operation results and operation status are captured as images by a camera or the like, and video signal processing is executed by the computer, and the operation results and operation status are displayed in real time on the display. The operator operates the device by moving his / her head joystick, and the operation results and operation status are presented on the display device. The operator confirms the operation results and operation status with his own eyes. However, so-called operator feedback control is possible. The operator can operate the device with an intuitive interface.
図１において、操作対象としてカメラ付き無線操縦機器（ラジオコントロールカー）を想定して説明する。操作者の頭部運動を検出した信号により無線操縦機器を移動操作する。無線操縦機器の天井に前向きに設置されているカメラの撮影する映像が、コンピューターを介して操作者の視野内にあるヘッドマウントディスプレイに表示されるように設定する。無線操縦機器が操作されて移動している場合、無線操縦機器のカメラの撮影する映像が逐次ヘッドマウントディスプレイに表示される。このようにリアルタイムでフィードバックすることにより、その移動の操作性を高めることができる。例えば頭部を前に傾けると無線操縦機器は前方に進み、頭部を後ろに傾けると無線操縦機器は後退し、頭部を右に傾けると無線操縦機器は右回転して右方向へ進み、頭部を左に傾けると無線操縦機器は左回転して左方向へ進むというように、操作制御する。このときリアルタイムでカメラからの映像を操作者がみることができるので直観的インターフェースで操作が可能である。 In FIG. 1, description will be made assuming a camera-equipped radio control device (radio control car) as an operation target. The wireless control device is moved by a signal that detects the head movement of the operator. It sets so that the image | video which the camera currently installed in the ceiling of the radio control apparatus faces forward is displayed on the head mounted display in an operator's visual field via a computer. When the wireless control device is operated and moved, images taken by the camera of the wireless control device are sequentially displayed on the head mounted display. Thus, by providing feedback in real time, the operability of the movement can be improved. For example, when the head is tilted forward, the radio control device moves forward, when the head is tilted backward, the radio control device moves backward, and when the head is tilted to the right, the radio control device rotates right and proceeds to the right. When the head is tilted to the left, the radio control device rotates to the left and proceeds to the left to control the operation. At this time, since the operator can view the video from the camera in real time, the operation can be performed with an intuitive interface.
図１のように、操作対象として、無線操縦機器以外に、外部機器のカメラ制御、外部機器の物体移動、仮想空間での視点移動、仮想空間での物体移動がある。操作対象が外部機器のカメラを操作制御することである場合は、表示装置はカメラの写す映像を表示する。また、操作対象が、外部機器である物体（例えばロボットアーム）を移動することである場合は、表示装置は物体（オブジェクト）の形状や位置の変化（例えばロボットアームの動き）を映像表示する。また、操作対象が、仮想空間内での視点の移動である場合は、表示装置は視点移動結果（仮想空間の景色の変化）の映像を表示する。また、操作対象が、仮想空間内の物体を移動することである場合は、表示装置は仮想空間内での該物体移動状況を映像表示する。 As shown in FIG. 1, the operation target includes camera control of an external device, object movement of the external device, viewpoint movement in the virtual space, and object movement in the virtual space, in addition to the radio control device. When the operation target is to control the operation of the camera of the external device, the display device displays an image captured by the camera. When the operation target is to move an object (for example, a robot arm) that is an external device, the display device displays a video of a change in the shape or position (for example, movement of the robot arm) of the object (object). When the operation target is movement of the viewpoint in the virtual space, the display device displays an image of the viewpoint movement result (change in the scenery of the virtual space). In addition, when the operation target is to move an object in the virtual space, the display device displays an image of the object movement state in the virtual space.
頭部のジョイスティック的な運動を検出する検出手段について、さらに説明する。 The detection means for detecting the joystick movement of the head will be further described.
ジョイスティック的に動かす頭部運動とは、図１のように首を支点として、重力方向の軸をジョイスティックの軸と対応させた運動の他にも次のようなものを指す。操作者が立っている状態、あるいは椅子やベッドで体を起こした状態で、腰などの胴体部分を支点とし、頭部を含むそれよりも上の身体部位全体を用いてジョイスティック的に動かす場合も頭部のジョイスティック的運動という。また、操作者がベッドの上で横たわっている状態、例えば仰向けに寝た状態においても、首を支点として頭部の中心を含む重力方向の軸をジョイスティックの軸と対応させたイメージでの、顔を左右に向けたり、あごを上げ下げしたりする運動も、ジョイスティック的頭部運動という。いずれの場合も傾斜センサは、ジョイスティック的運動による頭部の傾斜を検出できるかぎり、頭頂あるいは額など頭部のどの位置にあってもよい。ただし、センサは軸上の最も高い頭部位置に設置することで最大の利得を得ることができる。 The head movement that moves like a joystick refers to the following as well as the movement with the neck as a fulcrum and the axis in the direction of gravity corresponding to the axis of the joystick as shown in FIG. When the operator is standing or waking up in a chair or bed, the body part such as the waist is used as a fulcrum, and the whole body part including the head is used for joystick movement. This is called joystick movement of the head. In addition, even when the operator is lying on the bed, for example, lying on his back, the face in the image in which the axis in the gravity direction including the center of the head with the neck as the fulcrum corresponds to the axis of the joystick. Movements that point to the left and right or raise and lower the chin are also called joystick head movements. In any case, the tilt sensor may be located at any position on the head such as the top of the head or the forehead as long as the tilt of the head due to the joystick motion can be detected. However, the maximum gain can be obtained by installing the sensor at the highest head position on the shaft.
重力加速度を検出する傾斜センサを用いることで、頭部が同じ状態で傾斜し続けている限り、一定の信号を出し続けるため、安定した制御が可能である。動きを検出するジャイロセンサや加速度センサでも、動作開始からの変化を積分することで頭部の傾斜の程度を推定することは可能であるが、動きだす前の状態（初期値）を設定する別の方法が必要となる。なお直立状態で首の横振りなどを検出するためには地磁気センサが使用されることが多いが、本発明で着目する頭部の傾斜は地磁気センサでは測定できない。光学センサやカメラ撮影による画像解析などでも頭部の傾斜は測定できるが、本発明では重力加速度センサを額や頭頂など頭部のどこかに設置するだけなので、操作者は外部環境の測定装置の有無や測定範囲の制約のない状態で動かせる。操作者が立って（立位）或いは椅子等に座って（座位）ジョイスティック的動作を行う例を図３（ａ）に、操作者が寝てジョイスティック的動作を行う例を図３（ｂ）に図示する。傾斜センサを３軸方向に対応した３個の重力加速度センサからなる構成にすることによって、図３のように、同一人物が椅子に座っている状態から、仰向けに寝ている状態や体を横にしている状態に、体の位置や姿勢を変えても、制御用ＰＣでのわずかな設定作業（軸方向の変更）で外部機器等の操作を継続することが可能である。 By using a tilt sensor that detects gravitational acceleration, as long as the head continues to tilt in the same state, a constant signal is continuously output, so that stable control is possible. It is possible to estimate the degree of head tilt by integrating the change from the start of motion even with a gyro sensor or acceleration sensor that detects movement, but another state that sets the state (initial value) before starting movement A method is needed. In many cases, a geomagnetic sensor is used to detect a lateral swing of the neck in an upright state, but the inclination of the head focused in the present invention cannot be measured by the geomagnetic sensor. The inclination of the head can also be measured by image analysis using an optical sensor or camera, but in the present invention, the gravitational acceleration sensor is only installed somewhere on the head, such as the forehead or the top of the head. It can be moved without any restrictions on the presence or absence of measurement range. An example in which the operator stands (standing) or sits on a chair (sitting) and performs a joystick-like operation is shown in FIG. 3A, and an example in which the operator sleeps and performs a joystick-like operation in FIG. Illustrated. By constructing the tilt sensor from three gravitational acceleration sensors corresponding to the three axial directions, as shown in FIG. Even if the position and posture of the body are changed to the above state, the operation of the external device or the like can be continued with a slight setting work (change in the axial direction) on the control PC.
検出手段の出力に基づき機器を操作する制御装置について説明する。 A control device for operating the device based on the output of the detection means will be described.
ここで、図２は、装置の動作原理を説明するための図である。図２においてユーザーの頭部に取り付けられた傾斜センサで検出された頭部運動に関する情報は、無線あるいは有線によってデータ解析用のＰＣ上の制御プロセスのひとつ「操作指令ユニット」に送られる。このユニットでは、センサ入力の補正（ゲインの調節や極性の選択によるキャリブレーション）が行われ、センサのデータがオブジェクト（操作対象）を直感的かつリアルタイムに動かすことができるような操作指令に変換され、実際にオブジェクトに信号が送られる。この際、最適パラメーターをファイルに保存・読み出し機能を付加しておくことにより、常に同じような環境を再現することが可能である。具体的にはユーザーや使用センサの違い、操作対象のオブジェクト種類などの組み合わせごとに異なるパラメーターファイルに保存すると設定が迅速となり利便性が向上する。 Here, FIG. 2 is a diagram for explaining the operation principle of the apparatus. In FIG. 2, information on the head movement detected by the tilt sensor attached to the user's head is sent to an “operation command unit” of one of the control processes on the PC for data analysis by wireless or wired. In this unit, sensor input correction (calibration by gain adjustment and polarity selection) is performed, and sensor data is converted into operation commands that can move the object (operation target) intuitively and in real time. The signal is actually sent to the object. At this time, it is possible to always reproduce the same environment by adding a function for saving / reading optimum parameters to a file. Specifically, saving in a different parameter file for each combination of the user and sensor used, the type of object to be operated, etc. speeds up settings and improves convenience.
操作対象の機器について説明する。 The device to be operated will be described.
操作制御対象の機器としては、可動カメラ、カメラ付き移動体（ロボットや自動車型玩具など）、カメラ監視下にあるロボット（もしくは無線操縦機器など）などの実機に加え、仮想空間内のアバター（移動方向や身体動作）、電子文字盤、電子メッセージボードなどのプログラムも対象としている。ここで、頭部動作が外部機器等の直接連動していることが本発明の特徴であり、必ずしもパソコン画面上のマウスカーソル等を動かして、さらに何かを操作するという必要がない。現実に存在する外部機器であっても仮想空間内の機器であっても同様の原理で移動可能である（両者を総称して「オブジェクト」と呼ぶ）。 In addition to actual devices such as movable cameras, movable bodies with cameras (such as robots and car-type toys), and robots under camera monitoring (or radio-controlled devices), the devices subject to operation control include avatars (moving in the virtual space) (Direction and body movement), electronic dials, electronic message boards, and other programs. Here, it is a feature of the present invention that the head movement is directly linked to an external device or the like, and it is not always necessary to move the mouse cursor on the personal computer screen to further operate something. Whether it is an external device that actually exists or a device in a virtual space, it can move according to the same principle (both are collectively referred to as an “object”).
ここで、外部機器として実機が操作者の近くにある場合はシリアル接続やその他有線による制御を行う場合もあるが、遠隔地の機器はインターネット／イントラネット経由などを介して制御信号を送る。コンピューターのプログラムの場合は、そのプログラムを制御用ＰＣ上、もしくはインターネットのサーバー上で稼働させる。 Here, when an actual device is near the operator as an external device, serial connection or other wired control may be performed. However, a remote device sends a control signal via the Internet / intranet. In the case of a computer program, the program is run on a control PC or an Internet server.
オブジェクト側の「操作対象部位」に送られる操作指令にはオブジェクト全体を移動する場合やオブジェクトの一部、例えばカメラの向きを変える操作する場合などがありうる。外部環境、あるいは仮想空間でオブジェクト全体が移動する場合において、オブジェクトの視点における風景の移動や、空間全体におけるオブジェクトの俯瞰的位置の変化を撮影した画像としてユーザーにフィードバックを行う。オブジェクトの一部を変化させる場合、例えばロボットアームを動かす場合でも、外部からロボットアームを撮影した映像だけでなく、アーム先端にあるカメラからの映像を記録し、その変化をフィードバックさせることが可能である。また、電子文字盤のメニュー、あるいは仮想空間内の複数の物体のうちの一つを選び、画像的にマーキングするなどのフィードバックも可能である。これらの処理は制御プロセスの「フィードバックユニット」の働きにより、信号の変換などが行われ、リアルタイムでユーザー側の表示装置へ出力される。 The operation command sent to the “operation target part” on the object side may include moving the entire object or performing an operation to change a part of the object, for example, the direction of the camera. When the entire object moves in the external environment or the virtual space, feedback is given to the user as an image obtained by photographing the movement of the landscape at the viewpoint of the object and the change in the overhead position of the object in the entire space. When changing a part of an object, for example, when moving the robot arm, it is possible to record not only the image of the robot arm from the outside but also the image from the camera at the tip of the arm and feed back the change. is there. It is also possible to provide feedback such as a menu on the electronic dial or selecting one of a plurality of objects in the virtual space and marking the image. In these processes, the signal is converted by the action of the “feedback unit” of the control process and output to the display device on the user side in real time.
表示装置の表示についてさらに説明する。 The display on the display device will be further described.
オブジェクトの移動の結果をヘッドマウントディスプレイなどのモニター画面にリアルタイムでフィードバックすることにより、その移動の操作性を高めることができる。フィードバックする画像としては、オブジェクトを離れた位置から観察するカメラ（もしくはＣＧアングル）でとらえることもできるし、オブジェクトに取り付けたカメラの映像（もしくはオブジェクト視点のＣＧ）を提示する。実写カメラ映像や、仮想空間のＣＧ、その他プログラム画面は、汎用「フィードバックユニット」の機能によって単眼もしくは両眼ヘッドマウントディスプレイ（ＨＭＤ）に提示する。 By feeding back the result of the movement of the object to a monitor screen such as a head-mounted display in real time, the operability of the movement can be improved. As an image to be fed back, a camera (or CG angle) for observing the object from a distant position can be captured, or a video (or CG at the object viewpoint) of the camera attached to the object is presented. A live-action camera image, a virtual space CG, and other program screens are presented on a monocular or binocular head mounted display (HMD) by the function of the general-purpose “feedback unit”.
オブジェクト操作のフィードバック画像をヘッドマウントディスプレイ（ＨＭＤ）上に提示することにより、頭部を移動させても常に対象を眼前に捉えることが可能である。従来の視線の動きにより入力するような視線移動方式のインターフェースでは、不用意な眼球運動で誤作動が生じるという欠点があるのに対して、本発明では、ヘッドマウントディスプレイ画面の画像を詳しく見ることができる上に、眼球運動を行っても誤作動が生じない。使用するヘッドマウントディスプレイとしては、視野範囲を変更するための傾斜センサ内蔵タイプのものもあるが、傾斜センサが付いていないものでもよい。またヘッドマウントディスプレイのフレームに、あるいはヘッドマウントディスプレイから離れた場所にセンサを取り付けたものであってもよい。 By presenting the feedback image of the object operation on the head mounted display (HMD), it is possible to always capture the target in front of the eyes even if the head is moved. In the conventional line-of-sight interface that inputs by the movement of the line of sight, there is a disadvantage that malfunction occurs due to inadvertent eye movement, whereas in the present invention, the image of the head mounted display screen is viewed in detail. In addition, there is no malfunction even when eye movement is performed. As a head mounted display to be used, there is a type with a built-in tilt sensor for changing a visual field range, but a head mounted display without a tilt sensor may be used. Further, a sensor may be attached to the frame of the head mounted display or at a location away from the head mounted display.
ここで、実写カメラ映像の取得は制御用ＰＣに直接つながったＵＳＢカメラで行えるが、遠隔地の場合はＬＡＮ環境下で作動するネットワークカメラを利用する。 Here, a live-action camera image can be acquired by a USB camera directly connected to a control PC, but in a remote place, a network camera that operates in a LAN environment is used.
表示装置は頭部運動を行っても視野からなずれないものであればヘッドマウントディスプレイでなくても、操作結果を操作者の視野内に配置された表示装置であればよく、操作者の視野内に配置されたディスプレイやモニターなどの表示装置でよい。 Even if the display device does not deviate from the visual field even if the head movement is performed, the display device may be a display device in which the operation result is arranged in the operator's visual field, as long as it is not a head-mounted display. It may be a display device such as a display or a monitor disposed inside.
本発明の装置によって、次のような直観的操作も可能となる。立って体全体を前後に傾けたり左右に傾けたりすることは、あたかも操作者の体全体がジョイスティックの棒に相当するような運動であり、例えば、一輪車や二輪車に乗ったり、スキーやスノボーを行う際の体の操作感覚と類似であるから、操作者が直観的に前進・後進・停止・左折・右折などの操作を、直観的に行うことができる。また操作を習得することが簡単である。 The apparatus of the present invention enables the following intuitive operation. Standing and tilting the entire body back and forth and moving left and right is as if the entire body of the operator is equivalent to a joystick stick. Since it is similar to the operation feeling of the body at the time, the operator can intuitively perform operations such as forward, backward, stop, left turn, and right turn. It is easy to learn the operation.
例えば、立って体全体を前後に傾けたり左右に傾けたりすると、頭部に装着されたセンサ、例えば傾斜センサが、頭部の前後への傾斜や左右への傾斜を検出する。この検出信号に応じて、表示装置においての表示が、機器が前進や後進した映像、左折や右折した映像というように変化したり、映像視野が変化したりする。 For example, when the whole body is tilted back and forth or tilted left and right, a sensor attached to the head, for example, a tilt sensor, detects the tilt of the head back and forth and the tilt to the left and right. In response to this detection signal, the display on the display device changes such as an image of the device moving forward or backward, an image of turning left or right, or a visual field of view changing.
（第２の実施の形態）
第１の実施の形態では、カメラ付き無線操縦機器（ラジオコントロールカー）を具体例として説明したが、第２の実施の形態では、操作対象の機器として、可動カメラを用いて試作を行った例について述べる。操作者が頭部運動を行い、この頭部運動を傾斜センサにより検出した信号をコンピューターに入力した。検出信号に基づき、「操作指令ユニット」により、離れた場所の可動カメラの制御信号（操作指令）を出力して可動カメラを操作すると共に、可動カメラからの映像をコンピューターに取り込んで「フィードバックユニット」によりヘッドマウントディスプレイに表示した。このようなシステムにより、操作者の操作のフィードバックを可能にした。
(Second Embodiment)
In the first embodiment, a radio control device with a camera (radio control car) has been described as a specific example. However, in the second embodiment, a prototype is manufactured using a movable camera as a device to be operated. Is described. An operator performed a head movement, and a signal obtained by detecting the head movement with an inclination sensor was input to a computer. Based on the detection signal, the “operation command unit” outputs a control signal (operation command) for the movable camera at a remote location to operate the movable camera, and also captures the video from the movable camera to the computer and “feedback unit”. Was displayed on the head-mounted display. Such a system enables feedback of the operation of the operator.
（第３の実施の形態）
操作対象の機器として、移動ロボットを用いて試作を行った例について述べる。操作者が頭部運動を行い、この頭部運動を傾斜センサにより検出した信号をコンピューターに入力した。検出信号に基づき、「操作指令ユニット」がロボットの移動方向に関する制御信号を、無線ＬＡＮを介して出力して移動操作を行うとともに、ロボットに設けたカメラからの映像を、無線ＬＡＮを介してコンピューターに取り込んだ「フィードバックユニット」によりヘッドマウントディスプレイに表示した。このようなシステムにより、操作者の操作のフィードバックを可能にした。また、ロボットに設けたカメラからの映像の代わりに、天井に設置したカメラによって撮影したロボットの物体移動の映像を表示するようにしてもよい。さらに、制御対象としてはロボットの代わりに玩具などの移動可能な装置であってもよい。
(Third embodiment)
An example in which a mobile robot is used as an operation target device will be described. An operator performed a head movement, and a signal obtained by detecting the head movement with an inclination sensor was input to a computer. Based on the detection signal, the “operation command unit” outputs a control signal related to the moving direction of the robot via the wireless LAN to perform the moving operation, and the image from the camera provided on the robot is transmitted to the computer via the wireless LAN. It was displayed on the head mounted display by the “feedback unit” that was imported into the system. Such a system enables feedback of the operation of the operator. Moreover, you may make it display the image | video of the object movement of the robot image | photographed with the camera installed in the ceiling instead of the image | video from the camera provided in the robot. Further, the control target may be a movable device such as a toy instead of the robot.
（第４の実施の形態）
操作対象の機器として、電動車いすシミュレーターを用いて試作を行った例について述べる。電動車いすシミュレーターとは、仮想空間において電動車いすの移動の様子を再現するソフトであり、電動車いすを実際に使用する前に練習をしたり、電動車いすを制御するインターフェースを開発したりするためのものである。操作者が頭部運動を行い、この頭部運動を傾斜センサにより検出した信号をコンピューターに入力した。検出信号に基づき、「操作指令ユニット」により、電動車いすシミュレーターの制御信号を出力して電動車いすシミュレーターの移動シミュレーター操作を行うとともに、あたかも電動車いすに乗っているときのようなＣＧ映像を「フィードバックユニット」からヘッドマウントディスプレイに表示した。このようなシステムにより、操作者の操作のリアルタイムフィードバックを可能にした。ここで表示される映像は、電動車いすシミュレーターの操作者の視点の仮想空間の風景ＣＧ映像でもよいし、その代わりに、電動車椅子自体の物体移動の様子がわかる別視点の映像であってもよい。
(Fourth embodiment)
An example will be described in which a prototype was made using an electric wheelchair simulator as the device to be operated. The electric wheelchair simulator is software that reproduces the movement of an electric wheelchair in a virtual space, and is used to practice before developing an electric wheelchair and to develop an interface that controls the electric wheelchair. It is. An operator performed a head movement, and a signal obtained by detecting the head movement with an inclination sensor was input to a computer. Based on the detection signal, the “operation command unit” outputs the control signal of the electric wheelchair simulator to operate the movement simulator of the electric wheelchair simulator, and displays a CG image as if it is in the electric wheelchair “feedback unit” "On the head-mounted display. Such a system enables real-time feedback of the operation of the operator. The image displayed here may be a landscape CG image of the virtual space from the viewpoint of the operator of the electric wheelchair simulator, or alternatively, an image of another viewpoint that shows the movement of the object of the electric wheelchair itself. .
（第５の実施の形態）
操作対象の機器として、電子メッセージボードを用いて試作を行った例について述べる。電子メッセージボードは重度の運動機能や発話機能に重度の障害を持つ人々のための意思伝達支援ツールである。簡単なものでは「はい」か「いいえ」の選択を、複雑なものであれば喜怒哀楽の感情種や具体的なトイレや体のケアなど具体的なメッセージ内容を、キーボードやタッチパネルで選択することによって他者とのコミュニケーションを行うものである。メッセージが書かれたボタンなどを用いた装置もあるが、コンピューターソフトとマウスなどのポインティングデバイスで操作するものも多い。このような装置のモデルをソフト的に試作すると同時に、頭部運動によって選択肢を指し示すカーソル移動、あるいは選択肢自身の移動を行うインターフェースを構築した。選択肢としてはまとまった言葉によるメッセージだけでなく、絵や写真、あるいはメッセージとそれらの組み合わせも可能である。また、ひらがなやカタカナ、アルファベットなどの１文字１文字を選ぶ方式であってもよい。また、メッセージの入力を助けるバックスペースキー（直前の選択を取り消す）や、漢字変換操作、選択決定のボタンなどの編集操作のための選択なども頭部動作によって行うことが可能である。
(Fifth embodiment)
An example will be described in which an electronic message board was used as a device to be operated. The electronic message board is a communication support tool for people with severe disabilities in severe motor and speech functions. For simple items, select “Yes” or “No”, and for complicated items, select specific message contents such as emotions of emotions and specific toilets and body care using the keyboard and touch panel. Communicate with others. Some devices use buttons with written messages, but many are operated with computer software and a pointing device such as a mouse. A prototype of such a device model was made in software, and at the same time, an interface was constructed to move the cursor pointing to the option by moving the head, or moving the option itself. Options include not only a verbal message, but also a picture, a photo, or a message and a combination thereof. A method of selecting one character at a time, such as hiragana, katakana, or alphabet, may be used. It is also possible to make a selection for editing operations such as a backspace key (helping to cancel the previous selection), a kanji conversion operation, a selection decision button, and the like for assisting message input.
本発明では、第１から第５の各実施形態で示した複数種類の操作対象機器と、頭部運動のジョイスティック的頭部運動として例示した運動と、表示装置として例示したディスプレイを適宜組み合わせて実施することができる。 In the present invention, a plurality of types of operation target devices shown in the first to fifth embodiments, a movement exemplified as a joystick head movement of a head movement, and a display exemplified as a display device are appropriately combined. can do.
実施の形態において、頭部運動としてジョイスティック的運動のみの例を示したが、さらに、頭部運動の検出に基づいて、他の１つ又は２つ以上のスイッチ機能を追加してもよい。まぶたやほほあるいは耳などの表情筋の筋活動を、生体アンプでモニターすることによって１つの筋電スイッチとして併用することも可能である。また、左右のまばたきやほほの筋肉の収縮など左右独立して動かせる場合などは２つのスイッチとして利用することも可能である。その場合はコンピューターマウスの左右ボタンのクリック操作を行う感覚で機器を制御する機能も付加できる。このように、ジョイスティック的動作以外の頭部の身体動作の検出の例としては、まぶたやほほあるいは耳などの表情筋の筋活動を筋電スイッチ等で検出すること、顎の動きをプッシュスイッチ等で検出すること、呼気の量（空気圧）を呼気スイッチ等により検出すること、声を音声スイッチにより検出すること等がある。 In the embodiment, the example of only the joystick movement is shown as the head movement. However, one or more other switch functions may be added based on the detection of the head movement. By monitoring the muscle activity of facial muscles such as eyelids, cheeks or ears with a biological amplifier, it can also be used as a single myoelectric switch. In addition, it can be used as two switches when the left and right blinks and the contraction of the cheek muscles can be moved independently. In that case, you can add a function to control the device as if you were clicking the left and right buttons on the computer mouse. In this way, examples of detection of body movements of the head other than joystick movements include detecting muscle activity of facial muscles such as eyelids, cheeks or ears with myoelectric switches, etc., and chin movements with push switches, etc. , Detecting the amount of expiratory air (air pressure) with an expiratory switch or the like, detecting voice with a voice switch, or the like.
本発明で使用する傾斜センサとしては、近年、高精度で安価、低電力のパーツとして利用が盛んな重力加速度センサが最適であるが、ジャイロセンサなど他のセンサによっても代替することは可能である。また、図３のように寝た状態において、首を横に振る方向でなく、立位と同様、首の耳の方向への傾斜を検出する方式で入力を行うためには、地磁気センサを利用することが可能である（首の縦方向の検出は重力加速度センサが利用可能）。 As a tilt sensor used in the present invention, a gravitational acceleration sensor that has been actively used as a high-precision, inexpensive, and low-power part in recent years is optimal, but it can be replaced by other sensors such as a gyro sensor. . In addition, in the state of sleeping as shown in FIG. 3, a geomagnetic sensor is used in order to input by a method of detecting the inclination of the neck toward the ear as in the standing position, not in the direction of shaking the neck. (The gravity acceleration sensor can be used to detect the longitudinal direction of the neck).
なお、上記実施の形態等で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。 In addition, the example shown by the said embodiment etc. was described in order to make invention easy to understand, and is not limited to this form.
本発明の頭部運動による直観的インターフェースを実現する装置及び方法によれば、重度身体障害者の「生活の質」を向上させる福祉機器の開発、素早い操作が要求されるロボット制御システムの開発、臨場感のあるゲームの開発、仮想空間における自然な移動手段の開発に有用である。 According to the apparatus and method for realizing an intuitive interface by head movement of the present invention, development of welfare equipment that improves the "quality of life" of severely disabled persons, development of a robot control system that requires quick operation, It is useful for developing realistic games and natural moving means in virtual space.
Claims (16)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009075366A JP2010231290A (en) | 2009-03-26 | 2009-03-26 | Input device and method using head motion |
| PCT/JP2010/055323 WO2010110411A1 (en) | 2009-03-26 | 2010-03-26 | Device for input via head motions |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009075366A JP2010231290A (en) | 2009-03-26 | 2009-03-26 | Input device and method using head motion |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010231290A true JP2010231290A (en) | 2010-10-14 |
Family
ID=42781101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009075366A Pending JP2010231290A (en) | 2009-03-26 | 2009-03-26 | Input device and method using head motion |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2010231290A (en) |
| WO (1) | WO2010110411A1 (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102348068A (en) * | 2011-08-03 | 2012-02-08 | 东北大学 | Head gesture control-based following remote visual system |
| JP2012221021A (en) * | 2011-04-05 | 2012-11-12 | Nintendo Co Ltd | Information processing program, information processing system and information processing method |
| WO2013136902A1 (en) * | 2012-03-16 | 2013-09-19 | 学校法人立命館 | Floating/flying mobile body and floating/flying mobile system using same |
| JP2015049695A (en) * | 2013-08-30 | 2015-03-16 | Kddi株式会社 | Glasses type display device, display control device, display system and computer program |
| JP2015170257A (en) * | 2014-03-10 | 2015-09-28 | 富士通株式会社 | Input method, program and input device |
| US9298255B2 (en) | 2011-11-28 | 2016-03-29 | Seiko Epson Corporation | Transmissive display apparatus and operation input method |
| JP2016181302A (en) * | 2016-07-13 | 2016-10-13 | 株式会社コロプラ | Computer program and computer system for controlling object operation in immersive virtual space |
| KR101673927B1 (en) * | 2015-09-25 | 2016-11-08 | 숭실대학교산학협력단 | Remote control system and method for vehicle |
| US9829997B2 (en) | 2013-02-22 | 2017-11-28 | Sony Corporation | Head-mounted display system, head-mounted display, and head-mounted display control program |
| JP2017224003A (en) * | 2016-05-17 | 2017-12-21 | 株式会社コロプラ | Method, program, and storage medium for providing virtual space |
| JP2018530016A (en) * | 2016-08-30 | 2018-10-11 | 北京小米移動軟件有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ． | VR control method, apparatus, electronic device, program, and recording medium |
| JP6434667B1 (en) * | 2018-04-19 | 2018-12-05 | 株式会社 ディー・エヌ・エー | Program, system, and method for providing virtual space |
| JP2019061707A (en) * | 2011-02-11 | 2019-04-18 | 得鋒 黄 | Control method for human-computer interaction and application thereof |
| JP2019106009A (en) * | 2017-12-12 | 2019-06-27 | 東芝ライフスタイル株式会社 | Autonomous travel body and autonomous travel body system |
| WO2020017448A1 (en) * | 2018-07-20 | 2020-01-23 | 国立研究開発法人産業技術総合研究所 | Input apparatus using biopotential |
| JP2020074065A (en) * | 2019-09-09 | 2020-05-14 | 株式会社コナミデジタルエンタテインメント | Program and image display system |
| JP2020513636A (en) * | 2016-12-14 | 2020-05-14 | シーアン キスフューチャー ネットワーク テクノロジー カンパニーリミテッドＸｉ’Ａｎ Ｋｉｓｓｆｕｔｕｒｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ | VR motion control method, multi-dimensional motion platform and thrust universal joint bearing |
| US10718948B2 (en) | 2017-10-31 | 2020-07-21 | Seiko Epson Corporation | Head-mounted display apparatus, display control method, and computer program |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102013221858A1 (en) * | 2013-10-28 | 2015-04-30 | Bayerische Motoren Werke Aktiengesellschaft | Assigning a head-mounted display to a seat in a vehicle |
| JP6344084B2 (en) * | 2014-06-20 | 2018-06-20 | オムロン株式会社 | Worker terminal for robot operation |
| US9746984B2 (en) * | 2014-08-19 | 2017-08-29 | Sony Interactive Entertainment Inc. | Systems and methods for providing feedback to a user while interacting with content |
| CN105828021A (en) * | 2015-01-05 | 2016-08-03 | 沈阳新松机器人自动化股份有限公司 | Specialized robot image acquisition control method and system based on augmented reality technology |
| CN105093985B (en) * | 2015-07-22 | 2018-08-14 | 深圳多新哆技术有限责任公司 | A kind of control sensor powering method |
| US10037626B2 (en) * | 2016-06-30 | 2018-07-31 | Microsoft Technology Licensing, Llc | Interaction with virtual objects based on determined restrictions |
| CN106239511A (en) * | 2016-08-26 | 2016-12-21 | 广州小瓦智能科技有限公司 | A kind of robot based on head movement moves control mode |
| CN108511263B (en) * | 2018-01-18 | 2023-12-19 | 深圳艾尼莫科技有限公司 | Blowing switch |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05241123A (en) * | 1992-02-28 | 1993-09-21 | Fujita Corp | Method and device for synthesizing image information |
| JP2001067179A (en) * | 1999-08-27 | 2001-03-16 | Nec Corp | Pointing device and computer system using the same |
-
2009
- 2009-03-26 JP JP2009075366A patent/JP2010231290A/en active Pending
-
2010
- 2010-03-26 WO PCT/JP2010/055323 patent/WO2010110411A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05241123A (en) * | 1992-02-28 | 1993-09-21 | Fujita Corp | Method and device for synthesizing image information |
| JP2001067179A (en) * | 1999-08-27 | 2001-03-16 | Nec Corp | Pointing device and computer system using the same |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019061707A (en) * | 2011-02-11 | 2019-04-18 | 得鋒 黄 | Control method for human-computer interaction and application thereof |
| JP2012221021A (en) * | 2011-04-05 | 2012-11-12 | Nintendo Co Ltd | Information processing program, information processing system and information processing method |
| CN102348068B (en) * | 2011-08-03 | 2014-11-26 | 东北大学 | Head gesture control-based following remote visual system |
| CN102348068A (en) * | 2011-08-03 | 2012-02-08 | 东北大学 | Head gesture control-based following remote visual system |
| US9298255B2 (en) | 2011-11-28 | 2016-03-29 | Seiko Epson Corporation | Transmissive display apparatus and operation input method |
| US9436275B2 (en) | 2011-11-28 | 2016-09-06 | Seiko Epson Corporation | Transmissive display apparatus and operation input method |
| WO2013136902A1 (en) * | 2012-03-16 | 2013-09-19 | 学校法人立命館 | Floating/flying mobile body and floating/flying mobile system using same |
| JP2013193510A (en) * | 2012-03-16 | 2013-09-30 | Ritsumeikan | Floating mobile body and floating mobile body system using floating mobile body |
| US9308986B2 (en) | 2012-03-16 | 2016-04-12 | The Ritsumeikan Trust | Floating mobile object and floating mobile system using the same |
| US9829997B2 (en) | 2013-02-22 | 2017-11-28 | Sony Corporation | Head-mounted display system, head-mounted display, and head-mounted display control program |
| JP2015049695A (en) * | 2013-08-30 | 2015-03-16 | Kddi株式会社 | Glasses type display device, display control device, display system and computer program |
| JP2015170257A (en) * | 2014-03-10 | 2015-09-28 | 富士通株式会社 | Input method, program and input device |
| KR101673927B1 (en) * | 2015-09-25 | 2016-11-08 | 숭실대학교산학협력단 | Remote control system and method for vehicle |
| JP2017224003A (en) * | 2016-05-17 | 2017-12-21 | 株式会社コロプラ | Method, program, and storage medium for providing virtual space |
| JP2016181302A (en) * | 2016-07-13 | 2016-10-13 | 株式会社コロプラ | Computer program and computer system for controlling object operation in immersive virtual space |
| JP2018530016A (en) * | 2016-08-30 | 2018-10-11 | 北京小米移動軟件有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ． | VR control method, apparatus, electronic device, program, and recording medium |
| JP2020513636A (en) * | 2016-12-14 | 2020-05-14 | シーアン キスフューチャー ネットワーク テクノロジー カンパニーリミテッドＸｉ’Ａｎ Ｋｉｓｓｆｕｔｕｒｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ | VR motion control method, multi-dimensional motion platform and thrust universal joint bearing |
| US10718948B2 (en) | 2017-10-31 | 2020-07-21 | Seiko Epson Corporation | Head-mounted display apparatus, display control method, and computer program |
| JP2019106009A (en) * | 2017-12-12 | 2019-06-27 | 東芝ライフスタイル株式会社 | Autonomous travel body and autonomous travel body system |
| JP6434667B1 (en) * | 2018-04-19 | 2018-12-05 | 株式会社 ディー・エヌ・エー | Program, system, and method for providing virtual space |
| JP2019191690A (en) * | 2018-04-19 | 2019-10-31 | 株式会社 ディー・エヌ・エー | Program, system, and method for providing virtual space |
| WO2020017448A1 (en) * | 2018-07-20 | 2020-01-23 | 国立研究開発法人産業技術総合研究所 | Input apparatus using biopotential |
| JPWO2020017448A1 (en) * | 2018-07-20 | 2021-06-24 | 国立研究開発法人産業技術総合研究所 | Input device, input method and input system |
| US11493994B2 (en) | 2018-07-20 | 2022-11-08 | National Institute Of Advanced Industrial Science And Technology | Input device using bioelectric potential |
| JP2020074065A (en) * | 2019-09-09 | 2020-05-14 | 株式会社コナミデジタルエンタテインメント | Program and image display system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2010110411A1 (en) | 2010-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2010110411A1 (en) | Device for input via head motions | |
| JP2022184958A (en) | animation production system | |
| JP2023116432A (en) | animation production system | |
| JP6964302B2 (en) | Animation production method | |
| JP2022025463A (en) | Animation creation system | |
| WO2021059360A1 (en) | Animation production system | |
| JP2022025465A (en) | Animation creation system | |
| JP2020101902A (en) | Method for providing virtual space having prescribed content | |
| JP2019219702A (en) | Method for controlling virtual camera in virtual space | |
| JP7115699B2 (en) | animation production system | |
| JP7218872B2 (en) | animation production system | |
| JP7115697B2 (en) | animation production system | |
| JP6955725B2 (en) | Animation production system | |
| JP7115696B2 (en) | animation production system | |
| JP7218874B6 (en) | Animation production system | |
| WO2021059356A1 (en) | Animation production system | |
| JP2020149397A (en) | Method of controlling communication between characters in virtual space | |
| JP2021192178A (en) | Device, control method, and program | |
| JPWO2021059358A1 (en) | Animation production system | |
| JP2020149400A (en) | Method of controlling communication between characters in virtual space | |
| JP2019133677A (en) | Method of controlling character in virtual space | |
| JP2019133673A (en) | Method of controlling character in virtual space | |
| JP2019133672A (en) | Method of controlling character in virtual space | |
| JP2019133675A (en) | Method of controlling character in virtual space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100907 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101108 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110607 |