JP2005297168A - Remote control robot - Google Patents

Remote control robot Download PDF

Info

Publication number
JP2005297168A
JP2005297168A JP2004121002A JP2004121002A JP2005297168A JP 2005297168 A JP2005297168 A JP 2005297168A JP 2004121002 A JP2004121002 A JP 2004121002A JP 2004121002 A JP2004121002 A JP 2004121002A JP 2005297168 A JP2005297168 A JP 2005297168A
Authority
JP
Japan
Prior art keywords
camera
distance
interval
robot
right cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004121002A
Other languages
Japanese (ja)
Inventor
Mamoru Ogasawara
護 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fujinon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujinon Corp filed Critical Fujinon Corp
Priority to JP2004121002A priority Critical patent/JP2005297168A/en
Publication of JP2005297168A publication Critical patent/JP2005297168A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To allow an operator to easily grasp a perspective feeling, by providing an excellent three-dimensional feeling, even when a distance up to an object and zoom power of a camera are changed. <P>SOLUTION: A pair of left and right cameras 25R and 25L for stereoscopic vision, are arranged in a body camera part 13 playing a role of eyes of a remote control robot. A camera interval control mechanism (such as 27A to 28) is arranged for variably adjusting an interval between these left-right cameras 25R and 25L, and controls so that a camera interval becomes large as this distance becomes distant on the basis of distance information up to the object provided by a distance measuring means. Thus, a remote operator can observe a three-dimensional picture having an excellent perspective feeling by HMD. The camera interval can also be controlled so as to become large as the power set by a zoom mechanism becomes high. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は遠隔操作ロボット、特に遠隔操作にて移動制御される生活支援用、介護用等のロボットであって、ロボットの目の役割をするカメラ部の構成に関する。   The present invention relates to a remote control robot, and more particularly to a configuration of a camera unit that is a life support robot, a nursing care robot, and the like that is moved and controlled by remote control, and that serves as the eyes of the robot.

近年では、産業用ロボットの他に、生活支援用、介護用、災害・救助活動用等のために、車や搬送体で移動できるロボットや二足歩行するロボット等の開発が進められており、この種のロボットは、複数本の指（フィンガー）を設けた手（ハンド）及びアーム（腕）を持ち、例えば手でコップ等の物を掴む、ベッドに寝ている介護利用者を起き上がらせる、障害物を排除する、両方の手で物を持つ等の各種の作業を行うことが可能である。   In recent years, in addition to industrial robots, robots that can be moved by car or carrier, robots that walk on two legs, etc. are being developed for life support, nursing care, disaster / rescue activities, etc. This type of robot has a hand (hand) provided with a plurality of fingers (finger) and an arm (arm), for example, grabs a cup or the like with a hand, and raises a care user sleeping on a bed, It is possible to perform various operations such as removing obstacles and holding objects with both hands.

また、ロボット本体には、目の役割をさせるため、移動（進行）しようとする方向や作業する部分を撮影するカメラ部が設けられており、遠隔操作するロボットでは、このカメラ部で撮影された映像が遠隔地の表示部に表示されている。従って、操作者はこの表示部の映像により現況を確認しながら、次の操作を行うことができる。そして、従来では、下記の特許文献１に示されるように、２台の左右の立体カメラで撮影した画像を２つのＣＲＴへ表示し、専用眼鏡で立体像を観察することが行われている。
特許第３００００６８号公報 特開２００３−３０５６７６号公報 In addition, the robot body is provided with a camera unit that captures the direction of movement (advance) and the part to be worked in order to play the role of the eyes. Video is displayed on the remote display. Therefore, the operator can perform the next operation while confirming the current state from the image on the display unit. Conventionally, as shown in Patent Document 1 below, images taken by two left and right stereoscopic cameras are displayed on two CRTs, and a stereoscopic image is observed with dedicated glasses.
Japanese Patent No. 3000068 JP 2003-305676 A

しかしながら、従来の遠隔操作ロボットでは、立体的に観察するための左右のカメラが固定状態となっており、ロボットを対象物へ向けて移動させる場合や、アーム或いは指と作業対象物との距離が変わる場合には、ロボットから物体までの距離よって映像の立体感（遠近感）が変化し、操作者において遠近感が掴み辛くなるという問題があった。また、上記の左右のカメラに、像の拡大倍率を変えるためのズーム（変倍）機構を装備することができるが、この場合にも、その拡大倍率によって立体感が相違するという事態が生じる。更に、映像の立体感は観察する人の目や好みによって異なっており、各操作者に対応してこの立体感を変えることができれば使い勝手が向上する。   However, in a conventional remote-controlled robot, the left and right cameras for stereoscopic observation are fixed, and the distance between the arm or finger and the work object is different when the robot is moved toward the object. In the case of changing, there is a problem that the stereoscopic effect (perspective) of the image changes depending on the distance from the robot to the object, and it becomes difficult for the operator to grasp the perspective. The left and right cameras can be equipped with a zoom (magnification) mechanism for changing the magnification of the image. In this case as well, there is a situation in which the stereoscopic effect differs depending on the magnification. Furthermore, the stereoscopic effect of the video varies depending on the eyes and preferences of the observer, and if this stereoscopic effect can be changed corresponding to each operator, the usability is improved.

本発明は上記問題点に鑑みてなされたものであり、その目的は、物体までの距離やカメラのズーム倍率が変わった場合でも、良好な立体感が得られ、操作者が遠近感を掴み易くなる遠隔操作ロボットを提供することにある。   The present invention has been made in view of the above problems, and its purpose is to obtain a good stereoscopic effect even when the distance to the object or the zoom magnification of the camera changes, and it is easy for the operator to grasp the perspective. It is to provide a remote control robot.

上記目的を達成するために、請求項１に係る発明は、目の役割をするためのカメラ部と、作業用のアームとを有すると共に、遠隔操作にて移動可能に構成された遠隔操作ロボットにおいて、上記カメラ部に、立体観察用の左右１対のカメラを左右方向に並べて配置すると共に、この左右カメラの間隔を可変調整するカメラ間隔制御機構を設け、カメラ間隔制御機構でカメラ間隔を調整しながら当該左右のカメラにて撮影された画像を遠隔操作のために表示器に立体表示することを特徴とする。
請求項２の発明は、ロボットから物体までの距離を計測する測距手段を設け、上記カメラ間隔制御機構は、上記測距手段で得られた距離情報に基づき、上記ロボットから物体までの距離が遠い程、上記左右カメラの間隔が大きくなるように制御したことを特徴とする。
請求項３の発明は、上記左右カメラのそれぞれに、像拡大倍率を制御するズーム機構を設け、上記カメラ間隔制御機構は、上記ズーム機構によって設定された倍率が高い程、上記左右カメラの間隔が大きくなるように制御したことを特徴とする。 In order to achieve the above object, an invention according to claim 1 is a remote control robot having a camera unit for serving as an eye and a working arm and configured to be movable by remote control. The camera unit is provided with a pair of left and right cameras for stereoscopic observation arranged side by side in the left-right direction, and a camera interval control mechanism that variably adjusts the interval between the left and right cameras. The camera interval control mechanism adjusts the camera interval. However, the image captured by the left and right cameras is stereoscopically displayed on a display unit for remote control.
According to a second aspect of the present invention, there is provided distance measuring means for measuring a distance from the robot to the object, and the camera interval control mechanism determines the distance from the robot to the object based on the distance information obtained by the distance measuring means. Control is performed such that the distance between the left and right cameras increases with increasing distance.
According to a third aspect of the present invention, each of the left and right cameras is provided with a zoom mechanism for controlling an image enlargement magnification, and the camera interval control mechanism increases the interval between the left and right cameras as the magnification set by the zoom mechanism increases. It is characterized by being controlled to increase.

上記の構成によれば、一般的なカメラで用いられる測距手段、例えば撮影映像の処理により距離を判定するパッシブ方式オートフォーカス機構で、移動前方の物体或いは作業対象物までの距離が検出されると、カメラ間隔制御機構では、測定距離に応じて左右カメラの間隔が可変調整され、このカメラ間隔は撮影距離が遠くなる程、大きくなる。この結果、良好な立体感を持った立体映像が表示器へ表示されることになる。   According to the above configuration, the distance to the object in front of the moving object or the work object is detected by the distance measuring means used in a general camera, for example, the passive autofocus mechanism that determines the distance by processing the captured image. In the camera interval control mechanism, the interval between the left and right cameras is variably adjusted according to the measurement distance, and the camera interval increases as the shooting distance increases. As a result, a stereoscopic image having a good stereoscopic effect is displayed on the display.

また、ズーム機構を設けている場合は、ズーム倍率に応じて左右カメラの間隔が可変調整され、このカメラ間隔は倍率が高くなる程、大きくなる。これによって、ズーム倍率を変えた場合でも、操作者は良好な遠近感を持った立体映像を観察できることになる。
更に、上記の物体までの距離や倍率に応じた自動的なカメラ間隔の制御とは別に、操作者は遠隔操作で自由にカメラ間隔を変えることができ、操作者の目や好みに適した立体感の映像を得ることが可能になる。 When a zoom mechanism is provided, the distance between the left and right cameras is variably adjusted according to the zoom magnification, and the camera distance increases as the magnification increases. As a result, even when the zoom magnification is changed, the operator can observe a stereoscopic image having a good perspective.
Furthermore, apart from the automatic camera interval control according to the distance to the object and the magnification described above, the operator can freely change the camera interval by remote control, and the 3D suitable for the eyes and preferences of the operator. It is possible to obtain a feeling image.

本発明の遠隔操作ロボットによれば、移動前方の物体或いは作業対象物までの距離が変わった場合でも、良好な立体感を持った映像を得ることができ、遠隔操作者は遠近感のある観察し易い映像で物体を認識することができるという利点がある。   According to the remote operation robot of the present invention, even when the distance to the object in front of the movement or the work object changes, it is possible to obtain an image with a good stereoscopic effect, and the remote operator can observe with a sense of perspective. There is an advantage that an object can be recognized by a video that is easy to perform.

図１には、実施例に係る遠隔操作ロボットのカメラ部の構成が示され、図２には実施例のカメラ間隔制御機構の構成、図３には遠隔操作ロボットの全体の構成、図４には遠隔操作地の構成、図５には図３のロボットの手の部分を拡大したものが示されている。図３のように、このロボットは、車輪を備えた搬送部１０、この搬送部１０に回転（軸）部を介して接続された第１胴体部１１Ａ、この第１胴体部１１Ａに回転部を介して接続された第２胴体部１１Ｂ、この第２胴体部１１Ｂに回転部を介して接続された頭部１２及び上記搬送部１０に回転部Ｚｄ，Ｚｅを介して接続された左右のアーム（腕）１４Ｒ，１４Ｌを備えている。   FIG. 1 shows the configuration of the camera unit of the remote control robot according to the embodiment, FIG. 2 shows the configuration of the camera interval control mechanism of the embodiment, FIG. 3 shows the overall configuration of the remote control robot, and FIG. Fig. 5 shows the configuration of the remote control area, and Fig. 5 shows an enlarged view of the robot hand shown in Fig. 3. As shown in FIG. 3, the robot includes a transport unit 10 having wheels, a first body unit 11A connected to the transport unit 10 via a rotation (shaft) unit, and a rotation unit on the first body unit 11A. A second body part 11B connected via a rotating part, a head 12 connected to the second body part 11B via a rotating part, and left and right arms connected to the transport part 10 via rotating parts Zd and Ze ( Arm) 14R, 14L.

上記頭部１２には、左右の目に対応した１対の本体カメラ部１３が設けられており（図示してないが、このカメラ部には透明カバーが被せられる）、この本体カメラ部１３では、詳細な構成は後述するが、ロボットが進む方向や手の先の立体像（動画）が撮影される。この本体カメラ部１３で得られた映像は、ロボットが自走する際の情報になると共に、遠隔操作者のために遠隔地の表示器に表示され、遠隔操作情報として利用される。   The head 12 is provided with a pair of main camera units 13 corresponding to the left and right eyes (not shown, but the camera unit is covered with a transparent cover). Although a detailed configuration will be described later, a stereoscopic image (moving image) of the direction in which the robot advances and the tip of the hand is taken. The image obtained by the main camera unit 13 becomes information when the robot self-runs, and is displayed on a remote display for the remote operator and used as remote operation information.

例えば、この表示器としては、図４に示されるように、操作者が目の部分に装着するヘッドマウントディスプレイ（ＨＭＤ）７０、パソコン７１のモニタ或いはその他のステレオビューアーを利用することができる。上記ＨＭＤは、例えば眼鏡型部材の中に小型液晶ディスプレイを内蔵したもので、装着した操作者の目の前に映像を映し出すことができるものである。また、上記の各回転軸部では例えば下側部材（基部）に対して上側部材がモータで回転するように構成されており、これによって、ロボットの姿勢制御や頭部１２の高さ位置の調整、即ちカメラ部１３の上下（チルト）方向の移動等が行われる。   For example, as this display, as shown in FIG. 4, a head mounted display (HMD) 70, a monitor of a personal computer 71, or other stereo viewer that an operator wears on the eyes can be used. The HMD has a small liquid crystal display built in, for example, a spectacle-type member, and can project an image in front of the operator wearing it. In addition, in each of the rotating shafts, for example, the upper member is configured to rotate by a motor with respect to the lower member (base), thereby controlling the posture of the robot and adjusting the height position of the head 12. That is, the movement of the camera unit 13 in the vertical (tilt) direction is performed.

図３に示されるように、上記左右のアーム１４Ｒ，１４Ｌは、それぞれに上腕部１４ａとこれに回転部Ｚｆを介して接続された前腕部１４ｂとを有し、例えばこの２つの上腕部１４ａは回転部Ｚｄで上下方向に回動すると共に、回転部Ｚｅで左右方向に回動し、上記２つの前腕部１４ｂは回転部Ｚｆで上下方向に回動する。更に、図５に示されるように、この前腕部１４ｂには内部の回転軸部を介して先端部１４ｃが接続され、この前腕先端部１４ｃに、３本の指１８［ｉ（内側），ｃ（中央），ｏ（外側）］を持つ手１６Ｒ，１６Ｌが取り付けられており、この手１６Ｒ，１６Ｌは、前腕部１４ｂの先で所定の角度を回動（内転又は外転）するように構成される。そして、上記の手１６Ｒ，１６Ｌの基部（手の平の部分）１６ａに、３本の指１８（ｉ，ｃ，ｏ）を保護するためのプロテクタ２０の両端が回転自在に取り付けられる。   As shown in FIG. 3, the left and right arms 14R, 14L each have an upper arm portion 14a and a forearm portion 14b connected to the upper arm portion 14a via a rotating portion Zf. For example, the two upper arm portions 14a are The rotating portion Zd rotates in the vertical direction, and the rotating portion Ze rotates in the horizontal direction. The two forearm portions 14b rotate in the vertical direction by the rotating portion Zf. Further, as shown in FIG. 5, a tip portion 14c is connected to the forearm portion 14b via an internal rotation shaft portion, and three fingers 18 [i (inside), c are connected to the forearm tip portion 14c. (Center), o (outside)] are attached, and the hands 16R, 16L rotate (inward or outward) a predetermined angle at the tip of the forearm portion 14b. Composed. Then, both ends of the protector 20 for protecting the three fingers 18 (i, c, o) are rotatably attached to the base portions (palm portions) 16a of the hands 16R, 16L.

上記プロテクタ２０は、手１６Ｒ，１６Ｌの基部１６ａと同じ程度の縦幅で、この基部１６ａと３本の指１８（ｉ，ｃ，ｏ）の側面外周を囲むように楕円弧状（Ｕ字状）とされ、この後端側開放端２０Ｅが回転軸部で基部１６ａに取り付けられる。即ち、上記基部１６ａの内部からプロテクタ２０の開放端２０Ｅには、図示していないが、モータ及びギヤ列を有しプロテクタ２０を回動させるためのプロテクタ回動機構が設けられており、これによって、図５に示されるように、プロテクタ２０が起き上がるように回動し、指１８（ｉ，ｃ，ｏ）の外周を覆う保護位置（図３の１６Ｒ）から指１８の物体に対する通常動作が可能になる状態の退避位置（図３の１６Ｌ、図５）まで回動する。   The protector 20 has an elliptical arc shape (U shape) so as to surround the outer periphery of the side surface of the base portion 16a and the three fingers 18 (i, c, o) with the same vertical width as the base portion 16a of the hands 16R and 16L. The rear end side open end 20E is attached to the base portion 16a by the rotating shaft portion. That is, from the inside of the base portion 16a, an open end 20E of the protector 20 is provided with a protector rotating mechanism (not shown) having a motor and a gear train for rotating the protector 20. As shown in FIG. 5, the protector 20 is rotated so as to be raised, and the normal operation with respect to the object of the finger 18 is possible from the protection position (16R in FIG. 3) covering the outer periphery of the finger 18 (i, c, o). Rotate to the retracted position (16L in FIG. 3, FIG. 5).

また、この指用プロテクタ２０の先端部には、指先を撮影するためのアームカメラ部２２が回転可能に配置される。即ち、このアームカメラ部２２には、ＣＣＤやＣＭＯＳセンサからなり対物光学系を備えた撮像部２２ａと照明ランプ２２ｂが配置されており、このアームカメラ部２２は、プロテクタ２０の回動に応じて逆回転し、このプロテクタ２０の回転量と同量又はそれ以上の回転によって常に指先の所定方向を向くように制御される。   Further, an arm camera unit 22 for photographing the fingertip is rotatably disposed at the tip of the finger protector 20. That is, the arm camera unit 22 is provided with an imaging unit 22a made up of a CCD or CMOS sensor and having an objective optical system and an illumination lamp 22b. The arm camera unit 22 responds to the rotation of the protector 20. It rotates in the reverse direction, and is controlled so as to always face the predetermined direction of the fingertip by the rotation equal to or greater than the rotation amount of the protector 20.

図１及び図２に示されるように、上記本体のカメラ部１３では、立体映像を得るために右側カメラ２５Ｒと左側カメラ２５Ｌが配置され、これら左右のカメラ２５Ｒ，２５Ｌには、これらを独立して左右（パン）方向へ回転させるためのモータ２６Ａ，２６Ｂが設けられる。また、右側カメラ２５Ｒ側に配置されたラック２７Ａと左側カメラ２５Ｌに配置されたラック２７Ｂの両方に噛合するピニオン２８と、このピニオン２８を駆動する間隔可変用モータ２９とが取り付けられ、この間隔可変用モータ２９を回転制御することにより、左右のカメラ２５Ａ，２５Ｂの間隔ｄを同時に可変調整することができる。なお、上記ラック２７Ａ，２７Ｂのそれぞれに対し独立したピニオン２８を設け、かつこの２つのピニオン２８を駆動する間隔可変用モータ２９を２つ設け、この２つの間隔可変用モータ２９で上記ラック２７Ａ，２７Ｂを個別に動かして、左右のカメラ２５Ｒ，２５Ｌの間隔を変えるようにしてもよい。   As shown in FIGS. 1 and 2, in the camera unit 13 of the main body, a right camera 25R and a left camera 25L are arranged to obtain a stereoscopic image, and these left and right cameras 25R and 25L are independent of each other. Motors 26A and 26B are provided for rotating in the left / right (pan) direction. Further, a pinion 28 that meshes with both the rack 27A disposed on the right camera 25R side and the rack 27B disposed on the left camera 25L, and an interval variable motor 29 that drives the pinion 28 are attached. By controlling the rotation of the motor 29, the distance d between the left and right cameras 25A and 25B can be variably adjusted at the same time. In addition, an independent pinion 28 is provided for each of the racks 27A and 27B, and two interval variable motors 29 for driving the two pinions 28 are provided. The two interval variable motors 29 use the racks 27A and 27B. The distance between the left and right cameras 25R and 25L may be changed by individually moving 27B.

更に、上記左右のカメラ２５Ｒ，２５Ｌは、ＣＣＤやＣＭＯＳセンサ等の撮像素子と対物光学系部材を配置した構成とされ、映像における合焦状態を検出してピント合せをするパッシブ方式のオートフォーカス機構（アクティブ方式のものでもよい）と、光学的に像拡大するズーム機構が設けられる。なお、このロボットには、その本体の所定部位又はカメラ２５Ｒ，２５Ｌから物体までの距離（撮影距離）を測定するために、一般に用いられる各種の測距装置を配置してもよい。   Further, the left and right cameras 25R and 25L have a configuration in which an imaging element such as a CCD or CMOS sensor and an objective optical system member are arranged, and a passive autofocus mechanism that detects a focus state in an image and focuses the image. (An active system may be used) and a zoom mechanism for optically enlarging the image is provided. The robot may be provided with various distance measuring devices that are generally used for measuring a predetermined part of the main body or the distance (imaging distance) from the cameras 25R and 25L to the object.

実施例は以上の構成からなり、ロボットは図４のパソコン７１の遠隔操作等によって移動制御され、また介護や生活支援のためにアーム１４Ｒ，１４Ｌを用いた各種の作業が行われるが、この際には、本体カメラ部１３の左右のカメラ２５Ｒ，２５Ｌにて進行方向の物体或いは手の先の作業対象物が撮影される。この左右のカメラ２５Ｒ，２５Ｌで得られた映像信号は、遠隔地のＨＭＤ７０の左右の表示部へ送られ、このＨＭＤ７０によって操作者は立体映像を観察することができる。このとき、左右のカメラ２５Ｒ，２５Ｌでは、例えばパッシブ方式のオートフォーカスが行われており、このオートフォーカス制御で得られた物体（被写体）までの距離情報（他の測距手段で得られた情報でもよい）によって左右のカメラ２５Ｒ，２５Ｌの間隔ｄが調整される。   The embodiment is configured as described above, and the robot is moved and controlled by remote operation of the personal computer 71 in FIG. 4 and various operations using the arms 14R and 14L are performed for nursing care and life support. In this case, the left and right cameras 25R and 25L of the main body camera unit 13 photograph the object in the traveling direction or the work object at the tip of the hand. The video signals obtained by the left and right cameras 25R and 25L are sent to the left and right display units of the HMD 70 at a remote location, and the operator can observe a stereoscopic video by the HMD 70. At this time, the left and right cameras 25R and 25L perform, for example, passive autofocus, and distance information to the object (subject) obtained by this autofocus control (information obtained by other distance measuring means). The distance d between the left and right cameras 25R and 25L is adjusted.

図６（Ａ）には、物体までの距離（撮影距離）とカメラ間隔の関係が示されており、図示されるように、上記左右カメラ２５Ｒ，２５Ｌの間隔ｄは、物体までの距離が遠くなるに従って大きくなるように（逆にいうと、距離が近くなるに従って小さくなるように）設定される。これによれば、図７に示されるように、例えば前方の物体Ｂに対しロボット（カメラ２５Ｒ，２５Ｌ）が距離Ｘ１にあってもＸ２にあっても、左右のカメラ２５Ｒ，２５Ｌは一定の角度αで物体を撮影することができ、常に一定で良好な立体感（遠近感）を維持することが可能となる。そして、このカメラ間隔ｄは、操作者がパソコン７１の操作等で自由に変えることができ、各操作者が立体視し易い状態に設定し直すことができる。 FIG. 6A shows the relationship between the distance to the object (shooting distance) and the camera interval. As shown in the figure, the distance d between the left and right cameras 25R and 25L is far from the object. It is set to become larger as it goes (in other words, to become smaller as the distance gets closer). According to this, as shown in FIG. 7, for example in front of the object B with respect to the robot (camera 25R, 25L) even in X 2 if there is a distance X 1, right and left cameras 25R, 25L is constant The object can be photographed at the angle α, and a constant and good stereoscopic effect (perspective) can be maintained. The camera interval d can be freely changed by the operator by operating the personal computer 71 or the like, and can be reset to a state in which each operator can easily view stereoscopically.

また、この左右のカメラ２５Ｒ，２５Ｌは、上述のようにそれ自体をモータ１６ａ，２６ｂの制御にて回転することができ、このカメラ自体のパン回転によっても、例えば図７の鎖線１００で示すように、本体の直進方向から互いに内側へ向くようにセットして、立体感（遠近感）が変えられるようになっている。   Further, the left and right cameras 25R and 25L can be rotated by the control of the motors 16a and 26b as described above, and also by the pan rotation of the cameras themselves, for example, as indicated by a chain line 100 in FIG. In addition, the three-dimensional effect (perspective) can be changed by setting the main body so as to face each other from the straight direction of the main body.

図６（Ｂ）には、ズーム倍率とカメラ間隔の関係が示されており、実施例ではズーム操作が行われた場合にも、その倍率に応じてカメラ間隔ｄが可変制御される。即ち、上記カメラ２５Ｒ，２５Ｌには、ズーム操作により像を光学的に拡大するズーム機構が取り付けられており、このズーム操作が行われたとき、図６（Ｂ）に示されるように、その倍率を高くする程、上記左右カメラ２５Ｒ，２５Ｌの間隔ｄが大きくなるように調整される。従って、ズーム倍率を変えた場合でも、良好な立体感（遠近感）を持った立体映像を得ることが可能となる。   FIG. 6B shows the relationship between the zoom magnification and the camera interval. In the embodiment, even when a zoom operation is performed, the camera interval d is variably controlled according to the magnification. That is, the cameras 25R and 25L are provided with a zoom mechanism for optically enlarging an image by a zoom operation, and when this zoom operation is performed, as shown in FIG. The distance d between the left and right cameras 25R and 25L is adjusted so as to increase. Therefore, even when the zoom magnification is changed, it is possible to obtain a stereoscopic image having a good stereoscopic effect (perspective).

更に、実施例のロボットでは、上述のように指用プロテクタ２０が設けられており、図３の右手１６Ｒで示されるように、このプロテクタ２０を指１８（ｉ，ｃ，ｏ）と並ぶ保護位置へ配置すれば、これら指１８を保護しながら手１６Ｒ全体の強度を高くすることができ、例えば人を起き上がらせる、重い物を動かす等の負荷のかかる作業を容易に行うことが可能となる。   Furthermore, the robot of the embodiment is provided with the finger protector 20 as described above, and as shown by the right hand 16R in FIG. 3, the protector 20 is aligned with the finger 18 (i, c, o). If it is arranged, the strength of the entire hand 16R can be increased while protecting these fingers 18, and for example, it is possible to easily perform a burdensome operation such as raising a person or moving a heavy object.

一方、この指用プロテクタ２０は、指１８の作業が可能となる退避位置まで移動し、この指用プロテクタ２０の先端部に設けられたアームカメラ部２２で指先の映像を撮影することができる。即ち、このアームカメラ部２２はプロテクタ２０の回転角と同一かそれ以上の角度を回転することにより、常に指先の一定の方向を向いて撮影が行われる。そして、この指先の映像は、パソコンモニタ７１等に表示されることになり、遠隔操作者はこのパソコンモニタ７１の映像を見ながら、細かい作業等を行うことができる。   On the other hand, the finger protector 20 moves to a retracted position where the finger 18 can work, and an image of the fingertip can be taken by the arm camera unit 22 provided at the tip of the finger protector 20. That is, the arm camera unit 22 rotates at an angle equal to or greater than the rotation angle of the protector 20 so that shooting is always performed with a fingertip in a certain direction. Then, the image of the fingertip is displayed on the personal computer monitor 71 and the like, and the remote operator can perform fine work while viewing the video on the personal computer monitor 71.

上記実施例では、測距手段で得られた距離情報や遠隔操作者の操作に基づいてカメラ間隔ｄを変化させるようにしたが、例えば作業によって異なる長さのアーム（又はマニピュレータ）を取り付けて使用する場合は、このアームの長さ情報に応じて、或いはアームの曲げ動作情報に応じて（左右カメラと作業対象物との距離に応じて）カメラ間隔ｄを変えるようにしてもよい。   In the above embodiment, the camera interval d is changed based on the distance information obtained by the distance measuring means and the operation of the remote operator. For example, an arm (or manipulator) having a different length is attached depending on the work. In this case, the camera interval d may be changed according to the arm length information or according to the arm bending motion information (according to the distance between the left and right cameras and the work object).

本発明の実施例に係る遠隔操作ロボットの目として配置された本体カメラ部の構成を示す図である。It is a figure which shows the structure of the main body camera part arrange | positioned as an eye of the remote control robot which concerns on the Example of this invention. 図１の本体カメラ部の駆動部材の構成を示す図である。It is a figure which shows the structure of the drive member of the main body camera part of FIG. 実施例の遠隔操作ロボットの全体構成を示す斜視図である。It is a perspective view which shows the whole structure of the remote control robot of an Example. 実施例の遠隔操作に関する構成を示す図である。It is a figure which shows the structure regarding the remote operation of an Example. 実施例の指用プロテクタを退避位置まで回動させたときの手の構成を示す斜視図である。It is a perspective view which shows the structure of a hand when rotating the protector for fingers of an Example to a retracted position. 実施例で設定されるカメラ間隔と物体までの距離との関係を示すグラフ図［図（Ａ）］、及びカメラ間隔とズーム倍率との関係を示すグラフ図［図（Ｂ）］である。FIG. 2 is a graph [FIG. (A)] showing a relationship between a camera interval and a distance to an object set in an embodiment, and a graph [FIG. (B)] showing a relationship between a camera interval and a zoom magnification. 実施例において物体までの距離が変わった場合の左右カメラの間隔を示す説明図である。It is explanatory drawing which shows the space | interval of the left-right camera when the distance to an object changes in an Example.

符号の説明Explanation of symbols

１０…搬送部、 １３…本体カメラ部、
１４Ｒ，１４Ｌ…左右のアーム（腕）、
１６Ｒ，１６Ｌ…左右の手、 １８…指、
２０…指用プロテクタ、 ２２…アームカメラ部、
２５Ｒ…右側カメラ、 ２５Ｌ…左側カメラ、
２６Ａ，２６Ｂ，２９…モータ、
２７Ａ，２７Ｂ…ラック、 ２８…ピニオン、
７０…ＨＭＤ（ヘッドマウントディスプレイ）、
７１…パソコン。 10 ... conveyance unit, 13 ... main body camera unit,
14R, 14L ... Left and right arms (arms),
16R, 16L ... left and right hands, 18 ... fingers,
20 ... protector for fingers, 22 ... arm camera part,
25R ... right camera, 25L ... left camera,
26A, 26B, 29 ... motor,
27A, 27B ... rack, 28 ... pinion,
70 ... HMD (head mounted display),
71 ... A personal computer.

Claims (3)

目の役割をするためのカメラ部と、作業用のアームとを有すると共に、遠隔操作にて移動可能に構成された遠隔操作ロボットにおいて、
上記カメラ部に、立体観察用の左右１対のカメラを左右方向に並べて配置すると共に、この左右カメラの間隔を可変調整するカメラ間隔制御機構を設け、
このカメラ間隔制御機構でカメラ間隔を調整しながら当該左右のカメラにて撮影された画像を遠隔操作のために表示器に立体表示することを特徴とする遠隔操作ロボット。 In a remote operation robot having a camera unit for working as an eye and a working arm and configured to be movable by remote operation,
In the camera unit, a pair of left and right cameras for stereoscopic observation are arranged side by side in the left-right direction, and a camera interval control mechanism for variably adjusting the interval between the left and right cameras is provided.
A remote operation robot characterized in that images captured by the left and right cameras are stereoscopically displayed on a display unit for remote operation while adjusting the camera interval with this camera interval control mechanism. ロボットから物体までの距離を計測する測距手段を設け、
上記カメラ間隔制御機構は、上記測距手段で得られた距離情報に基づき、上記ロボットから物体までの距離が遠い程、上記左右カメラの間隔が大きくなるように制御したことを特徴とする上記請求項１記載の遠隔操作ロボット。 Provide a distance measuring means to measure the distance from the robot to the object,
The said camera space | interval control mechanism controlled so that the space | interval of the said left and right cameras became large, so that the distance from the said robot to an object was far based on the distance information obtained by the said ranging means. Item 12. The remote control robot according to item 1. 上記左右カメラのそれぞれに、像拡大倍率を制御するズーム機構を設け、
上記カメラ間隔制御機構は、上記ズーム機構によって設定された倍率が高い程、上記左右カメラの間隔が大きくなるように制御したことを特徴とする上記請求項１記載の遠隔操作ロボット。 Each of the left and right cameras is provided with a zoom mechanism that controls the image magnification.
The remote control robot according to claim 1, wherein the camera interval control mechanism is controlled such that the higher the magnification set by the zoom mechanism is, the larger the interval between the left and right cameras is.
JP2004121002A 2004-04-16 2004-04-16 Remote control robot Pending JP2005297168A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004121002A JP2005297168A (en) 2004-04-16 2004-04-16 Remote control robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004121002A JP2005297168A (en) 2004-04-16 2004-04-16 Remote control robot

Publications (1)

Publication Number Publication Date
JP2005297168A true JP2005297168A (en) 2005-10-27

Family

ID=35329330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004121002A Pending JP2005297168A (en) 2004-04-16 2004-04-16 Remote control robot

Country Status (1)

Country Link
JP (1) JP2005297168A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100903786B1 (en) * 2009-03-16 2009-06-19 국방과학연구소 Stereo sensing device for auto-mobile apparatus, auto-mobile apparatus having stereo sensing function, and image processing method of stereo sensing device
JP2010541513A (en) * 2007-10-08 2010-12-24 ステレオピア カンパニー リミテッド One-source multi-use (OSMU) type stereo camera and method for producing stereo image content thereof
KR101088364B1 (en) * 2010-02-24 2011-12-02 연세대학교 산학협력단 Apparatus and methods for capturing 3D images with dolly-effect zoom capability
KR20120098192A (en) * 2011-02-28 2012-09-05 삼성테크윈 주식회사 Moving robot and method for controlling the same
JP2013038640A (en) * 2011-08-09 2013-02-21 Nikon Corp Imaging apparatus and program
WO2014077046A1 (en) * 2012-11-13 2014-05-22 ソニー株式会社 Image display device and image display method, mobile body device, image display system, and computer program
CN105179894A (en) * 2015-05-15 2015-12-23 浙江工业大学 Binocular vision cradle head
CN107147883A (en) * 2017-06-09 2017-09-08 中国科学院心理研究所 A kind of remote shooting system based on the dynamic control of head
CN111522299A (en) * 2019-02-05 2020-08-11 发那科株式会社 Machine control device
JP2020126460A (en) * 2019-02-05 2020-08-20 ファナック株式会社 Machine controller

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010541513A (en) * 2007-10-08 2010-12-24 ステレオピア カンパニー リミテッド One-source multi-use (OSMU) type stereo camera and method for producing stereo image content thereof
KR100903786B1 (en) * 2009-03-16 2009-06-19 국방과학연구소 Stereo sensing device for auto-mobile apparatus, auto-mobile apparatus having stereo sensing function, and image processing method of stereo sensing device
KR101088364B1 (en) * 2010-02-24 2011-12-02 연세대학교 산학협력단 Apparatus and methods for capturing 3D images with dolly-effect zoom capability
KR20120098192A (en) * 2011-02-28 2012-09-05 삼성테크윈 주식회사 Moving robot and method for controlling the same
KR101706222B1 (en) * 2011-02-28 2017-02-14 한화테크윈 주식회사 Moving robot
JP2013038640A (en) * 2011-08-09 2013-02-21 Nikon Corp Imaging apparatus and program
EP2922049A4 (en) * 2012-11-13 2016-07-13 Sony Corp Image display device and image display method, mobile body device, image display system, and computer program
CN104781873A (en) * 2012-11-13 2015-07-15 索尼公司 Image display device and image display method, mobile body device, image display system, and computer program
JPWO2014077046A1 (en) * 2012-11-13 2017-01-05 ソニー株式会社 Image display device and image display method, mobile device, image display system, and computer program
WO2014077046A1 (en) * 2012-11-13 2014-05-22 ソニー株式会社 Image display device and image display method, mobile body device, image display system, and computer program
CN104781873B (en) * 2012-11-13 2017-06-06 索尼公司 Image display device, method for displaying image, mobile device, image display system
US10108018B2 (en) 2012-11-13 2018-10-23 Sony Corporation Image display apparatus for displaying an image captured by a mobile apparatus
CN105179894A (en) * 2015-05-15 2015-12-23 浙江工业大学 Binocular vision cradle head
CN107147883A (en) * 2017-06-09 2017-09-08 中国科学院心理研究所 A kind of remote shooting system based on the dynamic control of head
CN111522299A (en) * 2019-02-05 2020-08-11 发那科株式会社 Machine control device
JP2020126461A (en) * 2019-02-05 2020-08-20 ファナック株式会社 Machine controller
JP2020126460A (en) * 2019-02-05 2020-08-20 ファナック株式会社 Machine controller
CN111522299B (en) * 2019-02-05 2023-10-27 发那科株式会社 mechanical control device

Similar Documents

Publication Publication Date Title
CN103323948B (en) Head-mounted display
JP6339239B2 (en) Head-mounted display device and video display system
WO2016017245A1 (en) Information processing device, information processing method, and image display system
JP6939778B2 (en) Control devices, control methods and surgical systems
EP3709066B1 (en) Observation device, observation unit, and observation method
JP6378781B2 (en) Head-mounted display device and video display system
KR20160135271A (en) Systems and methods for control of imaging instrument orientation
JP7208972B2 (en) medical observation device
JP2011205358A (en) Head-mounted display device
CN107920729A (en) Wearable focus scales camera
US9916771B2 (en) Portable vision aid with motion pan
JP2008256946A (en) Sickness prevention device for image display device
JP2005297168A (en) Remote control robot
WO2015056466A1 (en) Display device, image generation device, display method and program
CN112353361A (en) 3D (three-dimensional) pleuroperitoneal cavity mirror system based on master-slave integrated intelligent mirror holding robot
US11833698B2 (en) Vision system for a robot
WO2019073689A1 (en) Information processing device, information processing method, and program
JP2003186411A (en) Display and its positioning method
US20210121245A1 (en) Surgeon interfaces using augmented reality
CN105828021A (en) Specialized robot image acquisition control method and system based on augmented reality technology
JP2023509038A (en) Method of operating surgical microscope and surgical microscope
US10176726B2 (en) Handheld, portable vision aid device and vision aid system
JP7356697B2 (en) Image observation system
CN111970502A (en) Humanoid binocular follow-up virtual reality system suitable for teleoperation of robot
CN113366367A (en) Electronic magnifier