WO1999067067A1 - Robot et systeme de traitement d'information - Google Patents

Robot et systeme de traitement d'information Download PDF

Info

Publication number
WO1999067067A1
WO1999067067A1 PCT/JP1999/003344 JP9903344W WO9967067A1 WO 1999067067 A1 WO1999067067 A1 WO 1999067067A1 JP 9903344 W JP9903344 W JP 9903344W WO 9967067 A1 WO9967067 A1 WO 9967067A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
robot
user
signal
predetermined
Prior art date
Application number
PCT/JP1999/003344
Other languages
English (en)
French (fr)
Inventor
Kozo Kawakita
Tadashi Otsuki
Yoshihiro Kuroki
Tetsuya Kagami
Tatsuzou Ishida
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP99926770A priority Critical patent/EP1122038A4/en
Priority to US09/719,127 priority patent/US6529802B1/en
Priority to JP2000555736A priority patent/JP4328997B2/ja
Publication of WO1999067067A1 publication Critical patent/WO1999067067A1/ja

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones

Definitions

  • the present invention relates to a robot apparatus and an information processing system, and is suitable for application to, for example, a pet-type entertainment robot.
  • Background art
  • amusement robots merely perform actions and actions that resemble dogs and cats, and cannot perform useful actions for users other than amusement, for example, for users.
  • such an apartment robot is equipped with a communication function that enables it to communicate with the outside through various information transmission paths such as telephone lines, the Internet, and communication satellite lines. If the user can visually transmit emotions and the like to the communication partner as actions and actions, or can make the Amys Men Robot perform actions that are useful to the user, It is thought that the use value of the user robot can be improved. Disclosure of the invention
  • the present invention has been made in view of the above points, and an object thereof is to propose a robot apparatus and an information processing system having high use value.
  • an operation part for generating an operation an actuator for driving the operation part, an actuator controller for controlling the actuator, and a robot apparatus
  • Communication means for receiving a signal between the communication means and another electronic device; and information detection means for detecting information from the signal received by the communication means.
  • the information control means comprises: By controlling the operation based on the detected information, a predetermined operation is generated in the operation part, so that the utility value can be improved.
  • a storage means for storing predetermined information, a storage content changing means for changing storage contents stored in the storage means, a robot device and other electronic devices.
  • Communication means for receiving a signal between the communication means, and command detection means for detecting an information update command indicating that predetermined information is to be updated from the signal received by the communication means.
  • the utility value can be improved.
  • the user himself or herself can be used. Is a sensor output receiving means for receiving sensor outputs from one or more sensors provided around the user's environment, and based on the sensor output received by the sensor output receiving means.
  • a user state recognizing means for recognizing a user's state, an operation part for generating an operation, an actuation unit for driving the operation part, an actuation unit control means for controlling the actuation unit, a robot device, and the like.
  • Telephone communication means for receiving a signal with another electronic device.
  • the communication means receives a communication signal from another electronic device, and if the telephone is not picked up within a predetermined time, the actuation control means, based on the user state recognized by the user state recognition means, The use value can be improved by generating a predetermined operation in the operation part.
  • one or more sensors provided on the user himself or around the user's environment one or more sensors provided on the user himself or around the user's environment, user state recognizing means for recognizing the state of the user based on the sensor output, Response message storage means for storing a response message corresponding to the state of the call, and response message output means for outputting a response message. If a call is not picked up within a predetermined time, the Since the message output means outputs a response message based on the state of the user recognized by the user state recognition means, the utility value can be improved.
  • an operating part for generating an operation
  • an actuating unit for driving the operating part
  • an actuating unit controlling means for controlling the actuating unit
  • a robot unit and other units other units.
  • Communication means for transmitting a signal to and from the electronic device; information input means for inputting information from outside; and information output means for outputting information to the outside.
  • a sensor means for inputting information from a user an operation part for generating an operation, an actuator for driving the operation part, and an actuator control for controlling the actuator.
  • the communication unit transmits predetermined information output from the information output unit to another electronic device, thereby improving the utility value.
  • an operating part for generating an operation an actuating unit for driving the operating part, an actuating unit controlling means for controlling the actuating unit, a robot unit and other units.
  • Signal receiving means for receiving a signal with an electronic device; electronic device operating means for operating another electronic device; and information detection for detecting predetermined information from a signal received by the signal receiving means.
  • the device operating means can improve the utility value by operating another electronic device based on the predetermined information detected by the information detecting means.
  • FIG. 1 is a perspective view showing a configuration of a robot according to the present embodiment.
  • FIG. 2 is a block diagram showing a circuit configuration of the robot in FIG.
  • FIG. 3 is a perspective view showing a mechanical configuration of a joint mechanism of the robot in FIG.
  • FIG. 4 is a block diagram showing a circuit configuration of a joint mechanism of the robot in FIG.
  • FIG. 5 is a block diagram for explaining the robot telephone function.
  • FIG. 6 is a block diagram for explaining the robot telephone function.
  • FIG. 7 is a block diagram for explaining a robot telephone function.
  • FIG. 8 is a block diagram for explaining the robot telephone function.
  • FIG. 9 is a block diagram for explaining the functions of the robot and the soft phone.
  • FIG. 10 is a block diagram for explaining the robot telephone function.
  • FIG. 11 is a block diagram for explaining the robot telephone function.
  • FIG. 12 is a schematic diagram for explaining the answering machine function.
  • FIG. 13 is a schematic diagram for explaining the answering machine function.
  • FIG. 14 is a schematic diagram used for explaining the telephone relay function.
  • FIG. 15 is a schematic diagram for explaining the remote control function.
  • FIG. 16 is a schematic diagram for explaining the remote control function.
  • FIG. 17 is a schematic diagram used for describing a security function.
  • FIG. 18 is a schematic diagram used for describing a security function.
  • FIG. 19 is a schematic diagram for explaining the automatic maintenance / purge-on-up function.
  • FIG. 20 is a schematic diagram for explaining the E-mail management function.
  • FIG. 21 is a schematic diagram used to explain the function of monitoring a care recipient.
  • FIG. 22 is a schematic diagram for explaining the dance function.
  • FIG. 23 is a schematic diagram used for describing an inter-robot communication function.
  • FIG. 24 is a schematic diagram used for explaining the inter-robot communication function.
  • Figure 25 is a block diagram showing the configuration of the face pattern learning and recognition processing unit.
  • FIG. 26 is a block diagram illustrating a configuration of the synchronization signal generation unit. BEST MODE FOR CARRYING OUT THE INVENTION
  • reference numeral 1 denotes a robot as a whole according to the present embodiment, and legs 5A to 5D comprising thighs 3A to 3D and shins 4A to 4D at the front, rear, left and right of the body 2, respectively. D is connected, the head 6 is connected to the front end of the body 2, and the tail 7 is connected to the rear end of the body 2 so as to protrude upward.
  • head 10 has a microphone 10 Detects pressure applied from the outside and contact with the outside with the image recognition unit 12 composed of a CCD (Charge Couled Device) camera and the liquid crystal display panel. And a gas and smoke sensor 15 for detecting gas leaks and fires, an infrared transmitting and receiving unit 16 for transmitting and receiving infrared signals IR1 and IR2, a wireless receiver, etc. And a sensor output receiving section 17 comprising:
  • the torso part 2 has a micro computer configuration including a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (R and Access Memory). 20; a voice processing unit 21 having a synthesized voice generation function and a voice recognition function; an image processing unit 22 having an image generation function; and an acceleration for detecting the posture and position of the robot 1. And an angular velocity sensor 23, a key input unit 24 composed of a keyboard having a plurality of keys as shown in FIG. 1 for inputting a code number of a command desired by a user, and a controller 20 comprising a telephone line, a There is a communication unit 25 for communicating with the outside via a private line, a wireless or infrared signal, or the like.
  • a battery 26 (FIG. 1) serving as a power source of the robot 1 is attached to the abdomen of the body 2.
  • the tail 7 houses the antenna 27 electrically connected to the communication unit 25 of the body 2, and the legs 5A to 5D receive the pressure received from the outside, respectively.
  • a plurality of power sensors 28 A to 28 D for detection are attached.
  • the joints of the legs 5 A to 5 D (the joints of the thighs 3 A to 3 D and the shins 4 A to 4 D), the joints of the legs 5 A to 5 D and the trunk 2,
  • a joint mechanism configured as described later is provided at a connection portion between the head 6 and the body portion 2 and a connection portion between the tail 7 and the body portion 6, respectively.
  • the microphone 10 of the head 6 collects external sounds such as words and music and sounds emitted from the user, and converts the obtained sound collection signal S1 into a sound processing unit. 2 Send to 1.
  • the voice processing unit 21 is configured to generate a word or the like collected through the microphone 10 based on the sound collection signal S1 supplied from the microphone 10 and voice information supplied from the communication unit 25 as described later. Also, it recognizes the meaning of words and the like sent from outside through a telephone line or the like, and sends the recognition result to the controller 20 and the communication unit 25 as a voice recognition signal S 2 A. Further, the voice processing unit 21 generates a synthesized voice under the control of the controller 20 and sends the synthesized voice as a voice signal S 2 B to the sub-unit 11 and the communication unit 25.
  • the image recognition unit 12 captures an image of the surroundings, and sends the obtained image signal S3 to the image processing unit 22.
  • the image processing unit 22 receives an external image captured by the image recognition unit 12 based on the imaging signal S 4 A provided from the image recognition unit 12 and image information supplied from the communication unit 25 as described later. And recognizes the contents of the image sent from the outside through a telephone line or the like, and sends the recognition result to the controller 20 as an image recognition signal S4A.
  • the image processing unit 22 performs predetermined signal processing on the image pickup signal S3 from the image recognition unit 12 under the control of the controller 20, and communicates the obtained image signal S4B. Send to unit 25.
  • the evening sensor 14 detects physical actions such as “stroke” and “slap” from the user and the pressure received when the head 6 is brought into contact with an external substance, and the detection result is referred to as a pressure detection signal S. Send to controller 20 as 5.
  • the gas and smoke sensor 15 constantly monitors the surrounding gas concentration and smoke concentration, and sends a gas and smoke detection signal S6 to the controller 20 to notify the detection of gas or smoke at a predetermined concentration or more. Send out.
  • the infrared transmission / reception unit 16 receives the infrared signal RI1 as a control signal given from the user via the infrared remote controller, and sends the reception result to the controller 20 as an infrared reception signal S7.
  • the sensor output receiver 17 can be used to control the electrical status of the room (on / off), Sensor outputs sent wirelessly from various sensors installed throughout the house to detect the user's living conditions, such as whether or not the city's tap water is being used and whether or not bath gas is being used. Receives the received result and outputs the sensor output
  • the acceleration and angular velocity sensor 23 of the body 2 detects the acceleration and angular velocity when the posture of the robot 1 changes or the robot 1 moves, and the detection result is converted into an acceleration and angular velocity detection signal S8. Send to Controller 20.
  • the key input unit 24 recognizes the contents of the command based on the code number input by the user, and sends the recognition result to the controller 20 as a key input signal S 9.
  • the communication unit 25 communicates with the outside through a telephone line, a dedicated Internet line, a wireless or infrared signal via the antenna 27, and converts the obtained image information into an image.
  • audio information such as voice and music is also sent to the audio processing unit 21, and information such as commands and text data from outside is received as the reception information signal s 10. Transmit to the controller 20.
  • the force sensors 28A to 28D of the legs 5A to 5D detect the magnitude of the force given by the user, for example, and use the controller as a force detection signal S11. Send to 20.
  • the controller 20 is composed of an audio processor 21, an image processor 22, an infrared sensor 14, a gas and smoke sensor 15, an infrared transceiver 16, a sensor output receiver 17, an acceleration and angular velocity sensor 23. , Key input section 24, communication unit 25, and voice recognition signal S2A, image recognition signal S4A, pressure detection signal S5, gas and smoke, respectively given from force sensors 28A to 28D.
  • the controller 20 determines its own action based on the determination result and a control program stored in advance in an internal memory (not shown), and drives the necessary joint mechanism based on the determination result. By doing so, actions and actions such as swinging the head 6 up and down, left and right, swinging the tail 7 back and forth, and driving each leg 5A to 5D to walk are performed.
  • the controller 20 controls the audio processing unit 21, the image processing unit 22, and / or the infrared receiving unit 16 as necessary, thereby controlling the audio from the communication partner captured via the communication unit 25.
  • the voice based on the information or the synthesized voice generated by the voice processing unit 21 can be output to the outside via the beeper 11 or can be output to the image information from the communication partner captured via the communication unit 25.
  • An image based on the image or an image generated by the image processing unit 22 is displayed on the image display unit 13, and an infrared signal IR 2 for controlling an external device is emitted to the infrared receiving unit 16.
  • the controller 20 controls the communication unit 25 as necessary, so that the audio information based on the audio signal S 2 B from the audio processing unit 21 and the image processing unit 22
  • the communication partner transmits image information based on the image signal S4B from the controller and command information generated by the controller 20 itself in response to an external operation or the like.
  • the robot 1 can perform actions and actions corresponding to the situation and the command based on the surrounding situation and the command from the user or the communication partner. .
  • the communication unit 25 is any one of communication devices such as a telephone modem, a cordless telephone handset, a mobile phone, a wireless transceiver, and an infrared signal transceiver. , And can be replaced integrally with the antenna 27.
  • a communication mode desired by the user is selected from various communication modes such as a line or an infrared signal, and communication with the outside can be performed in the communication mode.
  • each joint mechanism connecting the body 2 and each of the legs 5A to 5D has a bracket provided on the body 2 as shown in FIG. 30 A to 30 D, and as shown in Fig. 4, motor 31 A, 31 B, 31 D, 31 E, 31 G, 31 H, 31 J, 31 K, position sensor 32 A, 32 B, 32 D, 32 E, 32 G, 32 H, 32 J, 32 K and dryno 33 A, 33 B, 33 D, 33 E, 33 G, 33 H, 33 J, and 33 K as one set Two sets of factories 34 A, 34 B, 34 D, 34 E, 34 G, 34 H, It consists of 34 J and 34 K.
  • Brackets 30A to 30D of each joint mechanism are provided with corresponding upper ends of thighs 3A to 3D of legs 5A to 5D, respectively. Evening 34A, 34D, 34G, 34J mode — Bracing thighs 3A to 3D by driving evening 31A, 31D, 31G, 31J It can be driven to rotate in the directions of arrows R1 to R4 around the central axis CL1 to CL4 integrally with the 30A to 30D, and the other actuators 34B, 34E, Drive the 3 H, 34 K motors 31 B, 31 E, 31 H, 31 K to move the thighs 3 A to 3 D around the central axes CL 5 to CL 8, respectively. It can be driven to rotate in the directions of arrows R5 to R8.
  • the joint mechanisms that make up the joints of the legs 5A to 5D are the lower ends of the thighs 3A to 3D, respectively.
  • the upper ends of the shins 4A to 4D are attached to the joints 35A to 35D of the joint mechanisms, respectively, and the corresponding actuaries 34C, 34F, 3411
  • the arrow R9 By driving the 3L, 3L, 3L, 3L, 3L, 3L, 3L, 3L, 3L, 3L, 3L, 3411, the arrow R9 about the central axis CL9 to CL12. It can be driven to rotate in the directions of R12.
  • the joint mechanism for connecting the head 6 and the torso 2 includes a bracket (not shown) provided at the connecting position of the head 6 in the torso 2 and a unit 31 M, 31 N, 3 1P, position sensor 32M, 32N, 32P and driver 33M, 33N, 33P as one set 3 sets of actuators 34M, 34N, It is composed of 34P.
  • a head 6 is attached to the bracket of this joint mechanism.
  • the head 6 is centered on the central axis CL 13 by driving the motor 31 M of the first actuating section 34 M.
  • the head 6 can be swung in the direction of arrow R 13 by rotating the motor 3 1 N of the second actuator 34 N in the direction of the arrow R 1 around the central axis CL 14.
  • the head 6 can be swung in the direction of the arrow R 15 around the central axis CL 15 by driving the third actuator 34 P in four directions. It has been made possible.
  • a joint mechanism provided at the connecting position of the tail 7 in the torso part 2 includes a bracket (not shown) provided at a connecting position of the tail 7 in the torso part 2 and the tail ⁇ . It consists of a driver 3 3 Q and an actuator 3 4 Q.
  • the lower end of the tail 7 is attached to the bracket of this joint mechanism, and by driving the motor 31Q of the actuator section 34Q
  • the tail 7 can be swung in the direction of the arrow R 16 around the central axis CL 16.
  • each actuating section 34 A to 34 Q and the 33 A to 33 Q are connected to the controller 20 through the bus 36 as shown in FIG. And the modules 31 A to 31 Q and the position sensors 32 A to 32 Q corresponding to the respective drivers 33 A to 33 Q are connected.
  • the controller 31 controls the desired motor 31 A to 31 Q via the corresponding dry motors 33 A to 34 Q,
  • the rotation amounts of the motors 31 A to 31 Q detected by the position sensors 32 A to 32 Q can be recognized via the dryers 33 A to 34 Q.
  • each motor 31A to 31Q can be accurately driven to rotate by a desired angle.
  • the joint mechanism of the joints of the legs 5A to 5D (the joint of the thighs 3A to 3D and the shins 4A to 4D) and the legs 5A to 5D
  • a brake mechanism 37 is provided at each joint mechanism of the connecting portion of 5D and the body 2.
  • any thighs 3A to 3D and shins 4A to 4D of the legs 5A to 5D are used by utilizing the operation of the brake mechanism 37.
  • the operator is able to teach the relative positional relationship by using a direct teaching method.
  • the communication unit 25 can be exchanged, and communication can be performed with the outside in a communication mode desired by the user.
  • the communication unit 25 can be exchanged, and communication can be performed with the outside in a communication mode desired by the user.
  • the communication unit 25 As shown in FIG.
  • Both the robot 1 in Mr. A's house 40 and the robot 1 in Mr. B's house 41 have the cordless telephone handset as the communication unit 25.
  • Robot B on the side of Mr. B calls the phone via the phone bodies 42 and 43, respectively. A case where communication can be performed through the line 4 4 will be described.
  • the robot 1 by using another one of the same robots 1, the robot 1 has a robot telephone function that allows the users to communicate with each other by telephone and the like more realistically.
  • Mr. A operates the key input section 24 of the robot A of the Mr. A side and inputs a predetermined first code number for making a call and the phone number of Mr. B
  • the Mr. A's side The controller 20 of the robot 1 controls the communication unit 25 and calls the robot 1 of the robot B.
  • the controller 20 of the robot 1 on the side of Mr. B recognizes from the outside via the communication unit 25 that a call has been received from the outside, the controller 20 controls the sound processing unit 21 to output a sound for notifying the speaker. 1 Output from 1.
  • the controller 20 of the robot A on the side of Mr. A confirms that Mr. B operates the robot 1 of the side B and picks up the telephone, the controller 20 controls the communication unit 25.
  • the image information of the image of Mr. A being imaged by the image recognition unit 12 obtained based on the image signal S 4 B given from the image processing unit 22 to the communication unit 25 is obtained.
  • the voice information of the voice of Mr. A collected by the microphone 10 obtained based on the voice signal S 2 B given from the voice processing unit 21 to the communication unit 25 and the robot of Mr. B's side Send it to slot 1.
  • the controller 20 of the mouthbot 1 on the side of Mr. B controls the image processing unit 22 so that the image of Mr. A based on the image information transmitted through the telephone line 44 as shown in FIG. Is displayed on the image display unit 13, while controlling the audio processing unit 21 causes the voice of Mr. A based on the audio information transmitted through the telephone line 44 to be output from the speaker 11.
  • the controller 20 of the mouthbot 1 on the side of Mr. B controls the communication unit 25 so that at this time, the image processing unit 22 transmits the communication unit.
  • the image information of Mr. B's image captured by the image recognition unit 12 obtained based on the image signal S 4 B given to the nit 25 and the voice given to the communication unit 25 from the voice processing unit 21 The voice information of the voice of Mr. B collected by the microphone / mouth phone 10 obtained based on the signal S 2 B and the voice information of Mr. B's voice are transmitted to the mouth bot 1 of Mr. A's side.
  • the controller 20 of the robot 1 on the side of Mr. A controls the image processing unit 22 so that the image of Mr. B based on the image information transmitted through the telephone line 44 is displayed on the image display unit.
  • the voice processor 21 controls the voice of Mr. B based on the voice information transmitted through the telephone line 44 is output from the speaker 11. In this way, in the robot 1, the two users can communicate with each other by voice and image in a form like a videophone.
  • the controller 20 of each of the robots 1 on the side of Mr. A and the side of Mr. B communicates with the communication partner (Mr. B or Mr. A) based on the voice recognition information S 2 A given from the voice processor 21. ) Constantly monitor the voice transmitted from the telephone line 4 4.
  • the controller 20 detects words registered in advance such as “yes” and “yes, min” that mean “agree” or “haha”, the controller 20 controls the corresponding joint mechanism, for example. Swing the head 6 up and down as in 7 to perform a “nodding action”.
  • the controller 20 When the controller 20 detects words registered in advance, such as “bye-bye”, “jaane”, and “matane”, in the voice from the communication partner, it controls the corresponding joint mechanism. As a result, for example, as shown in FIG. 8, one leg 5A is picked up and shaken sideways to perform a “by-by operation”.
  • the controller 20 detects a pessimistic word such as “sad” or “sorry”, the controller 20 rejects “no” or “no”.
  • a word that expresses joy is detected, such as “doing” or “happy”
  • the head 6 is slowly lowered downward as shown in Fig. 9. ”
  • the controller 20 causes the two legs 5A and 5B on the front side of the robot 1 to spread to express "size" when detecting a word such as "so large”. When a laughter is detected, the robot 1 shakes to make it laugh.
  • the robot 1 performs an operation according to the content of the conversation based on the voice from the communication partner, thereby allowing the user to visually recognize the emotion of the communication partner. ing.
  • Mr. A operates the key input unit 25 and the robot on the communication partner (Mr. B) side.
  • Mr. B operates the key input unit 25 and the robot on the communication partner (Mr. B) side.
  • the controller 20 of the robot 1 on the side of Mr. A transmits the second code number to the controller B via the communication unit 25.
  • the controller 20 of the robot 1 on the side of Mr. B sends the supplied second code number and a table of operation patterns for each of the second code numbers stored in advance.
  • the controller 20 of the robot 1 on the side of Mr. A becomes The designated operation is performed by driving the corresponding joint mechanism based on the operation pattern table for each third code number stored in advance.
  • controller 20 of the robot 1 on the side of Mr. A transmits the third code number to the robot 1 on the side of Mr. B via the communication unit 25.
  • the controller 20 of the robot 1 on the side of Mr. B establishes the corresponding joint mechanism based on the supplied third code number and a table of operation patterns for each of the third code numbers stored in advance.
  • the specified operation is performed by driving.
  • the controller 20 on the side of Mr. A is provided from the force sensors 28 A to 28 B.
  • the pressure received based on the force detection signal S 11 is detected, and the pressure detection result is transmitted to the robot 1 on the side of Mr. B via the communication unit 25.
  • the controller 20 of the robot 1 on the side of Mr. B drives the corresponding joint mechanism based on the supplied pressure detection result, and thereby receives the pressure received by Mr. A on the corresponding leg 5A ⁇ . 5D to raise.
  • the robot 1 is capable of transmitting the user's intention, emotion, and behavior to the communication partner as the operation of the robot 1.
  • this robot 1 also has an answering machine function.
  • the controller 20 of the mouth port 1 recognizes from the outside via the communication unit 25 that a call has been received from the outside, the controller 20 controls the voice processing unit 21 as described above to notify the voice. Is output from the speaker 11. If the call is not picked up within a predetermined time thereafter, the controller 20 controls the voice processing unit 21 to generate a predetermined message (synthesized voice) for an answering machine. This is transmitted to the communication unit 25 as an audio signal S 2 B.
  • the controller 20 outputs the outputs of various sensors arranged in the house as shown in FIG. 12 obtained based on the sensor output reception signal S12 from the sensor output reception unit 17 (FIG. 2). Based on current time information and the like given from a clock (not shown), the situation of the user at that time is determined as shown in FIG. 13, for example.
  • controller 20 causes voice processing unit 21 to generate an optimal message as the above-mentioned answering machine message, and transmits this message to communication partner 25 through communication unit 25. To be sent.
  • the controller 20 stores voice information and / or image information transferred from the other party by storing them in a memory (not shown) until a predetermined time has elapsed or the call is disconnected.
  • the controller 20 when a message playback command is input by operating the key input unit 24 or the like, the controller 20 outputs sound based on the stored voice information from the speaker 11 and stores the stored image. An image based on the information is displayed on the image display unit 13.
  • the controller 20 of the robot 1 controls the audio processing unit 21 to generate predetermined music and audio, and This is communicated via the communication unit 25 to the telephone Send to hand. In this way, the robot 1 can also provide music and messages to the other party on hold.
  • this robot 1 has a telephone transfer function that routes incoming calls to a corresponding user from among multiple users (referred to as A, B, and C). It is installed.
  • the controller 20 of the robot 1 recognizes from the outside via the communication unit 25 that the call has been received from the outside, the controller 20 of the robot 1 uses, for example, a number display service of a telephone which is usually used, to make a call to the telephone partner. Detect phone number.
  • the controller 20 compares the telephone number of the other party detected in this way with a plurality of telephone numbers registered in advance in correspondence with each of A, B, and C. Based on this, it is determined who the call was to A, B and C.
  • the controller 20 controlled the voice processing unit 21 and to whom. Then, a message for inquiring about the message is generated, and this voice information is transmitted to the other party via the communication unit 25. Then, the controller 20 determines which one of A, B, and C has been reached based on the voice information given as a response from the other party, and the voice recognition signal S from the voice processing unit 21. 2 Judge based on A.
  • the controller 20 determines that the telephone call has been received, for example, Mr. A
  • the image recognition signal S 4 A provided via the image processing unit 22 at this time and the registered A Based on the face image information, Ms. A is searched while moving by controlling the joint mechanism of each leg 5A to 5D as necessary.
  • the controller 20 detects Mr. A by such a search.
  • the robot 1 is moved so as to approach Mr. A by controlling the joint mechanism of each leg 5A to 5D.
  • the controller 20 determines that the telephone call to Mr. A is a person registered in advance as a "dislike person".
  • a “sad operation” as described above with reference to FIG. 9 was performed, whereas the call partner was a person registered in advance as a “favorite person”. In this case, for example, the “happy operation” described above with reference to FIG. 11 is performed.
  • a user calls the robot 1 via an external device 50 such as an external telephone or a mobile phone, and the external device 50
  • the robot 1 is turned on / off by a switch such as a video recorder 51 or a television receiver 52 in the house. It has a remote control function that can be turned off or on / off switches 53, 54 on the wall or floor.
  • the controller 20 of the robot 1 recognizes, via the communication unit 25, that a call has been received from the external device 50, and then confirms that the fourth code number has been entered. If confirmed, the command contents are recognized based on the table of the operation contents for each of the fourth code numbers stored in advance, and a predetermined process set in advance is executed based on the recognition result.
  • the controller 20 controls the infrared transmission / reception unit 15 to transmit an infrared signal as a control signal to the electric product.
  • RI 2 is emitted, thereby turning on / off the power supply and the like of the electric product.
  • the controller 20 controls the joint mechanism of each leg 5A to 5D when a command to turn on / off the switches 53 and 54 on the wall or floor is given. Then, the robot 1 is moved to the location of the switch 53, 54 stored in advance while recognizing the surrounding situation based on the image recognition signal S4A from the image processing unit 22. .
  • the controller 20 By controlling the joint mechanism of the head 7 (FIG. 1) and pressing the evening sensor 14 disposed on the head 7 against the switch 53, the switch 53 is turned on / off. Turn off.
  • the controller 20 recognizes whether or not the touch sensor 14 has contacted the switch 53 based on the output of the touch sensor 14, thereby reliably performing the on / off operation.
  • the controller 20 controls the joint mechanism of the corresponding leg 5A to 5D to control the switch by one of the legs 5A to 5D.
  • the switch 54 is turned on / off.
  • FIG. 16 shows an example of such another work of the robot 1, in which the switch 56 of the water heater 55 arranged on the wall of the robot 1 is turned on / off. Or switch 5 8 to operate blind 5 7 automatically. By operating the shutter 1, the motor 59 can be operated to raise and lower the blind 57.
  • the laundry take-in device 60 is driven to move the laundry 62 from outside the building 63 to the building 63. It can also be taken into 3.
  • the image processing unit 22 determines that the target device did not operate properly even by the switch operation.
  • the voice processing unit 21 and the communication unit 25 are controlled to notify the user of the recognition. Generate a message and send it to the user.
  • the user can confirm whether the robot 1 has reliably performed the process specified by the user even in a remote place, or operate the robot 1 as necessary. It is also possible to investigate the cause of the error.
  • the robot 1 also has a security function to detect abnormalities.
  • the controller 20 of the robot 1 constantly monitors the presence or absence of the gas and smoke detection signal S6 supplied from the gas sensor and the smoke sensor 15 (FIG. 2).
  • the voice processing unit 21 is controlled to output a voice for notifying this from the speech force 11.
  • the controller 20 controls the communication unit 25 and the voice processing unit 21 and is registered in advance as shown in FIG. A predetermined message is sent to the user's contact information, and when a predetermined time has elapsed after that, or when a larger amount of gas or smoke is detected, the communication unit 25 and voice processing are performed. It controls part 21 and calls the police and fire departments and sends a message notifying them. Further, for example, when the answering machine mode of the security function is set to ON, the controller 20 outputs the image recognition signal S 4 A from the image processing section 22 and the voice recognition signal S 4 from the voice processing 21. 2 The status of the inside of the house is constantly monitored based on B. For example, when a person who cannot be recognized and identified (a person who has not been registered in advance) is detected, as shown in FIG. 1 is transmitted to transmit a predetermined message to the contact information of the user registered in advance and the police.
  • the controller 20 receives the gas and smoke detection signal S6 as described above, or detects a person who cannot be recognized and identified when the answering machine mode of the security function is set to ON.
  • the image information from the image processing unit 22 and the audio information from the audio processing unit 21 are sequentially stored, and thereafter, when this reproduction command is given, an image based on the stored image information is stored. Is displayed on the image display unit 13, and a sound based on the stored sound information is output from the speaker 11.
  • this robot 1 has an automatic maintenance function that automatically calls the maintenance center 60 for maintenance and automatically upgrades the version. Is also installed.
  • the controller 20 of the robot 1 periodically controls the communication unit 25 to make a call to the maintenance center 60.
  • the controller 20 communicates with the check device of the maintenance center 60 and checks various functions including the controller 20 and the like under the control of the check device. If the controller 20 detects an abnormality at any point at this time, the controller 20 checks the abnormality at the maintenance center 60. While controlling the image processing unit 22 to display a message notifying this to the image display unit 13.
  • controller 20 periodically controls the communication unit 25 to make a telephone call to the maintenance center 60. Then, the controller 20 takes in the latest program supplied from the maintenance center 60 via the communication unit 25, and replaces the program used up to that time with the internal program storage (not shown). Store in a storage medium.
  • controller 20 also fetches the latest programs and the like unilaterally distributed through a telephone line or the like from the maintenance center 60 via the communication unit 25 in the same manner as described above, and fetches these as described above. And store it in the storage medium for program storage.
  • the robot 1 also has an E-mai1 management function for managing the E-mai1.
  • the controller 20 of the robot 1 recognizes that the e-mail has been received through the communication unit 25, the controller 20 stores the text data in an internal memory (not shown). take in.
  • the controller 20 determines who sent E_mai 1 based on the data of the destination, and based on the result of the determination, identifies the user corresponding to the telephone transfer function by the method described above in the telephone transfer function.
  • the voice processing unit 21 is controlled to control the voice processing unit 21 to output a message notifying that the email 1 has arrived from the speaker 11.
  • the robot 1 is equipped with a care-requiring person monitoring function for monitoring users who need care and monitoring of the elderly and children.
  • the controller 20 of the robot 1 performs image processing of the user's actions and situations specified in advance by other users when the care recipient monitoring function is turned on, as shown in Fig. 21. Based on the image recognition signal S 2 A from the unit 22 and the voice recognition signal S 4 A from the voice processing unit 21 and the sensor output reception signal S 12 from the sensor output reception unit 17 (FIG. 2). Monitor. Then, when the user does not move for a predetermined time or when the user does not speak, the controller 20 searches for and approaches the user as described in the above-described telephone transfer function.
  • the controller 20 controls the audio processing unit 21 to output a predetermined message sound from the speaker 11, and thereafter continuously monitors the movement of the user.
  • the voice processing unit 21 and the communication unit 25 are controlled to call a family member or a hospital or the like registered in advance to transmit a message notifying the abnormality.
  • the robot 1 dances to music picked up by the microphone 10, performs music transmitted through the telephone line 44, and so-called MIDI (Musical Instrument) that encodes music information. ument Digital Interface; It also has a dance function that dances based on signals.
  • MIDI is an international standard for interconnecting a synthesizer, a rhythm box, a sequencer, and a computer.
  • MIDI MIDI standard
  • information such as note on (pronunciation), note 'off' (silence), pitch 'vendor (continuously changing scale), and control change (various other controls) It is defined that the information is transmitted as MIDI signals with an identification number of about 1300 added per second, and almost all information that can be expressed by a human playing a musical instrument can be transmitted as MIDI signals. I have.
  • the audio processing unit 21 of the robot 1 captures the MIDI signal via the communication unit 25.
  • a synchronization signal is generated based on the extracted information.
  • the audio processing unit 21 extracts only the information of the drum part, generates a pulse at the timing based on the extracted information, based on the timing at which the drum is hit, and generates a synchronization signal. Is generated and sent to the controller 20.
  • the sound processing unit 21 receives the sound collection signal 1 given from the microphone 10. Based on the music obtained based on the music or the music transmitted through the telephone line, music characteristics such as the rhythm, pitch and strength of the music are detected, and based on the detection results, the music characteristics are detected in the same manner as described above. It generates a synchronization signal based on the music characteristics of the music and sends it to the controller 20.
  • the controller 20 operates as if the robot 1 is dancing to a rhythm or the like, as shown in FIG. Joint part of each leg 5A-5D, connection part of each leg 5A-5D and torso 2, and head 6 and torso Driving each joint mechanism of the two connecting parts.
  • the robot 1 is provided with an inter-robot communication function for performing cooperative work such as a game of one force while communicating with the robots 1.
  • the controller 20 of the robot (hereinafter, referred to as a first robot) 1 is configured to control the image signal from the image processing unit 22 when the inter-robot communication function is set to ON.
  • the position and status of another robot (hereinafter, referred to as a second robot) 1 are monitored based on S4.
  • the controller 20 of the first robot 1 wants the second robot 1 to perform a desired action or operation
  • the controller 20 issues an execution command of the operation via the communication unit 25. Send to the second robot 1.
  • the controller 20 of the second robot 1 drives the necessary joint mechanism based on the execution command given via its own communication unit 25, and executes the specified operation. I do.
  • the robots 1 can communicate with each other and control each other's robot 1 to perform a predetermined cooperative operation.
  • FIG. 24 shows a configuration example of a game system 70 in which two users can play, for example, a soccer game using such an inter-robot communication function.
  • the game system 1 has two personal convenience consoles 71 A and 7 IB, and each user uses the corresponding personal convenience consoles 71 A and 7 IB to, for example, “put the ball forward. It is possible to input an action command such as "Attack and attack” and "Attack and shoot from the right side”.
  • these personal computers 71 A and 7 IB send commands corresponding to the input commands to the Internet 72 and the communication
  • the information is transmitted to the corresponding team's robot 1 via the server 73, the telephone line 74, and the telephone bodies 75A and 75B sequentially.
  • each robot 1 of the corresponding team executes the specified contents while controlling the other robots 1 while performing communication between the robots 1 based on this command as described above.
  • this game system 70 two users can operate the robot 1 of their own team to play a soccer game.
  • the image processing unit 22 recognizes and identifies each user using, for example, a method disclosed in Japanese Patent Application Laid-Open No. 6-89344. Specifically, a face pattern learning and recognition processing unit 80 as shown in FIG. 25 is provided in the image processing unit 22 to recognize and identify a user.
  • the face pattern learning / recognition processing unit 80 converts the human face portion of the image information provided from the image recognition unit 12 into a RAM (R and om Access Memory) and an analog / digital converter.
  • the face image data I (X, y) composed of two-dimensional luminance information on the xy plane is quantized by, for example, 8 bits. Store in RAM.
  • the comparison processing unit 83 detects a function F HAX (x, y) having the maximum contribution X HAX (1 ⁇ MAX ⁇ r) based on the calculation result, and this function F MAX (x , The function F MAX (X until contribution X MAX is the maximum or the local maximum point of y), y) or the face pattern P (x, as to deform the y), the function F MAX (x, y) and The amount of deformation M (X, y), which is the difference from the face pattern P (X, y), is calculated.
  • the deformation amount M (x, y) is given to the function learning storage unit 84 and the deformation amount analysis unit 85.
  • the function learning storage unit 84 is also provided with a face pattern P (x, y).
  • the function learning storage unit 84 transforms the function F MAX (X, y) or the face pattern P (x, y) using the supplied deformation amount M (x, y), and obtains the transformed function on the xy plane.
  • the function F HAX (X, y) is updated based on Fw '(X, y) and the deformed face pattern P' (x, y).
  • the deformation amount analysis unit 85 analyzes the deformation amount M (x, y) given from the comparison processing unit 83, and shifts the face pattern P (x, y) on the screen up and down, left and right, Alternatively, a new deformation amount M tdr (x, y) is obtained by removing a component related to a difference in size due to the perspective ratio or the scale of the image recognition unit 12 (FIG. 2) from the deformation amount M (x, y). It is generated and transmitted to the personal information learning storage unit 86.
  • the personal information learning storage unit 86 stores the supplied deformation amount Mt dr (x, y) into the number given to the person (face) given by the controller 20, for example.
  • t (t 1, 2, ......, T; T is the number of faces of a person) in association with person information K (t) (for example, a plurality of deformation amounts M in a face image of the same person t).
  • K (t) for example, a plurality of deformation amounts M in a face image of the same person t.
  • the average value of tdr (x, y), Mt dr '(x, y), Mt dr "(x, y),... is stored as personal information (t) in an internal memory (not shown).
  • the operation mode of the personal information learning storage unit 86 is the learning mode.
  • the deformation amount Mt dr ( ⁇ , y) of the person t output from the deformation amount analysis unit 85 is stored as person information, and thereafter, the deformation amount M tdr (x, y) of the same person t is input.
  • the personal information ⁇ (t) is updated based on the deformation amount M tdr (, y).
  • the person information learning storage unit 86 stores the deformation amount Mt dr (x, y) given from the deformation amount analysis unit 85 and each of the values stored in advance in its internal memory. For example, each Euclidean distance with the person information K (t) is calculated, and the number t in the person information K (t) that minimizes the distance is sent to the controller 20 as a recognition result K0 ⁇
  • the controller 20 determines who the person is imaged at that time (the person Name).
  • the deformation amount analysis unit 85 analyzes the deformation amount M (X, y), and the face included in the deformation amount M (x, y) is analyzed.
  • the translation component, the rotation component, and the scaling component of the pattern P (X, y) are removed and stored in the person information learning storage unit 86 based on the new deformation amount Mt dr (x,). Since the standard pattern is updated, a high recognition rate can be obtained.
  • a synchronization signal generation unit 90 as shown in FIG. 26 is provided in the audio processing unit 21.
  • the synchronization signal generation section 90 inputs an external MIDI signal S 20 given via the communication unit 25 to the MIDI signal processing section 91.
  • the MIDI signal processing section 91 extracts predetermined music features such as rhythm, pitch and sound intensity from the supplied MIDI signal S20, and generates a synchronization signal S21 based on the extracted music features. Is generated and output to the controller 20.
  • the synchronization signal generation section 90 inputs the sound collection signal S1 provided from the microphone 10 and the music information provided from the communication unit 25 to the non-MDI signal processing section 91.
  • the non-MDI signal processing section 91 three signal processing modes can be selected as a signal processing mode by an external operation.
  • the sound collection signal S1 from the microphone 10 or the music information from the communication unit 25 receives the variable bandpass filter circuit or a plurality of bandpass filter circuits.
  • the signal is supplied to a bandpass filter section 93 composed of a circuit, and the bandpass filter section 93 extracts a signal component of a specific frequency band included in the sound collection signal S1 or music information.
  • a signal component of a specific musical instrument for example, a drum
  • the extracted signal component is supplied to the power measuring unit 94 as a filter processing signal S22.
  • the power measurement unit 94 detects the sound power (strong or weak) based on the supplied filter processing signal at predetermined intervals (for example, at intervals of 10 [ms]), and sequentially detects the detection results as a power detection signal S 24. It is sent to the feature control unit 95.
  • the feature control unit 95 detects a portion (time) of the supplied power detection signal S24 that exceeds a preset threshold.
  • the feature control section 95 measures the rhythm, the pitch, and the strength of the sound on the time axis based on the detection result, and generates the above-described synchronization signal S 21 based on the measurement result.
  • a synchronous signal that causes the robot to perform a dance mainly focusing on tempo and power like a drum is used.
  • the signal S 21 is generated and given to the controller 20.
  • the sound pickup signal S2 from the microphone 10 and the music information from the communication unit 25 are transmitted to the band pass filter section 9 3 After the sound-collecting signal S1 and the music information are subjected to full-band filtering in the band-pass filter section 93, the obtained filtered signal S23 is converted to the fundamental frequency. It is provided to the extractor 95.
  • the fundamental frequency extraction unit 95 extracts a fundamental frequency from the supplied filter processing signal S 23, and the obtained fundamental frequency signal S 25 is provided to the feature control unit 96.
  • the feature control unit 96 measures the supplied fundamental frequency signal S 25 as a difference on the time axis, and generates the above-described synchronization signal S 21 based on specific difference information.
  • a synchronization signal S 21 is generated which causes the robot to perform a dance focusing on the melody of the entire music performed by the plurality of musical instruments, and this is generated by the controller 2.
  • the third signal processing mode is selected in the non-MIDI signal processing section 92
  • the sound pickup signal S1 from the microphone 10 and the music information from the communication unit 25 are transmitted to the bandpass filter section 9 in the non-MIDI signal processing section 92.
  • the signal component of the specific frequency band included in the collected signal 1 or the music information is extracted in the band filter section 93 in the same manner as in the first signal processing mode, and the obtained file is obtained.
  • the filter processing signal S 23 is supplied to the power measurement unit 94.
  • a power detection signal S 24 based on the filter processing signal S 23 is generated in the power measurement section 94, and is provided to the feature control section 96.
  • the band-pass filter unit 93 performs a full-band filtering process on the collected signal S1 and music information in the same manner as in the second signal processing mode, and obtains the obtained filter.
  • the evening processing signal S 23 is sent to the fundamental frequency extraction section 95.
  • a fundamental frequency signal S 25 based on the filter processing signal S 23 is generated in a fundamental frequency extraction unit 95, and is provided to a feature control unit 96.
  • the feature control unit 96 performs processing by combining the processing in the first and second signal processing modes to generate the synchronization signal S 24. Generate 2 1.
  • the feature control section 96 performs synchronization in the same manner as in the first signal processing mode based on the tempo and the difference in sound intensity.
  • the main performance is a continuous stringed instrument sound that is quiet and has a small difference in sound intensity
  • the synchronization signal S 21 is generated in the same manner as in the second signal processing mode, based on the fundamental frequency difference. Are generated, and when these are mixed, the synchronization signal S 21 is generated by applying mutual correction by at least two or more features.
  • a high-accuracy synchronization signal S 21 is generated by combining the good parts of the processing in the first and second signal processing modes. Given to.
  • the synchronization signal generation section 90 generates the synchronization signal S 21.
  • the robot 1 displays an image based on image information and audio information provided externally via the telephone line 44 or the like on the image display unit 13 and outputs audio from the speaker 11. Perform the action according to the content of the conversation. Further, the robot 1 executes a specified operation based on an operation command (second and third code numbers) externally given via a telephone line 44 or the like.
  • the robot 1 it is possible to communicate by voice or image, and in addition, to communicate through the movement of the real robot 1, as if the other party is in front of you. Realistic communication is possible. Also, for example, by using this robot 1, when children or elderly people who need care are at home, Family and a doctor call the robot 1 in Fig. 1 to observe the child and the elderly through the image recognition unit 12 of the robot 1 and to communicate smoothly by talking through the robot 1. Can be.
  • the robot 1 determines the current user based on the output of various sensors installed in the house. Judge the situation, and send a message according to the judgment result to the other party. Therefore, by using the robot 1, it is possible to give an appropriate message of the answering machine to the other party without any complicated setting work.
  • Robot 1 recognizes which user is called by a number display service or voice inquiry when a call is received from outside, and approaches the user based on the recognition result. Therefore, by using the robot 1, for example, even when the user is unable to pick up the phone because of an unavoidable task, the user can easily call the other party.
  • the robot 1 can be connected to a switch such as a video tape recorder 51 or a television receiver 52 in a house or a wall, based on a command given by the user via a telephone line 44 or the like. Or turn on / off switches 53, 54, etc. on the floor. Therefore, by using the robot 1, it is possible to control electric products and switches that cannot be operated by telephone.
  • a switch such as a video tape recorder 51 or a television receiver 52 in a house or a wall, based on a command given by the user via a telephone line 44 or the like. Or turn on / off switches 53, 54, etc. on the floor. Therefore, by using the robot 1, it is possible to control electric products and switches that cannot be operated by telephone.
  • the robot 1 constantly recognizes the situation inside the house, and when an abnormality is found, contacts the user, the police and / or the fire department. Therefore, the security of the house can be secured by using the mouth bot 1.
  • this robot 1 periodically contacts the maintenance center 60 to check various functions and download the latest programs. Therefore, this robot 1 is usually used when the user is aware of the state of robot 1. Can be used without.
  • the robot 1 when receiving the E-mail, the robot 1 detects a user as a destination, and approaches the user. Therefore, by using the robot 1, the user can easily recognize that the E-mail 1 has arrived.
  • the robot 1 constantly monitors the designated user and, in the event of an abnormality, contacts another user or hospital registered in advance. Therefore, by using the robot 1, it is possible to immediately cope with an abnormality occurring in the care recipient.
  • the robot 1 dances in rhythm based on music composed of collected external sounds and a MIDI signal S20 transmitted via a telephone line 44 or the like. Therefore, according to the robot 1, the amusement property can be improved.
  • the robot 1 controls the other robots 1 while communicating with each other.
  • a plurality of robots 1 can perform cooperative work.
  • the robot 1 displays and outputs images and sounds based on the image information and the sound information provided from outside via the telephone line 44 or the like, and performs an operation according to the content of the conversation.
  • the robot 1 displays and outputs images and sounds based on the image information and the sound information provided from outside via the telephone line 44 or the like, and performs an operation according to the content of the conversation.
  • communication via voice and images, and intention through the movement of the actual robot 1 Communication can be made, and thus realistic communication can be made possible. In this way, a robot with high use value can be realized.
  • Robot 1 also has a robot phone function, answering machine function, telephone relay function, remote control function, security function, automatic maintenance and version up function, e-mail management function, caregiver monitoring function, and dance function. Passing By incorporating the communication function between the robot and the robot, it is possible to cause the user to perform an effective action and operation, thereby realizing a robot having a high use value.
  • the robot 1 is formed into an animal such as a dog or a cat so that the user feels close to the user in the same manner as an actual animal.
  • the present invention is not limited to this.
  • other types and shapes can be widely applied.
  • a plurality of rollers, wheels, or the like may be used as the moving means of the robot 1 instead of the plurality of legs 5A to 5D.
  • the robot 1 transmits and receives various types of information to and from the outside through the telephone line 44.
  • the present invention is not limited to this. , Wireless, private network, infrared signal or LAN (Loca 1 Area)
  • the robot 1 moves to the electric appliance and outputs the infrared signal IR2, or physically switches the switch.
  • a LAN is provided in the house and electrical appliances in the house are connected to this LAN, and the robot 1 is connected via the LAN.
  • the corresponding electric appliance may be operated.
  • the mouth By connecting the Bot 1 and the LAN wirelessly, the Mouth port 1 can be moved.
  • a case has been described in which the robot 1 moves to the user when a telephone call is received from outside or when an e-mail arrives.
  • the present invention is not limited to this.
  • a different ring tone may be output for each user, or the name of the corresponding user may be output to inform the user of the call.
  • the robot 1 searches for the user when dealing with an incoming call to the corresponding user, but the present invention is not limited to this.
  • the location of each user is stored in the robot 1 in advance, and the output of the acceleration sensor and the angular velocity sensor 23 is used when a call is received. It may be possible to move to that location while recognizing the posture and position.
  • voice and image are stored as the answering machine function.
  • the present invention is not limited to this.
  • text data may be stored.
  • the maintenance center 60 may manage the text data such as E-mail 1, and the e-mail is transmitted through the voice processing unit 21 of the robot 1 under the control of the maintenance center 60. You may write or read text.
  • the robot 1 searches for a user while identifying a user when a call is received from the outside.
  • the present invention is not limited to this.
  • the corresponding user is spoken via the speaker 11 to detect the direction in which the response was received, and move in that direction, or perform an action (eg, hand (Shaking, etc.), and move toward the user who performed the operation.
  • the case where the robot 1 is powered by a battery a battery such as a primary battery other than a rechargeable battery such as a lithium ion secondary battery
  • the present invention is not limited to this.
  • a commercial AC power supply may be used as a power supply.
  • the robot 1 is operated by the dial button operation of the external device.
  • the user Using a mobile phone with a TV, the user recognizes the surrounding situation captured by the image recognition unit 12 sent from the robot 1 and gives voice instructions such as “right” and “left”. Giving it to the robot 1, the mouth robot 1 may be moved in accordance with the instruction.
  • the synchronization signal generation unit 90 of the music processing unit 21 is configured as shown in FIG. 26 .
  • a judgment circuit for judging whether or not the input signal is a MIDI signal is arranged at an input stage of the generation unit 90, and a voice information and a MIDI signal from the communication unit 25, a sound collection signal S1 from the microphone 10 and All the audio information such as music information or MIDI signal read from a removable storage medium (not shown) is supplied to this determination circuit, and the MIDI signal is supplied to the MIDI signal processing section 91 based on the determination result in the determination circuit.
  • the synchronization signal generation section 90 may be configured to supply a non-MIDI signal to the BPF section 93.
  • the answering machine function is applied to the robot 1 configured as shown in FIG. 1 .
  • the present invention is not limited to this, and various other configurations may be employed. It can be widely applied to information processing systems.
  • the voice processing unit 21 generates a response message during the answering machine function.
  • the present invention is not limited to this, and such a response message is stored in a predetermined storage medium such as a memory in advance, and a response message corresponding to the state of the user is read out and transmitted to the other party. You may do it.
  • the present invention can be applied to an amusement robot, a nursing care robot, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Description

明 細 書 ロボッ ト装置及び情報処理システム 技術分野
本発明はロボッ ト装置及び情報処理システムに関し、 例えばぺッ ト型 のエンターティメン トロボッ トに適用して好適なものである。 背景技術
近年、 公衆電話や携帯電話等の電話回線、 イ ン夕一ネッ ト及び通信衛 星回線等の情報伝送路を通じての情報通信技術が飛躍的に発達し、 画像 や音声を利用して各種情報を正確にリアルタイムで伝送できるようにな つてきている。
ところがこのような既存の情報通信技術で扱えるのは画像及び音声だ けであり、 例えば使用者が相手に対して感情を伝達する場合にリアリテ ィに欠ける問題があった。
また近年では上述のようなデータ通信技術に加えて口ボッ 卜の開発及 び商品化も盛んに行われており、 例えば犬や猫などの動物の形に似せた 形状のかつ周罔の状況に応じて自律的に行動できるぺヅ ト型のアミユー ズメン トロボッ 卜なども考えられている。
ところがかかるアミューズメン トロボッ トは単に犬や猫に似せた行動 及び動作を行うだけのものであり、 アミ一ズメン ト以外の例えばユーザ にとつて有益な行動を行えるものではなかった。
そこで例えばこのようなアミ一ズメン トロボッ 卜に電話回線やイ ン夕 ーネッ ト、 通信衛星回線等の各種情報伝送路通じて外部と通信できるよ うな通信機能を搭載し、 この通信機能を利用してユーザが通信相手に感 情等を行動や動作として視覚的伝達できたり、 当該アミーズメン トロボ ッ トにユーザにとって有益な行動を行わせたりすることができれば、 ァ ュ 'ズメン トロボッ トの利用価値を向上させ得るものと考えられる。 発明の開示
本発明は以上の点を考慮してなされたもので、 利用価値の高いロボッ ト装置及び情報処理システムを提案しょう とするものである。
かかる課題を解決するため本発明においては、 ロボッ ト装置において 、 動作を生成する動作部位と、 動作部位を駆動するァクチユエ一夕と、 ァクチユエ一夕を制御するァクチユエ一夕制御手段と、 ロボッ ト装置と 他の電子機器との間で信号の受信を行うための通信手段と、 通信手段が 受信した信号から情報を検出する倩報検出手段とを設け、 ァクチユエ一 夕制御手段は、 情報検出手段が検出した情報に基づいて、 ァクチユエ一 夕を制御することによ り、 動作部位において、 所定の動作を生成させる ようにしたことにより、 利用価値を向上することができる。
また本発明においては、 ロボッ ト装置において、 所定の情報が記憶さ れる記憶手段と、 記憶手段に記憶されている記憶内容を変更する記憶内 容変更手段と、 ロボッ ト装置と他の電子機器との間で信号の受信を行う ための通信手段と、 通信手段が受信した信号から所定の情報を更新する ことを示す情報更新命令を検出する命令検出手段とを有し、 記憶内容変 更手段は、 命令検出手段が検出した情報更新命令に基づいて、 所定の情 報を更新するようにしたことにより、 利用価値を向上することができる さらに本発明においては、 ロボッ ト装置において、 ユーザ自身あるい はユーザの環境周辺に設けられた一つ以上のセンサからのセンサ出力を 受信するセンサ出力受信手段と、 センサ出力受信手段が受信したセンサ 出力に基づいて、 ユーザの状態を認識するユーザ状態認識手段と、 動作 を生成する動作部位と、 動作部位を駆動するァクチユエ一夕と、 ァクチ ユエ一夕を制御するァクチユエ一夕制御手段と、 ロボッ ト装置と他の電 子機器との間で信号の受信を行うための電話通信手段とを有し、 電話通 信手段が、 他の電子機器から通信信号を受信し、 所定の時間内に電話が 取られなつかた場合に、 ァクチユエ一夕制御手段は、 ユーザ状態認識手 段が認識したユーザの状態に基づいて、 動作部位において、 所定の動作 を生成させるようにしたことにより、 利用価値を向上させることができ る。
さらに本発明においては、 情報処理システムにおいて、 ユーザ自身あ るいはユーザの環境周辺に設けられた一つ以上のセンサと、 センサ出力 に基づいて、 ユーザの状態を認識するユーザ状態認識手段と、 ユーザの 状態に応じた応答メ ッセージが記憶される応答メ ッセージ記憶手段と、 応答メ ッセージを出力する応答メ ッセージ出力手段とを有し、 所定の時 間内に電話が取られなかった場合、 応答メ ッセージ出力手段が、 ユーザ 状態認識手段が認識したユーザの状態に基づいて、 応答メ ッセージを出 力するようにしたことにより、 利用価値を向上させることができる。 さらに本発明においては、 ロボッ ト装置において、 動作を生成する動 作部位と、 動作部位を駆動するァクチユエ一夕と、 ァクチユエ一夕を制 御するァクチユエ一夕制御手段と、 ロボッ ト装置と他の電子機器との間 で信号の送信を行うための通信手段と、 外部からの情報を入力する情報 入力手段と、 外部へ情報を出力する情報出力手段とを有し、 ァクチユエ 一夕制御手段は、 情報入力手段に入力された情報に基づいて、 ァクチュ エー夕を制御することにより、 動作部位において、 所定の動作を生成し 、 情報出力手段は、 情報入力手段に入力された情報に基づいて、 通信手 段から他の電子機器へ所定の情報を出力するようにしたことにより、 利 用価値を向上させることができる。
さらに本発明においては、 ロボッ ト装置において、 ユーザからの情報 を入力するセンサ手段と、 動作を生成する動作部位と、 動作部位を駆動 するァクチユエ一夕と、 ァクチユエ一夕を制御するァクチユエ一夕制御 手段と、 所定の情報を出力する情報出力手段と、 ロボッ ト装置と他の電 子機器との間で信号の送信を行うための通信手段とを有し、 ユーザから の入力が所定の時間なかった場合に、 ァクチユエ一夕制御手段は、 動作 部位において、 所定の動作を生成し、 所定の動作を生成後、 さらに、 所 定の時間内にユーザからの入力がなかった場合に、 通信手段は、 情報出 力手段から出力される所定の情報を他の電子機器に送信するようにした ことにより、 利用価値を向上させることができる。
さらに本発明においては、 ロボッ ト装置において、 動作を生成する動 作部位と、 動作部位を駆動するァクチユエ一夕と、 ァクチユエ一夕を制 御するァクチユエ一夕制御手段と、 ロボッ ト装置と他の電子機器との間 で信号を受信を行うための信号受信手段と、 他の電子機器を操作する電 子機器操作手段と、 信号受信手段が受信した信号から、 所定の情報を検 出する情報検出手段とを有し、 ァクチユエ一夕制御手段は、 情報検出手 段が検出した所定の情報に基づいて、 ァクチユエ一夕を制御することに よ り、 動作部位において、 所定の動作を生成し、 電子機器操作手段は、 情報検出手段が検出した所定の情報に基づいて、 他の電子機器を操作す るようにしたことにより、 利用価値を向上させることができる。 図面の簡単な説明
図 1は、 本実施の形態によるロボッ 卜の構成を示す斜視図である。 図 2は、 図 1のロボッ トの回路構成を示すプロック図である。
図 3は、 図 1のロボッ 卜の関節機構のメカ構成を示す斜視図である。 図 4は、 図 3のロボッ 卜の関節機構の回路構成を示すプロック図であ る。
図 5は、 ロボッ ト電話機能の説明に供するプロック図である。
図 6は、 ロボッ ト電話機能の説明に供するプロック図である。
図 7は、 ロボッ ト電話機能の説明に供するブロック図である。
図 8は、 ロボッ ト電話機能の説明に供するプロック図である。
図 9は、 ロボ、ソ ト電話機能の説明に供するプロヅ ク図である。
図 1 0は、 ロボッ ト電話機能の説明に供するプロック図である。 図 1 1は、 ロボッ ト電話機能の説明に供するプロック図である。
図 1 2は、 留守番電話機能の説明に供する略線図である。
図 1 3は、 留守番電話機能の説明に供する略線図である。
図 1 4は、 電話取次ぎ機能の説明に供する略線図である。
図 1 5は、 遠隔操作機能の説明に供する略線図である。
図 1 6は、 遠隔操作機能の説明に供する略線図である。
図 1 7は、 セキュ リティ機能の説明に供する略線図である。
図 1 8は、 セキュ リティ機能の説明に供する略線図である。
図 1 9は、 自動メンテナンス · パージヨンアツプ機能の説明に供する 略線図である。
図 2 0は、 E— m a i l管理機能の説明に供する略線図である。
図 2 1は、 要介護人監視機能の説明に供する略線図である。
図 2 2は、 ダンス機能の説明に供する略線図である。
図 2 3は、 ロボッ ト間通信機能の説明に供する略線図である。
図 2 4は、 ロポッ ト間通信機能の説明に供する略線図である。
図 2 5は、 顔パターン学習及び認識処理部の構成を示すプロック図で め
図 2 6は、 同期信号生成部の構成を示すブロック図である。 発明を実施するための最良の形態
以下図面について、 本発明の一実施の形態を詳述する。
( 1 ) 本実施の形態によるロボッ 卜の構成
図 1において、 1は全体として本実施の形態によるロボッ トを示し、 胴体部 2の前後左右にそれぞれ太股部 3 A〜 3 D及び脛部 4 A ~ 4 Dか らなる脚部 5 A〜 5 Dが連結されると共に、 胴体部 2の前端部に頭部 6 が連結され、 かつ胴体部 2の後端部に尻尾 7が上方に突出するように連 結されることにより構成されている。
この場合図 2に示すように、 頭部 6には、 マイ クロホン 1 0 と、 スピ 一力 1 1 と、 C C D ( C h a r g e C o u l e d D e v i c e ) カメラでなる画像認識部 1 2と、 液晶表示パネルでなる画像表示部 1 3 と、 外部から与えられた圧力や外部との接触を検出するための夕ツチセ ンサ 1 4と、 ガス漏れや火災を検出するためのガス及び煙センサ 1 5と 、 赤外線信号 I R 1、 I R 2を送受信するための赤外線送受信部 1 6と 、 無線受信機等でなるセンサ出力受信部 1 7とが設けられている。
また胴体部 2には、 C P U ( C e n t r a l P r o c e s s i n g U n i t ) 、 R OM (R e a d O n l y M e mo r y) 及び RAM (R a n d o m A c c e s s M e m o r y) を含んでなるマイクロ コンピュー夕構成のコン トロ一ラ 2 0と、 合成音声生成機能及び音声認 識機能を有する音声処理部 2 1 と、 画像生成機能を有する画像処理部 2 2 と、 ロボッ ト 1の姿勢及び位置等を検出するための加速度及び角速度 センサ 2 3 と、 ユーザが所望する指令のコード番号を入力するための図 1のような複数のキーを有するキーボー ドでなるキー入力部 24と、 コ ン トローラ 2 0が電話回線、 イ ン夕一ネッ ト専用回線、 無線又は赤外線 信号等を介して外部と通信するための通信ュニッ ト 2 5とが設けられて いる。 また胴体部 2の腹部側には、 このロボッ ト 1の動力源となるバヅ テリ 2 6 (図 1 ) が取り付けられている。
一方、 尻尾 7には、 胴体部 2の通信ュニッ ト 2 5と電気的に接続され たアンテナ 2 7が収納されると共に、 各脚部 5 A~ 5 Dには、 それぞれ 外部から受けた圧力を検出するための複数のカセンサ 2 8 A〜 2 8 Dが 取り付けられている。
また各脚部 5 A~ 5 Dの関節部分 （太股部 3 A〜 3 D及び脛部 4 A〜 4 Dの連結部分） や、 各脚部 5 A~ 5 D及び胴体部 2の連結部分、 頭部 6及び胴体部 2の連結部分、 並びに尻尾 7及び胴体部 6の連結部分など にはそれぞれ後述のように構成された関節機構が配設されている。
そして頭部 6のマイ クロホン 1 0は、 ユーザから発せられた言葉や、 音楽及び音などの外部音を集音し、 得られた集音信号 S 1を音声処理部 2 1に送出する。 音声処理部 2 1は、 マイクロホン 1 0から供給される 集音信号 S 1や後述のように通信ュニッ ト 2 5から供給される音声情報 に基づいて、 マイクロホン 1 0を介して集音した言葉等や、 外部から電 話回線等を通じて送られてきた言葉等の意味を認識し、 認識結果を音声 認識信号 S 2 Aとしてコン ト ローラ 2 0及び通信ュニッ ト 2 5に送出す る。 また音声処理部 2 1は、 コ ン ト ローラ 2 0の制御のもとに合成音声 を生成し、 これを音声信号 S 2 Bとしてスビ一力 1 1や通信ユニッ ト 2 5に送出する。
画像認識部 1 2は、 周囲の状況を撮像し、 得られた撮像信号 S 3を画 像処理部 2 2に送出する。 画像処理部 2 2は、 画像認識部 1 2から与え られる撮像信号 S 4 Aや後述のように通信ュニッ ト 2 5から供給される 画像情報に基づいて、 画像認識部 1 2により撮像された外部の状況や、 外部から電話回線等を通じて送られてきた画像の内容を認識し、 認識結 果を画像認識信号 S 4 Aとしてコン ト ローラ 2 0に送出する。 また画像 処理部 2 2は、 コン ト ローラ 2 0の制御のもとに画像認識部 1 2からの 撮像信号 S 3に対して所定の信号処理を施し、 得られた画像信号 S 4 B を通信ュニッ ト 2 5に送出する。
夕ツチセンサ 1 4は、 ュ一ザからの 「なでる」 や 「たたく」 といった 物理的な働きかけや、 頭部 6を外部物質に接触させたときに受ける圧力 を検出し、 検出結果を圧力検出信号 S 5 としてコン トローラ 2 0に送出 する。
ガス及び煙センサ 1 5は、 周囲のガス濃度及び煙濃度を常時監視し、 所定濃度以上のガスや煙を検出したときにこれを知らせるガス及び煙検 出信号 S 6をコン ト ローラ 2 0に送出する。
赤外線送受信部 1 6は、 ユーザから赤外線リモートコン ト ローラを介 して与えられるコン トロール信号としての赤外線信号 R I 1を受信し、 受信結果を赤外線受信信号 S 7 としてコン トローラ 2 0に送出する。 センサ出力受信部 1 7は、 部屋の電気の状態 （オン/オフ） や、 台所 の水道が使われているか否か、 風呂のガスが使われているか否かなど、 ユーザの生活状態を検出するために家中に配設された各種センサから無 線で送られてく るセンサ出力を受信し、 受信結果をセンサ出力受信信号
S 1 2としてコン トローラ 2 0に送出する。
また胴体部 2の加速度及び角速度センサ 2 3は、 ロボッ ト 1の姿勢が 変化し又はロボッ ト 1が移動するときの加速度及び角速度を検出し、 検 出結果を加速度及び角速度検出信号 S 8 としてコン トローラ 2 0に送出 する。
キー入力部 2 4は、 ユーザが入力したコード番号に基づいて指令内容 を認識し、 認識結果をキー入力信号 S 9 としてコン トローラ 2 0に送出 する。
通信ユニッ ト 2 5は、 コン トローラ 2 0の制御のもとに、 アンテナ 2 7を介して電話回線、 インターネッ ト専用回線、 無線又は赤外線信号等 を通じて外部と通信し、 得られた画像情報を画像処理部 2 2に送出する と共に、 音声や音楽等の音声情報を音声処理部 2 1に送出し、 かつ外部 からのコマン ド及びテキス トデ一夕等の情報を受信情報信号 s 1 0とし てコン トロ一ラ 2 0に送出する。
さらに各脚部 5 A~ 5 Dの力センサ 2 8 A〜 2 8 Dは、 例えばユーザ から与えられた力の大きさを検出し、 検出結果を力検出信号 S 1 1 とし てコン トロ一ラ 2 0に送出する。
コン トローラ 2 0は、 音声処理部 2 1、 画像処理部 2 2、 夕ツチセン サ 1 4、 ガス及び煙センサ 1 5、 赤外線送受信部 1 6、 センサ出力受信 部 1 7、 加速度及び角速度センサ 2 3、 キー入力部 2 4、 通信ュニッ ト 2 5並びに各力センサ 2 8 A〜 2 8 Dからそれぞれ与えられる音声認識 信号 S 2 A、 画像認識信号 S 4 A、 圧力検出信号 S 5、 ガス及び煙検出 信号 S 6、 赤外線受信信号 S 7、 センサ出力受信信号 S 1 2、 加速度及 び角速度検出信号 S 8、 キー入力信号 S 9、 受信情報信号 S 1 0及び力 検出信号 S 1 1 とに基づいて、 周囲の状況や、 ユーザからの働きかけの 有無、 異常の有無、 ユーザ又は外部からの指令の有無、 ユーザの生活状 態、 並びに自分の姿勢及び位置などを判断する。
そしてコン トローラ 2 0は、 この判断結果と、 予め図示しない内部メ モリに格納されている制御プログラムとに基づいて続く 自己の行動を決 定し、 決定結果に基づいて必要な関節機構を駆動させることにより、 頭 部 6を上下左右に揺動させたり、 尻尾 7を前後に振らせたり、 各脚部 5 A〜 5 Dを駆動して歩行させるなどの行動や動作を行わせる。
またコン トローラ 2 0は、 必要に応じて音声処理部 2 1、 画像処理部 2 2及び又は赤外線受信部 1 6を制御することにより、 通信ュニッ ト 2 5を介して取り込んだ通信相手からの音声情報に基づく音声や、 当該音 声処理部 2 1に生成させた合成音声をスビーカ 1 1 を介して外部に出力 させたり、 通信ユニッ ト 2 5を介して取り込んだ通信相手からの画像情 報に基づく画像や、 画像処理部 2 2に生成させた画像を画像表示部 1 3 に表示させたり、 外部機器をコン トロールするための赤外線信号 I R 2 を赤外線受信部 1 6に発射させたりする。
さらにコン トローラ 2 0は、 必要に応じて通信ュニ ヅ ト 2 5を制御す ることによ り、 音声処理部 2 1からの音声信号 S 2 Bに基づく音声情報 や、 画像処理部 2 2からの画像信号 S 4 Bに基づく画像情報、 及び外部 操作等に応じてコン トローラ 2 0 自身が生成したコマン ド情報を通信相 手に送信させる。
このようにしてこのロボッ ト 1 においては、 周囲の状況や、 ユーザ又 は通信相手からの指令等に基づいて、 当該状況及び指令等に応じた行動 及び動作を行うことができるようになされている。
なおこの実施の形態の場合、 通信ュニ ヅ ト 2 5は、 電話モデム、 コー ドレス電話の子機、 携帯電話機、 無線の送受信機又は赤外線信号の送受 信機等の通信機器のうちのいずれかによ り構成されており、 アンテナ 2 7 と一体に交換できるようになされている。
これによりこのロボッ ト 1においては、 電話や、 イ ンターネッ ト、 無 線又は赤外線信号等の各種通信形態のなかからユーザの所望する通信形 態を選択して、 当該通信形態で外部との通信を行わせ得るようになされ ている。
次に、 図 3及び図 4を参照して、 各脚部 5 A~ 5 Dの関節部分や、 各 脚部 5 A〜 5 D及び胴体部 2の連結部分、 頭部 6及び胴体部 2の連結部 分、 並びに尻尾 7及び胴体部 6の連結部分の各関節機構の具体的な構成 を説明する。
この図 3及び図 4において明らかなように、 胴体部 2と、 各脚部 5 A 〜 5 Dとを連結する各関節機構は、 それぞれ図 3のように胴体部 2に設 けられたブラケッ ト 3 0 A〜 3 0 Dと、 図 4のようにモー夕 3 1 A、 3 1 B、 3 1 D、 3 1 E、 3 1 G、 3 1 H、 3 1 J、 3 1 K、 位置センサ 3 2 A、 3 2 B、 3 2 D、 3 2 E、 3 2 G、 3 2 H、 3 2 J、 3 2 K及 びドライノ 3 3 A、 3 3 B、 3 3 D、 3 3 E、 3 3 G、 3 3 H、 3 3 J 、 3 3 Kを 1組とする 2組のァクチユエ一夕部 3 4 A、 3 4 B、 34 D 、 3 4 E、 3 4 G、 3 4 H、 3 4 J、 3 4 Kとから構成されている。 そして各関節機構部のブラケヅ ト 3 0 A~ 3 0 Dにはそれぞれ対応す る脚部 5 A〜 5 Dの太股部 3 A~ 3 Dの上端部が取り付けられており、 それぞれ一方のァクチユエ一夕部 34 A、 3 4 D、 3 4 G、 34 Jのモ —夕 3 1 A、 3 1 D、 3 1 G、 3 1 Jを駆動することによって太股部 3 A〜 3 Dをそれぞれブラケッ ト 3 0 A〜 3 0 Dと一体に中心軸 C L 1〜 C L 4を中心として矢印 R 1〜R 4方向に回転駆動することができ、 他 方のァクチユエ一夕部 3 4 B、 3 4 E、 3 4 H、 3 4 Kのモ一夕 3 1 B 、 3 1 E、 3 1 H、 3 1 Kを駆動することによって太股部 3 A~ 3 Dを それぞれ中心軸 C L 5 ~C L 8を中心として矢印 R 5 ~R 8方向に回転 駆動することができるようになされている。
また各脚部 5 A〜 5 Dの関節部分 （太股部 3 A〜 3 D及び脛部 4 A〜 4 Dの連結部分） を構成する各関節機構は、 それぞれ太股部 3 A〜 3 D の下端部に取り付けられた連結部 3 5 A~ 3 5 Dと、 モー夕 3 1 C、 3 1 F、 3 1 1、. 3 1 L、 位置センサ 3 2 C、 3 2 F、 3 2 1、 3 2 L及 びドライバ 3 3 C、 3 3 F、 3 3 1、 3 3 Lからなるァクチユエ一夕部 3 4 C、 3 4 F、 3 4 1、 3 4 Lとから構成されている。
そして各関節機構部の連結部 3 5 A~ 3 5 Dにはそれぞれ脛部 4 A〜 4 Dの上端部が取り付けられており、 対応するァクチユエ一夕部 3 4 C 、 34 F、 3 4 1、 3 4 Lのモー夕 3 1 C、 3 1 F、 3 1 1、 3 1 Lを 駆動することによって脛部 4 A〜4 Dをそれぞれ中心軸 C L 9〜C L 1 2を中心として矢印 R 9〜R 1 2方向に回転駆動することができるよう になされている。
さらに頭部 6及び胴体部 2を連結する関節機構は、 胴体部 2における 頭部 6の連結位置に配設されたブラケッ ト （図示せず） と、 モ一夕 3 1 M、 3 1 N、 3 1 P、 位置センサ 3 2 M、 3 2 N、 3 2 P及びドライバ 3 3 M、 3 3 N、 3 3 Pを 1組とする 3組のァクチユエ一夕部 3 4 M、 3 4 N、 3 4 Pとから構成されている。
そしてこの関節機構のブラケッ 卜には頭部 6が取り付けられており、 第 1のァクチユエ一夕部 3 4 Mのモー夕 3 1 Mを駆動することによって 頭部 6を中心軸 C L 1 3を中心として矢印 R 1 3方向に揺動させること ができ、 第 2のァクチユエ一夕部 34 Nのモー夕 3 1 Nを回転駆動する ことによって頭部 6を中心軸 C L 1 4を中心として矢印 R 1 4方向に揺 觔させることができ、 第 3のァクチユエ一夕部 3 4 Pを駆動することに よって頭部 6を中心軸 C L 1 5を中心として矢印 R 1 5方向に揺動させ ることができるようになされている。
さらに胴体部 2及び尻尾 Ίを連結する関節機構は、 胴体部 2における 尻尾 7の連結位置に配設されたブラケッ ト （図示せず） と、 モ一夕 3 1 Q、 位置センサ 3 2 Q及びドライバ 3 3 Qからなるァクチユエ一夕部 3 4 Qとから構成されている。
そしてこの関節機構のブラケッ トには尻尾 7の下端部が取り付けられ ており、 ァクチユエ一夕部 3 4 Qのモー夕 3 1 Qを駆動することによつ て尻尾 7を中心軸 C L 1 6を中心として矢印 R 1 6方向に揺動させるこ とができるようになされている。
そしてこれら各関節機構においては、 各ァクチユ エ一夕部 3 4 A〜 3 4 Qの ドライ ノ、' 3 3 A~ 3 3 Qがそれぞれ図 4のようにバス 3 6を介し てコン トローラ 2 0 と接続されると共に、 これら各ドライ ノ 3 3 A〜 3 3 Qに対応するモ一夕 3 1 A〜 3 1 Q及び位置センサ 3 2 A〜 3 2 Qが 接続されている。
これによ りこのロボッ ト 1においては、 コン トローラ 2 0が所望する モ一夕 3 1 A〜 3 1 Qを対応する ドライ ノ 3 3 A〜 3 4 Qを介して制御 したり、 このとき対応する位置センサ 3 2 A〜 3 2 Qによって検出され るそのモ一夕 3 1 A〜 3 1 Qの回転量を ドライ ノ 3 3 A〜 3 4 Qを介し て認識したりすることができ、 かく して各モ一夕 3 1 A〜 3 1 Qを精度 良く所望角度だけ回転駆動させることができるようになされている。 なおこの実施の形態の場合、 各脚部 5 A〜 5 Dの関節部分 （太股部 3 A〜 3 D及び脛部 4 A〜 4 Dの連結部分） の関節機構と、 各脚部 5 A~ 5 D及び胴体部 2の連結部分の各関節機構とには、 それぞれブレーキ機 構 3 7が設けられている。 そしてこのロボヅ ト 1では、 このブレ一キ機 構 3 7の作動を利用して、 各脚部 5 A〜 5 Dのうちの任意の太股部 3 A 〜 3 D及び脛部 4 A〜 4 Dの相対位置関係をダイ レク 卜ティーチング方 式で操作者が位置教示を行うことができるようになされている。
( 2 ) ロボッ ト 1の各種機能
次に、 上述のロボッ ト 1に搭載された各種機能について説明する。 なお上述のようにこのロボヅ ト 1では通信ュニッ ト 2 5を交換でき、 ユーザの所望する通信形態で外部と通信を行わせることができるが、 以 下においてはその一例として、 図 5のように Aさんの家 4 0にあるロボ ヅ ト 1及び Bさんの家 4 1にあるロボヅ ト 1のいずれも通信ュニッ ト 2 5としてコードレス電話機の子機が適用され、 Aさん側のロボッ ト 1及 び Bさん側のロボッ ト 1がそれぞれ電話機本体 4 2、 4 3を介して電話 回線 4 4を通じて通信を行える場合について説明する。
( 2— 1 ) ロボッ ト電話機能
まずこのロボヅ ト 1の場合、 同じロボッ ト 1 をもう 1台用いることに よって、 ュ一ザ同士が電話等によるコミュニケーションをより リアリテ ィ をもって行えるロボッ ト電話機能を有している。
例えば Aさんが当該 Aさん側のロボッ ト 1のキー入力部 2 4を操作し て電話をかけるための所定の第 1のコ一ド番号及び Bさんの電話番号を 入力すると、 Aさん側のロボッ ト 1のコン トローラ 2 0が通信ュニッ ト 2 5を制御して Bさんのロボッ ト 1に電話をかける。
そして Bさん側のロボヅ ト 1のコン トローラ 2 0は、 外部から電話が かかってきたことを通信ュニッ ト 2 5を介して認識すると、 音声処理部 2 1を制御してこれを知らせる音声をスピーカ 1 1から出力させる。 また Aさん側のロボッ ト 1のコン トローラ 2 0は、 Bさんが当該 Bさ ん側のロボッ ト 1 を操作して電話をとつたことを確認すると、 通信ュニ ッ ト 2 5を制御することにより、 このとき画像処理部 2 2から通信ュニ ッ ト 2 5に与えられる画像信号 S 4 Bに基づき得られる画像認識部 1 2 によ り撮像している Aさんの画像の画像情報と、 音声処理部 2 1から通 信ユニッ ト 2 5に与えられる音声信号 S 2 Bに基づき得られるマイクロ ホン 1 0によ り集音された Aさんの音声の音声情報とを Bさん側のロボ ッ ト 1に送信させる。
このとき Bさん側の口ボッ ト 1のコン トローラ 2 0は、 画像処理部 2 2を制御することにより、 図 6のように電話回線 4 4を通じて伝送され てきた画像情報に基づく Aさんの画像を画像表示部 1 3に表示させる一 方、 音声処理部 2 1 を制御することにより、 電話回線 4 4を通じて伝送 されてきた音声情報に基づく Aさんの音声をスピーカ 1 1から出力させ る。
同様の要領で、 Bさん側の口ボッ ト 1のコン トローラ 2 0は、 通信ュ ニッ ト 2 5を制御することにより、 このとき画像処理部 2 2から通信ュ ニッ ト 2 5に与えられる画像信号 S 4 Bに基づき得られる画像認識部 1 2により撮像している Bさんの画像の画像情報と、 音声処理部 2 1から 通信ュニッ ト 2 5に与えられる音声信号 S 2 Bに基づき得られるマイク 口ホン 1 0により集音された Bさんの音声の音声情報とを Aさん側の口 ボッ ト 1 に送信させる。
そしてこのとき Aさん側のロボヅ ト 1のコン トローラ 2 0は、 画像処 理部 2 2を制御することにより、 電話回線 4 4を通じて伝送されてきた 画像情報に基づく Bさんの画像を画像表示部 1 3に表示させる一方、 音 声処理部 2 1 を制御することにより、 電話回線 4 4を通じて伝送されて きた音声情報に基づく Bさんの音声をスピーカ 1 1から出力させる。 このようにしてこのロボヅ ト 1においては、 2台を用いてュ一ザ同士 がテレビ電話のような形態で音声と画像によるコ ミュニケーションを行 うことができるようになされている。
一方、 このとき Aさん側及び Bさん側の各ロボッ ト 1のコン トローラ 2 0は、 それぞれ音声処理部 2 1から与えられる音声認識情報 S 2 Aに 基づいて、 通信相手 （Bさん又は Aさん） から電話回線 4 4を通じて送 信されてきた音声を常時監視する。
そしてコン トローラ 2 0は、 この音声の中に 「そうだね」 及び 「うん 、 うん」 といった予め登録されている賛成や相槌を意味する言葉を検出 すると、 対応する関節機構を制御することにより例えば図 7のように頭 部 6を上下に揺動させて 「うなずく動作」 を行わせる。
またコン トローラ 2 0は、 通信相手からの音声の中に 「バイバイ」 、 「じゃあね」 及び 「またね」 といった予め登録されている別れを意味す る言葉を検出すると、 対応する関節機構を制御することにより例えば図 8のように 1つの脚部 5 Aを挙げてこれを横に振る 「バイバイ動作」 を 行わせる。
さらにコン ト ローラ 2 0は、 これと同様にして、 「悲しい」 や 「残念」 といった悲観的な言葉を検出した場合、 「やだ」 や 「だめ」 といった否 定を表す言葉を検出した場合、 「やった」 や 「うれしい」 といった喜び を表す言葉を検出した場合に、 例えば図 9のように頭部 6をゆっ く り と 下に向けて下げる 「悲しい動作」 、 図 1 0のように頭部 6を横に振る 「 いやいや動作」 又は図 1 1のように尻尾 7を前後に振る 「うれしい動作 」 をそれぞれ行わせる。
さらにコン トローラ 2 0は、 これらの動作以外にも、 例えば 「こんな に大きい」 といった言葉を検出したときにはロボッ ト 1の前側の両脚部 5 A、 5 Bを広げさせて 「大きさ」 を表現させたり、 笑い声を検出した ときにはロボッ ト 1 を震わせて笑っているような動作を行わせる。
このようにしてこのロボヅ ト 1においては、 通信相手からの音声に基 づいて会話内容に応じた動作を行うようになされ、 これによりユーザに 通信相手の感情を視覚的に実感させ得るようになされている。
なおこのロボッ ト 1の場合、 このような動作を通信相手がリモートコ ン トロ一ルにより行わせることもできる。
実際上、 Aさん側のロボヅ ト 1 と Bさん側のロボッ ト 1 とが通信を行 つている状態において、 例えば Aさんがキー入力部 2 5を操作して通信 相手 （ Bさん） 側のロボッ ト 1 を操作する所定の第 2のコード番号を入 力すると、 Aさん側のロボッ ト 1のコン トローラ 2 0は、 この第 2のコ 一ド番号を通信ュニッ ト 2 5を介して Bさん側のロボッ ト 1 に送出する この結果 Bさん側のロボヅ ト 1のコン トローラ 2 0は、 供給される第 2のコード番号と、 予め記憶している各第 2のコード番号に対する動作 パターンのテーブルとに基づいて対応する関節機構を制御することによ り、 図 7〜図 1 1に示すような動作や、 大きさを表す動作及び笑ってい るような動作を行わせる。
またこのロボヅ ト 1の場合、 通信を行っている 2台のロボヅ 卜 1に同 じ動作を行わせることもできる。
実際上、 Aさん側のロボヅ 卜 1 と Bさん側のロボッ ト 1 とが通信を行 つている状態において、 例えば Aさんがキー入力部 2 4を操作して自己 のロボッ ト 1に動作を行わせる第 3のコード番号を入力すると、 Aさん 側のロボヅ ト 1のコン トローラ 2 0は、 予め記憶している各第 3のコ一 ド番号に対する動作パターンのテーブルに基づいて対応する関節機構を 駆動することにより、 指定された動作を行わせる。
また Aさん側のロボッ 卜 1のコン トローラ 2 0は、 これと共にこの第 3のコ一ド番号を通信ュニッ ト 2 5を介して Bさん側のロボッ ト 1 に送 信する。
このとき Bさん側のロボッ ト 1のコン トローラ 2 0は、 供給される第 3のコード番号と、 予め記憶している各第 3のコード番号に対する動作 パターンのテーブルとに基づいて対応する関節機構を駆動することによ り、 指定された動作を行わせる。
さらにこのロボヅ ト 1の場合、 通信を行っている 2台のロボッ ト 1の うちのいずれか一方に受けた外力 （例えば握手するときの圧力など） を 他方のロボッ ト 1 を介して伝達することもできる。
実際上、 Aさん側のロボッ ト 1 と Bさん側のロボッ ト 1 とが通信を行 つている状態において、 Aさん側のコン トローラ 2 0は、 力センサ 2 8 A〜 2 8 Bから与えられる力検出信号 S 1 1に基づいて受けた圧力を検 出し、 圧力検出結果を通信ュニッ ト 2 5を介して Bさん側のロボッ ト 1 に送信する。
このとき Bさん側のロボヅ ト 1のコン トローラ 2 0は、 供給される圧 力検出結果に基づいて、 対応する関節機構を駆動することにより Aさん が受けた圧力を対応する脚部 5 A〜 5 Dに発生させる。
このようにしてこのロボッ ト 1においては、 通信相手に対してユーザ の意思や感情及び行動をロボッ ト 1の動作として伝達し得るようになさ れている。
( 2 - 2 ) 留守番電話機能
一方このロボッ ト 1には、 留守番電話機能も搭載されている。 実際上口ポッ ト 1のコン トローラ 2 0は、 外部から電話がかかってき たことを通信ュニッ ト 2 5を介して認識すると、 上述のように音声処理 部 2 1を制御してこれを知らせる音声をスピーカ 1 1から出力させる。 そしてコン トローラ 2 0は、 この後所定の時間内に電話がとられなか つた場合には、 音声処理部 2 1 を制御して留守番電話用の所定のメ ッセ —ジ （合成音声） を生成させてこれを音声信号 S 2 Bとして通信ュニッ ト 2 5に送出させる。
この際コン トローラ 2 0は、 センサ出力受信部 1 7 (図 2 ) からのセ ンサ出力受信信号 S 1 2に基づき得られる図 1 2のような家中に配設さ れた各種センサの出力と、 図示しない時計から与えられる現在時刻情報 等とに基づいて、 例えば図 1 3のようにそのときのユーザの状況を判断 する。
そしてコン トーラ 2 0は、 この判断結果に基づいて、 上述の留守番電 話用のメ ッセージとして最適なメ ッセージを音声処理部 2 1に生成させ 、 これを通信ユニッ ト 2 5を介して電話相手に送信させる。
そしてコン トローラ 2 0は、 この後所定時間が経過し又は電話が切ら れるまで相手側から転送される音声情報及び又は画像情報を図示しない メモリに格納することにより記憶する。
さらにコン トローラ 2 0は、 この後キー入力部 2 4が操作されるなど してメ ッセージの再生命令が入力されると、 記憶した音声情報に基づく 音声をスピーカ 1 1から出力させると共に記憶した画像情報に基づく画 像を画像表示部 1 3に表示させる。
このようにしてこのロボヅ ト 1においては、 留守番電話としてユーザ の状況に応じたメ ッセージを電話相手に送信したり、 電話相手からのメ ッセージや画像を記憶する。
またロボッ ト 1のコン トローラ 2 0は、 例えば電話中にキー入力部 2 4が操作されて保留モードが選択されると、 音声処理部 2 1 を制御して 所定の音楽や音声を生成させ、 これを通信ュニッ ト 2 5を介して電話相 手に送信させる。 このようにしてこのロボッ ト 1は、 保留中に電話相手 に対して音楽やメ ッセージを提供することもできるようになされている
( 2— 3 ) 電話取次ぎ機能
一方このロボッ ト 1には、 図 1 2に示すように、 外部からかかってき た電話を複数のユーザ （Aさん、 Bさん、 Cさんとする） の中から対応 するユーザに取り次ぐ電話取次ぎ機能が搭載されている。
実際上ロボッ ト 1のコン トローラ 2 0は、 外部から電話がかかってき たことを通信ュニッ ト 2 5を介して認識すると、 例えば通常用いられて いる電話におけるナンバーディスプレイサービスを利用して電話相手の 電話番号を検出する。
そしてコン.トロ一ラ 2 0は、 このようにして検出した相手側の電話番 号と、 予め Aさん、 Bさん及び Cさんのそれぞれに対応付けられて登録 されている複数の電話番号とに基づいて、 その電話が Aさん、 Bさん及 び Cさんのだれにかかってきた電話であるかを判断する。
この際コン トローラ 2 0は、 相手側の電話番号を検出できなかった場 合や、 相手側の電話番号が登録されていなかった場合には、 音声処理部 2 1 を制御してだれにかけてきたかを問い合わせるメ ッセージを生成さ せ、 この音声情報を通信ュニッ ト 2 5を介して相手側に送信する。 そし てコン トローラ 2 0は、 この後相手側から返答として与えられる音声情 報に基づいて Aさん、 Bさん及び Cさんのうちのだれにかけてきたかを 音声処理部 2 1からの音声認識信号 S 2 Aに基づいて判断する。
そしてコン トローラ 2 0は、 その電話が例えば Aさんにかかってきた と判断すると、 このとき画像処理部 2 2を介して与えられる画像認識信 号 S 4 Aと、 予め登録されている Aさんの顔の画像情報とに基づいて、 必要に応じて各脚部 5 A〜 5 Dの関節機構を制御することにより移動し ながら Aさんを探す。
そしてコン トローラ 2 0は、 このような探索により Aさんを検出する と、 各脚部 5 A〜 5 Dの関節機構を制御することにより Aさんに近づく ようにロボッ ト 1 を移動させる。
さらにコン トローラ 2 0は、 この後口ボッ ト 1が Aさんに所定距離ま で近づく と、 例えば Aさんにかかってきた電話の相手が予め 「嫌いな人 」 として登録された人であった場合には、 対応する関節機構を制御する ことにより例えば図 9について上述したような 「悲しい動作」 を行わせ 、 これに対して電話の相手が予め 「好きな人」 として登録された人であ つた場合には、 例えば図 1 1について上述したような 「うれしい動作」 を行わせる。
このようにしてこのロボッ トにおいては、 電話取次ぎに加えて電話相 手をもその動作によってユーザに知らせることができるようになされて いる。
( 2 - 4 ) 遠隔操作機能
他方、 このロボッ ト 1には、 図 1 5に示すように、 ユーザが外部の電 話機や携帯電話機等の外部機器 5 0を介してロボッ ト 1に対して電話を かけ、 当該外部機器 5 0のダイヤルポタンを利用して所定の第 4のコー ド番号を入力することによって、 当該ロボッ ト 1に家の中のビデオテ一 プレコーダ 5 1やテレビジョン受像機 5 2等のスイ ッチのオン/オフ、 又は壁若しくは床にあるスィ ッチ 5 3、 5 4等のオン/オフなどを行わ せることができる遠隔操作機能が搭載されている。
実際上、 ロボッ ト 1のコン トローラ 2 0は、 外部機器 5 0から電話が かかってきたことを通信ュニッ ト 2 5を介して認識し、 その後第 4のコ 一ド番号が入力されたことを確認すると、 予め記憶している各第 4のコ ―ド番号に対する動作内容のテ一ブルとに基づいて指令内容を認識し、 認識結果に基づいて予め設定された所定の処理を実行する。
例えばコン トローラ 2 0は、 ビデオテープレコーダ 5 1やテレビジョ ン受像機 5 2などのリモートコン トロールにより操作できる電気製品の 電源をオン/オフすべき指令が与えられた場合には、 画像処理部 2 2か らの画像認識信号 S Aに基づいて周囲の状況を認識しながら各脚部 5 A〜 5 Dの関節機構を制御することによ り予め記憶しているその電気製 品の設置場所に当該ロボッ ト 1 を移動させる。
そしてコン トローラ 2 0は、 ロボッ ト 1がその電気製品をリモートコ ン トロールにより操作できる位置にまで移動すると、 赤外線送受信部 1 5を制御してその電気製品に向けてコン トロール信号としての赤外線信 号 R I 2を出射させて、 これによりその電気製品の電源等をオン/オフ させる。
またコン トローラ 2 0は、 壁又は床にあるスィ ッチ 5 3、 5 4をオン /オフ操作すべき指令が与えらた場合には、 各脚部 5 A〜 5 Dの関節機 構を制御することにより、 画像処理部 2 2からの画像認識信号 S 4 Aに 基づいて周囲の状況を認識しながら予め記憶しているそのスィ ツチ 5 3 、 5 4の設置場所にロボッ ト 1 を移動させる。
そしてコン トローラ 2 0は、 ロボッ ト 1がそのスィ ッチ 5 3、 5 4に 対して操作できる位置にまで移動すると、 例えばそのスィ ッチ 5 3が壁 にある場合には、 ロボッ ト 1の頭部 7 (図 1 ) の関節機構を制御して当 該頭部 7に配設された夕ツチセンサ 1 4をそのスィ ッチ 5 3に押し付け させることにより、 当該スイ ッチ 5 3をオン/オフ操作させる。
この際コン トローラ 2 0は、 夕ヅチセンサ 1 4がスィ ツチ 5 3に接触 したか否かを夕ツチセンサ 1 4の出力に基づいて認識し、 これによりそ のオン/オフ操作を確実に行わせる。
またコン トローラ 2 0は、 そのスィ ッチ 5 4が床にある場合には、 対 応する脚部 5 A〜 5 Dの関節機構を制御していずれかの脚部 5 A〜 5 D によってスィ ッチ 5 4を押圧操作させることにより、 当該スィ ッチ 5 4 をオン/オフさせる。
図 1 6は、 このようなロボッ ト 1の他の作業の例を示しており、 ロボ ヅ ト 1に壁に配設された給湯器 5 5のスィ ッチ 5 6をオン/オフ操作さ せたり、 ブライ ン ド 5 7を自動的に操作するためのスィ ッチ 5 8をロボ ッ ト 1に操作させることによ りモー夕 5 9を作動させてブライ ン ド 5 7 を昇降させることができる。
また洗濯物取込装置 6 0のスィ ッチ 6 1 をロボッ ト 1にオン操作させ ることによって、 洗濯物取込装置 6 0を駆動させて洗濯物 6 2を建物 6 3の外から建物 6 3の中に取り込ませることもできる。
さらにロボッ ト 1のコン トローラ 2 0は、 このような遠隔操作により 指定された行動を実行した場合において、 例えば対象機器がスィ ツチ操 作によっても正しく動作しなかったことを画像処理部 2 2からの画像認 識信号 S 4 Aや音声処理部 2 1からの音声認識信号 S 2 Aに基づいて認 識すると、 音声処理部 2 1及び通信ュニッ ト 2 5を制御することにより 、 これを知らせるメ ッセージを生成させてこれをユーザに送信させる。
このようにしてこのロボッ ト 1 においては、 当該ロボッ ト 1がュ一ザ により指定された処理を確実に行えたかをユーザが遠隔地においても確 認したり、 必要に応じてロボッ ト 1 を操作してエラ一原因を調べること もできるようになされている。
( 2 - 5 ) セキュリティ機能
さらにこのロボッ ト 1には、 異常を検出するセキュ リティ機能も搭載 されている。
実際上ロボッ ト 1のコン トローラ 2 0は、 ガスセンサ及び煙センサ 1 5 (図 2 ) から与えられるガス及び煙検出信号 S 6の入力の有無を常時 監視しており、 ガス及び煙検出信号 S 6が入力した場合には、 音声処理 部 2 1を制御してこれを知らせる音声をスピー力 1 1から出力させる。
またコン トローラ 2 0は、 これと共に通知モ一ドが設定されている場 合には、 通信ュニッ ト 2 5及び音声処理部 2 1 を制御して、 図 1 7のよ うに予め登録されているユーザの連絡先に所定のメ ッセ一ジを送信する と共に、 この後その状態で所定時間が経過したり、 又はさらに多量のガ スゃ煙を検出したときには、 通信ュニッ ト 2 5及び音声処理部 2 1 を制 御して警察や消防へ電話してこれを知らせるメ ッセージを送信する。 またコ ン ト ローラ 2 0は、 例えばセキュ リ イ機能の留守番モードがォ ン設定されている場合、 画像処理部 2 2からの画像認識信号 S 4 A及び 音声処理 2 1からの音声認識信号 S 2 Bに基づいて家の中の状態を常時 監視し、 例えば認識及び識別できない人 （予め登録されていない人） を 検出したときには、 図 1 8のように通信ユニッ ト 2 5及び音声処理部 2 1 を制御して所定のメ ッセージを予め登録されているユーザの連絡先及 び警察に送信する。
さらにこれと共にコン トローラ 2 0は、 上述のようにガス及び煙検出 信号 S 6が入力した場合や、 セキユ リ ィ機能の留守番モードがオン設定 されているときに認識及び識別できない人を検出した場合には、 このと き画像処理部 2 2からの画像情報及び音声処理部 2 1からの音声倩報を 順次記憶し、 この後この再生命令が与えられたときに当該記憶した画像 情報に基づく画像を画像表示部 1 3に表示させ、 記憶した音声情報に基 づく音声をスピーカ 1 1から出力させる。
このようにしてこのロボヅ ト 1においては、 災害や事故、 不法侵入者 等があった場合に飛行機等におけるボイスレコーダのように状況を記憶 し、 この後これを提示することもできるようになされている。
( 2— 6 ) 自動メンテナンス · バージョンアップ機能
さらにこのロボッ ト 1 には、 図 1 9に示すように、 メンテナンスセン 夕 6 0に電話をかけて自動的にメ ンテナンスを行ったり、 自動的にバー ジョンアップを図る自動メンテナンス ' バ一ジョンアツプ機能も搭載さ れている。
実際上ロボヅ ト 1のコン トローラ 2 0は、 定期的に通信ュニッ ト 2 5 を制御してメ ンテナンスセン夕 6 0に電話をかける。 そしてコン トロー ラ 2 0は、 このときメンテナンスセン夕 6 0のチェック装置と通信し、 当該チヱヅク装置の制御のもとに、 コン ト ローラ 2 0等を含めた各種機 能をチェックする。 そしてコン トローラ 2 0は、 このときいずれかの箇 所に異常を検出すると、 これをメンテナンスセン夕 6 0のチェック装置 に伝達する一方、 画像処理部 2 2を制御してこれを知らせるメ ッセージ を画像表示部 1 3に表示させる。
またコン ト ローラ 2 0は、 定期的に通信ュニヅ ト 2 5を制御してメン テナンスセン夕 6 0に電話をかける。 そしてコン トローラ 2 0は、 メン テナンスセン夕 6 0から供給される最新のプログラムを通信ュニッ ト 2 5を介して取り込み、 これをそれまで利用していたプログラムに代えて 図示しない内部のプログラム記憶用の記憶媒体に格納する。
さらにコン トローラ 2 0は、 メンテナンスセン夕 6 0から一方的に電 話回線等を通じて配信される最新のプログラム等についても上述と同様 にして通信ュニッ ト 2 5を介して取り込み、 これを上述のようにしてプ 口グラム記憶用の記憶媒体に格納する。
このようにしてこのロボッ ト 1 においては、 自動的にメンテナンスを 行ったり、 バージョンアップを図ることができるようになされている。 ( 2 - 7 ) E— m a i 1管理機能
一方、 このロボッ ト 1には、 E— m a i 1を管理する E— m a i 1管 理機能も搭載されている。
実際上ロボッ ト 1のコン トローラ 2 0は、 図 2 0に示すように、 E— m a i lを受信したことを通信ュニヅ ト 2 5を介して認識すると、 その テキス トデ一夕を図示しない内部メモリに取り込む。
次いでコン トローラ 2 0は、 宛て先のデータに基づいてだれ送られて きた E _ m a i 1であるかを判断し、 この判断結果に基づいて、 電話取 次ぎ機能において上述した方法により対応するユーザを探し出して近づ き、 この後音声処理部 2 1 を制御することにより E— m a i 1が届いた ことを知らせるメ ッセ一ジをスピーカ 1 1から出力させる。
この際コン ト ローラ 2 0は、 例えば電話取次ぎ機能において上述した 場合と同様にして、 例えば E— m a i 1の発信元が予め 「嫌いな人」 と して登録された人であった場合には、 対応する関節機構を制御すること により例えば図 9について上述したような 「悲しい動作」 を行わせ、 こ れに対して E— ma i lの発信元が予め 「好きな人」 として登録された 人であった場合には、 例えば図 1 1について上述したような 「うれしい 動作」 を行わせる。
このようにしてこのロボッ ト 1では、 E— ma i 1の管理に加えてそ の発信元をその動作によってユーザに知らせることができるようになさ れている。
( 2— 8 ) 要介護人監視機能
さらにこのロボッ ト 1には、 老人や子供等の介護や監視が必要なユー ザを監視する要介護人監視機能が搭載されている。
実際上、 ロボッ ト 1のコン トローラ 2 0は、 要介護人監視機能がオン 設定されている場合、 図 2 1に示すように、 他のユーザにより予め指定 されたユーザの行動や状況を画像処理部 2 2からの画像認識信号 S 2 A や、 音声処理部 2 1からの音声認識信号 S 4 A及びセンサ出力受信部 1 7 (図 2) からのセンサ出力受信信号 S 1 2に基づいて常に監視する。 そしてコン トローラ 20は、 所定時間以上ユーザが動かなかったとき や、 ユーザの声がしなかったときには、 上述の電話取次ぎ機能において 説明したようにしてユーザを探して近づいて行く。
そしてコン トローラ 20は、 ユーザに所定距離まで近づく と音声処理 部 2 1を制御して所定のメ ッセ一ジゃ音をスピーカ 1 1から出力させる 一方、 この後ユーザの動きを続けて監視し、 何の反応もなかったときに は音声処理部 2 1及び通信ュニッ ト 2 5を制御して予め登録されている 家族や病院等に電話をかけて異常を知らせるメ ッセージを送信する。 ( 2 - 9 ) ダンス機能
さらにこのロボッ ト 1には、 マイクロホン 1 0により集音した音楽に 合わせてダンスを行ったり、 電話回線 44等を通じて伝送される音楽や 、 音譜情報をコード化したいわゆる M I D I (Mu s i c a l I n— s t r ume n t D i i t a l I n t e r f a c e; 信号に づ いてダンスを行うダンス機能も搭載されている。 ここで M I D I規格は、 シンセサイザ、 リズムボックス、 シーケンサ 及びコンビュ一夕などを相互に接続する国際的な規格である。 そして M I D I規格では、 情報としてノート · オン （発音） 、 ノー ト ' オフ （停 音） 、 ピッチ ' ベンダ （連続的に音階を変化させる） 及びコン トロール チェンジ （その他の種々のコン トロール） などの情報を 1秒間に 1 3 0 0程度それぞれ識別番号を付加して M I D I信号として伝送することが 定義されており、 おおよそ人間が楽器を奏でて表現できる全ての情報を M I D I信号として伝送できるようになされている。
そしてこのロボッ ト 1の音声処理部 2 1は、 ダンス機能がオン設定さ れている場合において、 電話回線 4 4等を通じて M I D I信号が与えら れると、 これを通信ユニッ ト 2 5を介して取り込み、 当該 M I D I信号 に含まれるリズム、 音程及び音の強弱などの音楽特徴を表す情報を抽出 すると共に、 当該抽出した情報に基づいて同期信号を生成する。
例えば音声処理部 2 1は、 ドラムのパートの情報のみを抽出し、 当該 抽出した情報に基づいて ドラムが叩かれるタイ ミ ングを基準として、 そ のタイ ミングでパルスを発生させるようにして同期信号を生成し、 これ をコン トローラ 2 0に送出する。
また音声処理部 2 1は、 マイ クロホン 1 0により音楽を集音した場合 や、 電話回線等を通じて音楽 （非 M I D I信号） が与えられた場合には 、 当該マイクロホン 1 0から与えられる集音信号 1に基づき得られる音 楽又は電話回線を通じて伝送されてきた音楽に基づいて、 その音楽のリ ズム、 音程及び音の強弱などの音楽特徴を検出すると共に、 検出結果に 基づいて上述と同様にしてその音楽の音楽特徴に基づく同期信号を生成 し、 これをコン トローラ 2 0に送出する。
そしてコン トローラ 2 0は、 このようにして生成された同期信号に基 づいて、 図 2 2に示すように、 ロボッ ト 1があたかも リズム等に合わせ て踊っているかのごと く動作するように、 各脚部 5 A〜 5 Dの関節部分 、 各脚部 5 A〜 5 D及び胴体部 2の連結部分、 並びに頭部 6及び胴体部 2の連結部分の各関節機構を駆動する。
( 2 - 1 0 ) ロボッ ト間通信機能
さらにこのロボッ ト 1には、 ロボッ ト 1同士で通信を行いながらサッ 一力一ゲームなどの協調作業を行うロボッ ト間通信機能が搭載されてい る。
実際上、 ロボッ ト （以下、 これを第 1のロボッ トと呼ぶ） 1のコン ト ローラ 2 0は、 ロボッ ト間通信機能がオン設定されている場合、 画像処 理部 2 2からの画像信号 S 4に基づいて他のロボッ ト （以下、 これを第 2のロボッ トと呼ぶ） 1の位置及び状態を監視する。
そして第 1のロボヅ ト 1のコン ト口一ラ 2 0は、 第 2のロボヅ ト 1に 所望する行動や動作を行わせたいときには、 当該動作の実行指令を通信 ュニッ ト 2 5を介して当該第 2のロボッ ト 1に送信する。
このとき第 2のロポッ ト 1のコン トローラ 2 0は、 自己の通信ュニッ ト 2 5を介して与えられる実行指令に基づいて必要な関節機構を駆動し 、 これによ り指定された動作を実行する。
このようにしてこのロボッ ト 1においては、 ロボッ ト 1同士が互いに 通信を行いながら相互に相手のロボッ ト 1 を制御して所定の協調動作を 行うことができるようになされている。
なお図 2 4は、 このようなロボッ ト間通信機能を利用して 2人のュ一 ザが例えばサッカーゲームを行えるゲームシステム 7 0の構成例を示す ものである。
かかるゲームシステム 1においては、 2台のパーソナルコンビユー夕 7 1 A、 7 I Bを有し、 各ユーザがそれぞれ対応するパーソナルコンビ ユー夕 7 1 A、 7 I Bを用いて例えば 「ボールを前に出して攻めろ」 や 、 「右サイ ドから攻めてシュート しろ」 といった行動指令を入力するこ とができるようになされている。
この場合これらパーソナルコンピュー夕 7 1 A、 7 I Bは、 それぞれ 入力された指令に応じたコマン ドをイ ンターネッ ト 7 2、 コミュニケ一 シヨンサーバ 73、 電話回線 74及び電話機本体 75 A、 75 Bを順次 介して対応するチームのロボッ ト 1に送信する。
この結果対応するチームの各ロボヅ ト 1は、 このコマン ドに基づいて 上述のようにロポッ ト 1同士で通信を行いながら互いに他のロボッ ト 1 を制御しながら指示された内容を実行する。
このようにしてこのゲームシステム 70においては、 2人のユーザが それぞれ自己のチームのロボヅ ト 1を操作してサッカーゲームを行うこ とができるようになされている。
( 3 ) ロボッ ト 1におけるユーザ識別方法
次に、 上述した電話取次ぎ機能や要介護人監視機能及びセキュリティ 機能等を実現するための人間の認識及び識別方法について説明する。
まずこのロボッ ト 1の場合、 画像処理部 22は、 例えば特開平 6— 8 9 344号公報に開示された方法を用いて各ユーザを認識及び識別する 。 具体的には、 ユーザを認識及び識別するために、 図 2 5に示すような 顔パターン学習及び認識処理部 80が画像処理部 22内に設けられてい る。
そしてこの顔パターン学習及び認識処理部 8 0では、 画像認識部 1 2 から与えられる画像情報のうちの人の顔部分を RAM (R and om A c c e s s Memo r ) 及びアナ口グ /デイ ジ夕ル変換器からな るメモリ部 8 1において例えば 8ビッ トで量子化し、 得られた X y平面 上の 2次元輝度情報でなる顔画像データ I ( X , y ) を 1フレーム分ず つメモリ部 8 1の RAMに記憶する。
前処理部 82は、 メモリ部 8 1に記憶された顔画像データ I (x， y ) の基本モデルとして予め関数学習記憶部 84に記憶されている r個の 各関数 Fi (x， y ) ( i = 1 , 2 , ……， r ) のそれぞれについて、 顔 パターン P (x , y ) に対する相関量でなる寄与度 Xiを算出する。
また比較処理部 83は、 この算出結果に基づいて最大の寄与度 XHAX( 1 ≤MAX≤ r ) を有する関数 FHAX (x, y ) を検出し、 この関数 FMAX (x ， y ) の寄与度 XMAXが最大又は極大点となるまで関数 FMAX ( X , y ) 又 は顔パターン P (x， y ) を変形させるようにして、 関数 FMAX (x, y ) と顔パターン P ( X , y ) との差異量でなる変形量 M ( X , y ) を算 出する。
この変形量 M (x， y ) は、 関数学習記憶部 84及び変形量分析部 8 5に与えられる。 また関数学習記憶部 84には顔パターン P (x, y ) も与えられる。
関数学習記憶部 84は、 例えばニューラルネッ トワークにより構成さ れ、 上述のように顔パターン P ( X , y ) の基本モデルとして、 r個の 各関数 Fi ( X , y ) ( i = 1， 2， ……， r ) を記憶している。
そして関数学習記憶部 84は、 供給される変形量 M (x, y ) を用い て関数 FMAX ( X , y ) 又は顔パターン P ( x , y ) を変形し、 x y平面 上における変形した関数 Fw ' (X , y ) と、 変形した顔パターン P ' ( x， y ) とに基づいて、 関数 FHAX ( X , y ) を更新する。
一方変形量分析部 8 5は、比較処理部 83から与えられる変形量 M(x , y ) を分析し、 画面内における顔パターン P (x， y ) の上下左右の ずれ、 回転による位置ずれ、 又は遠近や画像認識部 1 2 (図 2 ) の拡大 縮小率などによる大きさの違いに関する成分を変形量 M (x， y ) から 除去することにより新たな変形量 M t d r (x, y ) を生成し、 これを 人物情報学習記憶部 8 6に送出する。
人物情報学習記憶部 8 6は、 動作モードが学習モードである場合、 供 給される変形量 Mt d r (x， y ) を、 コン トローラ 20から与えられ る例えば人物 （顔） に付与された番号 t ( t = 1， 2 , ……， T ； Tは 人物の顔の数） の関数である人物情報 K ( t ) と対応付けて （例えば同 じ人物 tの顔画像における複数の変形量 M t d r (x， y ) ， Mt d r ' (x, y ) ， Mt d r" (x， y ) ， ……の平均値などをその人物情 報 ( t ) として） 、 図示しない内部メモリに格納する。
すなわち人物情報学習記憶部 8 6は、 動作モードが学習モードである 場合、 変形量分析部 8 5から出力される人物 tの変形量 Mt d r (χ， y ) そのものを人物情報として記憶し、 この後同一人物 tの変形量 M t d r (x, y ) が入力するごとにその変形量 M t d r ( , y ) に基づ いて人物情報 Κ ( t ) を更新する。
さらに人物情報学習記憶部 86は、 動作モードが認識モードである場 合、 変形量分析部 8 5から与えられる変形量 Mt d r (x, y ) と、 そ の内部メモリに予め記憶されている各人物情報 K (t ) との例えばユー ク リ ツ ド距離をそれぞれ算出し、 その距離を最も短くする人物情報 K ( t ) における番号 tを認識結果 K0 としてコン トローラ 20に送出する ο
そしてコン トローラ 20は、 この認識結果 KQと、 予め登録時に番号 t と対応付けて記憶しているその人物の名前とに基づいて、 そのとき撮像 されている人物がだれであるか （その人物の名前） を認識する。
そしてこのように構成された顔パターン学習及び認識処理部 80では 、 変形量分析部 8 5において変形量 M ( X , y ) を分析して、 当該変形 量 M ( x , y ) に含まれる顔パターン P ( X , y ) の平行移動成分や、 回転移動成分及び拡大縮小成分を取り除き、 いわば新たな変形量 Mt d r (x, ) に基づいて、 人物情報学習記憶部 8 6に記憶されている標 準パターンを更新するため、 高い認識率を得ることができる。
( 4 ) ロボッ ト 1における同期信号の生成方法
続いて、 上述したダンス機能を実現するための上述の同期信号の生成 方法について説明する。
このロボッ ト 1の場合、 マイクロホン 1 0により集音した音楽や、 電 話回線等を通じて送られてきた音楽の音楽特徴、 及び外部から電話回線 等 44を介して与えられる M I D I信号に含まれる音楽特徴に基づいて ロボッ ト 1を踊らせるように動作させるための同期信号を生成する手段 として、 図 2 6のような同期信号生成部 9 0が音声処理部 2 1内に設け られている。 そしてこの同期信号生成部 9 0では、 通信ユニッ ト 2 5を介して与え られる外部からの M I D I信号 S 2 0を M I D I信号処理部 9 1に入力 する。 M I D I信号処理部 9 1は、 供給される M I D I信号 S 2 0から リズム、 音程及び音の強弱などの予め定められた音楽特徴を抽出すると 共に、 当該抽出した音楽特徴に基づいて同期信号 S 2 1 を生成し、 これ をコン トローラ 2 0に出力する。
また同期信号生成部 9 0では、 マイクロホン 1 0から与えられる集音 信号 S 1や通信ュニッ ト 2 5から与えられる音楽情報を非 M I D I信号 処理部 9 1に入力する。 この場合非 M I D I信号処理部 9 1においては 、 信号処理モ一ドとして外部操作によって 3通りの信号処理モードを選 択することができる。
この場合例えば第 1の信号処理モ一ドが選択された場合、 マイクホン 1 0からの集音信号 S 1又は通信ュニッ ト 2 5からの音楽情報が可変パ ン ドパスフィル夕回路又は複数のバン ドパスフィル夕回路から構成され るバン ドパスフィル夕部 9 3に与えられ、 当該バン ドバスフィルタ部 9 3において集音信号 S 1又は音楽情報に含まれる特定周波数帯域の信号 成分が抽出される。 この結果例えば恒常的に演奏される特定の楽器 （例 えばドラム） の信号成分が抽出され、 これがフィル夕処理信号 S 2 2 と してパワー測定部 9 4に与えられる。
パワー測定部 9 4は、 供給されるフィル夕処理信号に基づく音のパヮ 一 （強弱） を所定間隔 （例えば 1 0 〔m s〕 間隔） で検出し、 検出結果 を順次パワー検出信号 S 2 4 として特徴制御部 9 5に送出する。
特徴制御部 9 5は、 供給されるパワー検出信号 S 2 4のうちの予め設 定された閾値を越えた部分 （時刻） を検出する。 また特徴制御部 9 5は 、 この検出結果に基づいて時間軸上でリズム、 音程及び音の強弱を測定 し、 当該測定結果に基づいて上述の同期信号 S 2 1 を生成する。
そしてこのような第 1の信号処理モードでは、 主として ドラムのよう なテンポとパワーに注目したダンスをロボッ トに行わせるような同期信 号 S 2 1が生成され、 これがコン トローラ 2 0に与えられる。
一方、 非 M I D I信号処理部 9 2において、 第 2の信号処理モードが 選択された場合、 マイクロホン 1 0からの集音信号 S 2や通信ュニッ ト 2 5からの音楽情報がバン ドパスフィル夕部 9 3に与えられ、 当該パン ドパスフィ ル夕部 9 3において集音信号 S 1や音楽情報に対して全帯域 のフィルタ リ ング処理が施された後、 得られたフィル夕処理信号 S 2 3 が基本周波数抽出部 9 5に与えられる。
基本周波数抽出部 9 5は、 供給されるフィル夕処理信号 S 2 3から基 本周波数を抽出し、 得られた基本周波数信号 S 2 5が特徴制御部 9 6に 与えられる。 また特徴制御部 9 6は、 供給される基本周波数信号 S 2 5 を時間軸上の差分として測定し、 特定の差分情報に基づいて上述の同期 信号 S 2 1 を生成する。
そしてこのような第 2の信号処理モ一ドでは、 複数の楽器により奏で られた音楽全体のメロディに注目したダンスをロボッ トに行わせるよう な同期信号 S 2 1が生成され、 これがコン トローラ 2 0に与えられる。 他方、 非 M I D I信号処理部 9 2において、 第 3の信号処理モードが 選択された場合、 マイ クロホン 1 0からの集音信号 S 1や通信ュニッ ト 2 5からの音楽情報がバン ドパスフィル夕部 9 3に与えられ、 当該パン ドバスフ ィル夕部 9 3において第 1 の信号処理モード時と同様にして集 音信号 1又は音楽情報に含まれる特定周波数帯域の信号成分が抽出され 、 得られたフ ィル夕処理信号 S 2 3がパワー測定部 9 4に与えられる。 この結果第 1の信号処理モード時と同様にして、 このフィルタ処理信号 S 2 3に基づくパワー検出信号 S 2 4がパワー測定部 9 4において生成 され、 これが特徴制御部 9 6に与えられる。
またこれと共にバン ドパスフィルタ部 9 3は、 第 2の信号処理モード 時と同様にして集音信号 S 1や音楽情報に対して全帯域のフィル夕 リ ン グ処理を施し、 得られたフィル夕処理信号 S 2 3を基本周波数抽出部 9 5に送出する。 この結果第 2の信号処理モード時と同様にして、 このフ ィル夕処理信号 S 2 3に基づく基本周波数信号 S 2 5が基本周波数抽出 部 9 5において生成され、 これが特徴制御部 9 6に与えられる。
そして特徴制御部 9 6は、 供給されるパワー測定信号 S 2 4及び基本 周波数信号 S 2 5に基づいて、 第 1及び第 2の信号処理モ一ド時の処理 を組み合わせた処理により同期信号 S 2 1 を生成する。
実際上、 特徴制御部 9 6は、 例えば同じ楽曲でも音程差の少ないドラ ム音が主演奏の場合にはテンポ及び音の強弱差に基づいて第 1の信号処 理モード時と同様にして同期信号 S 2 1 を生成し、 静かで音の強弱差が 少ない連続した弦楽器音が主演奏の場合には基本周波数の差分に基づい て第 2の信号処理モード時と同様にして同期信号 S 2 1 を生成し、 これ らが混在する場合には少なく とも 2つ以上の特徴によって相互補正をか けるようにして同期信号 S 2 1を生成する。
そしてこのような第 3の信号処理モ一 ドでは、 第 1及び第 2の信号処 理モードでの処理の良い部分を合わせた高精度の同期信号 S 2 1が生成 され、 これがコン トローラ 2 0に与えられる。
このようにして同期信号生成部 9 0は同期信号 S 2 1を生成する。 ( 5 ) 本実施の形態の動作及び効果
以上の構成において、 このロボッ ト 1は、 外部から電話回線 4 4等を 介して与えられる画像情報及び音声情報に基づく画像を画像表示部 1 3 に表示し、 音声をスピーカ 1 1から出力する一方、 会話内容に応じた動 作を実行する。 またロボッ ト 1は、 外部から電話回線 4 4等を介して与 えられる動作命令 （第 2及び第 3のコード番号） に基づいて、 指定され た動作を実行する。
従ってこのロボッ ト 1を用いることによって、 音声や画像による意思 伝達や、 これに加えて実在のロボッ ト 1の動きを通しての意思伝達を行 うことができ、 あたかも相手が目の前に居るようなリアリティのあるコ ミュニケーシヨンが可能となる。 また例えばこのロボッ ト 1 を用いるこ とによって、 例えば子供や介護の必要な老人が家にいるときに、 外部か ら家族や医者が図 1のロボッ ト 1に電話し、 ロボッ ト 1の画像認識部 1 2を通じて子供や老人の様子を観察したり、 ロボッ ト 1 を通じて話すこ とによりスムーズなコ ミュニケーションを行うことができる。
またロボッ ト 1は、 外部から電話がかかってきたときに所定時間経過 しても電話がとられなかった場合には、 家の中に配設された各種センサ の出力に基づいてそのときのユーザの状況を判断し、 判断結果に応じた メ ッセージを電話相手に送信する。 従ってこのロボッ ト 1 を用いること によって、 煩雑な設定作業を必要とすることなく適切な留守番電話要の メ ッセージを電話相手に与えることができる。
さらにロボッ ト 1は、 外部から電話がかかってきたときにナンバーデ イスプレイサ一ビス又は音声による問い合わせにより どのユーザに電話 がかかってきたかを認識し、 認識結果に基づいてそのユーザに近づいて ゆく。 従ってこのロボヅ ト 1 を用いることによって、 例えばそのユーザ が手を離せない用事で電話を取りにいけない場合においても、 当該ュ一 ザが電話の相手と簡単に電話をすることができる。
さらにこのロボッ ト 1は、 ユーザから電話回線 4 4等を介して与えら れる指令に基づいて、 家の中のビデオテープレコーダ 5 1やテレビジョ ン受像機 5 2等のスィ ッチや、 壁又は床にあるスィ ッチ 5 3、 5 4等を オン/オフ操作する。 従ってこのロボッ ト 1を用いることによって、 電 話によって操作ができないような電気製品や、 スィ ッチをコン トロール することができる。
さらにこのロボッ ト 1は、 家の中の状況を常時認識し、 異常を発見し たときにはユーザや、 警察及び又は消防署等に連絡する。 従ってこの口 ボッ ト 1 を用いることによって、 家のセキュリティ を確保することがで きる。
さらにこのロボッ ト 1は、 定期的にメンテナンスセン夕 6 0に連絡し て各種機能をチェック したり、 最新のプログラムをダウンロードする。 従ってこのロボッ ト 1は、 通常、 ユーザがロボッ ト 1の状態を意識する ことなく使用することができる。
さらにこのロボッ ト 1は、 E— m a i lを受けたときに、 宛て先とな るユーザを検出し、 当該ユーザに近づいてゆく。 従ってこのロボッ ト 1 を用いることによって、 ュ一ザが E— m a i 1が届いたことを容易に認 識することができる。
さらにこのロボッ ト 1は、 指定されたユーザを常に監視し、 異常時に は予め登録された他のユーザや病院に連絡する。 従ってこのロボッ ト 1 を用いることによって、 要介護人に異常が発生した場合に直ちに対応す ることができる。
さらにこのロボッ ト 1は、 集音した外部音でなる音楽や電話回線 4 4 等を介して伝送される M I D I信号 S 2 0に基づいて、 リズムを合わせ てダンスする。 従ってこのロボッ ト 1によれば、 アミューズメン ト性を 向上させることができる。
さらにこのロボッ ト 1は、 ロボッ ト 1同士で通信しながら他のロボッ ト 1 を制御する。
従ってこのロボッ ト 1によれば、 複数台のロボヅ ト 1に協調した作業を 行わせることができる。
以上の構成によれば、 ロボッ ト 1が、 外部から電話回線 4 4等を介し て与えられる画像情報及び音声情報に基づく画像及び音声を表示及び出 力したり、 会話内容に応じた動作を行ったり、 外部から電話回線 4 4等 を介して与えられる動作命令に基づいて指定された動作を実行するよう にしたことにより、 音声及び画像による意思伝達や、 実在のロボッ ト 1 の動きを通しての意思伝達を行うことができ、 かく してリアリティのあ るコミュニケーションを可能とすることができる。 かくするにっき利用 価値の高いロボッ トを実現できる。
またロボッ ト 1にロボッ ト電話機能、 留守番電話機能、 電話取次ぎ機 能、 遠隔操作機能、 セキュ リティ機能、 自動メ ンテナンス · バージョ ン アップ機能、 E— m a i l管理機能、 要介護人監視機能、 ダンス機能及 びロボッ ト間通信機能等を搭載するようにしたことにより、 ユーザにと つて有効な行動及び動作を行わせることができ、 かく して利用価値の高 いロボヅ トを実現できる。
( 6 ) 他の実施の形態
なお上述の実施の形態においては、 ロボッ ト 1 を犬や猫のような動物 の形態とすることによりユーザに実際の動物と同様に親近感が湧く よう にした場合について述べたが、 本発明はこれに限らず、 例えば他の種類 や形状を広く適用することができる。 この場合において、 ロボッ ト 1の 移動手段として、 複数の脚部 5 A〜 5 Dに代えて複数のローラや車輪な どを用いるようにしても良い。
また上述の実施の形態においては、 一例としてロボッ ト 1が外部と電 話回線 4 4を通じて各種情報を送受するようにした場合について述べた が、 本発明はこれに限らず、 例えば携帯電話回線や、 無線、 イン夕一ネ ヅ ト専用回線、 赤外線信号又は L A N ( L o c a 1 A r e a
e t w o r k ) などを介して同様の通信を行い得るようにしても良い ο
さらに上述の実施の形態においては、 キー入力部 2 4を操作したり、 外部機器 5 0のダイヤルボタンを操作するようにして各種指令を入力で きるようにした場合について述べたが、 本発明はこれに限らず、 これに 代えて又はこれに加えて例えばコン トローラ 2 0の音声認識機能を利用 した音声による指令入力や、 リモートコン トローラを用いた指令入力な どを行い得るようにしても良い。
さらに上述の実施の形態においては、 ロボッ ト 1が家の中の電気製品 を操作する方法として、 その電気製品の所まで移動して赤外線信号 I R 2を出力したり、 又は物理的にスィ ツチを操作するようにした場合につ いて述べたが、 本発明はこれに限らず、 例えば家の中に L A Nを設ける と共に家中の電気製品をこの L A Nに接続し、 ロボッ ト 1がこの L A N を介して対応する電気製品を操作するようにしても良い。 なおこの際口 ボッ ト 1 と L A Nとを無線によ り接続することによって、 口ポッ ト 1 を 移動自在とすることができる。
さらに上述の実施の形態においては、 外部から電話がかかってきた場 合や E - m a i lが届いた場合にロボヅ ト 1がそのユーザにまで移動し て行く ようにした場合について述べたが、 本発明はこれに限らず、 ユー ザごとに異なる着信音を出力したり、 対応するユーザの名前を出力する などしてだれに電話がかかってきたかを知らせるようにしても良い。 さらに上述の実施の形態においては、 外部からかかってきた電話を対 応するユーザに取り次ぐ際に、 ロボッ ト 1がそのユーザを探し出すよう にした場合について述べたが、 本発明はこれに限らず、 例えば各ユーザ がほぽ决また場所にいる場合には、 これら各ユーザの居場所を予めロボ ッ ト 1に記憶させておき、 電話がかかってきたときに加速度センサ及び 角速度センサ 2 3の出力を利用して姿勢や位置を認識しながらその場所 に移動するようにしても良い。
さらに上述の実施の形態においては、 留守番電話機能として音声及び 画像を記憶するようにした場合について述べたが、 本発明はこれに限ら ず、 例えばテキス トデ一夕をも記憶するようにしても良い。 またメンテ ナンスセン夕 6 0が E— m a i 1などのテキス トデータの管理も行うよ うにしても良く、 メンテナンスセン夕 6 0の制御のもとにロボヅ ト 1の 音声処理部 2 1 を通じて E— m a i l等のテキス トを書いたり、 読んだ りさせるようにしても良い。
さらに上述の実施の形態にといては、 外部から電話がかかってきたと きにロボッ ト 1がユーザを識別しながら探し出すようにした場合につい て述べたが、 本発明はこれに限らず、 例えば電話がかかってきたときに スピーカ 1 1 を介して対応するユーザに音声で呼びかけ、 その返事があ つた方向を検出して当該方向に向けて移動したり、 又は目的のユーザに ある動作 （例えば、 手を振るなど） をしてもらい、 その動作を行ったュ 一ザに向けて移動するようにしても良い。 さらに上述の実施の形態においては、 ロボッ ト 1がバッテリ （リチウ ムイオン 2次電池のような繰り返し充電可能電池の他に、 1次電池のよ うな電池でも良い） を電源とするようにした場合について述べたが、 本 発明はこれに限らず、 例えば商用交流電源を電源とするようにしても良 い。
さらに上述の実施の形態においては、 遠隔操作機能の説明において、 外部機器のダイヤルボタン操作によりロボッ ト 1 を操作するようにした 場合について述べたが、 本発明はこれに限らず、 例えばテレビ電話機や テレビ付き携帯電話機を利用して、 ロボッ ト 1から送られてく る画像認 識部 1 2により撮像された周囲の状況をユーザが認識しながら、 「右」 や 「左」 などの音声の指示をロボッ ト 1に与えて、 当該指示に応じて口 ボヅ ト 1が移動するようにしても良い。
さらに上述の実施の形態においては、 音楽処理部 2 1の同期信号生成 部 9 0を図 2 6のように構成するようにした場合について述べたが、 本 発明はこれに限らず、 例えば同期信号生成部 9 0の入力段に入力信号が M I D I信号か否かを判断する判断回路を配置すると共に、 通信ュニッ ト 2 5からの音声情報や M I D I信号、 マイクロホン 1 0からの集音信 号 S 1、 図示しない着脱自在の記憶媒体から読みだされた音楽情報又は M I D I信号などの音声情報を全てこの判断回路に与え、 当該判断回路 における判断結果に基づいて M I D I信号を M I D I信号処理部 9 1に 与え、 非 M I D I信号を B P F部 9 3に与えるように同期信号生成部 9 0を構成するようにしても良い。
さらに上述の実施の形態においては、 留守番電話機能を図 1のように 構成されたロボッ ト 1に適用するようにした場合について述べたが本発 明はこれに限らず、 この他種々の構成の情報処理システムに広く適用す ることができる。
さらに上述の実施の形態においては、 留守番電話機能時における応答 メ ッセージを音声処理部 2 1が生成するようにした場合について述べた が、 本発明はこれに限らず、 このような応答メ ッセージを予めメモリ等 の所定の記憶媒体に記憶しておき、 ユーザの状態に応じて対応する応答 メ ッセージを読み出して電話相手に送信するようにしても良い。 産業上の利用可能性
ロボッ ト装置及び情報処理システムにおいて、 アミューズメン トロボ ッ トゃ、 介護ロボッ トなどに適用することができる。

Claims

請 求 の 範 囲
1 . ロボヅ ト装置において、
動作を生成する動作部位と、
上記動作部位を駆動するァクチユエ一夕と、
上記ァクチユエ一夕を制御するァクチユエ一夕制御手段と、 上記ロボッ ト装置と他の電子機器との間で信号の受信を行うための通 信手段と、
上記通信手段が受信した上記信号から情報を検出する情報検出手段と を具え、
上記ァクチユエ一夕制御手段は、
上記情報検出手段が検出した上記情報に基づいて、 上記ァクチユエ一 夕を制御することにより、 上記動作部位において、 所定の動作を生成さ せる
ことを特徴とするロポッ ト装置。
2 . 上記通信手段は、 電話通信手段であって、
上記電話通信手段が受信した信号の送信者を検出する送信者検出手段 をさらに有し、
上記ァクチユエ一夕制御手段は、 上記動作部位において、 上記検出さ れた送信者に応じた所定の動作を生成させる
ことを特徴とする請求の範囲第 1項に記載のロボッ ト装置。
3 . 上記通信手段は、 電話通信手段であって、
上記電話通信手段が受信した信号の送信者を検出する送信者検出手段 をさらに有し、
上記ァクチユエ一夕制御手段は、 上記動作部位において、 上記検出さ れた送信者に応じた所定の動作を生成させる ことを特徴とする請求の範囲第 1項に記載のロボッ ト装置。
4 . 上記情報検出手段は、 電子メールを検出する電子メール検出手段で あって、
上記ァクチユエ一夕制御手段は、 上記情報検出手段が検出した電子メ ールに基づいて、 上記ァクチユエ一夕を制御することにより、 上記動作 部位において、 所定の動作を生成させる
ことを特徴とする請求の範囲第 1項に記載のロボッ ト装置。
5 . ロボッ ト装置において、
所定の情報が記憶される記憶手段と、
上記記憶手段に記憶されている記憶内容を変更する記憶内容変更手段 と、
上記ロボッ ト装置と他の電子機器との間で信号の受信を行うための通 信手段と、
上記通信手段が受信した信号から上記所定の情報を更新することを示 す情報更新命令を検出する命令検出手段とを有し、
上記記憶内容変更手段は、 上記命令検出手段が検出した情報更新命令 に基づいて、 上記所定の情報を更新する
ことを特徴とするロボッ ト装置。
6 . 上記所定の情報は、 上記ロボッ ト装置の制御情報である
ことを特徴とする請求の範囲第 5項に記載のロボッ ト装置。
7 . ユーザ自身あるいはユーザの環境周辺に設けられた一つ以上のセン ザからのセンサ出力を受信するセンサ出力受信手段と、
上記センサ出力受信手段が受信したセンサ出力に基づいて、 ユーザの 状態を認識するユーザ状態認識手段と、 動作を生成する動作部位と、
上記動作部位を駆動するァクチユエ一夕と、
上記ァクチユエ一夕を制御するァクチユエ一夕制御手段と、 上記ロボッ ト装置と他の電子機器との間で信号の受信を行うための電 話通信手段とを有し、 上記電話通信手段が、 他の電子機器から通信信号 を受信し、 所定の時間内に電話が取られなつかた場合に、
上記ァクチユエ一夕制御手段は、 上記ユーザ状態認識手段が認識した ユーザの状態に基づいて、 上記動作部位において、 所定の動作を生成さ せる
ことを特徴とするロボッ ト装置。
8 . ユーザの状態に応じた応答メ ッセージが記憶される記憶手段と、 上記応答メ ッセージを上記記憶手段から出力する応答メ ッセージ出力 手段とを有し、
上記電話通信手段が、 他の電子機器から通話信号を受信し、 所定の時 間内に電話が取られなかった場合、 上記応答メ ッセージ出力手段が、 上 記ユーザ状態認識手段が認識したユーザの状態に基づいた応答メ ッセー ジを出力する
ことを特徴とする請求の範囲第 7項に記載のロボッ ト装置。
9 . ユーザ自身あるいはユーザの環境周辺に設けられた一つ以上のセン ザと、
上記センサ出力に基づいて、 ユーザの状態を認識するユーザ状態認識 手段と、
ユーザの状態に応じた応答メ ッセージが記憶される応答メ ッセージ記 憶手段と、
上記応答メ ッセージを出力する応答メ ッセージ出力手段とを有し、 所定の時間内に電話が取られなかった場合、 上記応答メ ッセージ出力 手段が、 上記ユーザ状態認識手段が認識したユーザの状態に基づいて、 上記応答メ ッセージを出力する
ことを特徴とする情報処理システム。
1 0 . ロボッ ト装置において、
動作を生成する動作部位と、
上記動作部位を駆動するァクチユエ一夕と、
上記ァクチユエ一夕を制御するァクチユエ一夕制御手段と、
上記ロボッ ト装置と他の電子機器との間で信号の送信を行うための通 信手段と、
外部からの情報を入力する情報入力手段と、
外部へ情報を出力する情報出力手段とを有し、
上記ァクチユエ一夕制御手段は、 上記情報入力手段に入力された情報 に基づいて、 上記ァクチユエ一夕を制御することにより、 上記動作部位 において、 所定の動作を生成し、
上記情報出力手段は、 上記情報入力手段に入力された情報に基づいて、 上記通信手段から他の電子機器へ所定の情報を出力する
ことを特徴とするロボッ ト装置。
1 1 . ロボッ ト装置において、
ユーザからの情報を入力するセンサ手段と、
動作を生成する動作部位と、
上記動作部位を駆動するァクチユエ一夕と、
上記ァクチユエ一夕を制御するァクチユエ一夕制御手段と、
所定の情報を出力する情報出力手段と、
上記ロボッ ト装置と他の電子機器との間で信号の送信を行うための通 信手段とを有し、
ユーザからの入力が所定の時間なかった場合に、 上記ァクチユエ一夕 制御手段は、 上記動作部位において、 所定の動作を生成し、
所定の動作を生成後、 さらに、 所定の時間内にユーザからの入力がな かった場合に、 上記通信手段は、 上記情報出力手段から出力される所定 の情報を他の電子機器に送信する
ことを特徴とするロボッ ト装置。
1 2 . ロボッ ト装置において、
動作を生成する動作部位と、
上記動作部位を駆動するァクチユエ一夕と、
上記ァクチユエ一夕を制御するァクチユエ一夕制御手段と、 上記ロボッ ト装置と他の電子機器との間で信号を受信を行うための信 号受信手段と、
他の電子機器を操作する電子機器操作手段と、
上記信号受信手段が受信した信号から、 所定の情報を検出する情報検 出手段とを有し、
上記ァクチユエ一夕制御手段は、 上記情報検出手段が検出した所定の 情報に基づいて、 上記ァクチユエ一夕を制御することによ り、 上記動作 部位において、 所定の動作を生成し、
上記電子機器操作手段は、 上記情報検出手段が検出した所定の情報に 基づいて、 他の電子機器を操作する
ことを特徴とするロボッ ト装置。
PCT/JP1999/003344 1998-06-23 1999-06-23 Robot et systeme de traitement d'information WO1999067067A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP99926770A EP1122038A4 (en) 1998-06-23 1999-06-23 ROBOT AND INFORMATION PROCESSING SYSTEM
US09/719,127 US6529802B1 (en) 1998-06-23 1999-06-23 Robot and information processing system
JP2000555736A JP4328997B2 (ja) 1998-06-23 1999-06-23 ロボット装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP10/175618 1998-06-23
JP17561898 1998-06-23

Publications (1)

Publication Number Publication Date
WO1999067067A1 true WO1999067067A1 (fr) 1999-12-29

Family

ID=15999244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1999/003344 WO1999067067A1 (fr) 1998-06-23 1999-06-23 Robot et systeme de traitement d'information

Country Status (6)

Country Link
US (1) US6529802B1 (ja)
EP (1) EP1122038A4 (ja)
JP (1) JP4328997B2 (ja)
KR (1) KR100617525B1 (ja)
CN (1) CN1146491C (ja)
WO (1) WO1999067067A1 (ja)

Cited By (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001242780A (ja) * 2000-02-29 2001-09-07 Sony Corp 情報通信ロボット装置、情報通信方法および情報通信ロボットシステム
JP2001246580A (ja) * 2000-03-03 2001-09-11 Sony Corp 情報通信ロボット装置、情報通信方法および情報通信ロボットシステム
JP2001310283A (ja) * 2000-02-14 2001-11-06 Sony Corp ロボットシステム、ロボット装置及びその制御方法、並びに情報処理装置及び方法
JP2001353679A (ja) * 2000-06-13 2001-12-25 Oki Electric Ind Co Ltd ペット用ロボット
JP2002133090A (ja) * 2000-10-20 2002-05-10 Casio Comput Co Ltd 留守管理システムおよび留守管理装置並びにそれらのプログラム記録媒体
JP2002166378A (ja) * 2000-11-30 2002-06-11 Sony Corp ロボット装置
JP2002205290A (ja) * 2001-01-05 2002-07-23 Sony Corp 脚式移動ロボットの制御装置及び制御方法
EP1229471A1 (en) * 2000-02-10 2002-08-07 Sony Corporation Automatic device, information providing device, robot device, and transaction method
JP2002233979A (ja) * 2001-01-19 2002-08-20 Chinsei Ri 知能型愛玩ロボット
FR2822279A1 (fr) * 2001-03-13 2002-09-20 Marc Didier Patrick Pettmann Robot de telesurveillance et de telemanipulation via internet
US6462498B1 (en) 2000-05-09 2002-10-08 Andrew J. Filo Self-stabilizing walking apparatus that is capable of being reprogrammed or puppeteered
JP2002307338A (ja) * 2001-04-18 2002-10-23 Nippon Telegr & Teleph Corp <Ntt> 動作型存在情報伝達装置およびその制御方法
WO2003006923A2 (de) * 2001-07-12 2003-01-23 Daimlerchrysler Ag Verfahren und vorrichtung zur messung und nachbildung einer von einer person subjektiv wahrgenommenen umgebung
JP2003235019A (ja) * 2002-02-07 2003-08-22 Nippon Telegr & Teleph Corp <Ntt> 通信支援装置
US6705917B2 (en) 2000-12-15 2004-03-16 Andrew S. Filo Self-phase synchronized walking and turning quadruped apparatus
EP1441319A1 (en) * 2001-08-07 2004-07-28 Omron Corporation Information collection apparatus, information collection method, information collection program, recording medium containing information collection program, and information collection system
WO2004088514A1 (ja) * 2003-03-28 2004-10-14 Sony Corporation 情報提供装置及び方法,並びに情報提供システム
US6853880B2 (en) * 2001-08-22 2005-02-08 Honda Giken Kogyo Kabushiki Kaisha Autonomous action robot
WO2005119620A1 (en) * 2004-06-04 2005-12-15 Canon Kabushiki Kaisha Situation monitoring device and situation monitoring system
JP2006508806A (ja) * 2002-07-25 2006-03-16 インタッチ−ヘルス・インコーポレーテッド 医療用遠隔操作ロボット・システム
US7047105B2 (en) 2001-02-16 2006-05-16 Sanyo Electric Co., Ltd. Robot controlled by wireless signals
JP2008090013A (ja) * 2006-10-02 2008-04-17 Sony Corp ロボット装置、音楽出力方法及び音楽出力プログラム
US7373396B2 (en) 2001-01-30 2008-05-13 Nec Corporation Information delivery system and method and program of the system
JP2008200843A (ja) * 2007-01-22 2008-09-04 Zmp:Kk 音響再生ロボット
US7442107B1 (en) 1999-11-02 2008-10-28 Sega Toys Ltd. Electronic toy, control method thereof, and storage medium
JP2009297892A (ja) * 2000-09-19 2009-12-24 Toyota Motor Corp 移動体搭載用のロボット及びこれを搭載した移動体
US8077963B2 (en) 2004-07-13 2011-12-13 Yulun Wang Mobile robot with a head-based movement mapping scheme
JP2012524445A (ja) * 2009-04-17 2012-10-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ アンビエント通信システム、当該システム用の動作デバイス、作動方法、及び計算機で読み取り可能な媒体
US8340819B2 (en) 2008-09-18 2012-12-25 Intouch Technologies, Inc. Mobile videoconferencing robot system with network adaptive driving
US8384755B2 (en) 2009-08-26 2013-02-26 Intouch Technologies, Inc. Portable remote presence robot
US8463435B2 (en) 2008-11-25 2013-06-11 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
WO2013137191A1 (ja) * 2012-03-12 2013-09-19 株式会社エヌ・ティ・ティ・ドコモ 遠隔制御システム、遠隔制御方法、通信装置及びプログラム
JP2013536090A (ja) * 2010-07-02 2013-09-19 アルデバラン ロボティクス ヒューマノイドゲーム実行ロボット、ならびに前記ロボットを使用するための方法およびシステム
US8670017B2 (en) 2010-03-04 2014-03-11 Intouch Technologies, Inc. Remote presence system including a cart that supports a robot face and an overhead camera
US8718837B2 (en) 2011-01-28 2014-05-06 Intouch Technologies Interfacing with a mobile telepresence robot
JP2014086877A (ja) * 2012-10-23 2014-05-12 Sharp Corp 自走式電子機器および携帯端末
US8836751B2 (en) 2011-11-08 2014-09-16 Intouch Technologies, Inc. Tele-presence system with a user interface that displays different communication links
US8849680B2 (en) 2009-01-29 2014-09-30 Intouch Technologies, Inc. Documentation through a remote presence robot
US8849679B2 (en) 2006-06-15 2014-09-30 Intouch Technologies, Inc. Remote controlled robot system that provides medical images
US8861750B2 (en) 2008-04-17 2014-10-14 Intouch Technologies, Inc. Mobile tele-presence system with a microphone system
US8892260B2 (en) 2007-03-20 2014-11-18 Irobot Corporation Mobile robot for telecommunication
US8897920B2 (en) 2009-04-17 2014-11-25 Intouch Technologies, Inc. Tele-presence robot system with software modularity, projector and laser pointer
US8902278B2 (en) 2012-04-11 2014-12-02 Intouch Technologies, Inc. Systems and methods for visualizing and managing telepresence devices in healthcare networks
US8930019B2 (en) 2010-12-30 2015-01-06 Irobot Corporation Mobile human interface robot
US8935005B2 (en) 2010-05-20 2015-01-13 Irobot Corporation Operating a mobile robot
US8996165B2 (en) 2008-10-21 2015-03-31 Intouch Technologies, Inc. Telepresence robot with a camera boom
US9014848B2 (en) 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US9138891B2 (en) 2008-11-25 2015-09-22 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
US9160783B2 (en) 2007-05-09 2015-10-13 Intouch Technologies, Inc. Robot system that operates through a network firewall
US9174342B2 (en) 2012-05-22 2015-11-03 Intouch Technologies, Inc. Social behavior rules for a medical telepresence robot
JP2015192844A (ja) * 2014-03-28 2015-11-05 学校法人塚本学院 大阪芸術大学 脳機能障害者生活支援装置
US9193065B2 (en) 2008-07-10 2015-11-24 Intouch Technologies, Inc. Docking system for a tele-presence robot
US9198728B2 (en) 2005-09-30 2015-12-01 Intouch Technologies, Inc. Multi-camera mobile teleconferencing platform
US9251313B2 (en) 2012-04-11 2016-02-02 Intouch Technologies, Inc. Systems and methods for visualizing and managing telepresence devices in healthcare networks
US9264664B2 (en) 2010-12-03 2016-02-16 Intouch Technologies, Inc. Systems and methods for dynamic bandwidth allocation
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
JP2016083740A (ja) * 2014-10-28 2016-05-19 シャープ株式会社 電子機器、制御システム、制御方法、および制御プログラム
US9361021B2 (en) 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US9375843B2 (en) 2003-12-09 2016-06-28 Intouch Technologies, Inc. Protocol for a remotely controlled videoconferencing robot
US9498886B2 (en) 2010-05-20 2016-11-22 Irobot Corporation Mobile human interface robot
JP2016215292A (ja) * 2015-05-15 2016-12-22 Kddi株式会社 ロボット動作生成装置およびプログラム
JP2016219027A (ja) * 2016-07-14 2016-12-22 ホーチキ株式会社 警報連携システム
JP2017010516A (ja) * 2015-06-24 2017-01-12 百度在線網絡技術（北京）有限公司 人工知能に基づくヒューマンコンピュータインターアクションの方法、装置及び端末機器
US9610685B2 (en) 2004-02-26 2017-04-04 Intouch Technologies, Inc. Graphical interface for a remote presence system
JP2017517903A (ja) * 2014-01-31 2017-06-29 ルノー エス．ア．エス． 自動車両の自動移動操縦を制御するための方法
US9842192B2 (en) 2008-07-11 2017-12-12 Intouch Technologies, Inc. Tele-presence robot system with multi-cast features
US9849593B2 (en) 2002-07-25 2017-12-26 Intouch Technologies, Inc. Medical tele-robotic system with a master remote station with an arbitrator
WO2018008224A1 (ja) * 2016-07-04 2018-01-11 ソニー株式会社 ロボット、ロボットシステム及び記憶媒体
US9974612B2 (en) 2011-05-19 2018-05-22 Intouch Technologies, Inc. Enhanced diagnostics for a telepresence robot
US10343283B2 (en) 2010-05-24 2019-07-09 Intouch Technologies, Inc. Telepresence robot system that can be accessed by a cellular phone
US10471588B2 (en) 2008-04-14 2019-11-12 Intouch Technologies, Inc. Robotic based health care system
WO2020090332A1 (ja) * 2018-10-30 2020-05-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10769739B2 (en) 2011-04-25 2020-09-08 Intouch Technologies, Inc. Systems and methods for management of information among medical providers and facilities
WO2020202353A1 (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 コミュニケーションロボットおよびその制御方法、情報処理サーバならびに情報処理方法
WO2020202354A1 (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 コミュニケーションロボットおよびその制御方法、情報処理サーバならびに情報処理方法
US10808882B2 (en) 2010-05-26 2020-10-20 Intouch Technologies, Inc. Tele-robotic system with a robot face placed on a chair
US10875182B2 (en) 2008-03-20 2020-12-29 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US11154981B2 (en) 2010-02-04 2021-10-26 Teladoc Health, Inc. Robot user interface for telepresence robot system
US11389064B2 (en) 2018-04-27 2022-07-19 Teladoc Health, Inc. Telehealth cart that supports a removable tablet with seamless audio/video switching
US11399153B2 (en) 2009-08-26 2022-07-26 Teladoc Health, Inc. Portable telepresence apparatus
US20230030442A1 (en) * 2021-07-31 2023-02-02 Sony Interactive Entertainment Inc. Telepresence robot
US11636944B2 (en) 2017-08-25 2023-04-25 Teladoc Health, Inc. Connectivity infrastructure for a telehealth platform
US11742094B2 (en) 2017-07-25 2023-08-29 Teladoc Health, Inc. Modular telehealth cart with thermal imaging and touch screen user interface
US11862302B2 (en) 2017-04-24 2024-01-02 Teladoc Health, Inc. Automated transcription and documentation of tele-health encounters

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002018146A (ja) * 2000-07-04 2002-01-22 Tomy Co Ltd 対話型玩具、反応行動パターン生成装置および反応行動パターン生成方法
US20020059386A1 (en) * 2000-08-18 2002-05-16 Lg Electronics Inc. Apparatus and method for operating toys through computer communication
WO2002054184A2 (en) 2001-01-04 2002-07-11 Roy-G-Biv Corporation Systems and methods for transmitting motion control data
US7904194B2 (en) * 2001-02-09 2011-03-08 Roy-G-Biv Corporation Event management systems and methods for motion control systems
US7003083B2 (en) * 2001-02-13 2006-02-21 International Business Machines Corporation Selectable audio and mixed background sound for voice messaging system
US8031196B2 (en) * 2002-02-19 2011-10-04 Sharp Kabushiki Kaisha Display, electronic device, data transmitting method, information terminal, host apparatus, program, recording medium
JP2005525597A (ja) * 2002-05-14 2005-08-25 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 電気機器の対話制御
NO318000B1 (no) * 2002-07-04 2005-01-17 Torbjorn Aasen Anordning ved sensor, samt anvendelse i et alarmsystem
US7118443B2 (en) 2002-09-27 2006-10-10 Mattel, Inc. Animated multi-persona toy
JP4026758B2 (ja) * 2002-10-04 2007-12-26 富士通株式会社 ロボット
US7724705B2 (en) 2003-03-14 2010-05-25 Nokia Corporation Wireless transfer of data
US6804580B1 (en) * 2003-04-03 2004-10-12 Kuka Roboter Gmbh Method and control system for controlling a plurality of robots
US8027349B2 (en) 2003-09-25 2011-09-27 Roy-G-Biv Corporation Database event driven motion systems
JP2005103679A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
JP2005103678A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
KR20050063543A (ko) * 2003-12-22 2005-06-28 엘지전자 주식회사 이동로봇의 위치확인장치 및 방법
US20050234592A1 (en) * 2004-01-15 2005-10-20 Mega Robot, Inc. System and method for reconfiguring an autonomous robot
JP2005345616A (ja) * 2004-06-01 2005-12-15 Canon Inc 情報処理装置及び情報処理方法
CN100559410C (zh) * 2004-06-04 2009-11-11 佳能株式会社 情况监视装置和情况监视系统
US20060052676A1 (en) * 2004-09-07 2006-03-09 Yulun Wang Tele-presence system that allows for remote monitoring/observation and review of a patient and their medical records
US7247783B2 (en) * 2005-01-22 2007-07-24 Richard Grossman Cooperative musical instrument
US7047108B1 (en) * 2005-03-01 2006-05-16 Sony Corporation Enhancements to mechanical robot
US8588969B2 (en) * 2005-03-01 2013-11-19 Sony Corporation Enhancements to mechanical robot
KR100627851B1 (ko) * 2005-04-14 2006-09-26 에스케이 텔레콤주식회사 이동형 로봇을 이용한 멀티미디어 메시지 서비스 시스템 및그 방법
US8583282B2 (en) * 2005-09-30 2013-11-12 Irobot Corporation Companion robot for personal interaction
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US7890522B2 (en) * 2005-11-10 2011-02-15 Lg Electronics Inc. Record media written with data structure for recognizing a user and method for recognizing a user
EP1791046A1 (en) * 2005-11-29 2007-05-30 Chang, HoYu Animatronic and portable device
US20070135967A1 (en) * 2005-12-08 2007-06-14 Jung Seung W Apparatus and method of controlling network-based robot
KR100805196B1 (ko) * 2006-07-07 2008-02-21 연세대학교 산학협력단 애완견 로봇 구조의 휴대 단말기 및 그 제어 방법
FR2918304A1 (fr) * 2007-07-06 2009-01-09 Robosoft Sa Dispositif robotise ayant l'aspect d'un chien.
KR100881288B1 (ko) * 2007-08-31 2009-02-03 재단법인 포항지능로봇연구소 다족 보행기구의 견골장치
KR100881287B1 (ko) * 2007-08-31 2009-02-03 재단법인 포항지능로봇연구소 4족 보행기구
JP2009061547A (ja) * 2007-09-06 2009-03-26 Olympus Corp ロボット制御システム、ロボット、プログラム及び情報記憶媒体
DE102008057009B4 (de) * 2008-11-12 2014-07-10 Vodafone Holding Gmbh Spielzeug
JP5206378B2 (ja) * 2008-12-05 2013-06-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US8472984B2 (en) * 2009-04-17 2013-06-25 Konklijke Philips Electronics N.V. Ambient telecommunication system, a method for operating such system, and a computer readable medium
US8939840B2 (en) 2009-07-29 2015-01-27 Disney Enterprises, Inc. System and method for playsets using tracked objects and corresponding virtual worlds
US20110187875A1 (en) * 2010-02-04 2011-08-04 Intouch Technologies, Inc. Robot face used in a sterile environment
JP2012096307A (ja) * 2010-10-29 2012-05-24 Yaskawa Electric Corp ロボット制御装置、ロボット制御方法およびロボットシステム
US8380349B1 (en) * 2011-05-06 2013-02-19 Google Inc. Methods and systems for providing instructions to a robotic device
CN103273982B (zh) * 2013-04-27 2018-01-19 深圳市英倍达科技有限公司 一种多功能全地形仿生机器人
CN104440925B (zh) * 2014-11-27 2016-05-04 国家康复辅具研究中心 一种宠物型陪护机器人及系统
CN106331290B (zh) * 2015-06-25 2019-12-24 联想(北京)有限公司 一种通信处理方法和电子设备
JP6726388B2 (ja) * 2016-03-16 2020-07-22 富士ゼロックス株式会社 ロボット制御システム
CN109070356B (zh) * 2016-04-28 2022-06-28 富士通株式会社 机器人
CN105827741A (zh) * 2016-05-31 2016-08-03 安徽声讯信息技术有限公司 一种手机远程控制的智能机器人
CN105945949A (zh) * 2016-06-01 2016-09-21 北京光年无限科技有限公司 面向智能机器人的信息处理方法及系统
CN107635088A (zh) * 2016-07-19 2018-01-26 浙江星星冷链集成股份有限公司 分布式智能机器人娱乐系统
CN107696028B (zh) * 2016-08-08 2021-11-02 新沂阿凡达智能科技有限公司 用于智能机器人的控制方法和装置及机器人
KR102051217B1 (ko) * 2018-05-29 2019-12-02 연세대학교 산학협력단 생체 모방 기반 동물형 로봇의 감정표현 제어 장치 및 방법
CN108858176A (zh) * 2018-08-21 2018-11-23 西北工业大学 一种智能机器狗
WO2020116233A1 (ja) * 2018-12-07 2020-06-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6704536B1 (ja) * 2019-04-25 2020-06-03 三菱電機株式会社 移動量推定装置、移動量推定方法、および移動量推定プログラム
JP7081577B2 (ja) * 2019-10-31 2022-06-07 カシオ計算機株式会社 ロボット
JP6792733B1 (ja) * 2020-03-31 2020-11-25 東京瓦斯株式会社 ロボットコミュニケーションシステム、コミュニケーションロボット、および遠隔見守り方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62171254A (ja) * 1986-01-22 1987-07-28 Tomy Kogyo Co Inc 電話通達装置
JPS63239511A (ja) * 1987-03-27 1988-10-05 Yokogawa Electric Corp ロボツト・システム
JPH0466857U (ja) * 1990-10-19 1992-06-12
JPH05219183A (ja) * 1992-02-04 1993-08-27 Matsushita Electric Ind Co Ltd 留守番電話装置
JPH05300950A (ja) * 1991-07-10 1993-11-16 Samsung Electron Co Ltd 移動監視装置
JPH07164374A (ja) * 1993-11-08 1995-06-27 Toshio Muraoka セキュリティロボットシステム
JPH08235265A (ja) * 1994-12-28 1996-09-13 Deutsche Itt Ind Gmbh 生産管理用の情報システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4361202A (en) * 1979-06-15 1982-11-30 Michael Minovitch Automated road transportation system
JPS6245092A (ja) 1985-08-23 1987-02-27 株式会社日立製作所 部品位置及び姿勢認識方法及び同認識装置
JPH0443268Y2 (ja) * 1985-09-10 1992-10-13
JP2571302B2 (ja) 1990-07-06 1997-01-16 新コスモス電機株式会社 悪臭ガスセンサ
DE69328599T2 (de) * 1992-08-24 2000-08-24 Casio Computer Co Ltd Datensuchvorrichtung
CA2153964A1 (en) * 1993-09-13 1995-03-23 Steven H. Milne Object-oriented audio record/playback system
US5553609A (en) * 1995-02-09 1996-09-10 Visiting Nurse Service, Inc. Intelligent remote visual monitoring system for home health care service
CA2181781C (en) * 1995-07-26 2000-02-29 Seiji Iwafune Television system for providing interactive television programs and server system for constructing the television system
US5982362A (en) * 1996-05-30 1999-11-09 Control Technology Corporation Video interface architecture for programmable industrial control systems
US6201996B1 (en) * 1998-05-29 2001-03-13 Control Technology Corporationa Object-oriented programmable industrial controller with distributed interface architecture
JP2001191283A (ja) * 1999-12-31 2001-07-17 Sony Corp ロボット装置及びその制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62171254A (ja) * 1986-01-22 1987-07-28 Tomy Kogyo Co Inc 電話通達装置
JPS63239511A (ja) * 1987-03-27 1988-10-05 Yokogawa Electric Corp ロボツト・システム
JPH0466857U (ja) * 1990-10-19 1992-06-12
JPH05300950A (ja) * 1991-07-10 1993-11-16 Samsung Electron Co Ltd 移動監視装置
JPH05219183A (ja) * 1992-02-04 1993-08-27 Matsushita Electric Ind Co Ltd 留守番電話装置
JPH07164374A (ja) * 1993-11-08 1995-06-27 Toshio Muraoka セキュリティロボットシステム
JPH08235265A (ja) * 1994-12-28 1996-09-13 Deutsche Itt Ind Gmbh 生産管理用の情報システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1122038A4 *

Cited By (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7442107B1 (en) 1999-11-02 2008-10-28 Sega Toys Ltd. Electronic toy, control method thereof, and storage medium
EP1229471A4 (en) * 2000-02-10 2005-09-28 Sony Corp AUTOMATIC DEVICE, DEVICE PROVIDING INFORMATION, ROBOT, AND TRANSACTION METHOD
US7069113B2 (en) 2000-02-10 2006-06-27 Sony Corporation Automatic apparatus, information server, robotic apparatus and commercial transaction method for performing an action based on information
EP1229471A1 (en) * 2000-02-10 2002-08-07 Sony Corporation Automatic device, information providing device, robot device, and transaction method
JP2001310283A (ja) * 2000-02-14 2001-11-06 Sony Corp ロボットシステム、ロボット装置及びその制御方法、並びに情報処理装置及び方法
JP2001242780A (ja) * 2000-02-29 2001-09-07 Sony Corp 情報通信ロボット装置、情報通信方法および情報通信ロボットシステム
JP2001246580A (ja) * 2000-03-03 2001-09-11 Sony Corp 情報通信ロボット装置、情報通信方法および情報通信ロボットシステム
US6462498B1 (en) 2000-05-09 2002-10-08 Andrew J. Filo Self-stabilizing walking apparatus that is capable of being reprogrammed or puppeteered
JP2001353679A (ja) * 2000-06-13 2001-12-25 Oki Electric Ind Co Ltd ペット用ロボット
JP2009297892A (ja) * 2000-09-19 2009-12-24 Toyota Motor Corp 移動体搭載用のロボット及びこれを搭載した移動体
JP2002133090A (ja) * 2000-10-20 2002-05-10 Casio Comput Co Ltd 留守管理システムおよび留守管理装置並びにそれらのプログラム記録媒体
JP2002166378A (ja) * 2000-11-30 2002-06-11 Sony Corp ロボット装置
US6705917B2 (en) 2000-12-15 2004-03-16 Andrew S. Filo Self-phase synchronized walking and turning quadruped apparatus
JP2002205290A (ja) * 2001-01-05 2002-07-23 Sony Corp 脚式移動ロボットの制御装置及び制御方法
JP2002233979A (ja) * 2001-01-19 2002-08-20 Chinsei Ri 知能型愛玩ロボット
US7373396B2 (en) 2001-01-30 2008-05-13 Nec Corporation Information delivery system and method and program of the system
US7047105B2 (en) 2001-02-16 2006-05-16 Sanyo Electric Co., Ltd. Robot controlled by wireless signals
WO2002073947A3 (fr) * 2001-03-13 2002-11-28 Marc Pettmann Robot de telesurveillance et de telemanipulation via internet
FR2822279A1 (fr) * 2001-03-13 2002-09-20 Marc Didier Patrick Pettmann Robot de telesurveillance et de telemanipulation via internet
JP2002307338A (ja) * 2001-04-18 2002-10-23 Nippon Telegr & Teleph Corp <Ntt> 動作型存在情報伝達装置およびその制御方法
WO2003006923A3 (de) * 2001-07-12 2003-11-13 Daimler Chrysler Ag Verfahren und vorrichtung zur messung und nachbildung einer von einer person subjektiv wahrgenommenen umgebung
WO2003006923A2 (de) * 2001-07-12 2003-01-23 Daimlerchrysler Ag Verfahren und vorrichtung zur messung und nachbildung einer von einer person subjektiv wahrgenommenen umgebung
US7289881B2 (en) 2001-08-07 2007-10-30 Omron Corporation Information collection apparatus, information collection method, information collection program, recording medium containing information collection program, and information collection system
EP1441319A4 (en) * 2001-08-07 2005-06-15 Omron Tateisi Electronics Co INFORMATION COLLECTION APPARATUS, INFORMATION COLLECTION METHOD, INFORMATION COLLECTION PROGRAM, RECORDING MEDIUM CONTAINING INFORMATION COLLECTION PROGRAM, AND INFORMATION COLLECTION SYSTEM
EP1441319A1 (en) * 2001-08-07 2004-07-28 Omron Corporation Information collection apparatus, information collection method, information collection program, recording medium containing information collection program, and information collection system
US6853880B2 (en) * 2001-08-22 2005-02-08 Honda Giken Kogyo Kabushiki Kaisha Autonomous action robot
JP2003235019A (ja) * 2002-02-07 2003-08-22 Nippon Telegr & Teleph Corp <Ntt> 通信支援装置
USRE45870E1 (en) 2002-07-25 2016-01-26 Intouch Technologies, Inc. Apparatus and method for patient rounding with a remote controlled robot
JP2006508806A (ja) * 2002-07-25 2006-03-16 インタッチ−ヘルス・インコーポレーテッド 医療用遠隔操作ロボット・システム
US9849593B2 (en) 2002-07-25 2017-12-26 Intouch Technologies, Inc. Medical tele-robotic system with a master remote station with an arbitrator
US10315312B2 (en) 2002-07-25 2019-06-11 Intouch Technologies, Inc. Medical tele-robotic system with a master remote station with an arbitrator
JP2010246954A (ja) * 2002-07-25 2010-11-04 Intouch Technologies Inc 医療用遠隔操作ロボット・システム
WO2004088514A1 (ja) * 2003-03-28 2004-10-14 Sony Corporation 情報提供装置及び方法,並びに情報提供システム
CN100351789C (zh) * 2003-03-28 2007-11-28 索尼株式会社 信息提供设备、方法和信息提供系统
US10882190B2 (en) 2003-12-09 2021-01-05 Teladoc Health, Inc. Protocol for a remotely controlled videoconferencing robot
US9956690B2 (en) 2003-12-09 2018-05-01 Intouch Technologies, Inc. Protocol for a remotely controlled videoconferencing robot
US9375843B2 (en) 2003-12-09 2016-06-28 Intouch Technologies, Inc. Protocol for a remotely controlled videoconferencing robot
US9610685B2 (en) 2004-02-26 2017-04-04 Intouch Technologies, Inc. Graphical interface for a remote presence system
WO2005119620A1 (en) * 2004-06-04 2005-12-15 Canon Kabushiki Kaisha Situation monitoring device and situation monitoring system
US8553085B2 (en) 2004-06-04 2013-10-08 Canon Kabushiki Kaisha Situation monitoring device and situation monitoring system
JP2006018818A (ja) * 2004-06-04 2006-01-19 Canon Inc 状況モニタリング装置及び状況モニタリングシステム
US8401275B2 (en) 2004-07-13 2013-03-19 Intouch Technologies, Inc. Mobile robot with a head-based movement mapping scheme
US8983174B2 (en) 2004-07-13 2015-03-17 Intouch Technologies, Inc. Mobile robot with a head-based movement mapping scheme
US9766624B2 (en) 2004-07-13 2017-09-19 Intouch Technologies, Inc. Mobile robot with a head-based movement mapping scheme
US10241507B2 (en) 2004-07-13 2019-03-26 Intouch Technologies, Inc. Mobile robot with a head-based movement mapping scheme
US8077963B2 (en) 2004-07-13 2011-12-13 Yulun Wang Mobile robot with a head-based movement mapping scheme
US9198728B2 (en) 2005-09-30 2015-12-01 Intouch Technologies, Inc. Multi-camera mobile teleconferencing platform
US10259119B2 (en) 2005-09-30 2019-04-16 Intouch Technologies, Inc. Multi-camera mobile teleconferencing platform
US8849679B2 (en) 2006-06-15 2014-09-30 Intouch Technologies, Inc. Remote controlled robot system that provides medical images
JP2008090013A (ja) * 2006-10-02 2008-04-17 Sony Corp ロボット装置、音楽出力方法及び音楽出力プログラム
JP2008200843A (ja) * 2007-01-22 2008-09-04 Zmp:Kk 音響再生ロボット
US8892260B2 (en) 2007-03-20 2014-11-18 Irobot Corporation Mobile robot for telecommunication
US9296109B2 (en) 2007-03-20 2016-03-29 Irobot Corporation Mobile robot for telecommunication
US9160783B2 (en) 2007-05-09 2015-10-13 Intouch Technologies, Inc. Robot system that operates through a network firewall
US10682763B2 (en) 2007-05-09 2020-06-16 Intouch Technologies, Inc. Robot system that operates through a network firewall
US10875182B2 (en) 2008-03-20 2020-12-29 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US11787060B2 (en) 2008-03-20 2023-10-17 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US11472021B2 (en) 2008-04-14 2022-10-18 Teladoc Health, Inc. Robotic based health care system
US10471588B2 (en) 2008-04-14 2019-11-12 Intouch Technologies, Inc. Robotic based health care system
US8861750B2 (en) 2008-04-17 2014-10-14 Intouch Technologies, Inc. Mobile tele-presence system with a microphone system
US10493631B2 (en) 2008-07-10 2019-12-03 Intouch Technologies, Inc. Docking system for a tele-presence robot
US9193065B2 (en) 2008-07-10 2015-11-24 Intouch Technologies, Inc. Docking system for a tele-presence robot
US10878960B2 (en) 2008-07-11 2020-12-29 Teladoc Health, Inc. Tele-presence robot system with multi-cast features
US9842192B2 (en) 2008-07-11 2017-12-12 Intouch Technologies, Inc. Tele-presence robot system with multi-cast features
US9429934B2 (en) 2008-09-18 2016-08-30 Intouch Technologies, Inc. Mobile videoconferencing robot system with network adaptive driving
US8340819B2 (en) 2008-09-18 2012-12-25 Intouch Technologies, Inc. Mobile videoconferencing robot system with network adaptive driving
US8996165B2 (en) 2008-10-21 2015-03-31 Intouch Technologies, Inc. Telepresence robot with a camera boom
US10875183B2 (en) 2008-11-25 2020-12-29 Teladoc Health, Inc. Server connectivity control for tele-presence robot
US9138891B2 (en) 2008-11-25 2015-09-22 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
US10059000B2 (en) 2008-11-25 2018-08-28 Intouch Technologies, Inc. Server connectivity control for a tele-presence robot
US8463435B2 (en) 2008-11-25 2013-06-11 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
US8849680B2 (en) 2009-01-29 2014-09-30 Intouch Technologies, Inc. Documentation through a remote presence robot
US10969766B2 (en) 2009-04-17 2021-04-06 Teladoc Health, Inc. Tele-presence robot system with software modularity, projector and laser pointer
JP2012524445A (ja) * 2009-04-17 2012-10-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ アンビエント通信システム、当該システム用の動作デバイス、作動方法、及び計算機で読み取り可能な媒体
US8897920B2 (en) 2009-04-17 2014-11-25 Intouch Technologies, Inc. Tele-presence robot system with software modularity, projector and laser pointer
US11399153B2 (en) 2009-08-26 2022-07-26 Teladoc Health, Inc. Portable telepresence apparatus
US8384755B2 (en) 2009-08-26 2013-02-26 Intouch Technologies, Inc. Portable remote presence robot
US10404939B2 (en) 2009-08-26 2019-09-03 Intouch Technologies, Inc. Portable remote presence robot
US10911715B2 (en) 2009-08-26 2021-02-02 Teladoc Health, Inc. Portable remote presence robot
US9602765B2 (en) 2009-08-26 2017-03-21 Intouch Technologies, Inc. Portable remote presence robot
US11154981B2 (en) 2010-02-04 2021-10-26 Teladoc Health, Inc. Robot user interface for telepresence robot system
US8670017B2 (en) 2010-03-04 2014-03-11 Intouch Technologies, Inc. Remote presence system including a cart that supports a robot face and an overhead camera
US11798683B2 (en) 2010-03-04 2023-10-24 Teladoc Health, Inc. Remote presence system including a cart that supports a robot face and an overhead camera
US10887545B2 (en) 2010-03-04 2021-01-05 Teladoc Health, Inc. Remote presence system including a cart that supports a robot face and an overhead camera
US9089972B2 (en) 2010-03-04 2015-07-28 Intouch Technologies, Inc. Remote presence system including a cart that supports a robot face and an overhead camera
US9498886B2 (en) 2010-05-20 2016-11-22 Irobot Corporation Mobile human interface robot
US9014848B2 (en) 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
US8935005B2 (en) 2010-05-20 2015-01-13 Irobot Corporation Operating a mobile robot
US9902069B2 (en) 2010-05-20 2018-02-27 Irobot Corporation Mobile robot system
US10343283B2 (en) 2010-05-24 2019-07-09 Intouch Technologies, Inc. Telepresence robot system that can be accessed by a cellular phone
US11389962B2 (en) 2010-05-24 2022-07-19 Teladoc Health, Inc. Telepresence robot system that can be accessed by a cellular phone
US10808882B2 (en) 2010-05-26 2020-10-20 Intouch Technologies, Inc. Tele-robotic system with a robot face placed on a chair
US9950421B2 (en) 2010-07-02 2018-04-24 Softbank Robotics Europe Humanoid game-playing robot, method and system for using said robot
JP2013536090A (ja) * 2010-07-02 2013-09-19 アルデバラン ロボティクス ヒューマノイドゲーム実行ロボット、ならびに前記ロボットを使用するための方法およびシステム
US9264664B2 (en) 2010-12-03 2016-02-16 Intouch Technologies, Inc. Systems and methods for dynamic bandwidth allocation
US10218748B2 (en) 2010-12-03 2019-02-26 Intouch Technologies, Inc. Systems and methods for dynamic bandwidth allocation
US8930019B2 (en) 2010-12-30 2015-01-06 Irobot Corporation Mobile human interface robot
US8965579B2 (en) 2011-01-28 2015-02-24 Intouch Technologies Interfacing with a mobile telepresence robot
US10399223B2 (en) 2011-01-28 2019-09-03 Intouch Technologies, Inc. Interfacing with a mobile telepresence robot
US11468983B2 (en) 2011-01-28 2022-10-11 Teladoc Health, Inc. Time-dependent navigation of telepresence robots
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
US9785149B2 (en) 2011-01-28 2017-10-10 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
US10591921B2 (en) 2011-01-28 2020-03-17 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
US9469030B2 (en) 2011-01-28 2016-10-18 Intouch Technologies Interfacing with a mobile telepresence robot
US8718837B2 (en) 2011-01-28 2014-05-06 Intouch Technologies Interfacing with a mobile telepresence robot
US11289192B2 (en) 2011-01-28 2022-03-29 Intouch Technologies, Inc. Interfacing with a mobile telepresence robot
US10769739B2 (en) 2011-04-25 2020-09-08 Intouch Technologies, Inc. Systems and methods for management of information among medical providers and facilities
US9974612B2 (en) 2011-05-19 2018-05-22 Intouch Technologies, Inc. Enhanced diagnostics for a telepresence robot
US10331323B2 (en) 2011-11-08 2019-06-25 Intouch Technologies, Inc. Tele-presence system with a user interface that displays different communication links
US8836751B2 (en) 2011-11-08 2014-09-16 Intouch Technologies, Inc. Tele-presence system with a user interface that displays different communication links
US9715337B2 (en) 2011-11-08 2017-07-25 Intouch Technologies, Inc. Tele-presence system with a user interface that displays different communication links
WO2013137191A1 (ja) * 2012-03-12 2013-09-19 株式会社エヌ・ティ・ティ・ドコモ 遠隔制御システム、遠隔制御方法、通信装置及びプログラム
CN103891305A (zh) * 2012-03-12 2014-06-25 株式会社Ntt都科摩 远程控制系统、远程控制方法、通信装置和程序
JP5597772B2 (ja) * 2012-03-12 2014-10-01 株式会社Ｎｔｔドコモ 遠隔制御システム、遠隔制御方法、通信装置及びプログラム
JPWO2013137191A1 (ja) * 2012-03-12 2015-08-03 株式会社Ｎｔｔドコモ 遠隔制御システム、遠隔制御方法、通信装置及びプログラム
US8902278B2 (en) 2012-04-11 2014-12-02 Intouch Technologies, Inc. Systems and methods for visualizing and managing telepresence devices in healthcare networks
US9251313B2 (en) 2012-04-11 2016-02-02 Intouch Technologies, Inc. Systems and methods for visualizing and managing telepresence devices in healthcare networks
US11205510B2 (en) 2012-04-11 2021-12-21 Teladoc Health, Inc. Systems and methods for visualizing and managing telepresence devices in healthcare networks
US10762170B2 (en) 2012-04-11 2020-09-01 Intouch Technologies, Inc. Systems and methods for visualizing patient and telepresence device statistics in a healthcare network
US9361021B2 (en) 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US11515049B2 (en) 2012-05-22 2022-11-29 Teladoc Health, Inc. Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US11628571B2 (en) 2012-05-22 2023-04-18 Teladoc Health, Inc. Social behavior rules for a medical telepresence robot
US10780582B2 (en) 2012-05-22 2020-09-22 Intouch Technologies, Inc. Social behavior rules for a medical telepresence robot
US10658083B2 (en) 2012-05-22 2020-05-19 Intouch Technologies, Inc. Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US9174342B2 (en) 2012-05-22 2015-11-03 Intouch Technologies, Inc. Social behavior rules for a medical telepresence robot
US10603792B2 (en) 2012-05-22 2020-03-31 Intouch Technologies, Inc. Clinical workflows utilizing autonomous and semiautonomous telemedicine devices
US11453126B2 (en) 2012-05-22 2022-09-27 Teladoc Health, Inc. Clinical workflows utilizing autonomous and semi-autonomous telemedicine devices
US10328576B2 (en) 2012-05-22 2019-06-25 Intouch Technologies, Inc. Social behavior rules for a medical telepresence robot
US9776327B2 (en) 2012-05-22 2017-10-03 Intouch Technologies, Inc. Social behavior rules for a medical telepresence robot
US10061896B2 (en) 2012-05-22 2018-08-28 Intouch Technologies, Inc. Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US10892052B2 (en) 2012-05-22 2021-01-12 Intouch Technologies, Inc. Graphical user interfaces including touchpad driving interfaces for telemedicine devices
JP2014086877A (ja) * 2012-10-23 2014-05-12 Sharp Corp 自走式電子機器および携帯端末
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US10924708B2 (en) 2012-11-26 2021-02-16 Teladoc Health, Inc. Enhanced video interaction for a user interface of a telepresence network
US11910128B2 (en) 2012-11-26 2024-02-20 Teladoc Health, Inc. Enhanced video interaction for a user interface of a telepresence network
US10334205B2 (en) 2012-11-26 2019-06-25 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
JP2017517903A (ja) * 2014-01-31 2017-06-29 ルノー エス．ア．エス． 自動車両の自動移動操縦を制御するための方法
JP2015192844A (ja) * 2014-03-28 2015-11-05 学校法人塚本学院 大阪芸術大学 脳機能障害者生活支援装置
WO2016031405A1 (ja) * 2014-08-26 2016-03-03 学校法人塚本学院 大阪芸術大学 脳機能障害者生活支援装置
JP2016083740A (ja) * 2014-10-28 2016-05-19 シャープ株式会社 電子機器、制御システム、制御方法、および制御プログラム
JP2016215292A (ja) * 2015-05-15 2016-12-22 Kddi株式会社 ロボット動作生成装置およびプログラム
JP2017010516A (ja) * 2015-06-24 2017-01-12 百度在線網絡技術（北京）有限公司 人工知能に基づくヒューマンコンピュータインターアクションの方法、装置及び端末機器
JP2021061057A (ja) * 2016-07-04 2021-04-15 ソニー株式会社 ロボット、制御方法及びプログラム
WO2018008224A1 (ja) * 2016-07-04 2018-01-11 ソニー株式会社 ロボット、ロボットシステム及び記憶媒体
US11200787B2 (en) 2016-07-04 2021-12-14 Sony Corporation Robot, robot system, and storage medium
JPWO2018008224A1 (ja) * 2016-07-04 2019-04-18 ソニー株式会社 ロボット、ロボットシステム及び記憶媒体
US11837064B2 (en) 2016-07-04 2023-12-05 Sony Group Corporation Robot, robot system, and storage medium
JP2016219027A (ja) * 2016-07-14 2016-12-22 ホーチキ株式会社 警報連携システム
US11862302B2 (en) 2017-04-24 2024-01-02 Teladoc Health, Inc. Automated transcription and documentation of tele-health encounters
US11742094B2 (en) 2017-07-25 2023-08-29 Teladoc Health, Inc. Modular telehealth cart with thermal imaging and touch screen user interface
US11636944B2 (en) 2017-08-25 2023-04-25 Teladoc Health, Inc. Connectivity infrastructure for a telehealth platform
US11389064B2 (en) 2018-04-27 2022-07-19 Teladoc Health, Inc. Telehealth cart that supports a removable tablet with seamless audio/video switching
WO2020090332A1 (ja) * 2018-10-30 2020-05-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11921509B2 (en) 2018-10-30 2024-03-05 Sony Group Corporation Information processing apparatus, information processing method, and program
WO2020202353A1 (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 コミュニケーションロボットおよびその制御方法、情報処理サーバならびに情報処理方法
WO2020202354A1 (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 コミュニケーションロボットおよびその制御方法、情報処理サーバならびに情報処理方法
JPWO2020202354A1 (ja) * 2019-03-29 2021-11-04 本田技研工業株式会社 コミュニケーションロボットおよびその制御方法、情報処理サーバならびに情報処理方法
US20230030442A1 (en) * 2021-07-31 2023-02-02 Sony Interactive Entertainment Inc. Telepresence robot

Also Published As

Publication number Publication date
EP1122038A1 (en) 2001-08-08
EP1122038A4 (en) 2009-06-17
KR20010052807A (ko) 2001-06-25
US6529802B1 (en) 2003-03-04
KR100617525B1 (ko) 2006-09-04
CN1146491C (zh) 2004-04-21
CN1313803A (zh) 2001-09-19
JP4328997B2 (ja) 2009-09-09

Similar Documents

Publication Publication Date Title
JP4328997B2 (ja) ロボット装置
KR101008085B1 (ko) 로봇 시스템, 로봇 장치 및 그 제어 방법
US6542788B2 (en) Robot apparatus capable of selecting transmission destination, and control method therefor
JP5040865B2 (ja) ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム
US7047105B2 (en) Robot controlled by wireless signals
JP4595436B2 (ja) ロボット、その制御方法及び制御用プログラム
TWI280481B (en) A device for dialog control and a method of communication between a user and an electric apparatus
CN101151614A (zh) 具有自动切断特征的移动视频会议平台
JP2007190641A (ja) コミュニケーションロボット
CN109028746A (zh) 移动装置、冰箱及其控制方法、可读存储介质
JP2004214895A (ja) 通信補助装置
CN110202586A (zh) 与用户交流的装置、机器人、方法以及程序
JP2007160427A (ja) ロボット制御システム
KR101009721B1 (ko) 모바일 영상 로봇 단말기
CN106384471B (zh) 一种电子狗
JP2003062776A (ja) コミュニケーション小形ロボットシステム
JP2007152444A (ja) 自走式ロボットおよび情報管理システム
JP2002239971A (ja) ロボットシステム及びロボット
JP2021064299A (ja) 制御システム、端末装置、制御方法及びコンピュータプログラム
JP3766320B2 (ja) バーチャル空間提供システム、バーチャル空間提供方法、および、バーチャル空間提供プログラム
CN108527383A (zh) 一种具有监控定位的机器人
KR100917796B1 (ko) 로봇 탑재형 통신 장치와 이를 이용한 통신 시스템
JP2007152446A (ja) ロボットシステム
JP2003050621A (ja) 設備点検システム
JP2005186197A (ja) ネットワークロボット

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 99809975.9

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP KR SG US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): DE FR GB

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 1020007014128

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1999926770

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09719127

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1020007014128

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 1999926770

Country of ref document: EP

WWR Wipo information: refused in national office

Ref document number: 1020007014128

Country of ref document: KR