JP2004303251A - Control method - Google Patents

Control method Download PDF

Info

Publication number
JP2004303251A
JP2004303251A JP2004105865A JP2004105865A JP2004303251A JP 2004303251 A JP2004303251 A JP 2004303251A JP 2004105865 A JP2004105865 A JP 2004105865A JP 2004105865 A JP2004105865 A JP 2004105865A JP 2004303251 A JP2004303251 A JP 2004303251A
Authority
JP
Japan
Prior art keywords
control
person
candidate
control target
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004105865A
Other languages
Japanese (ja)
Inventor
Taro Imagawa
Michiyo Kamei
Tsuyoshi Megata
みち代 亀井
太郎 今川
強司 目片
Original Assignee
Matsushita Electric Ind Co Ltd
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP32573997 priority Critical
Application filed by Matsushita Electric Ind Co Ltd, 松下電器産業株式会社 filed Critical Matsushita Electric Ind Co Ltd
Priority to JP2004105865A priority patent/JP2004303251A/en
Publication of JP2004303251A publication Critical patent/JP2004303251A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a control method for smoothly operating an apparatus using the motion, posture, state, and the like of a person by determining correspondence between the apparatus and the person even when a plurality of apparatus and a plurality of human beings exist nearby. <P>SOLUTION: The control method is provided for continuously monitoring the motions of a plurality of persons (1) to control the apparatus such as a television based on the prescribed motions of the persons. Specifically, a control object candidate (3) and a control contents candidate (4) are determined based on the prescribed motions of the persons, and a control object and control contents are determined (5) based on the determined control object candidate and control contents candidate. This method solves such problems that the complicated relation arose formerly in the case of the plurality of apparatus or the plurality of persons when controlling the apparatus such as the television by remote control, that is, a conventional technique did not include distinction on which television is to be operated or is being operated in the case of simultaneously operating the plurality of televisions and that it was difficult to distinguish who is changing the channel of the television or who can change the channel when the plurality of persons exist in a room. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、人の動き・姿勢・状態などに基づいて機器や情報の操作・環境の制御などを行う技術に関するものである。   The present invention relates to a technology for performing operations of devices and information, controlling an environment, and the like based on the movement, posture, state, and the like of a person.

従来、人の動作を検出して機器操作を行うものとして、人のジェスチャを認識し、テレビの操作を行うものがある(例えば、特許文献1、特許文献2参照。)。特許文献1においては人の手の平の位置とジェスチャをカメラで検出し、テレビの操作を行っている。   2. Description of the Related Art Conventionally, as a device that detects a human motion and operates a device, there is a device that recognizes a human gesture and operates a television (for example, see Patent Literature 1 and Patent Literature 2). In Patent Literature 1, the position of the palm of a person and a gesture are detected by a camera, and the television is operated.

また、特許文献2においては、カメラで検出した人の手の位置と形状とを用いて、文字を携帯用パーソナルコンピュータに入力するものである。
特開平8-315154号公報特開平8-211979号公報In Patent Document 2, characters are input to a portable personal computer using the position and shape of a human hand detected by a camera.
JP-A-8-315154 JP-A-8-211979
また、特許文献2においては、カメラで検出した人の手の位置と形状とを用いて、文字を携帯用パーソナルコンピュータに入力するものである。
特開平8-315154号公報特開平8-211979号公報In Patent Document 2, characters are input to a portable personal computer using the position and shape of a human hand detected by a camera.
JP-A-8-315154 JP-A-8-211979
また、特許文献2においては、カメラで検出した人の手の位置と形状とを用いて、文字を携帯用パーソナルコンピュータに入力するものである。
特開平8-315154号公報特開平8-211979号公報In Patent Document 2, characters are input to a portable personal computer using the position and shape of a human hand detected by a camera.
JP-A-8-315154 JP-A-8-211979
また、特許文献2においては、カメラで検出した人の手の位置と形状とを用いて、文字を携帯用パーソナルコンピュータに入力するものである。
特開平8-315154号公報特開平8-211979号公報
In Patent Document 2, characters are input to a portable personal computer using the position and shape of a human hand detected by a camera.
JP-A-8-315154 JP-A-8-211979
また、特許文献2においては、カメラで検出した人の手の位置と形状とを用いて、文字を携帯用パーソナルコンピュータに入力するものである。
特開平8-315154号公報特開平8-211979号公報
In Patent Document 2, characters are input to a portable personal computer using the position and shape of a human hand detected by a camera.
JP-A-8-315154 JP-A-8-211979
また、特許文献2においては、カメラで検出した人の手の位置と形状とを用いて、文字を携帯用パーソナルコンピュータに入力するものである。
特開平8-315154号公報特開平8-211979号公報
In Patent Document 2, characters are input to a portable personal computer using the position and shape of a human hand detected by a camera.
JP-A-8-315154 JP-A-8-211979

しかしながら、上記従来の手法では操作する人間と操作される機器とが1対1に対応づけられることが前提となっており、複数のテレビやパーソナルコンピュータが近くに存在する場合や、操作者が複数存在する場合、望ましい操作を実現することは困難であるという課題を有している。   However, in the above-described conventional method, it is assumed that the operating person and the operated device are associated with each other in a one-to-one correspondence. When present, there is a problem that it is difficult to achieve a desired operation.

一般的に、家庭やオフィス・屋外などにおいて、近隣に存在する機器や人の数は複数となることが多く、人の動きなどを用いて機器を制御する場合にも、個別の人と個別の機器とを対応付けることが必要となる。例えば、複数のテレビを同時に操作する場合、どのテレビを操作するのか又は操作しているのかという区別が従来の手法には含まれていなかった。また、部屋に複数の人が存在する場合にも、誰がテレビのチャンネルを変えているのか、また誰がチャンネルを変えることができるのかという区別が分からないという課題も有していた。   In general, in homes, offices, outdoors, etc., the number of devices and people in the vicinity is often more than one, and even when controlling devices using human movements, individual people and individual It is necessary to associate devices. For example, when a plurality of televisions are operated at the same time, a distinction as to which television is operated or operated is not included in the conventional method. Further, even when a plurality of people are present in a room, there is a problem that it is difficult to distinguish who is changing the television channel and who can change the channel.

本発明は上記従来の装置の課題を鑑み、複数の機器や複数の人間が近隣に存在する場合にも、機器と人間との対応を定めて、人の動き・姿勢・状態などを用いて円滑に機器の操作等を行えるようにする制御方法を提供することを目的とする。   The present invention has been made in consideration of the problems of the above-described conventional device, and determines the correspondence between devices and humans, and smoothly uses the motions, postures, states, and the like of humans even when a plurality of devices and a plurality of people are present nearby. It is an object of the present invention to provide a control method that allows a user to operate a device or the like.

本発明は、人の属性を監視し、前記監視された人の属性に基づいて予め登録した個人の属性を検出し、前記検出された個人の属性を用いて制御対象及び制御内容を決定し、制御対象の制御を行う制御方法であって、
制御対象の決定に用いる所定の属性を検出した第一の時刻と制御内容の候補の決定に用いる所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて、制御対象又は制御内容の少なくとも1つを決定する制御方法である。 The time interval between the first time when the predetermined attribute used for determining the control target is detected and the second time when the predetermined attribute used for determining the control content candidate is detected, or the first time and the second time. It is a control method for determining at least one of a control target or a control content by using at least one or more of the temporal order relation with the time of day or the duration of the predetermined attribute detection. The present invention monitors an attribute of a person, detects an attribute of a previously registered individual based on the attribute of the monitored person, and determines a control target and control content using the detected attribute of the individual, A control method for controlling a control object, The present invention monitors an attribute of a person, detects an attribute of a previously registered individual based on the attribute of the monitored person, and determines a control target and control content using the detected attribute of the individual, A control method for controlling a control object,
A time interval between a first time at which a predetermined attribute used to determine a control target is detected and a second time at which a predetermined attribute used to determine a candidate for control content is detected, or the first time and the second time A control method for determining at least one of a control target and a control content using at least one or more of a temporal order relation with the time or a predetermined attribute detection duration. A time interval between a first time at which a predetermined attribute used to determine a control target is detected and a second time at which a predetermined attribute used to determine a candidate for control content is detected, or the first time and the second time A control method for determining at least one of a control target and a control content using at least one or more of a temporal order relation with the time or a predetermined attribute detection duration.

又、本発明は、複数の人の属性を監視し、前記監視された複数の人の属性からあらかじめ登録した個人の属性を検出し、前記検出された個人の属性を用いて対象者を決定し、前記検出された個人に関する所定の属性を用いて、複数の機器のうち、制御対象及び制御内容を決定し、制御対象の制御を行う制御方法であって、制御対象の決定に用いる所定の属性を検出した第一の時刻と制御内容の候補の決定に用いる所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて、制御対象又は制御内容の少なくとも1つを決定する制御方法である。   Also, the present invention monitors attributes of a plurality of people, detects attributes of a registered individual from the attributes of the monitored plurality of people, and determines a target person using the detected attributes of the person. A control method for determining a control target and a control content among a plurality of devices by using a predetermined attribute regarding the detected individual, and controlling the control target, wherein the predetermined attribute used for determining the control target is A time interval between the first time at which the first time was detected and the second time at which the predetermined attribute used to determine the candidate for the control content was detected, or a temporal order relationship between the first time and the second time, Alternatively, a control method of determining at least one of a control target and control contents using at least one or more of the predetermined attribute detection durations.

以上説明したところから明らかなように、本発明は、人の属性を用いて機器や情報の操作を円滑に行う最に問題となる、複数の人の存在や、複数の機器の存在や、人の動作や姿勢の曖昧さなどを考慮し、人にあらかじめ定めた複雑な動作などを強いることなく、人の日常の属性を用いることで機器の制御を円滑に行うことを可能とする制御方法である。   As is evident from the above description, the present invention provides the most important problem in smoothly operating devices and information using the attributes of a person, the presence of a plurality of people, the presence of a plurality of devices, In consideration of the ambiguity of the movements and postures of the robot, a control method that makes it possible to control the equipment smoothly by using the everyday attributes of the person without forcing the person to perform predetermined complicated operations. is there.

以下、本発明の実施の形態について図面を参照して説明する。図1は本発明の第一の実施の形態を示すブロック図である。図1において、1は監視部、2は操作者選択部、3は制御対象候補決定部、4は制御内容候補決定部、5は制御対象・制御内容決定部である。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a first embodiment of the present invention. In FIG. 1, reference numeral 1 denotes a monitoring unit, 2 denotes an operator selection unit, 3 denotes a control target candidate determination unit, 4 denotes a control content candidate determination unit, and 5 denotes a control target / control content determination unit.

図1において、監視部1は人の属性及び人の周囲の環境を継続的に監視する。人の属性としては、人の位置、人の姿勢、人の顔、人の表情、人の視線、人の頭の向き、人の動き、人の音声、人の生理状態、特定個人であること、人の体型、人の体重、人の性別、人の年齢、人の心身的不自由度、人の付帯物などを監視する。ここで、心身的不自由度としては、視力の不自由度、四肢の不自由度、発声の不自由度、聴覚の不自由度、言語理解の不自由度などがある。また、付帯物としては、着衣、帽子、眼鏡、かばん、履き物などがある。   In FIG. 1, a monitoring unit 1 continuously monitors the attributes of a person and the environment around the person. The attributes of a person include the position of the person, the posture of the person, the face of the person, the expression of the person, the gaze of the person, the direction of the head of the person, the movement of the person, the sound of the person, the physiological state of the person, and the specific individual , Monitor the person's body type, the person's weight, the person's gender, the person's age, the person's mental and physical inconvenience, the person's accessory, etc. Here, the mental and physical inconvenience includes visual inconvenience, limb inconvenience, utterance inconvenience, hearing inconvenience, and language understanding inconvenience. Examples of the accessory include clothes, hats, glasses, bags, footwear, and the like.

監視する手段としてはカメラ(可視光、赤外線などに感度を持つもの)、マイク、圧力センサ、超音波センサ、振動センサ、化学センサ、光センサなどを用いる。更に他のセンサを用いてもよい。カメラを用いることで人の位置、人の姿勢、人の顔、人の表情、人の動き、人の体型、人の付帯物などを非接触で監視することが可能となる。   As a means for monitoring, a camera (one having sensitivity to visible light, infrared light, and the like), a microphone, a pressure sensor, an ultrasonic sensor, a vibration sensor, a chemical sensor, an optical sensor, and the like are used. Still other sensors may be used. By using a camera, it is possible to monitor a person's position, a person's posture, a person's face, a person's facial expression, a person's movement, a person's body type, a person's accessory, and the like without contact.

人の位置をカメラで監視する場合、画像中の肌色が存在する領域を人の存在する位置とする。また、前記の肌色の領域でかつ、画像の色や輝度に変化のある領域を人の存在する位置とすることや、赤外線の画像を併用し、人が主に発する波長3〜5μmもしくは8〜12μmの赤外線を検出した領域を、人の存在する位置としてもよい。人の姿勢や人の体型や人の動きをカメラで監視する場合、前記人の位置の検出と同様の手法を用いることで人の大まかな形状を抽出し、その形状から姿勢や体型を監視し、前記姿勢の時間的変化を監視することで動きを監視する。   When monitoring the position of a person with a camera, the area where the flesh color exists in the image is defined as the position where the person exists. In addition, the skin color region and the region where the color or brightness of the image changes may be set as the position where a person is present, or an infrared image is used in combination, and the wavelength 3 to 5 μm or 8 to mainly emitted by a person is used. The area where the infrared ray of 12 μm is detected may be set as the position where the person exists. When monitoring the posture of the person, the body shape of the person, and the movement of the person with a camera, the approximate shape of the person is extracted by using the same method as the detection of the position of the person, and the posture and the body shape are monitored from the shape. The movement is monitored by monitoring the temporal change of the posture.

姿勢としては、例えば立っているか、座っているか、手をどちらの向きに伸ばしているかなどの区別は、それぞれの姿勢の代表的な形状をあらかじめ登録しておき、前記登録内容と比較することで判断することが可能である。人の顔や人の表情や人の頭の向きや人の視線をカメラで監視する場合、前記人の形状から人の体の中で一番上部に位置する頭部を検出し、顔の表情をあらかじめ登録した様々な表情を含む顔の画像とを比較することで顔や表情の監視が可能である。人の頭の向きや視線の向きは、前記手続きで検出した頭部の画像から目の位置を検出することで判断できる。両目の位置が頭部に対して左右対称であれば、カメラに対して頭部が正面を向いていることになり、左右のどちらかに目の位置が偏っていれば、頭部の向きが左または右に向いていることが判断できる。目の位置については顔の領域の中で、楕円形状または平坦な形状でかつ顔の領域中で輝度の暗い領域を検出することで検出することが可能である。更に、視線については目の中の虹彩の円領域を検出することで、前記円領域の中心と前記目全体の領域の中心とのずれによって、検出することが出来る。人の付帯物をカメラで検出する場合は、前記手続きで検出した人の領域について、着衣の無い人の状態の色と異なる色を検出した体の部分については付帯物があると判断できる。また、あらかじめ、特定の色を有する付帯物を登録しておくことで、判別することも可能である。眼鏡については、前記手続きで顔の領域及び目の位置を検出した際に、目の周囲に枠状の形状があるか否かで判断することが出来る。また、マイクを用いることで人の音声や、人の動きにより生じる音(手や指を鳴らす音や足音など)などを非接触に監視することが可能となる。また、近接または接触する位置からは心音などの生理状態を計測することも可能である。また、圧力センサを用いることで人の動きによる接触や、床面に設置した圧力センサを用いることで体重や歩行パターンを監視することが可能である。また、超音波センサを用いることで、人までの距離や、人までの距離の変化による人の動きの監視が可能である。超音波を用いる場合、照明が大きく変動する場合や無照明下でも、人の位置を監視することが可能となる。   As the posture, for example, standing, sitting, or distinguishing whether the hand is extending in which direction, a typical shape of each posture is registered in advance and compared with the registered contents. It is possible to judge. When monitoring a person's face, a person's expression, a person's head orientation, and a person's gaze with a camera, the head located at the top of a person's body is detected from the shape of the person, and the facial expression is detected. Can be monitored by comparing the image with a face image including various expressions registered in advance. The direction of the person's head and the direction of the line of sight can be determined by detecting the position of the eyes from the image of the head detected in the above procedure. If the positions of both eyes are symmetrical with respect to the head, the head is facing the front with respect to the camera. It can be determined that it is facing left or right. The position of the eyes can be detected by detecting an elliptical or flat shape in the face area and a dark area in the face area. Further, the line of sight can be detected by detecting the circular region of the iris in the eye, and by detecting the difference between the center of the circular region and the center of the entire eye region. When a person's accessory is detected by the camera, it can be determined that there is an accessory for a body part that detects a color different from the color of a person without clothes in the area of the person detected in the above procedure. Also, it is possible to make a determination by registering an accessory having a specific color in advance. Regarding the glasses, when the face area and the position of the eyes are detected in the above procedure, it can be determined whether or not there is a frame shape around the eyes. In addition, by using a microphone, it is possible to contactlessly monitor a human voice, a sound (a sound of a hand or a finger, a sound of a foot, etc.) generated by a motion of the human. Further, it is also possible to measure a physiological state such as a heart sound from the position of approach or contact. In addition, it is possible to monitor the contact due to the movement of a person by using a pressure sensor, and to monitor the weight and the walking pattern by using a pressure sensor installed on the floor. Further, by using an ultrasonic sensor, it is possible to monitor the distance to a person and the movement of the person due to a change in the distance to the person. When using ultrasonic waves, it is possible to monitor the position of a person even when the illumination fluctuates greatly or without illumination.

また、振動センサを用いることで、人の動きにより生じる振動を監視することが可能となる。また、身体からの分泌物・排泄物・体液中のイオン濃度、糖分、ホルモンなどの化学物質の量を計測する化学センサや、身体を透過した光のスペクトル分布を計測する光センサなどを用いることで生理状態を監視することが可能である。また、前記カメラで得た顔の特徴や身体の動き、前記マイクで得た音声の特徴、前記圧力センサで得た体重などの情報に基づいて特定個人であることや、人の性別、人の年齢、人の心身的不自由度などを推定することが可能である。例えば、あらかじめ特定個人の顔の特徴や、体重、体型、性別、年齢、心身的不自由度を登録しておくことで、いずれかの特徴(例えば体重)を用いて個人の特定を行うと、性別などの他の特徴も既知となる。   In addition, by using a vibration sensor, it is possible to monitor vibrations caused by human movement. In addition, use chemical sensors that measure the amount of chemical substances such as secretions, excreta, and body fluids in the body, such as sugars and hormones, and optical sensors that measure the spectral distribution of light transmitted through the body. It is possible to monitor the physiological condition with. Also, based on information such as facial features and body movements obtained by the camera, voice features obtained by the microphone, and weight obtained by the pressure sensor, being a specific individual, gender of a person, It is possible to estimate the age, the degree of mental and physical inconvenience of a person, and the like. For example, by registering in advance the facial features, weight, body type, gender, age, and mental and physical inconvenience of a specific individual, if an individual is identified using any of the characteristics (for example, weight), Other characteristics, such as gender, are also known.

また、異なる視野を持つ複数のカメラを用いることで、人の位置や姿勢・動きを3次元的に捉えることが容易となり、監視の精度も向上し、監視できる場所を広げることが可能である。同様に性質の異なる複数のセンサを組み合わせることでも人の位置や姿勢・動きの検出の精度及び信頼度を向上させることが出来る。   In addition, by using a plurality of cameras having different visual fields, it is easy to three-dimensionally capture the position, posture, and movement of a person, and the monitoring accuracy is improved, and the place where monitoring can be performed can be widened. Similarly, by combining a plurality of sensors having different properties, the accuracy and reliability of detecting the position, posture, and movement of a person can be improved.

なお、人及び周囲の環境の監視は間欠的でも良く、人の属性の変化が少ないときや高速な制御が必要でない制御対象の場合には間欠的に監視を行うことで、一連の制御処理の処理量を軽減し、計算資源の削減や消費エネルギーの削減の効果が得られる。   It should be noted that the monitoring of the human and surrounding environment may be intermittent, and when there is little change in the attributes of the human or in the case of a control object that does not require high-speed control, intermittent monitoring is performed to perform a series of control processing. The amount of processing can be reduced, and the effects of reducing computational resources and energy consumption can be obtained.

図1において、操作者選択部2は前記監視部1の監視した結果に基づき、操作者を選択する。ここで、前記監視部は3名の人を監視しているとする。操作者選択部2は監視部1の監視した所定の人の属性に基づいて前記3名のうち1名を選択する。所定の属性に基づいて人を選択する事とは、あらかじめ定めた位置(例えば部屋の中央など)に最も近い位置に存在する人や、あらかじめ定めた姿勢や動作(例えば挙手など)などを行った人や、あらかじめ定めた人の優先順位に基づく(例えば家族内であれば父親、母親、子供の順など)最も優先順位の高い人や(体重や性別、年齢、生理状態、心身的不自由度などに応じて優先順位をつけてもよい)、特定の言葉(例えば「ハイ」や機器の名称など)を発した人や、特定の付帯物(例えば赤いボールを手に持っているなど)を有した人や、特定の位置(例えば置物など)に視線または頭を向けている人などを選択することである。また、操作者選択部2は、人の属性に基づいてあらかじめ定めた評価方法に基づいて評価値を各人に対して求め、評価値がある基準値以上でかつ最も評価値の大きい人を選択するようにしてもよい。この場合、様々な人の属性を同時に考慮することが可能になる。評価方法としては例えば、「ハイ」と発声した音声の強度と挙手した動作の速さとの重み付け和を評価値として用いることなどが出来る。   In FIG. 1, an operator selecting unit 2 selects an operator based on the result monitored by the monitoring unit 1. Here, it is assumed that the monitoring unit monitors three persons. The operator selection unit 2 selects one of the three persons based on the attribute of the predetermined person monitored by the monitoring unit 1. Selecting a person based on a predetermined attribute means that a person is present at a position closest to a predetermined position (for example, the center of a room, etc.), or has performed a predetermined posture or action (for example, raising a hand). The highest priority person (such as weight, gender, age, physiological condition, mental and physical inconvenience) based on the priority of the person or the predetermined person (for example, father, mother, and child in a family). May be prioritized, etc.), specific words (e.g., "high" or device name, etc.), or specific incidental objects (e.g., holding a red ball in your hand) This is to select a person who has, or a person who is looking or heading to a specific position (for example, a figurine). The operator selection unit 2 obtains an evaluation value for each person based on an evaluation method predetermined based on the attribute of the person, and selects a person whose evaluation value is equal to or more than a certain reference value and has the highest evaluation value. You may make it. In this case, it is possible to consider attributes of various people at the same time. As the evaluation method, for example, a weighted sum of the intensity of the voice uttered “high” and the speed of the raised hand can be used as the evaluation value.

次に操作者選択部2は選択した人についての情報を提示する。例えば、選択した人の名前が特定できる場合には、選択した人の名前をディスプレイに表示したり、名前を音声で出力したり、あらかじめ個人と対応づけた音楽や音や名称を音で出力したり、あらかじめ個人と対応づけた記号や文字をディスプレイに表示したり、あらかじめ各個人が付帯している機器に信号を送信してもよい。前記信号を受けた付帯機器は振動したり、光を出力したり、音を出力することで個人に情報を知らせることができる。また、選択した人に対して照明を向けたり、ディスプレイなどの機器を回転させて選択した人に対して向けたり、選択した人をカメラで写した映像をディスプレイに表示したりしてもよい。また、選択した人に対してのみその人の発声や動作の直後に「何ですか」という音声を出力したり、音や光を出力したりすることで、選択した人の情報を人に提示することもできる。   Next, the operator selection unit 2 presents information about the selected person. For example, if the name of the selected person can be identified, the name of the selected person is displayed on the display, the name is output by voice, or the music, sound, or name associated with the individual in advance is output by sound. Alternatively, a symbol or character previously associated with an individual may be displayed on a display, or a signal may be transmitted to a device attached to each individual in advance. The accessory device that has received the signal can notify the individual of information by vibrating, outputting light, or outputting sound. Further, the lighting may be directed at the selected person, the device such as a display may be rotated to aim at the selected person, or an image of the selected person captured by a camera may be displayed on the display. In addition, the information of the selected person is presented to the selected person only by outputting "what" sound or outputting sound or light immediately after the person's utterance or action. You can also.

なお、前記例では操作者選択部2は3名のうち1名を選択したが、複数名(2名など)を選択してもよいし、所定の属性が観察できない場合には人を選択しなくてもよい。   In the above example, the operator selection unit 2 selects one of the three persons, but a plurality of persons (two persons or the like) may be selected, or a person may be selected when a predetermined attribute cannot be observed. It is not necessary.

図1において、3は制御対象候補決定部であり、前記操作者選択部2が選択した人の所定の属性や選択した人の周辺の環境に基づいて、制御対象の候補を決定する。制御対象としては機器(家庭内であれば、エアコン、テレビ、ビデオ、電灯、洗濯機、パーソナルコンピュータ、ゲーム機、ペットロボットなど。   In FIG. 1, reference numeral 3 denotes a control target candidate determination unit which determines a control target candidate based on a predetermined attribute of a person selected by the operator selection unit 2 and an environment around the selected person. Devices to be controlled include air conditioners, televisions, videos, electric lights, washing machines, personal computers, game machines, pet robots, etc. in the home.

家庭外であれば、エレベータ、車など)や、情報機器で扱われる情報や表示内容(ディスプレイ内に表示している文字や図形など)などを対象とする。選択した人の所定の属性としては、指や視線や頭による指示姿勢や、特定の言葉の発声や、手話動作や、特定の物を手に持つことなどを用いることができる。指や視線や頭による指示姿勢を用いる場合、指示された付近に存在する機器またはディスプレイの表示内容を制御対象の候補とする。人の周辺の環境としては気温、湿度、照度、音量、気流状態、空気中における特定の気体の濃度(炭酸ガス濃度など)、時刻などを用いることができる。室内の気温や湿度が高い場合には、制御対象としてエアコンや扇風機や除湿機などを制御対象の候補とする。室内の照度が低い場合や特定の時刻(日没前の時刻)になった場合には、照明を制御対象の候補とする。気流の変化が長時間無い場合や空気中の炭酸ガス濃度が基準値を上回る場合などには、換気扇や窓を制御対象とする。室外の音が基準値を上回る場合にはテレビや窓を制御対象とする。   Outside homes, such as elevators and cars, and information and display contents (such as characters and figures displayed in the display) handled by information devices are targeted. As the predetermined attribute of the selected person, a pointing posture by a finger, a line of sight, or a head, utterance of a specific word, sign language operation, holding a specific object in a hand, and the like can be used. In the case of using a pointing posture by a finger, a line of sight, or a head, the display content of a device or a display existing in the vicinity of the pointing is set as a control target candidate. As the environment around a person, temperature, humidity, illuminance, sound volume, airflow state, concentration of a specific gas in air (such as carbon dioxide concentration), time, and the like can be used. When the indoor temperature or humidity is high, an air conditioner, a fan, a dehumidifier, or the like is set as a control target candidate as a control target. When the illuminance in the room is low or at a specific time (time before sunset), the lighting is set as a candidate for the control target. When there is no change in the airflow for a long time or when the concentration of carbon dioxide in the air exceeds a reference value, a ventilation fan or a window is set as a control target. When the sound outside the room exceeds the reference value, the television or the window is set as the control target.

なお、この候補は複数あってもよく、また1つでもよい。例えば、操作者として選択された人が指差す方向に、エアコンとテレビが存在した場合、両者を制御対象とする。言葉の発声や手話動作を所定の属性として用いる場合には、機器の名称を指示してもよいし、あらかじめ定めた言葉でもよい。例えば「テレビ」言えば、テレビ(複数存在してもよい)を制御対象の候補とし、「暑い」と言えば扇風機とエアコンを制御対象候補とする。所定の属性として特定の物を手に持つことを用いる場合、機器と物とをあらかじめ対応づけておき、赤いボールはエアコン、青いボールはテレビに対応づけておくことで、青いボールを手にしたことでテレビを制御対象の候補とする。   It should be noted that there may be a plurality of these candidates or one. For example, when the air conditioner and the television are present in the direction in which the person selected as the operator points, both are controlled. When using the utterance of a word or a sign language operation as a predetermined attribute, the name of the device may be indicated or a predetermined word may be used. For example, speaking of "television", television (or a plurality of televisions may be present) is a candidate for control, and "hot" is a fan and air conditioner as candidates for control. When using a specific object in the hand as a predetermined attribute, the device and the object are associated in advance, the red ball is associated with the air conditioner, the blue ball is associated with the TV, and the blue ball is obtained. Thus, the television is set as a candidate for the control target.

次に制御対象候補決定部3は、決定した制御対象の候補についての情報を外部に提示する。情報の提示は制御対象を表す名称を音声や音で出力してもよく、また、制御対象の表す名称をディスプレイに表示してもよい。また、制御対象の候補の機器自身に備えたライトを点灯させてもよいし、制御対象の候補の機器自身に備えたスピーカーから音や音声を出力してもよい。   Next, the control target candidate determination unit 3 presents information about the determined control target candidate to the outside. For the information presentation, the name representing the control target may be output by voice or sound, or the name representing the control target may be displayed on a display. Further, a light provided on the device itself to be controlled may be turned on, or sound or voice may be output from a speaker provided on the device itself as the control target candidate.

図1において、制御内容候補決定部4は前記操作者選択部2が選択した人の所定の属性や選択した人の周辺の環境に基づいて、制御内容の候補を決定する。制御内容としては機器のスイッチのオン・オフや、機器の動作パラメータ(音量や、風量や、風向や、チャンネルや、光量など)の変更や、ドアや窓の開閉や、情報機器のディスプレイ内のオブジェクトの移動・変形・色の変更・文書の編集などを制御対象とする。   In FIG. 1, a control content candidate determination unit 4 determines control content candidates based on a predetermined attribute of a person selected by the operator selection unit 2 and an environment around the selected person. The control contents include turning on / off the switch of the device, changing the operation parameters of the device (volume, air volume, wind direction, channel, light amount, etc.), opening and closing doors and windows, and opening and closing the information device display. Objects to be moved, deformed, changed colors, and edited documents are controlled.

所定の属性としては、音声や手話で制御内容を指示することや(例えばスイッチを入れる場合は「オン」、スイッチを切る場合は「オフ」と発声することや、「暑い」と発声することでスイッチを入れるなど)、あらかじめ定めた動作を制御内容と関連付けておいてもよい(手を1度叩くとスイッチを入れ、2度叩くとスイッチを切るなど)。なお、候補は複数あってもよく、また1つでもよい。例えば、操作者として選択した人が「上」と発声した場合、候補としてテレビの音量を大きくすることや、エアコンの設定温度を上げることや、情報機器のディスプレイに表示するオブジェクトを情報に移動させることなどが候補となる。   As the predetermined attribute, by instructing the control content by voice or sign language (for example, "ON" when turning on the switch, "OFF" when turning off the switch, or "Hot" A predetermined operation may be associated with the control content (for example, a switch is turned on when the hand is hit once, and a switch is turned off when the hand is hit twice). Note that there may be a plurality of candidates or one candidate. For example, when the person selected as the operator utters “up”, increasing the volume of the television, increasing the set temperature of the air conditioner, or moving an object to be displayed on the display of the information device to the information are candidates. Things are candidates.

人の周辺の環境としては気温、湿度、照度、音量、気流状態、空気中における特定の気体の濃度(炭酸ガス濃度など)、時刻などを用いることができる。室内の気温や湿度が高い場合には、制御内容としてエアコンや扇風機や除湿機などのスイッチを入れることや動作強度を強めることなどを制御内容の候補とする。   As the environment around a person, temperature, humidity, illuminance, sound volume, airflow state, concentration of a specific gas in air (such as carbon dioxide concentration), time, and the like can be used. When the indoor temperature and humidity are high, the control contents may include switching on an air conditioner, a fan, a dehumidifier, or the like, and increasing the operation intensity, and the like.

室内の照度が低い場合や特定の時刻(日没前の時刻)になった場合には照明のスイッチを入れることや光量を強めることなどを制御内容の候補とする。気流の変化が長時間無い場合や空気中の炭酸ガス濃度が基準値を上回る場合などには、換気扇のスイッチを入れることや窓を開けることを制御内容の候補とする。室外の音が基準値を上回る場合にはテレビの音量を大きくすることや窓を閉めることを制御内容の候補とする。   When the illuminance in the room is low or at a specific time (time before sunset), turning on the light or increasing the light amount are candidates for the control content. When there is no change in the airflow for a long time or when the concentration of carbon dioxide in the air exceeds the reference value, switching on the ventilation fan and opening the window are candidates for the control contents. If the outdoor sound exceeds the reference value, increasing the volume of the television and closing the window are candidates for the control content.

次に制御内容候補決定部4は決定した制御内容の候補についての情報を提示する。情報の提示は制御内容を表す名称を音声や音で出力してもよく、また、制御内容の表す名称をディスプレイに表示してもよい。   Next, the control content candidate determination unit 4 presents information on the determined control content candidate. For the presentation of the information, the name representing the control content may be output by voice or sound, or the name representing the control content may be displayed on a display.

図1において、制御対象・制御内容決定部5は、前記制御対象候補決定部3が決定した制御対象候補と、前記制御内容候補決定部4が決定した制御内容候補とから、制御対象と制御内容を決定し、決定した制御対象に対して決定した制御を行う。ここで、制御対象の候補と制御内容の候補から、制御対象と制御内容を、次のような候補の限定によって、特定する。候補の限定は制御対象の候補と制御内容の候補との組み合わせのうちあらかじめ定めた組み合わせのみを採用する。例えば、制御対象の候補がテレビとエアコンで、制御内容の候補が「温度を上げる」の場合にはテレビに対しては温度を上げる制御内容はなく、エアコンに対しては温度を上げる制御内容がある場合、エアコンを制御対象とし、エアコンの設定温度を上げることを制御内容とする。また、候補の限定として、人の指示動作に基づいてエアコンを制御対象候補とし、人の「上げる」の発声に基づいてエアコンの温度を上げることを制御内容の候補としたとき、前記指示動作を監視した時刻T1と前記「上げる」の発声を監視した時刻T2との時間間隔が基準値(例えば3秒)以上なら制御対象ならびに制御内容を選択しない。同様に前記時刻T2が前記時刻T1よりも先の場合にも制御対象ならびに制御内容を選択しない。このように時刻T1と時刻T2の時間間隔や順序を考慮することでも、候補を限定することができる。このことにより、偶然の指示動作と偶然の会話の中の言葉との組み合わせによる誤判断などの割合を低減することができる。また、前記指示動作の継続時間が基準(例えば1秒以上)に満たない場合にも、制御対象の選択を行わない。このことにより、日常の動作の中で偶然指示動作と同じ動作を行った場合に誤った判断の割合を低減することが可能となる。なお、限定を行う必要がない場合(例えば、候補数が1つの場合や、複数の制御対象を同時に制御する場合など)には、限定を行わなくてもよい。   In FIG. 1, a control target / control content determination unit 5 determines a control target and a control content from a control target candidate determined by the control target candidate determination unit 3 and a control content candidate determined by the control content candidate determination unit 4. Is determined, and the determined control is performed on the determined control target. Here, the control target and the control contents are specified from the control target candidates and the control contents candidates by limiting the candidates as follows. For the limitation of the candidates, only a predetermined combination among the combinations of the control target candidate and the control content candidate is adopted. For example, if the control target candidates are a TV and an air conditioner, and the control content candidate is “raise the temperature”, there is no control content for raising the temperature for the TV, and there is no control content for raising the temperature for the air conditioner. In some cases, the air conditioner is set as a control target, and increasing the set temperature of the air conditioner is set as the control content. In addition, as a limitation of the candidate, when the air conditioner is a control target candidate based on the instruction operation of a person and the candidate of the control content is to raise the temperature of the air conditioner based on the utterance of “raise” by the person, the instruction operation is performed. If the time interval between the monitored time T1 and the time T2 when the "raise" utterance is monitored is equal to or longer than a reference value (for example, 3 seconds), the control object and the control content are not selected. Similarly, when the time T2 is earlier than the time T1, the control object and the control content are not selected. Thus, the candidates can also be limited by considering the time interval and the order between the time T1 and the time T2. As a result, it is possible to reduce the rate of misjudgment or the like due to the combination of the accidental instruction operation and the words in the accidental conversation. Further, even when the duration of the instruction operation is less than a reference (for example, 1 second or longer), the control target is not selected. This makes it possible to reduce the ratio of erroneous determination when the same operation as the instruction operation is accidentally performed in the daily operation. Note that when there is no need to perform the limitation (for example, when the number of candidates is one, or when a plurality of control targets are simultaneously controlled), the limitation may not be performed.

次に、制御対象・制御内容決定部5は、決定した制御対象及び制御内容の情報を提示する。制御対象の提示ならびに制御内容の提示については、前記制御対象の候補の提示ならびに制御内容の候補の提示と同様である。   Next, the control target / control content determination unit 5 presents information on the determined control target and control content. The presentation of the control target and the presentation of the control content are the same as the presentation of the control target candidate and the presentation of the control content candidate.

また、制御対象・制御内容決定部5は確認の指示や、再入力の指示、候補の選択肢や、対象決定不能であることなどの情報の提示を行ってもよい。確認の指示は、前記決定した制御対象ならびに制御内容についての実行の確認を行うもので、「よろしいですか」などの発声やディスプレイ上ので表示または、あらかじめ定めた音でもよい。再入力の指示や対象決定不能の提示は、制御対象ならびに制御内容の確定が困難な場合(人の所定の属性があいまいな場合など)、再度入力を促すもので、「もう一度入力して下さい」などの発声や、ディスプレイ上での表示、またはあらかじめ定めた音を出力してもよい。候補の選択肢は、制御対象ならびに制御内容が複数存在する場合に、ディスプレイ上の表示などで選択肢を表示し、選択の行為を促す。   In addition, the control target / control content determination unit 5 may present an instruction for confirmation, an instruction for re-input, a choice of a candidate, or information such as a determination that the target cannot be determined. The confirmation instruction is for confirming the execution of the determined control target and the control content, and may be an utterance such as “Is it OK?”, A display on a display, or a predetermined sound. The instruction to re-enter or to indicate that the object cannot be determined prompts the user to input again when it is difficult to determine the control target and control details (such as when the predetermined attribute of the person is ambiguous). , An indication on a display, or a predetermined sound may be output. When there are a plurality of control options and control contents, the options are displayed on a display or the like to prompt the user to make a selection.

また、監視部1は、制御対象・制御内容決定部5が情報の提示を行った後の操作者の属性を監視し、制御対象・制御内容決定部5は制御対象の候補ならびに制御内容の候補の限定や、制御対象及び制御内容の決定や、再度情報の提示を行う。情報の提示と提示後の人の属性の監視に基づく制御対象ならびに制御内容に削減は繰り返し行ってもよい。繰り返し行うことで、候補数を減らすことが可能である。制御対象・制御内容決定部5が情報の提示を行った後の操作者の属性としては、実行の確認の場合には、「ハイ」などの発声を監視することで、制御対象に対する制御を実行する。候補の選択肢をディスプレイで提示する場合には、選択肢に番号を付与することで、その番号を表す、発声を監視することで制御対象に対する制御を実行する。なお、先に述べた制御対象候補決定部3や制御内容候補決定部4がその候補に対する選択を催促するようにしてもよい。この場合は、人がその候補のなかから特定の対象、内容を選択するから、制御対象、制御内容決定部5はその選択行為に基づいて、制御対象、制御内容を決定することになる。   Further, the monitoring unit 1 monitors the attributes of the operator after the control target / control content determination unit 5 presents the information, and the control target / control content determination unit 5 determines the control target candidate and the control content candidate. Is limited, the control target and control contents are determined, and information is presented again. The reduction of the control target and the control content based on the presentation of the information and the monitoring of the attribute of the person after the presentation may be repeatedly performed. By repeating the process, the number of candidates can be reduced. As the attribute of the operator after the control target / control content determination unit 5 presents the information, in the case of confirmation of execution, the control of the control target is executed by monitoring an utterance such as “high”. I do. When a candidate option is presented on a display, a number is assigned to the option, and the control is performed on the control target by monitoring the utterance representing the number. Note that the control target candidate determination unit 3 and the control content candidate determination unit 4 described above may prompt the selection of the candidate. In this case, since a person selects a specific target and content from the candidates, the control target / control content determination unit 5 determines the control target and control content based on the selection action.

このように構成した本発明の第一の実施の形態について、その動作を説明する。室内にA,B,Cの3名の人がおり、エアコン、テレビ、扇風機が室内に存在するとする。監視部1は人の属性ならびに人の周辺の環境を継続的に監視している。ここで、AとBがテレビを指差した場合、操作者選択部2は時間的に先にテレビを指差したBを操作者とし、Bの名前を音声で出力する。これにより、Aは操作できずBが操作できることを知ることができ、複数人数でも、混乱すること無く機器の制御を行うことができる。   The operation of the thus configured first embodiment of the present invention will be described. It is assumed that there are three people A, B, and C in the room, and an air conditioner, a television, and a fan exist in the room. The monitoring unit 1 continuously monitors the attributes of the person and the environment around the person. Here, when A and B point to the television, the operator selection unit 2 sets B, which pointed to the television earlier in time, as the operator, and outputs the name of B as a voice. As a result, it is possible to know that A cannot operate and B can operate, and even a plurality of persons can control the apparatus without confusion.

操作者選択部2が行う操作者の情報の提示は、Bの名前を音声で出力する以外に、選択した人の名前をディスプレイに表示したり、あらかじめ個人と対応づけた音楽や音や名称を音で出力したり、あらかじめ個人と対応づけた記号や文字をディスプレイに表示したり、あらかじめ各個人が付帯している機器に信号を送信してもよい。前記信号を受けた付帯機器は振動したり、光を出力したり、音を出力することで個人に情報を知らせることができる。また、選択した人に対して照明を向けたり、ディスプレイなどの機器を回転させて選択した人に対して向けたり、選択した人をカメラで写した映像をディスプレイに表示したりしてもよい。また、選択した人に対してのみその人の発声や動作の直後に「何ですか」という音声を出力したり、音や光を出力したりすることで、選択した人の情報を提示することもできる。このように、選択した操作者を人に知らせることで、誰が操作を行えるのかが分かり、複数の人が操作を行おうとした場合にでも混乱することを防ぐことが可能となる。   The presentation of the information of the operator performed by the operator selection unit 2 includes not only outputting the name of B by voice, but also displaying the name of the selected person on a display, and displaying music, sounds, and names previously associated with the individual. A sound may be output, a symbol or character previously associated with an individual may be displayed on a display, or a signal may be transmitted in advance to a device attached to each individual. The accessory device that has received the signal can notify the individual of information by vibrating, outputting light, or outputting sound. Further, the lighting may be directed at the selected person, the device such as a display may be rotated to aim at the selected person, or an image of the selected person captured by a camera may be displayed on the display. In addition, the information of the selected person shall be presented only to the selected person by outputting a sound "what" or outputting a sound or light immediately after the person's utterance or action. You can also. In this way, by notifying the selected operator to a person, it is possible to know who can perform the operation, and it is possible to prevent confusion even when a plurality of people try to perform the operation.

制御対象候補決定部3は前記操作者選択部2が選択した人の所定の属性や選択した人の周辺の環境に基づいて、制御対象の候補を決定する。Bが指を差した方向の付近にテレビとエアコンが存在する場合、テレビとエアコンを制御対象の候補と決定する。エアコンがBの指差した方向より多少離れている場合でも、周囲の環境として室温が高い場合には、制御対象の候補に含める。次に制御対象候補決定部3は決定した制御対象の候補についての情報を提示する。情報の提示は制御対象を表す名称を音声や音で出力してもよく、また、制御対象の表す名称をディスプレイに表示してもよい。また、制御対象の候補の機器自身に備えたライトを点灯させてもよいし、制御対象の候補の機器自身に備えたスピーカーから音や音声を出力してもよい。制御対象の候補の情報を提示することで、操作者は望みの対象が候補の中に含まれるか否かを確認する事ができる。また、候補を複数選ぶことで、本来選ぶべき制御対象をより確実に候補内に含めることが可能となる。   The control target candidate determination unit 3 determines a control target candidate based on a predetermined attribute of the person selected by the operator selection unit 2 and an environment around the selected person. When the TV and the air conditioner are present in the vicinity of the direction in which B points the finger, the TV and the air conditioner are determined as control target candidates. Even when the air conditioner is slightly away from the direction pointed by B, if the room temperature is high as the surrounding environment, it is included as a candidate for control. Next, the control target candidate determination unit 3 presents information on the determined control target candidate. For the information presentation, the name representing the control target may be output by voice or sound, or the name representing the control target may be displayed on a display. Further, a light provided on the device itself to be controlled may be turned on, or sound or voice may be output from a speaker provided on the device itself as the control target candidate. By presenting the information of the control target candidate, the operator can confirm whether or not the desired target is included in the candidate. Further, by selecting a plurality of candidates, it is possible to more surely include the control target to be originally selected in the candidates.

制御内容候補決定部4は前記操作者選択部2が選択した人の所定の属性や選択した人の周辺の環境に基づいて、制御内容の候補を決定する。Bが指を差すと同時に「強く」と発声した場合、制御の候補として、風を強くする、冷房能力を強くする、暖房能力を強くする、照明を強くするなどを制御内容の候補に決定する。   The control content candidate determination unit 4 determines control content candidates based on a predetermined attribute of the person selected by the operator selection unit 2 and an environment around the selected person. If B utters “strong” at the same time as pointing the finger, the control candidates are determined as control candidates such as strengthening the wind, increasing the cooling capacity, increasing the heating capacity, and increasing the lighting. .

次に制御内容候補決定部4は決定した制御内容の候補についての情報を提示する。情報の提示は制御内容を表す名称を音声や音で出力してもよく、また、制御内容の表す名称をディスプレイに表示してもよい。制御内容の候補の情報を提示することで、操作者は望みの対象が候補の中に含まれるか否かを確認する事ができる。また、候補を複数選ぶことで、本来選ぶべき制御内容をより確実に候補内に含めることが可能となる。   Next, the control content candidate determination unit 4 presents information on the determined control content candidate. For the presentation of the information, the name representing the control content may be output by voice or sound, or the name representing the control content may be displayed on a display. By presenting the information of the candidate for the control content, the operator can confirm whether or not the desired target is included in the candidate. Further, by selecting a plurality of candidates, it is possible to more surely include the control contents to be originally selected in the candidates.

また、制御対象の候補ならびに制御内容の候補の数が多い場合には必ずしも全て情報を提示しなくてもよい。   When the number of control target candidates and control content candidates is large, it is not always necessary to present all information.

制御対象・制御内容決定部5は、前記制御対象候補決定部3が決定した制御対象候補と、前記制御内容候補決定部4が決定した制御内容候補とから、制御対象と制御内容を決定し、決定した制御対象に対して決定した制御を行う。ここで、制御対象の候補と制御内容の候補から、制御対象と制御内容を決定する方法の一つとして、次に説明する方法がある。すなわち、制御対象の候補と制御内容の候補との組み合わせのうちあらかじめ定めた組み合わせのみを採用する。上記の場合、制御対象の候補がテレビとエアコンで、制御内容の候補が風を強くする、冷房能力を強くする、暖房能力を強くする、照明を強くする、の4つの場合、テレビには制御内容の候補と組み合わせることが出来ないため、エアコンを制御対象とし、エアコンと組み合わせることの出来る制御内容として風を強くする、冷房能力を強くする、暖房能力を強くするに候補を限定する。更に人の環境のとして気温や季節を監視しておくことで、気温が摂氏30度を超えるときや夏であれば、制御内容として暖房能力を強くすることを除去する。また、あらかじめ過去の個人の制御の履歴を記録しておくことで、過去に制御していない制御対象と制御内容との組み合わせを除去することもできる。   The control target / control content determination unit 5 determines a control target and control content from the control target candidate determined by the control target candidate determination unit 3 and the control content candidate determined by the control content candidate determination unit 4, The determined control is performed on the determined control target. Here, as one of the methods for determining the control target and the control content from the control target candidate and the control content candidate, there is a method described below. That is, only predetermined combinations among combinations of control target candidates and control content candidates are adopted. In the above case, the TV and the air conditioner are candidates for the control target, and the candidate for the control content is to control the TV in four cases of strengthening the wind, increasing the cooling capacity, increasing the heating capacity, and increasing the lighting. Since the air conditioner cannot be combined with the content candidate, the air conditioner is set as a control object, and the control contents that can be combined with the air conditioner are limited to candidates for strengthening the wind, enhancing the cooling capacity, and increasing the heating ability. Further, by monitoring the temperature and the season as a human environment, when the temperature exceeds 30 degrees Celsius or in summer, it is possible to eliminate the need to increase the heating capacity as a control content. In addition, by recording the history of individual control in the past in advance, it is also possible to eliminate a combination of a control target that has not been controlled in the past and a control content.

このように、制御対象・制御内容決定部5は制御対象の候補ならびに制御内容の候補ならびに周辺の環境それぞれに基づいて、制御対象ならびに制御内容を決定することで、所定の人の属性のみからは、制御対象や制御内容を単独に特定しにくい場合にでも、制御対象や制御内容をより確実に特定することが出来る。特に、人の動作や姿勢などのように曖昧性を含む人の属性を利用する場合精度の高い認識を行っても判断が困難であるが、本手法を用いることで、あらかじめ定めた曖昧性の少ない動作を人に強いることなく、人の日常の動作や姿勢を用いて望ましい、制御対象や制御内容を選択することが可能となる。   As described above, the control target / control content determination unit 5 determines the control target and the control content based on the control target candidate and the control content candidate and the surrounding environment, respectively, so that the control target / control content determination unit 5 can determine only the attributes of the predetermined person. Even when it is difficult to specify the control target or the control content alone, the control target or the control content can be specified more reliably. In particular, when using human attributes that include ambiguity, such as human motion or posture, it is difficult to make a judgment even with high-precision recognition. It is possible to select a desired control target or control content using the daily motion and posture of the person without forcing the person to perform a small number of operations.

次に、制御対象・制御内容決定部5は、決定した制御対象及び制御内容の情報を提示する。制御対象の提示ならびに制御内容の提示については、前記制御対象の候補の提示ならびに制御内容の候補の提示と同様である。制御対象及び制御内容の情報を提示することで、操作者は望みの制御対象や制御内容が選択されているか否かを確認する事ができる。   Next, the control target / control content determination unit 5 presents information on the determined control target and control content. The presentation of the control target and the presentation of the control content are the same as the presentation of the control target candidate and the presentation of the control content candidate. By presenting information on the control target and the control content, the operator can confirm whether or not the desired control target and control content are selected.

あるいはまた、制御対象・制御内容決定部5は確認の指示や、再入力の指示、候補の選択肢や、対象決定不能であることなどの情報の提示を行う。確認の指示は、前記決定した制御対象ならびに制御内容についての実行の確認を行うもので、「よろしいですか」などの発声やディスプレイ上ので表示または、あらかじめ定めた音でもよい。確認を行うことにより誤制御を防ぐことが可能となる。また、再入力の指示や対象決定不能の提示は、制御対象ならびに制御内容の確定が困難な場合、再度入力を促すもので、「もう一度入力して下さい」などの発声や、ディスプレイ上での表示、またはあらかじめ定めた音を出力したり、ディスプレイ上の表示などで選択肢を表示し、再度選択の行為を促す。上記の場合エアコンの風を強くするか冷房能力を強くするかについて音声で再度指示を行うことを促す。そこで、監視部1は、制御対象・制御内容決定部5が情報の提示を行った後の操作者の属性を監視し、制御対象・制御内容決定部5は制御対象の候補ならびに制御内容の候補の限定や、制御対象及び制御内容の決定や、再度情報の提示を行う。上記の場合、人が「風」と発声した場合、制御対象・制御内容決定部5は制御内容をエアコンの風を強くすることに決定し、エアコンの風を強くすることを音声で提示すると同時にエアコンに制御信号を送る。情報の提示と提示後の人の属性の監視に基づく制御対象ならびに制御内容に削減は繰り返し行ってもよい。繰り返し行うことで、誤判断を行うことなく候補数を減らすことが可能である。   Alternatively, the control target / control content determination unit 5 presents an instruction for confirmation, an instruction for re-input, a choice of a candidate, and information indicating that the target cannot be determined. The confirmation instruction is for confirming the execution of the determined control target and the control content, and may be an utterance such as “Is it OK?”, A display on a display, or a predetermined sound. By performing the confirmation, erroneous control can be prevented. In addition, the instruction of re-input and the indication that the target cannot be determined will prompt the user to input again when it is difficult to determine the control target and the control details, such as saying "Please enter again" or displaying on the display. Alternatively, a predetermined sound is output, or options are displayed on a display or the like, and the user is prompted to make a selection again. In the above case, it is urged to give an instruction again by voice as to whether to increase the airflow or the cooling capacity of the air conditioner. Therefore, the monitoring unit 1 monitors the attributes of the operator after the control target / control content determination unit 5 presents the information, and the control target / control content determination unit 5 determines the control target candidate and the control content candidate. Is limited, the control target and control contents are determined, and information is presented again. In the above case, when the person utters “wind”, the control target / control content determination unit 5 determines that the control content should be increased by the air conditioner, and presents the voice to increase the air conditioner by voice. Send a control signal to the air conditioner. The reduction of the control target and the control content based on the presentation of the information and the monitoring of the attribute of the person after the presentation may be repeatedly performed. By repeating this, it is possible to reduce the number of candidates without making an erroneous determination.

このように、制御対象や制御内容を確定できない場合は再度入力を行うように指示することで、強制的な判断による誤判断を防ぎ、かつ人の動作や姿勢などの属性の曖昧性を許容しながら、人の動作や姿勢などの属性を用いて機器や情報の制御を円滑に行うことが可能となる。   In this way, if the control target or control content cannot be determined, the user is instructed to input again, thereby preventing erroneous determination due to forced determination and allowing ambiguity in attributes such as human motion and posture. However, it is possible to smoothly control devices and information using attributes such as human motion and posture.

なお、上記では人からの再度入力を監視する際に音声を人の属性として用いているが、別の属性(特定の動作)及びそれらの組み合わせを用いても良い。例えば制御対象・制御内容決定部5が決定した制御対象並びに制御内容を提示し、人に確定を促す場合、人が腕や手や指で丸い形を作ったり(図9(1)〜(4)参照)、親指を立てる動作(図9(5)参照)をすると、制御対象・制御内容決定部5は提示した内容を制御対象ならびに制御内容として確定する。また、人が腕や指で×の形を作ったり(図9(6),(7)参照)、手を横に振る動作(図9(8)参照)をすると、制御対象・制御内容決定部5は提示した内容を制御対象ならびに制御内容として採用せず、人に再度の入力を促す。   In the above description, the voice is used as the attribute of the person when monitoring the input again from the person, but another attribute (specific operation) and a combination thereof may be used. For example, when the control target and the control content determined by the control target / control content determination unit 5 are presented to urge a person to confirm, the person may make a round shape with his / her arm, hand, or finger (see FIGS. 9 (1) to 9 (4)). )) And the operation of raising the thumb (see FIG. 9 (5)), the control target / control content determination unit 5 determines the presented content as the control target and the control content. Also, when a person makes an X shape with his / her arm or finger (see FIGS. 9 (6) and (7)) or shakes his hand (see FIG. 9 (8)), the control target / control contents are determined. The unit 5 does not adopt the presented content as a control target or control content, and prompts a person to input again.

なお上記では、操作者及び制御対象候補を決定する際に指差しの動作または姿勢を人の属性として用いているが、別の属性(視線や頭の向きや音声などの他の指示動作や指示動作以外の動作・姿勢)及びそれらの組み合わせを用いてもよい。例えば人の属性として人の位置を考慮すると、隣の部屋にいる人のようにテレビの操作に関係しない人を操作者に誤って選ぶことを防ぐことができる。また、人の姿勢を属性として用いることで、例えば座っている人を優先させることが出来、たまたま部屋を通りかかった人の偶然の動作を誤って判断することを防ぐことが出来る。また、人の顔・表情や特定個人であることや人の年齢を人の属性として用いることで、あらかじめテレビの使用を限定した人や、テレビの操作が不適切な人を操作者の対象から外すことも可能である(例えば子供は夜9時以降は操作できないなど)。また、人の心身的不自由度や人の性別や人の生理状態などを人の属性として用いることで、人の心身的不自由度や人の性別や人の生理状態などに基づいて優先的に操作を行わせることも可能となる。また、人の付帯物などを用いることで、通常のものをあたかもリモコンのようの意味付けることができ(例えば赤いボールを持つことがテレビを意味するなど)、使用者が使いやすい動作または使用者の好みの動作でテレビを選択できると同時に、複数の人の間でのテレビ操作の優先権(誰が赤いボールを先に手にするか)を目に見える形で提示することが出来る。   In the above description, the pointing operation or posture is used as the attribute of the person when determining the operator and the control target candidate, but another attribute (such as another instruction operation or instruction such as gaze, head direction, or voice) is used. Motion / posture other than motion) and a combination thereof. For example, considering the position of a person as the attribute of the person, it is possible to prevent a person who is not involved in the operation of the television, such as a person in the next room, from being mistakenly selected by the operator. In addition, by using the posture of a person as an attribute, for example, a person who is sitting can be prioritized, and it is possible to prevent a person who accidentally passed a room from erroneously judging an accidental movement. In addition, by using the face / expression of a person, being a specific individual, and the age of a person as attributes of the person, it is possible to restrict the use of the television in advance or the inappropriate operation of the television from the target of the operator. It is also possible to remove it (for example, children cannot operate after 9 o'clock at night). In addition, by using the degree of mental and physical inconvenience of a person, the gender of a person, and the physiological state of a person as attributes of a person, priority is given based on the degree of mental and physical inconvenience of the person, the gender of the person, and the physiological state of the person. Can be operated. In addition, by using an accessory attached to a person, a normal thing can be given a meaning like a remote control (for example, having a red ball means a television). The user can select a television with his / her favorite operation, and at the same time, can visually indicate the priority of television operation among multiple persons (who takes the red ball first).

また、複数の属性(音声と視線など)を組み合わせることで、人に特定の動作のみを強いることなく、より負担なく機器の操作を実施できる。例えば(「テレビ」の発声)と視線(テレビの方向を見る)などを同時に組み合わせることで、偶然の動作(会話中の「テレビ」という発声)への誤った反応を防ぐことが出来る。   In addition, by combining a plurality of attributes (such as voice and line of sight), it is possible to operate a device without imposing a burden on a person without forcing a specific operation. For example, by simultaneously combining (speaking “TV”) and gaze (looking at the direction of the TV), it is possible to prevent an erroneous reaction to an accidental action (speaking “TV” during a conversation).

人の属性と周辺環境との組み合わせによっても、操作者を適切に選択することができる。例えば換気扇を操作したい場合、人の周辺の環境として空気中における特定の気体の濃度(炭酸ガス濃度など)を監視する場合、あらかじめ個人の環境に対する鋭敏度(炭酸ガス濃度が高いと頭痛がする人など)を優先的に換気扇の操作者に選択することも出来る。また、エアコンの操作などの場合には、人の周辺の環境として気温、湿度、気流状態などを監視し、あらかじめ個人の環境に対する鋭敏度(暑がりの人、寒がりの人、乾燥肌の人など)を登録しておくことで、温度・湿度が高く室内気流も少ない場合には暑がりの人を優先的にエアコンの操作者に選択することも出来る。また、テレビの音量の操作を行いたい場合、人の周辺の環境として室外の音が大きい場合には、あらかじめ個人の環境に対する鋭敏度(音が聞こえにくい人など)を優先的にテレビの操作者に選択することも出来る。また、照明の明るさを変更したいとき人の周辺の環境として室内・外の照度を監視し、あらかじめ個人の環境に対する鋭敏度(暗いと文字が読みにくい人など)を優先的に照明の操作者に選択することも出来る。また、周辺の環境として時刻を監視する場合、個人に応じて使用の時間を限定することも可能である。例えば、子供には夜9時以降テレビの操作はさせないということが実現できる。   The operator can also be appropriately selected according to the combination of the attribute of the person and the surrounding environment. For example, if you want to operate a ventilation fan, or if you want to monitor the concentration of a specific gas in the air (such as carbon dioxide concentration) as the environment around a person, you need to be sensitive to the individual's environment in advance (for those who have a headache if the concentration of carbon dioxide is high). ) Can be preferentially selected as the operator of the ventilation fan. In the case of air conditioner operation, etc., the surrounding environment of the person is monitored for temperature, humidity, airflow, etc., and the sensitivity to the personal environment (hot, cold, dry skin, etc.) By registering (1), when the temperature and humidity are high and the indoor airflow is small, the person who is hot can be preferentially selected as the air conditioner operator. In addition, if the user wants to control the volume of the television or if the outdoor sound is loud as the environment around the person, the operator of the television preferentially prioritizes the sensitivity to the personal environment (such as a person who cannot easily hear the sound). Can also be selected. Also, when you want to change the brightness of the lighting, monitor the illuminance inside and outside the room as the environment around the person, and prioritize the sensitivity to the personal environment (such as people who are difficult to read characters in darkness). Can also be selected. Further, when monitoring the time as a surrounding environment, it is possible to limit the use time according to the individual. For example, it can be realized that the child is not allowed to operate the television after 9 pm.

同様に、上記では制御内容候補を決定する際に音声を人の属性として用いているが、別の属性(他の動作や姿勢)及びそれらの組み合わせを用いてもよい。例えば人の属性として動作を用いることで、人との対話のように自然な形で機器の制御ができる。人差し指を口の前に当てたり(図10(1)参照)、耳を手でふさぐ動作(図10(2),(3)参照)によってテレビなどの音量を小さくする、手を耳の側に添える動作(図10(4)参照)によってテレビなどの音量を大きくする、両手を用いて「T」の字の形を作る動作(図10(5)参照)によってビデオなどの再生を一時停止する、手を振って「ばいばい」という動作を行う(図10(6)参照)ことによって、テレビなどのスイッチを着る、などが例として挙げられる。   Similarly, in the above description, the voice is used as the attribute of the person when determining the control content candidate, but another attribute (other motion or posture) and a combination thereof may be used. For example, by using an action as an attribute of a person, the device can be controlled in a natural manner like a dialogue with a person. Put your index finger in front of your mouth (see Fig. 10 (1)) or close your ears with your hand (see Fig. 10 (2), (3)) to reduce the volume of a TV, etc. Increasing the volume of a television or the like by an attaching operation (see FIG. 10 (4)), and temporarily stopping reproduction of a video or the like by an operation of forming a “T” shape using both hands (see FIG. 10 (5)). For example, by waving a hand and performing an operation of "bye-bye" (see FIG. 10 (6)), the user wears a switch such as a television.

また、上記では制御対象候補を決定するための属性と制御内容候補を決定するための属性とが異なる例を挙げたが、1種類の属性で制御対象候補と制御内容候補との両方を決定することも可能である。例を以下に挙げる。室内に人がおり、エアコン,テレビ,扇風機,空気清浄器、電話,机,ベッドが室内に存在するとする。   In the above description, an example is given in which the attribute for determining the control target candidate and the attribute for determining the control content candidate are different. However, both the control target candidate and the control content candidate are determined using one type of attribute. It is also possible. Examples are given below. It is assumed that there is a person in the room, and an air conditioner, a television, a fan, an air purifier, a telephone, a desk, and a bed exist in the room.

ここで人が人差し指を口の前に当てたり耳を手でふさぐ動作をすると、制御対象候補決定部3は音を発する機器であるテレビを候補として決定し、制御内容候補決定部4は音量を小さくするという制御内容を候補として決定する。また、人が電話の受話器を取り上げると、制御対象候補決定部3は音を発する機器であるテレビを候補として決定し、制御内容候補決定部4は音量を小さくするという制御内容を候補として決定する。   Here, when a person puts the index finger in front of the mouth or closes his ear with his hand, the control target candidate determination unit 3 determines a television that is a device that emits sound as a candidate, and the control content candidate determination unit 4 determines the volume. The control content to be reduced is determined as a candidate. When a person picks up the telephone receiver, the control target candidate determination unit 3 determines a television that is a device that emits a sound as a candidate, and the control content candidate determination unit 4 determines a control content of decreasing the volume as a candidate. .

また、人が顔や体を手などで扇いだり(図10(7)参照)「暑いなぁ」といった言葉を発すると、制御対象候補決定部3は空調制御に関わる機器であるエアコンや窓や扇風機の候補として決定し、制御内容候補決定部4はスイッチを入れる,設定温度を下げる,窓をあける、扇風機のスイッチを入れるもしくは風量を強くする、という制御内容を候補として決定する。また、人が鼻をつまむ動作(図10(8)参照)をすると、制御対象候補決定部3は空気清浄器や窓を候補として決定し、制御内容候補決定部4は「空気清浄器のスイッチを入れる」、「窓をあける」という制御内容を候補として決定する。また、人が通話中に「さようなら」「ばいばい」といった言葉を発すると、制御対象候補決定部3は電話を候補として決定し、制御内容候補決定部4は電話の回線を切るという制御内容を候補として決定する。また、人が机に着席して書物を開いたり筆記用具を持ったりすると、制御対象候補決定部3は部屋の照明及び机に付随する照明を候補として決定し、制御内容候補決定部4はスイッチを入れるという制御内容を候補として決定する。また、人がベッドである一定時間以上眠っていると、制御対象候補決定部3は部屋の照明を候補として決定し、制御内容候補決定部4はスイッチを切るという制御内容を候補として決定する。また、人が手や物を目の上にかざして光を遮ったり(図10(8)参照)、まぶしそうな表情をしたり、「まぶしいなあ」という言葉を発すると、制御対象候補決定部3は部屋の照明を候補として決定し、制御内容候補決定部4は「照明を暗くする」、あるいは「スイッチを切る」といった制御内容を候補として決定する。   Further, when a person fans his / her face or body with his / her hand (see FIG. 10 (7)) and utters a word such as “hot”, the control target candidate determination unit 3 causes the air conditioner, the window, and the fan to be related to the air conditioning control. And the control content candidate determination unit 4 determines the control content of turning on the switch, lowering the set temperature, opening the window, turning on the fan, or increasing the air volume as a candidate. Further, when a person performs an operation of pinching the nose (see FIG. 10 (8)), the control target candidate determination unit 3 determines an air purifier or a window as a candidate, and the control content candidate determination unit 4 determines “switch of the air purifier”. Is selected as a candidate. When a person speaks words such as "goodbye" and "bye" during a call, the control target candidate determination unit 3 determines a telephone as a candidate, and the control content candidate determination unit 4 determines a control content of disconnecting the telephone line. To be determined. When a person sits at a desk and opens a book or holds a writing instrument, the control target candidate determination unit 3 determines room lighting and lighting accompanying the desk as candidates, and the control content candidate determination unit 4 switches Is determined as a candidate. When a person sleeps on the bed for a certain period of time or more, the control target candidate determination unit 3 determines room lighting as a candidate, and the control content candidate determination unit 4 determines control content of switching off as a candidate. When a person holds his hand or object over his / her eyes to block the light (see FIG. 10 (8)), makes a glare-like expression, or utters the word “dazzling,” the control object candidate determination unit Reference numeral 3 designates room lighting as a candidate, and the control content candidate determination unit 4 determines control content such as "darken the lighting" or "switch off" as a candidate.

以上のように本発明の第一の実施の形態ではリモコン等を用いることなく、人の日常の属性を用いることで機器の制御を円滑に行うことが可能となる。また、人や制御機器が複数存在する場合にでも、誤判断を低減しかつ複雑な指示動作を行わずに制御を行うことが可能となる。   As described above, in the first embodiment of the present invention, it is possible to smoothly control devices by using daily attributes of a person without using a remote controller or the like. Further, even when there are a plurality of persons and control devices, it is possible to reduce erroneous determinations and perform control without performing complicated instruction operations.

図2は本発明の第二の実施の形態を示すブロック図である。図2において構成ならびに各部の動作は第一の実施の形態と同様である。ただし、第二の実施の形態においては監視部1、操作者選択部2、制御対象候補決定部3、制御内容候補決定部4、制御対象・制御内容決定部5が制御対象機器に付属する場合を示している。例えばテレビ自身に各部を内蔵する場合、制御対象候補決定部3はテレビが候補であるが否かのみを決定する。制御内容候補決定部4は人の所定の属性として例えば「チャンネル切り替え」の発声に基づいて、チャネルの切り替えを制御内容の候補とし、制御対象・制御内容決定部5はテレビに対する制御内容としてチャネルの切り替えは存在するため、チャネルの切り替えを実行する。   FIG. 2 is a block diagram showing a second embodiment of the present invention. In FIG. 2, the configuration and the operation of each unit are the same as in the first embodiment. However, in the second embodiment, when the monitoring unit 1, the operator selection unit 2, the control target candidate determination unit 3, the control content candidate determination unit 4, and the control target / control content determination unit 5 are attached to the control target device. Is shown. For example, when each unit is built in the television itself, the control target candidate determination unit 3 determines only whether or not the television is a candidate. The control content candidate determination unit 4 sets channel switching as a control content candidate based on, for example, the utterance of “channel switching” as a predetermined attribute of a person. Since the switching exists, the channel is switched.

このように、本発明の第二の実施の形態では、第一の実施の形態の効果に加え、各機器は、制御対象候補決定部3がその機器が選択されているか否かのみを判断すれば良いため、第一の実施の形態に比して制御対象候補の判断の処理量を低減させることが可能となる。また、機器自身の位置を自由に移動させても、機器自身の制御対象候補の判断処理を変更する必要はないという利点もある。   As described above, in the second embodiment of the present invention, in addition to the effects of the first embodiment, each device determines that the control target candidate determination unit 3 determines only whether the device is selected. Therefore, it is possible to reduce the processing amount for determining the control target candidate as compared with the first embodiment. Further, there is an advantage that even if the position of the device itself is freely moved, it is not necessary to change the process of determining the control target candidate of the device itself.

図3は本発明の第三の実施の形態を示すブロック図である。図3において制御対象機器1、2、3それぞれの構成ならびに各部の動作は第二の実施の形態の制御対象機器と同様である(制御対象1,2,3は例えばそれぞれテレビ、エアコン、扇風機などを意味する)。ただし、第三の実施の形態においては制御対象機器が複数存在し、監視部1は監視した内容を通信網に出力し、操作者選択部2は選択した人の属性の情報を通信網に出力し、制御対象候補決定部3は決定した制御対象の候補(所属する機器が候補であるか否か、また候補である度合い)の情報を通信網に出力し、制御内容候補決定部4は決定した制御内容の情報を通信網に出力し、制御対象・制御内容決定部5は制御対象・制御内容の情報を通信網に出力する。   FIG. 3 is a block diagram showing a third embodiment of the present invention. In FIG. 3, the configuration of each of the control target devices 1, 2, and 3 and the operation of each unit are the same as those of the control target device of the second embodiment (the control targets 1, 2, and 3 each include, for example, a television, an air conditioner, and a fan, respectively). Means). However, in the third embodiment, there are a plurality of control target devices, the monitoring unit 1 outputs the monitored contents to the communication network, and the operator selecting unit 2 outputs the attribute information of the selected person to the communication network. Then, the control target candidate determination unit 3 outputs information on the determined candidate for the control target (whether or not the device to which the device belongs is a candidate and the degree of the candidate) to the communication network, and the control content candidate determination unit 4 determines The control information thus output is output to the communication network, and the control target / control content determination unit 5 outputs the control target / control content information to the communication network.

他方、操作者選択部2は通信網から得た情報及び監視部1の情報に基づいて操作者を選択して操作者の情報を提示し、制御対象候補決定部3は通信網から得た情報及び監視部の情報に基づいて制御対象の候補を決定して制御対象の候補の情報を提示し、制御内容候補決定部4は通信網から得た情報及び監視部の情報に基づいて制御内容の候補を決定して制御内容の候補の情報を提示し、制御対象・制御内容決定部5は通信網から得た情報及び制御対象候補決定部3が決定した制御対象候補及び制御内容候補決定部4が決定した制御内容候補に基づいて、制御対象及び制御内容の情報を提示し、制御対象の制御を行う。ここで、第二の実施の形態と異なる点は複数の制御機器が存在するため、各機器が個別に制御対象と制御内容の判断を行うと操作者の意図しない制御が行われる場合がありうる点である。例えばテレビ(制御対象1)とエアコン(制御対象2)の中間方向を指差して、「スイッチを入れる」と発声した場合、たとえテレビ(制御対象1)のみを操作したい場合にでも、テレビ(制御対象1)とエアコン(制御対象2)のスイッチが共に入ってしまうことになる。   On the other hand, the operator selection unit 2 selects an operator based on the information obtained from the communication network and the information of the monitoring unit 1 and presents the information of the operator, and the control target candidate determination unit 3 selects the information obtained from the communication network. And a control target candidate is determined based on the information of the monitoring unit, and the information of the control target candidate is presented. The control content candidate determination unit 4 determines the control content based on the information obtained from the communication network and the information of the monitoring unit. The candidate is determined and the information of the candidate of the control content is presented, and the control target / control content determination unit 5 determines the information obtained from the communication network and the control target candidate and the control content candidate determination unit 4 determined by the control target candidate determination unit 3. Presents information on the control target and the control content based on the control content candidates determined by, and controls the control target. Here, the difference from the second embodiment is that a plurality of control devices are present, so that when each device individually determines the control target and the control content, control not intended by the operator may be performed. Is a point. For example, when pointing in the middle direction between the television (control target 1) and the air conditioner (control target 2) and saying "turn on", even if only the television (control target 1) is to be operated, The switches for the target 1) and the air conditioner (the control target 2) are both turned on.

このような場合、他の制御機器について制御対象の候補及び制御内容の候補及び制御対象及び制御内容の情報を得ることで、第一の実施の形態と同様に制御対象の候補ならびに制御内容の候補を制限することが可能となる。例えば、テレビ(制御対象1)の制御対象候補決定部が制御対象の候補の情報としてテレビを通信網に出力し、エアコン(制御対象2)の制御対象候補決定部が制御対象の候補の情報としてエアコンを通信網に出力したとき、テレビ(制御対象1)の制御対象・制御内容決定部はテレビの制御対象の候補情報と通信網経由で得たエアコンの候補情報とに基づいて制御対象の決定ならびに情報提示を行う。この場合、テレビとエアコンが共に候補になるため、テレビは再度入力を促す情報を提示する。エアコン(制御対象2)の制御対象・制御内容決定部も同様の処理を行う。また、通信網に出力する情報として制御対象の候補に加え、制御対象の候補である度合いの情報を合わせて出力することで(例えばテレビが10でエアコンが5など)、制御機器1,2の制御対象・制御内容決定部は、制御対象の候補である度合いを比較して、制御対象の候補である度合いの大きい方(ここではテレビ)を制御対象と決定する。制御内容の候補についても異なる制御機器間で情報を交換することで同様の処理を行う。   In such a case, the candidate of the control target and the control content candidate and the information of the control target and the control content are obtained for the other control devices, so that the control target candidate and the control content candidate are similar to the first embodiment. Can be restricted. For example, the control target candidate determination unit of the television (control target 1) outputs the television to the communication network as information of the control target candidate, and the control target candidate determination unit of the air conditioner (control target 2) outputs the control target candidate information as the control target candidate information. When the air conditioner is output to the communication network, the control target / control content determination unit of the television (control target 1) determines the control target based on the candidate information of the control target of the television and the candidate information of the air conditioner obtained via the communication network. And present information. In this case, since the television and the air conditioner are both candidates, the television presents information prompting the user to input again. The control target / control content determination unit of the air conditioner (control target 2) performs the same processing. In addition to the control target candidate as information to be output to the communication network, information on the degree of control target candidate is output together (for example, the TV is 10 and the air conditioner is 5), so that the control devices 1 and 2 The control object / control content determination unit compares the degrees of control object candidates, and determines the control object candidate having a larger degree (here, the television) as the control object. Similar processing is performed by exchanging information between different control devices for control content candidates.

また、操作者の情報を通信網から得ることで、1人の人の動作(指差し動作など)に対して同時に複数の機器が反応することなく、操作者が最も近くに存在する機器のみが反応することなどができる。例えばテレビ(制御対象1)の操作者選択部が選択した操作者と通信網から得たエアコン(制御対象2)の操作者選択部が選択した操作者とが同一であれば、前記のようの制御対象をテレビ(制御対象1)かエアコン(制御対象2)かに決定する手続きを行う。また、操作者が異なれば、テレビ(制御対象1)とエアコン(制御対象2)はそれぞれの選択した操作者の属性にのみ基づいて処理を行うことも出来る。また、テレビ(制御対象1)の監視部が出力した情報をエアコン(制御対象2)の制御対象候補決定部や制御内容候補決定部や操作者選択部が利用することもできる。この場合、エアコンのみでは監視できなかった情報(死角の情報など)が得られるという効果がある。また、エアコン(制御対象2)の制御対象・制御内容決定部が出力する情報をテレビ(制御対象1)が表示することもできる。このような場合、各制御機器が有する出力手段(画像や音声や光など)を制御機器間で共有することが可能となる。   In addition, by obtaining operator information from a communication network, a plurality of devices do not simultaneously react to one person's operation (pointing operation, etc.), and only the device closest to the operator is used. Can react. For example, if the operator selected by the operator selection unit of the television (control target 1) and the operator selected by the operator selection unit of the air conditioner (control target 2) obtained from the communication network are the same as described above. A procedure for determining whether the control target is the television (control target 1) or the air conditioner (control target 2) is performed. Further, if the operators are different, the television (control target 1) and the air conditioner (control target 2) can perform processing based only on the attributes of the respective selected operators. The information output by the monitoring unit of the television (the control target 1) can be used by the control target candidate determination unit, the control content candidate determination unit, and the operator selection unit of the air conditioner (control target 2). In this case, there is an effect that information (such as blind spot information) that could not be monitored with the air conditioner alone can be obtained. The information output by the control target / control content determination unit of the air conditioner (control target 2) can also be displayed on the television (control target 1). In such a case, the output means (image, sound, light, etc.) of each control device can be shared between the control devices.

なお、通信網としては有線(ネットワーク線、電話線、電源線を介して接続するものなど)、無線(電波、赤外線、超音波などを通信媒体とするものなど)のどちらでも良く、また混在していても良い。   Note that the communication network may be either wired (such as one connected via a network line, telephone line, or power line) or wireless (such as one that uses radio waves, infrared rays, ultrasonic waves, or the like as a communication medium), or may be mixed. May be.

このように、本発明の第三の実施の形態では、第一、第二の実施の形態の効果に加え、制御機器それぞれが操作者や制御対象や制御内容を独自に判断する機構を備えた場合にでも、全体として矛盾なく人の所定の属性に基づいて機器の制御が円滑に行うことが可能となる。   As described above, in the third embodiment of the present invention, in addition to the effects of the first and second embodiments, each control device includes a mechanism for independently determining an operator, a control target, and control contents. Even in such a case, it is possible to smoothly control the devices based on the predetermined attributes of the person without contradiction as a whole.

図4は本発明の第四の実施の形態を示すブロック図である。図4において各部の動作は第一の実施の形態と同様である。ただし、本実施の形態では操作者選択部2は存在せず、すべての人について制御対象候補と制御内容候補を決定する。例えばN人存在する場合には、制御対象の候補の決定及び制御内容の候補の決定をN回行う(並列に同時に行っても良い)。制御対象・制御内容決定部5は全ての人について決定した制御対象の候補及び制御内容の候補に基づいて制御対象及び制御内容を決定し、制御を実行する。制御対象及び制御内容の決定の仕方としては多数決などを用いる。例えばN人存在する場合、エアコンの設定温度を下げたい指示を出す人が半数よりも多い場合に、エアコンの温度を下げる制御を行う。また、各人に対する制御対象や制御内容に矛盾がない場合には、同時に各人について決定した制御対象に制御内容を施しても良い。このように、本発明の第四の実施の形態では、第一の実施の形態の効果に加え、複数の人の操作を同時に考慮した機器の操作が可能となる。リモコンを用いて同様の処理を行うには常に人の数だけリモコンを用意し、各人がそれぞれ操作する必要があるが、本発明ではリモコンなど多数を用いずに、複数人の指示を反映した機器制御や情報制御が可能となる。   FIG. 4 is a block diagram showing a fourth embodiment of the present invention. In FIG. 4, the operation of each unit is the same as in the first embodiment. However, in the present embodiment, the operator selection unit 2 does not exist, and control target candidates and control content candidates are determined for all persons. For example, when there are N persons, the determination of the control target candidate and the determination of the control content candidate are performed N times (or may be performed simultaneously in parallel). The control target / control content determination unit 5 determines the control target and the control content based on the control target candidates and the control content candidates determined for all the persons, and executes the control. A majority decision or the like is used as a method of determining the control target and the control content. For example, when there are N persons, if there are more than half the persons who issue an instruction to lower the set temperature of the air conditioner, control to lower the temperature of the air conditioner is performed. If there is no inconsistency in the control objects and control contents for each person, the control contents may be simultaneously applied to the control objects determined for each person. As described above, in the fourth embodiment of the present invention, in addition to the effects of the first embodiment, it is possible to operate the device in consideration of the operations of a plurality of persons at the same time. In order to perform the same processing using the remote controller, it is necessary to always prepare the remote controller by the number of people and each person needs to operate each of them.In the present invention, instead of using a large number of remote controllers, the instructions of a plurality of people are reflected. Device control and information control become possible.

図5は本発明の第五の実施の形態を示すブロック図である。図5において各部の動作は第四の実施の形態と同様である。ただし、第五の実施の形態においては監視部1、制御対象候補決定部3、制御内容候補決定部4、制御対象・制御内容決定部5が制御対象機器(例えばエアコンなど)に付属する場合を示している。このように構成することで、本発明の第五の実施の形態では、第四の実施の形態の効果に加え、各機器は制御対象候補決定部3がその機器が選択されているか否かのみを判断すれば良いため、第四の実施の形態に比して制御対象候補の判断の処理量を低減させることが可能となる。また、機器自身の位置を自由に移動させても、機器自身の制御対象候補の判断処理を変更する必要はないという利点もある。   FIG. 5 is a block diagram showing a fifth embodiment of the present invention. In FIG. 5, the operation of each unit is the same as in the fourth embodiment. However, in the fifth embodiment, it is assumed that the monitoring unit 1, the control target candidate determination unit 3, the control content candidate determination unit 4, and the control target / control content determination unit 5 are attached to a control target device (for example, an air conditioner). Is shown. With such a configuration, in the fifth embodiment of the present invention, in addition to the effects of the fourth embodiment, each device determines whether the control target candidate determination unit 3 determines whether the device is selected or not. , It is possible to reduce the processing amount for determining the control target candidate as compared with the fourth embodiment. Further, there is an advantage that even if the position of the device itself is freely moved, it is not necessary to change the process of determining the control target candidate of the device itself.

図6は本発明の第六の実施の形態を示すブロック図である。図6において各部の動作は第一の実施の形態とほぼ同様である。ただし、第六の実施の形態においては制御対象候補決定部3は全ての人に対して制御対象の候補を決定し、制御内容候補決定部4は全ての人に対して制御内容の候補を決定する。例えばN人存在する場合には、制御対象の候補の決定及び制御内容の候補の決定をN回行う(並列に同時に行っても良い)。   FIG. 6 is a block diagram showing a sixth embodiment of the present invention. In FIG. 6, the operation of each unit is almost the same as in the first embodiment. However, in the sixth embodiment, the control target candidate determination unit 3 determines control target candidates for all persons, and the control content candidate determination unit 4 determines control content candidates for all persons. I do. For example, when there are N persons, the determination of the control target candidate and the determination of the control content candidate are performed N times (or may be performed simultaneously in parallel).

操作者選択部2は前記N人に対する制御対象の候補と制御内容の候補とに基づいて操作者を決定する。制御対象・制御内容決定部5は、操作者決定部2が選択した操作者についての制御対象の候補と制御内容の候補とに基づいて制御対象及び制御内容を決定する。   The operator selection unit 2 determines an operator based on the control target candidates and the control content candidates for the N persons. The control target / control content determination unit 5 determines a control target and control content based on the control target candidate and the control content candidate for the operator selected by the operator determination unit 2.

このような本発明の第六の実施の形態のような構成でも、第一の実施の形態と同様の効果が得られる。また、制御対象の候補と制御内容の候補を決定した後に、操作者を選択することで、所定の属性が曖昧で(例えば指示動作が曖昧で)制御内容の候補や制御内容の候補が決定できない人については操作者に選択しないとするなどの制御内容の候補や制御内容の候補に基づいた手続きが可能となる。   Even with such a configuration as the sixth embodiment of the present invention, the same effect as that of the first embodiment can be obtained. In addition, by selecting the operator after determining the candidate of the control target and the candidate of the control content, the predetermined attribute is ambiguous (for example, the instruction operation is ambiguous), and the candidate of the control content and the candidate of the control content cannot be determined. For a person, a control content candidate such as not selecting the operator and a procedure based on the control content candidate can be performed.

図7は本発明の第七の実施の形態を示すブロック図である。図7において各部の動作は第六の実施の形態と同様である。ただし、第七の実施の形態においては監視部1、制御対象候補決定部3、制御内容候補決定部4、操作者選択部2、制御対象・制御内容決定部5が制御対象機器(例えばエアコンなど)に付属する場合を示している。このように構成することで、本発明の第七の実施の形態では、第六の実施の形態の効果に加え、各機器は制御対象候補決定部3がその機器が選択されているか否かのみを判断すれば良いため、第六の実施の形態に比して制御対象候補の判断の処理量を低減させることが可能となる。また、機器自身の位置を自由に移動させても、機器自身の制御対象候補の判断処理を変更する必要はないという利点がある。   FIG. 7 is a block diagram showing a seventh embodiment of the present invention. In FIG. 7, the operation of each unit is the same as in the sixth embodiment. However, in the seventh embodiment, the monitoring unit 1, the control target candidate determination unit 3, the control content candidate determination unit 4, the operator selection unit 2, and the control target / control content determination unit 5 include control target devices (for example, air conditioners and the like). ) Is attached. With this configuration, in the seventh embodiment of the present invention, in addition to the effects of the sixth embodiment, each device is controlled by the control target candidate determination unit 3 only when the device is selected. , It is possible to reduce the amount of processing for determining the control target candidate as compared with the sixth embodiment. Further, there is an advantage that even if the position of the device itself is freely moved, it is not necessary to change the determination process of the control target candidate of the device itself.

図8は本発明の第八の実施の形態を示すブロック図である。図8において各部の動作は第1の実施の形態とほぼ同様である。ただし、第七の実施の形態においては制御対象候補決定部3は全ての人に対して制御対象の候補を決定し、制御内容候補決定部4は全ての人に対して制御内容の候補を決定する。例えばN人存在する場合には、制御対象の候補の決定及び制御内容の候補の決定をN回行う(並列に同時に行っても良い)。制御対象・制御内容決定部5は操作者選択部2が選択した操作者についての制御対象の候補と制御内容の候補から、制御対象と制御内容を決定する。このような本発明の第八の実施の形態に示すような構成においても、第一の実施の形態と同様の効果が得られる。   FIG. 8 is a block diagram showing an eighth embodiment of the present invention. In FIG. 8, the operation of each section is almost the same as in the first embodiment. However, in the seventh embodiment, the control target candidate determination unit 3 determines control target candidates for all persons, and the control content candidate determination unit 4 determines control content candidates for all persons. I do. For example, when there are N persons, the determination of the control target candidate and the determination of the control content candidate are performed N times (or may be performed simultaneously in parallel). The control target / control content determination unit 5 determines the control target and the control content from the control target candidates and the control content candidates for the operator selected by the operator selection unit 2. With such a configuration as described in the eighth embodiment of the present invention, the same effect as in the first embodiment can be obtained.

なお、第一から第八までの実施の形態では室内での実施を想定して説明しているが、屋外での機器操作についても同様に適応が可能である。また、情報操作として画面上のオブジェクトの操作や画面の制御などについても機器操作同様に適応することが出来る。   Although the first to eighth embodiments have been described assuming that the operation is performed indoors, the present invention is also applicable to equipment operation outdoors. In addition, as information operation, operation of an object on a screen, control of a screen, and the like can be applied in the same manner as device operation.

なお、本発明の実現手段としてはハードウェアを用いても、コンピュータ上のソフトウェアを用いても、両者を混在させて実現してもよい。 As means for realizing the present invention, hardware, software on a computer, or both may be used in combination.

また、本発明は、以上説明した本発明の制御方法における動作の全部又は一部をコンピュータで実現するためのプログラムを格納したことを特徴とするプログラム記録媒体でもある。 The present invention is also a program recording medium storing a program for realizing all or a part of the operation in the control method of the present invention described above with a computer.

第1の本実施形態は、人の属性を監視し、前記監視された人の属性に基づいて予め登録した個人の属性を検出し、前記検出された個人の属性を用いて制御対象及び制御内容を決定し、制御対象の制御を行う制御方法であって、
制御対象の決定に用いる所定の属性を検出した第一の時刻と制御内容の候補の決定に用いる所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて、制御対象又は制御内容の少なくとも1つを決定する制御方法である。 The time interval between the first time when the predetermined attribute used for determining the control target is detected and the second time when the predetermined attribute used for determining the control content candidate is detected, or the first time and the second time. It is a control method for determining at least one of a control target or a control content by using at least one or more of the temporal order relation with the time of day or the duration of the predetermined attribute detection. The first embodiment monitors attributes of a person, detects attributes of an individual registered in advance based on the attributes of the monitored person, and uses the detected attributes of the individual to control objects and control contents. And a control method for controlling the control object, The first embodiment monitors attributes of a person, detects attributes of an individual registered in advance based on the attributes of the monitored person, and uses the detected attributes of the individual to control objects and control contents. And a control method for controlling the control object ,
A time interval between a first time at which a predetermined attribute used to determine a control target is detected and a second time at which a predetermined attribute used to determine a candidate for control content is detected, or the first time and the second time A control method for determining at least one of a control target and a control content using at least one or more of a temporal order relation with the time or a predetermined attribute detection duration. A time interval between a first time at which a predetermined attribute used to determine a control target is detected and a second time at which a predetermined attribute used to determine a candidate for control content is detected, or the first time and the second time A control method for determining at least one of a control target and a control content using at least one or more of a temporal order relation with the time or a predetermined attribute detection duration.

又、第2の本実施形態は、制御対象の決定に用いる所定の属性を検出した第一の時刻と制御内容の候補の決定に用いる所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて制御対象の候補又は制御内容の候補の少なくとも1つの削減を行う工程を更に含む上記第1の本発明の制御方法である。又、第3の本実施形態は、複数の人の属性を監視し、前記監視された複数の人の属性からあらかじめ登録した個人の属性を検出し、前記検出された個人の属性を用いて対象者を決定し、前記検出された個人に関する所定の属性を用いて、複数の機器のうち、制御対象及び制御内容を決定し、制御対象の制御を行う制御方法であって、制御対象の決定に用いる所定の属性を検出した第一の時刻と制御内容の候補の決定に用いる所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて、制御対象又は制御内容の少なくとも1つを決定する制御方法である。   In the second embodiment, a time interval between a first time at which a predetermined attribute used to determine a control target is detected and a second time at which a predetermined attribute used to determine a candidate for control content is detected, Or at least one of the control target candidates or control content candidates using at least one or more of the temporal order relationship between the first time and the second time, or the duration of the predetermined attribute detection. Is the control method according to the first aspect of the present invention, further comprising the step of: Further, the third embodiment monitors attributes of a plurality of persons, detects an attribute of an individual registered in advance from the monitored attributes of the plurality of persons, and uses the detected attributes of the person to perform a target. A control method for determining a control target and a control content among a plurality of devices by using a predetermined attribute regarding the detected individual, and controlling the control target. A time interval between a first time at which a predetermined attribute to be used is detected and a second time at which a predetermined attribute to be used to determine a control content candidate is determined, or a time between the first time and the second time. This is a control method of determining at least one of a control target and a control content by using at least one of a logical order relationship or a duration of the predetermined attribute detection.

尚、本実施形態に関連する技術の第1の形態は、人の属性を監視し、その結果に基づいて、所定の制御内容で、制御対象となる機器を制御する制御方法である。   A first form of technology related to the present embodiment is a control method for monitoring attributes of a person and controlling a device to be controlled with predetermined control contents based on the result.

又、本実施形態に関連する技術の第2の形態は、前記人の周辺環境も監視し、その結果も利用して、前記制御を行うことを特徴とする本実施形態に関連する上記第1の形態の制御方法である。   In a second aspect of the technology related to the present embodiment, the first environment related to the present embodiment is characterized in that the surrounding environment of the person is also monitored and the result is used to perform the control. It is a control method of the form.

又、本実施形態に関連する技術の第3の形態は、前記監視は常時又は間欠的に行われることを特徴とする本実施形態に関連する上記第1又は2の形態の制御方法である。   A third mode of the technology related to the present embodiment is the control method according to the first or second mode related to the present embodiment, wherein the monitoring is performed constantly or intermittently.

又、本実施形態に関連する技術の第4の形態は、前記監視結果により、先に操作者を選択し、後で制御対象と制御内容を選択することを特徴とする本実施形態に関連する上記第1、2又は3の形態の制御方法である。   A fourth aspect of the technology related to the present embodiment is related to the present embodiment, wherein an operator is selected first based on the monitoring result, and a control target and a control content are selected later. This is a control method according to the first, second, or third embodiment.

又、本実施形態に関連する技術の第5の形態は、前記制御対象、操作者、又は、前記制御内容が決定できない場合は、その旨提示することを特徴とする本実施形態に関連する上記第4の形態の制御方法である。   According to a fifth aspect of the technology relating to the present embodiment, when the control target, the operator, or the control content cannot be determined, the fact is presented to that effect. This is a control method according to a fourth embodiment.

又、本実施形態に関連する技術の第6の形態は、光、文字、音声、音、又は振動の少なくとも1つ以上を用いて情報を提示することを特徴とする本実施形態に関連する上記第5の形態の制御方法である。   In a sixth aspect of the technology related to the present embodiment, the information is presented using at least one of light, text, voice, sound, and vibration. It is a control method of a fifth mode.

又、本実施形態に関連する技術の第7の形態は、前記監視結果により、先に制御対象候補と制御内容候補を選択し、その後、操作者を選択し、その後、制御対象と、制御内容を決定することを特徴とする本実施形態に関連する上記第1,2又は3の形態の制御方法である。   According to a seventh aspect of the technology related to the present embodiment, a control target candidate and a control content candidate are selected first based on the monitoring result, and then an operator is selected. The control method according to the first, second, or third aspect related to the present embodiment, characterized in that:

又、本実施形態に関連する技術の第8の形態は、前記人は複数人存在することを特徴とする本実施形態に関連する上記第1、2又は、3の形態の制御方法である。   An eighth aspect of the technology related to the present embodiment is the control method according to the first, second, or third aspect related to the present embodiment, wherein the plurality of persons exist.

又、本実施形態に関連する技術の第9の形態は、前記対象とする機器は複数存在することを特徴とする本実施形態に関連する上記第1、2、3又は4の形態の制御方法である。   A ninth aspect of the technology relating to the present embodiment is the control method according to the first, second, third or fourth aspect relating to the present embodiment, wherein there are a plurality of the target devices. It is.

又、本実施形態に関連する技術の第10の形態は、前記監視の結果情報を前記人に提示し、その提示に対する前記人からの回答指示に基づいて、前記制御を行うことを特徴とする本実施形態に関連する上記第1〜9のいずれかの形態の制御方法である。   A tenth aspect of the technology related to the present embodiment is characterized in that the monitoring result information is presented to the person, and the control is performed based on a response instruction from the person to the presentation. This is a control method according to any one of the first to ninth aspects related to the present embodiment.

又、本実施形態に関連する技術の第11の形態は、前記提示される情報は、前記人の候補情報、前記対象となる機器候補情報、制御内容候補情報の少なくとも一つであることを特徴とする本実施形態に関連する上記第10の形態の制御方法である。   An eleventh mode of the technology related to the present embodiment is characterized in that the presented information is at least one of the candidate information of the person, the candidate device information of the target, and the control content candidate information. This is a control method according to the tenth embodiment, which is related to the present embodiment.

又、本実施形態に関連する技術の第12の形態は、前記監視の結果情報を単に前記人に提示するだけであり、前記制御は自動的に行われることを特徴とする本実施形態に関連する上記第1、2又は、3の形態の制御方法である。   A twelfth aspect of the technology relating to the present embodiment is that the monitoring result information is merely presented to the person, and the control is performed automatically. This is the control method of the first, second, or third mode described above.

又、本実施形態に関連する技術の第13の形態は、前記監視の結果情報を前記人に提示せず、自動的に前記制御を行うことを特徴とする本実施形態に関連する上記第1、2又は3の形態の制御方法である。   A thirteenth aspect of the technology relating to the present embodiment is characterized in that the control is performed automatically without presenting the monitoring result information to the person, This is a control method of the second or third mode.

又、本実施形態に関連する技術の第14の形態は、前記監視の結果情報として、人、機器、制御内容の少なくとも一つに対して、複数の候補を出し、それらの候補に基づき、前記制御を自動的におこなうことを特徴とする本実施形態に関連する上記第12又は13の形態の制御方法である。   A fourteenth aspect of the technology related to the present embodiment provides a plurality of candidates for at least one of a person, a device, and control content as the monitoring result information, and based on the candidates, A control method according to the twelfth or thirteenth aspect related to the present embodiment, wherein the control is performed automatically.

又、本実施形態に関連する技術の第15の形態は、前記制御を行う制御手段が対象となる機器に組み込まれていることを特徴とする本実施形態に関連する上記第1、2又は3の形態の制御方法である。   According to a fifteenth aspect of the technology relating to the present embodiment, the first, second or third aspect related to the present embodiment is characterized in that the control means for performing the control is incorporated in a target device. It is a control method of the form.

又、本実施形態に関連する技術の第16の形態は、前記制御手段が組み込まれた機器が複数台存在し、それらの制御手段間で通信路を用いて各種情報交換を行い、その結果に基づいて、前記制御を行うことを特徴とする本実施形態に関連する上記第15の形態の制御方法である。   In a sixteenth aspect of the technology related to the present embodiment, there are a plurality of devices in which the control means is incorporated, and various kinds of information are exchanged between the control means using a communication path. A control method according to the fifteenth aspect, wherein the control is performed on the basis of the first embodiment.

又、本実施形態に関連する技術の第17の形態は、前記制御手段は、自らの監視の結果を他の制御手段へ送信するとともに、前記通信路を通じて他の制御手段から得られた内容をも加味して、前記制御を行うことを特徴とする本実施形態に関連する上記第16の形態の制御方法である。   According to a seventeenth aspect of the technology related to the present embodiment, the control means transmits the result of its own monitoring to another control means, and transmits the content obtained from the other control means through the communication path. The control method according to the sixteenth aspect, wherein the control is performed in consideration of the above.

又、本実施形態に関連する技術の第18の形態は、前記人の属性とはその人の動作であることを特徴とする本実施形態に関連する上記第1〜17の何れかの形態の制御方法である。   An eighteenth aspect of the technology related to the present embodiment is the technology according to any one of the first to seventeenth aspects related to the present embodiment, wherein the attribute of the person is an action of the person. It is a control method.

又、本実施形態に関連する技術の第19の形態は、前記制御の態様は、対象となる機器の制御パラメータを変更するか、あるいはオン・オフさせるものであることを特徴とする本実施形態に関連する上記第1〜18の何れかの形態の制御方法である。   A nineteenth aspect of the technology relating to the present embodiment is characterized in that the control aspect is to change or turn on / off a control parameter of a target device. The control method according to any one of the first to the eighteenth aspects related to the above.

又、本実施形態に関連する技術の第20の形態は、人の所定の動作として前記人が自分の人差し指を自分の口の前にあてる動作を検出し、前記動作に基づいて音を発する機器を対象機器とし、制御パラメータの値の変更として前記機器の音量を小さくすることを特徴とする本実施形態に関連する上記第1の形態の制御方法である。   A twentieth aspect of the technology related to the present embodiment is a device that detects a motion of the person placing his / her index finger in front of his / her mouth as a predetermined motion of the person and emits a sound based on the motion. Is a target device, and the volume of the device is reduced as a change in the value of a control parameter, in the control method according to the first embodiment related to the present embodiment.

又、本実施形態に関連する技術の第21の形態は、人の所定の動作として前記人が自分の手で自分の耳をふさぐ動作を検出し、前記動作に基づいて音を発する機器及び音量を制御する機器を対象機器とし、制御パラメータの値の変更として前記機器の音量を小さくすることを特徴とする本実施形態に関連する上記第1の形態の制御方法である。   A twenty-first aspect of the technology related to the present embodiment is a device which detects a person's closing his / her ear with his / her own hand as a predetermined operation of a person, emits a sound based on the operation, and a volume. The control method according to the first aspect, which relates to the present embodiment, characterized in that a device that controls the target device is a target device, and the volume of the device is reduced as a change in the value of the control parameter.

又、本実施形態に関連する技術の第22の形態は、人の所定の動作として前記人が自分の手を自分の耳の横に添える動作を検出し、前記動作に基づいて音を発する機器及び音量を制御する機器を対象機器とし、制御パラメータの値の変更として前記機器の音量を大きくすることを特徴とする本実施形態に関連する上記第1の形態の制御方法である。   A twenty-second aspect of the technology related to the present embodiment is a device that detects, as a predetermined motion of a person, the motion of the person putting his / her hand beside his / her ear, and emits a sound based on the motion. The control method according to the first aspect is related to the present embodiment, wherein a target device is a device that controls the sound volume and the control device changes the value of the control parameter to increase the sound volume of the device.

又、本実施形態に関連する技術の第23の形態は、人の所定の動作として前記人が手で顔又は身体の一部を扇ぐ動作を検出し、前記動作に基づいて空調を制御する機器及び窓を対象機器とし、制御パラメータの値の変更として前記機器の設定温度を小さくすることを特徴とする本実施形態に関連する上記第1の形態の制御方法である。   A twenty-third form of the technology related to the present embodiment is a device that detects, as a predetermined operation of a person, an operation in which the person blows a face or a part of a body with a hand, and controls air conditioning based on the operation. And the window is a target device, and the set temperature of the device is reduced as a change in the value of the control parameter.

又、本実施形態に関連する技術の第24の形態は、単一又は複数の人の属性を継続的あるいは間欠的に監視し、人の所定の属性の検出に基づいて制御対象の候補及び制御内容の候補を決定し、前記制御対象の候補及び前記制御内容の候補に基づき制御対象及び制御内容を決定することを特徴とする本実施形態に関連する上記第1の形態の制御方法である。   A twenty-fourth aspect of the technology related to the present embodiment is to continuously or intermittently monitor the attribute of a single person or a plurality of persons, and based on the detection of a predetermined attribute of the person, the candidate of the control target and the control. The control method according to the first aspect, which is characterized by determining content candidates and determining a control target and control contents based on the control target candidates and the control content candidates.

又、本実施形態に関連する技術の第25の形態は、単一又は複数の人の属性及び前記人の周辺環境を継続的あるいは間欠的に監視し、人の所定の属性の検出及び周辺環境に基づいて制御対象の候補及び制御内容の候補を決定し、前記制御対象の候補及び前記制御内容の候補に基づき、制御対象及び制御内容を決定することを特徴とする本実施形態に関連する上記第1の形態の制御方法である。   A twenty-fifth aspect of the technology related to the present embodiment is to continuously or intermittently monitor the attributes of a single person or a plurality of persons and the surrounding environment of the person, detect a predetermined attribute of the person, and detect the surrounding environment. Determining a control target candidate and a control content candidate on the basis of the control target candidate and the control content candidate, and determining the control target and the control content based on the control target candidate and the control content candidate. It is a control method of the first mode.

又、本実施形態に関連する技術の第26の形態は、気温、湿度、照度、気流、時刻、又は音のうち少なくとも一つ以上を周辺環境として用いることを特徴とする本実施形態に関連する上記第25の形態の制御方法である。   A twenty-sixth aspect of the technology related to the present embodiment relates to the present embodiment, characterized in that at least one of temperature, humidity, illuminance, air current, time, and sound is used as a surrounding environment. This is a control method according to the twenty-fifth aspect.

又、本実施形態に関連する技術の第27の形態は、前記監視で得た情報を通信網に出力する、及び又は制御対象の候補及び制御内容の候補を通信網に出力する、及び又は制御対象及び制御内容を通信網に出力することを特徴とする本実施形態に関連する上記第24〜26の何れかの形態の制御方法である。   A twenty-seventh aspect of the technology related to the present embodiment is to output information obtained by the monitoring to a communication network, and / or to output control target candidates and control contents candidates to a communication network, and / or A control method according to any one of the twenty-fourth to twenty-sixth aspects related to the present embodiment, wherein an object and control contents are output to a communication network.

又、本実施形態に関連する技術の第28の形態は、前記通信網を継続的あるいは間欠的に監視し、通信網の情報及び人の所定の属性検出に基づいて制御対象の候補及び制御内容の候補を決定することを特徴とする本実施形態に関連する上記第27の形態の制御方法である。   A twenty-eighth aspect of the technology related to the present embodiment is that the communication network is monitored continuously or intermittently, and based on information on the communication network and detection of a predetermined attribute of a person, candidates for control objects and control contents are controlled. 27. A control method according to the twenty-seventh aspect, wherein the control method according to the present embodiment is characterized by determining candidates for

又、本実施形態に関連する技術の第29の形態は、前記通信網を継続的あるいは間欠的に監視し、通信網の情報及び制御対象の候補及び制御内容の候補に基づき制御対象及び制御内容を決定することを特徴とする本実施形態に関連する上記第27又は28の形態の制御方法である。   In a twenty-ninth aspect of the technology related to the present embodiment, the communication network is monitored continuously or intermittently, and control objects and control contents are controlled based on communication network information, control object candidates and control contents candidates. Is the control method according to the twenty-seventh or twenty-eighth aspect related to the present embodiment, characterized in that:

又、本実施形態に関連する技術の第30の形態は、前記制御対象の候補を制御対象とし、制御内容の候補を制御内容とすることを特徴とする本実施形態に関連する上記第24〜29のいずれかの形態の制御方法である。   A thirtieth aspect of the technology related to the present embodiment is characterized in that the control target candidate is set as a control target, and the control content candidate is set as control content. 29 is a control method according to any one of the twenty-ninth aspect.

又、本実施形態に関連する技術の第31の形態は、複数の人の属性の検出に基づき、前記人ごとに制御対象の候補及び制御内容の候補を決定し、前記制御対象の候補及び前記制御内容の候補に基づいて制御対象及び制御内容を決定することを特徴とする本実施形態に関連する上記第24〜30のいずれかの形態の制御方法である。   In a thirty-first aspect of the technology related to the present embodiment, a candidate for a control target and a candidate for control content are determined for each person based on detection of attributes of a plurality of persons, and the candidate for the control target and the A control method according to any one of the twenty-fourth to thirty aspects related to the present embodiment, wherein a control target and control content are determined based on a control content candidate.

又、本実施形態に関連する技術の第32の形態は、人ごとに決定した制御対象の候補及び制御内容の候補を用いて多数決に基づいて制御対象及び制御内容を決定することを特徴とする本実施形態に関連する上記第31の形態の制御方法である。   A thirty-second aspect of the technology related to the present embodiment is characterized in that a control target and a control content are determined based on a majority decision using a candidate for a control target and a candidate for a control content determined for each person. It is a control method according to the thirty-first aspect related to the present embodiment.

又、本実施形態に関連する技術の第33の形態は、人の所定の属性検出に基づいて、操作者及び制御対象の候補及び制御内容の候補を決定し、前記操作者及び前記制御対象の候補及び前記制御内容の候補に基づき制御対象及び制御内容を決定することを特徴とする本実施形態に関連する上記第24〜30のいずれかの形態の制御方法である。   A thirty-third mode of the technology related to the present embodiment determines a candidate of an operator and a control target and a candidate of a control content based on detection of a predetermined attribute of a person, and determines the candidate of the operator and the control target. A control method according to any one of the twenty-fourth to thirty aspects related to the present embodiment, wherein a control target and a control content are determined based on a candidate and the control content candidate.

又、本実施形態に関連する技術の第34の形態は、複数の人の属性検出に基づき、前記人ごとに制御対象の候補及び制御内容の候補を決定し、前記制御対象の候補及び制御内容の候補に基づき操作者を選択し、選択した操作者の属性に基づいて制御対象の候補及び又は制御内容の候補を決定することを特徴とする本実施形態に関連する上記第33の形態の制御方法である。   In a thirty-fourth aspect of the technology related to the present embodiment, a candidate for a control target and a candidate for control content are determined for each person based on attribute detection of a plurality of people, and the candidate for the control target and control content are determined. Selecting the operator based on the candidate of the above, and determining the candidate of the control target and / or the candidate of the control content based on the attribute of the selected operator, the control according to the thirty-third mode related to the present embodiment, Is the way.

又、本実施形態に関連する技術の第35の形態は、人の所定の属性検出に基づいて操作者を選択し、選択した操作者の属性に基づいて制御対象の候補及び制御内容の候補を決定することを特徴とする本実施形態に関連する上記第24〜30のいずれかの形態の制御方法である。   In a thirty-fifth aspect of the technology related to the present embodiment, an operator is selected based on detection of a predetermined attribute of a person, and a control target candidate and a control content candidate are selected based on the selected operator attribute. A control method according to any one of the twenty-fourth to thirty aspects related to the present embodiment, characterized in that the method is determined.

又、本実施形態に関連する技術の第36の形態は、選択した操作者の情報を通信網に出力することを特徴とする本実施形態に関連する上記第33〜35のいずれかの形態の制御方法である。   A thirty-sixth aspect of the technology related to the present embodiment is the information processing apparatus according to any one of the thirty-third to thirty-fifth aspects related to the present embodiment, which outputs information of a selected operator to a communication network. It is a control method.

又、本実施形態に関連する技術の第37の形態は、通信網は無線及び又は有線の通信網を用いることを特徴とする本実施形態に関連する上記第27〜29または36のいずれかの形態の制御方法である。   A thirty-seventh aspect of the technology relating to the present embodiment is the communication network according to any one of the above-mentioned twenty-seventh to twenty-ninth or thirty-sixth or thirty-sixth aspects related to the present embodiment, wherein a wireless and / or wired communication network is used. It is a form control method.

又、本実施形態に関連する技術の第38の形態は、選択した操作者を情報として提示することを特徴とする本実施形態に関連する上記第33〜36の何れかの形態の制御方法である。   A thirty-eighth aspect of the technology related to the present embodiment is a control method according to any one of the thirty-third to thirty-sixth aspects related to the present embodiment, in which a selected operator is presented as information. is there.

又、本実施形態に関連する技術の第39の形態は、制御対象の候補及び又は制御内容の候補に基づき情報の提示を行うことを特徴とする本実施形態に関連する上記第24〜38のいずれかの形態の制御方法である。   A thirty-ninth aspect of the technology relating to the present embodiment is characterized in that information is presented based on a candidate for a control target and / or a candidate for control content. This is a control method of one of the forms.

又、本実施形態に関連する技術の第40の形態は、制御対象の候補、又は制御対象、又は制御内容の候補、又は制御内容、又は確認の指示、又は再入力の指示、又は候補の選択肢、又は対象決定不能であることの少なくとも一つ以上を提示することを特徴とする本実施形態に関連する上記第39の形態の制御方法である。   Also, a fortieth aspect of the technology related to this embodiment is a control target candidate, a control target, or a control content candidate, or a control content, or a confirmation instruction, or a re-input instruction, or a candidate option. Or the control method according to the thirty-ninth aspect related to the present embodiment, characterized by presenting at least one of the fact that the object cannot be determined.

又、本実施形態に関連する技術の第41の形態は、光、文字、音声、音、又は振動の少なくとも1つ以上を用いて情報を提示することを特徴とする本実施形態に関連する上記第38〜40のいずれかの形態の制御方法である。   A forty-first aspect of the technology related to the present embodiment is characterized in that information is presented using at least one of light, characters, voice, sound, and vibration. A control method according to any one of the thirty-eighth to forty-fourth aspects.

又、本実施形態に関連する技術の第42の形態は、情報の提示後の人の属性の監視結果に基づいて制御対象の候補の削減、及び又は制御内容の候補の削減、及び又は制御対象の決定、及び又は制御内容の決定、及び又は情報の提示を行うことを特徴とする本実施形態に関連する上記第38〜41のいずれかの形態の制御方法である。   A forty-second aspect of the technology related to the present embodiment is based on the monitoring result of the attribute of the person after the information is presented, the reduction of the candidate of the control target and / or the reduction of the candidate of the control content, and / or the reduction of the control target. And / or the content of the control and / or the presentation of information.

又、本実施形態に関連する技術の第43の形態は、あらかじめ定めた基準に基づいて制御対象の候補の削減、及び又は制御内容の候補の削減、及び又は制御対象の決定、及び又は制御内容の決定を行うことを特徴とする本実施形態に関連する上記第24〜42のいずれかの形態の制御方法である。   A forty-third aspect of the technology related to the present embodiment is configured to reduce the number of control target candidates and / or the number of control content candidates based on a predetermined criterion, and / or determine the control target, and / or the control content. The control method according to any one of the twenty-fourth to forty-second modes related to the present embodiment, characterized in that:

又、本実施形態に関連する技術の第44の形態は、制御対象の候補と制御内容の候補との整合性に基づいて、制御対象の候補の削減、及び又は制御内容の候補の削減、及び又は制御対象の決定、及び又は制御内容の決定を行うことを特徴とする本実施形態に関連する上記第43の形態の制御方法である。   A forty-fourth aspect of the technology related to the present embodiment is configured to reduce the number of control target candidates and / or the number of control content candidates based on the consistency between the control target candidate and the control content candidate. Alternatively, the control method according to the forty-third aspect is related to the present embodiment, in which a control target is determined and / or a control content is determined.

又、本実施形態に関連する技術の第45の形態は、制御対象の候補の決定に用いた所定の属性を検出した第一の時刻と制御内容の候補の決定に用いた所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて、制御対象の候補の削減、及び又は制御内容の候補の削減、及び又は制御対象の決定、及び又は制御内容の決定を行うことを特徴とする本実施形態に関連する上記第43または44の形態の制御方法である。   A forty-fifth aspect of the technology related to the present embodiment detects a first time at which a predetermined attribute used to determine a control target candidate and a predetermined attribute used to determine a control content candidate are detected. The time interval between the second time, or the temporal sequence relationship between the first time and the second time, or using at least one or more of the duration of the predetermined attribute detection, the control target In the control method according to the forty-third or forty-fourth aspect related to the present embodiment, the number of candidates is reduced and / or the number of control content candidates is reduced, and / or the control target is determined, and / or the control content is determined. is there.

又、本実施形態に関連する技術の第46の形態は、制御内容は機器の操作及び又は情報の操作を行うことを特徴とする本実施形態に関連する上記第24〜45の何れかの形態の制御方法である。   A forty-sixth aspect of the technology related to the present embodiment is any of the above-described twenty-fourth to forty-fifth aspects related to the present embodiment, wherein the control content is to operate an apparatus and / or information. Is a control method.

又、本実施形態に関連する技術の第47の形態は、人の位置、人の姿勢、人の表情、人の動き、人の音声、人の生理状態、特定個人であること、人の体型、人の体重、人の性別、人の年齢、人の心身的不自由度、又は人の付帯物のうち少なくとも1つ以上を人の属性として用いることを特徴とする本実施形態に関連する上記第24〜46のいずれかの形態の制御方法である。   Also, a forty-seventh form of the technology related to the present embodiment includes a person's position, a person's posture, a person's facial expression, a person's movement, a person's voice, a person's physiological state, a specific individual, and a person's body type. , Wherein at least one of a person's weight, a person's gender, a person's age, a person's physical and mental inconvenience, or a person's accessory is used as a person's attribute. This is a control method according to any one of the twenty-fourth to forty-sixth aspects.

又、本実施形態に関連する技術の第48の形態は、制御対象の候補を決定するための人の属性と、制御内容の候補を決定するための人の属性とが異なることを特徴とする本実施形態に関連する上記第24〜47の何れかの形態の制御方法である。   A forty-eighth aspect of the technology related to the present embodiment is characterized in that the attribute of a person for determining a candidate for a control target is different from the attribute of a person for determining a candidate for a control content. This is a control method according to any one of the twenty-fourth to forty-seventh modes related to the present embodiment.

又、本実施形態に関連する技術の第49の形態は、制御対象の候補を決定するための人の属性と、制御内容の候補を決定するための人の属性とが同一であることを特徴とする本実施形態に関連する上記第24〜47の何れかの形態の制御方法である。   A forty-ninth aspect of the technology related to the present embodiment is characterized in that the attribute of a person for determining a candidate for a control target is the same as the attribute of a person for determining a candidate for control content. The control method according to any one of the twenty-fourth to forty-seventh aspects relating to the present embodiment.

又、本実施形態に関連する技術の第50の形態は、人の属性として前記人が自分の人差し指を口の前にあてる動作を検出し、前記動作に基づいて音を発する機器及び音量を制御する機器を制御対象の候補とし、音量を小さくする制御を制御内容の候補とすることを特徴とする本実施形態に関連する上記第49の形態の制御方法である。   Further, a fiftieth aspect of the technology related to the present embodiment detects an operation in which the person puts his / her index finger in front of a mouth as an attribute of the person, and controls a device that emits a sound and a volume based on the operation. A control method according to the forty-ninth aspect, wherein a device to be controlled is set as a candidate for a control target, and control for reducing the volume is set as a candidate for a control content.

又、本実施形態に関連する技術の第51の形態は、人の属性として前記人が手で耳をふさぐ動作を検出し、前記動作に基づいて音を発する機器及び音量を制御する機器を制御対象の候補とし、音量を小さくする制御を制御内容の候補とすることを特徴とする本実施形態に関連する上記第49の形態の制御方法である。   A fifty-first aspect of the technology related to the present embodiment is configured to detect, as an attribute of a person, an operation in which the person closes his ear with his / her hand, and control a device that emits a sound based on the operation and a device that controls a volume. A control method according to the forty-ninth aspect, wherein the control for reducing the volume is set as a candidate for the target and the control content is set as a candidate for the control content.

又、本実施形態に関連する技術の第52の形態は、人の属性として前記人が手で顔又は身体の一部を扇ぐ動作を検出し、前記動作に基づいて空調を制御する機器及び窓を制御対象の候補を制御対象の候補とし、設定温度の低下又は換気を制御内容の候補とすることを特徴とする本実施形態に関連する上記第49の形態の制御方法である。   Also, a fifty-second form of the technology related to the present embodiment is a device and a window for detecting, as an attribute of a person, an operation in which the person blows a face or a part of a body by hand, and controlling air conditioning based on the operation. The control method according to the forty-ninth aspect of the present invention relates to the present embodiment, wherein is set as a candidate for a control target, and a reduction in set temperature or ventilation is set as a candidate for control content.

又、本実施形態に関連する技術の第53の形態は、人の属性として前記人が耳を手の横に添える動作を検出し、前記動作基づいて音を出す機器及び音量を制御する機器を制御対象の候補とし、音量を大きくする制御を制御内容の候補とすることを特徴とする本実施形態に関連する上記第49の形態の制御方法である。   In a fifty-third mode of the technology related to the present embodiment, a device that detects a motion of the person placing his or her ear beside the hand as an attribute of the person, and that outputs a sound based on the motion and a device that controls the volume. A control method according to the forty-ninth aspect, wherein the control for increasing the volume is set as a candidate for control, and control for increasing the volume is set as a control content candidate.

又、本実施形態に関連する技術の第54の形態は、本実施形態に関連する上記第1〜53のいずれかの形態の制御方法における動作の全部又は一部をコンピュータで実現するためのプログラムを格納したことを特徴とするプログラム記録媒体である。   A fifty-fourth aspect of the technology related to the present embodiment is a program for realizing, with a computer, all or a part of the operation in the control method according to any one of the first to fifty aspects related to the present embodiment. Is stored in the program recording medium.

この様に、本実施形態に関連する技術の形態は、単一又は複数の人の属性を継続的あるいは間欠的に監視し、人の所定の属性の検出に基づいて所定の機器の制御を行うことを特徴とする制御方法である。また、人の所定の属性に基づき、制御対象の候補及び制御内容の候補を決定し、前記制御対象の候補及び前記制御内容の候補に基づき制御対象及び制御内容を決定することを特徴とする制御方法である。さらに、複数の人の属性の検出に基づき、前記人ごとに制御対象の候補及び制御内容の候補を決定し、前記制御対象の候補及び前記制御内容の候補に基づいて制御対象及び制御内容を決定することを特徴とする制御方法である。   As described above, the technology related to the present embodiment continuously or intermittently monitors the attributes of a single person or a plurality of persons, and controls a predetermined device based on the detection of the predetermined attribute of the person. A control method characterized by the following. Further, based on a predetermined attribute of a person, a control target candidate and a control content candidate are determined, and the control target and the control content are determined based on the control target candidate and the control content candidate. Is the way. Furthermore, based on the detection of the attributes of a plurality of persons, a candidate for a control target and a candidate for control content are determined for each person, and a control target and control contents are determined based on the candidate for the control target and the candidate for control content. This is a control method characterized in that:

以上説明したところから明らかなように、本実施形態は、人の属性を用いて機器や情報の操作を円滑に行う最に問題となる、複数の人の存在や、複数の機器の存在や、人の動作や姿勢の曖昧さなどを考慮し、人にあらかじめ定めた複雑な動作などを強いることなく、人の日常の属性を用いることで機器の制御を円滑に行うことを可能とする制御方法である。   As is apparent from the above description, the present embodiment is the most problematic in smoothly operating devices and information using the attributes of people, the presence of a plurality of people, the presence of a plurality of devices, A control method that enables smooth control of equipment by using the daily attributes of a person without forcing the person to perform predetermined complicated operations, etc., taking into account the ambiguity of the person's movement and posture. It is.

また、人の所定の属性に基づき、制御対象ならびに制御内容を複数候補決定し、制御対象の候補と制御内容の候補の両方の情報を用いることで候補の数を限定することにより、制御対象や制御対象をより確実に特定することができる。   Also, based on a predetermined attribute of a person, a plurality of candidates for the control object and the control content are determined, and the number of candidates is limited by using information of both the control object candidate and the control content candidate. The control target can be specified more reliably.

さらに、機器が決定した操作者や候補の内容を人に提示することや、制御対象や制御内容が決定できない場合には再度入力を促し、その後の人の属性を観察することで、人に必要な情報を提供すると同時に制御対象ならびに制御内容の決定を円滑に行うことが可能である。   Furthermore, it is necessary to present the contents of the operator or candidate determined by the device to the human, or to prompt the user to input again when the control target or the control content cannot be determined, and to observe the attributes of the subsequent humans. And at the same time, it is possible to smoothly determine the control object and the control content.

また、本実施形態によれば、画面に情報を提示するだけでなく、音声によっ
ても情報を提示したりすることができるので、例えば、目の不自由な人がジェスチャーによって指示した内容を確実に音声にて確認でき、また耳の不自由な人にとっても、画面で確実に情報を確認できるので、目の不自由な人と、耳の不自由な人が混在して使用する場合などに便利であり、福祉対策上有効である。
In addition, according to the present embodiment, not only information can be presented on the screen but also information can be presented by voice. It can be confirmed by voice, and even for people with hearing impairments, it is possible to confirm information on the screen reliably, so it is convenient for people who are blind and those who are hearing impaired It is effective in welfare measures.

さらにまた、間欠的に状況を監視することによって、消費電力を大きく削減することができ、地球環境保護の観点からも有効である。   Furthermore, by intermittently monitoring the situation, power consumption can be greatly reduced, which is effective from the viewpoint of global environmental protection.

本発明に係る制御方法は、複数の機器や複数の人間が近隣に存在する場合にも、より円滑に機器の操作等を行えるという効果を有し、人の動き・姿勢・状態などに基づいて機器や情報の操作・環境の制御などを行う技術として有用である。   The control method according to the present invention has an effect that, even when a plurality of devices and a plurality of people are present in the vicinity, it is possible to smoothly operate the devices and the like, based on the movement, posture, state, etc. of the person. It is useful as a technology for operating devices and information and controlling the environment.

本発明の一実施の形態を示すブロック図1 is a block diagram illustrating an embodiment of the present invention. 本発明の二実施の形態を示すブロック図Block diagram showing two embodiments of the present invention 本発明の三実施の形態を示すブロック図Block diagram showing three embodiments of the present invention 本発明の四実施の形態を示すブロック図Block diagram showing a fourth embodiment of the present invention. 本発明の五実施の形態を示すブロック図Block diagram showing a fifth embodiment of the present invention. 本発明の六実施の形態を示すブロック図Block diagram showing a sixth embodiment of the present invention. 本発明の七実施の形態を示すブロック図Block diagram showing a seventh embodiment of the present invention. 本発明の八実施の形態を示すブロック図Block diagram showing an eighth embodiment of the present invention. 本発明の実施の形態に於ける、人の腕や指の状態を示す図FIG. 3 is a diagram illustrating states of a human arm and fingers according to the embodiment of the present invention. 本発明の実施の形態に於ける、人の腕や指の状態を示す図FIG. 3 is a diagram illustrating states of a human arm and fingers according to the embodiment of the present invention.

符号の説明Explanation of reference numerals

1 監視部
2 操作者選択部 3 制御対象候補決定部 4 制御内容候補決定部 5 制御対象・制御内容決定部
1 monitoring section

2 Operator selection unit 3 Control target candidate determination unit 4 Control content candidate determination unit 5 Control target / control content determination unit 2 Operator selection unit 3 Control target candidate determination unit 4 Control content candidate determination unit 5 Control target / control content determination unit

Claims (3)

  1. 人の属性を監視し、前記監視された人の属性に基づいて予め登録した個人の属性を検出し、前記検出された個人の属性を用いて制御対象及び制御内容を決定し、制御対象の制御を行う制御方法であって、
    制御対象の決定に用いる所定の属性を検出した第一の時刻と制御内容の候補の決定に用いる所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて、制御対象又は制御内容の少なくとも1つを決定する制御方法。 The time interval between the first time when the predetermined attribute used for determining the control target is detected and the second time when the predetermined attribute used for determining the control content candidate is detected, or the first time and the second time. A control method for determining at least one of a control target or a control content by using at least one of the temporal order relations with the time of day or the duration of the predetermined attribute detection. Monitoring the attributes of the person, detecting the attributes of the individual registered in advance based on the attributes of the monitored person, determining the control target and the control content using the detected attributes of the individual, and controlling the control target. Control method for performing Monitoring the attributes of the person, detecting the attributes of the individual registered in advance based on the attributes of the monitored person, determining the control target and the control content using the detected attributes of the individual, and controlling the control target. Control method for performing
    A time interval between a first time at which a predetermined attribute used to determine a control target is detected and a second time at which a predetermined attribute used to determine a candidate for control content is detected, or the first time and the second time A control method for determining at least one of a control target and a control content using at least one or more of a temporal order relation with the time or a predetermined attribute detection duration. A time interval between a first time at which a predetermined attribute used to determine a control target is detected and a second time at which a predetermined attribute used to determine a candidate for control content is detected, or the first time and the second time A control method for determining at least one of a control target and a control content using at least one or more of a temporal order relation with the time or a predetermined attribute detection duration.
  2. 制御対象の決定に用いる所定の属性を検出した第一の時刻と制御内容の候補の決定に用いる所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて制御対象の候補又は制御内容の候補の少なくとも1つの削減を行う工程を更に含む請求項1記載の制御方法。   A time interval between a first time at which a predetermined attribute used to determine a control target is detected and a second time at which a predetermined attribute used to determine a candidate for control content is detected, or the first time and the second time 2. The method according to claim 1, further comprising the step of reducing at least one of the candidate of the control target or the candidate of the control content by using at least one of a temporal order relation with the time or a predetermined attribute detection duration. Control method.
  3. 複数の人の属性を監視し、前記監視された複数の人の属性からあらかじめ登録した個人の属性を検出し、前記検出された個人の属性を用いて対象者を決定し、前記検出された個人に関する所定の属性を用いて、複数の機器のうち、制御対象及び制御内容を決定し、制御対象の制御を行う制御方法であって、
    制御対象の決定に用いる所定の属性を検出した第一の時刻と制御内容の候補の決定に用いる所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて、制御対象又は制御内容の少なくとも1つを決定する制御方法。 The time interval between the first time when the predetermined attribute used for determining the control target is detected and the second time when the predetermined attribute used for determining the control content candidate is detected, or the first time and the second time. A control method for determining at least one of a control target or a control content by using at least one of the temporal order relations with the time of day or the duration of the predetermined attribute detection. Monitor the attributes of a plurality of people, detect the attributes of the individual registered in advance from the attributes of the monitored plurality of people, determine the target person using the attributes of the detected individuals, determine the detected individual A control method for determining a control target and control contents among a plurality of devices by using a predetermined attribute regarding, and controlling the control target, Monitor the attributes of a plurality of people, detect the attributes of the individual registered in advance from the attributes of the monitored plurality of people, determine the target person using the attributes of the detected individuals, determine the detected individual A control method for determining a control target and control contents among a plurality of devices by using a predetermined attribute regarding, and controlling the control target,
    A time interval between a first time at which a predetermined attribute used to determine a control target is detected and a second time at which a predetermined attribute used to determine a candidate for control content is detected, or the first time and the second time A control method for determining at least one of a control target and a control content by using at least one or more of a temporal order relationship with the time or a predetermined attribute detection duration. A time interval between a first time at which a predetermined attribute used to determine a control target is detected and a second time at which a predetermined attribute used to determine a candidate for control content is detected, or the first time and the second time A control method for determining at least one of a control target and a control content by using at least one or more of a temporal order relationship with the time or a predetermined attribute detection duration.
JP2004105865A 1997-11-27 2004-03-31 Control method Withdrawn JP2004303251A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP32573997 1997-11-27
JP2004105865A JP2004303251A (en) 1997-11-27 2004-03-31 Control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004105865A JP2004303251A (en) 1997-11-27 2004-03-31 Control method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP10334400 Division

Publications (1)

Publication Number Publication Date
JP2004303251A true JP2004303251A (en) 2004-10-28

Family

ID=33421116

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004105865A Withdrawn JP2004303251A (en) 1997-11-27 2004-03-31 Control method

Country Status (1)

Country Link
JP (1) JP2004303251A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009505207A (en) * 2005-08-12 2009-02-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Interactive entertainment system and method of operation thereof
JP2009533784A (en) * 2006-04-17 2009-09-17 本田技研工業株式会社 Classification of compound motion including interaction with objects
US7671725B2 (en) 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
JP2011175617A (en) * 2010-01-29 2011-09-08 島根県 Image recognition apparatus, operation determination method, and program
JP2011175623A (en) * 2010-01-29 2011-09-08 Shimane Prefecture Image recognition apparatus, operation determination method, and program
JP2012527666A (en) * 2009-05-20 2012-11-08 ソニーモバイルコミュニケーションズ, エービー Portable electronic device including display and method for controlling the device
JP2013503396A (en) * 2009-08-28 2013-01-31 ロベルト ボッシュ ゲーエムベーハー Enter information and commands based on automotive gestures
JP2013030140A (en) * 2011-07-29 2013-02-07 Toshiba Corp Video processor and video processing method
JP2013196329A (en) * 2012-03-19 2013-09-30 Ricoh Co Ltd Information processor, operator determination program and projection system
EP2708981A2 (en) 2012-08-31 2014-03-19 Omron Corporation Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
WO2015029304A1 (en) * 2013-08-29 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Speech recognition method and speech recognition device
JP2016091263A (en) * 2014-11-04 2016-05-23 三菱電機インフォメーションシステムズ株式会社 Controller and control program
WO2018008225A1 (en) * 2016-07-05 2018-01-11 ソニー株式会社 Information processing device, information processing method, and program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (en) * 1995-09-13 1997-03-28 Toshiba Corp Input device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (en) * 1995-09-13 1997-03-28 Toshiba Corp Input device

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009505207A (en) * 2005-08-12 2009-02-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Interactive entertainment system and method of operation thereof
US7671725B2 (en) 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
JP2009533784A (en) * 2006-04-17 2009-09-17 本田技研工業株式会社 Classification of compound motion including interaction with objects
JP2012527666A (en) * 2009-05-20 2012-11-08 ソニーモバイルコミュニケーションズ, エービー Portable electronic device including display and method for controlling the device
JP2015038747A (en) * 2009-08-28 2015-02-26 ロベルト ボッシュ ゲーエムベーハー Inputting of information and command based on gesture for motor vehicle use
JP2017076408A (en) * 2009-08-28 2017-04-20 ロベルト ボッシュ ゲーエムベーハー Inputting of information and command based on gesture for motor vehicle
JP2013503396A (en) * 2009-08-28 2013-01-31 ロベルト ボッシュ ゲーエムベーハー Enter information and commands based on automotive gestures
JP2011175623A (en) * 2010-01-29 2011-09-08 Shimane Prefecture Image recognition apparatus, operation determination method, and program
JP2011175617A (en) * 2010-01-29 2011-09-08 島根県 Image recognition apparatus, operation determination method, and program
JP2013030140A (en) * 2011-07-29 2013-02-07 Toshiba Corp Video processor and video processing method
JP2013196329A (en) * 2012-03-19 2013-09-30 Ricoh Co Ltd Information processor, operator determination program and projection system
EP2708981A2 (en) 2012-08-31 2014-03-19 Omron Corporation Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
WO2015029304A1 (en) * 2013-08-29 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Speech recognition method and speech recognition device
JPWO2015029304A1 (en) * 2013-08-29 2017-03-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Speech recognition method and speech recognition apparatus
JP2016091263A (en) * 2014-11-04 2016-05-23 三菱電機インフォメーションシステムズ株式会社 Controller and control program
WO2018008225A1 (en) * 2016-07-05 2018-01-11 ソニー株式会社 Information processing device, information processing method, and program

Similar Documents

Publication Publication Date Title
US10049280B2 (en) Video guidance for smart-home device installation
US20200116373A1 (en) Environment control system
US10678201B2 (en) Wearable environmental interaction unit
CN107950080B (en) Load control system responsive to position of occupant and/or mobile device
US10579079B2 (en) Home automation control system
US20200333913A1 (en) Interactive computer display and control systems for the home
US9769413B2 (en) Display device, remote control device to control display device, method of controlling display device, method of controlling server and method of controlling remote control device
US9728059B2 (en) Sedentary period detection utilizing a wearable electronic device
RU2628558C2 (en) Method and smart terminal handling device
CN104302048B (en) Method for controlling lamp and device
KR102179811B1 (en) Portable Device And Method For Providing Voice Recognition Service
US10782657B2 (en) Systems and methods of gestural interaction in a pervasive computing environment
US10635171B2 (en) Detection device, detection method, control device, and control method
CN103561652B (en) Method and system for assisting patients
CN105446162B (en) A kind of intelligent home furnishing control method of smart home system and robot
US9880619B2 (en) Virtual reality system with a finger-wearable control
JP6075884B2 (en) Method and apparatus for capturing an image
US20180317725A1 (en) Cleaning robot and method for controlling same
US9659212B2 (en) Methods, systems, and products for gesture-activation
US20170185276A1 (en) Method for electronic device to control object and electronic device
JP6143975B1 (en) System and method for providing haptic feedback to assist in image capture
US7438414B2 (en) Gaze discriminating electronic control apparatus, system, method and computer program product
CN104049721B (en) Information processing method and electronic equipment
KR20200012928A (en) Customizable wake-up voice commands
US7349758B2 (en) Interactive personalized robot for home use

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061031

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20061220