JP2000347692A - 人物検出方法、人物検出装置及びそれを用いた制御システム - Google Patents
人物検出方法、人物検出装置及びそれを用いた制御システムInfo
- Publication number
- JP2000347692A JP2000347692A JP11159882A JP15988299A JP2000347692A JP 2000347692 A JP2000347692 A JP 2000347692A JP 11159882 A JP11159882 A JP 11159882A JP 15988299 A JP15988299 A JP 15988299A JP 2000347692 A JP2000347692 A JP 2000347692A
- Authority
- JP
- Japan
- Prior art keywords
- face
- user
- detecting
- person
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 複数の人物から装置の利用者を適切に検出す
ることで、複数の人物が居る環境下でも利用できるイン
タフェースを備えた装置を提供すること。 【解決手段】 複数の人物から利用者を検出する方法と
して、カメラで撮影した映像から顔画像を検出する手段
と、検出した顔画像の視線方向または顔の向きを推定
し、その推定結果からある所定の方向に視線または顔を
向けいるかを判断する手段と、ある所定の方向に視線ま
たは顔を向け、かつ発話している人物を利用者として検
出する手段と、を備える。
ることで、複数の人物が居る環境下でも利用できるイン
タフェースを備えた装置を提供すること。 【解決手段】 複数の人物から利用者を検出する方法と
して、カメラで撮影した映像から顔画像を検出する手段
と、検出した顔画像の視線方向または顔の向きを推定
し、その推定結果からある所定の方向に視線または顔を
向けいるかを判断する手段と、ある所定の方向に視線ま
たは顔を向け、かつ発話している人物を利用者として検
出する手段と、を備える。
Description
【０００１】
【発明の属する技術分野】本発明は、複数の人物が居る
環境下で、利用者を検出し、その人物と対話する装置に
適用して最適な人物検出方法、人物検出装置、及び制御
システムに関する。
環境下で、利用者を検出し、その人物と対話する装置に
適用して最適な人物検出方法、人物検出装置、及び制御
システムに関する。
【０００２】
【従来の技術】従来から装置の利用者、例えば、発言者
または操作者を検出する方法として、主に音声が用いら
れてきた。特開平５−１２２６８９号公報では、複数の
マイクから入力される音声を検出し、音声入力があった
マイクの方向にカメラを向ける方法が開示されている。
また、特開平６−３５１０１５号公報、特開平７−１４
０５２７号公報では、指向性マイク、あるいはマイクア
レーを用いて音から発話者の方向を検出し、その方向に
カメラを向ける発明を開示している。
または操作者を検出する方法として、主に音声が用いら
れてきた。特開平５−１２２６８９号公報では、複数の
マイクから入力される音声を検出し、音声入力があった
マイクの方向にカメラを向ける方法が開示されている。
また、特開平６−３５１０１５号公報、特開平７−１４
０５２７号公報では、指向性マイク、あるいはマイクア
レーを用いて音から発話者の方向を検出し、その方向に
カメラを向ける発明を開示している。
【０００３】
【発明が解決しようとする課題】しかし、上記のように
音による方法では、複数の人が同時に話をしている場
合、その中から装置の利用者を適切に検出することは困
難である。また、利用者の近傍に壁や物があった場合、
声の反響によって利用者の検出を誤る惧れがあった。ま
た、ジェスチャなど音を発しない方法では、これらの装
置を利用することができなかった。
音による方法では、複数の人が同時に話をしている場
合、その中から装置の利用者を適切に検出することは困
難である。また、利用者の近傍に壁や物があった場合、
声の反響によって利用者の検出を誤る惧れがあった。ま
た、ジェスチャなど音を発しない方法では、これらの装
置を利用することができなかった。
【０００４】そこで、本発明では、装置に対して利用し
ている人物を適切に検出することで、複数の人物が居る
環境下でも利用できるインタフェースを備えた装置を提
供することを目的とするものである。
ている人物を適切に検出することで、複数の人物が居る
環境下でも利用できるインタフェースを備えた装置を提
供することを目的とするものである。
【０００５】
【課題を解決するための手段】本発明は、上記問題を解
決するために創作されたものであって、第１には、カメ
ラで撮影した映像から顔画像を検出する手段と、前記顔
画像から視線方向または顔の向きを推定し、その推定結
果からある所定の方向に視線を向けている、または顔を
向けているかを判断する手段と、前記顔画像の人物が発
話しているかを検出する手段と、を有することを特徴と
する。
決するために創作されたものであって、第１には、カメ
ラで撮影した映像から顔画像を検出する手段と、前記顔
画像から視線方向または顔の向きを推定し、その推定結
果からある所定の方向に視線を向けている、または顔を
向けているかを判断する手段と、前記顔画像の人物が発
話しているかを検出する手段と、を有することを特徴と
する。
【０００６】この第１の構成の人物検出方法および人物
検出装置に於いては、カメラで撮影した映像から顔画像
を検出し、検出した顔画像から視線または顔の向きを推
定し、その推定結果から操作する対象物に視線または顔
を向け、且つその人物が発話している場合、その人物を
利用者として検出する。よって、操作する対象物を見な
がら発話しているかを判断することで複数の人物の中か
ら利用者を特定することができる。
検出装置に於いては、カメラで撮影した映像から顔画像
を検出し、検出した顔画像から視線または顔の向きを推
定し、その推定結果から操作する対象物に視線または顔
を向け、且つその人物が発話している場合、その人物を
利用者として検出する。よって、操作する対象物を見な
がら発話しているかを判断することで複数の人物の中か
ら利用者を特定することができる。
【０００７】また、第２には、カメラで撮影した映像か
ら顔画像を検出する手段と、前記顔画像から視線方向の
検出手段と、前記顔画像から視線方向または顔の向きを
推定し、その推定結果がある所定の方向に視線または顔
を向けているかを判断する手段と、前記顔画像の人物が
発話しているかを検出する手段と、前記顔画像の人物の
唇が動いているかを検出する手段と、を有することを特
徴とする。
ら顔画像を検出する手段と、前記顔画像から視線方向の
検出手段と、前記顔画像から視線方向または顔の向きを
推定し、その推定結果がある所定の方向に視線または顔
を向けているかを判断する手段と、前記顔画像の人物が
発話しているかを検出する手段と、前記顔画像の人物の
唇が動いているかを検出する手段と、を有することを特
徴とする。
【０００８】この第２の構成の人物検出方法および人物
検出装置に於いては、カメラで撮影した映像から顔画像
を検出し、検出した顔画像から視線または顔の向きを推
定し、その推定結果から操作する対象物に視線または顔
を向けて、且つその人物が発話し、且つ唇が動いている
場合、その人物を利用者として検出する。よって、装置
の利用者と異なる人物が発話してもその発話が利用者の
命令かを見極めることができ、複数の人物の中から利用
者を的確に特定することができる。
検出装置に於いては、カメラで撮影した映像から顔画像
を検出し、検出した顔画像から視線または顔の向きを推
定し、その推定結果から操作する対象物に視線または顔
を向けて、且つその人物が発話し、且つ唇が動いている
場合、その人物を利用者として検出する。よって、装置
の利用者と異なる人物が発話してもその発話が利用者の
命令かを見極めることができ、複数の人物の中から利用
者を的確に特定することができる。
【０００９】また、第３には、カメラで撮影した映像か
ら顔画像を検出する手段と、前記顔画像から視線方向の
検出手段と、前記顔画像から視線方向または顔の向きを
推定し、その推定結果がある所定の方向に視線または顔
を向けているかを判断する手段と、前記顔画像の人物に
よるジェスチャを検出する手段と、を有することを特徴
とする。
ら顔画像を検出する手段と、前記顔画像から視線方向の
検出手段と、前記顔画像から視線方向または顔の向きを
推定し、その推定結果がある所定の方向に視線または顔
を向けているかを判断する手段と、前記顔画像の人物に
よるジェスチャを検出する手段と、を有することを特徴
とする。
【００１０】この第３の構成の人物検出方法及び人物検
出装置に於いては、カメラで撮影した映像から顔画像を
検出し、検出した顔画像から視線方向または顔の向きを
推定し、その推定結果から操作する対象物に視線または
顔を向けているかを判断し、且つ装置の操作主導権を得
るために、または装置に命令を伝達するために、例えば
手を挙げるなどのジェスチャを検出することで利用者と
判定を行う。よって、操作する対象物を見ている人物で
且つ装置の操作主導権を要求するジェスチャ、または装
置への命令を表すジェスチャから利用者を判断すること
で複数の人物の中から利用者を特定することができる。
出装置に於いては、カメラで撮影した映像から顔画像を
検出し、検出した顔画像から視線方向または顔の向きを
推定し、その推定結果から操作する対象物に視線または
顔を向けているかを判断し、且つ装置の操作主導権を得
るために、または装置に命令を伝達するために、例えば
手を挙げるなどのジェスチャを検出することで利用者と
判定を行う。よって、操作する対象物を見ている人物で
且つ装置の操作主導権を要求するジェスチャ、または装
置への命令を表すジェスチャから利用者を判断すること
で複数の人物の中から利用者を特定することができる。
【００１１】また、第４には、利用者の音声情報、操作
情報、画像情報のうち、少なくとも一つの情報に基づき
複数の人物から利用者を検出する手段と、この検出手段
の検出結果に基づき前記利用者をカメラを用いて顔を撮
影する手段と、前記利用者の撮影している顔をモニタに
出力する手段と、を有することを特徴とする。
情報、画像情報のうち、少なくとも一つの情報に基づき
複数の人物から利用者を検出する手段と、この検出手段
の検出結果に基づき前記利用者をカメラを用いて顔を撮
影する手段と、前記利用者の撮影している顔をモニタに
出力する手段と、を有することを特徴とする。
【００１２】この第４の構成の制御システムに於いて
は、利用者の音声情報、操作情報、画像情報のうち、少
なくとも一つの情報に基づき複数の人物から利用者を検
出し、利用者にカメラを向け、カメラでとらえた利用者
の顔画像をモニタに表示することで誰が利用者であるか
をその場にいる人物に知らせる。よって、制御システム
が利用者の顔画像を表示することで、複数の人物の中か
ら誰が利用者として選択されているかを知ることができ
る。
は、利用者の音声情報、操作情報、画像情報のうち、少
なくとも一つの情報に基づき複数の人物から利用者を検
出し、利用者にカメラを向け、カメラでとらえた利用者
の顔画像をモニタに表示することで誰が利用者であるか
をその場にいる人物に知らせる。よって、制御システム
が利用者の顔画像を表示することで、複数の人物の中か
ら誰が利用者として選択されているかを知ることができ
る。
【００１３】また、第５には、利用者の音声情報、操作
情報、画像情報のうち、少なくとも一つの情報に基づき
複数人の中から利用者を検出する手段と、この検出手段
の検出結果に基づき制御信号を出力する制御手段と、前
記制御手段を一人の利用者からの命令を受けるモードま
たは、複数人の命令を並列で処理して受けるモードに切
り替える手段とを有することを特徴とする。
情報、画像情報のうち、少なくとも一つの情報に基づき
複数人の中から利用者を検出する手段と、この検出手段
の検出結果に基づき制御信号を出力する制御手段と、前
記制御手段を一人の利用者からの命令を受けるモードま
たは、複数人の命令を並列で処理して受けるモードに切
り替える手段とを有することを特徴とする。
【００１４】この第５の構成の制御システムに於いて、
複数人物の中から利用者だけの命令情報を処理するモー
ド、または複数の人物の命令を並列に処理するモードを
設け、これらのモードを切り替えられるようにする。よ
って、前記制御システムの操作主導権を他人に取られな
いようにすることができる。また、複数の人物が同時に
指示・命令を出すことができる。
複数人物の中から利用者だけの命令情報を処理するモー
ド、または複数の人物の命令を並列に処理するモードを
設け、これらのモードを切り替えられるようにする。よ
って、前記制御システムの操作主導権を他人に取られな
いようにすることができる。また、複数の人物が同時に
指示・命令を出すことができる。
【００１５】
【発明の実施の形態】本発明の実施の形態としての実施
例を図面を利用して説明する。
例を図面を利用して説明する。
【００１６】本発明に基づく人物検出装置Ａは、図１に
示されるように、マイク１０と、音声認識部１２と、カ
メラ１４と、顔検出部１６と、顔向き検出部１８と、利
用者検出部２０と、命令認識部２２と、制御部２４と、
カメラ制御部２６と、モニタ２８と、スピーカ３０と、
視線検出部３２と、ジェスチャ認識部３４と、を有して
いる。
示されるように、マイク１０と、音声認識部１２と、カ
メラ１４と、顔検出部１６と、顔向き検出部１８と、利
用者検出部２０と、命令認識部２２と、制御部２４と、
カメラ制御部２６と、モニタ２８と、スピーカ３０と、
視線検出部３２と、ジェスチャ認識部３４と、を有して
いる。
【００１７】ここで、音声入力手段としての上記マイク
１０は、入力された音声を電気信号としての音声信号に
変換するものである。また、音声認識部１２は、上記マ
イク１０から入力された音声信号の波長等を分析するこ
とにより入力された音声を認識して、所定の音声データ
を出力するものである。この音声認識は、予め命令語
（単語）を登録しておくことで認識精度を向上させるこ
とができる。
１０は、入力された音声を電気信号としての音声信号に
変換するものである。また、音声認識部１２は、上記マ
イク１０から入力された音声信号の波長等を分析するこ
とにより入力された音声を認識して、所定の音声データ
を出力するものである。この音声認識は、予め命令語
（単語）を登録しておくことで認識精度を向上させるこ
とができる。
【００１８】また、上記撮影手段としての上記カメラ１
４は、利用者を撮影するものである。このカメラ１４
は、例えば、ＣＣＤカメラ等により構成される。また、
上記顔検出部１６は、上記カメラ１４により得られた画
像データから顔領域を検出する。上記顔向き検出部１８
は、上記顔検出部１６により検出した顔領域から顔の向
きを算出する。
４は、利用者を撮影するものである。このカメラ１４
は、例えば、ＣＣＤカメラ等により構成される。また、
上記顔検出部１６は、上記カメラ１４により得られた画
像データから顔領域を検出する。上記顔向き検出部１８
は、上記顔検出部１６により検出した顔領域から顔の向
きを算出する。
【００１９】また、上記視線検出部３２は、利用者の視
線方向を算出する。また、上記ジェスチャ認識部３４は
手振り、身振りなどの動作や手によるサイン、ポーズを
認識する。
線方向を算出する。また、上記ジェスチャ認識部３４は
手振り、身振りなどの動作や手によるサイン、ポーズを
認識する。
【００２０】また、上記利用者検出部２０は、上記音声
認識部１２、上記顔向き検出部１８、上記視線検出３
２、上記ジェスチャ認識部３４の少なくとも１つから検
出情報が送られ、命令を発した人物、あるいは所定の方
向を見ながら命令を発している人物、あるいは所定の方
向を見ながら命令を発し、且つ口が動いている人物、あ
るいは所定の方向を見ながら所定のジェスチャまたはポ
ーズを示している人物を利用者と判断する。
認識部１２、上記顔向き検出部１８、上記視線検出３
２、上記ジェスチャ認識部３４の少なくとも１つから検
出情報が送られ、命令を発した人物、あるいは所定の方
向を見ながら命令を発している人物、あるいは所定の方
向を見ながら命令を発し、且つ口が動いている人物、あ
るいは所定の方向を見ながら所定のジェスチャまたはポ
ーズを示している人物を利用者と判断する。
【００２１】上記命令認識部２２は、上記利用者検出部
２０で利用者と判断した人物の音声による命令、または
ジェスチャによる命令を認識し、上記制御部２４に対し
て所定の命令を発信する。上記制御部２４は、上記命令
認識部２２からの発信された命令に従い所定の実行処理
を行うものである。上記モニタ２８、上記スピーカは、
装置が処理した結果を出力するためのものである。
２０で利用者と判断した人物の音声による命令、または
ジェスチャによる命令を認識し、上記制御部２４に対し
て所定の命令を発信する。上記制御部２４は、上記命令
認識部２２からの発信された命令に従い所定の実行処理
を行うものである。上記モニタ２８、上記スピーカは、
装置が処理した結果を出力するためのものである。
【００２２】また、上記カメラ制御部２６は、上記利用
者検出部２０で検出した利用者の位置からカメラ方向を
算出し利用者の方向にカメラを向けるための制御を行
う。
者検出部２０で検出した利用者の位置からカメラ方向を
算出し利用者の方向にカメラを向けるための制御を行
う。
【００２３】また、上記モニタ２８は、上記カメラ１６
と上記顔検出部１６で得られた情報から、利用者の顔画
像をモニタに出力する、あるいは子画面で表示すること
で現在の利用者を知らせる。
と上記顔検出部１６で得られた情報から、利用者の顔画
像をモニタに出力する、あるいは子画面で表示すること
で現在の利用者を知らせる。
【００２４】なお、上記人物検出装置Ａのうち、マイク
１０と、音声認識部１２と、カメラ１４と、顔検出部１
６と、顔向き検出部１８と、利用者検出部２０、命令認
識部２２が上記人物検出装置として機能する。本実施例
では、利用者を検出するためにマイク１０と、音声認識
部１２と、カメラ１４と、顔検出部１６と、顔向き検出
部１８を構成するものと説明したが、これには限られ
ず、人物を検出する手段であれば他の構成としてもよ
い。
１０と、音声認識部１２と、カメラ１４と、顔検出部１
６と、顔向き検出部１８と、利用者検出部２０、命令認
識部２２が上記人物検出装置として機能する。本実施例
では、利用者を検出するためにマイク１０と、音声認識
部１２と、カメラ１４と、顔検出部１６と、顔向き検出
部１８を構成するものと説明したが、これには限られ
ず、人物を検出する手段であれば他の構成としてもよ
い。
【００２５】上記構成に基づく人物検出装置Ａの動作に
ついて、図２を利用して説明する。なお、この場合に
は、図３に示すように、上記人物検出装置Ａがテレビジ
ョン受信装置Ｐに搭載されているものとして説明する。
ついて、図２を利用して説明する。なお、この場合に
は、図３に示すように、上記人物検出装置Ａがテレビジ
ョン受信装置Ｐに搭載されているものとして説明する。
【００２６】まず、マイク１０に音声入力があるかを判
断する（Ｓ１０）。そして、音声入力がある場合には、
ステップ１１に移行し、音声認識を行う。
断する（Ｓ１０）。そして、音声入力がある場合には、
ステップ１１に移行し、音声認識を行う。
【００２７】ステップ１２では、カメラ１４から入力さ
れた画像から顔領域を検出する。顔領域を検出する方法
としては、例えば、本出願人が特願平１０−２９１５４
３号で提案した方法を用いることができる。ステップ１
２に於いて、顔領域が検出されれば、ステップ１３に進
み、顔領域が検出されなければ、ステップ１０に戻る。
ステップ１３に於いて、ステップ１２で検出した顔領域
に対して顔の向きを検出する。顔の向きを検出する方法
としては、例えば、本出願人が特願平１０−２６９６０
０号で提案した方法を用いることができる。
れた画像から顔領域を検出する。顔領域を検出する方法
としては、例えば、本出願人が特願平１０−２９１５４
３号で提案した方法を用いることができる。ステップ１
２に於いて、顔領域が検出されれば、ステップ１３に進
み、顔領域が検出されなければ、ステップ１０に戻る。
ステップ１３に於いて、ステップ１２で検出した顔領域
に対して顔の向きを検出する。顔の向きを検出する方法
としては、例えば、本出願人が特願平１０−２６９６０
０号で提案した方法を用いることができる。
【００２８】ステップ１４に於いては、ステップ１２で
検出した人物がどの方向を見ているか判断する。このと
き、前記人物が観察している対象物を知るためには、前
記人物の位置を知る必要がある。検出した人物の位置を
求める方法として、カメラの焦点距離を用いたり、予め
人物の大きさとカメラからの距離の関係を対応して記録
しておくことで、例えば顔の大きさからその人物の位置
を求めることができる。あるいは、カメラ１４を複数台
のカメラにすることで、ステレオマッチングにより距離
を求めることができる。あるいは、ここでは図示してい
ないが距離センサー、赤外線センサなどを用いて距離、
位置を求めることもできる。ステップ１４では、検出し
た人物が観察している方向、または物を推定し、所定の
方向、または対象物を見ているかを判断する。見ている
と判断したらその人物を利用者と判断し、ステップ１５
に進み、見ていないと判断したらステップ１０に戻る。
検出した人物がどの方向を見ているか判断する。このと
き、前記人物が観察している対象物を知るためには、前
記人物の位置を知る必要がある。検出した人物の位置を
求める方法として、カメラの焦点距離を用いたり、予め
人物の大きさとカメラからの距離の関係を対応して記録
しておくことで、例えば顔の大きさからその人物の位置
を求めることができる。あるいは、カメラ１４を複数台
のカメラにすることで、ステレオマッチングにより距離
を求めることができる。あるいは、ここでは図示してい
ないが距離センサー、赤外線センサなどを用いて距離、
位置を求めることもできる。ステップ１４では、検出し
た人物が観察している方向、または物を推定し、所定の
方向、または対象物を見ているかを判断する。見ている
と判断したらその人物を利用者と判断し、ステップ１５
に進み、見ていないと判断したらステップ１０に戻る。
【００２９】なお、上記の例では、利用者の判定に顔の
向きを利用したが、人物の視線方向を検出し、視線方向
が対象物の方を見ているかを判断してもよい。
向きを利用したが、人物の視線方向を検出し、視線方向
が対象物の方を見ているかを判断してもよい。
【００３０】ステップ１５では、ステップ１４で検出し
た利用者が指示・令令した内容を認識し、音声による指
示ならば、音声認識の結果をその装置に適合した命令
（コマンド）に変換する。利用者がジェスチャで指示し
たならば、ジェスチャを認識した結果を命令に変換す
る。身振り、手振りなどのジェスチャを認識したり、ジ
ェスチャを登録したりする方法としては、例えば、“動
作者適応のためのオンライン教示可能なジェスチャ動画
像のスポティング認識システム”、（電子情報通信学会
論文誌、Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ、Ｎｏ．８、ｐｐ１
８２２−１８３０）などに示された方法を利用して実現
することができる。なお、ジェスチャと命令の対応付け
は、予め登録または変更することができる。
た利用者が指示・令令した内容を認識し、音声による指
示ならば、音声認識の結果をその装置に適合した命令
（コマンド）に変換する。利用者がジェスチャで指示し
たならば、ジェスチャを認識した結果を命令に変換す
る。身振り、手振りなどのジェスチャを認識したり、ジ
ェスチャを登録したりする方法としては、例えば、“動
作者適応のためのオンライン教示可能なジェスチャ動画
像のスポティング認識システム”、（電子情報通信学会
論文誌、Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ、Ｎｏ．８、ｐｐ１
８２２−１８３０）などに示された方法を利用して実現
することができる。なお、ジェスチャと命令の対応付け
は、予め登録または変更することができる。
【００３１】ステップ１６では、変換した命令を装置に
送信し、ステップ１７ではその令令を実行する。
送信し、ステップ１７ではその令令を実行する。
【００３２】なお、上記の例に於いて、音声入力と顔向
き検出のみで音声による命令を実行すると、装置に顔を
向けている人物と音声を発した人物とが別の場合でも動
作してしまう惧れがある。そこで、カメラ１０から得た
画像から検出された利用者の口の動きがあるかどうかに
ついても判定することが好ましい。すなわち、この場合
には、図２のフローチャートにおけるステップＳ１４に
於いて、顔が所定の方向に向いているかどうかについて
と、更に、口の動きがあるかどうかについてが判定され
る。つまり、音声入力があり、顔向きが検出されても、
口の動きが検出されなければ、利用者と判断しない。
き検出のみで音声による命令を実行すると、装置に顔を
向けている人物と音声を発した人物とが別の場合でも動
作してしまう惧れがある。そこで、カメラ１０から得た
画像から検出された利用者の口の動きがあるかどうかに
ついても判定することが好ましい。すなわち、この場合
には、図２のフローチャートにおけるステップＳ１４に
於いて、顔が所定の方向に向いているかどうかについて
と、更に、口の動きがあるかどうかについてが判定され
る。つまり、音声入力があり、顔向きが検出されても、
口の動きが検出されなければ、利用者と判断しない。
【００３３】上記のようにすることで装置に顔を向けて
いる人物とは別の人物が音声を発した場合でも、利用者
と無関係な音声を排除して、誤って動作することを回避
することができる。
いる人物とは別の人物が音声を発した場合でも、利用者
と無関係な音声を排除して、誤って動作することを回避
することができる。
【００３４】なお、上記の例に於いて、人物検出装置Ａ
を搭載する機器をテレビジョン受信装置Ｐとして説明し
たが、これには限られず、ビデオ、パソコン、エアコ
ン、室内灯等の家電製品でもよく、他のあらゆる機器に
搭載が可能である。
を搭載する機器をテレビジョン受信装置Ｐとして説明し
たが、これには限られず、ビデオ、パソコン、エアコ
ン、室内灯等の家電製品でもよく、他のあらゆる機器に
搭載が可能である。
【００３５】
【発明の効果】以上、本発明によれば、複数の人物か
ら、利用者を的確に検出し、その利用者の指示・命令を
認識することができる。
ら、利用者を的確に検出し、その利用者の指示・命令を
認識することができる。
【００３６】また、複数の人が同時に話している場合、
また利用者の近傍に壁や物があることによる声の反響が
ある場合でもその中から利用者を適切に検出することが
できる。
また利用者の近傍に壁や物があることによる声の反響が
ある場合でもその中から利用者を適切に検出することが
できる。
【００３７】また、ジェスチャなど音を発しない場合で
も利用者を検出することができる。
も利用者を検出することができる。
【００３８】また、利用者にカメラを向ける、あるいは
カメラでとらえた利用者の顔画像を表示することで、誰
が装置の操作指導権を持っているかを容易に把握させる
ことができる。
カメラでとらえた利用者の顔画像を表示することで、誰
が装置の操作指導権を持っているかを容易に把握させる
ことができる。
【図１】本発明の実施例に基づく人物検出装置の構成を
示すブロック図である。
示すブロック図である。
【図２】本発明の実施例に基づく人物検出装置の動作を
示すフローチャートである。
示すフローチャートである。
【図３】本発明の実施例に基づく人物検出装置の使用状
況を示す説明図である。
況を示す説明図である。
Ａ 人物検出装置 １０ マイク １２ 音声認識部 １４ カメラ １６ 顔検出部 １８ 顔向き検出部 ２０ 利用者検出部 ２２ 命令認識部 ２４ 制御部 ２６ カメラ制御部 ２８ モニタ ３０ スピーカ ３２ 視線検出部 ３４ ジェスチャ認識部
Claims (13)
- 【請求項１】 利用者の音声情報、操作情報、画像情報
のうち、少なくとも一つの情報に基づき複数の人物から
利用者を検出することを特徴とする人物検出方法。 - 【請求項２】 請求項１に於いて、前記音声情報が、音
声、または音声認識により得られた情報であり、発声、
口調、テンポ、声紋、言語のいずれかであることを特徴
とする人物検出方法。 - 【請求項３】 請求項１に於いて、前記操作情報が、キ
ーボード、マウス、リモコン、ペン、タッチパネルのい
ずれかによる操作で入力される情報であることを特徴と
する人物検出方法。 - 【請求項４】 請求項１に於いて、前記画像情報が、映
像、または画像認識により得られた情報であり、顔、顔
の向き、視線方向、瞬き、うなずき、唇の動き、ポー
ズ、ジェスチャのいずれかであることを特徴とする人物
検出方法。 - 【請求項５】 請求項１に於いて、前記画像情報が映像
であり、映像から顔画像を検出し、検出した顔画像の顔
の向き、または視線方向を推定し、その推定結果からあ
る所定の方向に顔または視線を向け、且つ発話している
人物を利用者として検出することを特徴とする人物検出
方法。 - 【請求項６】 請求項５に於いて、前記画像情報とし
て、更に唇の動きを検出して、ある所定の方向に顔また
は視線を向けながら発話し、且つ口が動いている人物を
利用者として検出することを特徴とする人物検出方法。 - 【請求項７】 請求項５に於いて、前記画像情報とし
て、更に手の動きを検出し、ある所定の方向に顔または
視線を向けながらジェスチャしている人物を利用者とし
て検出することを特徴とする人物検出方法。 - 【請求項８】 利用者の音声情報、操作情報、画像情報
のうち、少なくとも一つの情報に基づき複数の人物から
利用者を検出する手段を備えたことを特徴とする人物検
出装置。 - 【請求項９】 カメラで撮影した映像から顔画像を検出
する手段と、検出した顔画像から視線方向または顔の向
きを推定する手段と、前記顔画像がある所定の方向に視
線または顔を向けていることを判断する手段と、前記顔
画像の人物の音声情報を検出する手段と、を備えたこと
を特徴とする人物検出装置。 - 【請求項１０】 カメラで撮影した映像から顔画像を検
出する手段と、検出した顔画像から視線方向または顔の
向きを推定する手段と、前記顔画像がある所定の方向に
視線または顔を向けていることを判断する手段と、前記
顔画像の人物の音声情報を検出する手段と、前記顔画像
から唇の動きを検出する手段と、を備えたことを特徴と
する人物検出装置。 - 【請求項１１】 カメラで撮影した映像から顔画像を検
出する手段と、検出した顔画像から視線方向または顔の
向きを推定する手段と、前記顔画像がある所定の方向に
視線または顔を向けていることを判断する手段と、前記
映像から前記顔画像の人物によるジェスチャを検出する
手段と、を備えたことを特徴とする人物検出装置。 - 【請求項１２】 利用者の音声情報、操作情報、画像情
報のうち、少なくとも一つの情報に基づき複数の人物か
ら利用者を検出する手段と、この検出手段の検出結果に
基づき前記利用者をカメラを用いて顔を撮影する手段
と、前記利用者の撮影している顔をモニタに出力する手
段を備えた制御システム。 - 【請求項１３】 利用者の音声情報、操作情報、画像情
報のうち、少なくとも一つの情報に基づき複数人の中か
ら利用者を検出する手段と、この検出手段の検出結果に
基づき制御信号を出力する制御手段と、前記制御手段を
一人の利用者からの命令を受けるモードまたは、複数人
の命令を並列で処理して受けるモードに切り替える手段
とを備えた制御システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11159882A JP2000347692A (ja) | 1999-06-07 | 1999-06-07 | 人物検出方法、人物検出装置及びそれを用いた制御システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11159882A JP2000347692A (ja) | 1999-06-07 | 1999-06-07 | 人物検出方法、人物検出装置及びそれを用いた制御システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000347692A true JP2000347692A (ja) | 2000-12-15 |
Family
ID=15703262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11159882A Pending JP2000347692A (ja) | 1999-06-07 | 1999-06-07 | 人物検出方法、人物検出装置及びそれを用いた制御システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000347692A (ja) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003029777A (ja) * | 2001-07-16 | 2003-01-31 | Sharp Corp | 音声処理装置、音声処理方法、及びその方法を実施するためのプログラムを記録した記録媒体 |
| JP2004240154A (ja) * | 2003-02-06 | 2004-08-26 | Hitachi Ltd | 情報認識装置 |
| US6973430B2 (en) | 2000-12-28 | 2005-12-06 | Sony Computer Entertainment Inc. | Method for outputting voice of object and device used therefor |
| KR100698380B1 (ko) * | 2004-09-17 | 2007-03-23 | 전자부품연구원 | 능동적 다중 카메라를 통한 다중 생체정보 및 환경정보 처리 시스템 및 방법 |
| JP2007213350A (ja) * | 2006-02-09 | 2007-08-23 | Fuji Xerox Co Ltd | 情報像処理装置及び情報像処理方法。 |
| JP2007235969A (ja) * | 2007-03-19 | 2007-09-13 | Ricoh Co Ltd | 映像記録システム、プログラム及び記録媒体 |
| JP2007257088A (ja) * | 2006-03-20 | 2007-10-04 | Univ Of Electro-Communications | ロボット装置及びそのコミュニケーション方法 |
| JPWO2005124735A1 (ja) * | 2004-06-18 | 2008-07-31 | 日本電気株式会社 | 画像表示システム、画像表示方法および画像表示プログラム |
| JP2008230296A (ja) * | 2007-03-16 | 2008-10-02 | Mazda Motor Corp | 車両用運転支援システム |
| KR101106786B1 (ko) * | 2010-05-17 | 2012-01-18 | 주식회사 에스원 | 자동 음성 초점 기능이 구비된 음향신호 처리 장치 및 그 방법 |
| JP2012220959A (ja) * | 2011-04-08 | 2012-11-12 | Sony Computer Entertainment Inc | 入力された発話の関連性を判定するための装置および方法 |
| JP2013171548A (ja) * | 2012-02-23 | 2013-09-02 | Oki Electric Ind Co Ltd | 広告管理装置、広告管理方法、プログラムおよび広告管理システム |
| CN104820556A (zh) * | 2015-05-06 | 2015-08-05 | 广州视源电子科技股份有限公司 | 唤醒语音助手的方法及装置 |
| CN105204628A (zh) * | 2015-09-01 | 2015-12-30 | 涂悦 | 一种基于视觉唤醒的语音控制方法 |
| AU2013200054B2 (en) * | 2012-01-11 | 2016-06-16 | Biosense Webster (Israel), Ltd. | Touch free operation of devices by use of depth sensors |
| JP2017007652A (ja) * | 2015-06-08 | 2017-01-12 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | 言語制御のための文脈を認識する方法、言語制御のための言語制御信号を決定する方法、および方法を実施するための装置 |
| WO2017035768A1 (zh) * | 2015-09-01 | 2017-03-09 | 涂悦 | 一种基于视觉唤醒的语音控制方法 |
| WO2017081960A1 (ja) * | 2015-11-09 | 2017-05-18 | 三菱自動車工業株式会社 | 音声認識制御システム |
| JP2018044875A (ja) * | 2016-09-15 | 2018-03-22 | エスペック株式会社 | 環境試験装置 |
| US9931154B2 (en) | 2012-01-11 | 2018-04-03 | Biosense Webster (Israel), Ltd. | Touch free operation of ablator workstation by use of depth sensors |
| WO2019039352A1 (ja) * | 2017-08-25 | 2019-02-28 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
| WO2019073562A1 (ja) * | 2017-10-12 | 2019-04-18 | 三菱電機株式会社 | 表示制御装置、表示制御方法、及び表示制御装置を備える車載機器 |
| CN109804407A (zh) * | 2016-09-29 | 2019-05-24 | 株式会社东芝 | 关心维持系统以及服务器 |
| CN110136714A (zh) * | 2019-05-14 | 2019-08-16 | 北京探境科技有限公司 | 自然交互语音控制方法及装置 |
| CN111583937A (zh) * | 2020-04-30 | 2020-08-25 | 珠海格力电器股份有限公司 | 一种语音控制唤醒方法及存储介质、处理器、语音设备、智能家电 |
| CN112466266A (zh) * | 2019-09-06 | 2021-03-09 | 雅马哈株式会社 | 控制系统以及控制方法 |
| CN113095836A (zh) * | 2021-04-22 | 2021-07-09 | 北京市商汤科技开发有限公司 | 自助购物方法及装置、电子设备和存储介质 |
-
1999
- 1999-06-07 JP JP11159882A patent/JP2000347692A/ja active Pending
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6973430B2 (en) | 2000-12-28 | 2005-12-06 | Sony Computer Entertainment Inc. | Method for outputting voice of object and device used therefor |
| JP2003029777A (ja) * | 2001-07-16 | 2003-01-31 | Sharp Corp | 音声処理装置、音声処理方法、及びその方法を実施するためのプログラムを記録した記録媒体 |
| JP4675514B2 (ja) * | 2001-07-16 | 2011-04-27 | シャープ株式会社 | 音声処理装置、音声処理方法、及びその方法を実施するためのプログラムを記録したコンピュータにより読取り可能な記録媒体 |
| JP2004240154A (ja) * | 2003-02-06 | 2004-08-26 | Hitachi Ltd | 情報認識装置 |
| JPWO2005124735A1 (ja) * | 2004-06-18 | 2008-07-31 | 日本電気株式会社 | 画像表示システム、画像表示方法および画像表示プログラム |
| US7839423B2 (en) | 2004-06-18 | 2010-11-23 | Nec Corporation | Image display system with gaze directed zooming |
| KR100698380B1 (ko) * | 2004-09-17 | 2007-03-23 | 전자부품연구원 | 능동적 다중 카메라를 통한 다중 생체정보 및 환경정보 처리 시스템 및 방법 |
| JP2007213350A (ja) * | 2006-02-09 | 2007-08-23 | Fuji Xerox Co Ltd | 情報像処理装置及び情報像処理方法。 |
| JP2007257088A (ja) * | 2006-03-20 | 2007-10-04 | Univ Of Electro-Communications | ロボット装置及びそのコミュニケーション方法 |
| JP2008230296A (ja) * | 2007-03-16 | 2008-10-02 | Mazda Motor Corp | 車両用運転支援システム |
| JP2007235969A (ja) * | 2007-03-19 | 2007-09-13 | Ricoh Co Ltd | 映像記録システム、プログラム及び記録媒体 |
| KR101106786B1 (ko) * | 2010-05-17 | 2012-01-18 | 주식회사 에스원 | 자동 음성 초점 기능이 구비된 음향신호 처리 장치 및 그 방법 |
| JP2012220959A (ja) * | 2011-04-08 | 2012-11-12 | Sony Computer Entertainment Inc | 入力された発話の関連性を判定するための装置および方法 |
| AU2013200054B2 (en) * | 2012-01-11 | 2016-06-16 | Biosense Webster (Israel), Ltd. | Touch free operation of devices by use of depth sensors |
| US9931154B2 (en) | 2012-01-11 | 2018-04-03 | Biosense Webster (Israel), Ltd. | Touch free operation of ablator workstation by use of depth sensors |
| US11020165B2 (en) | 2012-01-11 | 2021-06-01 | Biosense Webster (Israel) Ltd. | Touch free operation of ablator workstation by use of depth sensors |
| US10653472B2 (en) | 2012-01-11 | 2020-05-19 | Biosense Webster (Israel) Ltd. | Touch free operation of ablator workstation by use of depth sensors |
| US10052147B2 (en) | 2012-01-11 | 2018-08-21 | Biosense Webster (Israel) Ltd. | Touch free operation of ablator workstation by use of depth sensors |
| JP2013171548A (ja) * | 2012-02-23 | 2013-09-02 | Oki Electric Ind Co Ltd | 広告管理装置、広告管理方法、プログラムおよび広告管理システム |
| CN104820556A (zh) * | 2015-05-06 | 2015-08-05 | 广州视源电子科技股份有限公司 | 唤醒语音助手的方法及装置 |
| JP2017007652A (ja) * | 2015-06-08 | 2017-01-12 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | 言語制御のための文脈を認識する方法、言語制御のための言語制御信号を決定する方法、および方法を実施するための装置 |
| WO2017035768A1 (zh) * | 2015-09-01 | 2017-03-09 | 涂悦 | 一种基于视觉唤醒的语音控制方法 |
| CN105204628A (zh) * | 2015-09-01 | 2015-12-30 | 涂悦 | 一种基于视觉唤醒的语音控制方法 |
| JP2017090611A (ja) * | 2015-11-09 | 2017-05-25 | 三菱自動車工業株式会社 | 音声認識制御システム |
| WO2017081960A1 (ja) * | 2015-11-09 | 2017-05-18 | 三菱自動車工業株式会社 | 音声認識制御システム |
| JP2018044875A (ja) * | 2016-09-15 | 2018-03-22 | エスペック株式会社 | 環境試験装置 |
| CN109804407B (zh) * | 2016-09-29 | 2023-07-18 | 株式会社东芝 | 关心维持系统以及服务器 |
| CN109804407A (zh) * | 2016-09-29 | 2019-05-24 | 株式会社东芝 | 关心维持系统以及服务器 |
| WO2019039352A1 (ja) * | 2017-08-25 | 2019-02-28 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
| WO2019073562A1 (ja) * | 2017-10-12 | 2019-04-18 | 三菱電機株式会社 | 表示制御装置、表示制御方法、及び表示制御装置を備える車載機器 |
| CN110136714A (zh) * | 2019-05-14 | 2019-08-16 | 北京探境科技有限公司 | 自然交互语音控制方法及装置 |
| CN112466266A (zh) * | 2019-09-06 | 2021-03-09 | 雅马哈株式会社 | 控制系统以及控制方法 |
| CN112466266B (zh) * | 2019-09-06 | 2024-05-31 | 雅马哈株式会社 | 控制系统以及控制方法 |
| CN111583937A (zh) * | 2020-04-30 | 2020-08-25 | 珠海格力电器股份有限公司 | 一种语音控制唤醒方法及存储介质、处理器、语音设备、智能家电 |
| CN113095836A (zh) * | 2021-04-22 | 2021-07-09 | 北京市商汤科技开发有限公司 | 自助购物方法及装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000347692A (ja) | 人物検出方法、人物検出装置及びそれを用いた制御システム | |
| JP6635049B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| WO2017149868A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP4243248B2 (ja) | ポインティングデバイスに基づくユーザインターフェイスシステム | |
| US20190019513A1 (en) | Information processing device, information processing method, and program | |
| JP4624577B2 (ja) | 複数のセンサによるヒューマンインタフェースシステム | |
| JP2012040655A (ja) | ロボット制御方法、プログラム、及びロボット | |
| EP2821012A1 (en) | Ultrasound diagnostic equipment, medical diagnostic imaging equipment, and ultrasound diagnostic equipment control program | |
| JP2003520528A (ja) | 多様式的ビデオ目標捕捉及び再指向システム及び方法 | |
| US20080289002A1 (en) | Method and a System for Communication Between a User and a System | |
| JP2009134718A5 (ja) | ||
| JP2011059528A (ja) | 表示装置および制御方法 | |
| WO2019077897A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP2009166184A (ja) | ガイドロボット | |
| JP7294350B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP2015191478A (ja) | 通信ユニット | |
| CN107430856A (zh) | 信息处理系统和信息处理方法 | |
| KR20140079160A (ko) | 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법 | |
| JP2018036902A (ja) | 機器操作システム、機器操作方法および機器操作プログラム | |
| JPH1124694A (ja) | 命令認識装置 | |
| JP2018206073A (ja) | 遠隔操作システム | |
| JP2001067098A (ja) | 人物検出方法と人物検出機能搭載装置 | |
| JPWO2020021861A1 (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
| JPH05298015A (ja) | 視線検出システムおよび情報処理システム | |
| JP2019146118A (ja) | コミュニケーション装置、コミュニケーション方法、コミュニケーションプログラム及びコミュニケーションシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050905 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080313 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080509 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090303 |