JP2001034388A - 機器制御装置およびナビゲーション装置 - Google Patents

機器制御装置およびナビゲーション装置

Info

Publication number
JP2001034388A
JP2001034388A JP20975299A JP20975299A JP2001034388A JP 2001034388 A JP2001034388 A JP 2001034388A JP 20975299 A JP20975299 A JP 20975299A JP 20975299 A JP20975299 A JP 20975299A JP 2001034388 A JP2001034388 A JP 2001034388A
Authority
JP
Japan
Prior art keywords
shape
unit
image
navigation
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP20975299A
Other languages
English (en)
Inventor
Masato Nishizawa
眞人 西澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP20975299A priority Critical patent/JP2001034388A/ja
Publication of JP2001034388A publication Critical patent/JP2001034388A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Navigation (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】 より複雑な機器制御を行うことができ、か
つ、ナビゲーション装置に応用した場合は運転に支障の
少ない優れた機器制御装置およびナビゲーション装置を
提供する。 【解決手段】 画素を二次元配列したステレオカメラ5
1Aと通常のカメラ51Bを接続した画像入力部52に
より、人体の少なくとも一点以上の手の指または指先の
形状または動作を撮像し、撮像された形状と動作を距離
画像作成/動ベクトル検出部53で検出し、次いで形状
/動作認識部54で予め記憶した形状および動作と照合
することにより認識し、その結果に基づいてナビゲーシ
ョン制御部56がナビゲーション本体55を制御する。
認識対象は形状または動作のみであってもよい。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、機器の制御におけ
る制御指示を、人体の一部の形状および動作、例えば目
を動かしたり、首を振ったりすることにより行う機器制
御装置およびこれを利用したナビゲーション装置に関す
る。
【0002】
【従来の技術】従来、人体の一部による機器制御装置と
して、特開平11―86005号公報に記載されたもの
が知られている。図6は従来の機器制御装置の構成を示
しており、CCDカメラ103は運転者114の顔面を
撮像しており、瞳孔抽出部107で瞳孔の位置を検出
し、うなずき検出部108で瞳孔の重心の変異を検出す
ることにより、縦の首振り動作、横の首振り動作の2種
類の動作を検出し、ナビゲーション表示制御部109で
機器制御を行うように構成されている。
【0003】
【発明が解決しようとする課題】しかしながら、上記従
来の機器制御装置においては、機器制御を行うための動
作認識が縦の首振り、横の首振りという2種類しかない
ので、より複雑な機器制御を行うには動作認識種別が少
ないという問題を有していた。また、上記従来の機器制
御装置をナビゲーション装置に応用する場合、うなずき
による視線の移動により、運転時の安全性の確保に問題
があった。
【0004】本発明は、上記従来の問題を解決するもの
で、より複雑な機器制御を行うことができ、かつ、ナビ
ゲーション装置に応用した場合は運転に支障の少ない優
れた機器制御装置およびナビゲーション装置を提供する
ものである。
【0005】
【課題を解決するための手段】本発明の機器制御装置
は、画素を二次元配列した撮像素子を有する画像入力手
段と、前記画像入力手段により撮像された撮像範囲の任
意の位置の人体の少なくとも一点以上の時間的動きを解
析することにより前記人体の動作を認識する動作認識手
段と、前記動作認識手段の認識結果に基づいて機器の動
作を制御する制御手段とを備えたことを特徴とするもの
であり、手など体の一部を時間的に特定な動作で動かす
ことにより、機器をより複雑に制御できることとなる。
【0006】また、本発明の機器制御装置は、画素を二
次元配列した撮像素子を有する画像入力手段と、前記画
像入力手段により撮像された撮像範囲の任意の位置の人
体の一部の形状を認識する形状認識手段と、前記形状認
識手段の認識結果に基づいて機器の動作を制御する制御
手段とを備えたことを特徴とするものであり、手の指を
特定な形状で示すことにより、機器をより複雑に制御で
きるとこととなる。
【0007】また、本発明の機器制御装置は、画素を二
次元配列した撮像素子を有する画像入力手段と、前記画
像入力手段により撮像された撮像範囲の任意の位置の人
体の一部の形状と時間的動きを認識する形状/動作認識
手段と、前記形状/動作認識手段の認識結果に基づいて
機器の動作を制御する制御手段とを備えたことを特徴と
するものであり、手の指などを特定な形状で示し、かつ
特定な動作で動かすことにより、機器をより複雑に制御
できることとなる。
【0008】また、本発明の機器制御装置は、動作認識
手段における人体の少なくとも一点以上が、手の指先を
含むことを特徴とする特徴とするものであり、機器制御
装置をより複雑に制御できることとなる。
【0009】また、本発明の機器制御装置は、形状認識
手段における人体の一部の形状が、手の手首より先の指
による形状であることを特徴とするものであり、機器制
御装置をより複雑に制御できることとなる。
【0010】また、本発明のナビゲーション装置は、請
求項1から3のいずれかに記載の機器制御装置を備えた
ことを特徴とするものであり、ナビゲーション装置をよ
り複雑に制御できることとなる。
【0011】以下、本発明の実施の形態について、図1
から図5を用いて説明する。 (実施の形態1)図1は本発明の第1の実施の形態を示
し、カメラ11は、人体の任意の一部を含む画像を入力
するもので、二次元配列の画素を有する撮像素子から構
成されている。画像入力部12は、カメラ11からの画
像を動ベクトル検出部13に入力できる信号形式に変換
する。動ベクトル検出部13は、カメラ11に写った画
像の動ベクトルを計算する。動作認識部14は、動ベク
トル検出部13からの出力を時間的に観察し、動ベクト
ルの時間的動きからカメラ11に写った被写体の空間的
動作を求め、その動きに応じてナビゲーション制御部1
6に動作認識結果を送る。ナビゲーション制御部16
は、動作認識部14での動作認識結果によりナビゲーシ
ョン本体15を操作する。
【0012】以上のように構成された機器制御装置の動
作について説明する。まず、カメラ11で撮像された映
像は、画像入力部12でデジタル化され、また、カメラ
11で撮像された映像の一部のみを用いる場合は、その
部分だけのデータを切り出してデジタルデータとして動
ベクトル検出部13に出力する。動ベクトル検出部13
では、画像入力部12からのデジタルデータを基に、画
面内を複数のブロックに分割した個々のブロックの動ベ
クトルを算出する。このとき、カメラ11で撮像された
映像の一部を用いる場合は、その一部のブロックの動ベ
クトルのみを計算する。さらに動ベクトル検出部13で
は、得られた画面内の個々の動ベクトルをベクトル加算
し全体的なベクトルを出力する。これにより、画像内の
個々のブロックの動ベクトルの検出誤差を吸収し、画面
内の大局的な動きを動ベクトルとして取得する。この動
ベクトルは、動作認識部14に入力され、動ベクトルの
時間的な変化を観察し、予め決められた動ベクトルの時
間的変化があった場合には、それを検出し、決められた
動作があったと判断し、その結果をナビゲーション制御
部16へ渡す。
【0013】例えば、図2(a)に示すように上から始
まり右回りの円を描く動作をカメラ11で撮像した場
合、動ベクトル検出部13からの動ベクトルの動きは、
図2(b)のようにベクトルが移動する。従って、図2
(b)のような動ベクトルの時間的変化が検出された場
合、図2(a)の動作をしていると判断する。動作認識
部14で認識し識別された動作が予め登録されていた動
作であった場合は、動作認識部14は、その認識結果を
ナビゲーション制御部16に送り、ナビゲーション制御
部16は、動作認識部14の認識結果に従って、ナビゲ
ーション本体15を制御する。
【0014】以上のように、本発明の実施の形態1によ
れば、カメラ部11、画像入力部12、動ベクトル検出
部13、動作認識部14を設けることにより、カメラ1
1で撮像された画像から動作を認識することができ、そ
の認識結果に基づいてナビゲーション制御部16がナビ
ゲーション本体15を制御することができる。
【0015】(実施の形態2)図3は本発明の第2の実
施の形態を示し、ステレオカメラ31は、人体の任意の
一部を含む画像を入力するもので、二次元配列の画素を
有する撮像素子から構成されており、2台のカメラを一
体化したステレオ撮像のカメラである。。画像入力部3
2は、カメラ31からの画像を距離画像作成部33に入
力できる信号形式に変換する。距離画像作成部33は、
カメラ31に写った画像から距離画像を作成する。形状
認識部34は、距離画像作成部33からの出力から特定
のパターンを認識し、ナビゲーション制御部36に形状
認識結果を送る。ナビゲーション制御部36は、形状認
識部34での動作認識結果によりナビゲーション本体3
5を操作する。
【0016】以上のように構成されたナビゲーション装
置の動作について説明する。まず、カメラ31で撮像さ
れたステレオ映像は、画像入力部32でデジタル化さ
れ、距離画像作成部33にデータが送られる。距離画像
作成部33では、ステレオカメラ31の視差データを求
めて距離画像を作成する。得られた距離画像のステレオ
カメラ31から最も近い距離を求め、その距離が閾値よ
り小さければ、ステレオカメラ31の近くに手があるも
のとみなし、得られた最も近い距離からNcm離れた距
離までの画像を手の画像と認識して切り出す。切り出さ
れた手の画像は形状認識部34でその形状を認識する。
例えば、指を2本出している手である場合、指を3本出
している場合、指を全部広げている場合などを形状認識
する。形状認識の手法としては、距離画像作成部33で
切り出された手の画像を二値化し、細線処理を行い、端
点から分岐点までの距離がある閾値TH以上のものを指
として認識する。
【0017】図4はこのような方法の一例を示してお
り、切り出した手の画像を二値化したものが図4(a)
であり、この画像を細線化処理したものが図4(b)で
ある。この画像に対して、端点から分岐点までも長さL
1、L2、L3を計測し、これがTHより長いか短いかを判
断し、長いものを指と認識する。図4(c)の場合はL1
とL2だけがTHより長いので、指を2本出していると判
断する。形状認識部34で判断された結果が、予め決め
られた形状と一致した場合には、その結果がナビゲーシ
ョン制御部36に送られ、ナビゲーション制御部36で
は形状認識部34の結果によりナビゲーション本体35
を制御する。
【0018】以上のように、本発明の実施の形態2によ
れば、ステレオカメラ31、画像入力部32、距離画像
作成部33、形状認識部34を設けることにより、指の
形状の認識結果に基づいて、ナビゲーション制御部36
がナビゲーション本体35を制御することができる。
【0019】(実施の形態3)図5は本発明の第3の実
施の形態を示し、上記した実施の形態1および実施の形
態2とを合わせた構成と作用効果を有する。ステレオカ
メラ51Aは、人体の任意の一部を含む画像を入力する
もので、二次元配列の画素を有する撮像素子から構成さ
れており、2台のカメラを一体化したステレオ撮像のカ
メラである。カメラ51Bは、人体の任意の一部を含む
画像を入力するもので、二次元配列の画素を有する撮像
素子から構成されている。画像入力部52は、カメラ5
1Aおよび51Bからの画像を距離画像作成/動ベクト
ル検出部53に入力できる信号形式に変換する。距離画
像作成/動ベクトル検出部53は、カメラ51Aに写っ
た画像から距離画像を作成するとともに、カメラ51B
に写った画像の動ベクトルを計算する。形状/動作認識
部54は、距離画像作成/動ベクトル検出部53の出力
からカメラ51Aに写った被写体の特定のパターンを認
識するとともに、カメラ51Bに写った被写体の出力を
時間的に観察し、動ベクトルの時間的動きから被写体の
空間的動作を求め、ナビゲーション制御部56に形状認
識結果および動作認識結果を送る。ナビゲーション制御
部56は、形状/動作認識部54での形状および動作認
識結果によりナビゲーション本体55を操作する。
【0020】なお、以上の説明では、ステレオカメラ3
1、51を用いて距離画像から形状認識しているが、そ
の他の装置により手のみの画像を抜き出しても同様に実
施可能である。また、人体の一部として手を例に説明し
ているが、その他の部分を用いても同様に実施可能であ
る。
【0021】
【発明の効果】以上のように、本発明は、人体の少なく
とも1点以上の時間的動きを解析することにより動作を
認識する動作認識手段、または人体の一部の形状を認識
する形状認識手段、または人体の一部の形状と時間的動
きを認識する形状動作認識手段を備えているので、より
複雑な機器制御を行うことができ、かつ、ナビゲーショ
ン装置に応用した場合は、運転に支障の少ないナビゲー
ション装置を提供することができるという効果が得られ
る。
【図面の簡単な説明】
【図1】本発明の実施の形態1におけるナビゲーション
装置のブロック図
【図2】本発明の実施の形態1における動ベクトルと実
空間動作を説明する模式図
【図3】本発明の実施の形態2におけるナビゲーション
装置のブロック図
【図4】本発明の実施の形態2における形状認識部の動
作を説明する模式図
【図5】本発明の実施の形態3におけるナビゲーション
装置のブロック図
【図6】従来例におけるナビゲーション装置のブロック
【符号の説明】
11 カメラ 12 画像入力部 13 動ベクトル検出部 14 動作認識部 15 ナビゲーション本体 16 ナビゲーション制御部 31 ステレオカメラ 32 画像入力部 33 距離画像生成部 34 形状認識部 35 ナビゲーション本体 36 ナビゲーション制御部 51A ステレオカメラ 51B カメラ 52 画像入力部 53 距離画像作成/動ベクトル検出部 54 形状/動作認識部 55 ナビゲーション本体 56 ナビゲーション制御部
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 1/00 G06F 15/62 380 Fターム(参考) 2F029 AA02 AC19 2F065 AA06 AA51 BB05 CC16 FF04 FF05 JJ03 JJ05 JJ26 QQ00 QQ03 QQ04 QQ24 QQ25 QQ27 QQ32 5B046 AA00 CA05 EA09 JA07 KA05 5B057 AA20 CA13 CE09 CE12 CF01 DA20 DB08 DC03 5B087 AA00 AE00 BC12 BC13 BC26 BC32

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 画素を二次元配列した撮像素子を有する
    画像入力手段と、前記画像入力手段により撮像された撮
    像範囲の任意の位置の人体の少なくとも一点以上の時間
    的動きを解析することにより前記人体の動作を認識する
    動作認識手段と、前記動作認識手段の認識結果に基づい
    て機器の動作を制御する制御手段とを備えたことを特徴
    とする機器制御装置。
  2. 【請求項2】 画素を二次元配列した撮像素子を有する
    画像入力手段と、前記画像入力手段により撮像された撮
    像範囲の任意の位置の人体の一部の形状を認識する形状
    認識手段と、前記形状認識手段の認識結果に基づいて機
    器の動作を制御する制御手段とを備えたことを特徴とす
    る機器制御装置。
  3. 【請求項3】 画素を二次元配列した撮像素子を有する
    画像入力手段と、前記画像入力手段により撮像された撮
    像範囲の任意の位置の人体の一部の形状と時間的動きを
    認識する形状/動作認識手段と、前記形状/動作認識手
    段の認識結果に基づいて機器の動作を制御する制御手段
    とを備えたことを特徴とする機器制御装置。
  4. 【請求項4】 前記人体の少なくとも一点以上が、手の
    指先を含むことを特徴とする請求項1記載の機器制御装
    置。
  5. 【請求項5】 前記人体の一部の形状が、手の手首より
    先の指による形状であることを特徴とする請求項2また
    は3記載の機器制御装置。
  6. 【請求項6】 請求項1から5のいずれかに記載の機器
    制御装置を備えたことを特徴とするナビゲーション装
    置。
JP20975299A 1999-07-23 1999-07-23 機器制御装置およびナビゲーション装置 Pending JP2001034388A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20975299A JP2001034388A (ja) 1999-07-23 1999-07-23 機器制御装置およびナビゲーション装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20975299A JP2001034388A (ja) 1999-07-23 1999-07-23 機器制御装置およびナビゲーション装置

Publications (1)

Publication Number Publication Date
JP2001034388A true JP2001034388A (ja) 2001-02-09

Family

ID=16578058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20975299A Pending JP2001034388A (ja) 1999-07-23 1999-07-23 機器制御装置およびナビゲーション装置

Country Status (1)

Country Link
JP (1) JP2001034388A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030021987A (ko) * 2001-09-07 2003-03-15 이민호 영상처리를 이용한 무선 Finger Mouse 시스템
JP2003219218A (ja) * 2002-01-23 2003-07-31 Fuji Photo Film Co Ltd デジタルカメラ
JP2004145722A (ja) * 2002-10-25 2004-05-20 Keio Gijuku ハンドパターンスイッチ装置
JP2005321948A (ja) * 2004-05-07 2005-11-17 Fujitsu Ten Ltd 操作入力装置
JP2007172577A (ja) * 2005-11-25 2007-07-05 Victor Co Of Japan Ltd 操作情報入力装置
JP2010002326A (ja) * 2008-06-20 2010-01-07 Stanley Electric Co Ltd 移動ベクトル検出装置
KR20110133904A (ko) * 2010-06-07 2011-12-14 엘지이노텍 주식회사 터치윈도우 확대축소 기능을 갖는 모바일장치 및 터치윈도우의 확대축소 방법
KR101255014B1 (ko) * 2005-11-18 2013-04-23 엘지전자 주식회사 페이지데이터 표시기능을 갖는 이동통신단말기 및 그제어방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030021987A (ko) * 2001-09-07 2003-03-15 이민호 영상처리를 이용한 무선 Finger Mouse 시스템
JP2003219218A (ja) * 2002-01-23 2003-07-31 Fuji Photo Film Co Ltd デジタルカメラ
JP2004145722A (ja) * 2002-10-25 2004-05-20 Keio Gijuku ハンドパターンスイッチ装置
JP2005321948A (ja) * 2004-05-07 2005-11-17 Fujitsu Ten Ltd 操作入力装置
KR101255014B1 (ko) * 2005-11-18 2013-04-23 엘지전자 주식회사 페이지데이터 표시기능을 갖는 이동통신단말기 및 그제어방법
JP2007172577A (ja) * 2005-11-25 2007-07-05 Victor Co Of Japan Ltd 操作情報入力装置
JP2010002326A (ja) * 2008-06-20 2010-01-07 Stanley Electric Co Ltd 移動ベクトル検出装置
KR20110133904A (ko) * 2010-06-07 2011-12-14 엘지이노텍 주식회사 터치윈도우 확대축소 기능을 갖는 모바일장치 및 터치윈도우의 확대축소 방법
KR101667425B1 (ko) * 2010-06-07 2016-10-18 엘지이노텍 주식회사 터치윈도우 확대축소 기능을 갖는 모바일장치 및 터치윈도우의 확대축소 방법

Similar Documents

Publication Publication Date Title
US10297076B2 (en) Apparatus and method for generating 3D face model using mobile device
JP3847753B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
CN106575437B (zh) 信息处理装置、信息处理方法以及程序
KR20190026762A (ko) 3d 공간에서의 포즈 추정
EP2624217A1 (en) Information presentation device, digital camera, head mount display, projector, information presentation method, and information presentation program
US20050084179A1 (en) Method and apparatus for performing iris recognition from an image
JP5001930B2 (ja) 動作認識装置及び方法
KR20080049061A (ko) 물체 또는 사람의 운동을 추적하기 위한 방법 및 디바이스
CN109453517B (zh) 虚拟角色控制方法和装置、存储介质、移动终端
US11079840B2 (en) Operation determination device and operation determination method
JP2022534666A (ja) 画像処理方法、装置、電子機器及び記憶媒体
KR20140055353A (ko) 주변차량 위치 추적 장치 및 방법
JP2020052979A (ja) 情報処理装置およびプログラム
JP2001034388A (ja) 機器制御装置およびナビゲーション装置
JPH1169342A (ja) 侵入物体追尾画像処理システム
JP4689548B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
KR101414362B1 (ko) 영상인지 기반 공간 베젤 인터페이스 방법 및 장치
JP5951966B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2580516B2 (ja) 実時間3次元運動測定装置およびその方法
JP4544262B2 (ja) 仮想現実空間共有システムおよび方法、並びに、情報処理装置および方法
KR101048406B1 (ko) 사용자 자세를 사용자 명령으로 인식하는 게임 시스템 및 방법
JPH0981790A (ja) 三次元形状復元装置および方法
JPH10149447A (ja) ジェスチャー認識方法および装置
KR102430273B1 (ko) 광시야각의 스테레오 카메라 기반 1인칭 비전 시스템 및 이를 이용한 영상 처리 방법
JP7499345B2 (ja) 複数の姿勢推定エンジンを用いた手のマーカレス運動捕捉