JP2005242694A - ハンドパターンスイッチ装置 - Google Patents

ハンドパターンスイッチ装置 Download PDF

Info

Publication number
JP2005242694A
JP2005242694A JP2004052014A JP2004052014A JP2005242694A JP 2005242694 A JP2005242694 A JP 2005242694A JP 2004052014 A JP2004052014 A JP 2004052014A JP 2004052014 A JP2004052014 A JP 2004052014A JP 2005242694 A JP2005242694 A JP 2005242694A
Authority
JP
Japan
Prior art keywords
hand
image data
imaging
difference
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004052014A
Other languages
English (en)
Inventor
Hiromitsu Sato
広充 佐藤
Keiichi Yamamoto
恵一 山本
Shinji Ozawa
愼治 小澤
Hideo Saito
英雄 斎藤
Hiroya Igarashi
弘也 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Fuso Truck and Bus Corp
Keio University
Original Assignee
Mitsubishi Fuso Truck and Bus Corp
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Fuso Truck and Bus Corp, Keio University filed Critical Mitsubishi Fuso Truck and Bus Corp
Priority to JP2004052014A priority Critical patent/JP2005242694A/ja
Priority to DE200510008221 priority patent/DE102005008221A1/de
Priority to US11/064,428 priority patent/US7499569B2/en
Priority to CNB2005100517146A priority patent/CN1324437C/zh
Priority to KR1020050015624A priority patent/KR20060042192A/ko
Publication of JP2005242694A publication Critical patent/JP2005242694A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions

Abstract

【課題】 撮像する環境の照度が変化しても正確に手を認識することができるハンドパターンスイッチ装置を提供することにある。
【解決手段】 手の動作を撮像するカメラ3及びこのカメラ3の撮像結果により操作対象が操作されるハンドパターンスイッチ装置において、カメラ3の撮像範囲に手が存在しない状態で撮像した画像を初期画像データとして保存する保存手段S1と、カメラ3の撮像範囲に手が存在する状態で撮像した画像である原画像データと前記初期画像データとの差分画像データを得る差分手段S2と、この差分手段で得られた手元近傍の画像データに基づいて、その手元近傍の平均輝度を求める輝度検出手段S6と、この輝度検出手段で算出された平均輝度に基づいた閾値で原画像データを2値化処理する処理手段S8とを具備した。
【選択図】 図3

Description

本発明は、空調機器やオーディオ機器等の車両搭載機器やサイドミラー等の車両付帯機器の動作を、該車両搭載機器の操作パネルに触れることなく、また車両の運転を妨げることなしに簡易に操作するに好適なハンドパターンスイッチ装置に関する。
空調機器やオーディオ機器等の車両搭載機器の動作を、該車両搭載機器の操作パネルに触れることなく操作する技術として、カメラを用いて運転者の身体の一部(例えば、左手)を撮像し、その画像パターンを認識して上記車両搭載機器に対する操作情報を得ることが提唱されている(例えば、特許文献1を参照)。また運転者の手の形状や動きとして示されるジェスチャを検出して車両搭載機器に対する操作情報を得ることも提唱されている(例えば、特許文献2を参照)。
この種の技術は、例えば手を撮像した画像から手の形状を認識するパターン認識処理や、認識した手の位置変化を追跡することでその動きを検出する動き検出処理等によって実現されるもので、ここでは、便宜上、ハンドパターンスイッチ等と称する。
特開平11−134090号公報 特開2001−216069号公報
上述したハンドパターンスイッチ装置を用いて車両搭載機器の動作を操作する場合、運転員(操作者)の手形状やその動きを確実に、しかも正確に検出することが必要である。なお、以下「手」には手指や掌を含み、場合により「手指」や「掌」と表現する。
この為には、先ず運転員(操作者)の手を撮像した画像中にどの部分が手や掌であるかを正確に認識する必要がある。
撮像した画像中から手を認識する場合に、手と背景を分離する必要がある。画像中の手部分は明るく(白)、それ以外の背景は暗め(黒)であることから、撮像した画像の輝度値が閾値より明るい場合には「白」、暗い場合には「黒」に変換することにより、背景から手部分を抽出していた。
ところで、運転員(操作者)の手を撮像する環境の照度は変化する。このように環境が変化しても前述した閾値が固定であると、正確に背景から手部分を抽出できないという問題があった。
本発明は、上記の点に鑑みてなされたもので、その目的は、撮像する環境の照度が変化しても正確に手を認識することができるハンドパターンスイッチ装置を提供することにある。
請求項1記載の発明は、手の動作を撮像する撮像手段及びこの撮像手段の撮像結果により操作対象が操作されるハンドパターンスイッチ装置において、前記撮像手段の撮像範囲に手が存在しない状態で撮像した画像を初期画像データとして保存する保存手段と、前記撮像手段の撮像範囲に手が存在する状態で撮像した画像である原画像データと前記初期画像データとの差分画像データを得る差分手段と、この差分手段で得られた手元近傍の画像データに基づいて、その手元近傍の平均輝度を求める輝度検出手段と、この輝度検出手段で算出された平均輝度に基づいた閾値で原画像データを2値化処理する処理手段とを具備したことを特徴とする。
請求項2記載の発明は、請求項1記載の輝度検出手段は、前記輝度検出手段は、前記差分画像データのうち、差のある部分を白に差の無い部分を黒に変換する変換手段と、この変換手段により変換された後に白となる面積の一番大きい部分を手部分と抽出する抽出手段とを具備したことを特徴とする。
請求項3記載の発明は、請求項1記載の処理手段は、前記処理手段は、前記輝度検出手段で検出された平均輝度値より設定値だけ小さい値より大きい場合には白に変換することを特徴とする。
請求項1及び2記載の発明によれば、手の動作を撮像する撮像手段及びこの撮像手段の撮像結果により操作対象が操作されるハンドパターンスイッチ装置において、運転員(操作者)の手を撮像する環境の照度が変化しても、リアルタイムに閾値を変化させているので、確実に手を認識することができるハンドパターンスイッチ装置を提供することができる。
請求項3記載の発明によれば、原画像の白の輝度値にばらつきがあった場合でも、確実に手部分を白に変換することができる。
以下図面を参照して本発明の一実施の形態について説明する。図1は実施例装置の要部概略構成を示す図で、車両における運転席の様子とマイクロコンピュータ等によって実現されるハンドパターンスイッチ装置の機能を示している。運転席の前方には運転員(ドライバ)によって操舵されるステアリングホイール1やコンビネーションスイッチ(図示せず)等が設けられ、またコンソールパネルにはオーデイオ機器や空調機器等の操作部2が設けられている。また運転席斜め上方の天井には、ステアリングホイール1の側方を撮像領域とし、該撮像領域に向けて腕を伸ばした運転員の手を撮像する為のビデオカメラ3が設けられている。このカメラ3は、CCDカメラ等の小型のものである。尚、ハンドパターンスイッチ装置に対する操作は、上記撮像領域に掌を略水平にして位置付けし、この状態から所定の、例えば親指を選択的に屈曲させる(出し入れする)と共に、手の位置を左右に変位させる(動かす)ことで行われる。尚、カメラ3にて撮像されるのは手の甲であるが、ここでは撮像された手の甲を掌として説明する。
さて、ハンドパターンスイッチ装置は、基本的には上記カメラ3によって撮像される運転員の手の形状や動きをその入力画像から認識処理し、その認識結果に基づいて所定のスイッチ操作情報を得るものであり、上述した操作部2に代わって前述したオーディオ機器や空調機器等に対してスイッチ操作情報を与える役割を担う。具体的にはハンドパターンスイッチ装置は、カメラ3によって撮像された入力画像を2値化処理してその背景画像成分を除去し、腕の先端側、主に掌と手の画像成分を抽出する2値化処理部11と、2値化処理によって抽出された掌と手の画像からその重心位置を求める重心検出部12、および手の形状を認識する形状認識部13を備える。
更に、ハンドパターンスイッチ装置は、上記形状認識部13による認識結果、および重心検出部12により検出された手の重心位置に従って、運転員の手形状や動きにより示されるスイッチ操作を認識する操作指示認識部14を備える。この操作指示認識部14は、概略的にはメモリ15に予め登録された特定の手形状パターンとその役割との関係を参照して、前述した如く認識された手形状が意図する操作の種別を判定(識別)する機能判定部16、特定の指先形状をした手の重心位置の移動、或いは指の動きを追跡してその基準位置か変位量を検出する変位量検出部17、および手の動きを時間経過として監視するタイマ18を備える。そして、操作指示認識部14は、これらの判定・監視結果に基づいて、運転員の手形状と動きとによって特定される所定のスイッチ操作情報を求め、このスイッチ操作情報を、例えば前述したオーディオ機器や空調機器等に対して出力するように構成される。
尚、操作指示認識部14には、上述した判定結果に従って運転員に対して所定のガイダンスを行うガイド部19が設けられている。このガイダンスは、例えばオーディオ機器や空調機器(操作対象機器)、更には音量・チャンネル設定、或いは風量・温度等(操作対象機能)を特定する音声メッセージや、そのスイッチ操作(操作量)を示す「ピッ」や「ピー」等の確認音としてスピーカ20を介して運転員に報知される。この操作指示認識部14における具体的な動作形態、即ち、オーディオ機器や空調機器等の複数の制御対象に対するスイッチ操作情報の出力制御については後述する。
さて、前記カメラ3による撮像領域Aは、図2に示すようにステアリングホイール1の側方の、該ステアリングホイール1の外周部から少なくとも50mm離れた位置、好ましくは100mm程度離れた位置として設定される。特に運転員が運転席の側部に設けられた腕掛け(アームレスト)5に腕を乗せたまま、その運転姿勢を崩すことなく腕を伸ばし得る位置であって、オーディオ機器等の操作部2に手が触れることのない位置として設定されている。例えば、この撮像領域Aは、ステアリングホイール1の側方に腕を伸ばし、その運転姿勢を崩すことなく腕を伸ばした運転員の手先方向に略600mm、または手の幅方向に略350mmの大きさを有する略矩形の領域と設定しても良い。この撮像領域Aの地の色は黒色である。
次に、上記のように構成された本発明の一実施の形態の動作について説明する。本実施の形態では、カメラ3で撮像した手の認識処理をすることにより、簡易にスイッチ操作指示を与えている。この認識処理は、先ず画像サンプリング時間(例えば、15Hz)毎に撮像された撮像領域Aの入力画像を画像サンプリング時間と同じ周期を有する判定サンプリング時間で算出された閾値に従ってサンプリングされ、例えば背景部分を黒、画像中の腕と手に相当する部分を白として2値化処理部11において2値化処理することから開始される。
この2値化処理について図3のフローチャートを参照して説明する。まず、撮像領域Aに運転員の手が存在していない画像を初期画像としてメモリ15に保存する(ステップS1)。この初期画像は図4に示すように撮像領域A全域に亘ってその画像の輝度値が記憶される。
次に、撮像領域Aに運転員の手が存在している画像をカメラ3で撮像する。このカメラ3による撮像は15Hzのサンプリング時間毎に撮像される。このように撮像領域Aに運転員の手が存在している画像は原画像として図5に示すようにメモリ15に保存される。ここで、カメラ3により撮像された画像データは1画素が8ビットの輝度値を有する。つまり、1(黒)〜256(白)の輝度値を有する。
そして、原画像の輝度値から背景としての初期画像の輝度値を差し引いた差分画像が算出される(ステップS2)。この差分画像データは図6に示すようにメモリ15に保存される。
次に、メモリ15に保存された差分画像データのうち、下端部領域Bのみを閾値判定領域Bとして着目する(ステップS3)。つまり、閾値判定領域Bの始点a及び終点bのアドレスが把握される。ここで、領域Bに着目したのは、手が必ず存在すると予測できるからである。
そして、閾値判定領域Bに属する差分画像データのうち初期画像データと差がある部分を白データ(“1”)、それ以外を黒データ(“0”)に変換する処理がなされる(ステップS4)。
つまり、閾値判定領域B中の手が存在する部分を“1”(白)、それ以外を“0”(黒)に変換する処理がなされる。
そして、ステップS4に変換された閾値判定領域B中の“1”(白)の面積が一番大きくなる部分を抽出する(ステップS5)。つまり、閾値判定領域B中の“1”(白)の面積が一番大きくなる部分が運転員の手部分(具体的には手首部分)Cと判定される。
そして、メモリ3に記録されている原画像の手部分Cの平均輝度値を算出する(ステップS6)。この平均輝度値は8ビットのデータである。
そして、この平均輝度値を基に2値化閾値として決定され、メモリ3に記憶される(ステップS7)。
そして、メモリ15に記憶されている原画像データをこの2値化閾値で2値化処理する(ステップS8)。
ところで、この2値化閾値は次のように決められる。つまり、ステップS6で算出された手部分Cの平均輝度が「150」であったとすると、「150−30(設定値)=120」を2値化閾値として用いている。原画像データの手部分Cの平均輝度値をxとしたとき、実際の手全体の輝度値はx±30に分布していることが判明した。従って、単純に原画像データの輝度値が平均輝度値x以上であれば白、平均輝度値より小さければ黒としてしまうと、原画像データのうち「x−30」〜xまでを黒と変換されてしまい、本来の手よりも小さい手であると判別されてしまう虞がある。
このような不具合を回避するため、ここでは「平均輝度値x−30」を2値化閾値としている。この閾値の場合、平均輝度値xに比べ閾値が小さくなる方向のため、灰色部分(白黒が明確でない部分、例えば原画像における手の輪郭付近)はより白と判断されやすくなる。従って、本来の手に近似した手を判別できる。なお、閾値を「平均輝度値x+30」とすると、これは平均輝度値xに比べ閾値が大きくなる方向であり、上述した灰色部分より黒と判断されやすくなる。このため、平均輝度値xにより判別された手よりもさらに小さい手であると判別されてしまうこととなる。
そして、メモリ15に記憶されている原画像データのうち面積が一番大きくなる部分以外は排除される(ステップS9)。例えば、撮像領域A内に手以外で白いもの、例えばタバコケースが存在していた場合には、不要な画像データ(ノイズ)として原画像データから排除される。
このようにして、2値化処理された後に、重心検出部12で手の画像からその重心位置を求め、形状認識部13で手の形状を認識し、操作指示認識部14で運転員の手形状によってスイッチ操作情報が求められる。
このようにして、15Hzの画像サンプリング時間毎に撮像領域Aに存在する運転者の手の画像データを読み取り、同じく15Hzで2値化閾値を決定した後に、2値化処理しているので、ほぼリアルタイムに形状認識部13で手の形状を認識することができる。
従って、撮像領域Aの環境が変化した場合でも2値化処理をその環境の変化に追従させることができる。つまり、トンネルに入ったり出たりするような場合に確実に撮像領域Aに存在する運転員の手の形状を認識することができる。
なお、前述したステップS4の処理はステップS2の中で行うようにしても良い。
さらに、閾値判定領域Bは必ずしも実施の形態の場所に限るものではない。例えば、シフトノブの近傍を閾値判定領域としても良い。
さらには、輝度値の頻度分布に基づいて頻度分範囲を学習するようにしても良い。
本発明の一実施の形態に係わるハンドパターンスイッチ装置の概略構成を示す図。 図1に示すハンドパターンスイッチ装置における手の撮像領域を示す図。 同実施の形態に係わる2値化処理を説明するためのフローチャート。 同実施の形態に係わる初期画像を示す図。 同実施の形態に係わる原画像を示す図。 同実施の形態に係わる差分画像を示す図。 同実施の形態に係わる差分画像の閾値判定領域を示す図。
符号の説明
1…ステアリングホイール、2…オーディオ機器等の操作部、3…カメラ、
11…2値化処理部、12…重心位置検出部、13…形状認識部、
14…操作指示認識部、15…メモリ、16…形状判定部。

Claims (3)

  1. 手の動作を撮像する撮像手段及びこの撮像手段の撮像結果により操作対象が操作されるハンドパターンスイッチ装置において、
    前記撮像手段の撮像範囲に手が存在しない状態で撮像した画像を初期画像データとして保存する保存手段と、
    前記撮像手段の撮像範囲に手が存在する状態で撮像した画像である原画像データと前記初期画像データとの差分画像データを得る差分手段と、
    この差分手段で得られた手元近傍の画像データに基づいて、その手元近傍の平均輝度を求める輝度検出手段と、
    この輝度検出手段で算出された平均輝度に基づいた閾値で原画像データを2値化処理する処理手段とを具備したことを特徴とするハンドパターンスイッチ装置。
  2. 前記輝度検出手段は、前記差分画像データのうち、差のある部分を白に差の無い部分を黒に変換する変換手段と、
    この変換手段により変換された後に白となる面積の一番大きい部分を手部分と抽出する抽出手段とを具備したことを特徴とする請求項1記載のハンドパターンスイッチ装置。
  3. 前記処理手段は、前記輝度検出手段で検出された平均輝度値より設定値だけ小さい値より大きい場合には白に変換することを特徴とする請求項1記載のハンドパターンスイッチ装置。
JP2004052014A 2004-02-26 2004-02-26 ハンドパターンスイッチ装置 Pending JP2005242694A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004052014A JP2005242694A (ja) 2004-02-26 2004-02-26 ハンドパターンスイッチ装置
DE200510008221 DE102005008221A1 (de) 2004-02-26 2005-02-22 Handbildschaltvorrichtung
US11/064,428 US7499569B2 (en) 2004-02-26 2005-02-23 Hand pattern switching apparatus
CNB2005100517146A CN1324437C (zh) 2004-02-26 2005-02-25 手势开关装置
KR1020050015624A KR20060042192A (ko) 2004-02-26 2005-02-25 핸드 패턴 스위치 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004052014A JP2005242694A (ja) 2004-02-26 2004-02-26 ハンドパターンスイッチ装置

Publications (1)

Publication Number Publication Date
JP2005242694A true JP2005242694A (ja) 2005-09-08

Family

ID=34908654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004052014A Pending JP2005242694A (ja) 2004-02-26 2004-02-26 ハンドパターンスイッチ装置

Country Status (5)

Country Link
US (1) US7499569B2 (ja)
JP (1) JP2005242694A (ja)
KR (1) KR20060042192A (ja)
CN (1) CN1324437C (ja)
DE (1) DE102005008221A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8378970B2 (en) 2007-10-22 2013-02-19 Mitsubishi Electric Corporation Manipulation input device which detects human hand manipulations from captured motion images
WO2013118608A1 (ja) * 2012-02-07 2013-08-15 日本システムウエア株式会社 自動車のステアリングハンドルを用いるジェスチャー認識装置と手の認識方法及びそのプログラム
CN103631157A (zh) * 2012-08-29 2014-03-12 杨尧任 利用手势识别技术控制汽车电器的装置及其应用方法
JP5709228B2 (ja) * 2011-04-28 2015-04-30 Necソリューションイノベータ株式会社 情報処理装置、情報処理方法及びプログラム
WO2017005916A1 (en) * 2015-07-09 2017-01-12 Analog Devices Global Video processing for occupancy detection
WO2017163647A1 (ja) * 2016-03-23 2017-09-28 株式会社ソニー・インタラクティブエンタテインメント 頭部装着装置
CN111077993A (zh) * 2019-06-09 2020-04-28 广东小天才科技有限公司 一种学习场景的切换方法、电子设备及存储介质
JP2020527657A (ja) * 2018-05-31 2020-09-10 シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド 車両及び車両用ドアの解錠制御方法、装置並びに車両用ドアの解錠システム
US11383676B2 (en) 2018-05-31 2022-07-12 Shanghai Sensetime Intelligent Technology Co., Ltd Vehicles, vehicle door unlocking control methods and apparatuses, and vehicle door unlocking systems

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100663515B1 (ko) * 2004-11-08 2007-01-02 삼성전자주식회사 휴대 단말 장치 및 이를 위한 데이터 입력 방법
DE102006049965A1 (de) * 2006-02-11 2007-10-18 Volkswagen Ag Vorrichtung und Verfahren zur interaktiven Informationsausgabe und/oder Hilfestellung für den Benutzer eines Kraftfahrzeugs
JP4797752B2 (ja) * 2006-03-31 2011-10-19 株式会社デンソー 移動体用操作物体抽出装置
KR100791389B1 (ko) * 2006-12-26 2008-01-07 삼성전자주식회사 스트럭쳐드 라이트를 이용한 거리 측정 장치 및 방법
US8094189B2 (en) * 2007-01-30 2012-01-10 Toyota Jidosha Kabushiki Kaisha Operating device
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
JP5648207B2 (ja) * 2009-09-04 2015-01-07 現代自動車株式会社 車両用操作装置
US20110063425A1 (en) * 2009-09-15 2011-03-17 Delphi Technologies, Inc. Vehicle Operator Control Input Assistance
JP5005758B2 (ja) * 2009-12-25 2012-08-22 株式会社ホンダアクセス 自動車における車載機器の操作装置
KR101184460B1 (ko) * 2010-02-05 2012-09-19 연세대학교 산학협력단 마우스 포인터 제어 장치 및 방법
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US20130144459A1 (en) * 2011-11-16 2013-06-06 Flextronics Ap, Llc Law breaking/behavior sensor
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
JP5330444B2 (ja) * 2011-03-28 2013-10-30 株式会社ホンダアクセス 自動車の車載機器操作装置における手の判定方法および判定装置
JP5885395B2 (ja) * 2011-04-28 2016-03-15 オリンパス株式会社 撮影機器及び画像データの記録方法
DE102011101090A1 (de) * 2011-05-10 2012-11-15 Felix Heidrich Sitzmöbel mit Bedieneinheit für ein elektronisches Gerät
US8693726B2 (en) * 2011-06-29 2014-04-08 Amazon Technologies, Inc. User identification by gesture recognition
CN102968177B (zh) * 2011-08-31 2015-10-28 敦宏科技股份有限公司 手势感测方法
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US9305229B2 (en) 2012-07-30 2016-04-05 Bruno Delean Method and system for vision based interfacing with a computer
DE102012216193B4 (de) * 2012-09-12 2020-07-30 Continental Automotive Gmbh Verfahren und Vorrichtung zur Bedienung einer Kraftfahrzeugkomponente mittels Gesten
JP5944287B2 (ja) * 2012-09-19 2016-07-05 アルプス電気株式会社 動作予測装置及びそれを用いた入力装置
TWI479362B (zh) * 2012-09-19 2015-04-01 Wistron Corp 雙模式遙控方法
TW201415291A (zh) * 2012-10-08 2014-04-16 Pixart Imaging Inc 基於物件追蹤的手勢辨識方法及系統
CN103777741B (zh) * 2012-10-19 2017-08-01 原相科技股份有限公司 基于物件追踪的手势辨识方法及系统
JP6202810B2 (ja) * 2012-12-04 2017-09-27 アルパイン株式会社 ジェスチャ認識装置および方法ならびにプログラム
CN103869959B (zh) * 2012-12-18 2017-06-09 原相科技股份有限公司 电子装置控制方法以及电子装置
JP6322364B2 (ja) * 2013-01-29 2018-05-09 矢崎総業株式会社 電子制御装置
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
CN103576862B (zh) * 2013-11-18 2015-05-20 合一网络技术(北京)有限公司 一种手势控制拍摄的方法和装置
GB2525840B (en) * 2014-02-18 2016-09-07 Jaguar Land Rover Ltd Autonomous driving system and method for same
US9330306B2 (en) * 2014-06-11 2016-05-03 Panasonic Intellectual Property Management Co., Ltd. 3D gesture stabilization for robust input control in mobile environments
US9857869B1 (en) 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization
JP2016004541A (ja) * 2014-06-19 2016-01-12 本田技研工業株式会社 車両用操作入力装置
KR101513540B1 (ko) * 2014-07-14 2015-04-21 연세대학교 산학협력단 손 제스처 인식에 의한 차량 제어 장치 및 방법
TWI552892B (zh) * 2015-04-14 2016-10-11 鴻海精密工業股份有限公司 車輛控制系統及其操作方法
JP2016197474A (ja) * 2016-09-01 2016-11-24 三菱電機株式会社 運転支援装置および運転支援方法
CN112567102B (zh) * 2018-08-10 2023-04-25 住友建机株式会社 挖土机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09206473A (ja) * 1996-02-02 1997-08-12 Ricoh Elemex Corp 遊戯対戦装置
JPH1124839A (ja) * 1997-07-07 1999-01-29 Sony Corp 情報入力装置
JPH11134090A (ja) * 1997-10-30 1999-05-21 Tokai Rika Co Ltd 操作信号出力装置
JP2000293666A (ja) * 1999-04-05 2000-10-20 Kubota Corp 疵検出方法及び疵検出装置並びに記録媒体
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5203704A (en) * 1990-12-21 1993-04-20 Mccloud Seth R Method of communication using pointing vector gestures and mnemonic devices to assist in learning point vector gestures
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6088468A (en) 1995-05-17 2000-07-11 Hitachi Denshi Kabushiki Kaisha Method and apparatus for sensing object located within visual field of imaging device
DE19536170A1 (de) 1995-09-29 1997-04-03 Ibm Ermittlung von Schwellwerten bei der Digitalisierung von Bildern durch eine Verteilungsanalyse der Informationen
US5815147A (en) * 1996-06-07 1998-09-29 The Trustees Of The University Of Pennsylvania Virtual play environment for disabled children
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
DE19654944A1 (de) 1996-12-13 1998-06-25 Andreas Bohn Systemsteuerung
DE69626208T2 (de) * 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6236736B1 (en) * 1997-02-07 2001-05-22 Ncr Corporation Method and apparatus for detecting movement patterns at a self-service checkout terminal
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JP3795647B2 (ja) 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
DE69936620T2 (de) * 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
DE19845030A1 (de) * 1998-09-30 2000-04-20 Siemens Ag Bildsystem
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
JP4332649B2 (ja) 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6788809B1 (en) * 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
DE10039432C1 (de) * 2000-08-11 2001-12-06 Siemens Ag Bedieneinrichtung
US6804396B2 (en) 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US7006055B2 (en) * 2001-11-29 2006-02-28 Hewlett-Packard Development Company, L.P. Wireless multi-user multi-projector presentation system
US6564144B1 (en) 2002-01-10 2003-05-13 Navigation Technologies Corporation Method and system using a hand-gesture responsive device for collecting data for a geographic database
JP3837505B2 (ja) * 2002-05-20 2006-10-25 独立行政法人産業技術総合研究所 ジェスチャ認識による制御装置のジェスチャの登録方法
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
DE602004006190T8 (de) * 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
EP1692657A1 (en) 2003-12-10 2006-08-23 Agency for Science, Technology and Research Methods and apparatus for binarising images
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09206473A (ja) * 1996-02-02 1997-08-12 Ricoh Elemex Corp 遊戯対戦装置
JPH1124839A (ja) * 1997-07-07 1999-01-29 Sony Corp 情報入力装置
JPH11134090A (ja) * 1997-10-30 1999-05-21 Tokai Rika Co Ltd 操作信号出力装置
JP2000293666A (ja) * 1999-04-05 2000-10-20 Kubota Corp 疵検出方法及び疵検出装置並びに記録媒体
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8378970B2 (en) 2007-10-22 2013-02-19 Mitsubishi Electric Corporation Manipulation input device which detects human hand manipulations from captured motion images
US8681099B2 (en) 2007-10-22 2014-03-25 Mitsubishi Electric Corporation Manipulation input device which detects human hand manipulations from captured motion images
JP5709228B2 (ja) * 2011-04-28 2015-04-30 Necソリューションイノベータ株式会社 情報処理装置、情報処理方法及びプログラム
US9367732B2 (en) 2011-04-28 2016-06-14 Nec Solution Innovators, Ltd. Information processing device, information processing method, and recording medium
WO2013118608A1 (ja) * 2012-02-07 2013-08-15 日本システムウエア株式会社 自動車のステアリングハンドルを用いるジェスチャー認識装置と手の認識方法及びそのプログラム
JP2013161324A (ja) * 2012-02-07 2013-08-19 Nippon Syst Wear Kk 自動車のステアリングハンドルを用いるジェスチャー認識装置と手の認識方法及びそのプログラム
US9483692B2 (en) 2012-02-07 2016-11-01 Nippon Systemware Co., Ltd. Gesture recognition apparatus using vehicle steering wheel, and method for recognizing hand
CN103631157A (zh) * 2012-08-29 2014-03-12 杨尧任 利用手势识别技术控制汽车电器的装置及其应用方法
WO2017005916A1 (en) * 2015-07-09 2017-01-12 Analog Devices Global Video processing for occupancy detection
US10372977B2 (en) 2015-07-09 2019-08-06 Analog Devices Gloval Unlimited Company Video processing for human occupancy detection
WO2017163647A1 (ja) * 2016-03-23 2017-09-28 株式会社ソニー・インタラクティブエンタテインメント 頭部装着装置
US10620436B2 (en) 2016-03-23 2020-04-14 Sony Interactive Entertainment Inc. Head-mounted apparatus
JP2020527657A (ja) * 2018-05-31 2020-09-10 シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド 車両及び車両用ドアの解錠制御方法、装置並びに車両用ドアの解錠システム
US11383676B2 (en) 2018-05-31 2022-07-12 Shanghai Sensetime Intelligent Technology Co., Ltd Vehicles, vehicle door unlocking control methods and apparatuses, and vehicle door unlocking systems
JP7145887B2 (ja) 2018-05-31 2022-10-03 シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド 車両及び車両用ドアの解錠制御方法、装置並びに車両用ドアの解錠システム
CN111077993A (zh) * 2019-06-09 2020-04-28 广东小天才科技有限公司 一种学习场景的切换方法、电子设备及存储介质
CN111077993B (zh) * 2019-06-09 2023-11-24 广东小天才科技有限公司 一种学习场景的切换方法、电子设备及存储介质

Also Published As

Publication number Publication date
KR20060042192A (ko) 2006-05-12
DE102005008221A1 (de) 2005-09-29
CN1661621A (zh) 2005-08-31
US7499569B2 (en) 2009-03-03
CN1324437C (zh) 2007-07-04
US20050238202A1 (en) 2005-10-27

Similar Documents

Publication Publication Date Title
JP2005242694A (ja) ハンドパターンスイッチ装置
JP3752246B2 (ja) ハンドパターンスイッチ装置
JP5228439B2 (ja) 操作入力装置
CN105807912B (zh) 车辆、用于控制该车辆的方法和其中的手势识别装置
US9235269B2 (en) System and method for manipulating user interface in vehicle using finger valleys
JP5261554B2 (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
JP4670803B2 (ja) 操作推定装置およびプログラム
JP6671288B2 (ja) ジェスチャー装置、その動作方法及びこれを備えた車両
KR101490908B1 (ko) 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
EP3316574A1 (en) Image display control device
JP2006312347A (ja) コマンド入力装置
JP5382313B2 (ja) 車両用操作入力装置
JP2005063092A (ja) ハンドパターンスイッチ装置
WO2018061603A1 (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
WO2018061413A1 (ja) ジェスチャ検出装置
JP2010188744A (ja) 駐車支援装置、駐車支援方法及び駐車支援プログラム
JP2005063090A (ja) ハンドパターンスイッチ装置
JP2006282145A (ja) コマンド入力装置
JP2006298003A (ja) コマンド入力装置
JP2006312346A (ja) コマンド入力装置
CN109313040A (zh) 车载信息处理装置、车载装置及车载信息处理方法
JP2004171476A (ja) ハンドパターンスイッチ装置
JP2006327526A (ja) 車載機器の操作装置
JP2009113599A (ja) 車載用入力装置
JP2004145722A (ja) ハンドパターンスイッチ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050707

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20050713

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20050914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060801

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060830

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20061006