JP2017510875A - ジェスチャー装置、その動作方法及びこれを備えた車両 - Google Patents

ジェスチャー装置、その動作方法及びこれを備えた車両 Download PDF

Info

Publication number
JP2017510875A
JP2017510875A JP2016547916A JP2016547916A JP2017510875A JP 2017510875 A JP2017510875 A JP 2017510875A JP 2016547916 A JP2016547916 A JP 2016547916A JP 2016547916 A JP2016547916 A JP 2016547916A JP 2017510875 A JP2017510875 A JP 2017510875A
Authority
JP
Japan
Prior art keywords
gesture
video
image
extracted
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016547916A
Other languages
English (en)
Other versions
JP6671288B2 (ja
Inventor
フン リー、ジュン
フン リー、ジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of JP2017510875A publication Critical patent/JP2017510875A/ja
Application granted granted Critical
Publication of JP6671288B2 publication Critical patent/JP6671288B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3259—Power saving in cursor control device, e.g. mouse, joystick, trackball
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B60K2360/146—
    • B60K2360/1464—
    • B60K2360/21—
    • B60K2360/33—
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Abstract

【解決手段】ジェスチャー装置は、映像を獲得する入力モジュールと、前記獲得された映像からジェスチャーを抽出するジェスチャー処理部と、前記抽出されたジェスチャーを基に、ロック状態モードをアイドル状態モードに転換するように制御する制御部とを含む。【選択図】図９

Description

本発明は、ジェスチャーによって動作する装置に関するものである。
最近、ユーザに情報を提供するマルチメディア電子機器が活発に開発及び発売されている。
このようなマルチメディア電子機器の代表的な例として、スマートフォンのようなモバイル機器がある。
モバイル機器は、移動性と携帯性を兼備していると共に、通話、音楽鑑賞、ビデオ鑑賞、メッセージ送受信、スケジュール管理、ネットサーフィンなど多様な機能を含んでいる。
一方、このようなマルチメディア電子機器は、車両に適用しようとする試みが行われている。
このようなマルチメディア電子機器の多様な機能を実行するための入力コマンドを受けるために、多様なボタンがマルチメディア電子機器の外観に設置されている。ユーザは、多様なボタンを操作して当該機能を実行することができる。
ところが、ユーザは、多様なボタンのそれぞれがどんな機能を実行するためのボタンであるのかを把握しにくく、例えユーザが当該ボタンの機能を把握していたとしても、ユーザがいちいち当該ボタンを押して動作させるにはかなり手間がかかる。
さらは、小型マルチメディア電子機器の場合、その占有面積の限界によって各ボタンの間の間隔が狭いので、ユーザの誤ったボタン選択によって誤動作が発生する問題がある。
本発明は、誤動作の発生可能性を最小化したジェスチャー装置及びその動作方法を提供する。
また、本発明は、ユーザの機器操作の便宜性を最大化したジェスチャー装置及びその動作方法を提供する。
また、本発明は、ジェスチャー装置を備えた車両を提供する。
本発明のジェスチャー装置は、映像を獲得する入力モジュールと、前記獲得された映像からジェスチャーを抽出するジェスチャー処理部と、前記抽出されたジェスチャーを基に、ロック状態モードをアイドル状態モードに転換するように制御する制御部と、を含む。
本発明の車両は、運転席、前記運転席の隣に配置されるコンソールボックス、ギアノブ及びルームミラーを含む。車両は、映像を獲得するために前記ルームミラーの下部に装着される入力モジュールと、前記獲得された映像からジェスチャーを抽出するジェスチャー処理部と、前記抽出されたジェスチャーを基に、ロック状態モードをアイドル状態モードに転換し、前記抽出されたジェスチャーに対応する機能を実行するように制御する制御部と、を含む。
本発明のジェスチャー装置の動作方法は、映像を獲得するステップと、前記映像からジェスチャーを抽出するステップと、前記抽出されたジェスチャーが活性化ジェスチャーであるのか否かを確認するステップと、前記抽出されたジェスチャーが前記活性化ジェスチャーである場合、ロック状態モードをアイドル状態モードに転換するステップと、を含む。
本発明は、初期にはロック状態モードに設定され、このようなロック状態モードにおいては、いかなるジェスチャーが取られてもジェスチャーによる誤動作が発生しなくなり、誤動作による製品の信頼性の低下を防止して品質の向上を図ることができる。
本発明は、多様なジェスチャーによって多様な機能が実行されるので、従来多数のボタン操作によって機能を実行する時発生する面倒を解消し、ボタンの間の狭い間隔による誤動作を防止することができる。
実施例に係るジェスチャー装置を示したブロック図である。 実施例に係るジェスチャー装置が備えられた車両を示した図である。 図２のルームミラーに装着された映像入力モジュールを示した図である。 図１の映像入力モジュールを示したブロック図である。 図１の出力モジュールを示したブロック図である。 図１のジェスチャー処理部を示したブロック図である。 活性化ジェスチャーの一例を示した図である。 ジェスチャー判断部の細部構成を示した図である。 第１実施例に係るジェスチャー装置の動作方法を説明するフローチャートである。 駆動ジェスチャーの一例を示した図である。 駆動ジェスチャーの他の例を示した図である。 第２実施例に係るジェスチャー装置の動作方法を説明するフローチャートである。 駆動ジェスチャーのさらに他の例を示した図である。 駆動ジェスチャーのさらに他の例を示した図である。 駆動ジェスチャーのさらに他の例を示した図である。
実施例の説明において、各構成要素の「上または下」に形成されると記載される場合、「上または下」は、２つの構成要素が直接接触または１つ以上の他の構成要素が２つの構成要素の間に配置されて形成されるものを全部含む。また、「上または下」と表現される場合、１つの構成要素を基準に、上側方向だけでなく下側方向の意味も含むことができる。また、「信号」は、電圧信号または電流信号である。
図１は、実施例に係るジェスチャー装置を示したブロック図である。
図１に示すように、実施例に係るジェスチャー装置は、映像入力モジュール１０、ジェスチャー処理部２０、制御部３０、出力モジュール４０及びメモリー５０を含むことができる。
映像入力モジュール１０は、対象物の映像を入力する。映像入力モジュール１０は、図４に示したように、カメラ１２及び赤外線光源１４を含むことができる。
カメラ１２は、対象物から映像を獲得して電気信号として出力することができる。カメラ１２は、制御部３０の制御下でリアルタイムで映像を獲得することができる。従って、カメラ１２によって静止対象物や動く対象物に対する映像をリアルタイムで獲得することができる。
カメラ１２が、例えば車両に装着される場合、車両の始動がオンされる時、このような車両の始動がオンされることを認知した制御部３０の制御下でカメラ１２が駆動される。
または、車両の始動がオンされることに関係なく、ユーザが直接カメラ１２を駆動させることもできる。
赤外線光源１４は、例えば赤外線発光素子(LED)を含むことができるが、これに対しては限定しない。
赤外線光源１４は、カメラの周辺に配置することができるが、これに対しては限定しない。
赤外線光源１４は、制御部３０の制御下、例えば、夜間に駆動されるようにすることができる。夜間の場合、赤外線光源１４から赤外線光が照射されることで、カメラ１２から獲得された映像が明るさを持つことになり、対象物と非対象物が区分される。
実施例に係るジェスチャー装置は、図２に示したように、例えば車両に備えられる。
車両の室内には、前方の天井１０２にルームミラー１０３が備えられ、運転席１０１の隣にコンソールボックス１０７とギアノブ１０５が装着されたギア変速レバー１０６が備えられる。また、運転席１０１と助手席(図示せず)の間にセンターフェイシア１０９が備えられる。ルームミラー１０３は、前面ガラスの上側近くの天井１０２に設置することができるが、これに対しては限定しない。ルームミラー１０３は、コンソールボックス１０７及びギアノブ１０５に対して垂直な天井１０２や斜め方向に向かう天井１０２に設置することができる。
映像入力モジュール１０は、図３に示したように、例えば車両のルームミラー１０３の下部の一部上に装着することができるが、これに対しては限定しない。
映像入力モジュール１０は、例えば車両の天井１０２の内面の一部上に装着することができるが、これに対しては限定しない。
映像入力モジュール１０が、車両のルームミラー１０３の下部の一部または車両の天井１０２の内面の一部のいずれの上に装着されるとても、映像入力モジュール１０は、例えば運転者の手及び/又は手に隣接した腕に対する映像を獲得しなければならない。ここで、腕とは、手首と肘の間を指すことができるが、これに対しては限定しない。
映像入力モジュール１０によって映像が獲得される領域を映像獲得領域Ａと命名することができる。映像獲得領域Ａは、ギアノブ１０５、コンソールボックス１０７、そしてギアノブ１０５とコンソールボックス１０７の間の領域を含むことができる。ギアノブ１０５は、ギア変速レバー１０６の上端に装着されてユーザのグリップ感を向上させる。
従って、映像獲得領域Ａに置かれる対象物に対する映像が映像入力モジュール１０によって獲得される。
出力モジュール４０は、車両に装着されてもよい。出力モジュール４０は、図５に示したように、音響出力部４２とディスプレイパネル４４を含むことができる。
ディスプレイパネル４４は、静止映像や動画が表示される部材として、例えばセンターフェイシア１０９に装着されてもよい。ディスプレイパネル４４は、例えば映画やミュージックビデオまたはナビゲーション画面を表示することができる。また、ディスプレイパネル４４は、ビデオ通話時に相手の顔や相手が送った映像を表示することができる。
音響出力部４２は、オーディオ信号が出力される部材として、車両の各ドアや天井１０２等に装着されてもよい。
制御部３０は、各構成要素、即ち映像入力モジュール１０、ジェスチャー処理部２０、出力モジュール４０及びメモリー５０を全体的に制御することができる。
例えば、制御部３０は、映像入力モジュール１０のカメラ１２によって映像が獲得されるように制御する一方、夜間モード時に映像入力モジュール１０の赤外線光源１４によって光が照射されるように制御することができる。
例えば、制御部３０は、出力モジュール４０の音響出力部４２によってオーディオ信号が出力されるように制御する一方、出力モジュール４０のディスプレイパネル４４によって映像信号が出力されるように制御することができる。
例えば、制御部３０は、メモリー５０に新しいデータがアップデートされるように制御し、既に保存されたデータが削除及び変更されるように制御することができる。
例えば、制御部３０は、ジェスチャー処理部２０の出力結果を基に、ユーザのイベントに対応する動作を実行するように制御することができる。
ジェスチャー処理部２０の出力結果に基づく制御部３０の制御動作に対しては、後で詳しく説明することにする。
ジェスチャー処理部２０は、図６に示したように、映像分析部２２、夜昼間判断部２４及びジェスチャー判断部２６を含むことができる。
映像分析部２２は、映像入力モジュール１０のカメラ１２から提供されたフレーム単位の映像を分析することができる。映像分析部２２は、映像の明るさ情報、対象物の形状、対象物の形状動き情報、対象物のシルエット(contour)情報及び対象物のカラー情報を把握することができる。映像の明るさ情報は、夜昼間判断部２４に提供することができる。対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報は、ジェスチャー判断部２６に提供することができる。
夜昼間判断部２４は、映像の明るさ情報を基に、昼間であるのか夜間であるのかを判断することができる。例えば、３０フレームの映像全体の明るさの平均レベルが閾値以上である場合、昼間であると判断することができる。例えば、３０フレームの映像全体の明るさの平均レベルが閾値以下である場合、夜間であると判断することができる。もし、夜間であると判断される場合、制御部３０の制御下映像入力モジュール１０の赤外線光源１４が駆動され、赤外線光が照射される。以後、カメラ１２によって赤外線光が反映された映像が再取得される。
ジェスチャー判断部２６は、対象物の形状情報、対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報を基に、ユーザのジェスチャーが活性化ジェスチャーであるのか駆動ジェスチャーであるのかを判断することができる。
ここで、駆動ジェスチャーは、実施例に係るジェスチャー装置に予め設定された多数の機能を実行するための入力コマンドを意味することができる。従って、駆動ジェスチャーは多数個が存在してもよい。
多数の駆動ジェスチャーのいずれか１つのジェスチャーは、活性化ジェスチャーと同一または異なってもよい。駆動ジェスチャーが活性化ジェスチャーと同一であっても、実施例に係るジェスチャー装置をエラーなしに動作させることができる。例えば、活性化ジェスチャー(第１ジェスチャー)と多数の駆動ジェスチャーのうちの１つのジェスチャー(第２ジェスチャー)が同一である場合、映像入力モジュール１０によって先に入力された第１映像から抽出された第１ジェスチャーが活性化ジェスチャーとして認知されてアイドル状態モードに転換され、以後映像入力モジュール１０によって入力された第２映像から抽出された第２ジェスチャーが駆動ジェスチャーとして認知され、第２ジェスチャーに対応する機能が実行される。
例えば、駆動ジェスチャーとしては、ホーム画面をディスプレイするためのホームジェスチャー、文字や数字を入力するための入力窓をディスプレイするための入力ジェスチャー、次の画面や前の画面をディスプレイするための左側ジェスチャー、右側ジェスチャー、アップジェスチャー及びダウンジェスチャー、そして予め設定された動作を直ちに実行するようにするショートカットキー(shortcut key)ジェスチャーを用いることができるが、これに対しては限定しない。
活性化ジェスチャーは、上述した多数のジェスチャーによる誤動作が発生しないようにするためのロック装置を解除するためのジェスチャーであってもよい。活性化ジェスチャーによって駆動ジェスチャーを認識するためのアイドル状態(idle state)モードに転換することができる。アイドル状態モード以前には、ロック状態モードと命名することができる。従って、活性化ジェスチャーによってロック状態モードがアイドル状態モードに転換することができる。
活性化ジェスチャーは、特定対象物の形状が特定対象物の形状の動きとしてメモリー５０に予め設定される。
例えば、活性化ジェスチャーは、図７に示したように、子指のみを広げ残りの指が閉じられた形状に活性化ジェスチャーがメモリー５０に予め設定される場合、ユーザのこのようなジェスチャーによってロック状態モードがアイドル状態モードに転換される。
例えば、駆動ジェスチャーは、予め設定されてユーザの駆動ジェスチャーに答えて当該機能が実行されるが、これに対しては限定しない。
ジェスチャー判断部２６は、多様なアルゴリズムを適用することができる。
以下、多様なアルゴリズムのうちの１つのアルゴリズムを説明するが、実施例はこれに限定されない。
ジェスチャー判断部２６は、図８に示したように、手区分(hand segmentation)機能６１と手特定(hand classification)機能６５に区分することができる。
手区分機能６１は、対象物動き検出(moving object detection)機能６２と手認証(hand verification)機能６４に区分することができる。
手区分機能６１は、昼間と夜間に応じて異なるアルゴリズムが適用される。即ち、夜間の場合、映像入力モジュール１０から獲得された映像にカラー情報が含まれないために、シルエット情報とそのシルエットの特徴点(feature points)の動き情報及び明るさ情報などが利用される。
対象物動き検出機能６２は、映像入力モジュール１０から獲得された映像から、例えば手の後部領域に該当するBLOBを探し、これに対する関連情報、例えば特徴点の位置や関心領域(ROI：region of interest)のコーナー点(corner points)の位置を把握することができる。
手認証機能６４は、以前の映像から手に該当する領域を正確に区分し、当該領域内の全てのピクセルに対する座標値(x、y)と当該領域のシルエット情報、即ち当該領域の最も外側のピクセルに対する座標(x、y)を検出する。また、手認証機能６４は、次の映像から手領域が位置する座標値を推定して対象物動き検出機能６２に提供する。動き検出機能６２は、手認証機能６４から提供された情報を基に、手が位置する候補領域(ROI)の検出範囲を絞ることができ、より正確に手領域を検出することができる。
手特定機能６５は、ジェスチャー管理(gesture management)機能６７とジェスチャー特定(gesture classification)機能６９に区分することができる。
ジェスチャー管理機能６７は、効率的かつ正確なジェスチャー認識及び演算時間の短縮のために、アイドル状態モードへの転換以後の全てのジェスチャーに対するフロー管理を実行することができる。
ジェスチャー特定機能６９は、対象物動き検出機能６２から提供された特徴点(feature points)情報を利用して手の計上や動き形態を把握し、把握された手の動きのうちユーザが意図していない動作形態を除去し、ユーザが意図した動作形態のみを出力することができる。ジェスチャー特定機能(６９)によって、ユーザが意図していない動作形態による誤動作が防止される。
図９は、第１実施例に係るジェスチャー装置の動作方法を説明するフローチャートである。
図１、図４及び図９に示すように、制御部３０の制御下で映像入力モジュール１０のカメラ１２が駆動される(Ｓ２０１)。
例えば、車両の始動がオンされると、制御部３０は、このような車両の始動がオンされたことを認知してカメラ１２が駆動されるように制御することができる。
例えば、ユーザのイベント、例えばカメラ１２の駆動ボタンに対する押しが感知されると、制御部３０はカメラ１２が駆動されるように制御することができる。
この時、ジェスチャー装置は、ロック状態モードに設定される(Ｓ２０３)。即ち、カメラ１２駆動によってカメラ１２のレンズに対応する映像獲得領域Ａに位置される対象物に対する映像が獲得される。この時、ユーザが映像獲得領域Ａで、思わず特定ジェスチャーを取る場合、駆動ジェスチャーとして認知されて特定機能が実行される誤動作が発生することがある。
実施例は、このような誤動作を防止するために、予め設定された特定ジェスチャー、即ち活性化ジェスチャーによってロック状態モードを解除してアイドル状態モードに転換された以後にのみ、ジェスチャーによる機能が実行されるようにすることができる。
従って、ロック状態モードに設定された場合、映像獲得領域Ａで特定ジェスチャー以外のいかなるジェスチャーが取られても、ジェスチャーによる誤動作が発生しなくなる。
駆動されたカメラ１２によって映像獲得領域Ａに位置された対象物に対する第１映像が獲得される(Ｓ２０５)。
ジェスチャー処理部２０は、獲得された第１映像から抽出されたジェスチャーが活性化ジェスチャーであるのか否かを確認する(Ｓ２０７)。
ジェスチャー処理部２０は、第１映像を分析して対象物の形状情報、対象物の形状動き情報、対象物のカラー情報などを把握し、把握されたこれら情報に基づいて、第１映像にジェスチャーが存在するのか、そしてジェスチャーが存在すればこのジェスチャーが予め設定された活性化ジェスチャーと一致するのかを判断することができる。
例えば、図７のような手の形状のジェスチャーが活性化ジェスチャーとしてメモリー５０に設定される。即ち、活性化ジェスチャーは、子指のみが広げられ残りの指は閉じられた形状を有する。このような場合、ジェスチャー処理部２０は、第１映像にジェスチャーが存在し、存在するジェスチャーが図７のような手の形状のジェスチャーと同一であるのかを判断する。
もし、第１映像に存在するジェスチャーが予め設定された活性化ジェスチャーと同一である場合、制御部３０はロック状態モードをアイドル状態モードに転換することができる(Ｓ２０９)。アイドル状態モードは、多様なジェスチャーを基に、実施例に係るジェスチャー装置に具現可能な多様な機能が実行される機能活性化状態ということができる。
ロック状態モードがアイドル状態モードに転換された以後、初めて多様な機能が実行可能となる。ロック状態モード状態において特定機能を実行するためのジェスチャーを取り、カメラ１２によってこのようなジェスチャーに対する映像が獲得されても、ロック状態モードに設定されているので、当該機能が実行されない。反面、アイドル状態モードに転換されると、特定機能を実行するためのジェスチャーに答えて、当該特定機能が実行可能となる。
実施例に係るジェスチャー装置は、多様な機能を実行及び多様な機能に対応するように、多様なジェスチャーを設定することができる。
例えば、図１０に示したように、手が左に移動するジェスチャーの場合、このような左側ジェスチャーによって、出力モジュール４０のディスプレイパネル４４に表示されるユーザーインターフェース(ＵＩ)画面が左に消える代わりに、次のＵＩ画面がディスプレイパネル４４上に表示される。
例えば、図１１に示したように、人差し指のみが広げられるジェスチャー、即ち「１」を現わすショートカットキーを表示するジェスチャーの場合、このようなショートカットキージェスチャーによって、「１」を現わすショートカットキーに設定された特定人の電話番号を利用して特定人の端末に呼び出し信号(call signal)が送信され、特定人と通話が可能となる。
この他にも、多様な機能に合うように多様なジェスチャーが設定される場合、アイドル状態モードに転換された後、このような多様なジェスチャーを介して多様な機能が実行可能となる。
実施例は、このように多様なジェスチャーによって多様な機能が実行されるので、従来多数のボタン操作によって機能を実行する時発生する面倒を解消し、ボタンの間の狭い間隔による誤動作を防止することができる。
アイドル状態モードにおける多様な機能の具現に対しては、以下説明する。
制御部３０の制御下カメラ１２によって第２映像が獲得される(Ｓ２１１)。
ジェスチャー処理部２０は、第２映像を基に、第２映像内にジェスチャーが存在するのか、そしてジェスチャーが存在すれば当該ジェスチャーが駆動ジェスチャーであるのかを確認する(Ｓ２１３)。
駆動ジェスチャーは、ジェスチャー装置に備えられた多様な機能に対応するように多様なジェスチャーを有することができる。
もし、第２映像内のジェスチャーが駆動ジェスチャーである場合、当該駆動ジェスチャーに対応する機能が実行される(Ｓ２１５)。
例えば、上述したように、人差し指のみが広げられるジェスチャーである場合、このようなジェスチャーに答えて、ショートカットキー「１」に該当する電話番号に呼び出し信号が送信され、当該電話番号のユーザと通話が連結される。
図１２は、第２実施例に係るジェスチャー装置の動作方法を説明するフローチャートである。
第２実施例において、ステップＳ２３０、ステップＳ２４０及びステップＳ２５０を除いては、第１実施例とほとんど類似しているので、第１実施例と同一なステップには同一図面符号を付与し、詳しい説明を省略することにする。第２実施例で省略された説明は、第１実施例から容易に理解することができる。
図１２に示したように、カメラ１２が駆動されるステップＳ２０１、ロック状態モードに設定されるステップＳ２０３及び第１映像が獲得されるステップＳ２０５が実行される。
第１映像が獲得されると、ジェスチャー処理部２０は、第１映像から把握された第１映像の明るさが閾値以下であるのかどうかを確認する(Ｓ２３０)。ここで、明るさは、１フレームの第１映像の明るさまたは多数フレームの第１映像の平均明るさであってもよいが、これに対しては限定しない。
第１映像の明るさが閾値以下である場合、夜間であることを意味し、第１映像の明るさが閾値以上である場合、昼間であることを意味することができる。閾値は、予め設定されていてもよく、ユーザによって設定されてもよい。
もし、第１映像の明るさが閾値以下である場合、赤外線光源１４が駆動され、赤外線光源１４から赤外線光が照射される(Ｓ２４０)。
赤外線光源１４が照射された状態で、カメラ１２によって第１映像が再獲得される(Ｓ２５０)。この時、獲得された第１映像は、ステップＳ２０５で獲得された第１映像とカラーが異なる場合がある。即ち、ステップＳ２０５で獲得された第１映像はカラーを持つ反面、ステップＳ２５０で獲得された第１映像は白黒である場合もある。
以後のステップＳ２０７、Ｓ２０９、Ｓ２１１、Ｓ２１３、Ｓ２１５は、第１実施例と同一であるので、詳しい説明は省略することにする。
もし、ステップＳ２３０で第１映像の明るさが閾値より大きい場合、赤外線光源１４が駆動される必要なく直接ステップＳ２０７が実行される。
図１３は、駆動ジェスチャーのさらに他の例を示した図である。
例えば、図１３に示したように、手の平と指を自然に伸ばした状態で手の平が車両の床を向かうようにして下へと移動したり、手の平が車両の屋根を向かうようにして上へ移動する場合、当該ジェスチャーによって出力モジュールであるマルチメディア装置のボリュームを下げたり高めることができるようにすることができる。
図１４は、駆動ジェスチャーのさらに他の例を示した図である。
図１４に示すように、手の平が車両の床を向かうようにして手の平と指を広げた状態から拳を握るジェスチャーによって、音楽を再生したりナビゲーションなどを実行させる出力モジュールの特定機能を動作/実行するようにすることができる。
図１５は、駆動ジェスチャーのさらに他の例を示した図である。
図１５に示すように、手の平が車両の床を向かうようにして手の平と指を自然に伸ばした状態で２〜３回左右に振る場合、当該ジェスチャーによって、再生されている音楽が停止すると共に上位メニューに移動したり、任意のメニューから当該メニューの上位メニューに単純移動するようにすることができる。

Claims (12)

  1. 第１映像を獲得する入力モジュールと、
    前記獲得された第１映像からジェスチャーを抽出するジェスチャー処理部と、
    前記抽出されたジェスチャーを基に、ロック状態モードをアイドル状態モードに転換するように制御する制御部と、を含み、
    前記ジェスチャーは、前記モードを転換するための活性化ジェスチャー及び特定機能を実行するための駆動ジェスチャーを含む、ジェスチャー装置。
  2. 前記入力モジュールは、前記アイドル状態モードに転換された後、第２映像を獲得し、
    前記ジェスチャー処理部は、前記第２映像からジェスチャーを抽出し、
    前記制御部は、前記第２映像から抽出されたジェスチャーに対応する機能を実行するように制御する、請求項１に記載のジェスチャー装置。
  3. 前記入力モジュールは、前記第１映像及び前記第２映像を獲得するカメラと、夜間時に赤外線光を照射する赤外線光源とを含み、
    夜間時に赤外線光を反映した第１映像及び第２映像が獲得される、請求項２に記載のジェスチャー装置。
  4. 前記第１及び第２映像は、手及び/又は腕に対する映像である、請求項２に記載のジェスチャー装置。
  5. 運転席、前記運転席の隣に配置されるコンソールボックス、ギアノブ及びルームミラーを含む車両において、
    映像を獲得するために前記ルームミラーの下部に装着される入力モジュールと、
    前記獲得された映像からジェスチャーを抽出するジェスチャー処理部と、
    前記抽出されたジェスチャーを基に、ロック状態モードをアイドル状態モードに転換し、前記抽出されたジェスチャーに対応する機能を実行するように制御する制御部と、を含む、車両。
  6. 前記機能は、前記アイドル状態モードに転換された以後のみに、実行される、請求項５に記載の車両。
  7. 前記映像は、前記コンソールボックスと前記ギアノブとの間に定義される獲得領域に位置される対象物から獲得される、請求項５に記載の車両。
  8. 前記ジェスチャー処理部は、前記映像から抽出された対象物の形状情報、対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報を基に、前記ジェスチャーを抽出する、請求項５に記載の車両。
  9. 第１映像を獲得するステップと、
    前記第１映像から第１ジェスチャーを抽出するステップと、
    前記抽出された第１ジェスチャーが活性化ジェスチャーであるのか否かを確認するステップと、
    前記抽出された第１ジェスチャーが前記活性化ジェスチャーである場合、ロック状態モードをアイドル状態モードに転換するステップと、
    を含む、ジェスチャー装置の動作方法。
  10. 前記ロック状態モードにおいて、前記活性化ジェスチャー以外の駆動ジェスチャーに対応する機能の実行が遮断される、請求項９に記載のジェスチャー装置の動作方法。
  11. 前記アイドル状態モードに転換された後、第２映像を獲得するステップと、
    前記第２映像から第２ジェスチャーを抽出するステップと、
    前記抽出された第２ジェスチャーが駆動ジェスチャーであるのか否かを確認するステップと、
    前記抽出された第２ジェスチャーが前記駆動ジェスチャーである場合、前記駆動ジェスチャーに対応する機能を実行するステップと、をさらに含む、請求項９に記載のジェスチャー装置の動作方法。
  12. 前記活性化ジェスチャーであるのか否かを確認するステップ以前に、
    前記第１映像の明るさを抽出するステップと、
    前記第１映像の明るさが閾値以下である場合、赤外線光源を駆動して赤外線光を照射するステップとをさらに含み、
    前記赤外線光が照射された状態で前記第１映像が再獲得され、前記再獲得された第１映像から抽出されたジェスチャーが活性化ジェスチャーであるのか否かを確認する過程が実行される、請求項９に記載のジェスチャー装置の動作方法。
JP2016547916A 2014-01-22 2015-01-14 ジェスチャー装置、その動作方法及びこれを備えた車両 Active JP6671288B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140007631A KR20150087544A (ko) 2014-01-22 2014-01-22 제스처 장치, 그 동작 방법 및 이를 구비한 차량
KR10-2014-0007631 2014-01-22
PCT/KR2015/000402 WO2015111869A1 (ko) 2014-01-22 2015-01-14 제스처 장치, 그 동작 방법 및 이를 구비한 차량

Publications (2)

Publication Number Publication Date
JP2017510875A true JP2017510875A (ja) 2017-04-13
JP6671288B2 JP6671288B2 (ja) 2020-03-25

Family

ID=53681629

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016547916A Active JP6671288B2 (ja) 2014-01-22 2015-01-14 ジェスチャー装置、その動作方法及びこれを備えた車両

Country Status (6)

Country Link
US (1) US10108334B2 (ja)
EP (1) EP3098692A4 (ja)
JP (1) JP6671288B2 (ja)
KR (1) KR20150087544A (ja)
CN (1) CN106062668B (ja)
WO (1) WO2015111869A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016168958A (ja) * 2015-03-13 2016-09-23 矢崎総業株式会社 車両用操作システム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015148774A1 (en) * 2014-03-26 2015-10-01 Faurecia Automotive Seating, Llc. Vehicle seat
WO2015149235A1 (zh) * 2014-03-31 2015-10-08 华为技术有限公司 隐私保护方法和终端设备
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
TWI636395B (zh) * 2016-11-10 2018-09-21 財團法人金屬工業研究發展中心 基於深度值之手勢操作方法及其系統
FR3060473A1 (fr) * 2016-12-16 2018-06-22 Peugeot Citroen Automobiles Sa Pavillon de toit de vehicule automobile comportant un dispositif de commande sans contact d’au moins un composant electrique.
US20190073040A1 (en) * 2017-09-05 2019-03-07 Future Mobility Corporation Limited Gesture and motion based control of user interfaces
US10755495B1 (en) 2017-09-25 2020-08-25 State Farm Mutual Automobile Insurance Company Technology for detecting onboard sensor tampering
CN109215197B (zh) * 2018-09-17 2021-09-03 广州小鹏汽车科技有限公司 一种鉴权方法、电子设备及计算机可读存储介质
CN110315968B (zh) * 2019-07-03 2021-04-16 上海科世达-华阳汽车电器有限公司 一种控制换挡操纵装置的方法、设备、系统及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2007155602A (ja) * 2005-12-07 2007-06-21 Denso Corp カーナビゲーションシステム
JP2009104297A (ja) * 2007-10-22 2009-05-14 Mitsubishi Electric Corp 操作入力装置
JP2010282390A (ja) * 2009-06-04 2010-12-16 Toyama Prefecture 通行車両撮影方法と撮影装置
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
WO2013175603A1 (ja) * 2012-05-24 2013-11-28 パイオニア株式会社 操作入力装置、操作入力方法及び操作入力プログラム
JP2014048680A (ja) * 2012-08-29 2014-03-17 Alpine Electronics Inc 情報システム
CN104039582A (zh) * 2012-01-09 2014-09-10 戴姆勒股份公司 使用在三维空间中实施的手势操作在车辆的显示单元上显示的功能的方法和装置、以及相应的计算机程序产品
CN104040464A (zh) * 2012-01-10 2014-09-10 戴姆勒股份公司 使用在三维空间中执行的手势以及相关的计算机程序产品控制车辆功能的方法和设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1851750A4 (en) 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
KR101652535B1 (ko) 2008-06-18 2016-08-30 오블롱 인더스트리즈, 인크 차량 인터페이스를 위한 제스처 기반 제어 시스템
KR100967556B1 (ko) 2009-01-07 2010-07-05 아진산업(주) 차량실내 감시 기록장치
KR101564222B1 (ko) 2009-05-26 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
DE102009032069A1 (de) 2009-07-07 2011-01-13 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer Benutzerschnittstelle in einem Fahrzeug
GB2474536B (en) * 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
KR101623007B1 (ko) * 2009-11-11 2016-05-20 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
US8359020B2 (en) 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
US20120215403A1 (en) * 2011-02-20 2012-08-23 General Motors Llc Method of monitoring a vehicle driver
CN102131047B (zh) * 2011-04-18 2012-09-26 广州市晶华光学电子有限公司 一种360度自动跟踪式狩猎相机及其工作方法
US20120329529A1 (en) 2011-06-21 2012-12-27 GreatCall, Inc. Gesture activate help process and system
US20130155237A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Interacting with a mobile device within a vehicle using gestures
US8638989B2 (en) * 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8942881B2 (en) * 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
KR20130124139A (ko) 2012-11-21 2013-11-13 삼성전자주식회사 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR20130124143A (ko) 2012-11-30 2013-11-13 삼성전자주식회사 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
AU2013205613B2 (en) 2012-05-04 2017-12-21 Samsung Electronics Co., Ltd. Terminal and method for controlling the same based on spatial interaction

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2007155602A (ja) * 2005-12-07 2007-06-21 Denso Corp カーナビゲーションシステム
JP2009104297A (ja) * 2007-10-22 2009-05-14 Mitsubishi Electric Corp 操作入力装置
JP2010282390A (ja) * 2009-06-04 2010-12-16 Toyama Prefecture 通行車両撮影方法と撮影装置
CN104039582A (zh) * 2012-01-09 2014-09-10 戴姆勒股份公司 使用在三维空间中实施的手势操作在车辆的显示单元上显示的功能的方法和装置、以及相应的计算机程序产品
CN104040464A (zh) * 2012-01-10 2014-09-10 戴姆勒股份公司 使用在三维空间中执行的手势以及相关的计算机程序产品控制车辆功能的方法和设备
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
WO2013175603A1 (ja) * 2012-05-24 2013-11-28 パイオニア株式会社 操作入力装置、操作入力方法及び操作入力プログラム
JP2014048680A (ja) * 2012-08-29 2014-03-17 Alpine Electronics Inc 情報システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016168958A (ja) * 2015-03-13 2016-09-23 矢崎総業株式会社 車両用操作システム

Also Published As

Publication number Publication date
US10108334B2 (en) 2018-10-23
WO2015111869A1 (ko) 2015-07-30
EP3098692A4 (en) 2017-07-19
US20170010797A1 (en) 2017-01-12
JP6671288B2 (ja) 2020-03-25
KR20150087544A (ko) 2015-07-30
EP3098692A1 (en) 2016-11-30
CN106062668B (zh) 2019-11-15
CN106062668A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
JP6671288B2 (ja) ジェスチャー装置、その動作方法及びこれを備えた車両
US8693732B2 (en) Computer vision gesture based control of a device
US9235269B2 (en) System and method for manipulating user interface in vehicle using finger valleys
CN106502570B (zh) 一种手势识别的方法、装置及车载系统
KR101688355B1 (ko) 다수의 지각 감지 입력의 상호작용
US8085243B2 (en) Input device and its method
KR101438615B1 (ko) 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
KR101490908B1 (ko) 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
US20140053115A1 (en) Computer vision gesture based control of a device
JP2016520946A (ja) 人間対コンピュータの自然な３次元ハンドジェスチャベースのナビゲーション方法
KR101459445B1 (ko) 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법
JP2006285370A (ja) ハンドパターンスイッチ装置及びハンドパターン操作方法
WO2022226736A1 (zh) 一种多屏交互的方法、装置、终端设备和车辆
EP2969697A1 (en) System and method for identifying handwriting gestures in an in-vehicle infromation system
JP4789885B2 (ja) インタフェース装置、インタフェース方法及びインタフェースプログラム
KR20120048190A (ko) 동작인식을 이용한 차량 기능 제어 시스템
CN113799791B (zh) 基于摄像头的方向盘按键防误触方法、装置及车辆
JP2010009311A (ja) ユーザインタフェイス装置
CN106527704A (zh) 智能系统及其控制分屏的方法
CN110850975B (zh) 具有手掌辨识的电子系统、车辆及其操作方法
KR20100012654A (ko) 차량용 통합 스위치 조작 방법
WO2018150757A1 (ja) 情報処理システム、情報処理方法、およびプログラム
CN115180473A (zh) 电梯按键的控制方法及控制设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191105

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200303

R150 Certificate of patent or registration of utility model

Ref document number: 6671288

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250