CN105389490A - 利用面部识别和动作识别的汽车控制装置及方法 - Google Patents

利用面部识别和动作识别的汽车控制装置及方法 Download PDF

Info

Publication number
CN105389490A
CN105389490A CN201510536896.XA CN201510536896A CN105389490A CN 105389490 A CN105389490 A CN 105389490A CN 201510536896 A CN201510536896 A CN 201510536896A CN 105389490 A CN105389490 A CN 105389490A
Authority
CN
China
Prior art keywords
action
face
recognition
face recognition
people
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510536896.XA
Other languages
English (en)
Inventor
林龙济
金时郁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chemtronics Co Ltd
Original Assignee
Chemtronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chemtronics Co Ltd filed Critical Chemtronics Co Ltd
Publication of CN105389490A publication Critical patent/CN105389490A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Abstract

本发明涉及汽车控制，更详细地涉及在识别并确认汽车外部的人的面部后，通过动作识别来提供包括汽车控制在内的其他服务的利用面部识别和动作识别的汽车控制装置及方法。利用面部识别和动作识别的汽车控制装置包括：图像取得部，取得汽车外部的图像；面部识别部，以在上述图像取得部取得的图像中的人的面部特征结构要素为基础，从输入图像中搜索并跟踪人的面部，来提取面部特征信息；面部确认部，对上述面部识别部提取的特征信息和预先注册的人的面部特征信息进行比较，若在临界值以内，则确认为已注册的面部；动作识别部，在通过上述面部确认部完成确认的情况下，识别动作；控制部，识别完成面部识别及面部确认的人的动作，来执行设定功能。

Description

利用面部识别和动作识别的汽车控制装置及方法
技术领域
本发明涉及对汽车的控制，更详细地涉及在识别并确认汽车外部的人的面部之后，可通过动作识别来提供包括对汽车的控制在内的其他服务的利用面部识别和动作识别的汽车控制装置及方法。
背景技术
近来，各种各样的摄像头安装于汽车，并且研究出利用这种摄像头的多种技术。而且，主要研究与汽车运行中的安全相关的技术。
其中，在利用面部识别技术的领域中，大多主要为用于在汽车的运行过程中检测驾驶人员是否瞌睡、异常的技术和确认特定驾驶人员来提供调整驾驶座的座椅位置等便利事项的技术。
在韩国公开特许10-2011-0040562号(车辆用个性化服务装置及方法)中，车辆用个性化服务装置包括：摄像头，设置于车辆驾驶座的门，用于拍摄车辆外部的物体；处理部，基于所拍摄的图像判断物体是否为注册于车辆的驾驶人员，若上述物体为已注册的驾驶人员，则以与注册的驾驶人员相对应的设定值设定车辆，来向已注册的驾驶人员提供个性化服务。而且，通过这些，提供若上述物体为预先注册的驾驶人员，则可以以与注册的驾驶人员相对应的设定值设定车辆，来提供个性化服务的效果。
上述专利具有以在驾驶人员乘车前拍摄的图像来判断是否为已注册的驾驶人员，以此可缩短提供个别化服务所需的时间的优点，但由于仅仅停留在如根据驾驶人员来调节驾驶座的位置等的简单地重新调节设定值的水平，并且要求高配置、高性能的系统，因而难以适用于廉价车辆。
发明内容
本发明要解决的技术问题
本发明用于解决如上所述的现有技术问题，本发明的目的在于，提供在识别并确认汽车外部的人的面部之后，通过动作识别，以低配置来体现包括对汽车的控制在内的多种服务，并且费用低的利用面部识别和动作识别的汽车控制装置及方法。
技术方案
用于实现上述目的的本发明的利用面部识别和动作识别的汽车控制装置，其特征在于，包括：图像取得部10，取得汽车外部的图像；面部识别部20，以在上述图像取得部取得的图像中的人的面部特征结构要素为基础，从输入图像中搜索并跟踪人的面部，来提取面部特征信息；面部确认部30，对在上述面部识别部提取的特征信息和预先注册的人的面部特征信息进行比较，若在临界值以内，则确认为已注册的面部；动作识别部40，在通过上述面部确认部完成确认的情况下，识别动作；控制部50，识别完成面部识别及面部确认的人的动作，来执行设定功能。
并且，用于实现上述目的的本发明的利用面部识别和动作识别的汽车控制方法，其特征在于，包括：存储人的面部与动作的步骤(步骤S10)；若通过图像取得部10取得图像(步骤S20)，则面部识别部20对面部进行识别的步骤(步骤S30)；在面部确认部30对在上述面部识别部20提取的特征信息与预先存储(注册)于存储部60的人的面部特征信息进行比较，来确认面部的步骤(步骤S60)；若通过上述面部确认部30完成确认，则在动作识别部40识别人的动作的步骤(步骤S80)；以及控制部50进行控制及服务，使得控制部50根据在上述动作识别部40识别的动作来识别已完成面部识别及面部确认的人的动作，以此来执行已设定的功能的步骤(步骤S110)。
有益效果
根据本发明，具有如下效果。
第一，若通过识别位于汽车外部的人的面部，来确认为预先注册的人，则仅仅根据相应人预先注册的表情及身体动作，就可以按照已设定的方式控制汽车。
第二，即使在汽车的外部，也可使驾驶人员在没有其他外部装置的帮助下，仅根据简单的身体动作就可轻松地控制汽车或享受多种服务。
附图说明
图1为用于说明本发明的利用面部识别和动作识别的汽车控制装置的结构框图。
图2为用于说明本发明的利用面部识别和动作识别的对汽车的控制的图像拍摄的一例的图。
图3为用于说明本发明的利用面部识别和动作识别的汽车控制方法的流程图。
附图标记的说明
10：图像取得部20：面部识别部
30：面部确认部40：动作识别部
50：控制部60：存储部
61：面部存储部62：动作存储部
63：存储器部70：内部通信部
80：外部通信部90：输入部
100：汽车控制装置200：电子控制装置(ECU)
300：因特网
具体实施方式
以下，参照附图详细说明本发明的优选的实施例。
同时，在本发明中所使用的用语尽可能选择了当前广泛使用的普通用语，但在特定的情况下，也使用了申请人任意选定的用语，在与这种情况相对应的本发明的说明部分详细记载了其含义，因此需明确，应以用语所具有的含义来理解本发明，而并非简单地以用语的名称来理解本发明。并且，在对实施例进行说明的过程中，将省略对在本发明所属的技术领域中被熟知且并不与本发明直接相关的技术内容的说明。这是为了通过省略不必要的说明，来使本发明的主旨更加清晰，且更准确地传达本发明的主旨。
图1为用于说明本发明的利用面部识别和动作识别的汽车控制装置的结构框图，图2为用于说明本发明的利用面部识别和动作识别的对汽车的控制的图像拍摄的一例的图。
如图1所示，本发明的利用面部识别和动作识别的汽车控制装置包括图像取得部10、面部识别部20、面部确认部30、动作识别部40、控制部50、存储部60、内部通信部70、外部通信部80以及输入部90。
其中，图像取得部10用于取得汽车外部的图像、去除输入图像的噪声，将输入图像转换成二值图像、以及使汽车外部的强烈的外部干扰的影响最小化。如图2所示，上述图像取得部10可以为设置于汽车内部的摄像头，通过摄像头取得汽车外部的人的面部图像及动作图像。此时，在图2中，示出取得汽车前方的图像，但可接收所有方向的图像，而并不受前、后、左、右位置的特别限制。
面部识别部20用于以人的面部特征结构要素为基础，从输入图像中搜索并跟踪人的面部，来提取面部特征信息。此时，在输入图像中存在多个面部的情况下，上述面部识别部20同时提取并跟踪所有面部的特征信息。
面部确认部30用于对在面部识别部20提取的特征信息和预先注册的人的面部特征信息进行比较，若在临界值以内，则确认为已注册的面部。并且，当在面部识别部20识别出多个面部的情况下，上述面部确认部30单独确认面部。
当通过面部确认部30完成面部确认的情况下，动作识别部40准备进行动作识别，通过识别已确认的人的面部表情的变化或已确认的人的身体动作的变化，来确定所识别的动作是否为预先输入的既定动作。此时，在通知已完成动作识别或未识别出(识别错误)动作的情况下，上述动作识别部40可重新请求进行动作。优选地，这样的请求通过与行车电脑200相连接的灯或扬声器等来实现。并且，在面部确认部30确认出多个面部的情况下，上述动作识别部40可单独识别动作，并可通过识别多个已确认的人的动作，来使识别信息关联。上述动作可有眨眼、嘴形等面部表情的变化等，作为身体动作，可有拍手的动作及拍手动作的次数、跺脚及跺脚的次数、用胳膊画圆、张开双臂等。
控制部50用于通过识别已完成面部识别及面部确认的人的动作，来执行已设定的功能，上述控制部50通过内部通信部70(例：控制器局域网(CAN)、行车自动诊断系统(OBD-II)等)与行车电脑(ECU)200相连接来发送/接收用于执行基于动作识别的功能的数据，或通过外部通信部80(例：第三代移动通信技术(3G)、通用移动通信技术的长期演进(LTE)、无线保真(WIFI)、比特流(BT)等)向外部因特网(有线/无线因特网300)发送/接收用于执行基于动作识别的功能的数据。
另一方面，存储部60包括面部存储部61、动作存储部62及存储器部63。此时，面部存储部61用于注册并存储面部，动作存储部62存储基于所存储的面部的人的动作及与动作关联的功能。存储器部63存储控制汽车控制装置100所需的程序，并存储在预通过外部通信部80传输数据的情况下所需的识别信息(电话号码、电子邮件信息等)。并且，由于设有图像取得部10，因而还可用作行车记录仪，在这种情况下，可通过另外安装微型闪存卡(MicroSDCard)来使用。此时，可在车辆的行驶过程中，设定成以行车记录仪模式来运行。
输入部90用于开启/关闭汽车控制装置100、输入及存储面部识别指令、输入及存储动作识别指令、输入预通过外部通信部80和因特网300传输数据的接收方信息(电话号码、电子邮件信息)等。此时，上述输入部90通过图像取得部10来接收面部和动作，将此存储于面部存储部61和动作存储部62。上述输入部90可在触摸屏上以触摸输入的方式形成。
另一方面，可通过预先注册的已设定的特定动作控制开/闭汽车车门及后备箱、开启/关闭(On/Off)汽车前灯及内外部灯、利用摄像头(图像取得部)拍摄当前停车位置并向以电话号码注册的移动电话进行传输的功能、开启/关闭汽车行车记录仪的功能、以及其他可基于汽车的种类来进行工作的所有功能。另一方面，汽车控制装置100可基于通过因特网300和外部通信部80对新程序进行升级或更新来添加新的服务。
图3为用于说明本发明的利用面部识别和动作识别的汽车控制方法的流程图。
如图3所示，在本发明的利用面部识别和动作识别的汽车控制方法中，存储人的面部与动作(步骤S10)。此时，若通过输入部90输入用于存储人的面部和动作的指令，则通过图像取得部10取得图像，并且在通过面部确认部30和动作识别部40来分别进行确认面部及识别动作之后，将面部和动作存储于存储部60。
另一方面，在完成面部及动作的存储后，若通过图像取得部10取得图像(步骤S20)，则面部识别部20以特征结构要素为基础，从通过图像取得部10所取得的输入图像中提取面部的特征信息，以实现从输入图像中搜索并跟踪人的面部。此时，在输入图像中存在多个面部的情况下，上述面部识别部20通过同时提取并跟踪所有面部的特征信息来识别面部(步骤S30)。
并且，判断面部识别是否成功(步骤S40)。
若判断结果(步骤S40)为识别失败，则请求重新识别(步骤S50)。此时，若提取特征信息失败，则请求重新识别。
但是，若判断结果(步骤S40)为识别成功，则面部确认部30对在面部识别部20提取的特征信息和预先存储(注册)于存储部60的人的面部特征信息进行比较，若在临界值以内，则确认为已注册的面部。并且，在识别出多个面部的情况下，单独确认面部(步骤S60)。
确认结果，判断面部确认是否成功(步骤S70)。
若判断结果(步骤S70)为确认失败，则由于是未存储的人的面部，因而结束面部确认。
但是，若判断结果(步骤S70)为确认成功，则在通过面部确认部30完成面部确认的情况下，动作识别部40准备进行动作识别，并识别已确认的人的面部表情的变化或已确认的人的身体动作的变化，来确认所识别的动作是否为预先输入的既定动作，即确认是否为存储于存储部60的动作(步骤S80)。此时，在通知已完成动作识别或未识别出动作的情况(识别错误)下，可重新请求进行动作。
并且，动作识别结果，判断动作识别是否成功(步骤S90)。
若判断结果(步骤S90)为动作识别失败，则请求重新识别(步骤S90)。此时，若识别出的动作为未存储的动作或识别出的动作为动作识别所需的临界值以下的动作的情况下，可基于动作识别失败而请求重新识别动作。
但是，若判断结果(步骤S90)为动作识别成功，则控制部50通过内部通信部70向行车电脑200传输用于执行基于动作识别的功能的数据，来实现通过识别已完成面部识别及面部确认的人的动作来执行已设定的功能，或通过外部通信部80向因特网300传输用于执行基于动作识别的功能的数据。
这些通过内部通信部70使行车电脑200执行基于动作识别的功能的方式可控制开/闭汽车门及后备箱、开启/关闭汽车前灯及内外部灯、开启/关闭汽车行车记录仪的功能、以及其他可根据汽车的种类来进行工作的所有功能。并且，通过外部通信部80来执行基于动作识别的功能可包括利用摄像头(图像取得部)拍摄当前停车位置并向已注册电话号码的移动电话进行传输，或向移动电话传输存储于汽车行车记录仪的存储器中的图像/音像数据的功能等。这是由于汽车控制装置100具有用于取得图像的摄像头、存储部60，并且可用作行车记录仪，因此只要是本发明所属领域的技术人员，则可以容易地实现。
以上，与本发明的附图一同，对本发明进行了说明，但这仅仅是包含本发明的主旨的多种实施方式中的一种实施例，目的在于使本发明所属技术领域的普通技术人员容易地实施本发明，需明确的是，本发明并不局限于上述实施例。由此，本发明的保护范围应根据本发明要求保护范围来解释，在不脱离本发明的主旨的范围内的通过变更、置换、代替等来存在于与本发明的主旨的范围等同的范围内的所有技术思想包含于本发明的权利范围。并且，需要明确的是，附图的部分结构用于更加明确地说明本发明的结构，因而与实际相比，进行了夸张或缩小。

Claims (24)

1.一种利用面部识别和动作识别的汽车控制装置，其特征在于，包括：
图像取得部，取得汽车外部的图像；
面部识别部，以在所述图像取得部取得的图像中的人的面部特征结构要素为基础，从输入图像中搜索并跟踪人的面部，来提取面部特征信息；
面部确认部，对在所述面部识别部提取的特征信息和预先注册的人的面部特征信息进行比较，若在临界值以内，则确认为已注册的面部；
动作识别部，在通过所述面部确认部完成确认的情况下，识别动作；以及
控制部，识别完成面部识别及面部确认的人的动作，来执行设定功能。
2.根据权利要求1所述的利用面部识别和动作识别的汽车控制装置，其特征在于，所述图像取得部用于取得汽车外部的人的面部图像及动作图像。
3.根据权利要求1所述的利用面部识别和动作识别的汽车控制装置，其特征在于，所述图像取得部用于去除输入图像的噪声，将输入图像转换成二值图像。
4.根据权利要求1所述的利用面部识别和动作识别的汽车控制装置，其特征在于，在输入图像中存在多个面部的情况下，所述面部识别部提取并跟踪所有面部的特征信息。
5.根据权利要求1所述的利用面部识别和动作识别的汽车控制装置，其特征在于，在面部识别部识别出多个面部的情况下，所述面部确认部单独确认所有面部。
6.根据权利要求1所述的利用面部识别和动作识别的汽车控制装置，其特征在于，所述动作识别部用于识别已确认的人的面部表情的变化或已确认的人的身体动作的变化。
7.根据权利要求6所述的利用面部识别和动作识别的汽车控制装置，其特征在于，在通知已完成动作识别或未识别出动作的情况下，所述动作识别部将重新请求进行动作。
8.根据权利要求7所述的利用面部识别和动作识别的汽车控制装置，其特征在于，通过与行车电脑相连接的灯或扬声器来执行所述重新请求进行动作。
9.根据权利要求1所述的利用面部识别和动作识别的汽车控制装置，其特征在于，所述动作识别部识别的动作包括面部表情的变化和身体动作的变化，所述面部表情的变化包括眼形和嘴形的变化，所述身体动作的变化包括手掌、手形、脚形的变化。
10.根据权利要求1所述的利用面部识别和动作识别的汽车控制装置，其特征在于，为了通过识别完成面部识别及面部确认的人的动作来执行已设定的功能，所述汽车控制装置还包括：
内部通信部，向行车电脑传输用于执行基于动作识别的功能的数据；
外部通信部，向因特网传输用于执行基于动作识别的功能的数据。
11.根据权利要求10所述的利用面部识别和动作识别的汽车控制装置，其特征在于，所述汽车控制装置还包括存储部，所述存储部包括：
面部存储部，用于注册并存储面部；
动作存储部，用于存储基于已存储的面部的人的动作及与动作相关联的功能；以及
存储器部，用于存储所述汽车控制装置控制所需的程序，在需通过外部通信部来传输数据的情况下，存储必要的识别信息。
12.根据权利要求11所述的利用面部识别和动作识别的汽车控制装置，其特征在于，所述汽车控制装置通过安装单独的存储卡且利用所述图像取得部来用作行车记录仪。
13.根据权利要求1所述的利用面部识别和动作识别的汽车控制装置，其特征在于，所述汽车控制装置还包括输入部，所述输入部用于开启/关闭所述汽车控制装置、输入及存储面部识别指令、输入及存储动作识别指令、输入要通过因特网传输数据的接收方的电话号码及电子邮件信息。
14.根据权利要求1所述的利用面部识别和动作识别的汽车控制装置，其特征在于，利用预先注册的被设定的特定动作，能够控制开/关汽车车门及后备箱、开启/关闭汽车前灯及内外部灯、利用摄像头(图像取得部)拍摄当前停车位置并向已注册电话号码的移动电话进行传输的功能、开启/关闭汽车行车记录仪的功能、以及能够基于汽车种类来进行工作的功能。
15.根据权利要求1所述的利用面部识别和动作识别的汽车控制装置，其特征在于，所述汽车控制装置能够通过因特网对新程序进行升级或更新来添加新的服务。
16.一种利用面部识别和动作识别的汽车控制方法，其特征在于，包括：
存储人的面部与动作的步骤；
若通过图像取得部取得图像，则面部识别部对面部进行识别的步骤；
在面部确认部对在所述面部识别部提取的特征信息与预先存储于存储部的人的面部特征信息进行比较，来确认面部的步骤；
若通过所述面部确认部完成确认，则动作识别部识别人的动作的步骤；以及
控制部进行控制及服务，使得控制部根据在所述动作识别部识别的动作来识别已完成面部识别及面部确认的人的动作，以此来执行已设定的功能的步骤。
17.根据权利要求16所述的利用面部识别和动作识别的汽车控制方法，其特征在于，所述图像取得部用于取得汽车外部的人的面部图像及动作图像来去除输入图像的噪声，将输入图像转换成二值图像。
18.根据权利要求16所述的利用面部识别和动作识别的汽车控制方法，其特征在于，在由所述动作识别部识别人的动作的步骤中，识别已确认的人的面部表情的变化或识别已确认的人的身体动作的变化。
19.根据权利要求16所述的利用面部识别和动作识别的汽车控制方法，其特征在于，
在输入图像中存在多个面部的情况下，所述面部识别部提取并跟踪所有面部的特征信息，
在所述面部识别部识别出多个面部的情况下，所述面部确认部单独确认所有面部。
20.根据权利要求16所述的利用面部识别和动作识别的汽车控制方法，其特征在于，所述面部识别部对面部进行识别的步骤与所述动作识别部识别人的动作的步骤分别包括：
判断是否识别成功的步骤；
在识别失败的情况下，分别请求重新识别的步骤。
21.根据权利要求20所述的利用面部识别和动作识别的汽车控制方法，其特征在于，所述请求重新识别的步骤通过与行车电脑相连接的灯或扬声器来实现。
22.根据权利要求16所述的利用面部识别和动作识别的汽车控制方法，其特征在于，在所述控制部进行控制及服务的步骤中，通过内部通信部向行车电脑传输数据，来执行基于所述动作识别的功能，或者通过外部通信部利用因特网传输数据，来执行基于动作识别的功能。
23.根据权利要求22所述的利用面部识别和动作识别的汽车控制方法，其特征在于，在所述控制部进行控制及服务的步骤中，能够通过因特网对新程序进行升级或更新来添加新的服务。
24.根据权利要求16所述的利用面部识别和动作识别的汽车控制方法，其特征在于，所述控制部进行控制及服务的步骤包括开/关汽车车门及后备箱、开启/关闭汽车前灯及内外部灯、利用摄像头拍摄当前停车位置并向已注册电话号码的移动电话进行传输的功能、以及开启/关闭汽车行车记录仪的功能中的一种以上。
CN201510536896.XA 2014-08-27 2015-08-27 利用面部识别和动作识别的汽车控制装置及方法 Pending CN105389490A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0112608 2014-08-27
KR1020140112608A KR101586228B1 (ko) 2014-08-27 2014-08-27 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
CN105389490A true CN105389490A (zh) 2016-03-09

Family

ID=54185828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510536896.XA Pending CN105389490A (zh) 2014-08-27 2015-08-27 利用面部识别和动作识别的汽车控制装置及方法

Country Status (4)

Country Link
US (1) US9576189B2 (zh)
EP (1) EP2990997A3 (zh)
KR (1) KR101586228B1 (zh)
CN (1) CN105389490A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391983A (zh) * 2017-03-31 2017-11-24 阿里巴巴集团控股有限公司 一种基于物联网的信息处理方法及装置
CN108162975A (zh) * 2017-12-11 2018-06-15 厦门蓝斯通信股份有限公司 一种驾驶员身份识别与监管方法及系统
CN108621939A (zh) * 2017-03-15 2018-10-09 株式会社斯巴鲁 车辆的显示系统及车辆的显示系统的控制方法
CN109309810A (zh) * 2017-07-28 2019-02-05 丰田自动车株式会社 信息处理装置、信息处理方法以及信息处理系统
CN109421702A (zh) * 2017-08-25 2019-03-05 上海汽车集团股份有限公司 一种汽车控制方法及装置
CN111625086A (zh) * 2020-04-24 2020-09-04 爱驰汽车有限公司 基于用户动作的车辆交互方法、系统、设备及存储介质
CN112061137A (zh) * 2020-08-19 2020-12-11 一汽奔腾轿车有限公司 一种车外的人车互动控制方法
CN113744433A (zh) * 2020-05-27 2021-12-03 本田技研工业株式会社 进入辅助系统、进入辅助方法以及记录介质
CN113799731A (zh) * 2020-05-27 2021-12-17 本田技研工业株式会社 车辆控制系统、服务器及车辆控制方法
CN114495337A (zh) * 2022-02-28 2022-05-13 重庆长安汽车股份有限公司 一种基于舱内外摄像头的智能汽车尾门开启系统及方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10445603B1 (en) * 2015-12-11 2019-10-15 Lytx, Inc. System for capturing a driver image
WO2017124482A1 (zh) * 2016-01-23 2017-07-27 刘建兵 人脸识别技术开启车门时的技术信息采集方法和识别系统
WO2017124483A1 (zh) * 2016-01-23 2017-07-27 刘建兵 识别人脸图像开启车门技术的信息推送方法以及识别系统
JP6833354B2 (ja) * 2016-06-10 2021-02-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10133942B2 (en) * 2016-07-05 2018-11-20 Nauto Global Limited System and method for automatic driver identification
CN106355679A (zh) * 2016-09-26 2017-01-25 东莞市锐准电子科技股份有限公司 一种行车记录仪
KR20180070818A (ko) 2016-12-19 2018-06-27 씨제이포디플렉스 주식회사 안면인식 기술 이용한 노즐 제어 의자 및 노즐 제어방법.
KR101996414B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 보행자 시선을 고려한 충돌 방지 및 충격 완화 장치 및 방법
US10232814B2 (en) * 2017-01-18 2019-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Inflatable vehicle occupant positioning system
JP7223753B2 (ja) * 2017-07-03 2023-02-16 ジーピー ネットワーク アジア ピーティーイー． リミテッド 支払処理
US11072311B2 (en) * 2017-09-05 2021-07-27 Future Mobility Corporation Limited Methods and systems for user recognition and expression for an automobile
US10867161B2 (en) * 2017-09-06 2020-12-15 Pixart Imaging Inc. Auxiliary filtering device for face recognition and starting method for electronic device
CN108791308B (zh) * 2018-06-25 2020-05-19 大连大学 基于驾驶环境构建驾驶策略的系统
US10745018B2 (en) 2018-09-19 2020-08-18 Byton Limited Hybrid user recognition systems for vehicle access and control
KR102634349B1 (ko) * 2018-10-11 2024-02-07 현대자동차주식회사 차량의 제어 장치 및 방법
CN110271557B (zh) * 2019-06-12 2021-05-14 浙江亚太机电股份有限公司 一种车辆用户特征识别系统
JP7419122B2 (ja) * 2020-03-18 2024-01-22 本田技研工業株式会社 車両制御装置、車両制御方法、及び車両制御用プログラム
JP7410796B2 (ja) * 2020-05-27 2024-01-10 本田技研工業株式会社 車両制御システム、及び車両制御方法
KR102301426B1 (ko) * 2020-09-07 2021-09-14 방병주 오브젝트의 액션 패턴 분석을 통한 중장비 콘트롤 시스템
KR102301427B1 (ko) * 2020-10-22 2021-09-14 방병주 오브젝트의 액션 패턴 예측을 통한 중장비 콘트롤 시스템
EP4064213A1 (en) * 2021-03-25 2022-09-28 Grazper Technologies ApS Utility vehicle and corresponding apparatus, method and computer program for a utility vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020152010A1 (en) * 2001-04-17 2002-10-17 Philips Electronics North America Corporation Automatic access to an automobile via biometrics
CN1579848A (zh) * 2003-08-15 2005-02-16 程滋颐 具有图像摄取和无线通讯功能的汽车防盗报警器
CN102799868A (zh) * 2012-07-10 2012-11-28 吉林禹硕动漫游戏科技股份有限公司 人脸面部关键表情识别方法
CN103376113A (zh) * 2012-04-13 2013-10-30 现代Mnsoft公司 用于更新导航器的地图数据的地图数据更新方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060261931A1 (en) 2003-08-15 2006-11-23 Ziyi Cheng Automobile security defence alarm system with face identification and wireless communication function
KR101165106B1 (ko) * 2006-11-09 2012-07-12 현대자동차주식회사 얼굴 인식에 기반한 운전자 인증 장치 및 방법
KR100887688B1 (ko) * 2007-11-29 2009-03-11 현대자동차주식회사 핸드 셰이프에 의한 도어개폐 제어장치
KR101568789B1 (ko) 2009-10-14 2015-11-12 현대모비스 주식회사 차량용 개인화 서비스 장치 및 방법
JP2012010222A (ja) * 2010-06-28 2012-01-12 Kyocera Corp 携帯無線通信端末装置
KR101172213B1 (ko) * 2010-12-08 2012-08-07 현대자동차주식회사 얼굴인증 시스템 및 그 방법
DE102010054625A1 (de) 2010-12-16 2012-06-21 Daimler Ag Verfahren und Vorrichtung zum Öffnen und Schließen einer Tür und/oder einer Heckklappe eines Fahrzeugs
US9177130B2 (en) * 2012-03-15 2015-11-03 Google Inc. Facial feature detection
KR101337554B1 (ko) * 2012-03-20 2013-12-06 (주) 세인 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치 및 그 방법
JP2014164697A (ja) * 2013-02-27 2014-09-08 Canon Inc 画像処理装置および画像処理方法、プログラム、並びに記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020152010A1 (en) * 2001-04-17 2002-10-17 Philips Electronics North America Corporation Automatic access to an automobile via biometrics
CN1579848A (zh) * 2003-08-15 2005-02-16 程滋颐 具有图像摄取和无线通讯功能的汽车防盗报警器
CN103376113A (zh) * 2012-04-13 2013-10-30 现代Mnsoft公司 用于更新导航器的地图数据的地图数据更新方法
CN102799868A (zh) * 2012-07-10 2012-11-28 吉林禹硕动漫游戏科技股份有限公司 人脸面部关键表情识别方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108621939A (zh) * 2017-03-15 2018-10-09 株式会社斯巴鲁 车辆的显示系统及车辆的显示系统的控制方法
CN107391983B (zh) * 2017-03-31 2020-10-16 创新先进技术有限公司 一种基于物联网的信息处理方法及装置
US11461444B2 (en) 2017-03-31 2022-10-04 Advanced New Technologies Co., Ltd. Information processing method and device based on internet of things
CN107391983A (zh) * 2017-03-31 2017-11-24 阿里巴巴集团控股有限公司 一种基于物联网的信息处理方法及装置
CN109309810A (zh) * 2017-07-28 2019-02-05 丰田自动车株式会社 信息处理装置、信息处理方法以及信息处理系统
US11275954B2 (en) 2017-07-28 2022-03-15 Toyota Jidosha Kabushiki Kaisha Information processing apparatus, information processing method, and information processing system
CN109421702A (zh) * 2017-08-25 2019-03-05 上海汽车集团股份有限公司 一种汽车控制方法及装置
CN108162975A (zh) * 2017-12-11 2018-06-15 厦门蓝斯通信股份有限公司 一种驾驶员身份识别与监管方法及系统
CN111625086A (zh) * 2020-04-24 2020-09-04 爱驰汽车有限公司 基于用户动作的车辆交互方法、系统、设备及存储介质
CN113744433A (zh) * 2020-05-27 2021-12-03 本田技研工业株式会社 进入辅助系统、进入辅助方法以及记录介质
JP2021189612A (ja) * 2020-05-27 2021-12-13 本田技研工業株式会社 エントリー支援システム、エントリー支援方法、及びエントリー支援プログラム
CN113799731A (zh) * 2020-05-27 2021-12-17 本田技研工业株式会社 车辆控制系统、服务器及车辆控制方法
CN113744433B (zh) * 2020-05-27 2023-10-24 本田技研工业株式会社 进入辅助系统、进入辅助方法以及记录介质
JP7399790B2 (ja) 2020-05-27 2023-12-18 本田技研工業株式会社 エントリー支援システム、エントリー支援方法、及びエントリー支援プログラム
CN112061137A (zh) * 2020-08-19 2020-12-11 一汽奔腾轿车有限公司 一种车外的人车互动控制方法
CN112061137B (zh) * 2020-08-19 2022-01-14 一汽奔腾轿车有限公司 一种车外的人车互动控制方法
CN114495337A (zh) * 2022-02-28 2022-05-13 重庆长安汽车股份有限公司 一种基于舱内外摄像头的智能汽车尾门开启系统及方法

Also Published As

Publication number Publication date
KR101586228B1 (ko) 2016-01-18
EP2990997A3 (en) 2016-03-30
US20160063315A1 (en) 2016-03-03
US9576189B2 (en) 2017-02-21
EP2990997A2 (en) 2016-03-02

Similar Documents

Publication Publication Date Title
CN105389490A (zh) 利用面部识别和动作识别的汽车控制装置及方法
CN108473109B (zh) 无缝车辆访问系统
US20160150407A1 (en) Method And System For Connecting A Mobile Communication Device To An Automobile
US9783158B2 (en) System and method for on-demand passive entry disable
US9774719B2 (en) Method and apparatus for controlling outgoing call in vehicle equipped with voice recognition function
JP5170052B2 (ja) 運転支援システム、サーバ装置、運転支援装置、および情報処理方法
US20140070917A1 (en) Apparatus and method for registering users and managing biometric data thereof in a vehicle
CN105895096A (zh) 一种身份识别与语音交互操作的方法及装置
US20170225690A1 (en) Wearable device controlled vehicle systems
US20140325602A1 (en) Accessing system for vehicle network and method of controlling the same
CN110182172A (zh) 车辆驾驶员认证系统及方法
US20140279491A1 (en) Method and apparatus for vehicle accessible atm transactions
CN106600762A (zh) 车门的控制方法及系统
CN108737090B (zh) 用于动态车辆密匙生成和处理的方法和设备
CN112819997A (zh) 创建车辆钥匙的方法、装置和计算机可读存储介质
US9277486B2 (en) Managing wireless communication settings in a plurality of vehicles
CN112905981A (zh) 用于信息分享的方法、电子设备和计算机可读存储介质
KR102036024B1 (ko) 차량 보안 방법 및 시스템
WO2017016071A1 (zh) 基于指纹识别的控制方法和控制装置
CN110838196B (zh) 智能门锁控制方法、智能门锁控制系统及智能门锁
US10455625B2 (en) Configuration of connectivity before getting into a vehicle
CN113015138A (zh) 用于信息分享的方法、电子设备和计算机可读存储介质
KR20150034336A (ko) 얼굴인식을 통한 운전자 인증 방법
KR20190125606A (ko) 지문인식 스마트키를 이용한 차량 제어 방법
KR20190032581A (ko) 휴대 가능한 키 장치에 의해 자동차의 적어도 하나의 기능을 작동시키기 위한 방법 및 키 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160309

WD01 Invention patent application deemed withdrawn after publication