CN110936918A - 使用与用户相关的音频或视频数据打开车辆进入点的方法和系统 - Google Patents

使用与用户相关的音频或视频数据打开车辆进入点的方法和系统 Download PDF

Info

Publication number
CN110936918A
CN110936918A CN201811606330.XA CN201811606330A CN110936918A CN 110936918 A CN110936918 A CN 110936918A CN 201811606330 A CN201811606330 A CN 201811606330A CN 110936918 A CN110936918 A CN 110936918A
Authority
CN
China
Prior art keywords
user
vehicle
video data
determining
intent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811606330.XA
Other languages
English (en)
Inventor
斯科特·文森特·迈尔斯
温卡塔帕斯·拉居·纳尔帕
亚历山德鲁·米哈伊·古尔吉安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US15/045,890 priority Critical patent/US9816308B2/en
Priority to US16/138,437 priority
Priority to US16/138,437 priority patent/US10508485B2/en
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110936918A publication Critical patent/CN110936918A/zh
Pending legal-status Critical Current

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05FDEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00Power-operated mechanisms for wings
    • E05F15/70Power-operated mechanisms for wings with automatic actuation
    • E05F15/73Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/25Means to switch the anti-theft system on or off using biometry
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05BLOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B81/00Power-actuated vehicle locks
    • E05B81/02Power-actuated vehicle locks characterised by the type of actuators used
    • E05B81/04Electrical
    • E05B81/08Electrical using electromagnets or solenoids
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05BLOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B81/00Power-actuated vehicle locks
    • E05B81/54Electrical circuits
    • E05B81/64Monitoring or sensing, e.g. by using switches or sensors
    • E05B81/76Detection of handle operation; Detection of a user approaching a handle; Electrical switching actions performed by door handles
    • E05B81/78Detection of handle operation; Detection of a user approaching a handle; Electrical switching actions performed by door handles as part of a hands-free locking or unlocking operation
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05FDEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00Power-operated mechanisms for wings
    • E05F15/70Power-operated mechanisms for wings with automatic actuation
    • E05F15/73Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F15/76Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects responsive to devices carried by persons or objects, e.g. magnets or reflectors
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05FDEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00Power-operated mechanisms for wings
    • E05F15/70Power-operated mechanisms for wings with automatic actuation
    • E05F15/77Power-operated mechanisms for wings with automatic actuation using wireless control
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00302Facial expression recognition
    • G06K9/00308Static expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00362Recognising human body or animal bodies, e.g. vehicle occupant, pedestrian; Recognising body parts, e.g. hand
    • G06K9/00369Recognition of whole body, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05FDEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00Power-operated mechanisms for wings
    • E05F15/70Power-operated mechanisms for wings with automatic actuation
    • E05F15/73Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/763Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using acoustical sensors
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05FDEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00Power-operated mechanisms for wings
    • E05F15/70Power-operated mechanisms for wings with automatic actuation
    • E05F15/73Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/767Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using cameras
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05YINDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2900/00Application of doors, windows, wings or fittings thereof
    • E05Y2900/50Application of doors, windows, wings or fittings thereof for vehicles

Abstract

本文公开了用于打开车辆的进入点的方法和系统。一种系统和一种方法可以包含无线地接收来自用户携带的遥控器的信号。该系统和方法可以进一步包含接收表明用户正在接近车辆的音频或视频数据。该系统和方法还可以包含基于音频或视频数据来确定用户进入车辆内部的意图。该系统和方法还可以包含响应于用户进入车辆内部的意图的确定而打开车辆的进入点。

Description

使用与用户相关的音频或视频数据打开车辆进入点的方法和 系统
技术领域
本公开总体上涉及用于打开车辆的进入点(access point)的方法和系统。
背景技术
通常,需要手动操作来打开车辆的行李箱门、舱门或者任何其它门(以下共同被称为“进入点”)。机动车辆系统和自动化的最新发展已经提供了用户通过遥控器(例如钥匙扣)解锁和打开车辆进入点之一的替代方案。例如,当用户在距车辆的特定范围内时,用户拥有的钥匙扣可以能够与车辆无线地通信。当按下钥匙扣上的按钮时,钥匙扣可以传送无线信号以与车辆通信以解锁进入点。当按下钥匙扣上的相同或不同的按钮时,钥匙扣可以进一步传送另一无线信号以与车辆通信以打开一个或多个进入点,例如行李箱门。然而,在该示例中,钥匙扣仍然需要用户按下按钮以解锁和打开进入点的手动操作。
这种手动操作,尽管是最小的,但是在一些实际情况中带来了困难或至少不方便。例如,用户的双手可能拿着杂货袋或其他物品,并且因此没有空闲的手来保持和操作钥匙扣以解锁和打开进入点。作为另一个示例,用户可以接近车辆,双手推着购物车或婴儿车,并且因此没有空闲的手,除非用户停止他/她朝向车辆的运动以空出一只手来拿钥匙扣。此外,钥匙扣常常被存放在不方便用户拿出的位置处(例如,在钱包或背包的内袋中),并且用户可能不记得钥匙扣被存放在何处,并且因此可能必须搜索各个口袋以便找到它。作为另一个示例,年老或残疾的用户可以在轮椅中或者推着轮椅或者通过助行器正在接近车辆,并且没有空闲的手来操作钥匙扣。所有这些实际情况使得通过遥控器(例如钥匙扣)打开车辆上的进入点(例如行李箱门)或任何其它进入点的手动操作变得困难。
已经开发出了一些替代方案以避免使用手动操作。例如,可以在车辆上设置脚踏开关(kick switch),以便当用户没有空闲的手时,用户踢或踩踏来打开进入点(例如行李箱门)。然而,该解决方案可能不是对每一个人都可行,因为一些用户可能是残疾的并且不能操作脚踏开关。此外,即使对于没有残疾的人,当双手拿着携带的物品时,操作脚踏开关需要敏捷度,并且操作可能造成用户不平衡,特别是当表面粗糙、湿滑或在恶劣的天气条件下时。使用脚踏开关的另一个缺点是,当用户仍然在距车辆一定距离处时,他或她无法触发进入点的打开。而是,用户需要身体靠近车辆、踩踏或以其他方式接触脚踏开关并且等待进入点打开(可能双手拿满物品)。
值得注意的是,每次用户接近车辆时仅通过钥匙扣来解锁和打开行李箱门也不是可行的解决方案。用户可能接近车辆而不打算解锁或打开车辆的任何进入点。例如,用户可以返回车辆,只是打算通过车窗查看来视觉上检查钱包是否被留在座椅上。作为另一个示例,用户可能打算进入车辆的车舱而不是车辆的行李箱,并且在这种情况下使进入点自动解锁和/或打开将没有必要。
发明内容
根据本发明,提供一种方法,该方法包含:
通过车辆上的系统接收表明用户正在接近车辆的音频或视频数据;
由系统基于音频或视频数据以及车辆附近的一种或多种类型的营业所来确定用户关于进入车辆的内部的意图;以及
由系统响应于确定而打开车辆的进入点。
根据本发明的一个实施例,其中接收表明用户正在接近车辆的音频或视频数据包含从摄像机接收表明用户正在接近车辆的视频。
根据本发明的一个实施例,其中确定用户的意图包含分析视频数据来确定用户是否没有空闲的手或不能手动地打开进入点处的车门。
根据本发明的一个实施例,其中视频数据表明用户正在与手推车、与婴儿车、与助行器或与轮椅一起接近车辆。
根据本发明的一个实施例,其中确定用户的意图包含分析视频数据以检测用户盯着车辆持续预定时间段。
根据本发明的一个实施例,其中确定用户的意图包含分析视频数据以检测用户的肩膀或眉毛的向上运动。
根据本发明的一个实施例,其中确定用户的意图进一步包含:
观察表明用户正在接近车辆的用户的运动轨迹;以及
基于轨迹来确定车辆的多个进入点之一为用户打算进入车辆的内部通过的进入点。
根据本发明的一个实施例,该方法进一步包含:
由系统接收关于车辆的附近的数字地图数据;以及
由系统基于数字地图数据来确定车辆的附近的一种或多种类型的营业所。
根据本发明,提供一种可在车辆中实施的系统,该系统包含:
致动器,致动器能够打开和关闭车辆的进入点;
一个或多个传感器,传感器能够感测表明用户正在接近车辆的音频或视频数据;以及
处理器,处理器连接到致动器和一个或多个传感器,处理器能够:
从一个或多个传感器接收音频或视频数据;
基于音频或视频数据以及车辆附近的一种或多种类型的营业所来确定用户关于进入车辆内部的意图;以及
响应于确定而控制致动器以打开进入点。
根据本发明的一个实施例,其中在确定用户的意图时,处理器能够分析视频数据来确定用户是否没有空闲的手或不能手动地打开进入点处的车门。
根据本发明的一个实施例,其中视频数据表明用户正在与手推车、与婴儿车、与助行器或与轮椅一起接近车辆。
根据本发明的一个实施例,其中在确定用户的意图时,处理器能够分析视频数据以检测用户盯着车辆持续预定时间段。
根据本发明的一个实施例,其中在确定用户的意图时,处理器能够分析视频数据以检测用户的肩膀或眉毛的向上运动。
根据本发明的一个实施例,其中在确定用户的意图时,处理器能够:
观察表明用户正在接近车辆的用户的运动轨迹;以及
基于轨迹来确定车辆的多个进入点之一为用户打算进入车辆的内部通过的进入点。
根据本发明的一个实施例,其中处理器进一步能够:
接收关于车辆的附近的数字地图数据;以及
基于数字地图数据来确定车辆的附近的一种或多种类型的营业所。
附图说明
本公开的非限制性和非穷尽性的实施例参照以下附图进行了描述,其中,贯穿几个视图,相同的附图标记指代相同的部件,除非另有说明。
图1是描绘可以利用根据本公开的实施例的示例场景的示图;
图2是描绘根据本公开的实施例用户相对于车辆的示例运动轨迹的示图;
图3是根据本公开的实施例的示例过程的流程图;
图4是描绘根据本公开的实施例的示例系统的示图。
具体实施方式
在以下说明书中,参考形成说明书的一部分的附图,并且附图通过说明可以实践本公开的具体示例性实施例来示出。这些实施例被足够详细地描述以使得本领域技术人员能够实践本文所公开的构思,并且应当理解的是,在不脱离本公开的范围的情况下,可以对各种公开的实施例进行修改,并且可以利用其它实施例。因此,以下具体实施方式不应被理解为限制性的意义。
如前所述,用户可能没有空闲的手或者可能无法在接近车辆时当他或她希望时手动打开车辆的进入点(例如,侧车门或行李箱门)。在这种情况下,为了使车辆自动打开用户期望的进入点,本文提出了可以在车辆中实施的方法和系统。
图1和图2中的每一个分别说明了关于根据本公开的方法和系统的示例场景。参考图1和2提供以下描述。在图1所示的场景100和图2所示的场景200中,用户10正在接近车辆30,在用户10的钱包或背包24中携带有遥控器20,例如车辆的钥匙扣。用户10的双手15推着购物车40,购物车40装载有物品45,并且打算通过打开车辆30的后进入点61来进入车辆30内的存储区域。然而,考虑到用户10的双手15正在推着购物车40,所以用户10没有空闲的手来拿取遥控器20以解锁和打开后进入点61。
车辆30配备有系统70,当遥控器20在距系统70的特定范围75内时,系统70能够与遥控器20通信或至少接收来自遥控器20的无线信号。当用户10身体以及遥控器20和购物车40在距车辆30的范围75内时,系统70可以接收从遥控器20无线传送的信号。该信号可以用作触发器以开始由系统70执行的过程。
车辆30还可以配备有一个或多个传感器,例如传感器41、42、43和44,在一些实施例中,一个或多个传感器可以是系统70的一部分。虽然本文提供的示例示出了固定数量的传感器(即,四个),但是在根据本公开的各种实施方式中可以采用不同的数量。传感器41、42、43和44中的一些或全部各自可以被配置为当用户10接近车辆30时生成与用户10相关的音频数据、视频数据或二者的组合。在一些实施例中,传感器41、42、43和44可以包括被配置为追踪用户10的运动并且生成表明用户10正在接近车辆30的视频的视频摄像机。在一些实施例中,传感器41、42、43和44可以包括被配置为捕获当用户10接近车辆30时来自用户10的语音命令的麦克风。在一些实施例中,当用户10接近时,传感器41、42、43和44中的多于一个可以同时工作,每一个传感器生成表明用户10正在接近车辆30的音频和/或视频数据、或者两者的组合。
基于由传感器41-44中的一个或多个生成的音频数据和/或视频数据,系统70确定用户10是否具有进入车辆30的内部(例如,车辆30的行李箱或车舱)的意图。如果确定用户10确实具有进入车辆30的内部的意图,则系统70开始打开系统70确定用户10打算进入车辆30的内部通过的车辆30的进入点(例如,行李箱门或侧车门)。在一些实施例中,系统70通过激励设置在车辆30上的一个或多个致动器(图中未示出)来打开进入点。一个或多个致动器中的每一个本质上可以是机械的、电气的、机电的、磁性的、气动的和/或液压的,并且可以被配置为在系统70的控制下打开和/或关闭车辆30的相应的进入点。
系统70在确定用户10的意图时可以考虑许多因素。在一些实施例中,系统70可以首先分析音频数据并且识别来自用户10的语音命令,例如“打开行李箱门”、“打开驾驶员车门”、“打开舱背门(hatchback door)”、“打开前部乘客车门”、“打开后部乘客车门”、“打开左滑动门”、“打开右滑动门”以及诸如此类。一旦识别出这样的语音命令,系统70就可以确定用户10具有进入车辆30的内部(例如,行李箱或车舱)的意图。此外,系统70还可以确定用户10打算通过车辆30的多个进入点中的哪一个进入点进入车辆30的内部。例如,系统70可以基于从一个或多个传感器41-40中的至少一个接收到的表明用户10正在接近车辆30的后端的视频数据来确定用户10打算进入车辆30的行李箱。可选择地,系统70可以基于从一个或多个传感器41-44中的一些接收到的表明用户10正在接近车辆30的后端的音频数据的声学分析来确定用户10打算进入车辆30的行李箱。
在一些实施例中,系统70可以首先分析视频数据以确定遥控器20相对于用户10的位置。系统70可以确定用户10是否将遥控器20保持在他或她的手中,例如,通过分析视频数据以利用任何可用的对象识别技术来识别对象(例如用户的手和遥控器20)的图像。如果用户10正握着遥控器20,则系统70可以确定用户10打算通过使用遥控器20来打开车辆30的进入点,并且在这种情况下,系统70可以不采取自动打开进入点的措施。在图1和图2所示的场景100和200中,遥控器20没有被用户10握着而是存放在钱包或背包24中。在这种情况下,系统70需要考虑更多的因素来确定用户10的意图。
在一些实施例中,一旦确定遥控器20不在用户10的手15中,系统70就可以进一步确定用户10是否没有空闲的手来拿取遥控器20,例如,通过分析视频数据以利用任何可用的对象识别技术来识别对象(例如用户的手和用户的手握着的对象)的图像。例如,用户10的双手15可能拿着食品袋或其他携带的物品、或者推着婴儿车或手推车、或者使用助行器,并且因此没有空闲的手。可选择地,用户10可能正在轮椅中或者推着轮椅接近车辆30、或者正佩戴手臂吊带,并且因此不能手动地打开车辆30的任何进入点。在图1和图2所示的场景100和200中,用户10正在推着购物车40,双手15在购物车上,并且因此系统70可以确定用户10没有空闲的手来拿取遥控器20。
在一些实施例中,基于对由一个或多个传感器41-44中的至少一个提供的音频和视频数据执行的分析,系统70可以进一步确定用户10可能打算通过车辆30的多个进入点中的哪一个进入点进入车辆30的内部。如图2所示,车辆30具有至少三个进入点,通过这三个进入点,用户10可以进入其内部,即,后进入点61、右进入点62和左进入点63。这可以通过系统70观察当用户10接近车辆30时他或她的运动轨迹来进行。图2示出了用户10接近车辆30的各种可能的轨迹51、52、53、54和55。例如,如果系统70观察到用户10如何朝向车辆30移动的轨迹51,则系统70可以相应地检测到后进入点61是用户10期望的进入点。可选择地,如果系统70观察到用户10如何朝向车辆30移动的轨迹52,则系统70可以相应地检测到车辆30的右侧上的右进入点62是用户期望的进入点。同样地,如果系统70观察到用户10如何朝向车辆30移动的轨迹53,则系统70可以相应地检测到车辆30的左侧上的左进入点63是用户10期望的进入点。另一方面,一些轨迹,例如图2中所示的轨迹54和55,可以使系统70确定用户10不打算进入车辆30的内部。
在一些实施例中,系统70在确定用户10的意图时可以考虑附近信息。例如,一旦检测到用户10与装载的购物车一起接近车辆30,系统70就可以检查其接收到的附近信息。例如,当附近信息表明购物中心在车辆30被停放的位置附近时,系统70可以确定用户10更可能具有打开后进入点61并且进入车辆30的行李箱的肯定意图。类似地,如果附近信息表明老年中心(senior center)位于车辆30的附近,同时系统70检测到用户10正在与助行器一起接近车辆30,则系统70可以更可能将用户10解释为具有使侧进入点自动打开的肯定意图。附近信息可以被系统70以各种方式接收和利用。在一些实施例中,附近信息可以被系统70以来自车辆30上的全球定位系统(GPS)的数字地图的形式接收。在一些实施例中,附近信息可以被系统70通过卫星从远程高级驾驶员辅助系统(ADAS)无线地接收。
在一些实施例中,在确定用户10是否打算进入车辆30的内部时,相比于用户的运动轨迹(例如,图2中所示的轨迹51-55),系统70可以更多地依赖于来自音频数据和/或视频数据的信息。例如,系统70可以检测用户10的面部表情(例如挑眉)作为来自用户10的他或她打算自动打开后进入点61的指示。例如,用户10的面部表情的检测可以使用基于深度神经网络(DNN)的面部关键点检测系统来执行以找到由系统70的摄像机拍摄到的一个或多个图像中的人的眉毛的位置。在每一个图像中,属于眉毛的点可以使用最近邻域(nearest-neighborhood)来进行聚类。然后,聚类的位置可以在多个图像上进行观察以检测眉毛的抬高和降低。作为另一个示例,系统70可以检测用户10的姿势(例如耸肩)作为来自用户10的他或她打算自动地打开行李箱门61的指示。例如,用户10的耸肩的检测可以通过使用基于DNN的人类姿势估计算法来检测在由系统70的摄像机拍摄到的一个或多个图像中的人的关节的位置来执行。通过在多个图像上定位关节的位置,系统70能够检测用户10的耸肩。作为另一个示例,系统70可以追踪用户10的眼球运动,从而检测用户10盯着车辆30持续预定时间段(例如,几秒)。用户10的眼球运动甚至可以表明用户10期望打开车辆的进入点61、62和63中的哪一个进入点,这也可以由系统70来检测。
一旦已经处理了如上所述的各种因素,系统70就可以确定用户10确实具有进入车辆30的内部的肯定意图。系统70还可以检测可能的进入点(即,车辆进入点61、62和63)之一是用户10期望的进入点。系统70然后可以通过激励设置在车辆30上的一个或多个致动器(图中未示出)来打开期望的进入点。在一些实施例中,致动器可以包括用于进入点的闩锁螺线管(1atch solenoid)和预弹起或动力开启机构(pre-sprung or motorized openingmechanism)。
在一些实施例中,一旦系统70确定用户10的肯定意图以及期望的进入点,期望的进入点的打开就发生。在一些实施例中,当用户10更靠近车辆30时,期望的进入点的打开在稍后的时间发生。
在一些实施例中,即使当用户10没有用于使用遥控器的空闲的手时,用户10进入车辆30的内部以及打开哪一个期望的进入点的意图可以从遥控器20直接被传送到系统70。具体地,用户10可以在他或她接触购物车40并且朝向车辆30移动之前登记打开后进入点61的命令。该命令可以通过按下遥控器20上的一个或多个相应的按钮来登记。当遥控器20进入系统70的通信范围75时,遥控器20可以能够将预先登记的命令传送到系统70。在接收到预先登记的命令之后,可以通知系统70期望打开的进入点并且因此相应地打开它。期望的进入点的打开可以被配置为,一旦系统70接收到重新登记的命令就发生或者在当用户10携带的遥控器20在距车辆30的阈值距离内时的稍后的时间发生。
图3说明了根据本公开的实施例用于打开车辆的进入点的示例过程300。过程300可以包括例如框310、320、330和340以及子框331、332、333、334、335和336所示的一个或多个操作、动作或功能。尽管被示为离散框,但是根据所需的实施方式,过程300的各种框可以被划分为附加框、被组合成更少的框或者被排除。过程300可以由被配置为打开车辆的进入点的系统(包括本文所描述的和图1和图2中所示的系统70)来实施。为了描述的简化而不是限制本公开的范围,下面在示例系统70的背景下描述过程300。过程300可以开始于框310。
在310,过程300可以包含在车辆30上安装、配备或以其它方式设置的系统70接收来自用户10携带的遥控器20的触发信号。框320可以在框310之后。
在320,过程300可以包含系统70接收由车辆30的一个或多个传感器41、42、43和44中的至少一个生成的音频数据和/或视频数据,音频数据和/或视频数据表明用户10接近车辆30。框330可以在框320之后。
在330,过程300可以包含系统70基于从一个或多个传感器41、42、43和44中的至少一个接收到的音频数据和/或视频数据来确定用户10进入车辆30的内部的意图。框330可以包含在子框331、332、333、334、335和336中执行的操作。框330可以开始于子框331。
在331,过程300可以包含系统70分析音频数据和/或视频数据以获取将在以下过程步骤中使用的各种信息。子框332可以在子框331之后。
在332,过程300可以包含系统70检测遥控器20是否被保持在用户10的手中。如果系统70检测到遥控器20被保持在用户10的手中,则系统70可以结束过程300。否则,如果系统70检测到遥控器20没有被保持在用户10的手中,则过程300可以进行到子框333。
在333,过程300可以包含系统70确定用户10是否没有空闲的手或不能手动地打开进入点。如果系统70确定用户10有空闲的手并且能够手动地打开进入点,则系统70可以结束过程300。否则,如果系统70确定用户10没有空闲的手和/或不能手动地打开进入点,则过程300可以进行到子框334。
在334,过程300可以包含系统70检测用户10打算进入车辆30的内部通过的进入点,例如进入点61、62和63之一。具体地,为了确定用户10打算进入车辆30的进入点,系统70可以观察当用户10接近车辆30时用户10的运动轨迹,例如可能的轨迹51、52、53、54和55之一。如果没有检测到用户10期望的进入点,例如在轨迹54和55的情况下,则系统70可以结束过程300。否则,如果检测到用户10期望的进入点,例如在轨迹51、52和53的情况下,则过程300可以进行到子框335。
在335,过程300可以包含系统70利用由系统70接收到的附近信息来帮助确定用户10进入车辆30的内部的意图。例如,系统70可以接收关于车辆30的附近的数字地图数据并且基于数字地图数据来确定车辆30的附近的一种或多种类型的营业所。子框336可以在子框335之后。
在336,过程300可以包含系统70确定用户10是否具有进入车辆30的内部的肯定意图。如果系统70不能确定用户10进入车辆30的内部的肯定意图,则系统70可以结束过程300。否则,如果系统70确定用户10肯定即将进入车辆30的内部,则过程300可以进行到框340。在一些实施例中,用户10进入车辆30的内部的肯定意图可以通过检测用户10盯着车辆30持续预定时间段来确定。在一些实施例中,用户10进入车辆30的内部的肯定意图可以通过检测当用户10接近车辆30时他或她肩膀或眉毛的向上运动(例如,耸肩)来确定。
在340,过程300可以包含系统70打开在子框334确定的期望的进入点处的进入点。这可以通过系统70激励设置在车辆30上的期望进入点处的一个或多个致动器(例如闩锁螺线管和预弹起或动力开启机构)来进行。
图4说明了用于打开车辆30的进入点的系统400。系统400可以是上述系统70的示例实施方式,并且可以被安装、配备或以其他方式设置在车辆(例如车辆30)上。系统400可以包括无线通信模块410,该无线通信模块410被配置为当遥控器20物理上位于距车辆30的范围75内时无线地接收来自遥控器20的信号。接收到的信号可以用作系统400启动过程(例如过程300)的触发器。此外,系统400可以包括存储器430,该存储器430被配置为存储各种构件,例如,数据接收器440、数据分析器450、意图检测器460和通知模块470。系统400还可以包括被配置为执行存储在存储器430中的各种构件的一个或多个处理器,例如处理器420。系统400还可以包括一个或多个传感器480和一个或多个致动器490。在一些实施例中,一个或多个传感器480可以包括如上所述设置在车辆30上的传感器41、42、43和44。在一些实施例中,一个或多个致动器490可以包括设置在车辆30的进入点处并且被配置为打开进入点的闩锁螺线管和预弹起或动力开启机构。
数据接收器440可以被配置为接收表明用户10正在接近车辆30的音频数据和/或视频数据。在一些实施例中,一个或多个传感器480可以包括视频摄像机和/或麦克风,并且被配置为生成音频数据和/或视频数据。
数据分析器450可以被配置为分析音频数据和/或视频数据,从而获取有用信息。数据分析器450可以包括遥控器检测器452和空闲的手检测器454。遥控器检测器452可以通过分析音频数据和/或视频数据来检测遥控器20相对于用户10的位置。也就是说,遥控器检测器452可以检测遥控器20位于用户10携带的钱包或背包24中。遥控器检测器452可以识别遥控器20是否被保持在用户10的手中。空闲的手检测器454可以检测用户10是否具有可用于手动地打开车辆30的进入点的空闲的手。
意图检测器460可以被配置为检测用户10进入车辆30的内部的意图。意图检测器460可以包括轨迹分析器462、姿势和眼球检测器464以及附近信息模块466。轨迹分析器462可以被配置为分析用户10当他或她接近车辆30时的运动轨迹,例如图2中的可能轨迹51、52、53、54和55。当用户10显示出像轨迹51、52或53那样的运动轨迹时,轨迹分析器462可以确定用户10具有进入车辆30的内部的意图。此外,轨迹分析器462可以通过分析用户10正在接近车辆30的轨迹来确定车辆30的多个进入点之一(例如,进入点61、62和63之一)为用户10打算进入车辆30的内部的进入点。另一方面,当用户10显示出像轨迹54和55那样的运动轨迹时,轨迹分析器462可以确定用户10没有进入车辆30的内部的意图。姿势和眼球检测器464可以被配置为检测用户10的姿势、眼球运动和面部特征(例如耸肩、注视和/或挑眉)作为用户10打算进入车辆30的内部的指示。附近信息模块466可以被配置为从车载源(例如,在车辆30上提供的GPS)或远程源(例如,远程ADAS)接收关于车辆附近的数字地图数据。车辆附近的一种或多种类型的营业所可以从数字地图中确定以帮助确定用户进入车辆30的内部的意图。例如,数据分析器450可以检测用户10正在接近车辆30,双手拿着购物袋,同时附近信息模块466确定附近有购物中心。系统400可以由此确定用户10有较高的机会想要进入车辆30内部以将购物袋存放车辆30中。作为另一个示例,数据分析器450可以检测用户10正在轮椅中或者推着轮椅接近车辆30,同时附近信息模块466确定在停放车辆30的地方旁边有老年中心。系统400可以由此确定用户10有较高的机会想要打开侧进入点(例如,右进入点620)并且操纵轮椅进入车辆30。
一旦确定用户10确实具有进入车辆30的内部的意图,通知模块470就可以立即或在稍后的时刻通知一个或多个致动器490打开被确定为用户10的期望的进入点的车辆的进入点61、62和63之一。
根据本公开的各种实施例的系统和方法产生了许多优点。优点至少包括当用户在接近车辆时没有空闲的手或者不能手动地打开进入点时,解锁和打开用户期望的车辆的进入点。
本文中使用冠词“一(a/an)”来指代一个或一个以上(即,至少一个)语法对象。举例来说,“用户”是指一个用户或一个以上用户。贯穿本说明书,参考“一个实施例”、“一实施例”,“一个示例”或“一示例”是指关于实施例或示例描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。因此,贯穿本说明书的各个地方出现的短语“在一个实施例”、“在一实施例中”、“一个示例”或“一示例”未必都指同一实施例或示例。此外,特定特征、结构、数据库或特性可以以任何合适的组合和/或子组合被组合在一个或多个实施例或示例中。此外,应当领会的是,随说明书提供的附图是用于对本领域技术人员说明的目的,并且附图不一定按比例绘制。
根据本公开的实施例可以被实施为装置、方法或计算机程序产品。因此,本公开可以采取完全由硬件构成的实施例、完全由软件构成的实施例(包括固件、驻留软件、微代码或诸如此类)、或组合所有总体上本文可以被称为“电路”、“模块”或“系统”的软件和硬件方面的实施例的形式。此外,本公开的实施例可以采取体现在具有体现在介质中的计算机可用程序编码的任何有形表达介质中的计算机程序产品的形式。
附图中的流程图和框图说明根据本公开的各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。关于这点,流程图或框图中的每一个框可以表示模块、段或代码的一部分,代码包含用于实施指定逻辑功能的一个或多个可执行指令。还应当指出的是,框图和/或流程图的每一个框、以及框图和/或流程图中的框的组合可以由执行指定功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实施。这些计算机程序指令还可以被存储在可以引导计算机或其它可编程数据处理设备来以特定方式运作的计算机可读介质中,使得存储在计算机可读介质中的指令产生包括实施在流程图和/或框图的一个框或多个框中指定的功能/动作的指令手段的制品。
虽然就某些实施例描述了本公开,但是鉴于本公开的好处,对本领域普通技术人员来说,包括不提供本文所阐述的全部好处和特征的实施例的其它实施例将是显而易见的,这也在本公开的范围之内。应该理解的是,在不脱离本公开的范围的前提下,可以利用其他实施例。

Claims (15)

1.一种方法,所述方法包含:
通过车辆上的系统接收表明用户正在接近所述车辆的音频或视频数据;
由所述系统基于所述音频或视频数据以及所述车辆附近的一种或多种类型的营业所来确定所述用户关于进入所述车辆的内部的意图;以及
由所述系统响应于所述确定而打开所述车辆的进入点。
2.根据权利要求1所述的方法,其中接收表明所述用户正在接近所述车辆的所述音频或视频数据包含从摄像机接收表明所述用户正在接近所述车辆的视频。
3.根据权利要求1所述的方法,其中确定所述用户的所述意图包含分析所述视频数据来确定所述用户是否没有空闲的手或不能手动地打开所述进入点处的车门。
4.根据权利要求3所述的方法,其中所述视频数据表明所述用户正在与手推车、与婴儿车、与助行器或与轮椅一起接近所述车辆。
5.根据权利要求1所述的方法,其中确定所述用户的所述意图包含分析所述视频数据以检测所述用户盯着所述车辆持续预定时间段。
6.根据权利要求1所述的方法,其中确定所述用户的所述意图包含分析所述视频数据以检测所述用户的肩膀或眉毛的向上运动。
7.根据权利要求1所述的方法,其中确定所述用户的所述意图进一步包含:
观察表明所述用户正在接近所述车辆的所述用户的运动轨迹;以及
基于所述轨迹来确定所述车辆的多个进入点之一为所述用户打算进入所述车辆的所述内部通过的所述进入点。
8.根据权利要求1所述的方法,进一步包含:
由所述系统接收关于所述车辆的附近的数字地图数据;以及
由所述系统基于所述数字地图数据来确定所述车辆的所述附近的所述一种或多种类型的营业所。
9.一种可在车辆中实施的系统,所述系统包含:
致动器,所述致动器能够打开和关闭所述车辆的进入点;
一个或多个传感器,所述传感器能够感测表明用户正在接近所述车辆的音频或视频数据;以及
处理器,所述处理器连接到所述致动器和所述一个或多个传感器,所述处理器能够:
从所述一个或多个传感器接收所述音频或视频数据;
基于所述音频或视频数据以及所述车辆附近的一种或多种类型的营业所来确定所述用户关于进入所述车辆的内部的意图;以及
响应于所述确定而控制所述致动器以打开所述进入点。
10.根据权利要求9所述的系统,其中在确定所述用户的所述意图时,所述处理器能够分析所述视频数据来确定所述用户是否没有空闲的手或不能手动地打开所述进入点处的车门。
11.根据权利要求10所述的装置,其中所述视频数据表明所述用户正在与手推车、与婴儿车、与助行器或与轮椅一起接近所述车辆。
12.根据权利要求9所述的系统,其中在确定所述用户的所述意图时,所述处理器能够分析所述视频数据以检测所述用户盯着所述车辆持续预定时间段。
13.根据权利要求9所述的系统,其中在确定所述用户的所述意图时,所述处理器能够分析所述视频数据以检测所述用户的肩膀或眉毛的向上运动。
14.根据权利要求9所述的系统,其中在确定所述用户的所述意图时,所述处理器能够:
观察表明所述用户正在接近所述车辆的所述用户的运动轨迹;以及
基于所述轨迹来确定所述车辆的多个进入点之一为所述用户打算进入所述车辆的所述内部通过的所述进入点。
15.根据权利要求9所述的系统,其中所述处理器进一步能够:
接收关于所述车辆的所述附近的数字地图数据;以及
基于所述数字地图数据来确定所述车辆的所述附近的所述一种或多种类型的营业所。
CN201811606330.XA 2016-02-17 2018-12-26 使用与用户相关的音频或视频数据打开车辆进入点的方法和系统 Pending CN110936918A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/045,890 US9816308B2 (en) 2016-02-17 2016-02-17 Methods and systems for opening of a vehicle access point using audio or video data associated with a user
US16/138,437 2018-09-21
US16/138,437 US10508485B2 (en) 2016-02-17 2018-09-21 Methods and systems for opening of a vehicle access point using audio or video data associated with a user

Publications (1)

Publication Number Publication Date
CN110936918A true CN110936918A (zh) 2020-03-31

Family

ID=59410020

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910724875.9A Pending CN110406497A (zh) 2016-02-17 2017-02-10 使用与用户相关的音频或视频数据打开车辆进入点的方法和系统
CN201710073301.0A CN107089206A (zh) 2016-02-17 2017-02-10 用于打开车辆进入点的方法和系统
CN201811606330.XA Pending CN110936918A (zh) 2016-02-17 2018-12-26 使用与用户相关的音频或视频数据打开车辆进入点的方法和系统

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201910724875.9A Pending CN110406497A (zh) 2016-02-17 2017-02-10 使用与用户相关的音频或视频数据打开车辆进入点的方法和系统
CN201710073301.0A CN107089206A (zh) 2016-02-17 2017-02-10 用于打开车辆进入点的方法和系统

Country Status (4)

Country Link
US (3) US9816308B2 (zh)
CN (3) CN110406497A (zh)
DE (1) DE102017102945A1 (zh)
MX (1) MX2017002131A (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372600A1 (en) * 2015-01-16 2017-12-28 Nokia Technologies Oy Method, apparatus, and computer program product for local control through intermediate device
US10560519B2 (en) 2016-06-03 2020-02-11 VIMOC Technologies, Inc. Sensory data capture and processing for the Internet of Things
US10173643B2 (en) * 2017-02-20 2019-01-08 Ford Global Technologies, Llc Object detection for vehicles
US10102702B1 (en) * 2017-08-01 2018-10-16 Ford Global Technologies, Llc Automotive powered door activation using accelerometer
US10796202B2 (en) 2017-09-21 2020-10-06 VIMOC Technologies, Inc. System and method for building an edge CNN system for the internet of things
CN108487820B (zh) * 2018-03-07 2019-12-27 常州信息职业技术学院 一种电子检测闭合装置
DE102018005293A1 (de) * 2018-07-03 2020-01-09 Psa Automobiles Sa Fahrzeug und Verfahren zum Steuern einer Tür und/oder einer Laderaumklappe eines Fahrzeugs
GB2579539A (en) * 2018-10-04 2020-07-01 Jaguar Land Rover Ltd Vehicle controller
CN111219117A (zh) * 2018-11-26 2020-06-02 宝沃汽车(中国)有限公司 控制车辆后背门开启的方法、装置、检测系统及车辆
DE102019109689A1 (de) * 2019-04-12 2020-10-15 Bayerische Motoren Werke Aktiengesellschaft Steuereinheit und Verfahren zum Betrieb einer automatischen Klappe und/oder Tür
US10726651B1 (en) 2019-05-14 2020-07-28 Rydeen North America, Inc. System for enabling door of vehicle to open or close upon a vocal command
DE102019212231A1 (de) * 2019-08-15 2021-02-18 Volkswagen Aktiengesellschaft Verfahren zur Tür- oder Klappenbedienung bei einem Fahrzeug, Authentifizierungselement sowie Fahrzeug
US10850665B1 (en) * 2019-08-15 2020-12-01 Vantage Mobility International, Llc Proximity warning system for parked vehicles

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57191123A (en) * 1981-05-20 1982-11-24 Nissan Motor Co Ltd Safety device in auto door
US6323761B1 (en) * 2000-06-03 2001-11-27 Sam Mog Son Vehicular security access system
US20060294393A1 (en) * 2005-06-24 2006-12-28 Mc Call Clark E Remote biometric registration for vehicles
US7688179B2 (en) * 2005-12-12 2010-03-30 Denso International America, Inc. Hands-free vehicle door opener
FR2920172B1 (fr) * 2007-08-21 2009-12-04 Valeo Securite Habitacle Procede de deverrouillage automatique d'un ouvrant de vehicule automobile pour systeme mains-libre et dispositif pour la mise en oeuvre du procede
FR2936546B1 (fr) 2008-10-01 2017-03-10 Valeo Securite Habitacle DEVICE FOR AUTOMATICALLY UNLOCKING AN AUTOMATIC VEHICLE OPENING.
DE102012222175A1 (de) * 2012-12-04 2014-06-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Öffnen einer Tür eines Fahrzeugs
KR20140076835A (ko) 2012-12-13 2014-06-23 현대자동차주식회사 소리기반 핸즈프리 트렁크 도어 개방 장치 및 그 방법
CN104163149B (zh) 2013-05-15 2016-08-10 观致汽车有限公司 一种车辆行李箱盖开启控制方法及系统
TW201514951A (zh) 2013-10-15 2015-04-16 Novatek Microelectronics Corp 等化方法及其驅動裝置
US9499125B2 (en) * 2013-10-29 2016-11-22 Volkswagen Aktiengesellschaft Vehicle system for activating a vehicle component to provide vehicle access

Also Published As

Publication number Publication date
CN107089206A (zh) 2017-08-25
US10151136B2 (en) 2018-12-11
US20170234053A1 (en) 2017-08-17
US20180002972A1 (en) 2018-01-04
US9816308B2 (en) 2017-11-14
US20190032390A1 (en) 2019-01-31
US10508485B2 (en) 2019-12-17
CN110406497A (zh) 2019-11-05
MX2017002131A (es) 2018-08-08
DE102017102945A1 (de) 2017-08-17

Similar Documents

Publication Publication Date Title
EP2945137B1 (en) Mobile terminal and vehicle control
KR101895138B1 (ko) 차량 구성요소를 활성화하기 위한 차량 시스템
US10150448B2 (en) Autonomous vehicle unauthorized passenger or object detection
EP3285160A1 (en) Intention recognition for triggering voice recognition system
JP6461480B2 (ja) 車両内でのバイオメトリック識別を実行するシステム及び方法
CN103935324B (zh) 用于车辆门禁控制的方法和装置
CN103648853B (zh) 用于控制车辆的舱盖的方法及相关车辆
US10023427B2 (en) Touchless gesture recognition for elevator service
US20180038148A1 (en) Vehicle front door power opening system
CN103870802B (zh) 使用指谷操作车辆内的用户界面的系统和方法
CN105539357B (zh) 车辆安全系统、车辆控制方法及装置
Park et al. Multimodal execution monitoring for anomaly detection during robot manipulation
US20170220040A1 (en) Smart luggage systems
WO2019227774A1 (zh) 车辆及车门解锁控制方法、装置和车门解锁系统
Abouelnaga et al. Real-time distracted driver posture classification
Mekhalfi et al. Recovering the sight to blind people in indoor environments with smart technologies
CN104010914B (zh) 用于辨识车辆乘员的系统、方法和装置
JP4419672B2 (ja) 車両内忘れ物防止装置
CN105487651B (zh) 用于车辆的进入系统
US10099636B2 (en) System and method for determining a user role and user settings associated with a vehicle
US20140279733A1 (en) Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform
US20170103592A1 (en) Automated door and gate lock/unlock
EP3345138A1 (en) Access and control for driving of autonomous vehicle
US9963107B2 (en) System for remotely opening a land-vehicle door
Kwolek et al. Fuzzy inference-based fall detection using kinect and body-worn accelerometer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication