CN104968532B - 基于图像识别和射频的车辆机电系统触发 - Google Patents

基于图像识别和射频的车辆机电系统触发 Download PDF

Info

Publication number
CN104968532B
CN104968532B CN201380072219.6A CN201380072219A CN104968532B CN 104968532 B CN104968532 B CN 104968532B CN 201380072219 A CN201380072219 A CN 201380072219A CN 104968532 B CN104968532 B CN 104968532B
Authority
CN
China
Prior art keywords
gesture
vehicle
image
transponder
camera
Prior art date
Application number
CN201380072219.6A
Other languages
English (en)
Other versions
CN104968532A (zh
Inventor
P·托菲列斯库
R·C·格瑞尔斯
Y·马特科夫斯基
Original Assignee
伟创力汽车有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to PCT/CA2012/050886 priority Critical patent/WO2013082725A1/en
Priority to CAPCT/CA2012/050886 priority
Priority to US201361812062P priority
Priority to US61/812,062 priority
Application filed by 伟创力汽车有限公司 filed Critical 伟创力汽车有限公司
Priority to PCT/CA2013/050945 priority patent/WO2014089696A1/en
Publication of CN104968532A publication Critical patent/CN104968532A/zh
Application granted granted Critical
Publication of CN104968532B publication Critical patent/CN104968532B/zh

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/2045Means to switch the anti-theft system on or off by hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/2054Means to switch the anti-theft system on or off by foot gestures
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05FDEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00Power-operated mechanisms for wings
    • E05F15/70Power-operated mechanisms for wings with automatic actuation
    • E05F15/77Power-operated mechanisms for wings with automatic actuation using wireless control
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 – G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/02 - G06F3/16, e.g. facsimile, microfilm
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05FDEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00Power-operated mechanisms for wings
    • E05F15/70Power-operated mechanisms for wings with automatic actuation
    • E05F15/73Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/767Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

这里描述一种基于图像识别和射频系统来激活车辆机电系统的系统和方法。所述系统包括用于接收来自应答器的无线通信信号的射频(RF)天线。RF控制器验证应答器与所述车辆相关联。在检测和验证了应答器时,相机系统捕获图像,并且图像处理引擎确定所述图像是否包含与针对所述机电系统的命令相关联的有效手势。如果所述手势是有效的,则控制器触发所述机电系统来执行命令。例如,所述命令可以是激活或去激活命令。

Description

基于图像识别和射频的车辆机电系统触发

[0001] 相关申请的交叉引用

[0002] 本申请要求享有2013年4月15日提交的申请号为61 /812,062的美国临时申请的权益,并且是2012年12月10日提交的申请号为PCT/CA2012/050866的PCT专利申请的继续部分申请,该PCT专利申请要求享有2011年12月9日提交的申请号为61/568,828的美国临时申请的权益,这些申请的内容通过引用合并到本申请中。

技术领域

[0003] 本申请涉及车辆电子。

背景技术

[0004] 车辆具有多个机电系统,包括自动动力升降门、行李箱盖或罩、天窗、滑动门、门、遥控应答器(transponder)、钥匙扣(keyfob)、安全气囊、无线远程起动器、声控电话、声音系统、全球定位系统、座椅定位、温度控制、灯光控制等。由于安全或便利原因,用户可能希望在接近车辆时或者在车辆中时使用机电系统的非接触式激活。

发明内容

[0005] 这里描述一种基于图像识别和射频系统来激活车辆机电系统的系统和方法。所述系统包括用于接收来自应答器的无线通信信号的射频(RF)天线。RF控制器验证应答器与所述车辆相关联。在检测和验证了应答器时,像机系统捕获图像,并且图像处理引擎确定所述图像是否包含与针对所述机电系统的命令相关联的手势。如果所述手势是有效的,则控制器触发所述机电系统来执行所述命令。例如,所述命令可以是激活或去激活命令。

附图说明

[0006] 图1是自动入口系统的实施方式;

[0007] 图2是模块化自动像机方案(MACS模块)的实施方式;

[0008] 图3是图像处理引擎(IPE)模块的实施方式;

[0009] 图4A和图4B是具有与针对MACS和IPE模块的其他电路的连接的功率管理电路的实施方式;

[0010] 图5是具有与针对MACS和IPE模块的其他电路的连接的使能电路和本地互连网络电路的实施方式;

[0011] 图6是具有与针对MACS和IPE模块的其他电路的连接的微控制器电路的实施方式;

[0012] 图7是连接图6的微控制器电路和图8的图像传感器的电路的实施方式;

[0013] 图8是具有与针对MCS和IPE模块的其他电路的连接的图像传感器的实施方式;

[0014] 图9是具有与针对MACS和IPE模块的其他电路的连接的并串转换器的实施方式;

[0015] 图10是具有集成在一起的MACS模块和IPE模块的自动入口系统的实施方式;

[0016] 图11是具有集成在一起的动力升降门模块(PLGM)和IPE模块的自动入口系统的实 施方式;

[0017] 图12是用于基于图像识别和射频系统来激活车辆机电系统的系统的实施方式;

[0018] 图13是用于基于图像识别和射频系统来激活车辆机电系统的系统的另一实施方式;

[0019] 图14是用于基于图像识别和射频系统来激活车辆机电系统的系统的另一实施方式;

[0020] 图15是自动像机模块的实施方式;

[0021] 图16是图像处理引擎(IPE)模块的实施方式;

[0022] 图17是用于基于图像识别和射频系统来激活车辆机电系统的系统的另一实施方式;

[0023] 图18是用于基于图像识别和射频系统来激活车辆机电系统的示例性方法;以及

[0024] 图19是用于基于图像识别和射频系统来激活车辆机电系统的另一种示例性方法。

具体实施方式

[0025] 应当理解,为了更清楚地理解,已经简化了用于基于图像识别和射频系统来激活或触发车辆机电系统的预定功能的系统和方法的实施方式的附图和描述,以便解释相关的元件,同时为了清楚,排除了典型车辆系统中的许多其他元件。本领域技术人员可以认识至IJ,在实现本发明时期望和/或需要其他元件和/或步骤。但是,因为这种元件和步骤是本领域公知的,并且因为它们不利于更好地理解本发明,这里没有提供对这种元件和步骤的讨论。

[0026] 这里描述的非限制性实施方式是关于用于基于图像识别和射频系统来激活或触发车辆机电系统的预定功能的系统和方法。根据这些教导,在不偏离这里描述的精神或范围的情况下,也可以使用其他电子设备、模块和应用。在保持在权利要求的精神和范围内的同时,可以针对各种应用和用途来修改用于基于图像识别和射频系统来激活或触发车辆机电系统的预定功能的系统和方法。这里描述的和/或附图显示的实施方式和变化是通过示例提出的,并且不限于所述范围和精神。虽然这里可能是针对特定实施方式来描述的,但是这里的描述可应用于用于基于图像识别和射频系统来激活或触发车辆机电系统的预定功能的系统和方法的所有实施方式。

[0027] 图1是自动入口系统10的一个实施方式。自动入口系统10包括通过通信总线(COMM)与图像处理引擎(IPE) 20通信的MACS模块15,该COMM可以是本地互连网(LIN)总线或线路输入。IPE 20通过控制器区域网络(CAN)总线与动力升降门模块(PLGM) 25和射频(RF)集线器30通信。

[0028] 可选地,RF集线器30将检测和识别钥匙扣35或者某个其他类似设备并且发送使能或唤醒信号给IPE 20, IPE 20继而将将使能或唤醒信号发送给MACS模块15 JACS模块15将发送图像或视频信息给IPE 20。该信息可以是模拟或数字信号。例如,模拟信号可以是国家电视系统委员会(NTSC)复合视频信号。IPE 20使用图像处理算法来确定人是否站在汽车后面。例如,该算法可以是基于光、轮廓、或颜色梯度变化的。该算法的鲁棒性足以区别站在车辆旁边的人和行人。如果IPE 20确定人站在车辆后面,则IPE 20发送打开信号(opensignal)给PLGM 25以便打开升降门。

[0029] 图2是MACS模块100的一个实施方式。MACS模块100包括连接到微控制器140、图像传感器125、以及并串转换器130 (如果可用的话)的功率管理模块120。微控制器(MCU) 140还可以连接到本地互连网(LIN)收发机150和图像传感器125,该图像传感器125可以继而连接到并串转换器130。

[0030] MACS模块100接收来自被动输入系统(passive entry system) 195的电池电压155和使能信号160作为输入。功率管理模块120转换电池电压155,并将所需的电压提供给MCU140、图像传感器125、以及并串转换器130 (如果可用)。图像传感器125是基于互补金属氧化物半导体(CMOS)传感器的相机。当标识被认证或验证时(例如检测到钥匙扣),使能信号160被发送给功率管理模块120和M⑶140 JACS模块100可以被配置为从图像传感器125输出模拟的国家电视系统委员会(NTSC)复合视频信号185和/或通过并串转换器130中的低压差分信令(LVDS)输出来输出数字视频180丄預收发机150被配置为经由LIN总线170来与车辆中的其他车辆电子组件或模块(例如被动输入系统/模块和动力升降门模块(PLGM) 190)进行通信。

[0031] 一般地,MACS模块100被配置为识别用户的存在性和控制例如升降门的打开。MACS模块100作为后视相机模块安装在车辆中,并且与被动输入系统和PLGM—起工作。MACS模块100起传感器的作用从而作为升降门驱动系统/机电控制机制的一部分。MACS模块也可以用于最小配置中作为自动后视相机,或者可以与主模块结合用于如鸟眼视图、盲点检测等驾驶员辅助应用中的图像处理中。

[0032] 图3是图像处理引擎(IPE)模块200的一个实施方式,该IPE模块200包括连接到数字信号处理器(DSP) 215以及串并转换器220 (如果可应用或可用)的功率管理模块210 ASP215还可以连接到本地互连网(LIN) /控制器区域网(CAN)收发机230以及串并转换器220。LIN收发机230被配置为经由LIN/CAN总线245来与车辆中的其他车辆电子组件或模块(例如被动输入系统/模块和PLGM 190)进行通信。

[0033] IPE 200接收电池电压240和视频信息信号250作为输入。功率管理模块210转换电池电压240,并将所需电压提供给DSP 215、以及串并转换器220 (如果需要)。视频信号250由串并转换器220接收,该串并转换器220继而将视频信息信号250发送给DSP 215以进行分 析。

[0034] IPE 200执行图像处理,并且与PLGM 190和MACS模块100进行通信。IPE 200接收视频信息信号250,并且基于DSP 215中的图像处理算法来决定人是否站在汽车后面。例如,该算法可以是基于光、轮廓、或颜色梯度变化的。该算法区别站在车辆旁边的人和行人。在肯定确定的情况下,IPE 200经由LIN收发机230通过LIN/CAN总线245向PLGM 190通信以便打开升降门。

[0035] 可选地,人将会需要携带正确的标识,例如钥匙扣或其它类似标识,并且在MACS模块100的后视相机的视野中。被动输入系统195检测和/或认证钥匙扣,并且发送使能信号160给PLGM 190,、IPE 200和MACS模块100。IPE 200读取由MACS模块100的后视相机/图像传感器125捕获的图像,并且确定是否应当打开升降门。在一个实施方式中,人可能需要以预定方式做手势,例如在后视相机(其可以位于车牌上、车牌灯条内)前面挥动膝盖,以便确保或增大检测算法的可靠性或鲁棒性。所述决定被传达给控制升降门的PLGM 190。

[0036] 图4A-9显示了 MACS模块100的一个实施方式。功率管理模块120可以包括示例性开 关电源电路300和示例性线性低压差稳压器电路305,其实施方式在图4A和4B中示出。开关电源电路300被配置为将电池电压转换成微控制器140、并串转换器130、以及图像传感器125的模拟和内部电路所需的3.3V。线性低压差稳压器电路305被配置为将3.3V转换成图像传感器125的数字核心所需的1.5V。

[0037] 图5显示了使能电路410和LIN电路420的一个实施方式。使能电路410是允许相机模块根据外部线路输入而被唤醒的数字输入接口。在后视相机应用的情况下,该输入可以是备用灯信号。LIN电路420包括LIN收发机集成电路(IC) 425,该LIN收发机IC 425将LIN总线170与MCU 140连接。LIN电路420还可以用于根据总线请求唤醒MACS模块100,并且可以用于MCU 140再闪烁(re-flashing)。其也可以用于图像传感器125中的寄存器的远程和/或实时更新。例如,对于使用四个相机时的鸟视图应用,每个相机的图像传感器参数需要被控制为特定光条件的函数。如果IPE 200需要控制和/或调整MACS模块100/相机参数,则这也可以应用于升降门控制应用。

[0038] 图6显示了微控制器电路140的一个实施方式,并且图7显示了将图6的微控制器电路140和图8的图像传感器700互连的电路600的一个实施方式。微控制器电路140在功率重置之后通过I2C总线来更新图像传感器700上的寄存器。它通过图4A中显示的R1、R2电阻分压器网络来监控车辆电池电压。它还经由电路600和图9所示的并串转换器电路130的并串转换器IC 805 (即输出管脚8和20)来控制图像传感器700的上电/掉电。微控制器电路140经由图5所示的LIN电路420与车辆中的其他模块进行通信。

[0039] 图8显示了图像传感器700的一个实施方式,其可以是例如Omni vision®0V07955, 一个自动视频图像阵列(VGA)传感器。图像传感器700输出模拟视频信号(即NTSC)和8比特的数字视频信号。例如,模拟视频信号是图9中的NTSC信号185。

[0040] 图9显示了并串转换器电路130的一个实施方式,该并串转换器电路130包括并串转换器IC 805。并串转换器IC 805处理并行数字视频输出和垂直同步信号(VSYNC)、水平同步信号(HSYNC)和像素时钟信息,并且输出两路差分串行信号。该信号被发送给IPE 200,并且用于检测驾驶员是否存在于车辆后面。

[0041] 图10是自动入口系统1000的一个实施方式,该自动入口系统1000具有集成在一起的MACS模块和IPE模块。自动入口系统1000部分位于升降门1005处,并且包括如上所述互连的驱动系统1015、MACS模块1020以及PLGM 1010 JACS模块1020包括IPE子模块1030和MACS子模块1025。自动入口系统1000针对任一实施方式如上所述来运行或工作。

[0042] 图11是自动入口系统1100的一个实施方式,该自动入口系统1100具有集成在一起的动力升降门模块(PLGM)和IPE模块。自动入口系统1100部分位于升降门1105处,并且包括如上所述互连的PLGM 1110、驱动系统1115、以及MACS模块1120。PLGM模块111 0包括PLGM子模块1125和IPE子模块1130。自动入口系统1100针对任一实施方式如上所述来运行或工作。在另一实施方式中,IPE可以是后带(rear zone)模块电子封装的一部分。

[0043] 图12是用于基于图像识别和射频(RF)系统来激活或触发车辆机电系统的预定功能的系统1200的一个实施方式。该系统1200包括通过通信总线(COMM)与图像处理引擎(IPE) 1210通信的自动相机模块1205,该COMM可以是LIN总线、CAN总线、线路输入或任意其他汽车通信系统或网络。自动相机模块1205可以是能够捕获图像的任意自动相机,并且在一些实施方式中可以包括图像分析引擎。如下所述,自动相机模块1205可以包括多个相机 模块。IPE 1210通过CAN总线、线路输入或任意其他汽车通信系统或网络与电子控制单元(ECU) 1215和射频(RF)集线器1220通信。E⑶1215是可通过使用图像识别和射频系统而被激活的机电系统的控制器。ECU1215可以是一个控制器或多个控制器,其中多个控制器可以通过使用汽车通信系统、网络或总线而与彼此通信。虽然这里描述为机电,但是为了进行描述,机电系统可以替换为电、无线、光、光电、光机电(例如针对机电的光纤)等。机电系统可以是ECU被配置为响应于用户手势而进行控制的车辆的任意系统。机电系统可以例如但不限于包括自动动力升降门、行李箱盖或罩、天窗、滑动门、门、遥控应答器、钥匙扣、安全气囊、无线远程起动器、声控电话、声音系统、全球定位系统、座椅定位、温度控制、灯光控制等。

[0044] 一般地,RF集线器1220将会检测和识别钥匙扣1225和一些其他类似设备,并且发送使能或唤醒信号给IPE 1210,该IPE 1210将继而发送使能或唤醒信号给自动相机模块1205。自动相机模块1205将发送图像或视频信息给IPE 1210。该信息可以是模拟或数字信号。例如,模拟信号可以是国家电视系统委员会(NTSC)复合视频信号。IPE 1210使用图像处理算法来确定人是否在做关于特定机电系统的手势。如果IPE 1210确定人在做执行关于特定机电系统的预定功能的手势,则IPE 1210发送信号给ECU 1215以触发机电系统处的预定功能。

[0045] 图13是用于基于RF系统和/或图像/手势识别来激活或触发机电系统的预定功能的系统1300的一个实施方式。系统1300包括如这里所述互连的相机模块1305、RF系统1310以及ECU 1320。相机模块1305包括IPE子模块1330和相机子模块1340。相机模块1305可以位于如以下所述的车辆上的关键位置。RF系统1310包括RF天线1350和RF控制器1360。在一些实施方式中,RF控制器1360可以是ECU 1320的一部分。如下面所述,响应于接收到来自RF系统1310的表明人/用户正在接近车辆的信号,ECU 1320警告相机1305来捕获并分析人做出的任意手势。如果相机1305已经确定人已经做出了执行关于机电系统1370的预定功能的手势,则ECU 1320将会触发机电系统1370。

[0046] 图14是用于基于RF系统和图像/手势识别来激活或触发机电系统的预定功能的系统1400的另一实施方式。系统1400包括如这里所述互连的相机模块1405、RF系统1410和E⑶1420 ACU 1420包括IPE子模块1430 AF系统1410包括RF天线1450和RF控制器1460。在一些实施方式中,RF控制器1460可以是ECU 1420的一部分。如下面所述,响应于接收到来自RF系统1410的表明人/用户正在接近车辆的信号,E⑶1420警告相机1305来捕获人做出的任意手势。IPE子模块1430之后确定是否已经做出了执行关于机电系统1470的预定功能的手势。如果IPE子模块1430已经确定人已经做出了执行关于机电系统1470的预定功能的手势,则ECU 1420将会触发机电系统1470。

[0047] 图15是用于基于图像识别和射频系统来激活或触发车辆机电系统的预定功能的系统的相机模块1500的一个实施方式。在该实施方式中,为了进行解释,相机模块1500是MACS模块。在其他实施方式中,相机模块1500可以是能捕获图像的任意车辆相机模块。

[0048] 在该实施方式中,仅为了说明,相机模块1500包括连接到微控制器(MCU) 1510、图像传感器1515、以及并串转换器1520 (如果可用)的功率管理模块1505 J⑶1510还可以连接到本地互连网(LIN)收发机1525和图像传感器1515,该图像传感器1515可以继而连接到并串转换器1520。相机模块1500可以使用任意汽车通信系统、网络或总线来与其他汽车系 统进行通信。

[0049] 在该实施方式中,仅为了说明,相机模块1500接收来自RF系统1540的电池电压1530和使能信号1535来作为输入。可替换地,使能信号1535可以经由E⑶1560而被发送。功率管理模块1505转换电池电压1530,并且将所需的电压提供给M⑶1510、图像传感器1515、以及并串转换器1520 (如果可用)。图像传感器1515是互补金属氧化物半导体(CMOS)传感器。当标识被认证或验证时(例如通过使用RF系统1540而检测到钥匙扣),使能信号1535被发送给功率管理模块1505和M⑶1510。相机模块1500可以被配置为从图像传感器1515输出模拟的国家电视系统委员会(NTSC)复合视频信号1545和/或通过并串转换器1520中的低压差分信令(LVDS)输出来输出数字视频155(LLIN收发机1525被配置为经由LIN总线1555来与ECU 1560进行通信。相机模块1500可以接收来自任意可用源的功率、使用任意类型的图像传感器、以及接收和输出任意类型或形式的数据。

[0050] —般地,相机模块1500被配置为捕获和识别(如果被配置为如这里所述的那样执行这一过程)用户手势以便使能或控制机电系统的激活或者执行关于机电系统的预定功能。如下所述,相机模块1500安装在车辆的多个位置中和位置上,并且与RF系统1540、ECU1560和IPE (如下所述)一起工作。例如,相机模块1500可以在侧视镜、升降门、后视镜等位置 中。

[0051] 图16是图像处理引擎(IPE)模块1600的一个实施方式,该IPE模块1600包括连接到数字信号处理器(DSP) 1600以及串并转换器1615 (如果可应用或可用)的功率管理模块1605ASP 1610还可以连接到LIN/CAN收发机1620以及串并转换器16151IN收发机1620被配置为经由LIN/CAN总线1625来与ECU 1660进行通信。在该实施方式中,仅为了说明,IPE1600接收电池电压1630和视频信息信号1635来作为输入。功率管理模块1605转换电池电压1630,并且将所需的电压提供给DSP 1610、以及串并转换器1615(如果可用)。视频信息信号1635被串并转换器1615接收,该串并转换器1615继而将视频信息信号1635发送给DSP 1610以进行分析。IPE 1600执行图像处理,并与ECU 1360和相机模块(如图12-14所示)通信。IPE1600接收视频信息信号1635,并且基于DSP 1610中的图像处理算法来决定人是否在做手势。在肯定确定的情况下,IPE 1600通过LIN/CAN总线1625经由LIN收发机1620来向ECU1660传达以便激活机电系统。该实施方式是为了说明,并且IPE 1600可以接收来自任意可用源的功率、使用任意类型的处理器、以及接收和输出任意类型或形式的数据。

[0052] 一般地,RF系统检测和/或认证人携带的钥匙扣或其他应答器,并且发送使能或唤醒信号给相机模块以捕获图像或手势。可替换地,使能或唤醒信号经由ECU 1660而被发送。使能或唤醒信号也可以从车辆中预先存在的人检测系统来接收。IPE 1600读取由相机模块的相机/图像传感器捕获的图像,并且确定机电系统是否需要被激活。在一个实施方式中,人可能需要按照预定方式或者使用与机电系统关联的预定功能相对应的预定信号来做手势。例如,一个手势可以解锁门,而另一手势可以锁上门。该决定被传达给ECU1660,该ECU1660触发机电系统。

[0053] 图17是使得人能够使用手势来激活或触发与机电系统相关联的预定功能的车辆1700的一个实施方式。车辆1700包括任意结构或组件,包括顶、侧壁、门、窗、保险杠、座椅、镜子等。车辆1700包括RF系统1705、以及这里描述的一个或多个相机模块1710,所有相机模块被连接到一个或多个E⑶1715。相机模块1710位于整个车辆1700中,包括后、前、侧视镜、 后视镜或其它类似位置。

[0054] RF系统1705可以包括被配置为传送和接收RF频率信号的RF控制器1720 AF控制器1720可以被配置为一个单元或多个单元。RF控制器1720可以与一个或多个RF天线1725进行通信。在一个实施方式中,RF天线1725与RF控制器1720之间的通信路径1730可以是线路或无线的。RF天线1725可以采用任意方式耦合到车辆1700。天线1725的数量可以根据车辆之间的大小、模型、类型或任意其它差异而变化。车辆1700可以是任意汽车、铁路、飞机、船舶、或类似消费、商业、军事等交通工具。应答器/钥匙扣1735可以用于经由RF天线1725来与RF控制器1720进行通信。应答器或钥匙扣1735可以是被动应答器或钥匙扣(例如射频标识(RFID)标签)、主动应答器或钥匙扣或半被动应答器或钥匙扣。

[0055] 这里描述的是用于基于图像识别和射频系统来激活或触发车辆机电系统的预定功能的方法,以便与这里描述的实施方式一起使用。

[0056] 图18是用于基于图像识别和射频系统来激活或触发车辆机电系统的预定功能的一种示例性方法的流程图1800 IF系统确定人在接近车辆并且认证人与车辆相关联(1805)。这可以发生在RF系统检测到来自与人在同一位置的应答器或钥匙扣的RF信号时。为了避免不期望或未授权的激活,应答器或钥匙扣可以产生并传达一个或多个认证码,RF系统将该一个或多个认证码认作与各自的车辆相关联。如这里所述,应答器可以是被动、主动或半主动RF系统的一部分。在另一实施方式中,车辆可以具有用于接收代码或口令的小键盘或者用于识别人的传感器,从而位于车辆外部本地的人能够被确定。为了使得功率最小化,RF系统可以被维持在“睡眠”模式并且可以“唤醒”且通过使用一个或多个RF天线来主动确定应答器或钥匙扣是否位于车辆本地。

[0057] 在检测到RF信号时,图像捕获和分析系统被用信号通知以捕获和分析人的手势运动(1810)。手势可以是与特定机电系统或特定机电系统的特定预定功能相关联的预定序列或手势图案。预定序列或手势图案可以是用户专用的。如果图像捕获和分析系统已经确定人已经做出了激活机电系统或执行与机电系统相关联的预定功能相关联的手势,则激活信号或触发由控制系统发送给机电系统(1815)。

[0058] 图19是用于基于图像识别和射频系统来激活车辆机电系统的一种示例性方法的流程图1900。该流程图包括RF检测方法1905和机电系统激活方法1910,两者一起使得人能够通过使用RF检测和手势控制来激活机电系统。如上所述,RF系统可以在睡眠模式中,并且基于预定时间表而唤醒(1920) 〇RF系统之后确定应答器或钥匙扣是否是可检测到的(1925)。如果没有检测到应答器或钥匙扣,则RF系统返回低功率模式或睡眠模式(1930)。然后RF系统在再次检查应答器或钥匙扣是否是可检测到的之前等待预定时间(1935)。

[0059] 如果检测到应答器或钥匙扣,则RF系统接收来自应答器或钥匙扣的授权、认证或验证码(1940)。然后检查所述码以便确定应答器或钥匙扣是否与车辆相关联(1945)。如果所述码不正确,则RF系统返回低功率模式或睡眠模式(1930)。如果所述码正确,则开启定时器,在该定时器内需要捕获、分析图像以及验证手势(1950)。一旦开启了定时器,相机/成像器就被轮询以捕获图像(1955)。一个或多个可视和/或可听指示符可以向人通知图像捕获和分析系统是活动的。如这里所述,图像捕获和分析系统在车辆中或车辆上包括多个相机。这些相机中的一个或多个相机可以被轮询。在一个实施方式中,离检测到应答器或钥匙扣的位置最近的相机可以首先被轮询。相机捕获(1960)和分析手势(1965)以确定是否已经做 出了有效手势。如果所捕获的图像不是有效图像(1970),则然后确定定时器是否仍然运行。如果定时器仍然运行(1975),则对相机的轮询继续(1955),并且重复该过程。如果定时器期满(1980),则系统返回睡眠模式(1930)。

[0060] 如果已经做出了有效手势(1985),则触发机电系统(1990)。相机可以再次被轮询以确定是否已经做出了另外的手势(1955)。应当理解,过程1900是一个示例,并且可替换的或另外的步骤可以被执行并且在说明书的原理的范围内。对于车辆内部的相机,由于假设相机唤醒,因此在无需RF检测方法1905的情况下应用机电系统激活方法1910。

[0061] 如这里所述,这里描述的方法不限于执行任意特定功能的任意特定元件,并且所提出的方法的一些步骤不必按照所显示的顺序进行。例如,在一些情况中,两个或多个方法步骤可以按照不同的顺序或者同时进行。另外,所描述的方法的一些步骤可以是可选的(即使不显性地声明是可选的),并且因此是可以省略的。这里公开的方法的这些或其它变化将是显而易见的,尤其是在根据这里描述的系统的描述的情况下,并且被认为是在本发明的整个范围内。

[0062] 虽然上面以特定组合描述了特征和元素,但是每个特征和元素可以在没有其它特征和元素的情况下单独使用,或者在有或没有其它特征和元素的情况下以不同组合使用。

Claims (14)

1. 一种用于激活车辆中的机电系统的系统,该系统包括: 接收来自应答器的无线通信信号的至少一个射频RF天线; 通信地耦合至所述至少一个RF天线的RF控制器; 附着到所述车辆的至少一个相机,所述至少一个相机捕获所捕获的手势; 通信地耦合至所述至少一个相机的图像处理引擎;以及 通信地耦合至所述图像处理引擎的控制器; 其中所述RF控制器: 验证应答器与所述车辆相关联,以及 在所述应答器被验证与所述车辆相关联的条件下,将所述图像处理引擎的状态从睡眠 状态改变为唤醒状态,所述唤醒状态和所述睡眠针对所述图像处理引擎分别具有升高和降 低的功率水平; 其中当处于所述唤醒状态时,所述图像处理引擎: 确定所捕获的手势是有效命令;以及 其中所述控制器: 在所捕获的手势确定为是有效命令的条件下触发与所述机电系统相关联的预定功能。
2. 根据权利要求1所述的系统,其中所述图像处理引擎与所述相机和所述控制器中的 一者集成在一起。
3. 根据权利要求1所述的系统,其中所述图像处理引擎、所述RF控制器以及所述控制器 集成在一起。
4. 根据权利要求1所述的系统,其中所述RF控制器与所述控制器集成在一起。
5. 根据权利要求1所述的系统,其中所述命令是与所述机电系统或者与所述机电系统 相关联的预定功能相关联的预定手势序列或图案。
6. 根据权利要求1所述的系统,该系统还包括: 其中至少一个相机包括内部相机,其中所述内部相机在所述车辆内部并且捕获内部手 势;并且 其中所述图像处理引擎还确定所述内部手势是有效命令。
7. —种用于激活车辆中的机电系统的方法,该方法包括: 确定与所述车辆相关联的应答器的射频RF检测; 使至少一个图像传感器通电; 在已经检测到所述应答器且所述至少一个图像传感器被通电的条件下由所述至少一 个图像传感器捕获所捕获的手势; 确定所捕获的手势是有效命令;以及 在所捕获的手势是有效命令的条件下触发所述机电系统。
8. 根据权利要求7所述的方法,其中由RF天线接收与所述应答器相对应的无线通信信 号。
9. 根据权利要求7所述的方法,其中图像传感器被轮询以便捕获手势。
10. 根据权利要求9所述的方法,其中位置离检测所述应答器的RF天线最近的图像传感 器首先被轮询。
11. 根据权利要求7所述的方法,其中所述命令是与所述机电系统相关联的预定手势序 列或图案。
12. 根据权利要求7所述的方法,其中所捕获的手势在预定时间内由所述至少一个图像 传感器捕获。
13. 根据权利要求7所述的方法,其中所捕获的手势在预定时间内由所述至少一个图像 传感器捕获并且由手势识别系统分析。
14. 一种包括机电系统的车辆,该车辆包括: 射频RF系统; 通信地耦合至所述RF系统的图像识别系统;和 通信地耦合至所述图像识别系统的控制器; 其中所述RF系统: 检测来自与所述车辆相关联的应答器的无线通信信号,以及 当检测到所述应答器时使所述图像识别系统通电; 其中所述图像识别系统: 在已经检测到所述应答器且所述图像识别系统被通电的条件下捕获所捕获的图像,以 及 确定所捕获的图像包含是有效命令的手势;以及 其中所述控制器在所述手势是有效命令的条件下触发所述机电系统。
CN201380072219.6A 2011-12-09 2013-12-09 基于图像识别和射频的车辆机电系统触发 CN104968532B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/CA2012/050886 WO2013082725A1 (en) 2011-12-09 2012-12-10 Modular automotive camera and image processing system for automated portal entry
CAPCT/CA2012/050886 2012-12-10
US201361812062P true 2013-04-15 2013-04-15
US61/812,062 2013-04-15
PCT/CA2013/050945 WO2014089696A1 (en) 2012-12-10 2013-12-09 Vehicle electromechanical systems triggering based on image recognition and radio frequency

Publications (2)

Publication Number Publication Date
CN104968532A CN104968532A (zh) 2015-10-07
CN104968532B true CN104968532B (zh) 2017-10-27

Family

ID=50933636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380072219.6A CN104968532B (zh) 2011-12-09 2013-12-09 基于图像识别和射频的车辆机电系统触发

Country Status (3)

Country Link
EP (1) EP2928729B1 (zh)
CN (1) CN104968532B (zh)
WO (1) WO2014089696A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101601512B1 (ko) * 2014-10-24 2016-03-09 현대자동차주식회사 자동차의 후면부 장착용 다기능 통합 모듈
US20160281410A1 (en) * 2015-03-23 2016-09-29 Continental Automotive Systems, Inc. Apparatus and method for opening a vehicle gate using a camera
CN106650525B (zh) * 2015-10-30 2021-01-05 宁波轩悦行电动汽车服务有限公司 一种新型电动汽车分时租赁用户认证装置及实现方法
US10137777B2 (en) 2015-11-03 2018-11-27 GM Global Technology Operations LLC Systems and methods for vehicle system control based on physiological traits
US10563448B2 (en) 2015-11-10 2020-02-18 Ford Global Technologies, Llc Approach activated closure entry system for a motor vehicle
US10166995B2 (en) * 2016-01-08 2019-01-01 Ford Global Technologies, Llc System and method for feature activation via gesture recognition and voice command
EP3456592A1 (en) * 2017-09-15 2019-03-20 Nxp B.V. Automobile-person interaction
US20190330908A1 (en) * 2018-04-30 2019-10-31 Pompilian Tofilescu Camera based hands-free power lift gate

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1499344A (zh) * 2002-10-25 2004-05-26 三菱扶桑卡客车公司 手势开关装置
JP2007025767A (ja) * 2005-07-12 2007-02-01 Nikon Corp 画像認識システムと画像認識方法、および画像認識プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005315024A (ja) * 2004-04-30 2005-11-10 Fujitsu Ten Ltd 車両制御装置
JP2009024454A (ja) * 2007-07-23 2009-02-05 Denso Corp 車両ドア制御装置
FR2936545B1 (fr) * 2008-10-01 2017-03-10 Valeo Securite Habitacle DEVICE FOR AUTOMATICALLY UNLOCKING AN AUTOMATIC VEHICLE OPENING.
DE102009030274A1 (de) * 2009-06-24 2010-01-21 Daimler Ag System zum Öffnen und Schließen einer Tür, eines Deckels, einer Klappe oder dgl. eines Kraftfahrzeugs
DE102009044389A1 (de) * 2009-11-02 2011-05-05 Witte-Velbert Gmbh & Co. Kg Tür- oder Heckklappenöffnungseinrichtung
DE102010037509A1 (de) * 2010-09-13 2012-03-15 Huf Electronics Gmbh Sensoreinrichtung für ein Kraftfahrzeug

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1499344A (zh) * 2002-10-25 2004-05-26 三菱扶桑卡客车公司 手势开关装置
JP2007025767A (ja) * 2005-07-12 2007-02-01 Nikon Corp 画像認識システムと画像認識方法、および画像認識プログラム

Also Published As

Publication number Publication date
EP2928729A1 (en) 2015-10-14
CN104968532A (zh) 2015-10-07
EP2928729B1 (en) 2019-08-14
WO2014089696A1 (en) 2014-06-19
EP2928729A4 (en) 2016-08-03

Similar Documents

Publication Publication Date Title
AU2015271871B2 (en) System and method for tamper detection using RFID devices
CN104871147B (zh) 检测车辆中的用户到无线设备关联的方法、设备和系统
CN104494564B (zh) 一种基于人脸识别的车辆防盗系统
CN103886658B (zh) 基于多模态生物识别的分布式物联网锁设备及其开锁方法
CN105339991B (zh) 遥控交通工具的功能的方法和装置
ES2699308T3 (es) Method to implement short-distance unblocking according to electrocardiogram and system thereof
ES2534284T3 (es) Procedimiento para controlar una tapa del maletero de un vehículo y vehículo correspondiente
EP1726496B1 (en) Keyless entry system apparatus
US7720513B2 (en) Method for operating an electronic device, electronic device, and electronic assembly
US20150302735A1 (en) Trainable transceiver and camera systems and methods
US9751497B2 (en) Vehicle control apparatus
US9174552B2 (en) Driving-environment setup system, in-vehicle device and program thereof, portable device and program thereof, management device and program thereof
EP2439715B1 (en) Method of monitoring the surroundings of a vehicle, and device for monitoring the surroundings of a vehicle
CN105398420B (zh) 一种汽车无钥匙进入系统检测方法
EP2612795B1 (en) Wireless communications circuit
US20140118119A1 (en) Wireless Trainable Transceiver Device With Integrated Interface And GPS Modules
US7362210B2 (en) System and method for gate access control
CN106463044A (zh) 可训练收发器和移动通信设备系统及方法
US20080032626A1 (en) Portable electronic apparatus with near field communication (nfc) application and method of operating the portable electronic apparatus
US7183895B2 (en) System and method for dynamic stand-off biometric verification
US6583715B1 (en) Method and system for unlocking and/or opening at least one openable member of a motor vehicle
CN104331003B (zh) 一种远程监控车辆周边状况的系统及方法
US9536416B2 (en) Reminder apparatus and method for items left in a vehicle
US20140114503A1 (en) Remote Function Fob for a Vehicle Passive Entry Passive Start System and Method for Operating Same
US20060082439A1 (en) Distributed stand-off ID verification compatible with multiple face recognition systems (FRS)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190110

Address after: Ontario

Patentee after: FLEXTRONICS AUTOMOTIVE INC

Address before: Ontario

Patentee before: Flextronics Automobile Co., Ltd.