CN107972609A - 用于门状态检测的方法和装置 - Google Patents

用于门状态检测的方法和装置 Download PDF

Info

Publication number
CN107972609A
CN107972609A CN201710997308.1A CN201710997308A CN107972609A CN 107972609 A CN107972609 A CN 107972609A CN 201710997308 A CN201710997308 A CN 201710997308A CN 107972609 A CN107972609 A CN 107972609A
Authority
CN
China
Prior art keywords
door
state
vehicle
image
opening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710997308.1A
Other languages
English (en)
Other versions
CN107972609B (zh
Inventor
J·马恰克
M·穆拉德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN107972609A publication Critical patent/CN107972609A/zh
Application granted granted Critical
Publication of CN107972609B publication Critical patent/CN107972609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/10Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the vehicle 
    • B60K28/12Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the vehicle  responsive to conditions relating to doors or doors locks, e.g. open door
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60JWINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J5/00Doors
    • B60J5/04Doors arranged at the vehicle sides
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/048Monitoring; Safety
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Abstract

提供了一种用于检测车门的状态的方法和装置。该方法包括基于从车辆的相机接收的至少一个图像来检测门的状态,基于检测到的门的状态从多个功能中确定待执行的功能,以及执行所确定的功能。该方法和装置可以在车辆中实现,以将门微开的图形指示符警告或者作为辅助检测系统显示给硬连线门状态传感器。

Description

用于门状态检测的方法和装置
技术领域
根据示例性实施方案的装置和方法涉及门状态检测。更特别地,根据示例性实施方案的装置和方法涉及从相机图像的门状态检测。
发明内容
一个或多个示例性实施方案提供一种从车辆上的相机检测门的状态的方法和装置。更特别地,一个或多个示例性实施方案提供一种使用车辆的侧面相机检测门或其他车辆开口是否打开或关闭并且向用户发送关于门的状态的通知的方法和装置。
根据示例性实施方案的一个方面,提供了一种用于检测车门的状态的方法。该方法包括基于从车辆的相机接收的至少一个图像来检测门的状态;基于检测到的门的状态,从多个功能中确定待执行的功能;以及执行所确定的功能。
所述多个功能可以包括输出警告门的状态的通知、执行车辆功能、乘员入口和出口检测、车辆盗窃警报控制、室内照明控制、驻车辅助控制、车辆行驶板上下控制、发动机控制、禁止车辆的启动/停止功能、准备启动发动机、自适应巡航控制、以及从座椅位置、方向盘位置和信息娱乐设置中加载包括一个或多个设置的乘员简档。
检测门的状态可以包括:将所述至少一个图像与车辆的预先存储的基线图像进行比较;基于所述至少一个图像与预先存储的基线图像的比较,确定车辆、舱口、行李箱、前门、后门、前门和后门两者的开口的状态;以及输出该状态。
执行所确定的功能可以包括:如果状态指示车辆、舱口、车蓬、行李箱、前门、后门、前门和后门两者的开口中的至少一个打开,则输出通知以警告门的状态。
检测门的状态可以包括:确定所述至少一个图像中的参考点之间的距离;以及基于所述至少一个图像中的参考点之间的距离来确定车辆、舱口、行李箱、前门、后门、前门和后门两者的开口的状态;以及输出该状态。
该方法还可以包括检测车辆中是否存在乘员,并且执行功能可以包括如果所述确定确定输出警告门的状态的通知并且车辆中不存在乘员,则通过向用户的移动设备发送警告来输出该通知。
执行功能可以包括输出通知,并且输出通知可以包括显示包括对应于门的状态的图形图示的指示符。
该方法还可以包括照射门。
从相机接收的所述至少一个图像可以包括车辆外部的图像。
相机可以设置在侧视镜中的至少一个中以及车辆的门的上方。
根据另一示例性实施方案的一个方面,提供了一种用于检测车门的状态的装置。该装置包括含有计算机可执行指令的至少一个存储器;以及配置成读取和执行计算机可执行指令的至少一个处理器。计算机可执行指令使得所述至少一个处理器:基于从车辆的相机接收的至少一个图像来检测门的状态;基于检测到的门的状态,从多个功能中确定待执行的功能;以及执行所确定的功能。
所述多个功能可以包括输出警告门的状态的通知、执行车辆功能、乘员入口和出口检测、车辆盗窃警报控制、室内照明控制、驻车辅助控制、车辆行驶板上下控制、发动机控制、禁止车辆的启动/停止功能、准备启动发动机、自适应巡航控制、以及从座椅位置、方向盘位置和信息娱乐设置中加载包括一个或多个设置的乘员简档。
计算机可执行指令还可以使得所述至少一个处理器通过如下检测门的状态:将所述至少一个图像与车辆的预先存储的基线图像进行比较;基于所述至少一个图像与预先存储的基线图像的比较,确定车辆、舱口、行李箱、前门、后门、前门和后门两者的开口中的至少一个的状态;以及输出该状态。
计算机可执行指令还可以使得所述至少一个处理器通过如下执行所确定的功能:如果状态指示车辆、舱口、车蓬、行李箱、前门、后门、前门和后门两者的开口中的至少一个打开,则输出通知以警告门的状态。
计算机可执行指令还可以使得所述至少一个处理器通过如下检测门的状态:确定所述至少一个图像中的参考点之间的距离;以及基于所述至少一个图像中的参考点之间的距离来确定车辆、舱口、行李箱、前门、后门、前门和后门两者的开口的状态;以及输出该状态。
计算机可执行指令还可以使得所述至少一个处理器:检测车辆中是否存在乘员,并且执行功能以在所述确定确定输出警告门的状态的通知并且车辆中不存在乘员的情况下,通过向用户的移动设备发送警告来输出该通知。
计算机可执行指令还可以使得至少一个处理器执行功能以通过如下输出通知:显示包括对应于门的状态的图形图示的指示符。
该设备还可以包括照明设备,并且计算机可执行指令还可以使得所述至少一个处理器控制照明设备以照射门。
从相机接收的所述至少一个图像可以包括车辆外部的图像。
该装置还可以包括设置在侧视镜中的至少一个中以及车辆的门的上方的相机。
根据另一示例性实施方案的一个方面,提供了一种包括由处理器执行以执行用于检测车门的状态的方法的计算机可执行指令的非暂态计算机可读介质。该方法包括基于从车辆的面向外部的相机接收的至少一个图像来检测车辆的开口的状态;基于检测到的开口的状态来确定是否警告开口的状态;以及如果所述确定确定警告开口的状态,则输出警告开口的状态的通知。
从以下对示例性实施方案和附图的详细描述中,示例性实施方案的其他目的、优点和新颖特征将变得更加明显。
附图说明
图1示出了根据示例性实施方案的检测车门的状态的装置的框图;
图2示出了根据示例性实施方案的用于检测车门的状态的方法的流程图;
图3A和图3B示出了根据示例性实施方案的一个方面的车门的侧面相机视图;
图4A和图4B示出了根据示例性实施方案的方面的相机的潜在位置的图示;以及
图5示出了根据示例性实施方案的一个方面的警告门半开的图形指示符的图示。
具体实施方式
现在将参照附图中的图1至图5详细描述检测车门的状态的装置和方法,在附图中相同的附图标记始终指代相同的元件。
以下公开将使本领域技术人员能够实践本发明构思。然而,本文公开的示例性实施方案仅是示例性的,并且不将本发明构思限于本文所述的示例性实施方案。此外,通常应该将每个示例性实施方案的特征或方面的描述视为可用于其他示例性实施方案的各方面。
还应当理解,在本文描述第一元件“连接到”、“附接到”、“形成在”或“设置在”第二元件上的情况下,第一元件可以直接连接到、直接形成在、或直接设置在第二元件上,或者可以在第一元件和第二元件之间存在中间元件,除非指出第一元件“直接”连接到、附接到、形成在、或设置在第二元件上。另外,如果第一元件被配置为从第二元件“发送”或“接收”信息,则第一元件可以直接向第二元件或直接从第二元件发送或接收信息,经由总线发送或接收信息,经由网络发送或接收信息,或者经由中间元件发送或接收信息,除非第一元件被指示“直接”向第二元件或“直接”从第二元件发送或接收信息。
在整个公开内容中,所公开的一个或多个元件可以组合成单个装置或组合成一个或多个装置。此外,可以在单独的装置上提供单独的元件。
诸如乘用车、卡车、运动型多用途车(SUV)、休闲车(RV),船舶、飞机等的车辆通常包括门或其他开口。例如,车辆可以具有开口或门,包括前乘员侧门、后乘员侧门、前驾驶员侧门、后驾驶员侧门、车蓬、汽车天窗和后舱口或行李箱中的一个或多个。门可以是覆盖车辆开口的任何阻挡件。阻挡件可以滑动或铰接。此外,车辆可以配备有提供关于车辆和车辆的环境或周围环境的信息的相机。
通常情况下,车辆的门是无意的保持打开或者是半开的。这可以由存在于车辆中的一个或多个传感器来检测,或者这可以由提供关于车辆和车辆的环境或周围环境的信息的相机来检测。在一个示例中,一个或多个相机可以用作检测门打开/关闭的硬连线开关传感器的备用系统。
可以使用检测门状态的结果来执行功能。在一个示例中,可以向车辆的乘员或车辆的操作者或所有者提供通知,以在车辆的相机检测到半开门之后通知门是半开的。此外,可以基于由检测传感器提供的关于门、窗、行李箱和开口的组合打开或关闭的信息来启动和执行一个或多个功能。所述一个或多个功能可以包括车辆盗窃警报控制、室内照明控制、驻车辅助控制、车辆运行板上下控制、发动机控制、禁止车辆的启动/停止功能、准备启动发动机、自适应巡航控制、以及从存储器加载包括来自座椅位置、方向盘位置、信息娱乐设置等中的一个或多个设置的乘员简档。
图1示出了根据示例性实施方案的用于检测门100的状态的装置的框图。如图1所示,根据示例性实施方案的用于检测门100的状态的装置包括控制器101、电源102、存储装置103、输出104、用户输入106、门状态传感器107和通信装置108。然而,用于检测门100的状态的装置不限于上述配置,并且可以被配置为包括附加元件和/或省略一个或多个上述元件。用于检测门100的状态的装置可以被实现为车辆的一部分或作为独立部件。
控制器101控制用于检测门100的状态的装置的整体操作和功能。控制器101可以控制用于检测门100的状态的装置的存储装置103、输出104、用户输入106、门状态传感器107和通信装置108中的一个或多个。控制器101可以包括来自处理器、微处理器、中央处理单元(CPU)、图形处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、电路、以及硬件、软件和固件组件的组合中的一个或多个。
控制器101被配置为从用于检测门100的状态的装置的存储装置103、输出104、用户输入106、门状态传感器107和通信装置108中的一个或多个发送和/或接收信息。可以经由总线或网络发送和接收信息,或者可以从如下直接读取信息或者将信息直接写至如下:用于检测门100的状态的装置的存储装置103、输出104、用户输入106、门状态传感器107和通信装置108中的一个或多个。适当的网络连接的示例包括控制器区域网络(CAN)、面向媒体的系统传输(MOST)、本地互连网络(LIN)、局域网(LAN)以及诸如以太网的其他适当的连接。
电源102向用于检测门100的状态的装置的控制器101、存储装置103、输出104、用户输入106、门状态传感器107和通信装置108中的一个或多个提供电力。电源102可以包括来自电池、电源插座、电容器、太阳能电池、发电机、风能装置、交流发电机等中的一个或多个。
存储装置103被配置为存储由用于检测门100的状态的装置使用的信息和检索由用于检测门100的状态的装置使用的信息。存储装置103可以由控制器101控制以存储和检索关于一个或多个门、窗、开口等的状态的信息。例如,存储装置103可以包括关于车辆开口、车篷、汽车天窗、前乘员侧门、后乘员侧门、前驾驶员侧门、后驾驶员侧门和后舱口或行李箱之一的状态的信息。状态信息可以指示一个或多个门是否关闭或半开。存储装置103还可以包括被配置为由处理器执行以执行用于检测门100的状态的装置的功能的计算机指令。
存储装置103可以包括来自以下中的一个或多个:软盘、光盘、CD-ROM(光盘只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁盘或光卡、闪存、高速缓存和适用于存储机器可执行指令的其他类型的介质/机器可读介质。
输出104以一种或多种形式输出信息,包括:视觉、听觉和/或触觉形式。输出104可以由控制器101控制,以向用于检测门100的状态的装置的用户提供输出。输出104可以包括来自以下中的一个或多个:扬声器、显示器、透明显示器、中央定位的显示器、抬头显示器、挡风玻璃显示器、触觉(haptic)反馈装置、振动装置、触觉(tactile)反馈装置、抽头反馈装置、全息显示器、仪表灯、指示灯等。此外,输出104还可以包括位于车辆的挡风玻璃、后窗、侧窗和镜中的一个或多个上的透明显示器。
输出104可以输出包括来自可听通知、光通知和显示通知中的一个或多个的通知。通知可以包括关于指示来自汽车天窗、车篷、窗、前乘员侧门,后乘员侧门、前驾驶员侧门、后驾驶员侧门和后舱口或行李箱的哪个开口或门是半开的状态的信息。输出104可以显示对应于指示来自窗、车篷、汽车天窗、前乘员侧门、后乘员侧门、前驾驶员侧门、后驾驶员侧门和后舱口或行李箱的哪个门或开口是半开的状态的图形指示符。
用户输入106被配置为向用于检测门100的状态的装置提供信息和命令。用户输入106可以用于向控制器101提供用户输入等。用户输入106可以包括来自触摸屏、键盘、软键盘、按钮、运动检测器、语音输入检测器、麦克风、相机、触控板、鼠标、触摸板等中的一个或多个。用户输入106可以被配置为接收用户输入以确认或解除输出104输出的通知。用户输入106还可以被配置为接收用户输入以循环滚动通知或不同屏幕的通知。
门状态传感器107被配置为检测车辆的门、开口、窗、车篷等的组合的状态或位置。例如,门状态传感器107可以检测来自车辆的开口、车篷、窗、汽车天窗、前乘员侧门、后乘员侧门、前驾驶员侧门、后驾驶员侧门和后舱口或行李箱的一个或多个的状态。门状态传感器可以是一个主传感器或包括主传感器和辅助传感器的传感器的组合。在一个示例中,主传感器可以是硬连线门开关,并且辅助或备用传感器可以是相机。
门状态传感器107可以是来自雷达传感器、微波传感器、超声波传感器、硬连线开关、相机、红外传感器、LIDAR和激光传感器中的一个或多个传感器。门状态传感器107可以提供来自以下中的一个或多个:关于门的状态或位置的信息、关于门上的参考标记的位置的信息、关于门与参考点之间的距离的信息、以及关于门的参考图像与门的当前图像之间的差异的信息。
此外,门状态传感器107可以提供来自以下中的一个或多个:关于车辆的开口的状态或位置的信息,关于车辆的开口上的参考标记的位置的信息,关于车辆的开口与参考点之间的距离的信息,以及关于车辆的开口的参考图像与车辆的开口的当前图像之间的差异的信息。此外,门状态传感器107可以提供关于进入或离开车辆的物体或人员的信息。门状态传感器107可以位于来自车门、车辆仪表板、车辆侧视镜、车顶、门闩区域和车辆车篷中的至少一个中。
通信装置108可以由用于检测门100的状态的装置使用,以根据各种通信方法与各种类型的外部设备进行通信。通信装置108可以用于向/从用于检测门100的状态的装置的控制器101发送/接收门状态信息。通信装置108还可以被配置为发送半开门的通知和半开门的位置。通信装置108可以将通知或警告发送到输出设备或显示器,例如输出104或移动设备。
通信装置108可以包括诸如来自远程信息处理单元、广播接收模块、近场通信(NFC)模块、GPS接收器、有线通信模块或无线通信模块中的一个或多个的各种通信模块。广播接收模块可以包括含有用于接收地面广播信号的天线、解调器和均衡器等的地面广播接收模块。NFC模块是根据NFC方法与位于附近距离的外部设备进行通信的模块。GPS接收器是从GPS卫星接收GPS信号并检测当前位置的模块。有线通信模块可以是通过诸如局域网、控制器区域网(CAN)或外部网络的有线网络接收信息的模块。无线通信模块是通过使用诸如IEEE802.11协议、WiMAX、Wi-Fi或IEEE通信协议的无线通信协议连接到外部网络并与外部网络进行通信的模块。无线通信模块还可以包括移动通信模块,该移动通信模块根据各种移动通信标准(例如,第三代(3G)、第三代合作项目(3GPP)、长期演进(LTE)、蓝牙、EVDO、CDMA、GPRS、EDGE或ZigBee)访问移动通信网络并且执行通信。
用于检测门100的状态的装置的控制器101可以被配置为基于从车辆的相机接收的至少一个图像来检测门的状态,基于检测到的门的状态确定来自多个功能中的功能是否要被执行,并且控制执行所确定的功能。所述多个功能可以包括来自以下中的一个或多个:输出警告门的状态的通知、车辆盗窃警报控制、室内照明控制、驻车辅助控制、车辆运行板上下控制、发动机控制、禁止车辆的启动/停止功能、准备启动发动机、自适应巡航控制、以及加载包括诸如座椅位置、方向盘位置、信息娱乐设置等的设置的乘员简档。
用于检测门100的状态的装置的控制器101还可以被配置为通过将所述至少一个图像与车辆的预先存储的基线图像进行比较来检测门的状态,基于所述至少一个图像与预先存储的基线图像的比较,确定开口、车篷、行李箱、汽车天窗、窗、前门、后门或前门和后门两者是否是半开的,以及控制输出指示来自开口、车篷、行李箱、汽车天窗、窗、前门中的至少一个是半开的、后门是半开的、前门和后门两者半开以及前门和后门两者关闭的状态。从相机接收的至少一个图像可以包括车辆外部的图像。
用于检测门100的状态的装置的控制器101还可以被配置为通过确定所述至少一个图像中的参考点之间的距离来检测门的状态;并且基于所述至少一个图像中的参考点之间的距离输出指示来自开口、车篷、行李箱、汽车天窗、窗、前门、后门、前门和后门两者、以及舱口中的至少一个是打开或关闭的状态。
用于检测门100的状态的装置的控制器101还可以被配置为检测车辆中是否存在乘员,并且如果所述确定确定警告门的状态并且车辆中不存在乘员,则通过向用户的移动设备发送警告来输出通知。
用于检测门100的状态的装置的控制器101还可以被配置为控制照明装置以照射门。
图2示出了根据示例性实施方案的用于检测车门的状态的方法的流程图。图2的方法可以由用于检测门100的状态的装置执行,或者可以被编码到计算机可读介质中作为可由计算机执行以执行该方法的指令。
参照图2,在操作S210中,基于从车辆的相机接收的至少一个图像来检测门的状态。在这种情况下,诸如来自窗、汽车天窗、前乘员侧门、后乘员侧门、前驾驶员侧门、后驾驶员侧门和后舱口或行李箱中的一个或多个的一个或多个开口的状态可以通过诸如面向外部的车辆相机的车辆相机来检测。
检测门的状态可以包括通过将所述至少一个图像与车辆或车辆开口的预先存储的基线图像进行比较和/或确定所述至少一个图像中的参考点之间的距离来执行图像分析。然后可以使用图像分析来确定窗、汽车天窗、车篷、前乘员侧门、后乘员侧门、前驾驶员侧门、后驾驶员侧门和后舱口或行李箱中的一个或多个是否是半开的并且输出指示来自前乘员侧门、后乘员侧门、前驾驶员侧门、后驾驶员侧门和后舱口或行李箱中的哪些门是半开的状态。
然后,在操作S220中,基于检测到的门的状态,确定是否要执行来自多个功能中的功能。例如,当来自前乘员侧门、后乘员侧门、前驾驶员侧门、后驾驶员侧门和后舱口或行李箱中的一个或多个通过诸如面向外部的车辆相机的车辆相机被检测为打开时,可以确定警告门的状态。还可以通过确定是否警告门的状态来考虑警告门状态的其他条件。一个或多个条件可以包括车辆中是否存在或不存在乘员、车辆中是否存在驾驶员、驾驶员的移动装置或车辆的钥匙或驾驶员、驾驶员的移动装置或车辆的钥匙是否正在离开车辆、以及车辆的传动状态。
所述多个功能还可以包括来自车辆盗窃警报控制、室内照明控制、驻车辅助控制、车辆运行板上下控制、发动机控制、禁止车辆的启动/停止功能、准备启动发动机、自适应巡航控制、以及从存储器加载包括诸如座椅位置、方向盘位置、信息娱乐设置等的设置的乘员简档中的一个或多个。可以执行的功能的另一示例可以是基于检测到的车门的状态或车辆的开口来检测乘员的入口或出口。例如,可以检测和分析一系列门打开和关闭以及车辆功能和控制的启动或操作,以确定哪些座椅具有乘员以及乘员是否进入和离开车辆。
在操作S230中,执行所确定的功能。例如,如果所述确定确定警告门的状态,则输出警告门的状态的通知。输出通知可以包括显示包括对应于一个或多个门的状态的图形图示的指示符。此外,如果车辆中不存在乘员,输出可以包括向用户的移动设备发送警告。此外,如果满足上述条件中的一个或多个,则通知可以显示在车辆的显示器上,或者可以被发送到与车辆的操作者或所有者相关联的移动设备。
图3A和图3B示出了根据示例性实施方案的一个方面的车门的侧面相机视图的图示。参照图3A,侧视相机可以位于车辆的一侧或两侧的顶部附近或侧视镜上。侧视相机可以捕获前门301和后门302的图像300,其显示门是关闭的。参照图3B,侧视相机可以捕获示出门的移动的图像和示出前门301打开的图像305。在车辆的每一侧可以存在侧视相机,以捕获前乘员侧门、后乘员侧门、前驾驶员侧门和后驾驶员侧门的视图。
可以分析来自侧视相机的图像,以确定车辆的门、窗和/或入口的哪个组合是打开的。例如,可以分析来自侧视相机的图像,以确定前乘员侧门、后乘员侧门、前驾驶员侧门和后驾驶员侧门中的一个或多个是否打开。
图4A和图4B示出了根据示例性实施方案的方面的相机的潜在位置的图示。参照图4A,位于车辆顶部附近的相机400可以面向前门402和后门403以捕获门的图像。参照图4B,位于车辆的侧视镜的相机401可以面向前门402和后门403以捕获门的图像。
图5示出了根据示例性实施方案的一个方面的警告半开门的图形指示符的图示。参照图5,图形指示符500示出对应于前驾驶员侧门501、后驾驶员侧门502、前乘员侧门503、后乘员侧门504、后行李箱或舱口505和/或车篷506是半开的图形指示符。图形指示符可以呈现在位于车辆中的显示器上,或者呈现在移动设备的显示器上,以通知车辆的所有者或操作者一个或多个门是半开的。图形指示符可以亮起或高亮显示,以示出半开的门、行李箱、车篷、窗、汽车天窗等。
本文公开的过程、方法或算法可以传递至如下或者由如下实现:可以包括任何现有的可编程电子控制装置或专用电子控制装置的处理装置、控制器或计算机。类似地,过程、方法或算法可以作为可由许多形式的控制器或计算机执行的数据和指令来存储,包括但不限于永久存储在诸如ROM装置的不可写存储介质上的信息和可变更地存储在可写存储介质例如软盘、磁带、CD、RAM装置以及其他磁和光介质上的信息。过程、方法或算法也可以在软件可执行对象中实现。可替代地,可以使用合适的硬件组件例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其他硬件组件或装置、或硬件、软件和固件组件的组合来整体或部分地实现该过程、方法或算法。
以上已经参照附图描述了一个或多个示例性实施方案。上面描述的示例性实施方案应仅在描述性意义上被考虑,而不是为了限制的目的。此外,在不脱离由所附权利要求限定的本发明构思的精神和范围的情况下,可以修改示例性实施方案。

Claims (10)

1.一种用于检测门的状态的装置,所述装置包括:
至少一个存储器,其包括计算机可执行指令;以及
至少一个处理器,其被配置为读取和执行所述计算机可执行指令,所述计算机可执行指令使得所述至少一个处理器:
基于从车辆的相机接收的至少一个图像来检测门的状态;
基于检测到的所述门的状态,从多个功能中确定待执行的功能;以及
执行所确定的功能,
其中,所述多个功能包括:输出警告门的状态的通知、执行车辆功能、乘员入口和出口检测、车辆盗窃警报控制、室内照明控制、驻车辅助控制、车辆行驶板上下控制、发动机控制、禁止车辆的启动/停止功能、准备启动发动机、自适应巡航控制以及从座椅位置、方向盘位置和信息娱乐设置中加载包括一个或多个设置的乘员简档。
2.根据权利要求1所述的装置,其中,所述计算机可执行指令还使得所述至少一个处理器通过以下检测门的状态:
将所述至少一个图像与所述车辆的预先存储的基线图像进行比较;
基于所述至少一个图像与所述预先存储的基线图像的所述比较,确定车辆、舱口、行李箱、前门、后门、前门和后门两者的开口中的至少一个的状态;以及
输出所述状态。
3.根据权利要求2所述的装置,其中,所述计算机可执行指令还使得所述至少一个处理器通过如下执行所确定的功能:如果所述状态指示车辆、舱口、车蓬、行李箱、前门、后门、前门和后门两者的开口中的至少一个打开,则输出通知以警告所述门的状态。
4.根据权利要求1所述的装置,其中,所述计算机可执行指令还使得所述至少一个处理器通过以下检测门的状态:
确定所述至少一个图像中的参考点之间的距离;以及
基于所述至少一个图像中的所述参考点之间的距离来确定车辆、舱口、行李箱、前门、后门、前门和后门两者的开口的状态;以及
输出所述状态。
5.根据权利要求1所述的装置,其中,所述计算机可执行指令还使得所述至少一个处理器检测所述车辆中是否存在乘员,并且
其中,所述计算机可执行指令还使得所述至少一个处理器执行所述功能以通过如下输出所述通知:在所述确定确定输出警告所述门的状态的所述通知并且所述车辆中不存在乘员的情况下,向用户的移动设备发送警告。
6.根据权利要求1所述的装置,其中,所述计算机可执行指令还使得所述至少一个处理器执行所述功能以输出所述通知,并且
其中,输出所述通知的功能包括显示包括对应于所述门的状态的图形图示的指示符。
7.根据权利要求1所述的装置,还包括照明装置,
其中,所述计算机可执行指令还使得所述至少一个处理器控制所述照明装置以照射所述门。
8.根据权利要求1所述的装置,其中,从所述相机接收的所述至少一个图像包括所述车辆的外部的图像。
9.根据权利要求1所述的装置,还包括设置在侧视镜中的至少一个中以及所述车辆的门的上方的相机。
10.一种非暂态计算机可读介质,包括能够由处理器执行以执行用于检测车门的状态的方法的计算机可执行指令,所述方法包括:
基于从车辆的面向外部的相机接收的至少一个图像来检测车辆的开口的状态;
基于检测到的所述开口的状态来确定是否警告所述开口的所述状态;以及
如果所述确定确定警告所述开口的所述状态,则输出警告所述开口的所述状态的通知。
CN201710997308.1A 2016-10-24 2017-10-20 用于门状态检测的方法和装置 Active CN107972609B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/332576 2016-10-24
US15/332,576 US10220704B2 (en) 2016-10-24 2016-10-24 Method and apparatus for door status detection

Publications (2)

Publication Number Publication Date
CN107972609A true CN107972609A (zh) 2018-05-01
CN107972609B CN107972609B (zh) 2020-11-24

Family

ID=61865962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710997308.1A Active CN107972609B (zh) 2016-10-24 2017-10-20 用于门状态检测的方法和装置

Country Status (3)

Country Link
US (1) US10220704B2 (zh)
CN (1) CN107972609B (zh)
DE (1) DE102017124731A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870502A (zh) * 2021-10-12 2021-12-31 元气森林(北京)食品科技集团有限公司 陈列柜的警报方法、电子设备、介质及产品

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190122382A1 (en) * 2017-10-24 2019-04-25 GM Global Technology Operations LLC Method and apparatus that display view alert
DE102018004342A1 (de) * 2018-05-31 2019-12-05 Airbus Operations Gmbh System zur Zustandsdarstellung wenigstens einer Cargotür eines Flugzeugs
FR3086439B1 (fr) * 2018-09-20 2020-08-28 Psa Automobiles Sa Procede et dispositif de detection de l’etat d’un capot avant d’un vehicule automobile par comparaison de champs de vision
US10836353B2 (en) * 2018-11-15 2020-11-17 Fotonation Limited Vehicle side view camera system with adjustable field of view
KR20210014254A (ko) * 2019-07-29 2021-02-09 현대자동차주식회사 차량의 셧오프를 자동 제어하는 차량 시스템 및 그 방법
DE102019216628A1 (de) * 2019-10-29 2021-04-29 Zf Friedrichshafen Ag Vorrichtung und Verfahren zum Erkennen und Klassifizieren eines Schließzustands einer Fahrzeugtür
CN111267728A (zh) * 2019-12-24 2020-06-12 深圳创维汽车智能有限公司 车辆车门安全监控方法、系统、设备及存储介质
CN111524189A (zh) * 2020-05-09 2020-08-11 浙江大华技术股份有限公司 门开关状态检测方法、装置及计算机存储介质
US20230077868A1 (en) * 2021-09-03 2023-03-16 Rivian Ip Holdings, Llc Systems and methods for deterrence of intruders
US20230103458A1 (en) * 2021-10-05 2023-04-06 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicles and vehicle systems for operating powered running boards in an alarm deterrent mode
FR3140697A1 (fr) * 2022-10-10 2024-04-12 Psa Automobiles Sa Contrôle du verrouillage des ouvrants d’un véhicule automobile

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101949241A (zh) * 2010-09-10 2011-01-19 上海交通大学 车门智能开关装置与方法
CN102390330A (zh) * 2011-08-31 2012-03-28 浙江吉利汽车研究院有限公司 一种辅助下车监控装置及其监控方法
JP2014067087A (ja) * 2012-09-24 2014-04-17 Yazaki Energy System Corp ドライブレコーダ
CN104139735A (zh) * 2014-07-11 2014-11-12 南京泰锐斯通信科技有限公司 提醒车门窗及后备箱关闭情况的方法、设备和系统
KR101482171B1 (ko) * 2013-09-05 2015-01-13 현대모비스(주) 어라운드뷰 정차모드 제어방법
CN104331947A (zh) * 2014-10-14 2015-02-04 深圳创维数字技术有限公司 一种车辆监控方法及相关设备、系统
US20150360625A1 (en) * 2011-09-08 2015-12-17 Conti Temic Microelectronic Gmbh Determination of the position of structural elements of a vehicle

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10133511A1 (de) * 2001-07-10 2003-01-30 Siemens Ag Verfahren und Vorrichtung zur optischen Erkennung des Öffnungszustands einer Fahrzeugtür
JP5114177B2 (ja) * 2007-12-12 2013-01-09 富士通テン株式会社 情報記録装置
US20170043783A1 (en) * 2015-08-14 2017-02-16 Faraday&Future Inc. Vehicle control system for improving occupant safety
US10266178B2 (en) * 2016-10-13 2019-04-23 Ford Global Technologies, Llc Automatic engine start-stop control during driver exit events

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101949241A (zh) * 2010-09-10 2011-01-19 上海交通大学 车门智能开关装置与方法
CN102390330A (zh) * 2011-08-31 2012-03-28 浙江吉利汽车研究院有限公司 一种辅助下车监控装置及其监控方法
US20150360625A1 (en) * 2011-09-08 2015-12-17 Conti Temic Microelectronic Gmbh Determination of the position of structural elements of a vehicle
JP2014067087A (ja) * 2012-09-24 2014-04-17 Yazaki Energy System Corp ドライブレコーダ
KR101482171B1 (ko) * 2013-09-05 2015-01-13 현대모비스(주) 어라운드뷰 정차모드 제어방법
CN104139735A (zh) * 2014-07-11 2014-11-12 南京泰锐斯通信科技有限公司 提醒车门窗及后备箱关闭情况的方法、设备和系统
CN104331947A (zh) * 2014-10-14 2015-02-04 深圳创维数字技术有限公司 一种车辆监控方法及相关设备、系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870502A (zh) * 2021-10-12 2021-12-31 元气森林(北京)食品科技集团有限公司 陈列柜的警报方法、电子设备、介质及产品
CN113870502B (zh) * 2021-10-12 2023-08-22 元气森林(北京)食品科技集团有限公司 陈列柜的警报方法、电子设备、介质及产品

Also Published As

Publication number Publication date
US20180111480A1 (en) 2018-04-26
CN107972609B (zh) 2020-11-24
DE102017124731A1 (de) 2018-04-26
US10220704B2 (en) 2019-03-05

Similar Documents

Publication Publication Date Title
CN107972609A (zh) 用于门状态检测的方法和装置
CN110619733A (zh) 遗忘生命体的保护方法、装置、计算机设备和存储介质
JP2010231415A (ja) 車両用監視装置
CN111200689B (zh) 移动体用投影装置、便携终端及便携终端的显示方法
EP2879271B1 (en) In-vehicle charging device, automobile and charging system
US20160176375A1 (en) Remote automatic closure of power windows, sun roof and convertible top
US10308223B2 (en) In-vehicle device and vehicle security system
US10147294B2 (en) Method and apparatus for providing reminder of occupant
JP7419122B2 (ja) 車両制御装置、車両制御方法、及び車両制御用プログラム
CN108021859A (zh) 用于警告物体的方法和设备
CN106740458A (zh) 一种用于车辆的开门安全提醒系统及方法
CN108944802A (zh) 车辆防盗系统以及相关方法
US20230077868A1 (en) Systems and methods for deterrence of intruders
CN108248549A (zh) 车载乘车人员识别系统、车辆和车载乘车人员识别方法
CN104773074A (zh) 一种基于双重保护的智能车载酒精测控装置和测控方法
EP4100284A1 (en) Artificial intelligence-enabled alarm for detecting passengers locked in vehicle
US20230083504A1 (en) Systems and methods for capturing images around vehicle for insurance claim processing
JP2017182347A (ja) 車両用通信システム、車両周辺情報送信方法及び制御プログラム
US20200247317A1 (en) Remote monitor system for a vehicle cargo carrier
JP2017224075A (ja) 出庫支援装置、出庫支援方法及び出庫支援システム
CN115402197A (zh) 车辆的遗留警报装置
JP2002227478A (ja) 車両用施解錠装置
CN114572141A (zh) 乘员监测系统、乘员遗留提醒方法及相关设备
JP2018043728A (ja) 車両用情報表示装置及び車両用情報表示システム
KR20220081453A (ko) 차량 후석 승객 알림 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant