CN110300673B - 车辆外围监视装置 - Google Patents

车辆外围监视装置 Download PDF

Info

Publication number
CN110300673B
CN110300673B CN201880012591.0A CN201880012591A CN110300673B CN 110300673 B CN110300673 B CN 110300673B CN 201880012591 A CN201880012591 A CN 201880012591A CN 110300673 B CN110300673 B CN 110300673B
Authority
CN
China
Prior art keywords
vehicle
door
unit
imaging unit
route
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880012591.0A
Other languages
English (en)
Other versions
CN110300673A (zh
Inventor
坂仓弘晃
蟹和一彦
斋藤壮
加藤辉久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpha Corp
Original Assignee
Alpha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpha Corp filed Critical Alpha Corp
Publication of CN110300673A publication Critical patent/CN110300673A/zh
Application granted granted Critical
Publication of CN110300673B publication Critical patent/CN110300673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05BLOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B77/00Vehicle locks characterised by special functions or purposes
    • E05B77/22Functions related to actuation of locks from the passenger compartment of the vehicle
    • E05B77/24Functions related to actuation of locks from the passenger compartment of the vehicle preventing use of an inner door handle, sill button, lock knob or the like
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60JWINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J5/00Doors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60JWINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J5/00Doors
    • B60J5/04Doors arranged at the vehicle sides
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05BLOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B81/00Power-actuated vehicle locks
    • E05B81/54Electrical circuits
    • E05B81/56Control of actuators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05YINDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2900/00Application of doors, windows, wings or fittings thereof
    • E05Y2900/50Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53Type of wing
    • E05Y2900/531Doors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Lock And Its Accessories (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

安装在车辆上的车辆外围监视装置被提供有:第一成像单元,其捕获车辆的后方和侧后方区域的图像;距离检测单元,其基于由第一成像单元捕获到的图像,检测从车辆到存在于车辆的后方和侧后方的对象的距离;路径预测单元,其基于距离检测单元检测到的与对象的距离的改变,预测对象的路径;以及进入预测单元,其基于由路径预测单元预测的对象的路径和设置在车辆侧面并且定义车辆的侧门在其中打开和关闭的可移动范围的门打开和关闭区域,预测对象是否已经进入门打开/关闭区域。

Description

车辆外围监视装置
技术领域
本公开涉及一种车辆外围监视装置。
背景技术
常规上,诸如汽车的车辆提供有诸如车门后视镜的外部后视镜。外部后视镜在驾驶员观察车辆的后侧和斜后方时被使用,并且被提供为在车身的侧表面上向外突出。这种外部后视镜致使在车辆行进时空气阻力的增加,并且由于后视镜的形状和尺寸受到限制,因此对于驾驶员有时会产生作为盲点的区域。
专利文件1公开了一种电后视镜设备,其中诸如相机的成像单元代替外部后视镜被安装在车辆上。在电后视镜设备中,通过成像单元对车辆的后侧和斜后方进行成像,并且捕获图像显示在舱室中的监视器上。
引用列表
专利文献
专利文件1:JP-A-2016-124391
因此,配备有成像单元的车辆增加了,需要有效地利用成像单元的功能。
另一方面,在乘员下车的情况下,当乘员打开车门时,乘员需要注意从车辆后方接近的人、自行车或汽车,并且对于乘员来说只检查车辆周围的安全性。
发明内容
根据本发明的实施例,可以通过使用安装在车辆上的成像单元来支撑乘员下车时的安全性。
在本发明的实施例中,提供了一种安装在车辆上的车辆外围监视装置,其包括捕获车辆的后侧和斜后方的图像的第一成像单元。车辆外围监视装置包括:距离检测单元,其基于由第一成像单元捕获到的多个图像,检测从车辆到存在于车辆的后方和斜后方的对象的距离;路线预测单元,其基于距离检测单元检测到的与对象的距离的转变,预测对象的路线;以及进入预测单元,其基于由路线预测单元预测的对象的路线和设置在车辆侧面并且定义车辆的门在其中打开和关闭的可移动范围的门打开和关闭区域,预测对象是否进入门打开和关闭区域。
在本发明的实施例中,可以进一步提供第二成像单元。优选的是,第二成像单元被组合到第一成像单元以构成立体相机,并且距离检测单元基于由第一成像单元和第二成像单元输出的多个图像,通过执行立体图像处理来检测与对象的距离。
在本发明的实施例中,优选的是,第一成像单元被附接到车辆的后侧门的外把手,并且第二成像单元被附接到车辆的前侧门的外把手。
在本发明的实施例中,还提供了控制单元,并且优选地在由进入预测单元预测对象进入到门打开和关闭区域中的情况下,控制单元执行预定控制。
在本发明的实施例中,优选的是,门包括:门锁设备,该门锁设备包括与车身接合的闩锁;以及内把手,其被设置在门的舱室侧,并且执行门锁设备的闩锁的释放操作。在这种情况下,期望的是,控制单元控制门锁设备,以便通过内把手禁止闩锁的释放操作。
根据实施例,由于可以通过使用安装在车辆上的成像单元来预测对象是否已经进入门打开和关闭区域,因此可以支撑乘员下车时的安全性。
附图说明
图1是示出车辆的说明图。
图2是示出根据实施例的包括车辆外围监视装置的车辆的系统配置的框图。
图3是示出预测对象进入到门打开和闭区域中的过程的图。
图4是示出根据实施例的车辆外围监视装置的操作的流程图。
具体实施方式
在下文中,将描述根据实施例的配备有车辆外围监视装置20的车辆C。图1是示出车辆C的说明图。图2是示出根据实施例的包括车辆外围监视装置20的车辆C的系统配置的框图。根据实施例的车辆C例如是具有一对左右前侧门2和一对左右后侧门3的类型的汽车。
侧门2和3中的每个包括设置在侧门2和3中的每个外的外把手4,以及设置在侧门2和3中的每个内(舱室侧)的内把手32。内把手32被提供有电容传感器33,其检测乘员接触或接近内把手32。
此外,侧门2和3中的每个提供有门锁设备30,门锁设备30具有与车身接合的闩锁31。包括在门锁设备30中的闩锁31可以通过外把手4或内把手32释放。门锁设备30包括用于在锁定状态和解锁状态之间切换的致动器34,以及控制致动器34的门锁控制单元35。在门锁设备30处于锁定状态的情况下,禁止由外把手4或内把手32对闩锁31的释放操作。另一方面,在门锁设备30处于解锁状态的情况下,允许由外把手4或内把手32对闩锁31的释放操作。
车辆C配备有电后视镜设备10。电后视镜设备10是通过使用成像单元而不是诸如车门后视镜的外部后视镜来执行后视识别的设备。电后视镜设备10主要配置有安装在车辆C上的左右两侧的一对第一相机5、电子后视镜控制单元11、以及对应于左右两侧的第一相机5的一对显示单元12。
第一相机5分别被提供在车身的左右侧表面上,并且在实施例中,第一相机5被安装在前侧门2的外把手4上。每个第一相机5对车辆C的后方视野(即车辆C的后侧和斜后方)进行成像(第一成像单元)。具体地,右侧的第一相机5对车辆C的后方和右斜后方进行成像,并且左侧的第一相机5对车辆C的后方和左斜后方进行成像。作为第一相机5,优选使用诸如CMOS和CCD和广角镜头的成像元件的数字相机。
电子后视镜控制单元11用于控制电后视镜设备10,并且从功能的角度配置有图像采集单元11a、图像处理单元11b和图像显示单元11c。作为电子后视镜控制单元11,可以使用主要配置有CPU、ROM、RAM和I/O接口的微计算机。
图像采集单元11a被连接到左右两侧的第一相机5,并且从左右两侧的第一相机5获取通过以预定周期对车辆C的后侧和斜后方进行成像获得的捕获图像。图像处理单元11b根据预定剪切范围剪切由图像采集单元11a获取的捕获图像,以生成显示图像。图像处理单元11b生成对应于左右两侧的第一相机5的左右显示图像。图像显示单元11c接收来自图像处理单元11b的显示图像,并在一对显示单元12上显示图像。此时,图像处理单元11b在对应于第一相机5的显示单元12上显示从右侧的第一相机5处理的显示图像,并在对应于第一相机5的显示单元12上显示从左侧的第一相机5处理的显示图像。
一对显示单元12例如是有机EL显示器、液晶显示器等。每个显示单元12被连接到电子后视镜控制单元11。一对显示单元12在舱室中例如设置在位于挡风玻璃两侧的每个前柱的基端部上。对应于在右侧的第一相机5的显示单元12设置在右侧的前柱的基端部处,并且对应于在左侧的第一相机5的显示单元12设置在左侧的前柱的基端部处。然而,一对显示单元12可以被提供在舱室中的另一部分处,例如,在仪表板上。
作为实施例的一个特征,车辆C配备有车辆外围监视装置20。车辆外围监视装置20是支撑乘员下车时的安全性的装置。车辆外围监视装置20主要配置有第二相机6、监视控制单元21和通知单元24。顺便提及,车辆外围监视装置20不仅使用第二相机6,而且还使用被包括在电后视镜设备10中的后侧门3的第一相机5。
第二相机6与第一相机5组合以构成立体相机,并且以第一相机5为参考设置在所需位置处。第二相机6分别被提供在车身的左右侧表面上,并且在实施例中,第二相机6被安装在后侧门3的外把手4上。类似于第一相机5,每个第二相机6对车辆C的后方视野(即车辆C的后侧和斜后方)进行成像(第二成像单元)。具体地,右侧的第二相机6对车辆C的后方和右斜后方进行成像,并且左侧的第二相机6对车辆C的后方和左斜后方进行成像。作为第二相机6,优选使用诸如CMOS和CCD和广角镜头的成像元件的数字相机。
监视控制单元21包括图像采集单元21a、图像处理单元21b和控制单元21c。监视控制单元21对包括车辆右侧的第一相机5和第二相机6的立体相机以及包括车辆左侧的第一相机5和第二相机6的立体相机的中的每个执行稍后描述的处理。这里,图3是用于说明对象O进入门打开和关闭区域Ad的预测的图。
图像采集单元21a被连接到构成立体相机的第一相机5和第二相机6,并且以预定周期从第一相机5和第二相机6获取捕获图像。
图像处理单元21b被配置为处理从第一相机5和第二相机6获到取的捕获图像。图像处理单元21b配置有距离检测单元21b1、路线预测单元21b2和进入预测单元21b3。
距离检测单元21b1被配置为通过使用立体图像处理来检测与对象O的距离。立体图像处理是使用立体相机的原理的处理,其用于通过使用当由两个相机对相同测量点进行成像时在两个捕获图像中生成的视差(位置上的差异)来获取到测量点的距离。距离检测单元21b1基于由第一相机5和第二相机6获取到的一对捕获图像来执行立体图像处理。通过立体图像处理,检测对象O和从车辆C到对象O的距离。
路线预测单元21b2基于要由距离检测单元21b1检测到的与对象O的距离的转变,预测对象O的路线。
进入预测单元21b3基于由路线预测单元21b2预测的对象O的路线和设置在车辆C侧面的门打开和关闭区域Ad,预测对象O是否进入门打开和关闭区域Ad。这里,门打开和关闭区域Ad定义了车辆C的侧门2和3在其中打开和关闭的可移动范围,并且分别对应于提供在车辆C中的前侧门2和后侧门3而被提供。
控制单元21c控制车辆外围监视装置20。具体地,在由进入预测单元21b3预测对象O进入门打开和关闭区域Ad的情况下,控制单元21c执行预定控制。在实施例中,由控制单元21c执行的预定控制是使用通知单元24的通知控制,或使用门锁设备30的锁定控制。
通知单元24被配置为向乘员通知预定信息。作为通知单元24,可以使用被提供在仪表板中的用于导航的显示器7、提供有设置在其中的速度计等的计量设备中的警报灯8或扬声器9。
在车辆C中提供控制器局域网(CAN)。电后视镜设备10和车辆外围监视装置20被连接到CAN,并且能够彼此通信。此外,车辆外围监视装置20可以通过CAN与安装在车辆C上的各种传感器和各种控制系统通信。
具体地,车辆外围监视装置20可以通过CAN、提供在内把手32中的电容传感器33的检测信号和对致动器34进行控制的门锁控制单元35进行通信。此外,车辆外围监视装置20可以通过CAN获得移位位置信号。
图3是示出根据实施例的车辆外围监视装置20的操作的流程图。当车辆C的点火开关接通时,执行该流程图中所示的处理。
首先,在步骤1(S1)中,控制单元21c基于移位位置信号确定当前移位位置是否是停车了(P)。在移位位置是停车了的情况下,在步骤1中作出肯定性确定,并且处理进行到步骤2。另一方面,在移位位置不是停车了的情况下,在步骤1中作出否定性确定,并且处理进行到稍后描述的步骤10(S10)。
在步骤2中,控制单元21c启动第二相机6,并通过电后视镜设备10激活第一相机5。在第一相机5和第二相机6已经被激活的情况下,可以跳过步骤2。
在步骤3(S3)中,图像采集单元21a分别从第一相机5和第二相机6获取捕获图像。因此,获取包括从第一相机5获取的捕获图像和从第二相机6获取的捕获图像的一对捕获图像。
在步骤4(S4)中,距离检测单元21b1基于一对捕获图像执行立体图像处理。在立体图像处理中,将一个捕获图像与另一个捕获图像进行比较,以计算捕获相同主体的图像中的位置差异,即视差。通过三角测量原理,基于计算出的视差计算投影在捕获图像上的到主体的距离。然后,基于计算出的到主体的距离,对周围的景物和诸如人、两轮车辆或汽车的对象O进行分类,并且检测对象O。对象O与到对象O的距离(以立体相机作为参考的真实空间中的位置)相关联。因此,对象O和到对象O的距离被检测。
在步骤5(S5)中,路线预测单元21b2预测对象O的路线。上述距离检测单元21b1按时间序列计算到对象O的距离,该时间序列对应于图像采集单元21a进行的捕获图像的采集周期。因此,路线预测单元21b2基于距离检测单元21b1检测到的与对象O的距离的转变,预测对象O的路线。例如,路线预测单元21b2计算当前对象O的相对速度和移动方向,并且预定时间之后对象O的到达位置Po以及达到到达位置Po的移动轨迹To被预测为路线(见图3)。
在步骤6(S6)中,进入预测单元21b3基于由路线预测单元21b2预测的对象O的路线和设置在车辆C侧面的门打开和关闭区域Ad来预测对象O是否进入门打开和关闭区域Ad。具体地,在对象O的预测路线,即到达位置Po或移动轨迹To被包括在任何门打开和关闭区域Ad中的情况下,进入预测单元21b3预测对象是否是O进入门打开和关闭区域Ad。另一方面,在预测到达位置Po或移动轨迹To不被包括在任何门打开和关闭区域Ad中的情况下,预测的是对象O不进入门打开和关闭区域Ad。
在步骤7(S7)中,控制单元21c确定是否存在对象O进入门打开和关闭区域Ad的情况。在存在对象O的进入的情况下,在步骤7中作出肯定性确定,并且处理进行到步骤8(S8)。另一方面,在不存在对象O的进入的情况下,在步骤7处作出否定性确定,并且处理返回到步骤1。
在步骤8中,控制单元21c参考电容传感器33的检测信号,并确定是否检测到人体与内把手32的接触。在检测到人体与内把手32接触的情况下,在步骤8中作出肯定性确定,并且处理进行到步骤9(S9)。另一方面,在未检测到人体与内把手32接触的情况下,在步骤8中做出否定性确定,并且处理返回到步骤1。
在步骤9中,控制单元21c执行下面描述的两个控制中的一个或两个,并且本例程结束(返回)。
(1)通知控制
控制单元21c控制通知单元24以向乘员发出通知。该通知旨在提醒注意对象O进入侧门2和3的可移动范围。用于通知的方法包括使用显示器7或警报灯8显示异常状态,使用扬声器9进行音频输出或警报声音输出等。
此外,控制单元21c可以在显示器7上显示从第一相机5或第二相机6获取的捕获图像。此时,控制单元21c可以执行图像处理,使得突出显示预测其进入的对象O,并在显示器7上显示捕获图像。
(2)锁定控制
控制单元21c通过门锁控制单元35来控制门锁设备30,以便将门锁设备30设置为锁定状态。在该锁定状态下,禁止内把手32对闩锁31的释放操作。
因此,侧门2和3的打开受到限制。
在步骤10(S10)中,控制单元21c控制第二相机6停止,并退出当前例程(返回)。在未激活第二相机6的情况下,可以跳过该步骤。
如上所述,在实施例中,车辆外围监视装置20被安装在车辆C上,该车辆C配备有对车辆C的后侧和斜后方进行成像的第一相机5,并且包括:(1)距离检测单元21b1,其基于从第一相机5输出的捕获图像检测与存在于车辆C的后侧和斜后方的对象O的距离;(2)路线预测单元21b2,其基于距离检测单元21b1检测到的与对象O的距离的转变,预测对象O的路线;(3)进入预测单元21b3,其基于由路线预测单元21b2预测的对象O的路线和设置在车辆C侧面并且定义车辆C的侧门2和3在其中打开和关闭的可移动范围的门打开和关闭区域Ad,预测对象O是否进入门打开和关闭区域Ad。
根据该配置,由于由第一相机5捕获的图像,因此可以检测与存在于车辆C的后侧或斜后方的对象O的距离。然后,可以根据该距离预测对象O的路线。由于可以预测对象O进入侧门2和3的可移动范围,因此可以支撑乘员下车时的安全性。
特别地,从车辆C的后方出现的对象O可能进入乘员的盲点,并且两轮车辆等的接近速度较高,因此对象可能在乘员没有注意到它的情况下突然出现。因此,通过使用覆盖包括后方的区域的电后视镜设备10的第一相机5,可以适当地检测要引起更多注意的后方的对象O。这使得可以有效地支撑乘员下车时的安全性。
此外,在实施例中,车辆外围监视装置20还包括第二相机6,其与第一相机5组合以构成立体相机,其中距离检测单元21b1基于从第一相机5和第二相机6输出的捕获图像检测与存在于车辆C的后侧和斜后方的对象O的距离。在这种情况下,第一相机5被附接到车辆C的后侧门3的外把手4上,并且第二相机6被附接到车辆C的后侧门3的外把手4上。
根据该配置,通过使用安装在车辆C上的电后视镜设备10的第一相机5,可以仅通过第二相机6构造立体相机。因此,可以从自相机5、6输出的一对捕获图像中适当地检测与对象O的距离。
此外,根据该配置,通过共用第一相机5,可以廉价地构造车辆外围监视装置20。此外,电后视镜设备10使用当车辆C行进时从第一相机5输出的捕获图像,但是车辆外围监视装置20使用在车辆C停止时(乘员可以下车)从第一相机5输出的捕获图像。因此,可以在行进时和停止时以不同的功能使用第一相机5,并且可以有效地利用第一相机5及其捕获图像。
在实施例中,通过使用第一相机5和第二相机6来检测与对象O的距离。然而,对于检测与对象O的距离的方法,如果由第一相机5捕获到的图像被利用,则除了第二相机6之外,可以一起使用诸如激光雷达或毫米波雷达的雷达。
此外,根据实施例,第一相机5和第二相机6被附接在被提供在车辆C的侧门2和3外的外把手4上。根据该配置,即使在外部后视镜不在车身侧的车辆C中,也能够将相机5设置在能够获取后方视野的位置处。这使得可以适当地检测从后侧和斜后方接近的对象O。
此外,根据实施例,电后视镜设备10的第一相机5被附接到后侧门3的外把手4。因此,也用于电后视镜设备10的第一相机5可以在对车身的反映较小的状态下安装。
在实施例中,第一相机5和第二相机6被附接到外把手4,但是可以被设置在任何位置,只要可以获取后方视野并且可以构成立体相机即可。例如,第一相机5被设置在外把手4中,并且第二相机6被设置在第一相机5的垂直方向上的车身的任何位置处。
此外,在实施例中,在由进入预测单元21b3预测对象O进入门打开和关闭区域Ad的情况下,车辆外围监视装置20包括执行预定控制的控制单元21c。
在这种情况下,在预测到对象O进入门打开和关闭区域Ad的情况下,控制单元21c可以控制通知单元24以便向乘员执行通知。
根据该配置,可以提醒乘员注意预测到对象O进入侧门2和3的可移动范围的事实。作为结果,可以抑制乘员在没有注意到对象O的情况下打开侧门2和3的情况。
此外,在预测到对象O进入门打开和关闭区域Ad的情况下,控制单元21c控制门锁设备30以便禁止内把手32对闩锁31的释放操作。
根据该构造,即使乘员操作内把手32,也可以调节侧门2和3的打开。因此,可以抑制在预测到对象O进入侧门2和3的可移动范围的情况下打开侧门2和3的情况。
以上已经描述了根据实施例的车辆外围监视装置20,但是车辆外围监视装置20可以进行各种变形。
在上述实施例中,控制单元21c在预测到对象O进入门打开和关闭区域Ad并且乘员与内把手32接触的条件下执行预定控制。然而,由控制单元21c进行的预定控制可以仅在预测到对象O进入门打开和关闭区域Ad时执行。然而,通过增加乘员与内把手32接触的条件,可以抑制即使乘员没有打算下车也执行由控制单元21c进行的控制的情况。
在上述实施例中,为了确定侧门2和3的乘员的打开操作,通过电容传感器33确定与内把手32的接触。然而,打开操作的检测不限于此。例如,可以提供打开操作检测单元,其检测内把手32的转动操作或检测侧门2和3略微打开的状态。
在相机5、6被安装在外把手4上的实施例中,控制单元21c可以通过使用来自相机5、6的捕获图像来检测侧门2和3打开的状态。换句话说,在侧门2和3打开的情况下,提供在外把手4上的相机5、6的视角也发生偏离,因此反映在捕获图像中的车身的位置发生偏离。因此,控制单元21c可以确定位置偏差并检测侧门2和3被打开。
在实施例中,侧门2和3的打开因内把手32禁止闩锁31的释放操作而无效。然而,控制单元21c可以在处于关闭状态的侧门2和3沿打开方向转动时执行用于调节侧门2和3的转动操作的控制。
在上述实施例中,无论乘员是否就座,都针对所有侧门2和3预测对象O进入门打开和关闭区域Ad。然而,车辆外围监视装置20可以包括乘员检测单元,其针对乘员坐在其上的每个座位检测乘员的就坐情况。在这种情况下,进入预测单元21b3可以通过将目标限制到对应于乘员检测单元检测到就坐的座位的侧门2和3来预测对象O是否进入门打开和关闭区域Ad。
此外,进入预测单元21b3可以在不确定就座的情况下通过将目标限制到后侧门3来预测对象O是否进入门打开和关闭区域Ad。这是因为车辆外围监视装置20假定对象O从车辆C的后方接近。
此外,进入预测单元21b3可以根据对象O的移动速度来改变对象O到门打开和关闭区域Ad的进入预测灵敏度。例如,在对象O的移动速度快的情况下,优选地与移动速度慢的情况相比更早地执行通知控制或锁定控制。因此,在要预测的对象O的相对速度高的情况下,进入预测单元21b3增加进入预测灵敏度。作为用于提高进入预测灵敏度的方法,在门打开和关闭区域Ad外额外设置虚拟门打开和关闭区域,或者指示路线预测单元21b2延长针对到达位置Po所设置的时间。
在使用捕获图像的对象O的检测方法中,可以识别对象O的尺寸。因此,进入预测单元21b3可以根据对象O的尺寸来改变对象O到门打开和关闭区域Ad的进入预测灵敏度。例如,对象O被分类为两轮车辆和行人,并且使得两轮车辆的进入预测灵敏度高于行人的进入预测灵敏度。
在实施例中,在预测到对象O进入门打开和关闭区域Ad的情况下,控制单元21c执行通知控制和锁定控制中的一个或两个。然而,由控制单元21c执行的控制可以不同于此。例如,控制单元21c可以将预测结果发送到安装在车辆C上的另一控制系统(外部装备)。因此,接收预测结果的控制系统可以执行诸如通过使用系统中提供的通知单元执行通知和去激活构成系统的装备的处理。
以上已经描述了根据实施例的车辆外围监视装置,但是不言而喻的是,本发明可以在本发明的范围内进行各种修改,而不限于上述实施例。
例如,在实施例中,侧门被示例为车门,但是车门可以是向后打开的后门。
本申请基于2017年2月20日提交的日本专利申请(日本专利申请号2017-028675),其内容通过引用并入本申请中。
参考符号列表
C 车辆
2、3 侧门
4 外把手
5 相机(第一相机)
6 相机(第二相机)
7 显示器
8 警报灯
9 扬声器
10 电后视镜设备
11 电子后视镜控制单元
21 显示单元
20 车辆外围监视装置
21 监视控制单元
21a 图像采集单元
21b 图像处理单元
21b1 距离检测单元
21b2 路线预测单元
21b3 进入预测单元
21c 控制单元
24 通知单元
30 门锁设备
31 闩锁
32 内把手
33 电容传感器
34 致动器
35 门锁控制单元

Claims (5)

1.一种安装在车辆上的车辆外围监视装置,所述车辆外围监视装置包括:
第一成像单元,其捕获车辆的后侧和斜后方的图像;
第二成像单元,所述第二成像单元与所述第一成像单元组合构成立体相机;
距离检测单元,基于由所述第一成像单元和所述第二成像单元捕获到的多个图像,通过执行立体图像处理来检测从车辆到存在于车辆的后侧和斜后方的对象的距离;
路线预测单元,基于检测到的与所述对象的距离的转变来预测所述对象的路线;以及
进入预测单元,基于预测到的所述对象的路线、和设置在车辆侧面并且定义车辆的门在其中打开和关闭的可移动范围的门打开和关闭区域,预测所述对象是否进入所述门打开和关闭区域,
其中,所述第一成像单元被附接到车辆的前侧门的外把手,
其中,所述第二成像单元被附接到车辆的后侧门的外把手。
2.根据权利要求1所述的车辆外围监视装置,
其中,在由所述进入预测单元预测到所述对象进入到所述门打开和关闭区域中的情况下,通知控制和调节门的转动操作的锁定控制中的至少一个被执行。
3.根据权利要求2所述的车辆外围监视装置,其中,
所述门包括:
门锁设备,其包括与车身接合的闩锁;以及
内把手,其被设置在门的舱室侧,并且执行所述门锁设备的所述闩锁的释放操作,并且
其中,所述门锁设备被控制,以便禁止所述内把手对所述闩锁的释放操作。
4.一种安装在车辆上的车辆外围监视装置,所述车辆外围监视装置包括:
成像单元,其捕获车辆的后侧和斜后方的图像;
路线预测单元,其预测由所述成像单元所捕获的对象的路线;
进入预测单元,其基于由所述路线预测单元预测到的所述对象的路线和设置在车辆侧面并且定义车辆的门在其中打开和关闭的可移动范围的门打开和关闭区域来预测所述对象是否进入所述门打开和关闭区域;
打开操作检测单元,其检测门的打开的操作;以及
控制单元,其在由进入预测单元预测到所述对象进入所述门打开和关闭区域并且由所述打开操作检测单元检测到打开的操作的情况下执行锁定控制,其中所述车辆的门锁设备被设置为在所述锁定控制下处于锁定状态,
其中,所述成像单元被附接到侧门的外把手,
其中,所述控制单元被配置为通过使用所述成像单元的捕获到的图像来检测所述侧门打开的状态。
5.一种安装在车辆上的车辆外围监视装置,所述车辆外围监视装置包括:
成像单元,其被提供在所述车辆的门上并捕获车辆的后侧和斜后方的图像;
路线预测单元,其预测由所述成像单元所捕获的对象的路线;
进入预测单元,其基于由所述路线预测单元预测到的所述对象的路线和设置在车辆侧面并且定义车辆的门在其中打开和关闭的可移动范围的门打开和关闭区域来预测所述对象是否进入所述门打开和关闭区域;
打开操作检测单元,其检测门打开的状态;以及
控制单元,其在由进入预测单元预测到所述对象进入所述门打开和关闭区域并且由所述打开操作检测单元检测到门打开的情况下在处于关闭状态的门沿打开方向转动时调节门的转动操作,
其中,所述控制单元被配置为通过使用所述成像单元的捕获到的图像来检测门打开的状态。
CN201880012591.0A 2017-02-20 2018-02-20 车辆外围监视装置 Active CN110300673B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-028675 2017-02-20
JP2017028675A JP6760867B2 (ja) 2017-02-20 2017-02-20 車両用周辺監視装置
PCT/JP2018/006074 WO2018151328A1 (ja) 2017-02-20 2018-02-20 車両用周辺監視装置

Publications (2)

Publication Number Publication Date
CN110300673A CN110300673A (zh) 2019-10-01
CN110300673B true CN110300673B (zh) 2023-08-08

Family

ID=63169900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880012591.0A Active CN110300673B (zh) 2017-02-20 2018-02-20 车辆外围监视装置

Country Status (5)

Country Link
US (1) US11008783B2 (zh)
EP (1) EP3584099A4 (zh)
JP (1) JP6760867B2 (zh)
CN (1) CN110300673B (zh)
WO (1) WO2018151328A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11989901B2 (en) * 2018-07-17 2024-05-21 Sony Corporation Information processing device and information processing method
JP2020120278A (ja) * 2019-01-24 2020-08-06 アルパイン株式会社 電子サイドミラーシステム
JP2020201881A (ja) * 2019-06-13 2020-12-17 三菱電機株式会社 ドア開放警告装置、ドア開放警告方法、及びドア開放警告プログラム
CN110406468A (zh) * 2019-06-28 2019-11-05 浙江飞碟汽车制造有限公司 一种智能车门开启预警方法及系统
US11085213B2 (en) * 2019-12-16 2021-08-10 Denso Corporation Systems and methods for adapting activation timing of alerts
JP7419123B2 (ja) * 2020-03-18 2024-01-22 本田技研工業株式会社 車両制御装置、車両制御方法、及び車両制御用プログラム
CN115315738A (zh) * 2020-03-26 2022-11-08 日产自动车株式会社 信息提供方法、车辆系统以及管理装置
JP2021154969A (ja) * 2020-03-30 2021-10-07 株式会社アイシン 障害物検知装置、障害物検知方法、および、プログラム
CN111267724B (zh) * 2020-03-31 2022-08-05 的卢技术有限公司 一种车辆开启车门的保护和提醒方法及其系统
CN112572336A (zh) * 2020-12-23 2021-03-30 奇瑞汽车股份有限公司 一种行车安全提醒系统及方法
JP7379545B2 (ja) 2022-01-06 2023-11-14 本田技研工業株式会社 車両用警告システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1128600A (zh) * 1994-03-29 1996-08-07 株式会社东芝 车辆后方确认装置
CN102596656A (zh) * 2009-11-13 2012-07-18 爱信精机株式会社 多功能摄像机系统
SE1250342A1 (sv) * 2012-04-04 2013-10-05 Scania Cv Ab Förfarande och system för att förbättra säkerheten vid framförande av ett motorfordon
DE102014005803B3 (de) * 2014-04-19 2015-09-17 Daimler Ag Kraftfahrzeug mit einer seitenrückspiegellosen Rückblickeinrichtung
CN106114456A (zh) * 2015-03-23 2016-11-16 大陆汽车系统公司 用于利用摄像机开启车辆车门的设备和方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050263A (ja) * 2004-08-04 2006-02-16 Olympus Corp 画像生成方法および装置
JP5397675B2 (ja) * 2009-02-25 2014-01-22 アイシン精機株式会社 ドア開閉装置
JP2013093013A (ja) * 2011-10-06 2013-05-16 Ricoh Co Ltd 画像処理装置、車両
US20140257630A1 (en) * 2013-03-05 2014-09-11 Xerox Corporation Safety door interlock system for public transportation vehicles
GB2532555B (en) * 2013-06-14 2017-12-13 Jaguar Land Rover Ltd Door protection system
JP6206395B2 (ja) 2014-12-26 2017-10-04 トヨタ自動車株式会社 電子ミラー装置
CN204488645U (zh) * 2015-03-25 2015-07-22 山东理工大学 一种后排车门安全开启检测装置
JP6639271B2 (ja) 2015-07-16 2020-02-05 キヤノン株式会社 撮像装置、撮像システム
US11017243B2 (en) * 2016-12-05 2021-05-25 Intel Corporation Automotive system with motion detection capabilities

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1128600A (zh) * 1994-03-29 1996-08-07 株式会社东芝 车辆后方确认装置
CN102596656A (zh) * 2009-11-13 2012-07-18 爱信精机株式会社 多功能摄像机系统
SE1250342A1 (sv) * 2012-04-04 2013-10-05 Scania Cv Ab Förfarande och system för att förbättra säkerheten vid framförande av ett motorfordon
DE102014005803B3 (de) * 2014-04-19 2015-09-17 Daimler Ag Kraftfahrzeug mit einer seitenrückspiegellosen Rückblickeinrichtung
CN106114456A (zh) * 2015-03-23 2016-11-16 大陆汽车系统公司 用于利用摄像机开启车辆车门的设备和方法

Also Published As

Publication number Publication date
EP3584099A1 (en) 2019-12-25
JP2018134887A (ja) 2018-08-30
US11008783B2 (en) 2021-05-18
EP3584099A4 (en) 2020-12-30
US20190368236A1 (en) 2019-12-05
CN110300673A (zh) 2019-10-01
WO2018151328A1 (ja) 2018-08-23
JP6760867B2 (ja) 2020-09-23

Similar Documents

Publication Publication Date Title
CN110300673B (zh) 车辆外围监视装置
US9994148B1 (en) Pedestrian warning device of vehicle
JP4517393B2 (ja) 運転支援装置
US7983475B2 (en) Vehicular actuation system
JP6651031B2 (ja) 車両ドア衝突防止装置および車両ドア衝突防止方法
CN110481497B (zh) 车辆防盗装置
US9981598B2 (en) Alighting notification device
JP2013093013A (ja) 画像処理装置、車両
CN110682913B (zh) 监视系统
EP3248839B1 (en) Vehicular display device
JP6999761B2 (ja) 車両用周辺監視装置
JP2017019419A (ja) 車輛用ドア開閉制御装置およびドア開閉制御システム、ドア開閉予告システム
JP2007168570A (ja) 車載カメラの制御装置
CN111976595A (zh) 车门开启辅助系统、包括其的车辆及相应的方法和介质
US11198392B2 (en) Vehicle monitoring device
JP2020045065A (ja) 自動運転方法及び車両
JP6451390B2 (ja) 動き検出システム
CN112272946A (zh) 车辆控制装置
JP2016074312A (ja) 車室の内部の表示システム
JP2017194822A (ja) 乗員状態推定装置
WO2013133075A1 (ja) 車両用報知装置及び車両用報知方法
JP2006298130A (ja) 車両周辺監視装置
JP4930728B2 (ja) 表示装置
JP2007085745A (ja) 物体監視装置
EP3360730B1 (en) Surveillance system for doors of a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant