CN110312640B - 车辆监视设备 - Google Patents

车辆监视设备 Download PDF

Info

Publication number
CN110312640B
CN110312640B CN201880012573.2A CN201880012573A CN110312640B CN 110312640 B CN110312640 B CN 110312640B CN 201880012573 A CN201880012573 A CN 201880012573A CN 110312640 B CN110312640 B CN 110312640B
Authority
CN
China
Prior art keywords
vehicle
image
reference image
unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880012573.2A
Other languages
English (en)
Other versions
CN110312640A (zh
Inventor
坂仓弘晃
蟹和一彦
斋藤壮
加藤辉久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpha Corp
Original Assignee
Alpha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpha Corp filed Critical Alpha Corp
Publication of CN110312640A publication Critical patent/CN110312640A/zh
Application granted granted Critical
Publication of CN110312640B publication Critical patent/CN110312640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60J—WINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J5/00—Doors
    • B60J5/04—Doors arranged at the vehicle sides
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

安装在车辆上的车辆监视设备提供有：成像装置，其用于捕获车辆的车身侧、车辆的后侧和侧后方的图像；存储单元，其用于存储定义了车身侧的标准状态的参考图像；以及图像比较单元，其用于通过将由成像装置捕获到的捕获图像与由存储单元读取的参考图像进行比较来检测车身的异常状态。

Description

车辆监视设备
技术领域
本发明涉及车辆监视设备。
背景技术
常规上，诸如汽车的车辆提供有诸如车门后视镜的外部后视镜。外部后视镜在驾驶员观察车辆的后侧和斜后方时被使用，并且被提供为在车身的侧表面上向外突出。然而，这种外部后视镜致使在车辆行进时空气阻力的增加，并且由于后视镜的形状和尺寸受到限制，因此对于驾驶员有时会产生作为盲点的区域。
专利文件1公开了一种电后视镜设备，其中诸如相机的成像装置代替外部后视镜被安装在车辆上。在电后视镜设备中，通过成像装置捕获车辆的后侧和斜后方，并且捕获的图像显示在舱室中的监视器上。为了适当地获得车辆的后方视野，成像装置的视角(成像范围)被设置为包括车身侧表面。
专利文件2公开了一种安装在车辆侧门的外把手上的相机，以用于在车辆行进时检测障碍物的目的。相机的成像范围包括车辆的车身侧表面和车辆的后侧。
现有技术文件
专利文件
专利文件1：JP-A-2016-124391
专利文件2：JP-A-2011-105058
如上所述，近年来，由于成像装置出于各种目的被安装在车辆上，因此需要有效地利用成像装置的功能。
发明内容
根据本发明的实施例，可以通过使用安装在车身上的成像装置来监视车辆中发生的异常。
根据本发明的实施例，在被安装在车辆上的车辆监视设备中包括成像装置，其捕获车辆的车身侧表面、后侧和斜后方的图像，车辆监视设备包括：存储单元，其存储定义了出现在成像装置的捕获图像中的车身侧表面的参考状态的参考图像；以及图像比较单元，其通过将由成像装置捕获到的捕获图像与从存储单元读取的参考图像进行比较来检测车身的异常状态。
根据本发明的实施例，车辆优选地包括电后视镜设备，该电后视镜设备向乘员呈现车辆的后侧和斜后方的捕获图像。在这种情况下，成像装置优选地是用于在电后视镜设备中捕获车辆的后侧和斜后方的图像的成像装置。
根据本发明的实施例，成像装置优选地被附接到被设置在车辆的侧门外的外把手。
根据本发明的实施例，图像比较单元优选地在车辆停止时检测车辆的异常状态。
根据本发明的实施例，通过使用对应于车辆的后方视野的捕获图像，可以适当地监视车辆中发生的异常。
附图说明
图1是示出车辆的说明图。
图2是示出根据第一实施例的包括车辆监视设备的车辆的系统配置的框图。
图3是示出根据第一实施例的由车辆监视设备进行的监视控制的过程的流程图。
图4是示出根据第二实施例的车辆监视设备的配置的框图。
图5是示出根据第二实施例的对参考图像进行更新的过程的流程图。
具体实施方式
在下文中，将描述根据实施例的配备有车辆监视设备20的车辆C。图1是示出车辆C的说明图。图2是示出根据实施例的包括车辆监视设备20的车辆C的系统配置的框图。根据实施例的车辆C例如是具有一对左右前侧门2和一对左右后侧门3的类型的汽车。
车辆C配备有电后视镜设备10。电后视镜设备10是通过使用相机5而不是诸如车门后视镜的外部后视镜来执行后视识别的设备。电后视镜设备10主要配置有安装在车辆C上的一对左右相机5、电子后视镜控制单元11以及对应于左右相机5的一对显示单元12。
相机5分别被提供在车身的左右侧表面上，并且在实施例中，相机5被安装在前侧门2的外把手4上。各个相机5捕获车辆C的后方视野(即车辆C的后侧和斜后方(包括车身侧表面))的图像，如图1的虚线范围所示(成像装置)。具体地，右相机5捕获车辆C的后侧和右斜后方(包括右车身侧表面)的图像，并且左相机5捕获车辆C的后方和左斜后方(包括左车身侧)的图像。对于相机5，优选使用诸如CMOS和CCD和广角镜头的成像元件的数字相机。
电子后视镜控制单元11用于控制电后视镜设备10，并且作为功能配置，它包括图像采集单元11a、图像处理单元11b和图像显示单元11c。对于电子后视镜控制单元11，将使用主要配置有CPU、ROM、RAM和I/O接口的微计算机。
图像采集单元11a被连接到左右相机5，并且从左右相机5获取通过以预定周期对车辆C的后侧和斜后方进行成像获得的捕获图像。图像处理单元11b根据预定剪切范围剪切由图像采集单元11a获取到的捕获图像，以生成显示图像。图像处理单元11b生成对应于左右相机5的左右显示图像。图像显示单元11c接收来自图像处理单元11b的显示图像，并在一对显示单元12上显示图像。此时，图像处理单元11b在对应于右相机5的显示单元12上显示从右相机5处理的显示图像，并在对应于左相机5的显示单元12上显示从左相机5处理的显示图像。
一对显示单元12例如是有机EL显示器、液晶显示器等。每个显示单元12被连接到电子后视镜控制单元11。一对显示单元12例如在舱室中设置在位于挡风玻璃两侧的每个前柱的基端部上。对应于右相机5的显示单元12设置在右侧的前柱的基端部处，并且对应于左相机5的显示单元12设置在左侧的前柱的基端部处。然而，一对显示单元12可以被提供在舱室中的其他部分(诸如仪表板)。
作为该实施例的一个特征，车辆C配备有车辆监视设备20。车辆监视设备20是监视车辆C的车身侧表面中发生的异常的设备。由车辆监视设备20监视的异常对应于例如门的未完全关闭状态、异物陷入侧门2和3中的状态以及供油端口盖的打开状态。车辆监视设备20主要配置有监视控制单元21和通知单元22。车辆监视设备20未被构造成独立地提供有一对左右相机，而是被设计成利用被提供在电后视镜设备10中的左右相机5。
监视控制单元21控制电后视镜设备10，并且作为功能配置，它包括图像采集单元21a、存储单元21b、图像比较单元21c和通知控制单元21d。作为电子后视镜控制单元11，可以使用主要配置有CPU、ROM、RAM和I/O接口的微计算机。
图像采集单元21a被连接到左右相机5，并且从左右相机5获取通过捕获车辆C的后方和斜后方获得的捕获图像。存储单元21b存储参考图像，该参考图像定义出现在相机5的捕获图像中的车身侧表面的参考状态。存储单元21b分别存储对应于右相机5的参考图像和对应于左相机5的参考图像。图像比较单元21c通过将由相机5实际捕获到的捕获图像与从存储单元21b读取的参考图像进行比较来检测车身的异常状态。相对于左右车身侧表面来确定异常状态。具体地，图像比较单元21c通过将对应于右相机5的参考图像与右相机5捕获的捕获图像进行比较来确定车身右侧的异常状态。此外，图像比较单元21c通过将对应于左相机5的参考图像与左相机5捕获的捕获图像进行比较来确定车身左侧的异常状态。由图像比较单元21c确定的异常是门的未完全关闭状态、异物陷入侧门2和3中的状态以及供油端口盖的打开状态，并且这些异常表现为不同于相机5实际捕获到的捕获图像中的参考图像的特征。在图像比较单元21c确定异常状态的情况下，通知控制单元21d控制通知单元22以执行通知。
通知单元22被配置为向乘员通知预定信息。作为通知单元22，可以使用被提供在仪表板中的用于导航的显示器6、其中设置有速度计等的计量设备中的警报灯7或扬声器8。
车辆C被提供有控制器局域网(CAN)，并且电后视镜设备10的电子后视镜控制单元11和车辆监视设备20的监视控制单元21被连接到CAN以彼此通信。此外，监视控制单元21可以通过CAN与安装在车辆C上的各种控制系统和各种传感器的控制单元进行通信。
这种控制系统包括车辆认证系统30，以用于锁定或解锁车辆C的侧门2和3以及对发动机进行致动，称为智能进入或被动进入。车辆认证系统30包括安装在车辆C上的车载单元31，以及车辆C的用户拥有的电子钥匙32。由于车载单元31和电子钥匙32在不执行电子钥匙32的开关操作或由机械钥匙执行操作的情况下通过无线电通信执行认证，因此车辆认证系统30仅在门打开和关闭的一系列操作过程中执行侧门2和3的锁定或解锁，或仅通过操作安装在车辆中的发动机开关来启动发动机。此外，车辆认证系统30还可以通过设置在电子钥匙32中的开关的操作来锁定或解锁侧门2和3。
图3是示出根据实施例的由车辆监视设备20进行的监视控制的过程的流程图。该流程图所示的处理由监视控制单元21执行，其中车辆C的点火开关的接通作为触发。当点火开关接通时，车辆C处于停止状态。
首先，在步骤10(S10)中，图像采集单元21a分别从左右相机5获取捕获图像。车辆C的车身侧表面和车辆C的后方和后侧的景物被反映在从左右相机5输出的捕获图像(左右捕获图像)上。由图像采集单元21a获取的左右捕获图像被输出到图像比较单元21c。
在步骤11(S11)中，图像比较单元21c从存储单元21b读取对应于右相机5的参考图像和对应于左相机5的参考图像。
在步骤12(S12)中，图像比较单元21c通过将对应于右相机5的参考图像与从右相机5获取的捕获图像进行比较来确定车身右侧的异常状态。也就是说，图像比较单元21c将在没有异常的状态下反映出的右车身侧表面(参考图像)与实际成像的右车身侧表面(实际捕获图像)进行比较，并且根据差异确定车身右侧的异常状态。由图像比较单元21c确定的异常是前侧门2或后侧门3未完全关闭的状态、异物陷入侧门2和3中的状态以及供油端口盖的打开状态。
(1)门的未完全关闭状态
在前侧门2没有完全关闭的情况下，前侧门2的位置与完全关闭状态相比向外移位，因此安装在外把手4上的相机5的位置也向外移位。因此，在门的未完全关闭状态下，捕获图像中反映出的车身侧表面的位置(例如，车身侧表面的外边缘位置)与参考图像中反映出的车身侧表面的位置相比发生了偏离。因此，可以通过根据捕获图像和参考图像之间的比较来确定捕获图像中的车身侧表面的外边缘位置与参考图像中的车身侧表面的外边缘位置之间的偏差，从而确定前侧门2是否未完全关闭。
另一方面，在后侧门3未完全关闭的情况下，后侧门3的位置与完全关闭状态相比向外移位。因此，在门的未完全关闭状态下，捕获图像中反映出的后侧门3的位置(例如，后侧门3的外边缘位置)与参考图像中反映出的后侧门3的位置相比发生了偏离。因此，可以通过根据捕获图像和参考图像之间的比较来确定捕获图像中的后侧门3的外边缘位置与参考图像中的后侧门3的外边缘位置之间的偏差，从而确定后侧门3是否未完全关闭。
(2)陷入侧门2和3中的异物。
在侧门2和3在异物陷入其中的状态下关闭的情况下，从侧门2和3突出的异物被反映在捕获图像上。因此，在捕获图像中侧门2和3的外边缘周围存在参考图像中未找到的特征的情况下(例如，存在与车身颜色的颜色不同颜色的物体或者存在参考图像中未找到的亮边)，可以根据捕获图像和参考图像之间的比较确定陷入了异物。
(3)供油端口盖的打开状态
在供油端口盖处于打开状态的情况下，盖子的后端侧与完全关闭状态相比向外移位。因此，在关闭状态下，捕获图像中反映出的盖的位置(例如，盖的外边缘位置)与参考图像中反映出的盖的位置相比发生了偏离。因此，可以通过根据捕获图像和参考图像之间的比较来确定捕获图像中的盖的外边缘位置与参考图像中的盖的外边缘位置之间的偏差，从而确定供油端口盖的打开状态。
除了这些异常之外，图像比较单元21c将对应于右相机5的参考图像与从右相机5获得的捕获图像进行比较，并且在可以在捕获图像中反映出的车身的范围内识别出与参考图像不同的特征的情况下，它确定车身的异常状态。
类似于右相机5，图像比较单元21c通过将对应于左相机5的参考图像与从左相机5获取的捕获图像进行比较来确定车身左侧的异常状态。
在步骤13(S13)中，图像比较单元21c确定车身中是否存在异常。在车身存在异常的情况下，在步骤13中作出肯定性确定，并且处理进行到步骤14(S14)。在车身中没有异常的情况下，在步骤13中作出否定性确定，并且通过跳过步骤14结束该例程。
在步骤14中，通知控制单元21d控制通知单元22以便通知车身的异常状态。用于通知的方法包括使用显示器6或警报灯7显示异常状态，使用扬声器8进行音频输出或警报声音输出等。作为通知的内容，仅可以通知异常的存在，但是可以以可以理解异常类型的方式进行通知。
在实施例中，车辆监视设备20通过将由相机5捕获到的捕获图像与参考图像进行比较来执行监视控制，以确定车辆C的车身的异常状态。由于用于获得后方视野的相机5需要投影车辆C的后侧，因此车辆C的车身侧表面被包括在视角中。因此，可以通过使用相机5的捕获图像来适当地监视出现在车身中的异常状态。
通常，为了检测门的未完全关闭状态或忘记关闭供油端口盖，有必要在多个位置处布置传感器并检测这种状态。然而，根据实施例的方法，可以仅通过一对相机5实现检测，可以抑制组件数量的增加和成本的增加。
在实施例中，车辆监视设备20的相机5与电后视镜设备10中的捕获车辆C的后方和斜后方的图像的相机5(成像装置)共用。
根据该配置，每个设备不必各自准备成像装置，并且共用成像装置，因此可以以低成本构造车辆监视设备20。特别地，类似于在外部后视镜上反映出的后方视野，电后视镜设备10中的相机5的视角有可能被设置为以便减小与相关技术中使用外部后视镜进行的感测的差异。因此，相机5的成像范围被设置为包括车辆C的车身侧表面。因此，即使共用相机5，车辆监视设备20也可以适当地检测车身的异常状态。
此外，电后视镜设备10使用当车辆C行进时从相机5输出的捕获图像，但是要由车辆监视设备20确定的车身异常发生在乘员上下车时，因此车辆监视设备20使用当车辆C停止时从相机5输出的捕获图像。因此，可以在行进时和停止时以不同的功能使用相机5，并且可以有效地利用相机5及其捕获的图像。
此外，根据实施例，相机5被附接在被提供在车辆C的侧门2和3外的外把手4上。
根据该配置，即使在外部后视镜不在车辆C的车身侧的车身中，也能够将相机5设置在能够获得后方视野的位置处。因此，可以有效地获得后方视野，并且可以适当地监视车身的异常。
在实施例中，在点火开关接通时执行监视控制(假设检测到乘员上车C时的异常状态)。然而，可以在乘员下车C时执行监视控制。例如，在点火开关断开之后，以预定的延迟时间向车辆监视设备20供电，并且使车辆监视设备20即使在点火开关断开之后也可操作。当使用车辆认证系统30的智能进入功能来锁定侧门2和3时，车辆监视设备20可以执行监视控制，或者将使用电子钥匙32作为触发来锁定侧门2和3。
当在车辆C停止(其中点火开关接通)的同时侧门2和3打开或关闭时，可以在侧门2和3从打开状态操作到关闭状态作为触发时执行监视控制。
因此，监视控制单元21可以在不与电后视镜设备10的操作时段重叠的时段中(例如，当车辆停止时)执行监视控制。因此，可以在行进时和停止时以不同的功能使用相机5，并且可以有效地利用相机5及其捕获的图像。
在实施例中，通知控制单元21d控制通知单元22以便通知车身的异常状态。
根据该构造，可以向乘员通知车身的异常状态。因此，可以抑制车辆C在车身中发生异常或者与车辆C分离的状态下开始行进的情况。
另外，在实施例中，通知控制单元21d基本上执行控制以便向乘员通知异常状态，但是在图像比较单元21c确定车身的异常状态的情况下，只要通知控制单元21d执行预定控制，通知控制单元21d就可以执行除通知之外的控制。例如，通知控制单元21d可以执行控制以将指示异常状态的信号发送到安装在车辆C上的另一控制系统(外部装备)。因此，接收该信号的控制系统可以执行诸如通过使用系统中提供的通知单元进行通知和停用构成系统的装备的操作。
(第二实施例)
图4是示出根据第二实施例的车辆监视设备20的配置的框图。根据第二实施例的车辆监视设备20与第一实施例的车辆监视设备20的不同之处在于，其包括更新参考图像的功能。省略与第一实施例重叠的配置的描述，并且将主要描述不同之处。
由于老化等，相机5的视角与车身之间的位置关系可能发生偏差。在这种情况下，由于捕获图像中反映出的车身的位置可能发生偏差，因此即使车身实际上不是异常，也识别与参考图像的差异并确定异常。因此，在实施例中，如图4所示，车辆监视设备20的监视控制单元21包括参考图像更新单元21e，并且存储在存储单元21b中的参考图像由参考图像更新单元21e根据需要进行更新。
图5是示出参考图像的更新处理的流程图。流程图中所示的处理由监视控制单元21执行。
首先，在步骤20(S20)中，图像采集单元21a确定侧门2和3是否被解锁。在侧门2和3被解锁的情况下，在步骤20中作出肯定性确定，并且该过程进行到步骤21(S21)。另一方面，在侧门2和3保持锁定的情况下，处理返回到步骤20。
在步骤21中，图像采集单元21a分别从左右相机5获取捕获图像。包括车辆C的车身侧表面的车辆C的后方和斜后方的景物被反映在从左右相机5输出的捕获图像(左右捕获图像)上。由图像采集单元21a获取的左右捕获图像被输出到参考图像更新单元21e。
在步骤22(S22)中，参考图像更新单元21e通过使用从图像采集单元21a获取到的左右捕获图像来更新存储在存储单元21b中的参考图像。
根据实施例，可以更新用于检测车身异常的参考图像。因此，当存在老化时或者甚至在将可选组件添加到车辆C的情况下，它可以反映在参考图像上。因此，可以执行高度精确的监视控制。
此外，根据实施例，在侧门2和3被解锁的时刻更新参考图像。解锁侧门2和3意味着侧门2和3处于锁定状态，因此很可能的是，诸如门的未完全关闭状态或陷入异物状态的情况没有发生，并且侧门2和3被适当地关闭。因此，可以通过在解锁时刻作为触发的情况下更新参考图像，从而在对于车身适当的状态下更新参考图像。作为结果，可以执行高度精确的监视控制。
以上已经描述了根据实施例的车辆监视设备，但是不言而喻的是，本发明可以在本发明的范围内进行各种修改，而不限于上述实施例。
例如，尽管在上述实施例中相机被安装在外把手中，但是相机可以被安装在除外把手之外的位置中。
本申请是基于2017年2月20日提交的日本专利号2017-028576，其内容通过引用并入本申请中。
参考符号列表
C 车辆
2、3 侧门
4 外把手
5 相机
6 显示器
7 警报灯
8 扬声器
10 电后视镜设备
11 电子后视镜控制单元
12 显示单元
20 车辆监视设备
21 监视控制单元
21a 图像采集单元
21b 存储单元
21c 图像比较单元
21d 通知控制单元
21e 参考图像更新单元
22 通知单元

Claims (5)

1.一种安装在车辆上的车辆监视设备，所述车辆监视设备包括：
成像装置，其用于捕获车辆的车身侧表面、后侧和斜后方的图像；
存储单元，其存储定义了车身侧表面的参考状态的参考图像；
图像比较单元，其通过将由所述成像装置捕获到的捕获图像与从所述存储单元读取的参考图像进行比较来检测车身的异常状态；以及
参考图像更新单元，
其中所述参考图像更新单元被配置为在解锁时刻作为触发的情况下更新存储在所述存储单元中的参考图像，所述解锁时刻是侧门从关闭状态到打开状况而被解锁的时刻。
2.根据权利要求1所述的车辆监视设备，其中，车辆包括电后视镜设备，所述电后视镜设备向乘员呈现由所述成像装置捕获到的车辆的后方和斜后方的捕获图像。
3.根据权利要求1或2所述的车辆监视设备，其中，所述成像装置被附接到被设置在车辆的侧门外的外把手。
4.根据权利要求1或2所述的车辆监视设备，其中，所述图像比较单元在车辆停止时检测车辆的异常状态。
5.根据权利要求3所述的车辆监视设备，其中，所述图像比较单元在车辆停止时检测车辆的异常状态。
CN201880012573.2A 2017-02-20 2018-02-20 车辆监视设备 Active CN110312640B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017028576A JP6807771B2 (ja) 2017-02-20 2017-02-20 車両用監視装置
JP2017-028576 2017-02-20
PCT/JP2018/006073 WO2018151327A1 (ja) 2017-02-20 2018-02-20 車両用監視装置

Publications (2)

Publication Number Publication Date
CN110312640A CN110312640A (zh) 2019-10-08
CN110312640B true CN110312640B (zh) 2023-06-02

Family

ID=63169401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880012573.2A Active CN110312640B (zh) 2017-02-20 2018-02-20 车辆监视设备

Country Status (5)

Country Link
US (1) US11198392B2 (zh)
EP (1) EP3584119B1 (zh)
JP (1) JP6807771B2 (zh)
CN (1) CN110312640B (zh)
WO (1) WO2018151327A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11884215B2 (en) 2019-05-15 2024-01-30 Continental Automotive Systems, Inc. Rear-view camera for pick-up trucks with open tailgates
JP2021167175A (ja) * 2020-04-13 2021-10-21 株式会社デンソー 車両用制御装置
JP7380633B2 (ja) * 2021-04-01 2023-11-15 トヨタ自動車株式会社 監視装置、監視方法及び監視システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102087711A (zh) * 2010-12-03 2011-06-08 黄晓峰 闭环的图像比较系统
CN202279134U (zh) * 2011-09-13 2012-06-20 北京华兴致远科技发展有限公司 一种列车故障检测系统
CN105915862A (zh) * 2016-06-22 2016-08-31 成都嘉泽兴业科技有限责任公司 一种视频处理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP3599639B2 (ja) * 2000-05-26 2004-12-08 松下電器産業株式会社 画像処理装置
SE520075C2 (sv) * 2000-12-01 2003-05-20 Safenet I Harads Ab Förfarande vid klämskyddsanordningar samt anordning för genomförande av förfarandet
US6947818B1 (en) * 2004-09-20 2005-09-20 Shih-Hsiung Li Onboard monitoring device to ensure safe disembarkation of a transportation means
GB2418513A (en) * 2004-09-22 2006-03-29 Shih-Hsiung Li A device for ensuring a safe exit from a vehicle
JP2006224873A (ja) 2005-02-18 2006-08-31 Denso Corp 車両周辺監視装置
JP5360491B2 (ja) * 2009-11-13 2013-12-04 アイシン精機株式会社 多機能カメラシステム
CN102343871B (zh) * 2010-07-26 2013-10-30 浙江吉利汽车研究院有限公司 智能后视镜系统
JP6364797B2 (ja) * 2014-02-06 2018-08-01 株式会社デンソー 画像解析装置、および画像解析方法
JP6206395B2 (ja) 2014-12-26 2017-10-04 トヨタ自動車株式会社 電子ミラー装置
JP6567911B2 (ja) 2015-07-24 2019-08-28 京セラ株式会社 音響発生器およびこれを備えた音響発生装置、電子機器
CN105243782A (zh) * 2015-10-23 2016-01-13 深圳市十方联智科技有限公司 车辆的监控方法和汽车、行车记录仪
CN106203298A (zh) * 2016-06-30 2016-12-07 北京集创北方科技股份有限公司 生物特征识别方法及装置
CN115570953A (zh) 2016-08-23 2023-01-06 株式会社阿尔发 车门及车辆

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102087711A (zh) * 2010-12-03 2011-06-08 黄晓峰 闭环的图像比较系统
CN202279134U (zh) * 2011-09-13 2012-06-20 北京华兴致远科技发展有限公司 一种列车故障检测系统
CN105915862A (zh) * 2016-06-22 2016-08-31 成都嘉泽兴业科技有限责任公司 一种视频处理方法

Also Published As

Publication number Publication date
US11198392B2 (en) 2021-12-14
EP3584119B1 (en) 2021-10-13
EP3584119A4 (en) 2020-08-19
JP2018134885A (ja) 2018-08-30
WO2018151327A1 (ja) 2018-08-23
JP6807771B2 (ja) 2021-01-06
EP3584119A1 (en) 2019-12-25
US20190366927A1 (en) 2019-12-05
CN110312640A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110300673B (zh) 车辆外围监视装置
CN107972609B (zh) 用于门状态检测的方法和装置
US11198392B2 (en) Vehicle monitoring device
US20180086268A1 (en) Vehicle periphery imaging/display device and a computer-readable recording medium
KR102128048B1 (ko) 어라운드 뷰 모니터링을 이용한 차량용 웰컴 시스템과 그 동작 방법
EP3248839B1 (en) Vehicular display device
JP2009075756A (ja) 車内忘れ物防止装置
JP6515833B2 (ja) 車両ドアロック制御装置
JP2020138701A (ja) 制御装置
WO2018079357A1 (ja) 電子ミラー装置
JP2006182234A (ja) 車載カメラシステム、撮影方法及びドアミラー
JP6999761B2 (ja) 車両用周辺監視装置
US12047668B2 (en) Imaging assembly, and acquisition circuit mounted on a moving body
JP6500692B2 (ja) 車両用防犯システム、車両用防犯方法
JP2006298130A (ja) 車両周辺監視装置
KR102291720B1 (ko) 주행보조장치
JP2007085745A (ja) 物体監視装置
JP6445849B2 (ja) フラップ監視装置
KR20190054318A (ko) 차량의 승객 보호 장치 및 그 방법
JP2005117565A (ja) 車載カメラシステム
JP6706797B2 (ja) 電子ミラー装置
JP2012121369A (ja) 車輌盗難防止装置及び車載制御装置
JP2007008330A (ja) 車両用映像表示装置
JP2012086823A (ja) 侵入検知装置及び車載制御装置
JP2020120278A (ja) 電子サイドミラーシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant