CN106985734B - 车载设备控制系统 - Google Patents

车载设备控制系统 Download PDF

Info

Publication number
CN106985734B
CN106985734B CN201610892414.9A CN201610892414A CN106985734B CN 106985734 B CN106985734 B CN 106985734B CN 201610892414 A CN201610892414 A CN 201610892414A CN 106985734 B CN106985734 B CN 106985734B
Authority
CN
China
Prior art keywords
vehicle
unit
illumination
attention
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610892414.9A
Other languages
English (en)
Other versions
CN106985734A (zh
Inventor
山根克靖
小西康博
照井纪生
槌谷裕志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN106985734A publication Critical patent/CN106985734A/zh
Application granted granted Critical
Publication of CN106985734B publication Critical patent/CN106985734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/24—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/2661—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic mounted on parts having other functions
    • B60Q1/2669—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic mounted on parts having other functions on door or boot handles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/32—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating vehicle sides, e.g. clearance lights
    • B60Q1/323—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating vehicle sides, e.g. clearance lights on or for doors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种车载设备控制系统，具有：移动终端，其按照询问信号向车辆发送应答信号；车载装置，其中，车载装置具有：摄像部；照明部；收发信部，其发送询问信号且从移动终端接收应答信号；摄像控制部，其使摄像部拍摄车辆的外部；目标识别部，其根据所拍摄到的图像来识别提醒注意目标的存在；照明控制部，其控制照明部以使其在识别到所述提醒注意目标的情况下和未识别到所述提醒注意目标的情况下以不同方式进行照明。据此，能够告知使用者在车辆附近有要提醒注意的目标。

Description

车载设备控制系统
技术领域
本发明涉及一种车载设备控制系统。
背景技术
在现有技术中，人们公知如下一种系统：其根据拍摄到的车辆外侧的图像来判定至少一位使用者所在的位置和使用者移动的方向，对照明部进行控制以使其照射所判定出的位置和移动的方向(例如参照日本发明申请公开公报特开2015-33897号)。
但是，在现有技术中，由于照明部只照射(照明)使用者的位置和使用者移动的方向，并没有考虑到要向使用者告知有关提醒注意目标(需要注意的对象物)。因此，有时使用者无法注意到提醒注意目标。
发明内容
鉴于上述问题的存在，本发明的目的在于提供一种能向使用者告知提醒注意目标就在车辆附近的车载设备控制系统。
为实现上述目的，本发明采用以下实施方式。
(1)本发明的一个实施方式所涉及的车载设备控制系统具有：移动终端，其在接收到车辆所发出的询问信号(request signal)时根据接收到的所述询问信号向所述车辆发送应答信号；和车载装置，其中，所述车载装置具有：摄像部，其拍摄所述车辆的周围；照明部，其被设置在所述车辆的固定位置且用来照射光；收发信部，其定期向所述车辆的周围发送所述询问信号且从所述移动终端接收所述应答信号；摄像控制部，其在从所述收发信部接收到所述应答信号时使所述摄像部拍摄所述车辆的外部；目标识别部，其根据所述摄像部拍摄到的图像来识别提醒注意目标的存在；和照明控制部，其控制所述照明部以使其在由所述目标识别部识别到所述提醒注意目标的情况下和未识别到所述提醒注意目标的情况下以不同方式进行照明。
(2)在上述实施方式(1)中，也可以是：所述目标识别部判定是否在使用者对所述车辆的乘降位置识别到所述提醒注意目标，在所述目标识别部识别到所述提醒注意目标时，所述照明控制部使所述照明部照亮所述乘降位置。
(3)在上述实施方式(1)或(2)中，也可以是：所述车载装置还包括人物识别部，该人物识别部根据所述摄像部拍摄到的图像来识别有无正在接近所述车辆的使用者，在所述人物识别部识别到有正在接近所述车辆的使用者时，所述目标识别部执行识别所述提醒注意目标的存在的处理。
(4)在上述实施方式(1)～(3)的任意一项中，也可以是：在所述目标识别部识别到所述提醒注意目标时，所述照明控制部控制所述照明部以使其以使用者能区分存在识别到的所述提醒注意目标的区域和不存在所述提醒注意目标的区域的方式进行照明。
(5)在上述实施方式(1)～(4)的任意一项中，也可以是：所述照明部能改变用光照射的区域，在由所述目标识别部识别到所述提醒注意目标时，所述照明控制部控制所述照明部以使其用光照射所识别到的所述提醒注意目标以外的区域。
(6)在上述实施方式(1)～(5)的任意一项中，也可以是：所述照明部具有彼此照射不同方向的至少2个以上的光源，在所述目标识别部识别到所述提醒注意目标时，所述照明控制部控制所述照明部以使其禁止所述照明部所具有的光源中照射所述提醒注意目标方向的光源发光并使其他光源亮灯。
(7)在上述实施方式(5)中，也可以是：所述照明部能改变光的照射方向，在所述目标识别部识别到所述提醒注意目标时，所述照明控制部通过使所述照明部改变照射方向来控制成不照射所述提醒注意目标。
(8)在上述实施方式(1)～(4)的任意一项中，也可以是：所述照明部至少具有发出第1波长的光的第1发光部和发出第2波长的光的第2发光部，在所述目标识别部识别到所述提醒注意目标时，所述照明控制部控制所述照明部以使其由所述第1发光部照亮所述提醒注意目标、由所述第2发光部照亮其他区域。
(9)在上述实施方式(1)～(8)的任意一项中，也可以是：所述目标识别部抽出与所述车辆具有的多个车门各自的乘降位置对应而设定的多个区域中的、所述识别到的提醒注意目标的位置所在的任意区域，当由所述目标识别部抽出至少1个以上所述提醒注意目标的位置所在的任意区域时，所述照明控制部控制所述照明部以使其以与所述未被抽出的区域不同的方式对所述被抽出的区域进行照明。
(10)在上述实施方式(1)～(9)的任意一项中，所述提醒注意目标可以是积水。
(11)在上述实施方式(1)～(10)的任意一项中，也可以是：所述车辆在确立了与所述移动终端连接的状态下，按规定周期与所述移动终端彼此进行通信，所述移动终端具有显示屏，该显示屏根据通信结果显示表示所述提醒注意目标的位置的图像。
根据上述实施方式(1)的车载设备控制系统，照明控制部将照明部控制成在由目标识别部识别到所述提醒注意目标的情况和未识别到提醒注意目标的情况这两种情况下以不同方式进行照明，据此能向使用者告知提醒注意目标存在于车辆附近。
根据上述实施方式(2)，在使用者对车辆的乘降位置识别到所述提醒注意目标时，照明控制部通过使照明部照亮乘降位置，能提醒使用者提醒注意目标存在于车辆附近。
根据上述实施方式(3)，在人物识别部识别到有使用者正在接近所述车辆时，通过由目标识别部来执行存在识别提醒注意目标的处理，能更切实地向使用者告知提醒注意目标存在于车辆附近。另外，在使用者未接近时，由于目标识别部不进行识别存在提醒注意目标的处理，因此能省去不必要的处理。
根据上述实施方式(4)～(7)，照明控制部通过将照明部控制成：以使用者能区分存在识别到的提醒注意目标的区域和不存在提醒注意目标的区域的方式进行照明，能引导使用者避开提醒注意目标而接近车辆的车门。
根据上述实施方式(8)，照明控制部通过将照明部控制成由第1发光部照亮提醒注意目标、由第2发光部照亮其他区域，能向使用者告知提醒注意目标的存在并提醒其注意。
根据上述实施方式(9)，由于由目标识别部抽出：识别到的提醒注意目标位于与车辆所具有的多个车门的各自的乘降位置分别对应设定的多个区域中的任意区域，因此能控制被设置在车辆的车门上的每个照明部。其结果，能使使用者知晓对应于车门的每个乘车位置是否存在提醒注意目标。
根据上述实施方式(11)，在移动终端的显示屏上显示用于表示提醒注意目标的位置的信息。据此，由于能事先让使用者知晓积水的位置，因此能提高使用者的便捷性。
附图说明
图1是表示车载设备系统的结构的图。
图2是车辆的立体图。
图3是车门把手部分的放大图。
图4是表示由车载设备执行的处理的过程的流程图。
图5是用于说明询问信号和应答信号的图。
图6是表示在车门附近不存在积水时地面被照明的情形的图。
图7是表示在左前车门附近存在积水时地面被照明的情形(1)的图。
图8是表示在左前车门附近存在积水时地面被照明的情形(2)的图。
图9是表示在左前车门附近存在积水时地面被照明的情形(3)的图。
图10是表示在左前车门附近存在积水时地面被照明的情形(4)的图。
图11是表示第2实施方式的车载设备控制系统的移动终端的结构的图。
图12表示由第2实施方式的车载设备控制系统所执行的处理的过程的流程图。
图13是表示显示在显示部上的图像一例的图。
图14是表示显示在显示部上的其他图像一例的图。
具体实施方式
下面，参照附图说明本发明的车载设备控制系统的实施方式。
〈第1实施方式〉
图1是表示车载设备控制系统1的结构的图。车载设备控制系统1具有搭载在车辆上的车载设备10和移动终端100。车载设备10具有车辆侧收发信部12、摄像部20、照明部30、存储部40和控制部50。
车辆侧收发信部12定期向车辆的周围发送询问信号并从移动终端100接收应答信号。摄像部20例如具有左侧摄像头22和右侧摄像头24。所谓左侧摄像头22和右侧摄像头24例如为利用了CCD(Charge Coupled Device)和CMOS(Complementary Metal OxideSemiconductor)等固体摄像元件的数码摄像头。左侧摄像头22和右侧摄像头24例如呈周期性地反复拍摄自车辆M的周围。
图2是车辆M的立体图。左侧摄像头22以从车辆M观察时能拍摄左侧方向的方式设在车辆M上。左侧摄像头22例如设在左侧后视镜70上，从车辆观察时拍摄左侧。右侧摄像头24以从车辆M观察时能拍摄右侧方向的方式设在车辆M上。右侧摄像头24例如设在右侧后视镜71上，从车辆观察时拍摄右侧。左侧摄像头22和右侧摄像头24例如也可在控制部50的控制下改变拍摄方向和拍摄范围。
照明部30设在车辆M的固定位置。照明部30例如具有左前侧照明部32、左后侧照明部34、右前侧照明部36和右后侧照明部38。左前侧照明部32例如设在设于车辆M的左前方车门外部的车门把手74上。左后侧照明部34例如设在设于车辆M的左后方车门外部的车门把手75上。右前侧照明部36例如设在设于车辆M的右前方车门外部的车门把手上。右后侧照明部38例如设在设于车辆M的右后方车门外部的车门把手上。
图3是车门把手74部分的放大图。左前侧照明部32例如具有多个灯光部32-1～32-6，多个灯光部设在车门把手74的前表面。由多个灯光部照射车辆M左侧的前方侧或后方侧车门附近的地面。
另外，多个灯光部例如照射彼此不同的方向。
而且，多个灯光部也可在控制部50的控制下使光的照射范围在上下左右方向改变。另外，多个灯光部还可包含至少发出第1波长颜色的光和第2波长颜色的光的灯光部。另外，与左前侧照明部32同样，左后侧照明部34、右前侧照明部36和右后侧照明部38也设在各车门把手上并以能照射车门附近地面的方式亮灯。
存储部40由ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(HardDisk Drive)、闪存等构成。存储部40中存储有由控制部50执行的程序等。
控制部50具有控制判定部52(摄像控制部)、图像解析部53、人物识别部54、目标识别部56和照明控制部58。控制判定部52、图像解析部53、人物识别部54、目标识别部56和照明控制部58中的部分或全部为CPU(Central Processing Unit)等处理器执行程序而起作用的软件功能部。另外，它们中的部分或全部也可以是LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable GateArray)等硬件功能部。
控制判定部52在接收到来自移动终端100的应答信号时使摄像部20拍摄车辆M的外部。由图像解析部53解析摄像部20所拍摄到的图像。
人物识别部54根据图像解析部53的解析结果来识别存在提醒注意目标。所谓提醒注意目标是指需要使要乘坐车辆M的使用者注意的目标。提醒注意目标例如为积水、道路的凹凸等。照明控制部58对照明部30进行控制以使其在由目标识别部56识别到提醒注意目标的情况和未识别到提醒注意目标的情况这两种情况下以不同方式进行照明。控制部50的处理的详细情况将在后面叙述。
移动终端100可以是智能手机等移动电话、通过将应用软件安装在平板终端等而赋予下述功能的设备，也可以是电子钥匙等专用终端装置。移动终端100具有移动终端侧收发信部102、移动终端侧控制部104和移动终端侧存储部106。移动终端侧收发信部102在接收到车辆M所发出的询问信号时根据接收到的询问信号向车辆M发送应答信号。移动终端侧控制部104向车辆侧收发信部12发送包含有存储在移动终端侧存储部106中的ID信息的应答信号。移动终端侧存储部106中存储有设定给自终端的ID信息。
图4是表示由车载设备10执行的处理的过程的流程图。首先，由控制部50的控制判定部52来判定是否从移动终端100接收到针对车辆侧收发信部12所发送的询问信号的应答信号(步骤S100)。未从移动终端100接收到应答信号时，结束本流程的1个例行程序。从移动终端100接收到应答信号时，控制判定部52使摄像部20拍摄车辆的周围并由图像解析部53解析所拍摄到的图像(步骤S102)。其后，由摄像部20按规定周期拍摄车辆M的周围。另外，图像解析部53解析通过摄像部20拍摄到的图像。
图5是用于说明询问信号和应答信号的图。车辆侧收发信部12例如分别设在车辆M的外部车门把手上。例如可任意设定由车辆侧收发信部12发送的询问信号的发送范围。如图所示的询问信号的发送范围C例如是以车辆M的各车门把手为中心的几十到几百cm的范围。
当持有移动终端100的使用者位于询问信号的发送范围内时，由移动终端侧收发信部102接收询问信号。移动终端侧控制部104向车辆侧收发信部12发送包含有存储在移动终端侧存储部中的ID信息的应答信号。
由车辆M的控制判定部52来判定包含在由车辆侧收发信部12接收到的应答信号中的ID信息是否与存储在存储部40中的ID信息一致。包含在由车辆侧收发信部12接收到的应答信号中的ID信息与存储在存储部40中的ID信息一致时，控制判定部52判定为持有移动终端100的使用者是车辆M的正规使用者。包含在由车辆侧收发信部12接收到的应答信号中的ID信息与存储在存储部40中的ID信息不一致时，控制判定部52判定为持有移动终端100的使用者不是车辆M的正规使用者。在本处理中，控制判定部52在判定为是车辆M的正规使用者时，判定为有针对询问信号的应答信号。
由控制判定部52根据由车辆侧收发信部12接收到的应答信号的接收结果，来判定持有移动终端100的使用者相对于车辆M位于哪个方向。由控制判定部52来确定设在多个车门把手上的车辆侧收发信部12中接收到应答信号的车辆侧收发信部12。由控制判定部52判定为使用者存在于所确定的车辆侧收发信部12的通信范围内。当2个车辆侧收发信部12接收到应答信号时，由控制判定部52判定为使用者存在于接收到应答信号的2个车辆侧收发信部12的发送范围重叠的位置。
控制判定部52在接收到应答信号时，启动对使用者所在方向进行拍摄的摄像部20。使用者在车辆的左侧时，由控制判定部52启动左侧摄像头22。使用者在车辆的右侧时，由控制判定部52启动右侧摄像头24。摄像部20启动后每隔规定时间拍摄车辆M的周围。
所谓启动摄像部20是指将摄像部20的电源从关闭状态变为打开状态。如果摄像部20呈休眠状态，所谓启动摄像部20是指变为激活状态。另外，所谓启动摄像部20也可以是既使摄像部20呈打开状态或激活状态，又将摄像部20的拍摄方向调整为使用者所在的方向。
接着，人物识别部54根据步骤S102的图像解析部53的解析结果来判定使用者是否正在接近车辆M(步骤S104)。人物识别部54例如从不同的拍摄帧图像所抽出的特征点之间，抽出推定为表示同一使用者的特征点。人物识别部54例如根据所抽出的推定为表示同一使用者的特征点的移动轨迹来推定使用者的移动方向。人物识别部54例如根据所推定的使用者的移动方向来判定使用者是否正在接近车辆M。
在判定为使用者未接近时返回步骤S100的处理。在判定为使用者正在接近时，由目标识别部56根据步骤S102中由图像解析部53解析的图像，来判定使用者正在接近的车门附近是否存在积水(步骤S106)。所谓车门附近是指使用者乘坐车辆M时所在位置、即乘车位置。乘车位置是预先存储在存储部40中的区域。另外，乘车位置也可设定在车辆M所具有的每个车门处。
目标识别部56根据在图像解析部53的解析结果中是否存在预先设定的灰度梯度、或是否存在预先设定的灰度梯度随着时间的变化等，来判定是否存在积水。另外，摄像部20也可具有利用垂直偏光滤波器拍摄视场像的第1摄像头和利用水平偏光滤波器拍摄视场像的第2摄像头。目标识别部56利用第1和第2摄像头所拍摄到的垂直偏光图像和水平偏光图像的偏光特性来检测路面状态。目标识别部56根据基于垂直偏光图像的灰度信息的垂直偏光分量的强度、和基于水平偏光图像的灰度信息的水平偏光分量的强度来检测积水和积水的位置、积水存在的区域。
例如目标识别部56在识别到积水(水洼)时，抽出识别到的积水的位置位于多个乘车位置(区域)中的哪个乘车位置(区域)。目标识别部56抽出所设定的乘车位置中的哪个位置存在积水并将抽出结果输出给照明控制部58。目标识别部56例如抽出与左前车门、左后车门、右前车门、右后车门中的哪个车门对应的乘车位置存在积水并将抽出结果输出给照明控制部58。另外，目标识别部56在设定于乘车位置的区域内抽出是否哪个范围内存在积水，并将表示所抽出的积水范围的位置信息输出给照明控制部58。
当使用者正在接近的车门附近不存在积水时，照明控制部58将照明部30控制成使其照射(照明)使用者正在接近的车门附近(步骤S108)。当使用者正在接近的车门附近存在积水时，照明控制部58将照明部30控制成使其结合存在积水的情况来进行照射(步骤S110)。据此结束本流程的处理。
在此说明车门附近不存在积水时和车门附近存在积水时的照明方式。由目标识别部56识别到提醒注意目标时，照明控制部58将照明部30控制成：使其以使用者能区分存在识别到的提醒注意目标的区域和不存在提醒注意目标的区域的方式进行照明。
图6是表示在车门附近不存在积水时地面被照射的情形的图。例如，在使用者正在接近车辆M的左前车门的情况下，照明控制部58根据由人物识别部54识别到的使用者的位置和移动方向，将照明部30控制成照射左前车门附近的照明范围A。据此，使用者能知晓车辆M的乘车位置。
图7是表示在左前车门附近存在积水时地面被照射的情形(1)的图。例如，在使用者正在接近车辆M的左前车门的情况下，照明控制部58根据由人物识别部54识别到的使用者的位置和移动方向以及由目标识别部56识别到的使用者的乘降位置，将照明部30控制成用光照射积水W以外的左前车门附近的照明范围A1。这样能由车载设备控制系统1向使用者告知车辆附近存在提醒注意目标。据此，使用者能知晓存在积水W的区域，并且能避开积水W而乘坐车辆M。
图8是表示在左前车门附近存在积水时地面被照射的情形(2)的图。例如，在使用者正在接近车辆M的左前车门的情况下，照明控制部58将照明部30控制成使其照射表示引导路径A2的光，该引导路径A2为从使用者的位置或使用者的存在方向到左前车门附近且不含积水W的路径。此时，例如，照明控制部58也可将设在车辆M的左前车门和左后车门上的照明部30控制成使其进行表示引导路径A2的照明。这样由车载设备控制系统1向使用者告知车辆附近存在提醒注意目标。
据此，使用者能按照引导路径A2行进到车辆M的乘车位置并乘车，从而能避开积水W来乘坐车辆M。
图9是表示在左前车门附近存在积水时地面被照射的情形(3)的图。如图9中的上图所示，在使用者正在接近车辆M的左前车门的情况下，照明控制部58将照明部30控制成照射左前车门附近的照明范围A。如图9中的下图所示，从照射照明范围A起经过规定时间后，照明控制部58将照明部30控制成用光照射积水W附近以外的区域。例如，照明控制部58将照明部30控制成将照明范围从包含积水W的照明范围A移至积水W以外的照明范围A3。这样由车载设备控制系统1向使用者告知车辆附近存在提醒注意目标。据此，使用者能知晓存在积水W的区域，并且能知晓能避开积水W而乘坐车辆M的乘降位置。
图10是表示在左前车门附近存在积水时地面被照射的情形(4)的图。在使用者正在接近车辆M的左前车门的情况下，照明控制部58将照明部30控制成用第1波长的光照射积水W以外的左前车门附近的照明范围A4。另外，照明控制部58将照明部30控制成用第2波长的光(例如红光)照射积水W附近的照明范围A5。通过用不同波长的光照射存在积水W的区域和不存在积水W的区域，能提醒使用者存在积水W。
而且，目标识别部56从多个乘车位置中抽出提醒注意目标所在的至少1个以上乘车位置时，照明控制部58将照明部30控制成：使其以与未被抽出的乘车位置不同的方式对抽出的乘车位置进行照明。例如由人物识别部54识别到的使用者正在从车辆的左侧接近时，目标识别部56未抽出积水所在的乘车位置时，由照明控制部58控制成使左前侧照明部32和左后侧照明部34照射车辆M的左侧的所有乘车位置。
与此相对，当目标识别部56抽出积水所在的乘车位置时，照明控制部58控制照明部30，使左前侧照明部32和左后侧照明部34中照射存在积水的乘车位置的照明部30(例如左前侧照明部32)，以使用者能区分存在识别到的积水的区域和不存在积水的区域的方式进行照明。照明控制部58将对不存在积水的乘车位置进行照明的照明部30(例如左后侧照明部34)控制成使其照射该整个乘车位置。据此能使使用者知晓对应于车门的每个乘车位置是否存在提醒注意目标。
根据以上说明的第1实施方式，在车辆M的车门附近存在提醒注意目标时，车载设备控制系统1将照明部30控制成：以使用者能区分存在提醒注意目标的区域和不存在提醒注意目标的区域的方式进行照明。其结果，车载设备控制系统1能向使用者告知车辆附近存在提醒注意目标。
〈第2实施方式〉
以下说明第2实施方式。第1实施方式的车载设备控制系统1构成为：在车辆M的车门附近存在提醒注意目标时，所述车载设备控制系统1将照明部控制成以使用者能区分存在提醒注意目标的区域和不存在提醒注意目标的区域的方式进行照明。第2实施方式的车载设备控制系统1A除了具有第1实施方式的功能以外，还在移动终端100A的显示屏上进行显示以使使用者知晓提醒注意目标的位置。以下以与第1实施方式的告知系统1的不同点为中心进行说明。
在车辆M的车门附近存在积水时，由车辆M的目标识别部56获取积水的位置信息。该位置信息例如为表示积水的边缘相对于车辆M的位置信息。车辆侧收发信部12向移动终端100A发送由目标识别部56获取的积水的位置信息。
图11是表示第2实施方式的车载设备控制系统1A的移动终端100A的结构的图。除了第1实施方式的移动终端100的功能结构以外，移动终端100A还包括图像生成部108和显示部110。
移动终端侧收发信部102在确立了与车辆M的车辆侧收发信部12的连接的状态下，按规定周期与车辆M的车辆侧收发信部12彼此进行通信来收发信息。由移动终端侧收发信部102获取车辆M的车辆侧收发信部12所发送的积水的位置信息。另外，由移动终端侧收发信部102获取车辆侧收发信部12所发送的使用者的位置信息。
图像生成部108根据存储在移动终端侧存储部106中的信息来执行处理。图像生成部108对从移动终端侧控制部104获取的信息和存储在移动终端侧存储部106中的信息进行处理而生成图像。图像生成部108的处理的详细情况将在后面叙述。
显示部110由LCD(liquid Crystal Display)、有机EL(Electroluminescence)等显示部和能通过坐标检测机构来检测操作者的触击位置的输入部重叠而构成。显示部110显示操作用的GUI(Graphical User Interface)开关。在检测出对GUI开关的触击操作、轻击操作、滑移操作等时，输入部生成表示对GUI开关进行了触击操作的操作信号并向移动终端侧控制部104输出。显示部110显示图像生成部108所生成的图像。
图12表示由第2实施方式的车载设备控制系统1A所执行的处理的过程的流程图。而且，例如本处理是能与第1实施方式的车载设备10所执行的处理并行的处理。
首先，移动终端侧控制部104根据预先设定的周期或使用者对移动终端100A的输入部进行的操作向车辆M的车辆侧收发信部12发送要求信号(请求信号)(步骤S300)。
接着，由控制部50来判定是否接收到移动终端100A所发送的要求信号(步骤S200)。未从移动终端100A接收到要求信号时，结束本流程的1个例行程序。从移动终端100A接收到要求信号时，控制部50的控制判定部52使摄像部20拍摄车辆M的周围，图像解析部53对拍摄到的图像进行解析(步骤S202)。
接着，目标识别部56根据在步骤S202中由图像解析部53解析的图像来判定车辆M的车门附近是否存在积水(步骤S204)。车辆M的车门附近不存在积水时，由控制部50发送表示车辆M的车门附近不存在积水的信息(步骤S206)。车辆M的车门附近存在积水时，由控制部50向移动终端100A发送积水的位置信息(步骤S208)。积水的位置信息例如为表示积水的边缘相对于车辆M的位置信息。
由移动终端100A接收车载设备10所发送的信息(步骤S302)。接着，移动终端100A的图像生成部108根据步骤S302中接收到的信息和存储在移动终端侧存储部106中的信息生成图像(步骤S304)。例如图像生成部108根据所获取的积水的位置信息生成表示积水的图像。图像生成部108对预先存储在移动终端侧存储部106中的车辆M的图像和所生成的积水的图像进行合成处理。接着，图像生成部108将在步骤S304中生成的表示积水位置的图像显示在显示部110(步骤S306)。而且，在步骤S302中接收到表示不存在积水的信息时，图像生成部108生成表示不存在积水的信息的图像，并将所生成的图像显示在显示部110。这样结束本流程的处理。
图13是表示显示在显示部110上的图像IM一例的图。例如图像生成部108生成使从斜视方向观察车辆M时所见到的状态和积水W彼此对应的图像。移动终端侧控制部104将图像生成部108所生成的、包含积水相对于车辆M的位置和斜视车辆M的状态的图像显示在显示部110。据此，车载设备控制系统1A能事先提醒使用者注意在车辆M附近存在积水。另外，使用者能用移动终端100A来事先知晓车辆M附近存在积水和积水相对于车辆M的位置。
而且，在图示的例子中，图像生成部108也可结合表示使用者的位置、移动方向的信息来生成表示车辆M和积水的图像。此时，移动终端100A例如具有从构成GPS(GlobalPositioning System)等的多个卫星接收电波的GNSS(Global Navigation SatelliteSystem)信号接收部。移动终端100A具有根据接收到的电波进行测位运算而确定自终端的位置的位置确定部。另外，车辆M也同样具有GNSS信号接收部和位置确定部。
例如车载设备10的控制部50将积水的位置信息和表示车辆M的位置、朝向的信息一同发送给移动终端100A。移动终端100A的图像生成部108根据表示车辆M的位置、朝向的信息和由移动终端100A的位置确定部所确定的使用者的位置，生成表示从使用者所在位置观察的方向上的车辆M和积水的图像。使用者位于车辆M的右前方向时，如图13所示，图像生成部108生成表示使用者从该方向观察到的车辆M和积水的图像，并将所生成的图像显示在显示部110。据此，使用者能知晓实际上接近车辆M时见到的车辆M和积水，能直观地知晓积水的位置。
图14是表示显示在显示部110上的其他图像IM1一例的图。例如可在显示部110上使车辆M和存在于车辆M附近的积水W彼此对应而进行显示。例如，显示在显示部110上的图像是从上方观察车辆M和积水的图像。另外，如图所示，图像生成部108也可使表示车辆M和积水的图像中包含使用者的位置P和移动方向。据此，车载设备控制系统1A能事先提醒使用者注意在车辆M附近存在积水。另外，使用者能用移动终端100A事先知晓车辆M附近存在积水和积水相对于车辆M的位置。
根据以上说明的第2实施方式，在车辆M附近存在积水时，车载设备控制系统1A向移动终端100A发送积水相对于车辆M的位置信息。移动终端100A根据积水的位置信息，将表示车辆M和存在于车辆M附近的积水的图像显示在显示部110。据此，能事先提醒使用者注意在车辆M附近存在积水。另外，使用者能用移动终端100A事先知晓车辆M附近存在积水和积水相对于车辆M的位置。
以上利用实施方式说明了实施本发明的方式，但本发明不限于上述实施方式，在不脱离本发明主旨的范围内可对其进行各种变形和替换。

Claims (12)

1.一种车载设备控制系统，其特征在于，包括移动终端和车载装置，其中，
所述移动终端在接收到从车辆发出的询问信号时按照接收到的所述询问信号向所述车辆发送应答信号；
所述车载装置具有：
摄像部，其拍摄所述车辆的周围；
照明部，其被设置在所述车辆的固定位置且用来照射光；
收发信部，其定期向所述车辆的周围发送所述询问信号且从所述移动终端接收所述应答信号；
摄像控制部，其在通过所述收发信部接收到所述应答信号时使所述摄像部拍摄所述车辆的外部；
目标识别部，其根据由所述摄像部拍摄到的图像来识别提醒注意目标的存在；和
照明控制部，其控制所述照明部以使其在由所述目标识别部识别到所述提醒注意目标的情况下和未识别到所述提醒注意目标的情况下以不同方式进行照明，
所述目标识别部判定是否在所述车辆的乘降位置识别到所述提醒注意目标，
在由所述目标识别部识别到所述提醒注意目标时，所述照明控制部使所述照明部以如下方式进行照明：在不包含所述提醒注意目标的区域示出将持有所述移动终端的使用者向所述车辆的乘降位置引导的引导路径。
2.一种车载设备控制系统，其特征在于，包括移动终端和车载装置，其中，
所述移动终端在接收到从车辆发出的询问信号时按照接收到的所述询问信号向所述车辆发送应答信号；
所述车载装置具有：
摄像部，其拍摄所述车辆的周围；
照明部，其被设置在所述车辆的固定位置且用来照射光；
收发信部，其定期向所述车辆的周围发送所述询问信号且从所述移动终端接收所述应答信号；
摄像控制部，其在通过所述收发信部接收到所述应答信号时使所述摄像部拍摄所述车辆的外部；
目标识别部，其根据由所述摄像部拍摄到的图像来识别提醒注意目标的存在；和
照明控制部，其控制所述照明部以使其在由所述目标识别部识别到所述提醒注意目标的情况下和未识别到所述提醒注意目标的情况下以不同方式进行照明，
所述照明部能改变用光照射的区域，
在由所述目标识别部识别到所述提醒注意目标时，所述照明控制部使所述照明部以如下方式进行照明：在照射相当于所述车辆的乘降位置的区域中的、包含所述提醒注意目标的区域之后，照射不包含所述提醒注意目标的区域。
3.根据权利要求1所述的车载设备控制系统，其特征在于，
所述车载装置还包括人物识别部，该人物识别部根据由所述摄像部拍摄到的图像来识别有无正在接近所述车辆的使用者，
当由所述人物识别部识别到有正在接近所述车辆的使用者时，所述目标识别部执行识别所述提醒注意目标的存在的处理。
4.根据权利要求2所述的车载设备控制系统，其特征在于，
所述车载装置还包括人物识别部，该人物识别部根据由所述摄像部拍摄到的图像来识别有无正在接近所述车辆的使用者，
当由所述人物识别部识别到有正在接近所述车辆的使用者时，所述目标识别部执行识别所述提醒注意目标的存在的处理。
5.根据权利要求2所述的车载设备控制系统，其特征在于，
当由所述目标识别部识别到所述提醒注意目标时，所述照明控制部控制所述照明部以使其以使用者能区分存在识别到的所述提醒注意目标的区域和不存在所述提醒注意目标的区域的方式进行照明。
6.根据权利要求1所述的车载设备控制系统，其特征在于，
所述照明部能改变用光照射的区域，
在由所述目标识别部识别到所述提醒注意目标时，所述照明控制部控制所述照明部以使其用光照射识别到的所述提醒注意目标以外的区域。
7.根据权利要求1～4中任意一项所述的车载设备控制系统，其特征在于，
所述照明部具有彼此照射不同方向的至少2个以上的光源，
在由所述目标识别部识别到所述提醒注意目标时，所述照明控制部控制所述照明部，以使其禁止所述照明部具有的光源中照射所述提醒注意目标的方向的光源发光且使其他光源亮灯。
8.根据权利要求6所述的车载设备控制系统，其特征在于，
所述照明部能改变光的照射方向，
当由所述目标识别部识别到所述提醒注意目标时，所述照明控制部进行控制，通过使所述照明部照射的方向改变来不对所述提醒注意目标进行照明。
9.根据权利要求2或5所述的车载设备控制系统，其特征在于，
所述照明部至少具有发出第1波长光的第1发光部和发出第2波长光的第2发光部，
当由所述目标识别部识别到所述提醒注意目标时，所述照明控制部控制所述照明部，以使所述第1发光部对所述提醒注意目标进行照明，且使所述第2发光部对其他区域进行照明。
10.根据权利要求1～4中任意一项所述的车载设备控制系统，其特征在于，
所述目标识别部抽出与所述车辆具有的多个车门各自的乘降位置对应而设定的多个区域中的、所述识别到的提醒注意目标的位置所在的任意区域，
当由所述目标识别部抽出至少1个所述提醒注意目标所在的区域时，所述照明控制部控制所述照明部以使其以与未被抽出的区域不同的方式来对被抽出的区域进行照明。
11.根据权利要求1～4中任意一项所述的车载设备控制系统，其特征在于，
所述提醒注意目标是积水。
12.根据权利要求1～4中任意一项所述的车载设备控制系统，其特征在于，
所述车辆在与所述移动终端之间已确立连接的状态下，按规定周期与所述移动终端彼此进行通信，
所述移动终端具有显示屏，该显示屏根据通信结果来显示表示所述提醒注意目标的位置的图像。
CN201610892414.9A 2015-10-28 2016-10-12 车载设备控制系统 Active CN106985734B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-212013 2015-10-28
JP2015212013A JP6532023B2 (ja) 2015-10-28 2015-10-28 車載機器制御システム

Publications (2)

Publication Number Publication Date
CN106985734A CN106985734A (zh) 2017-07-28
CN106985734B true CN106985734B (zh) 2020-02-18

Family

ID=58634811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610892414.9A Active CN106985734B (zh) 2015-10-28 2016-10-12 车载设备控制系统

Country Status (3)

Country Link
US (1) US10311313B2 (zh)
JP (1) JP6532023B2 (zh)
CN (1) CN106985734B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108495035A (zh) * 2018-03-28 2018-09-04 京东方科技集团股份有限公司 行车拍摄装置和车辆
EP4227157A1 (en) * 2018-05-24 2023-08-16 Sony Group Corporation Information processing apparatus, information processing method, photographing apparatus, lighting apparatus, and mobile body
JP2020093733A (ja) * 2018-12-14 2020-06-18 株式会社ユーシン 車両用照明システム
JP6946605B2 (ja) * 2018-12-27 2021-10-06 三井金属アクト株式会社 ドア自動開閉システム
EP4081995A4 (en) * 2019-12-23 2023-07-26 A^3 By Airbus, LLC SYSTEMS AND METHODS FOR DETECTING SURFACE CONDITIONS
JP7490454B2 (ja) * 2020-05-27 2024-05-27 本田技研工業株式会社 車両制御システム、及び車両制御方法
US11724641B2 (en) * 2021-01-26 2023-08-15 Ford Global Technologies, Llc Hazard condition warning for package delivery operation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955551B2 (en) * 2002-07-12 2018-04-24 Yechezkal Evan Spero Detector controlled illuminating system
JP2009143503A (ja) * 2007-12-18 2009-07-02 Mazda Motor Corp 車両用ヘッドランプの制御装置
JP4995748B2 (ja) * 2008-01-29 2012-08-08 株式会社小糸製作所 車両用前照灯装置及び車両用前照灯装置の制御方法
US8764256B2 (en) * 2010-10-01 2014-07-01 Magna Mirrors Of America, Inc. Vehicle exterior mirror system with light module
US8922388B2 (en) * 2013-02-07 2014-12-30 Federal-Mogul Corporation Vehicle puddle lamp responsive to ground surface conditions
US20140267415A1 (en) * 2013-03-12 2014-09-18 Xueming Tang Road marking illuminattion system and method
JP2014204361A (ja) * 2013-04-08 2014-10-27 株式会社ビートソニック 車載モニタリングシステムにおける車載カメラ用アダプター
JP6027505B2 (ja) * 2013-08-08 2016-11-16 本田技研工業株式会社 車両用照明システム

Also Published As

Publication number Publication date
JP6532023B2 (ja) 2019-06-19
US10311313B2 (en) 2019-06-04
CN106985734A (zh) 2017-07-28
US20170124404A1 (en) 2017-05-04
JP2017081422A (ja) 2017-05-18

Similar Documents

Publication Publication Date Title
CN106985734B (zh) 车载设备控制系统
JP6792030B2 (ja) 画像送信装置
RU2722371C2 (ru) Система помощи водителю транспортного средства (варианты) и способ ее реализации
US10227813B2 (en) Device and method for opening trunk of vehicle, and recording medium for recording program for executing method
JP7009987B2 (ja) 自動運転システム及び自動運転方法
US10902267B2 (en) System and method for fixed camera and unmanned mobile device collaboration to improve identification certainty of an object
CN104508720B (zh) 驾驶辅助装置
KR20130097553A (ko) 원거리 제스쳐 인식 기능을 갖는 디바이스 및 그 방법
EP3023943B1 (en) Controller, control method, and computer-readable recording medium
US10769439B2 (en) System and method for fixed camera and unmanned mobile device collaboration to improve identification certainty of an object
US20190073546A1 (en) Driver state recognition apparatus, driver state recognition system, and driver state recognition method
KR101450733B1 (ko) 차량 하부 검색 장치 및 방법
JP2018036937A (ja) 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
CN111615721A (zh) 基于车辆与乘客之间进行识别的接送服务
JP6140436B2 (ja) 撮影システム
CN111086451A (zh) 一种平视显示系统、显示方法和汽车
JP2019040551A (ja) 情報処理装置、車両および路側機
US11610469B2 (en) Abnormal behavior notification device, abnormal behavior notification system, abnormal behavior notification method, and recording medium
JP2014123303A (ja) 監視システム
CN113891526B (zh) 服务器装置、信息处理系统、以及系统的工作方法
JP2019175379A (ja) 通信制御装置、移動体、及び、通信システム
JP6288556B2 (ja) 歩行者保護システムおよび歩行者保護プログラム
KR102162313B1 (ko) 주차된 차량 위치 알려주는 장치
JP7397575B2 (ja) 信号機制御装置及び信号機制御方法
JPWO2017082388A1 (ja) セキュリティ装置、セキュリティ制御方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant