CN108574811A - 图像记录系统、图像记录方法和图像记录程序 - Google Patents

图像记录系统、图像记录方法和图像记录程序 Download PDF

Info

Publication number
CN108574811A
CN108574811A CN201810200470.0A CN201810200470A CN108574811A CN 108574811 A CN108574811 A CN 108574811A CN 201810200470 A CN201810200470 A CN 201810200470A CN 108574811 A CN108574811 A CN 108574811A
Authority
CN
China
Prior art keywords
image
barrier
quality
described image
index value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810200470.0A
Other languages
English (en)
Other versions
CN108574811B (zh
Inventor
中田裕士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN108574811A publication Critical patent/CN108574811A/zh
Application granted granted Critical
Publication of CN108574811B publication Critical patent/CN108574811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了图像记录系统、由计算机执行的图像记录方法以及记录由计算机执行的图像记录程序的存储介质。该图像记录系统包括：图像存储单元，由摄像装置拾取的图像和指标值彼此相关联地存储在该图像存储单元中，该摄像装置配备在车辆中，该指标值指示在拾取图像时车辆与障碍物之间碰撞的可能性；以及分辨率改变单元，其基于指标值来执行降低图像的分辨率的分辨率改变处理。

Description

图像记录系统、图像记录方法和图像记录程序
技术领域
本公开内容涉及图像记录系统、由计算机执行的图像记录方法以及记录由计算机执行的图像记录程序的存储介质。
背景技术
已知如下技术：信号处理设备对由图像拾取设备拍摄的图像的信号进行处理，此后，图像处理设备提取所拍摄的图像的特征，并且该特征与图像信号一起被发送到计算机，以记录在存储设备中(例如，参见第2010-124474号日本专利申请公布)。
发明内容
顺便提及，例如，可以通过诸如CAN(控制器局域网)的车辆网络来实现将存储在车辆的图像存储单元中的图像数据读取到外部。然而，在一些情况下，通信速度相对低，并且将图像数据读取到外部需要相对长的时间。
本公开内容的一些方面提供了一种由计算机执行的图像记录方法以及一种记录由计算机执行的图像记录程序的存储介质，其使得可以以相对高的速度将由配备在车辆中的摄像装置拾取的图像读取到外部。
本发明的第一方面提供了一种图像记录系统。根据第一方面的图像记录系统包括：图像存储单元，由摄像装置拾取的图像和指标值彼此相关联地存储在图像存储单元中，该摄像装置配备在车辆中，该指标值指示在拾取图像时车辆与障碍物之间碰撞的可能性；以及质量改变单元，被配置成基于指标值来执行降低图像的质量的质量改变处理。
根据上述方面，通过执行质量改变处理，能够减少由配备在车辆中的摄像装置拾取的图像的数据量，并且能够以相对高的速度将图像读取到外部。此外，基于指示在拾取图像时车辆与障碍物之间碰撞的可能性的指标值，能够在考虑到图像的重要性的情况下实现有效的质量改变处理。
本发明的第二方面提供了一种由计算机执行的图像记录方法。该图像记录方法包括：将由摄像装置拾取的图像和指标值彼此相关联地存储在图像存储单元中，该摄像装置配备在车辆中，该指标值指示在拾取图像时车辆与障碍物之间碰撞的可能性；以及基于该指标值来降低在图像被输出至外部设备或显示设备时图像的质量。
本发明的第三方面提供了一种记录由计算机执行的图像记录程序的存储介质。当图像记录程序由计算机执行时，图像记录程序使计算机执行如下方法，该方法包括：将由摄像装置拾取的图像和指标值彼此相关联地存储在图像存储单元中，该摄像装置配备在车辆中，该指标值指示在拾取图像时车辆与障碍物之间碰撞的可能性；以及基于指标值来降低在图像被输出至外部设备或显示设备时图像的质量。
附图说明
下面将参照附图来描述本发明的示例性实施方式的特征、优点以及技术和工业意义，在附图中相同的附图标记表示相同的元件，并且在附图中：
图1是示出了实施方式1中的图像记录系统(处理设备)的示例性硬件配置的图；
图2是示出了实施方式1中的处理设备的示例性功能块的图；
图3是示出了图像存储单元中的示例性数据的图；
图4是示出了示例性的TTC特定分辨率信息(TTC-specific resolutioninformation)的图；
图5是示出了示例性的障碍物属性特定分辨率信息(obstacle attribute-specific resolution information)的图；
图6是示出了由图像存储处理单元执行的示例性图像存储处理的流程图；
图7是记录时段的开始时间和结束时间的说明图；
图8是示出了由图像输出处理单元执行的示例性图像输出处理的流程图；
图9是输出请求的说明图；
图10是示出了实施方式1中的示例性分辨率改变处理的流程图；
图11是示出了实施方式2中的图像记录系统(处理设备)的示例性功能块的图；
图12是示出了由实施方式2中的图像存储处理单元执行的示例性图像存储处理的流程图；以及
图13是示出了实施方式2中的示例性分辨率改变处理的流程图。
具体实施方式
在下文中，将参照附图详细描述实施方式。
[实施方式1]
在实施方式1中，图像记录系统包括处理设备7。
图1示出了实施方式1中的处理设备7的示例性硬件配置的图。在图1中，车载电子设备组8与处理设备7的硬件配置相关联地被示意性示出。例如，处理设备7通过诸如CAN(控制器局域网)、LIN(局部互联网)和以太网(R)的车辆网络9连接至车载电子设备组8。
处理设备7包括通过总线19连接的CPU(中央处理单元)11、RAM(随机存取存储器)12、ROM(只读存储器)13、辅助存储设备14、驱动设备15和通信接口17。此外，处理设备7包括连接至通信接口17的有线发送和接收单元25以及无线发送和接收单元26。可以除去无线发送和接收单元26。
例如，辅助存储设备14是EEPROM(电可擦除可编程只读存储器)、HDD(硬盘驱动器)等。
有线发送和接收单元25包括可以使用诸如CAN(控制器局域网)和LIN(局部互联网)的车辆网络来进行通信的发送和接收单元。无线发送和接收单元26是可以使用用于移动电话的无线通信网络来进行无线通信的发送和接收单元。除了有线发送和接收单元25以外，处理设备7还可以包括连接至通信接口17的第二无线发送和接收单元(未示出)。在这种情况下，第二无线发送和接收单元可以包括近场通信(NFC)单元、蓝牙(R)通信单元、Wi-Fi(无线保真)发送和接收单元、红外发送和接收单元等。处理设备7可以连接至记录介质16。记录介质16存储预定程序。存储在记录介质16中的程序通过驱动设备15安装在例如处理设备7的辅助存储设备14中。在安装之后，预定程序可以由处理设备7的CPU 11执行。
车载电子设备组8包括摄像装置80、车辆位置测量设备81、加速度传感器82、前方雷达传感器83、PCS(预防碰撞安全)ECU(电子控制单元)84、显示器86等。
摄像装置80从车辆拾取前方景象(车辆周围的环境的示例)。在下文中，由摄像装置80拾取的图像也被称为“前方环境图像I”。摄像装置80可以是从车辆拾取侧面景象的摄像装置、从车辆拾取后方景象的摄像装置、拾取车辆中的景象的摄像装置等。
车辆位置测量设备81基于来自GNSS(全球导航卫星系统)卫星的电波来测量自身车辆的位置。加速度传感器82检测施加于车体的加速度。加速度传感器82例如检测三个轴上的加速度分量。
前方雷达传感器83使用电波(例如，毫米波)、光波(例如，激光)或超声波作为检测波来检测在车辆前面的前方障碍物(通常为前方车辆)(在下文中，仅称为“障碍物”)的状况。前方雷达传感器83以预定周期检测指示障碍物与自身车辆之间的关系的信息，例如，障碍物相对于自身车辆的相对速度、距离和侧面位置。例如，由前方雷达传感器83检测到的障碍物信息以预定周期、以这种方式被发送至PCS ECU 84。
PCS ECU 84基于来自前方雷达传感器83的信息来确定是否满足自动制动开始条件。当存在与在自身车辆前面的障碍物碰撞的可能性时，满足自动制动开始条件。当满足自动制动开始条件时，PCS ECU 84执行对自身车辆自动制动的自动制动控制。例如，在对障碍物的碰撞避免控制中，PCS ECU 84计算作为与障碍物碰撞的时间的TTC(碰撞时间)，并且当计算出的TTC低于预定阈值Th1(例如，1.0[秒])时，PCS ECU 84确定满足自动制动开始条件。例如，通过将距障碍物的距离除以相对于障碍物的相对速度来得到TTC。预定阈值Th1可以根据障碍物的属性而变化。例如，在障碍物的属性是“行人”的情况下，预定阈值Th1是1.0[秒]。在障碍物的属性是“自行车”的情况下，预定阈值Th1是0.7[秒]。在障碍物的属性是“车辆”的情况下，预定阈值Th1是0.5[秒]。
自动制动控制是对自身车辆自动地给予制动力的控制。例如，在驾驶员未操作制动踏板的情况下，通过由制动执行器(车载电子设备组8的元件，未示出)增加每个车轮的轮缸的压力来实现自动制动控制。在执行自动制动控制期间的目标控制值是基于除了制动踏板的操作量以外的因素而确定的值。
PCS ECU 84可以使用摄像装置80代替前方雷达传感器12来确定是否满足自动制动开始条件，或者除了前方雷达传感器12以外，PCS ECU 84还使用摄像装置80来确定是否满足自动制动开始条件。在这种情况下，摄像装置80可以是立体摄像装置。PCS ECU 84包括例如图像处理设备，并且将障碍物的状况和障碍物的属性识别为图像。例如，障碍物的属性指示诸如车辆、自行车和行人的类型。可以使用基于模式匹配或机器学习的属性识别引擎来确定障碍物的属性。基于图像识别结果，PCS ECU 84可以以预定周期检测指示障碍物与自身车辆之间的关系的信息，例如，障碍物相对于自身车辆的相对速度、距离和侧面位置。图像处理功能(例如，计算障碍物的位置的功能)可以通过连接至PCS ECU 84的图像处理设备来实现。
显示器86是例如触控面板液晶显示器。显示器86布置在允许车辆的乘员看见显示器86的位置处。显示器86是固定至车辆的显示器，但是也可以是在车辆中可以携带的移动终端的显示器。在这种情况下，可以通过第二无线发送和接收单元(例如，蓝牙通信单元)来实现移动终端与处理设备7之间的通信。
处理设备7可以通过车辆网络9与工具90(示例性外部设备)连接。
工具90是用于向稍后描述的处理设备7给出前方环境图像I的输出请求的外部设备。然而，工具90可以是允许其他使用应用的通用工具。工具90包括为由车辆制造商授权的经销商等准备的专用工具，另外，工具90可以是普通用户可以使用的工具。普通用户可以使用的工具可以是智能电话或平板终端。工具90通常不连接至车辆网络9。在读取稍后描述的图像存储处理单元724中的前方环境图像I(由摄像装置80拾取的图像)时，工具90连接至车辆网络9，以向稍后描述的处理设备7给出输出请求。
图2是示出了处理设备7的示例性功能块的图。
在前方环境图像I被拾取的时间(在下文中，称为“拾取时间TTC”)，处理设备7基于TTC(指示车辆与障碍物之间碰撞的可能性的示例性指标值)来执行降低前方环境图像I的质量的质量改变处理。前方环境图像I的质量是影响图像的数据量的质量，以及质量的指标值包括图像的分辨率和图像的颜色数量(可以由每个像素呈现的颜色的数量)。分辨率被定义为例如每英寸像素数量(dpi：每英寸像素)，但是如以640×480、1280×960、全HD(全高清)和4K为例，分辨率可以由像素数量的关系的指标值(诸如垂直像素数量和水平像素数量)来定义。减少垂直像素数量和水平像素数量的质量改变处理可以是简单的收缩处理。此外，如以单色、8位颜色和24位颜色为例，颜色数量是所表现的颜色的数量。颜色数量例如可以由作为指标值的颜色深度(每像素位数(bpp))来定义。减少颜色数量的质量改变处理可以是简单处理。质量改变处理可以通过不可逆的压缩处理来实现。这是因为不可逆的压缩处理使图像劣化，并且例如降低了图像的可见性(清晰度等)。
例如，质量改变处理包括降低前方环境图像I的分辨率和颜色数量这两者的处理以及降低前方环境图像I的分辨率和颜色数量中的仅一个的处理。稍后将描述分辨率改变处理的另外的具体示例。在下文中，作为示例，假设质量改变处理是降低前方环境图像I的分辨率的处理(对于稍后描述的实施方式2也是如此)。当质量改变处理是减少颜色数量的处理时或者当质量改变处理包括减少颜色数量的处理时，可以以与稍后描述的输出分辨率相同的方式来设置颜色数量(基于相同的概念)。这是因为颜色数量的增加与分辨率的增加类似地增加了图像的数据量，并且可以以与分辨率类似的方式处理颜色数量。
处理设备7包括图像存储单元710、TTC特定分辨率存储单元712和障碍物属性特定分辨率存储单元714。图像存储单元710、TTC特定分辨率存储单元712和障碍物属性特定分辨率存储单元714可以由辅助存储设备14来实现。此外，处理设备7包括图像获取单元722、图像存储处理单元724、分辨率改变单元726(示例性质量改变单元)和图像输出处理单元728。可以在CPU 11执行ROM 13和辅助存储设备14中的一个或更多个程序时实现图像获取单元722、图像存储处理单元724、分辨率改变单元726和图像输出处理单元728。
图像存储单元710存储前方环境图像I。在实施方式1中，作为示例，前方环境图像I与事件ID相关联地存储在图像存储单元710的记录区域中。事件ID是要提供给触发将前方环境图像I记录在记录区域中的图像存储处理的事件(稍后描述)的ID(标识)。图3是示出了图像存储单元710中的示例性数据的图。在图3中，“**”表示包含某些种类的信息。在图3所示的示例中，图像存储单元710包括多个记录区域(图3中的记录区域B1、B2等)，并且在每个记录区域中，存储有前方环境图像I的图像数据(例如，参见具有存储在“记录区域B1”中的帧1到帧N的前方环境图像I的图像数据)。前方环境图像I的图像数据与时间戳和拾取时间TTC相关联地被存储。时间戳是基于针对CPU 11的每个时钟递增的、时间戳计数器的值而生成的。例如，时间戳指示点火开关接通之后经过的时间。可以基于从PCS ECU 84获取的TTC来获取拾取时间TTC。当PCS ECU 84识别出障碍物的属性时，障碍物的属性与事件ID相关联地被存储。类似地，可以从PCS ECU 84获取障碍物的属性。在图3中，对于事件ID“000002”，障碍物的属性是“N/A”，并且示出了PCS ECU 84未识别障碍物的属性或者不能识别障碍物的属性。另一方面，对于事件ID“000001”，障碍物的属性为“车辆”，并且示出了PCS ECU 84将障碍物的属性识别为“车辆”。
在TTC特定分辨率存储单元712中，存储有与针对每个拾取时间TTC的输出分辨率相关联的TTC特定分辨率信息。输出分辨率是在前方环境图像I被读取和输出时的分辨率。例如，预先准备TTC特定分辨率信息，并且随着拾取时间TTC越小，输出分辨率越高。图4是示出了TTC特定分辨率信息的示例的图。在图4中，与拾取时间TTC的范围(拾取时间TTC≥α1，α1>拾取时间TTC≥α2等)对应地存储输出分辨率(图4中的“低”、“中”等)。TTC特定分辨率信息可以允许后续的改变。输出分辨率“高”对应于由摄像装置80获得的分辨率。
在障碍物属性特定分辨率存储单元714中，存储与针对障碍物的每个属性的输出分辨率相关联的障碍物属性特定分辨率信息。图5是示出了障碍物属性特定分辨率信息的示例的图。在图5中，与障碍物的属性(车辆、行人等)和拾取时间TTC的范围对应地存储输出分辨率(图5中的“低”、“中”等)。障碍物属性特定分辨率信息可以允许随后的改变。在图5中，α1至α3、β1至β3以及γ1至γ3是指定拾取时间TTC的范围的边界值，并且可以根据障碍物的属性而不同。例如，α3、β3和γ3为“零”。此外，α1至α3、β1至β3以及γ1至γ3可以允许由用户来改变。
在本实施方式中，作为示例，如图5所示，障碍物属性特定分辨率信息包括针对障碍物的每个属性的TTC特定分辨率信息。作为变型，图5所示的障碍物属性特定分辨率信息可以包括图4所示的TTC特定分辨率信息。在这种情况下，当障碍物的属性是“未知”时，可以针对障碍物的每个属性来准备TTC特定分辨率信息，以使得图4所示的TTC特定分辨率信息被使用。在图4和图5中，作为示例，α1至α3是共同的。然而，图4中的α1至α3以及图5中的α1至α3可以彼此不同。
图像获取单元722从摄像装置80获取前方环境图像I。图像获取单元722以预定的帧周期从摄像装置80获取前方环境图像I。图像获取单元722例如以FIFO(先进先出)方式将所获取的前方环境图像I保存在图像存储单元710中。例如，图像获取单元722将记录时段T1内的前方环境图像I以FIFO方式写入环形缓冲器(未示出)中。
当检测到预定事件时，图像存储处理单元724将存储在环形缓冲器中的图像数据(包括记录时段T1内的多个时间点处的前方环境图像I的图像数据)记录(传送)在图像存储单元710的预定记录区域中。
分辨率改变单元726执行降低前方环境图像I的分辨率的分辨率改变处理。例如，分辨率改变处理可以通过抽取(decimate)像素的处理或将四个像素平均化为一个像素的处理(所谓的金字塔处理)来实现。例如，金字塔处理可以通过将高斯金字塔形成为图像金字塔来实现。在实施方式1中，当响应于通过工具90从外部输入的输出请求而从图像存储单元710读取前方环境图像I时，分辨率改变单元726执行分辨率改变处理。分辨率改变处理是改变整个前方环境图像I的分辨率的处理，但也可以是改变前方环境图像I的一部分的分辨率的处理。
分辨率改变单元726基于拾取时间TTC来降低前方环境图像I的分辨率。具体地，对于某个前方环境图像I，分辨率改变单元726基于该某个前方环境图像I的拾取时间TTC以及TTC特定分辨率存储单元712中的TTC特定分辨率信息(图4)，将该某个前方环境图像I的分辨率改变为与该某个前方环境图像I的拾取时间TTC相关联的输出分辨率。
在PCS ECU 84已识别出障碍物的属性的情况下(即，在已将障碍物的属性与图像存储单元710中的稍后描述的读取对象事件ID相关联的情况下)，分辨率改变单元726使用障碍物属性特定分辨率存储单元714中的障碍物属性特定分辨率信息(图5)、基于拾取时间TTC和障碍物的属性来降低前方环境图像I的分辨率。具体地，对于与读取对象事件ID(稍后描述)对应的某个前方环境图像I，分辨率改变单元726基于某个前方环境图像I的拾取时间TTC、与读取对象事件ID相关联的障碍物的属性和TTC特定分辨率存储单元712中的TTC特定分辨率信息，将某个前方环境图像I的分辨率改变为与该某个前方环境图像I的拾取时间TTC和障碍物的属性相关联的输出分辨率。
在接收到前方环境图像I的输出请求之后，图像输出处理单元728输出图像存储单元710中的前方环境图像I。在实施方式1中，作为示例，通过工具90输入输出请求。图像输出处理单元728将通过分辨率改变单元726的分辨率改变处理得到的前方环境图像I输出至工具90。
根据实施方式1，由于包括分辨率改变单元726，因此可以改变前方环境图像I的分辨率。也就是说，根据实施方式1，分辨率改变单元726在从图像存储单元710读取前方环境图像I时执行分辨率改变处理，从而，图像输出处理单元728可以将通过分辨率改变处理得到的前方环境图像I输出至工具90。在通过分辨率改变处理得到的前方环境图像I中，当分辨率由于分辨率改变处理而降低时，通过分辨率改变处理来减少数据量。因此，当分辨率改变单元726执行分辨率改变处理时，可以以比当分辨率改变单元726不执行分辨率改变处理时的速度更高的速度从图像存储单元710读取前方环境图像I。
在上述实施方式1中，通过工具90输入前方环境图像I的输出请求，并且将从图像存储单元710读取的前方环境图像I输出至工具90。然而，本发明不限于此。例如，可以通过工具90输入前方环境图像I的输出请求，并且可以将从图像存储单元710读取的前方环境图像I输出至除了工具90以外的外部设备(例如，服务器)。在这种情况下，可以使用无线发送和接收单元26来实现到服务器的输出。此外，可以通过除了工具90以外的外部设备(例如，服务器)输入前方环境图像I的输出请求，并且可以将从图像存储单元710读取的前方环境图像I输出至作为输出请求方的服务器。替选地，可以通过工具90输入前方环境图像I的输出请求，并且可以将从图像存储单元710读取的前方环境图像I输出(显示)到车辆中的显示器86(示例性显示设备)。替选地，可以通过车辆中的设备输入前方环境图像I的输出请求，并且可以将从图像存储单元710读取的前方环境图像I输出至车辆中的显示器86。
在上述实施方式1中，当PCS ECU 84不具有识别障碍物的属性的功能时，可以除去障碍物属性特定分辨率存储单元714。
接下来，参照图6至图9，将使用流程图来描述实施方式1中的图像记录系统(处理设备7)的操作示例的主要部分。
图6是示出了由图像存储处理单元724执行的示例性图像存储处理的流程图。例如，当点火开关处于接通状态时，以预定周期执行图6所示的处理。
在步骤S600中，图像存储处理单元724确定是否已从PCS ECU 84接收到写入请求。在PCS ECU 84已检测到TTC变得等于或小于预定阈值Th2的预定事件(在下文中，称为“事件”)的情况下，PCS ECU 84将写入请求发送至车辆网络9。在PCS ECU 84已识别出障碍物的属性的情况下，将允许指定障碍物的属性的信息添加到写入请求中。在这种情况下，图像存储处理单元724可以基于来自PCS ECU 84的写入请求来检测所检测到的事件中的障碍物的属性。在预定阈值Th2大于预定阈值Th1的情况下，事件在满足自动制动开始条件之前发生。如果确定结果为“是”，则处理进行至步骤S602。否则，该周期中的处理结束。
在步骤S602中，图像存储处理单元724向检测到的事件提供事件ID。
在步骤S604中，图像存储处理单元724根据检测到的事件的属性来设置记录时段T1的开始时间和结束时间。例如，如图7所示，记录时段T1是在事件检测时间t2开始的时段A(t2至t4)、在事件检测时间t2结束的时段C(t0至t2)或者包括事件检测时间t2之前和之后的时段B(t1至t3)。在碰撞之前的事件的情况下，使用例如时段A，但本发明不限于此。
在步骤S606中，图像存储处理单元724确定作为关于检测到的事件的图像数据的记录目的地的记录区域(图像存储单元710中的记录区域)。如果存在可用空间，则可用空间被用作记录区域。这里，记录区域的数量是有限的(参见图3)。例如，在图像数据已存储在所有记录区域中的情况下，可以使用其中记录有最旧的图像数据的记录区域，或者可以提供与事件ID对应的优先级。
在步骤S608中，图像存储处理单元724确定是否是在步骤S604中设置的记录时段T1的结束时间(即，当前时间点是否是记录时段T1的结束时间)。如果确定结果为“是”，则处理进行至步骤S610。否则，在步骤S609之后，处理设备7变为等待记录时段T1的结束时间的等待状态。虽然未示出，但是当在等待状态下关断点火开关时，处理进行至步骤S610，并且在步骤S610之后结束。
在步骤S609中，图像存储处理单元724向在记录时段T1期间以预定周期从PCS ECU84获取的TTC提供在该时间的时间戳。
在步骤S610中，图像存储处理单元724将在步骤S604中设置的记录时段T1中的前方环境图像I记录(传送)在步骤S606中确定的记录区域(图像存储单元710的记录区域)中，其中该前方环境图像I是存储在环形缓冲器中的图像数据的前方环境图像I。
在步骤S612中，图像存储处理单元724在图像存储单元710中将在步骤S602中提供的事件ID与在步骤S606中确定的记录区域相关联(参见图3)。
在步骤S614中，图像存储处理单元724基于向前方环境图像I提供的时间戳以及向TTC提供的时间戳(步骤S609)而将TTC与图像存储单元710中的前方环境图像I相关联。与图像存储单元710中的前方环境图像I相关联的每个TTC用作拾取时间TTC。
在步骤S616中，图像存储处理单元724确定在步骤S600中获取的写入请求是否包括允许指定障碍物的属性的信息。如果确定结果为“是”，则处理进行至步骤S618。否则，该周期内的处理结束。
在步骤S618中，图像存储处理单元724将障碍物的属性与事件ID相关联地存储在图像存储单元710中。
根据图6所示的图像存储处理，当事件发生时，可以将记录时段T1中的图像数据(在多个时间点的前方环境图像I)存储在图像存储单元710中。在这种情况下，在图像存储单元710中，前方环境图像I与事件ID相关联地被存储，以及拾取时间TTC与前方环境图像I相关联地被存储。此外，在PCS ECU 84已识别出障碍物的属性的事件的情况下，障碍物的属性与事件ID相关联地存储在图像存储单元710中。
图8是示出了由图像输出处理单元728执行的示例性图像输出处理的流程图。在工具90连接至车辆网络9的状态下，以预定周期执行图8所示的图像输出处理。
在步骤S800中，图像输出处理单元728确定是否已从工具90接收到输出请求。在实施方式1中，作为示例，输出请求作为包括图9所示的信息的发送信号被从工具90发送至车辆网络9。在图9中，发送信号包括发送信号ID、读取对象事件ID和请求的分辨率。发送信号ID是允许图像输出处理单元728检测发送信号的类型是“输出请求”的信息。读取对象事件ID是允许图像输出处理单元728指定与请求图像数据的输出有关的图像存储单元710中的事件ID的信息。读取对象事件ID可以是指定读取对象的记录区域的信息。例如，工具90的用户可以基于包括在可以使用工具90提取的诊断信息中的事件信息来指定读取对象事件ID。所请求的分辨率是由用户请求的输出分辨率的值，在实施方式1中，作为示例，所请求的分辨率具有“高”和“低”这两个值。当请求的分辨率为“高”时，读取速度变为低于在请求的分辨率为“低”时的读取速度。因此，考虑到所需的分辨率和期望的读取速度，用户选择输出分辨率的请求值。如果确定结果为“是”，则处理进行至步骤S802。否则，该周期内的处理结束。
在步骤S802中，图像输出处理单元728确定请求的分辨率是否为“低”。如果确定结果为“是”，则处理进行至步骤S804。否则，处理进行至步骤S810。
在步骤S804中，图像输出处理单元728将在步骤S800中获取的读取对象事件ID给予分辨率改变单元726，并且使分辨率改变单元726执行分辨率改变处理。稍后将参照图10来描述该分辨率改变处理。
在步骤S806中，图像输出处理单元728确定是否已完成分辨率改变单元726的分辨率改变处理。如果确定结果为“是”，则处理进行至步骤S808。否则，处理设备7变为等待分辨率改变单元726的分辨率改变处理完成的等待状态。
在步骤S808中，图像输出处理单元728将通过在步骤S806中的分辨率改变处理得到的前方环境图像I输出至工具90。
在步骤S810中，图像输出处理单元728从图像存储单元710读取与关于读取对象事件ID的事件ID相关联的所有前方环境图像I，并且在不改变(即，不执行分辨率改变处理)的情况下将前方环境图像I输出至工具90。
根据图8所示的处理，在接收到来自工具90的输出请求之后，图像输出处理单元728以与所请求的分辨率对应的输出分辨率将前方环境图像I输出至工具90。因此，可以以相对高的速度向相比于输出分辨率优先考虑读取速度的用户输出针对读取对象事件ID的图像数据。
在图8所示的示例中，图像输出处理单元728根据输出请求中的请求的分辨率来确定是否执行分辨率改变处理，但是本发明不限于此。图像输出处理单元728可以总是执行分辨率改变处理。在这种情况下，输出请求中的请求的分辨率不是必需的。替选地，图像输出处理单元728可以基于执行输出请求的用户的属性、在接收到输出请求时的车辆位置等来确定是否执行分辨率改变处理。
图10是示出了由分辨率改变单元726执行的示例性分辨率改变处理的流程图。图10所示的分辨率改变处理的执行通过在图8的步骤S804中输入读取对象事件ID来触发。
在步骤S1000中，分辨率改变单元726确定与读取对象事件ID相关联的障碍物的属性是否存储在图像存储单元710(参见图3)中。如果确定结果为“是”，则处理进行至步骤S1002。否则，处理进行至步骤S1004。
在步骤S1002中，分辨率改变单元726基于障碍物属性特定分辨率存储单元714中的障碍物属性特定分辨率信息(图5)来提取与障碍物的属性对应的TTC特定分辨率信息。
在步骤S1004中，分辨率改变单元726提取TTC特定分辨率存储单元712中的TTC特定分辨率信息(图4)。
在步骤S1002和步骤S1004之后，处理进行至步骤S1006。在步骤S1006和后续步骤中，使用在步骤S1002或步骤S1004中提取的TTC特定分辨率信息。在描述步骤S1006和后续步骤时，将在步骤S1002或步骤S1004中提取的TTC特定分辨率信息仅称为“TTC特定分辨率信息”。
在步骤S1006中，分辨率改变单元726将k设置为1。
在步骤S1008中，分辨率改变单元726从图像存储单元710读取与读取对象事件ID相关联的多个前方环境图像I中的第k个前方环境图像I。例如，第k个前方环境图像I可以是在与读取对象事件ID相关联的多个前方环境图像I之中的并且是在时间序列中的第k个时间拾取的。
在步骤S1010中，分辨率改变单元726基于TTC特定分辨率存储单元712中的数据(参见图3)来获取与第k个前方环境图像I相关联的拾取时间TTC。
在步骤S1012中，分辨率改变单元726基于在步骤S1010中获取的拾取时间TTC以及TTC特定分辨率信息(图4或图5)来获取与在步骤S1010中所获取的拾取时间TTC相关联的输出分辨率(“低”、“中”或“高”)。
在步骤S1014中，分辨率改变单元726确定在步骤S1012中获取的输出分辨率是否为“高”。如果确定结果为“是”，则处理进行至步骤S1018。否则(即，如果输出分辨率为“低”或“中”)，则处理进行至步骤S1016。
在步骤S1016中，分辨率改变单元726将第k个前方环境图像I的分辨率改变为(降低至)在步骤S1012中获取的输出分辨率。
在步骤S1018中，分辨率改变单元726将k加“1”。
在步骤S1020中，分辨率改变单元726确定k是否大于与读取对象事件ID相关联的多个前方环境图像I的总数N。如果确定结果为“是”，则处理结束而无改变。否则，从步骤S1008继续该处理。
根据图10所示的处理，分辨率改变单元726可以使用与障碍物的属性对应的TTC特定分辨率信息来针对每个前方环境图像I、根据拾取时间TTC改变(或保持)前方环境图像I的分辨率。
[实施方式2]
在实施方式2中，图像记录系统包括处理设备7A。实施方式2在分辨率改变处理的定时上与上述实施方式1不同。以下，将主要描述实施方式2中的特征构成部分。在实施方式2中，对与上述实施方式1中的那些构成元素相同的构成元素赋予相同的附图标记，因此在一些情况下将省略对其的描述。
图11是示出了实施方式2中的处理设备7A的示例性功能块的图。
实施方式2中的处理设备7A具有与上述实施方式1中的处理设备7相同的硬件配置，但不同之处在于，用图像存储处理单元724A、分辨率改变单元726A(示例性质量改变单元)和图像输出处理单元728A分别替换图像存储处理单元724、分辨率改变单元726和图像输出处理单元728。当CPU 11执行ROM 13和辅助存储设备14中的一个或更多个程序时，可以实现图像存储处理单元724A、分辨率改变单元726A和图像输出处理单元728A。
图像存储处理单元724A与上述实施方式1中的图像存储处理单元724的不同之处在于，在由分辨率改变单元726A执行分辨率改变处理之后，前方环境图像I存储在图像存储单元710中。换言之，在前方环境图像I存储在图像存储单元710中时，分辨率改变单元726A执行分辨率改变处理。“在前方环境图像I存储在图像存储单元710中时”是包括“就在前方环境图像I存储在图像存储单元710中之前的时间”以及“就在前方环境图像I存储在图像存储单元710中之后的时间”的概念。除了该定时以外，该分辨率改变处理与上述实施方式1中的分辨率改变处理相同。
图像输出处理单元728A与上述实施方式1中的图像输出处理单元728的不同之处在于，响应于来自工具90的输出请求，将从图像存储单元710读取的图像I在没有改变(即，没有执行分辨率改变处理)的情况下输出至工具90。
根据实施方式2，可以获得与上述实施方式1的效果相同的效果。也就是说，根据实施方式2，由于包括分辨率改变单元726A，因此能够以相对高的速度从图像存储单元710读取前方环境图像I。
在实施方式2中，在前方环境图像I存储在图像存储单元710中时，分辨率改变单元726A执行分辨率改变处理，但是本发明不限于此。例如，在前方环境图像I存储在图像存储单元710中之后且在响应于输出请求而从图像存储单元710读取前方环境图像I之前，分辨率改变单元726A可以执行分辨率改变处理。
接下来，参照图12中，将使用流程图来描述实施方式2中的图像记录系统(处理设备7A)的操作示例的主要部分。
图12是示出了由图像存储处理单元724A执行的示例性图像存储处理的流程图。例如，当点火开关处于接通状态时，以预定周期执行图12所示的图像存储处理。
在步骤S1200中，图像存储处理单元724A执行第一图像存储处理。第一图像存储处理与图6所示的图像存储处理(步骤S600至步骤S618)相同。当步骤S616中的确定结果为“否”时或当步骤S618结束时，处理进行至步骤S1202。
在步骤S1202中，图像存储处理单元724A确定由用户设置的设置分辨率是否为“低”。设置分辨率是可以由用户改变的设置值。如果确定结果为“是”，则处理进行至步骤S1204。否则，处理进行至步骤S1210。
在步骤S1204中，图像存储处理单元724A将检测到的事件的事件ID给予分辨率改变单元726A，并且使分辨率改变单元726A执行分辨率改变处理。稍后将参照图13来描述该分辨率改变处理。
在步骤S1206中，图像存储处理单元724A确定是否已完成分辨率改变单元726A的分辨率改变处理。如果确定结果为“是”，则处理进行至步骤S1208。否则，处理设备7A变为等待分辨率改变单元726A的分辨率改变处理完成的等待状态。
在步骤S1208中，图像存储处理单元724A将在步骤S1206中通过分辨率改变处理得到的前方环境图像I存储(重写)在针对检测到的事件的事件ID的记录区域(图像存储单元710的记录区域)中。
根据图12所示的处理，当事件发生时，图像存储处理单元724A可以将由分辨率改变单元726A根据由用户设置的设置分辨率执行分辨率改变处理而得到的前方环境图像I存储在图像存储单元710中。
在图12所示的处理中，根据由用户设置的设置分辨率来确定是否执行分辨率改变处理，但是本发明不限定于此。图像存储处理单元724A可以总是使分辨率改变单元726A执行分辨率改变处理。在这种情况下，设置分辨率不是必需的。替选地，图像存储处理单元724A可以基于当前车辆位置等来确定是否执行分辨率改变处理。
在图12所示的处理中，图像存储处理单元724A一旦将针对检测到的事件的前方环境图像I存储在图像存储单元710的记录区域中，就使分辨率改变单元726A执行分辨率改变处理，但是本发明不限于此。例如，图像存储处理单元724A可以使分辨率改变单元726A对作为存储在环形缓冲器中的图像数据的前方环境图像I的、记录时段T1中的前方环境图像I执行分辨率改变处理，并且将通过分辨率改变处理得到的前方环境图像I存储在图像存储单元710的记录区域中。
图13是示出了由分辨率改变单元726A执行的示例性分辨率改变处理的流程图。图13所示的分辨率改变处理的执行是通过在图12的步骤S1204中输入检测到的事件的事件ID来触发。
在步骤S1300中，分辨率改变单元726A确定与检测到的事件的事件ID相关联的障碍物的属性是否存储在图像存储单元710(参见图3)中。如果确定结果为“是”，则处理进行至步骤S1302。否则，处理进行至步骤S1304。
在步骤S1302中，分辨率改变单元726A基于障碍物属性特定分辨率存储单元714中的障碍物属性特定分辨率信息(图5)来提取与障碍物的属性对应的TTC特定分辨率信息。
在步骤S1304中，分辨率改变单元726A提取TTC特定分辨率存储单元712中的TTC特定分辨率信息。
在步骤S1302和步骤S1304之后，处理进行至步骤S1306。在步骤S1306和后续步骤中，使用在步骤S1302或步骤S1304中提取的TTC特定分辨率信息。在描述步骤S1306和后续步骤时，在步骤S1302或步骤S1304中提取的TTC特定分辨率信息仅被称为“TTC特定分辨率信息”。
在步骤S1306中，分辨率改变单元726A将k设置为1。
在步骤S1308中，分辨率改变单元726A从图像存储单元710读取与检测到的事件的事件ID相关联的多个前方环境图像I中的第k个前方环境图像I。例如，第k个前方环境图像I可以是与检测到的事件的事件ID相关联的多个前方环境图像I之中的且是在时间序列中的第k个时间拾取的前方环境图像I。
在步骤S1310中，分辨率改变单元726A基于TTC特定分辨率存储单元712中的数据(参见图3)来获取与第k个前方环境图像I相关联的拾取时间TTC。
在步骤S1312中，分辨率改变单元726A基于在步骤S1310中获取的拾取时间TTC以及TTC特定分辨率信息(图4或图5)来获取与在步骤S1310中获取的拾取时间TTC相关联的输出分辨率(“低”、“中”或“高”)。
在步骤S1314中，分辨率改变单元726A确定在步骤S1312中获取的输出分辨率是否为“高”。如果确定结果为“是”，则处理进行至步骤S1318。否则(也就是说，如果输出分辨率为“低”或“中”)，则处理进行至步骤S1316。
在步骤S1316中，分辨率改变单元726A将第k个前方环境图像I的分辨率改变为(降低至)在步骤S1312中获取的输出分辨率。
在步骤S1318中，分辨率改变单元726A将k加“1”。
在步骤S1320中，分辨率改变单元726A确定k是否大于与检测到的事件的事件ID相关联的多个前方环境图像I的总数N1。如果确定结果为“是”，则处理结束而不进行改变。否则，从步骤S1308继续该处理。
根据图13所示的处理，分辨率改变单元726A可以使用与障碍物的属性对应的TTC特定分辨率信息来针对每个前方环境图像I、根据拾取时间TTC改变(保持)前方环境图像I的分辨率。
因此，已经详细描述了实施方式。本发明不限于特定实施方式，并且可以在权利要求的范围内进行各种修改和变更。此外，允许对上述实施方式中的全部或部分构成元件进行组合。
例如，在上述实施方式1(或实施方式2)中，拾取时间TTC被用作指示车辆与障碍物之间碰撞的可能性的指标值的示例，但本发明不限于此。例如，允许使用通过将拾取时间TTC和另一个参数组合而得到的指标值。例如，允许将通过将拾取时间TTC和侧面位置(在拾取前方环境图像I时的侧面位置)组合而得到的指标值用作另一参数。随着侧面位置越小(作为车辆与障碍物之间的侧面差异)，该指标值可以越高，并且随着拾取时间TTC越小，该指标值可以越高。在这种情况下，使用与针对每个指标值的输出分辨率相关联的指标值特定分辨率信息来代替TTC特定分辨率信息。在指标值特定分辨率信息中，指标值与输出分辨率相关联，使得输出分辨率随着指标值的降低而降低。
指示车辆与障碍物之间碰撞的可能性的指标值的另一示例可以是指示在预定区域中是否已检测到障碍物的值(即，“真”或“假”)。该预定区域被预先指定为可能与车辆碰撞的障碍物的存在区域。预定区域中的障碍物可以由上述的前方雷达传感器83检测。例如，在前方雷达传感器83是使用超声波的测距传感器的情况下，指示车辆与障碍物之间碰撞的可能性的指标值的其他示例是指示障碍物是否存在的值。在这种情况下，预定区域可以对应于测距传感器的检测区域。在这种情况下，处理设备7对在指标值为“假”(指示在预定区域中尚未检测到障碍物的值)时拾取的前方环境图像I执行质量改变处理。在前方雷达传感器83是测距传感器的情况下，例如，在图6所示的图像存储处理中，图像存储处理单元724响应于前方雷达传感器83已检测到障碍物的事件而设置记录时段T1的开始时间和结束时间(参见步骤S604)。在这种情况下，可以使用时段A、时段B和时段C中的任一个，并且记录时段T1可以被设置为前方雷达传感器83检测到障碍物的时段。
在上述实施方式1(或实施方式2)中，使用前方雷达传感器83。然而，代替前方雷达传感器83或者除了前方雷达传感器83以外，可以使用监测车辆的侧面景象和/或后方景象的雷达传感器或图像传感器。例如，在使用监测车辆的侧面景象的侧面雷达传感器的情况下，指示在预定区域中是否已检测到障碍物的值的另一示例(指示车辆与障碍物之间碰撞的可能性的指标值的另一示例)是指示侧面雷达传感器是否已检测到障碍物的值。在这种情况下，预定区域可以对应于侧面雷达传感器的检测区域。在这种情况下，处理设备7对在指标值为“假”(指示前方雷达传感器尚未检测到障碍物的值)时拾取的前方环境图像I执行质量改变处理。在前方雷达传感器83是侧面雷达传感器的情况下，例如，在图6所示的图像存储处理中，响应于侧面雷达传感器已检测到障碍物的事件，图像存储处理单元724设置记录时段T1的开始时间和结束时间(参见步骤S604)。在这种情况下，可以使用时段A、时段B和时段C中的任一个，并且将记录时段T1设置为侧面雷达传感器检测到障碍物的时段。
指示车辆与障碍物之间碰撞的可能性的指标值的另一示例可以是用于发出表示车辆与障碍物之间碰撞的可能性的警报的警报控制的操作状态。在这种情况下，如果用于发出表示车辆与障碍物之间碰撞的可能性的警报的警报控制在操作中，则指示车辆与障碍物之间碰撞的可能性的指标值可以是为“真”的值，否则其就为“假”。例如，用于发出表示车辆与障碍物之间碰撞的可能性的警报的警报控制可以是PCS、CTA(倒车车侧警示系统(Cross Traffic Alert))等的警报。在这种情况下，处理设备7对在指标值为“假”时拾取的前方环境图像I执行质量改变处理。
在上述实施方式1(或实施方式2)中，处理设备7基于指示车辆与障碍物之间碰撞的可能性的指标值来执行降低前方环境图像I的质量的质量改变处理，但是本发明不限于此。例如，处理设备7可以使用基于车辆的行驶状态的指标值来执行降低前方环境图像I的质量的质量改变处理。例如，基于车辆的行驶状态的指标值可以是关于“停车标志”、“红灯”、“驾驶员突然转向”、“驾驶员突然制动”等的指标值。
例如，关于“停车标志”的指标值可以是以下值：如果车辆正接近“停车标志”，则该值为“真”，否则，该值为“假”。在这种情况下，处理设备7对在指标值为“假”时拾取的前方环境图像I执行质量改变处理。可以通过图像识别等来识别“停车标志”。此外，如果在不限于“停车标志”的情况下检测到诸如标志和交通灯的道路相关对象，则允许使用为“真”的指标值。
类似地，关于“红灯”的指标值可以是以下值：如果车辆正接近“红灯”并且驾驶员可能未看到“红灯”，则该值为“真”，否则，该值为“假”。在这种情况下，处理设备7对在指标值为“假”时拾取的前方环境图像I执行质量改变处理。可以根据通过道路-车辆通信系统获取的交通灯的状态(诸如红灯的状态)来检测红灯。当即使车辆正接近“红灯”十字路口而驾驶员也继续踩踏加速器踏板时，可以检测驾驶员未看到红灯的可能性。例如，在ITS(智能交通系统)向车辆方发送各种指令的情况下，指标值可以是基于来自ITS的指令而变为“真”或“假”的值。这里，指标值可以是仅当满足来自ITS的指令的预定条件(例如，红灯、黄灯、要求车辆停止的停止等)时才变为“真”的值。
关于“驾驶员突然转向”的指标值可以是以下值：如果车辆处于突然转向状态，则该值为“真”，否则，该值为“假”。在这种情况下，处理设备7对在指标值为“假”时拾取的前方环境图像I执行质量改变处理。可以基于来自转向传感器的状态来检测突然转向状态。
关于“驾驶员突然制动”的指标值可以是以下值：如果车辆处于突然制动状态，则该值为“真”，否则，该值为“假”。在这种情况下，处理设备7对在指标值为“假”时拾取的前方环境图像I执行质量改变处理。可以基于来自制动传感器的状态来检测突然制动状态。
另外，基于车辆的行驶状态的指标值可以是以下值：如果干预控制正在操作，则该值为“真”，否则，该值为“假”。干预控制包括VSC(车辆稳定性控制)、ABS(防抱死制动系统)、TRC(牵引力控制)、LKA(车道保持辅助)等。在这种情况下，处理设备7对在指标值为“假”时拾取的前方环境图像I执行质量改变处理。

Claims (10)

1.一种图像记录系统，其特征在于，包括：
图像存储单元，由摄像装置拾取的图像和指标值彼此相关联地存储在所述图像存储单元中，所述摄像装置配备在车辆中，所述指标值指示在拾取所述图像时所述车辆与障碍物之间碰撞的可能性；以及
质量改变单元，被配置成基于所述指标值来执行降低所述图像的质量的质量改变处理。
2.根据权利要求1所述的图像记录系统，其特征在于，
所述图像包括作为在彼此不同的时间点拾取的多个图像的多个帧图像，以及
所述质量改变单元被配置成执行所述质量改变处理，以使得在第二时间点拾取的帧图像的质量低于在第一时间点拾取的帧图像的质量，所述第一时间点是由所述指标值指示的所述碰撞的可能性相对高的时间点，所述第二时间点是由所述指标值指示的所述碰撞的可能性相对低的时间点。
3.根据权利要求2所述的图像记录系统，其特征在于，
所述指标值是所述车辆与所述障碍物碰撞前的时间，以及
所述质量改变单元被配置成执行所述质量改变处理，以使得在第二时间点拾取的帧图像的质量低于在第一时间点拾取的帧图像的质量，所述车辆与所述障碍物碰撞前的所述时间在所述第二时间点处比在所述第一时间点处更长。
4.根据权利要求2所述的图像记录系统，其特征在于，
所述指标值是指示在预定区域中是否已检测到所述障碍物的值，以及
所述质量改变单元被配置成执行所述质量改变处理，以使得在第二时间点拾取的帧图像的质量低于在第一时间点拾取的帧图像的质量，在所述第一时间点拾取的帧图像和在所述第二时间点拾取的帧图像是所述多个帧图像中的帧图像，所述第一时间点是在所述预定区域中已检测到所述障碍物的时间点，所述第二时间点是在所述预定区域中尚未检测到所述障碍物的时间点。
5.根据权利要求1所述的图像记录系统，其特征在于，
所述图像与所述障碍物的属性的识别结果相关联地存储在所述图像存储单元中，以及
所述质量改变单元被配置成进一步基于所述识别结果来执行所述质量改变处理。
6.根据权利要求1至5中任一项所述的图像记录系统，其特征在于，
所述质量改变单元被配置成：在所述图像被存储在所述图像存储单元中之前，或者在所述图像被存储在所述图像存储单元中之后且在响应于来自外部的输出请求而从所述图像存储单元读取所述图像之前，执行所述质量改变处理，所述输出请求是将所述图像输出至外部设备或显示设备的请求。
7.根据权利要求1至5中任一项所述的图像记录系统，其特征在于，
所述质量改变单元被配置成在响应于来自外部的输出请求而从所述图像存储单元读取所述图像时执行所述质量改变处理，所述输出请求是将所述图像输出至外部设备或显示设备的请求。
8.根据权利要求1至7中任一项所述的图像记录系统，其特征在于，降低所述图像的质量的所述质量改变处理包括降低所述图像的分辨率和减少所述图像的颜色数量中的至少一种。
9.一种由计算机执行的图像记录方法，其特征在于，包括：
将由摄像装置拾取的图像和指标值彼此相关联地存储在图像存储单元中，所述摄像装置配备在车辆中，所述指标值指示在拾取所述图像时所述车辆与障碍物之间碰撞的可能性；以及
基于所述指标值来降低在所述图像被输出至外部设备或显示设备时所述图像的质量。
10.一种记录由计算机执行的图像记录程序的存储介质，当所述图像记录程序由所述计算机执行时，所述图像记录程序使所述计算机执行如下方法，所述方法的特征在于包括：
将由摄像装置拾取的图像和指标值彼此相关联地存储在图像存储单元中，所述摄像装置配备在车辆中，所述指标值指示在拾取所述图像时所述车辆与障碍物之间碰撞的可能性；以及
基于所述指标值来降低在所述图像被输出至外部设备或显示设备时所述图像的质量。
CN201810200470.0A 2017-03-14 2018-03-12 图像记录系统、图像记录方法和图像记录程序 Active CN108574811B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017049003A JP6743732B2 (ja) 2017-03-14 2017-03-14 画像記録システム、画像記録方法、画像記録プログラム
JP2017-049003 2017-03-14

Publications (2)

Publication Number Publication Date
CN108574811A true CN108574811A (zh) 2018-09-25
CN108574811B CN108574811B (zh) 2020-11-06

Family

ID=63519463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810200470.0A Active CN108574811B (zh) 2017-03-14 2018-03-12 图像记录系统、图像记录方法和图像记录程序

Country Status (3)

Country Link
US (1) US10671861B2 (zh)
JP (1) JP6743732B2 (zh)
CN (1) CN108574811B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751633A (zh) * 2019-10-11 2020-02-04 上海眼控科技股份有限公司 基于深度学习的多轴大车制动检测方法、装置、系统
CN114074612A (zh) * 2020-08-18 2022-02-22 丰田自动车株式会社 车辆用图像记录装置以及车辆用图像记录方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592825B1 (ko) * 2018-08-31 2023-10-23 현대자동차주식회사 충돌 회피 제어 장치 및 그 방법
KR102569900B1 (ko) * 2018-12-04 2023-08-23 현대자동차주식회사 전방위 센서퓨전 장치 및 그의 센서퓨전 방법과 그를 포함하는 차량
CN110046569B (zh) * 2019-04-12 2022-04-12 北京百度网讯科技有限公司 一种无人驾驶数据处理方法、装置及电子设备
JP7348874B2 (ja) * 2020-04-06 2023-09-21 トヨタ自動車株式会社 傾斜角検出装置及び制御装置
WO2023127353A1 (ja) * 2021-12-28 2023-07-06 株式会社クボタ 農業機械、センシングシステム、センシング方法、遠隔操縦システム、および制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1860521A (zh) * 2004-08-10 2006-11-08 索尼株式会社 显示设备和方法
US20100036592A1 (en) * 2008-08-07 2010-02-11 Denso Corporation Engine starting controller
JP2010134745A (ja) * 2008-12-05 2010-06-17 Fujitsu Ten Ltd ドライブレコーダ及びドライブレコーダの映像記録方法
KR20120130482A (ko) * 2011-05-23 2012-12-03 현대자동차주식회사 저장용량 저감 사고기록장치 및 그 방법
US20150062141A1 (en) * 2013-09-04 2015-03-05 Toyota Jidosha Kabushiki Kaisha Alert display device and alert display method
EP3132974A1 (en) * 2015-08-20 2017-02-22 LG Electronics Inc. Display apparatus and vehicle including the same

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3153839B2 (ja) * 1993-08-23 2001-04-09 三菱電機株式会社 車両用予防安全装置
JPH07237521A (ja) * 1994-03-02 1995-09-12 Toyota Motor Corp 車両用サイドエアバッグ制御装置
JPH09301122A (ja) * 1996-05-14 1997-11-25 Suzuki Motor Corp 車載用巻き込み警報装置
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
US7409295B2 (en) * 2004-08-09 2008-08-05 M/A-Com, Inc. Imminent-collision detection system and process
JP4360403B2 (ja) * 2006-12-27 2009-11-11 トヨタ自動車株式会社 車載用障害物検知装置
JP4636474B2 (ja) * 2008-11-17 2011-02-23 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 映像変換装置、映像再生装置、映像変換再生システム及びプログラム
JP4692673B2 (ja) 2009-12-21 2011-06-01 ソニー株式会社 画像記録方法及び画像記録装置
KR101611194B1 (ko) * 2014-04-04 2016-04-11 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
JP6583319B2 (ja) * 2017-03-14 2019-10-02 トヨタ自動車株式会社 画像記録システム、画像記録方法、画像記録プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1860521A (zh) * 2004-08-10 2006-11-08 索尼株式会社 显示设备和方法
US20100036592A1 (en) * 2008-08-07 2010-02-11 Denso Corporation Engine starting controller
JP2010134745A (ja) * 2008-12-05 2010-06-17 Fujitsu Ten Ltd ドライブレコーダ及びドライブレコーダの映像記録方法
KR20120130482A (ko) * 2011-05-23 2012-12-03 현대자동차주식회사 저장용량 저감 사고기록장치 및 그 방법
US20150062141A1 (en) * 2013-09-04 2015-03-05 Toyota Jidosha Kabushiki Kaisha Alert display device and alert display method
EP3132974A1 (en) * 2015-08-20 2017-02-22 LG Electronics Inc. Display apparatus and vehicle including the same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751633A (zh) * 2019-10-11 2020-02-04 上海眼控科技股份有限公司 基于深度学习的多轴大车制动检测方法、装置、系统
CN114074612A (zh) * 2020-08-18 2022-02-22 丰田自动车株式会社 车辆用图像记录装置以及车辆用图像记录方法
CN114074612B (zh) * 2020-08-18 2024-04-26 丰田自动车株式会社 车辆用图像记录装置以及车辆用图像记录方法

Also Published As

Publication number Publication date
US10671861B2 (en) 2020-06-02
CN108574811B (zh) 2020-11-06
US20180268227A1 (en) 2018-09-20
JP2018152785A (ja) 2018-09-27
JP6743732B2 (ja) 2020-08-19

Similar Documents

Publication Publication Date Title
CN108574811A (zh) 图像记录系统、图像记录方法和图像记录程序
US8379924B2 (en) Real time environment model generation system
CN101242523B (zh) 现场监视设备
EP2107504A1 (en) Method and device for generating a real time environment model for vehicles
CN108574812A (zh) 图像记录系统和方法以及记录图像记录程序的存储介质
EP1764749A2 (en) Automobile drive recorder
CN102785620A (zh) 针对用于车辆的终端的用户接口方法及其装置
US11202030B2 (en) System and method for providing complete event data from cross-referenced data memories
US20100049438A1 (en) Gps device with video security function and method thereof
JP2020205108A (ja) 情報記録装置、情報記録方法及び情報記録用プログラム
JP2009211509A (ja) 車両挙動再現装置
JP5627369B2 (ja) 車載運行記録装置
JP6962712B2 (ja) 車載画像記録装置
JP2002063681A (ja) 車載画像表示装置
JP2010108180A (ja) 運転意思推定装置
JP7008515B2 (ja) 情報処理方法及び情報処理装置
JP2001097252A (ja) 車両の事故データレコーダの記録部を制御する方法、および車両の事故データレコーダ
KR20190050335A (ko) 차량 및 그 제어방법
US11302123B2 (en) Information recording device, information recording method, and program for recording information
JP2020004223A (ja) 車載映像記録装置及びその制御方法
US10868975B2 (en) Image processing system for acquiring an image picked up by a camera provided in a vehicle an image processing method executed by a computer and a non-transitory storage medium storing an image processing program executed by a computer
JP5691065B2 (ja) 危険運転予防意識判定システムおよび危険運転予防意識判定方法
WO2023218545A1 (ja) 表示制御装置および表示制御方法
JP2024025513A (ja) 運転教育システム、サーバ及び管理端末用のプログラム
KR20240019048A (ko) 영상 판독에 기반하여 주차 환경에 관한 알림을 제공하는차량용 전자장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant