CN108574810B - 图像处理系统、图像处理方法以及非暂态存储介质 - Google Patents

图像处理系统、图像处理方法以及非暂态存储介质 Download PDF

Info

Publication number
CN108574810B
CN108574810B CN201810185795.6A CN201810185795A CN108574810B CN 108574810 B CN108574810 B CN 108574810B CN 201810185795 A CN201810185795 A CN 201810185795A CN 108574810 B CN108574810 B CN 108574810B
Authority
CN
China
Prior art keywords
image
resolution
output
unit
vehicle position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810185795.6A
Other languages
English (en)
Other versions
CN108574810A (zh
Inventor
中田裕士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN108574810A publication Critical patent/CN108574810A/zh
Application granted granted Critical
Publication of CN108574810B publication Critical patent/CN108574810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0008—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0008—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
    • B60K2031/0016—Identification of obstacles; Selection of a target vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0008—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
    • B60K2031/0025—Detecting position of target vehicle, e.g. vehicle driving ahead from host vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0008—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
    • B60K2031/0033—Detecting longitudinal speed or acceleration of target vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供了一种图像处理系统、图像处理方法以及非暂态存储介质。图像处理系统包括：图像获取单元，其获取由相机拍摄的图像，相机被设置在车辆中；以及质量改变单元，其执行使图像的质量降低至等于或低于预定标准的质量改变处理，预定标准基于以下中的至少一个：拍摄图像时的车辆位置、图像被输出到外部装置或显示装置时的车辆位置、以及指示图像的输出请求的请求者的请求者信息。

Description

图像处理系统、图像处理方法以及非暂态存储介质
技术领域
本公开内容涉及图像处理系统、由计算机执行的图像处理方法以及存储由计算机执行的图像处理程序的存储介质。
背景技术
已知一种认证系统，其利用被管理对象(诸如施工机械)的位置信息来执行对是否可以使用该被管理对象的确定(例如，参见日本专利申请公开第2008-191825号)。
发明内容
近年来，许多车辆配备有诸如所谓的行车记录仪的相机。由相机拍摄的图像的分辨率的提高有助于分析行驶环境等，但是会引起关于隐私的问题。关于隐私的规定在各个国家或各个地区是不同的。然而，目前不可能根据车辆位置或用户(分析图像的用户)来改变由设置在车辆中的相机拍摄的图像的分辨率。对于由相机拍摄的图像的颜色数来说同样如此。图像的像素数和图像的颜色数可以被统称为图像的质量。
本公开内容的一些方面提供了一种使得可以改变由设置在车辆中的相机拍摄的图像的质量的图像处理系统、由计算机执行的图像处理方法以及存储由计算机执行的图像处理程序的非暂态存储介质。
本发明的第一方面提供了一种图像处理系统。根据第一方面的图像处理系统包括：图像获取单元，其获取由相机拍摄的图像，该相机被设置在车辆中；以及质量改变单元，其执行使图像的质量降低至等于或低于预定标准的质量改变处理，预定标准基于以下中的至少一个来确定：拍摄图像时的车辆位置、图像被输出到外部装置或显示装置时的车辆位置、以及指示图像的输出请求的请求者的请求者信息。
根据第一方面，通过执行质量改变处理，可以改变由设置在车辆中的相机拍摄的图像的质量。此外，可以基于以下中的至少一个来实现考虑到关于隐私的规定和输出请求的请求者的质量改变处理：拍摄图像时的车辆位置、图像被输出到外部装置或显示装置时的车辆位置、以及指示图像的输出请求的请求者的请求者信息。
本发明的第二方面提供了一种由计算机执行的图像处理方法。根据第二方面的图像处理方法包括：获取由相机拍摄的图像，相机被设置在车辆中；以及基于以下中的至少一个来降低图像的质量：拍摄图像时的车辆位置、图像被输出到外部装置或显示装置时的车辆位置、以及指示图像的输出请求的请求者的请求者信息。
本发明的第三方面提供了一种存储由计算机执行的图像处理程序的非暂态存储介质。当计算机执行图像处理程序时，图像处理程序实现：
从相机获取由该相机拍摄的图像的逻辑，相机被设置在车辆中；以及
使图像的质量降低至等于或低于预定标准的逻辑，预定标准基于以下中的至少一个来确定：拍摄图像时的车辆位置、图像被输出到外部装置或显示装置时的车辆位置、以及指示图像的输出请求的请求者的请求者信息。
附图说明
以下将参照附图描述本发明的示例性实施方式的特征、优点以及技术与工业意义，在附图中相同的附图标记表示相同的元素，并且在附图中：
图1是示出实施方式1中的图像处理系统(处理装置)的示例性硬件配置的图；
图2是示出实施方式1中的处理装置的示例性功能块的图；
图3是图像存储单元的说明图；
图4A是示出示例性国家-地区特定容许值信息的图；
图4B是示出示例性用户特定容许值信息的图；
图5A是分辨率改变处理的说明图；
图5B是分辨率改变处理的说明图；
图6是示出图像存储处理单元的示例性图像存储处理的流程图；
图7是记录时段T1的开始时刻和结束时刻的说明图；
图8A是示出图像输出处理单元的示例性图像输出处理的部分流程图；
图8B是示出图像输出处理单元的示例性图像输出处理的部分流程图；
图9是输出请求的说明图；
图10是示出实施方式2中的图像处理系统(处理装置)的示例性功能块的图；
图11是示出实施方式2中的图像存储处理单元的示例性图像存储处理的流程图；
图12是示出实施方式3中的示例性图像处理系统的示意性配置图；
图13是示出实施方式3中的处理装置和服务器的示例性功能块的图；
图14A是示出图像输出处理单元的示例性图像输出处理的部分流程图；
图14B是示出图像输出处理单元的示例性图像输出处理的部分流程图；
图15是示出服务器的处理单元的示例性容许值通知处理的流程图；
图16是示出实施方式4中的处理装置和服务器的示例性功能块的图；
图17是示出图像存储处理单元的示例性图像存储处理的流程图；以及
图18是示出服务器的容许值通知单元的示例性容许值通知处理的流程图。
具体实施方式
在下文中，将参照附图详细描述实施方式。
[实施方式1]
在实施方式1中，图像处理系统包括处理装置7。
图1是示出实施方式1中的处理装置7的示例性硬件配置的图。在图1中，结合处理装置7的硬件配置示意性地示出了车载电子装置组8。例如，处理装置7通过诸如控制器局域网络(CAN)、本地互连网络(LIN)和以太网(R)的车辆网络9连接到车载电子装置组8。
处理装置7包括通过总线19连接的中央处理单元(CPU)11、随机存取存储器(RAM)12、只读存储器(ROM)13、辅助存储装置14、驱动装置15以及通信接口17。此外，处理装置7包括连接到通信接口17的有线发送与接收单元25和无线发送与接收单元26。不同于稍后描述的实施方式3，在实施方式1中可以排除无线发送与接收单元26。
例如，辅助存储装置14是电可擦除可编程只读存储器(EEPROM)或硬盘驱动器(HDD)。
有线发送与接收单元25包括可以利用诸如控制器局域网络(CAN)和本地互连网络(LIN)的车辆网络来执行通信的发送与接收单元。无线发送与接收单元26是可以利用用于移动电话的无线通信网络来执行无线通信的发送与接收单元。除了有线发送与接收单元25，处理装置7可以包括连接到通信接口17的第二无线发送与接收单元(未示出)。在这种情况下，第二无线发送与接收单元可以包括近场通信(NFC)单元、蓝牙(R)通信单元、无线保真(Wi-Fi)发送与接收单元、红外发送与接收单元等。
处理装置7能够连接到记录介质16。记录介质16存储有预定程序。例如，存储在记录介质16中的程序通过驱动装置15被安装在处理装置7的辅助存储装置14中。安装之后，预定程序可以被处理装置7的CPU 11执行。
车载电子装置组8包括相机80、车辆位置测量装置81、加速度传感器82、前向雷达传感器83、PCS(预碰撞安全)ECU(电子控制单元)84等。
相机80对车辆的前方景象(车辆周围环境的示例)进行拍摄。在下文中，由相机80拍摄的图像也被称为“前方环境图像I”。相机80可以是对车辆的侧方景象进行拍摄的相机、对车辆的后方景象进行拍摄的相机、对车辆内的景象进行拍摄的相机等。
车辆位置测量装置81基于来自全球导航卫星系统(GNSS)卫星的电波来测量其自身车辆的位置。加速度传感器82检测施加于车体的加速度。例如，加速度传感器82检测三个轴上的加速度分量。
前向雷达传感器83利用电波(例如毫米波)、光波(例如激光)或超声波作为检测波来检测车辆前方的前方障碍物(通常为前方车辆)的状况。前向雷达传感器83以预定周期检测指示前方障碍物与其自身车辆之间的关系的信息，例如前方障碍物相对于其自身车辆的相对速度、距离以及横向位置。例如，由前向雷达传感器83以此方式检测到的前方障碍物信息被以预定周期发送到PCS ECU 84。
PCS ECU 84基于来自前向雷达传感器83的信息来确定是否满足自动制动开始条件。当存在与其自身车辆前方的障碍物碰撞的可能时，满足自动制动开始条件。当满足自动制动开始条件时，PCS ECU 84执行自动制动其自身车辆的自动制动控制。例如，在避免与前方障碍物碰撞的控制中，PCS ECU 84计算碰撞时间(TTC)，其为距离与前方障碍物碰撞的时间，并且当所计算的TTC低于预定阈值Th1(例如1.5秒)时，PCS ECU84确定满足自动制动开始条件。例如，TTC是通过将距前方障碍物的距离除以与前方障碍物的相对速度而导出的。
自动制动控制是向其自身车辆自动地提供制动力的控制。例如，在驾驶员未操作制动踏板的情况下，通过由制动致动器(车载电子装置组8的元件，未示出)增大各个车轮的轮缸的压力来实现自动制动控制。在执行自动制动控制期间的目标控制值为基于除了制动踏板的操作量之外的因素而确定的值。
替代或除了利用前向雷达传感器83之外，PCS ECU 84可以利用相机80来确定是否满足自动制动开始条件。在这种情况下，相机80可以是立体相机。PCS ECU 84包括图像处理装置，并且例如将前方障碍物的状况识别为图像。基于图像识别结果，PCS ECU 84可以以预定周期来检测指示前方障碍物与其自身车辆之间的关系的信息，例如前方障碍物相对于其自身车辆的相对速度、距离和横向位置。图像处理功能(例如，计算前方障碍物的位置的功能)可以由连接到PCS ECU 84的图像处理装置来实现。
例如，显示器86是触摸面板液晶显示器。显示器86被布置在允许车辆乘员看到显示器86的位置处。显示器86是固定到车辆的显示器，但是其可以是可以被携带在车辆中的移动终端的显示器。在这种情况下，移动终端与处理装置7之间的通信可以通过第二无线发送与接收单元(例如，蓝牙通信单元)来实现。
处理装置7可以通过车辆网络9与工具90(示例性外部装置)连接。
工具90是用于将前方环境图像I的输出请求提供给稍后描述的处理装置7的外部装置。然而，工具90可以是允许其他用途应用的通用工具。工具90包括为经车辆制造商认证的经销商等准备的特殊工具，此外，其可以是一般用户可以使用的工具。一般用户可以使用的工具可以是智能电话或平板电脑终端。通常，工具90不连接到车辆网络9。当稍后描述的图像存储处理单元724中的前方环境图像I(由相机80拍摄的图像)被读取时，工具90被连接到车辆网络9以将输出请求提供给稍后描述的处理装置7。
图2是示出处理装置7的示例性功能块的图。
处理装置7是执行使前方环境图像I的质量降低至等于或低于预定标准的质量改变处理的装置。前方环境图像I的质量是影响图像的可视性(对物质体的辨别等)的质量，并且质量的指标值包括图像的分辨率和图像的颜色数(各个像素可以呈现的颜色的数目)。例如，预定标准包括分辨率的容许值。例如，分辨率的容许值由每英寸像素数(dpi：每英寸像素)来指定，但是也可以由诸如竖直像素数和水平像素数的像素数的关系的指标值(如640×480、1280×960、全高清(全HD)和4K)来指定。用于减少竖直像素数和水平像素数的质量改变处理可以是简单的收缩处理。此外，预定标准包括例如图像的颜色数的容许值(示例性预定颜色数)，并且例如是单色、8位色或24位色。例如，可以由作为指标值的颜色深度(每像素位数(bpp))来指定颜色数。用于减少颜色数的质量改变处理可以是简单的处理。质量改变处理可以通过不可逆的压缩处理来实现。这是由于不可逆的压缩处理使图像劣化，并且例如降低图像的可视性(清晰度等)。在这种情况下，预定标准可以由压缩率来指定。
例如，质量改变处理包括：降低前方环境图像I的分辨率和颜色数二者的处理以及仅降低其中一项的处理。稍后将描述分辨率改变处理的进一步具体示例。在下文中，作为示例，假设质量改变处理是降低前方环境图像I的分辨率的处理(对于稍后描述的实施方式2、3、4来说同样如此)。当质量改变处理是减少颜色数的处理时，或者当质量改变处理包括减少颜色数的处理时，可以(基于相同的概念)以与稍后描述的设定分辨率容许值相同的方式设定颜色数的容许值。这是因为颜色数与分辨率一样，容许值的增加会增加图像的可视性，并且可以以类似于处理分辨率的方式来处理颜色数。
处理装置7包括图像存储单元710、国家-地区特定容许值信息存储单元712以及用户特定容许值信息存储单元714。可以由辅助存储装置14来实现图像存储单元710、国家-地区特定容许值信息存储单元712和用户特定容许值信息存储单元714。此外，处理装置7包括图像获取单元722、图像存储处理单元724、分辨率改变单元726(示例性质量改变单元)以及图像输出处理单元728。可以在CPU 11执行ROM 13和辅助存储装置14中的一个或更多个程序时实现图像获取单元722、图像存储处理单元724、分辨率改变单元726和图像输出处理单元728。
图像存储单元710存储前方环境图像I。在实施方式1中，作为示例，将前方环境图像I与事件ID相关联地存储在图像存储单元710的记录区域中。事件ID是要被提供给触发用于将前方环境图像I记录在记录区域中的图像存储处理的事件(稍后描述)的标识(ID)。图3是示出了事件ID与记录区域之间的示例性关系的图。在图3所示的示例中，图像存储单元710包括多个记录区域(图3中的记录区域B1至B5等)，并且前方环境图像I的图像数据(图3中的图像数据C1至C5等)被存储在各个记录区域中。与拍摄前方环境图像I时的车辆位置相关联地存储前方环境图像I的图像数据。要与一条图像数据相关联地存储的车辆位置是拍摄形成该条图像数据的多个前方环境图像I中的一个时的车辆位置，例如，针对形成该条图像数据的多个前方环境图像I中的第一前方环境图像I的车辆位置。
国家-地区特定容许值信息存储单元712存储与针对各个国家或各个地区的分辨率容许值相关联的国家-地区特定容许值信息。分辨率的容许值有时会根据国家或地区而变化。例如，有时基于关于隐私的规定来确定分辨率的容许值。国家-地区特定容许值信息是预先准备的。图4A是示出国家-地区特定容许值信息的示例的图。在图4A中，针对各个国家/地区ID存储分辨率的容许值(图4A中的A1、A2等)。可以根据关于隐私的规定的后续变化来改变国家-地区特定容许值信息。
用户特定容许值信息存储单元714存储与针对各个用户的分辨率容许值相关联的用户特定容许值信息。图4B是示出用户特定容许值信息的示例的图。在图4B中，针对各个用户ID存储分辨率的容许值(图4B中的A1、A2等)。可以根据关于隐私的规定的后续变化来改变用户特定容许值信息。
图像获取单元722从相机80获取前方环境图像I。图像获取单元722以预定帧周期从相机80获取前方环境图像I。图像获取单元722例如以FIFO(先进先出)形式将所获取的前方环境图像I保存在图像存储单元710中。例如，图像获取单元722以FIFO形式将记录时段T1中的前方环境图像I写入环形缓冲器(未示出)中。
当检测到预定事件时，图像存储处理单元724将环形缓冲器中存储的图像数据(该图像数据包括在记录时段T1中的多个时间点处的前方环境图像I)记录(传输)在图像存储单元710的预定记录区域中。
分辨率改变单元726执行降低前方环境图像I的分辨率的分辨率改变处理。例如，可以通过抽离(decimate)像素的处理或将四个像素平均到一个像素的处理(所谓的金字塔处理)来实现分辨率改变处理。例如，可以通过形成高斯(Gaussian)金字塔作为图像金字塔来实现金字塔处理。在实施方式1中，当响应于通过工具90从外部输入的输出请求而从图像存储单元710读取前方环境图像I时，分辨率改变单元726执行分辨率改变处理。分辨率改变处理是改变前方环境图像I的全部的分辨率的处理，但是例如可以是改变前方环境图像I的一部分的分辨率的处理，如图5A和图5B所示。图5A示出了分辨率改变处理之前的前方环境图像I，并且图5B示出了分辨率改变处理之后的前方环境图像I。在图5A和图5B所示的示例中，针对作为前方环境图像I的一部分的前方车辆的车牌(附图标记500、501)执行分辨率改变处理。
分辨率改变单元726基于以下中的至少一个来执行分辨率改变处理：拍摄前方环境图像I时的车辆位置(在下文中称为“拍摄时车辆位置”)，前方环境图像I被输出到工具90时的车辆位置(在下文中称为“输出时车辆位置”)，以及执行前方环境图像I的输出请求的用户的用户ID(指示请求者的请求者信息的示例)。
例如，当要读取的前方环境图像I的分辨率的当前值超过与包含拍摄时车辆位置的国家或地区相关联的容许值时，分辨率改变单元726对要读取的前方环境图像I执行分辨率改变处理，该处理基于：与要读取的前方环境图像I相关联的车辆位置(拍摄时车辆位置)和国家-地区特定容许值信息存储单元712中的国家-地区特定容许值信息(参见图4A)。此外，当要读取的前方环境图像I的分辨率的当前值超过与包含输出时车辆位置的国家或地区相关联的容许值时，分辨率改变单元726对要读取的前方环境图像I执行分辨率改变处理，该处理基于：输出时车辆位置和国家-地区特定容许值信息存储单元712中的国家-地区特定容许值信息。此外，当要读取的前方环境图像I的分辨率的当前值超过与请求者的用户ID相关联的容许值时，分辨率改变单元726执行分辨率改变处理，该处理基于：执行前方环境图像I的输出请求的用户的用户ID和用户特定容许值信息存储单元714中的用户特定容许值信息(参见图4B)。
在接收到前方环境图像I的输出请求之后，图像输出处理单元728输出图像存储单元710中的前方环境图像I。在实施方式1中，作为示例，通过工具90输入该输出请求。图像输出处理单元728将由分辨率改变单元726的分辨率改变处理而得到的前方环境图像I输出到工具90。
根据实施方式1，通过包括分辨率改变单元726，可以改变前方环境图像I的分辨率。也就是说，根据实施方式1，当从图像存储单元710读取前方环境图像I时，分辨率改变单元726执行分辨率改变处理，由此，图像输出处理单元728可以将由分辨率改变处理而得到的前方环境图像I输出到工具90。因此，可以考虑到在各个国家或各个地区可以不同的关于隐私的规定以及请求者的用户ID，在改变分辨率之后输出前方环境图像I。
在上述实施方式1中，通过工具90输入前方环境图像I的输出请求，并且向工具90输出从图像存储单元710读取的前方环境图像I。然而，本发明不限于此。例如，可以通过工具90输入前方环境图像I的输出请求，并且可以向除了工具90之外的外部装置(例如，诸如实施方式3中的服务器3的服务器等)输出从图像存储单元710读取的前方环境图像I。在这种情况下，可以利用无线发送与接收单元26来实现向服务器的输出。此外，可以通过除了工具90之外的外部装置(例如服务器)输入前方环境图像I的输出请求，并且可以向作为输出请求者的服务器输出从图像存储单元710读取的前方环境图像I。可替选地，可以通过工具90输入前方环境图像I的输出请求，并且可以向车辆中的显示器86(示例性显示装置)输出(显示)从图像存储单元710读取的前方环境图像I。可替选地，可以通过车辆中的装置输入前方环境图像I的输出请求，并且可以向车辆中的显示器86输出从图像存储单元710读取的前方环境图像I。
接下来，参照图6至图9，将利用流程图来描述实施方式1中的图像处理系统(处理装置7)的操作示例的主要部分。
图6是示出图像存储处理单元724的示例性图像存储处理的流程图。例如，当点火开关处于接通状态时，以预定周期执行图6所示的处理。
在步骤S600中，图像存储处理单元724确定是否检测到预定事件。例如，预定事件是：基于加速度传感器82检测到预定撞击的事件，开始泊车的事件，TTC变为等于或小于预定阈值Th2(≥预定阈值Th1)的事件等。可以基于来自PCS ECU 84的信息来确定TTC变为等于或小于预定阈值Th2的事件。在预定阈值Th2大于预定阈值Th1的情况下，在满足自动制动开始条件之前出现TTC变为等于或小于预定阈值Th2的事件。如果确定结果为“是”，则处理进行到步骤S602。否则，该周期中的处理结束。
在步骤S602中，图像存储处理单元724向检测到的事件提供事件ID。
在步骤S604中，图像存储处理单元724根据检测到的事件的属性来设定记录时段T1的开始时刻和结束时刻。例如，如图7所示，记录时段T1是：开始于事件检测时刻t2的时段A(t2至t4)、结束于事件检测时刻t2的时段C(t0至t2)、或者包括事件检测时刻t2之前和之后的时段的时段B(t1至t3)。
在步骤S606中，图像存储处理单元724确定作为关于检测到的事件的图像数据的记录目的地的记录区域(图像存储单元710中的记录区域)。如果有可用空间，则将可用空间用作记录区域。这里，记录区域的数目是有限的(参见图3)。在所有记录区域都已经存储有图像数据的情况下，例如可以使用其中记录了最早的图像数据的记录区域，或者可以对应于事件ID来提供优先级。
在步骤S608中，图像存储处理单元724确定是否到了在步骤S604中设定的记录时段T1的结束时刻(也就是说，当前时间点是否是记录时段T1的结束时刻)。如果确定结果为“是”，则处理进行到步骤S610。否则，处理装置7变为等待记录时段T1的结束时刻的等待状态。尽管未示出，但是当在等待状态下点火开关关断时，处理进行到步骤S610并且在步骤S610之后结束。
在步骤S610中，图像存储处理单元724将在步骤S604中设定的记录时段T1中的前方环境图像I(其是存储在环形缓冲器中的图像数据的前方环境图像I)记录(传输)至在步骤S606中确定的记录区域中。此时，图像存储处理单元724将在步骤S602中提供的事件ID与在步骤S606中确定的图像存储单元710中的记录区域相关联(参见图3)。
根据图6所示的图像存储处理，当发生预定事件时，可以根据事件(多个时间点处的前方环境图像I)的属性在图像存储单元710中存储记录时段T1中的图像数据。
在图6中，记录时段T1是恒定的，但是记录时段T1可以根据事件的属性而改变。此外，在图6中，图像存储单元710包括可以同时存储多个事件的记录区域，但是其可以被配置成包括仅可以存储单个事件的记录区域。
图8A和图8B示出了示出图像输出处理单元728的示例性图像输出处理的流程图。在工具90被连接到车辆网络9的状态下，以预定周期来执行图8A和图8B所示的图像输出处理。
在步骤S800中，图像输出处理单元728确定是否已从工具90接收输出请求。在实施方式1中，作为示例，将输出请求从工具90发送到车辆网络9，作为包括图9所示的多条信息的发送信号。在图9中，发送信号包括发送信号ID、读取对象事件ID和用户ID。发送信号ID是允许图像输出处理单元728检测到发送信号的类型是“输出请求”的信息。读取对象事件ID是允许图像输出处理单元728指定请求输出图像数据的图像存储单元710中的事件ID的信息。读取对象事件ID可以是指定读取对象的记录区域的信息。例如，工具90的用户可以基于可以利用工具90提取的诊断信息中包括的事件信息来指定读取对象事件ID。读取对象事件ID可以包括两个或更多个事件ID。用户ID与作为请求者的用户相关。用户ID可以是提供给工具90自身的ID。可替选地，用户ID可以与工具90的用户认证中所使用的ID相同。在这种情况下，特定工具90的用户ID根据使用该特定工具90的用户而变化。如果确定结果为“是”，则处理进行到步骤S802。否则，该周期中的处理结束。
在步骤S802中，图像输出处理单元728从车辆位置测量装置81获取当前车辆位置(＝输出时车辆位置)。
在步骤S804中，图像输出处理单元728基于在步骤S802中获取的输出时车辆位置和国家-地区特定容许值信息存储单元712中的国家-地区特定容许值信息(参见图4A)来获取与包含输出时车辆位置的国家或地区相关联的分辨率的容许值。在下文中，在步骤S804中获取的分辨率的容许值被称为“基于输出位置的分辨率容许值”。
在步骤S806中，图像输出处理单元728获取在步骤S800中获取的输出请求中的用户ID(参见图9)。
在步骤S808中，图像输出处理单元728基于在步骤S806中获取的用户ID和用户特定容许值信息存储单元714中的用户特定容许值信息(参见图4B)来获取与请求者的用户ID相关联的容许值。在下文中，在步骤S806中获取的分辨率的容许值被称为“基于用户ID的分辨率容许值”。
在步骤S810中，图像输出处理单元728获取在步骤S800中获取的输出请求中的读取对象事件ID(参见图9)。
在步骤S812中，图像输出处理单元728基于在步骤S810中获取的读取对象事件ID和图像存储单元710中的数据(参见图3)来获取与关于读取对象事件ID的事件ID相关联的拍摄时车辆位置。
在步骤S814中，图像输出处理单元728基于在步骤S812中获取的拍摄时车辆位置和国家-地区特定容许值信息存储单元712中的国家-地区特定容许值信息(参见图4A)来获取与包含拍摄时车辆位置的国家或地区相关联的分辨率的容许值。在下文中，在步骤S814中获取的分辨率的容许值被称为“基于拍摄位置的分辨率容许值”。
在步骤S816中，图像输出处理单元728从以下分辨率容许值中提取(选择)最小容许值：在步骤S804中获取的基于输出位置的分辨率容许值、在步骤S808中获取的基于用户ID的分辨率容许值、以及在步骤S814中获取的基于拍摄位置的分辨率容许值。
在步骤S818中，图像输出处理单元728确定在步骤S816中获取的最小容许值是否低于与关于读取对象事件ID的事件ID相关联的前方环境图像I的分辨率的当前值。前方环境图像I的分辨率(由相机80获得的分辨率)的当前值是已获取的。如果确定结果为“是”，则处理进行到步骤S820。否则，处理进行到步骤S824。
在步骤S820中，图像输出处理单元728将在步骤S816中获取的最小容许值提供给分辨率改变单元726，并且使分辨率改变单元726执行分辨率改变处理。在这种情况下，分辨率改变单元726从图像存储单元710读取与关于读取对象事件ID的事件ID相关联的所有前方环境图像I，并且将前方环境图像I的分辨率改变为最小容许值或者等于或低于最小容许值。此时，针对特定前方环境图像I，分辨率改变单元726可以仅将该特定前方环境图像I的特定部分的分辨率改变为最小容许值或者等于或低于最小容许值。在这种情况下，该特定部分可以是可以由关于隐私的规定确定的部分。
在步骤S822中，图像输出处理单元728将由步骤S820中的分辨率改变处理得到的前方环境图像I输出到工具90。
在步骤S824中，图像输出处理单元728从图像存储单元710读取与关于读取对象事件ID的事件ID相关联的所有前方环境图像I，并且在不进行改变(即，不执行分辨率改变处理)的情况下将前方环境图像I输出到工具90。
根据图8A和图8B所示的处理，在接收到来自工具90的输出请求之后，图像输出处理单元728提取以下分辨率容许值中的最小容许值：基于输出位置的分辨率容许值、基于用户ID的分辨率容许值以及基于拍摄位置的分辨率容许值，并且将具有不高于最小容许值的分辨率的前方环境图像I输出到工具90。由此，可以考虑到在各个国家或各个地区可以不同的关于隐私的规定以及用户ID，在改变分辨率之后输出前方环境图像I。
在图8A和图8B所示的示例中，图像输出处理单元728向工具90输出具有不高于下述分辨率容许值中的最小容许值的分辨率的前方环境图像I：基于输出位置的分辨率容许值、基于用户ID的分辨率容许值以及基于拍摄位置的分辨率容许值，但是本发明不限于此。也就是说，可以允许仅考虑基于输出位置的分辨率容许值、基于用户ID的分辨率容许值以及基于拍摄位置的分辨率容许值中的一项或两项。例如，在仅考虑基于输出位置的分辨率容许值的情况下，图像输出处理单元728可以将具有不高于基于输出位置的分辨率容许值的分辨率的前方环境图像I输出到工具90。可替选地，图像输出处理单元728可以将具有不高于基于输出位置的分辨率容许值和基于用户ID的分辨率容许值中的最小容许值的分辨率的前方环境图像I输出到工具90。
[实施方式2]
在实施方式2中，图像处理系统包括处理装置7A。实施方式2与上述实施方式1的不同之处在于分辨率改变处理的时间。在下文中，将主要描述实施方式2中的特征构成。在实施方式2中，对可以与上述实施方式1中的元素相同的构成元素分配相同的附图标记，并且在一些情况下将省略对这些元素的描述。
图10是示出实施方式2中的处理装置7A的示例性功能块的图。
实施方式2中的处理装置7A具有与上述实施方式1中的处理装置7相同的硬件配置，但是其不同之处在于：分别用图像存储处理单元724A、分辨率改变单元726A(示例性质量改变单元)和图像输出处理单元728A来替代图像存储处理单元724、分辨率改变单元726和图像输出处理单元728。当CPU 11执行ROM 13和辅助存储装置14中的一个或更多个程序时可以实现图像存储处理单元724A、分辨率改变单元726A和图像输出处理单元728A。
图像存储处理单元724A与上述实施方式1中的图像存储处理单元724的不同之处在于：在分辨率改变单元726A的分辨率改变处理之后，前方环境图像I被存储在图像存储单元710中。换句话说，分辨率改变单元726A在前方环境图像I被存储在图像存储单元710中时执行分辨率改变处理。“前方环境图像I被存储在图像存储单元710中时”是包括以下的概念：“紧接在前方环境图像I被存储在图像存储单元710中之前的时间”以及“紧接在前方环境图像I被存储在图像存储单元710中之后的时间”。除时间之外，分辨率改变处理与上述实施方式1中的处理相同。
图像输出处理单元728A与上述实施方式1中的图像输出处理单元728的不同之处在于：响应于来自工具90的输出请求，在不进行改变(即，不执行分辨率改变处理)的情况下向工具90输出从图像存储单元710读取的前方环境图像I。
根据实施方式2，可以获得与上述实施方式1相同的效果。也就是说，可以考虑到在各个国家或各个地区可以不同的关于隐私的规定以及请求者的用户ID，在改变分辨率之后输出前方环境图像I。
在实施方式2中，分辨率改变单元726A在前方环境图像I被存储在图像存储单元710中时执行分辨率改变处理，但是本发明不限于此。例如，分辨率改变单元726A可以在前方环境图像I被存储在图像存储单元710中之后并且在响应于输出请求而从图像存储单元710读取前方环境图像I之前执行分辨率改变处理。
接下来，参照图11，将利用流程图来描述实施方式2中的图像处理系统(处理装置7A)的操作示例的主要部分。
图11是示出图像存储处理单元724A的示例性图像存储处理的流程图。例如，当点火开关处于接通状态时，以预定周期来执行图11所示的图像存储处理。
在步骤S1100中，图像存储处理单元724A执行第一图像存储处理。第一图像存储处理与图6所示的图像存储处理(步骤S600至步骤S610)相同。在步骤S1100结束之后，处理进行到步骤S1102。
在步骤S1102中，图像存储处理单元724A从车辆位置测量装置81获取当前车辆位置(＝拍摄时车辆位置)。
在步骤S1104中，图像存储处理单元724A基于在步骤S1102中获取的拍摄时车辆位置和国家-地区特定容许值信息存储单元712中的国家-地区特定容许值信息(参见图4A)来获取与包含拍摄时车辆位置的国家或地区相关联的分辨率的容许值(基于拍摄位置的分辨率容许值)。
在步骤S1106中，图像存储处理单元724A确定在步骤S1104中获取的基于拍摄位置的分辨率容许值是否低于与关于读取对象事件ID的事件ID相关联的前方环境图像I的分辨率的当前值。前方环境图像I的分辨率(由相机80获得的分辨率)的当前值是已获取的。如果确定结果为“是”，则处理进行到步骤S1108。否则，在不进行改变的情况下结束处理。
在步骤S1108中，图像存储处理单元724A将在步骤S1104中获取的基于拍摄位置的分辨率容许值提供给分辨率改变单元726A，并且使分辨率改变单元726A执行分辨率改变处理。在这种情况下，分辨率改变单元726A从图像存储单元710读取检测到的事件的事件ID的记录区域(图像存储单元710中的记录区域)中的所有前方环境图像I，并且将前方环境图像I的分辨率改变为基于拍摄位置的分辨率容许值或者等于或低于基于拍摄位置的分辨率容许值。
在步骤S1110中，图像存储处理单元724A将由步骤S1108中的分辨率改变处理得到的前方环境图像I存储(重写)在检测到的事件的事件ID的记录区域(图像存储单元710中的记录区域)中。
根据图11所示的处理，当发生预定事件时，图像存储处理单元724A可以将由根据基于拍摄位置的分辨率容许值执行分辨率改变处理而得到的前方环境图像I存储在图像存储单元710中。
在图11所示的处理中，图像存储处理单元724A一旦将检测到的事件的前方环境图像I存储在图像存储单元710的记录区域中，就使分辨率改变单元726A执行分辨率改变处理，但是本发明不限于此。例如，图像存储处理单元724A可以使分辨率改变单元726A对记录时段T1中的前方环境图像I(其是存储在环形缓冲器中的图像数据的前方环境图像I)执行分辨率改变处理，并且将由分辨率改变处理得到的前方环境图像I存储在图像存储单元710的记录区域中。
[实施方式3]
在实施方式3中，图像处理系统包括处理装置7B和服务器3。也就是说，图像处理系统被分开设置在车辆与服务器3中。在下文中，将主要描述实施方式3中的特征构成。在实施方式3中，对可以与上述实施方式1中的元素相同的构成元素分配相同的附图标记，并且在一些情况下将省略对这些元素的描述。
图12是示出示例性图像处理系统1的示意性配置图。该图像处理系统1包括处理装置7B和服务器3。处理装置7B和服务器3可以彼此进行通信。例如，处理装置7B包括无线发送与接收单元26(参见图1)，并且因此可以与服务器3进行通信。
图13是示出处理装置7B和服务器3的示例性功能块的图。
实施方式3中的处理装置7B具有与上述实施方式1中的处理装置7相同的硬件配置，但是不同之处在于：排除了国家-地区特定容许值信息存储单元712，并且用图像输出处理单元728B替代图像输出处理单元728。当CPU 11执行ROM 13和辅助存储装置14中的一个或更多个程序时可以实现图像输出处理单元728B。
图像输出处理单元728B与上述实施方式1中的图像输出处理单元728的不同之处在于：图像输出处理单元728B从服务器3接收对基于输出位置的分辨率容许值和基于拍摄位置的分辨率容许值的通知。
服务器3由物理计算机或虚拟计算机构成。服务器3包括容许值通知单元310和国家-地区特定容许值信息存储单元312。当服务器3中的CPU(未示出)执行存储装置(未示出)中的一个或更多个程序时，可以实现容许值通知单元310。国家-地区特定容许值信息存储单元312可以由服务器3中的辅助存储装置(未示出)来实现。
容许值通知单元310基于国家-地区特定容许值信息存储单元312中的数据，向处理装置7B的图像输出处理单元728B提供对基于输出位置的分辨率容许值和基于拍摄位置的分辨率容许值的通知。国家-地区特定容许值信息存储单元312中的数据与国家-地区特定容许值信息存储单元712中的数据(参见图4A)相同。
根据实施方式3，可以获得与上述实施方式1相同的效果。也就是说，可以考虑到在各个国家或各个地区可以不同的关于隐私的规定以及请求者的用户ID，在改变分辨率之后输出前方环境图像I。在实施方式3中，国家-地区特定容许值信息存储单元312被设置在服务器3中，因此，当需要改变国家-地区特定容许值信息存储单元312中的数据时，可以以集中的方式在服务器3中改变数据。
在实施方式3中，在基于输出位置的分辨率容许值、基于用户ID的分辨率容许值和基于拍摄位置的分辨率容许值之中，服务器3确定基于输出位置的分辨率容许值和基于拍摄位置的分辨率容许值，并且通知处理装置7B。然而，本发明不限于此。在基于输出位置的分辨率容许值、基于用户ID的分辨率容许值和基于拍摄位置的分辨率容许值之中，服务器3可以仅确定任意分辨率容许值、两个分辨率容许值的不同组合或所有分辨率容许值，并且可以通知处理装置7B。
接下来，参照图14A、图14B和图15，将利用流程图来描述实施方式3中的图像处理系统1的操作示例的主要部分。
图14A和图14B示出了示出处理装置7B的图像输出处理单元728B的示例性图像输出处理的流程图。在工具90连接到车辆网络9的状态下，以预定周期来执行图14A和图14B所示的图像输出处理。
在步骤S1400中，图像输出处理单元728B确定是否已从工具90接收到输出请求。
在步骤S1402中，图像输出处理单元728B从车辆位置测量装置81获取当前车辆位置(＝输出时车辆位置)。
在步骤S1404中，图像输出处理单元728B获取在步骤S1400中获取的输出请求中的读取对象事件ID(参见图9)。
在步骤S1406中，图像输出处理单元728B基于在步骤S1404中获取的读取对象事件ID和图像存储单元710中的数据(参见图3)来获取与关于读取对象事件ID的事件ID相关联的拍摄时车辆位置。
在步骤S1408中，图像输出处理单元728B基于在步骤S1402中获取的输出时车辆位置和在步骤S1406中获取的拍摄时车辆位置，向服务器3发送用于请求基于输出位置的分辨率容许值和基于拍摄位置的分辨率容许值的发送信号(在下文中称为“容许值请求”)。容许值请求包括允许服务器3的容许值通知单元310指定在步骤S1402中获取的输出时车辆位置和在步骤S1406中获取的拍摄时车辆位置的信息。此外，容许值请求包括允许服务器3的容许值通知单元310指定车辆的信息(例如车辆ID等)。
在步骤S1410中，图像输出处理单元728B确定是否已接收到服务器对在步骤S1408中发送的容许值请求的响应(下文中称为“容许值响应”)。如果确定结果为“是”，则处理进行到步骤S1412。否则，处理装置7B变为等待容许值响应的等待状态。
在步骤S1412中，图像输出处理单元728B基于从服务器3接收的容许值响应来获取基于输出位置的分辨率容许值和基于拍摄位置的分辨率容许值。如稍后参照图15所描述的，容许值响应包括允许处理装置7B获取基于输出位置的分辨率容许值和基于拍摄位置的分辨率容许值的信息。
在步骤S1414中，图像输出处理单元728B获取在步骤S1400中获取的输出请求中的用户ID(参见图9)。
在步骤S1416中，图像输出处理单元728B基于在步骤S1414中获取的ID和用户特定容许值信息存储单元714中的用户特定容许值信息(参见图4B)来获取与请求者的用户ID相关联的容许值(基于用户ID的分辨率容许值)。
在步骤S1418中，图像输出处理单元728B从下述分辨率容许值中提取最小容许值：在步骤S1412中获取的基于输出位置的分辨率容许值和基于拍摄位置的分辨率容许值，以及在步骤S1416中获取的基于用户ID的分辨率容许值。
在步骤S1420中，图像输出处理单元728B确定在步骤S1416中获取的最小容许值是否低于与关于读取对象事件ID的事件ID相关联的前方环境图像I的分辨率的当前值。前方环境图像I的分辨率(由相机80获得的分辨率)的当前值是已获取的。如果确定结果为“是”，则处理进行到步骤S1422。否则，处理进行到步骤S1426。
在步骤S1422中，图像输出处理单元728B将在步骤S1418中获取的最小容许值提供给分辨率改变单元726，并且使分辨率改变单元726执行分辨率改变处理。步骤S1422与上述步骤S820相同。
在步骤S1424中，图像输出处理单元728B将由步骤S1422中的分辨率改变处理得到的前方环境图像I输出到工具90。
在步骤S1426中，图像输出处理单元728B从图像存储单元710读取与关于读取对象事件ID的事件ID相关联的所有前方环境图像I，并且在不进行改变(即，不执行分辨率改变处理)的情况下将前方环境图像I输出到工具90。
根据图14A和图14B所示的处理，在接收到来自工具90的输出请求之后，图像输出处理单元728B从服务器3获取基于输出位置的分辨率容许值和基于拍摄位置的分辨率容许值。然后，图像输出处理单元728B提取下述分辨率容许值中的最小容许值：基于输出位置的分辨率容许值、基于拍摄位置的分辨率容许值以及基于用户ID的分辨率容许值，并且向工具90输出具有不高于最小容许值的分辨率的前方环境图像I。因此，可以考虑到在各个国家或各个地区可以不同的关于隐私的规定以及用户ID，在改变分辨率之后输出前方环境图像I。
图15是示出服务器3的容许值通知单元310的示例性容许值通知处理的流程图。以预定周期来执行图15所示的容许值通知处理。
在步骤S1500中，容许值通知单元310确定是否已从车辆的处理装置7B接收容许值请求(参见图14A中的步骤S1408)。如果确定结果为“是”，则处理进行到步骤S1502。否则，该周期中的处理结束。
在步骤S1502中，容许值通知单元310基于在步骤S1500中获取的容许值请求来获取输出时车辆位置和拍摄时车辆位置。
在步骤S1504中，容许值通知单元310基于在步骤S1502中获取的输出时车辆位置和拍摄时车辆位置以及国家-地区特定容许值信息存储单元312中的国家-地区特定容许值信息(参见图4A)来获取基于输出位置的分辨率容许值和基于拍摄位置的分辨率容许值。具体地，容许值通知单元310获取与包含输出时车辆位置的国家或地区相关联的分辨率容许值和与包含拍摄时车辆位置的国家或地区相关联的分辨率容许值，分别作为基于输出位置的分辨率容许值和基于拍摄位置的分辨率容许值。
在步骤S1506中，容许值通知单元310将在步骤S1504中获取的基于输出位置的分辨率容许值和基于拍摄位置的分辨率容许值作为容许值响应发送到已执行容许值请求的车辆的处理装置7B。
根据图15所示的处理，响应于来自车辆的处理装置7B的容许值请求，容许值通知单元310可以向处理装置7B提供对基于输出位置的分辨率容许值和基于拍摄位置的分辨率容许值的通知。
在实施方式3中，图像存储单元710可以被设置在服务器3中。在这种情况下，图像获取单元722将所获取的前方环境图像I发送到服务器3。此外，在这种情况下，由服务器3来实现图像存储处理单元724和分辨率改变单元726的功能。在这种情况下，在接收到来自工具90的输出请求之后，图像输出处理单元728B可以将输出请求连同此时的车辆位置(输出时车辆位置)传输至服务器3，并且可以从服务器3接收用于输出的前方环境图像I以输出该前方环境图像I。服务器3分别基于输出请求中与关于读取对象事件ID的事件ID相关联的拍摄时车辆位置、输出请求中的用户ID和输出时车辆位置来导出基于拍摄位置的分辨率容许值、基于用户ID的分辨率容许值和基于输出位置的分辨率容许值。然后，服务器3根据下述分辨率容许值中的最小容许值来生成用于输出的前方环境图像I：基于拍摄位置的分辨率容许值、基于用户ID的分辨率容许值、以及基于输出位置的分辨率容许值。
[实施方式4]
在实施方式4中，图像处理系统包括处理装置7C和服务器3C。在下文中，将主要描述实施方式4中的特征构成。在实施方式4中，对可以与上述实施方式3中的元素相同的构成元素分配相同的附图标记，并且在一些情况下将省略对这些元素的描述。
图16是示出处理装置7C和服务器3C的示例性功能块的图。
实施方式4中的处理装置7C具有与上述实施方式1中的处理装置7相同的硬件配置，但是其不同之处在于：排除了国家-地区特定容许值信息存储单元712，并且分别用图像存储处理单元724C、分辨率改变单元726C(示例性质量改变单元)和图像输出处理单元728C替代图像存储处理单元724、分辨率改变单元726和图像输出处理单元728。当CPU 11执行ROM 13和辅助存储装置14中的一个或更多个程序时可以实现图像存储处理单元724C、分辨率改变单元726C和图像输出处理单元728C。
图像存储处理单元724C与上述实施方式3中的图像存储处理单元724的不同之处在于：在分辨率改变单元726C的分辨率改变处理之后，将前方环境图像I存储在图像存储单元710中。换句话说，分辨率改变单元726C在前方环境图像I被存储在图像存储单元710中时执行分辨率改变处理。图像存储处理单元724C从服务器3C接收对基于拍摄位置的分辨率容许值的通知。
图像输出处理单元728C与上述实施方式1中的图像输出处理单元728的不同之处在于：响应于来自工具90的输出请求，在不进行改变(即，不执行分辨率改变处理)的情况下向工具90输出从图像存储单元710读取的前方环境图像I。
服务器3C与上述实施方式3中的服务器3的不同之处在于：用容许值通知单元310C来替代容许值通知单元310。当服务器3C中的CPU(未示出)执行存储装置(未示出)中的一个或更多个程序时可以实现容许值通知单元310C。
容许值通知单元310C基于国家-地区特定容许值信息存储单元312中的数据，向处理装置7C的图像输出处理单元728C提供对基于拍摄位置的分辨率容许值的通知。
根据实施方式4，可以获得与上述实施方式3相同的效果。
在实施方式4中，分辨率改变单元726C在前方环境图像I被存储在图像存储单元710中时执行分辨率改变处理，但是本发明不限于此。例如，分辨率改变单元726C可以在前方环境图像I被存储在图像存储单元710中之后并且在响应于输出请求而从图像存储单元710读取前方环境图像I之前执行分辨率改变处理。
接下来，参照图17和图18，将利用流程图来描述实施方式4中的图像处理系统1的操作示例的主要部分。
图17是示出图像存储处理单元724C的示例性图像存储处理的流程图。例如，当点火开关处于接通状态时，以预定周期来执行图17所示的图像存储处理。
在步骤S1700中，图像存储处理单元724C执行第一图像存储处理。第一图像存储处理与图6所示的图像存储处理(步骤S600至步骤S610)相同。在步骤S1700结束之后，处理进行到步骤S1702。
在步骤S1702中，图像存储处理单元724C从车辆位置测量装置81获取当前车辆位置(＝拍摄时车辆位置)。
在步骤S1704中，图像存储处理单元724C基于在步骤S1702中获取的拍摄时车辆位置，向服务器3C发送用于请求基于拍摄位置的分辨率容许值的发送信号(容许值请求)。容许值请求包括允许服务器3C的容许值通知单元310C指定在步骤S1702中获取的拍摄时车辆位置的信息。此外，容许值请求包括允许服务器3C的容许值通知单元310C指定车辆的信息(例如车辆ID等)。
在步骤S1706中，图像存储处理单元724C确定是否已接收到服务器对在步骤S1704中发送的容许值请求的响应(容许值响应)。如果确定结果为“是”，则处理进行到步骤S1708。否则，处理装置7C变为等待容许值响应的等待状态。
在步骤S1708中，图像存储处理单元724C基于从服务器3C接收的容许值响应来获取基于拍摄位置的分辨率容许值。如稍后参照图18所描述的，容许值响应包括允许处理装置7C获取基于拍摄位置的分辨率容许值的信息。
在步骤S1710中，图像存储处理单元724C确定在步骤S1708中获取的基于拍摄位置的分辨率容许值是否低于与关于读取对象事件ID的事件ID相关联的前方环境图像I的分辨率的当前值。前方环境图像I的分辨率(由相机80获得的分辨率)的当前值是已获取的。如果确定结果为“是”，则处理进行到步骤S1712。否则，在不进行改变的情况下结束处理。
在步骤S1712中，图像存储处理单元724C将在步骤S1708中获取的基于拍摄位置的分辨率容许值提供给分辨率改变单元726C，并且使分辨率改变单元726C执行分辨率改变处理。在这种情况下，分辨率改变单元726C从图像存储单元710读取检测到的事件的事件ID的记录区域(图像存储单元710中的记录区域)中的所有前方环境图像I，并且将前方环境图像I的分辨率改变为基于拍摄位置的分辨率容许值或者等于或低于基于拍摄位置的分辨率容许值。
在步骤S1714中，图像存储处理单元724C将由步骤S1712中的分辨率改变处理得到的前方环境图像I存储(重写)到检测到的事件的事件ID的记录区域(图像存储单元710中的记录区域)中。
根据图17所示的处理，当发生预定事件时，图像存储处理单元724C从服务器3C获取基于拍摄位置的分辨率容许值。然后，图像存储处理单元724C可以将由根据基于拍摄位置的分辨率容许值执行分辨率改变处理而得到的前方环境图像I存储在图像存储单元710中。
在图17所示的处理中，图像存储处理单元724C一旦将检测到的事件的前方环境图像I存储在图像存储单元710的记录区域中，就使分辨率改变单元726C执行分辨率改变处理，但是本发明不限于此。例如，图像存储处理单元724C可以使分辨率改变单元726C对记录时段T1中的前方环境图像I(其是存储在环形缓冲器中的图像数据的前方环境图像I)执行分辨率改变处理，并且将由分辨率改变处理得到的前方环境图像I存储在图像存储单元710的记录区域中。
图18是示出服务器3C的容许值通知单元310C的示例性容许值通知处理的流程图。以预定周期来执行图18所示的容许值通知处理。
在步骤S1800中，容许值通知单元310C确定是否已从车辆的处理装置7C接收容许值请求(参见图17中的步骤S1704)。如果确定结果为“是”，则处理进行到步骤S1802。否则，该周期中的处理结束。
在步骤S1802中，容许值通知单元310C基于在步骤S1800中获取的容许值请求来获取拍摄时车辆位置。
在步骤S1804中，容许值通知单元310C基于在步骤S1802中获取的拍摄时车辆位置和国家-地区特定容许值信息存储单元312中的国家-地区特定容许值信息(参见图4A)来获取基于拍摄位置的分辨率容许值。具体地，容许值通知单元310C获取与包含拍摄时车辆位置的国家或地区相关联的分辨率的容许值，作为基于拍摄位置的分辨率容许值。
在步骤S1806中，容许值通知单元310C将在步骤S1804中获取的基于拍摄位置的分辨率容许值作为容许值响应发送到已执行容许值请求的车辆的处理装置7C。
根据图18所示的处理，响应于来自车辆的处理装置7C的容许值请求，容许值通知单元310C可以向处理装置7C提供对基于拍摄位置的分辨率容许值的通知。
在实施方式4中，图像存储单元710可以被设置在服务器3C中。在这种情况下，图像获取单元722将所获取的前方环境图像I发送到服务器3C。此时，对于所发送的前方环境图像I的拍摄时车辆位置被发送到服务器3C。此外，在这种情况下，由服务器3C来实现图像存储处理单元724C和分辨率改变单元726C的功能。在这种情况下，在接收到来自工具90的输出请求之后，图像输出处理单元728C可以将输出请求传输到服务器3C，并且可以从服务器3C接收用于输出的前方环境图像I以输出该前方环境图像I。服务器3C基于拍摄时车辆位置、根据基于拍摄位置的分辨率容许值来生成用于输出的前方环境图像I，并将该前方环境图像I存储在图像获取单元722中。在接收到来自处理装置7C的输出请求之后，服务器3C从图像获取单元722提取用于输出的对应的前方环境图像I，并将该前方环境图像I发送至处理装置7C。
由此，已经详细描述了实施方式。本发明不限于特定实施方式，并且可以在权利要求书的范围内进行各种修改和变更。此外，可以允许组合上述实施方式中的全部或一些构成元素。
例如，在上述实施方式1(或实施方式2、3或4)中，当发生预定事件时，与该事件相关的前方环境图像I被存储在图像存储单元710中，但是本发明不限于此。除此之外或者替代地，可以以FIFO形式将从当前时间点起的预定时间内的多个前方环境图像I持续地存储在图像存储单元710中。

Claims (9)

1.一种图像处理系统，其特征在于，包括：
图像获取单元，所述图像获取单元获取由摄像机拍摄的图像，所述摄像机被设置在车辆中，
质量改变单元，所述质量改变单元执行使所述图像的质量降低至等于或低于预定标准的质量改变处理，所述预定标准高于零，所述预定标准基于以下中的至少一个来确定：拍摄所述图像时的车辆位置、所述图像被输出到外部装置或显示装置时的车辆位置、以及指示所述图像的输出请求的请求者的请求者信息，以及
存储所述图像的图像存储单元，
其中，所述质量改变单元被配置成：在响应于所述输出请求所述图像被从所述图像存储单元读取时执行所述质量改变处理，以及
其中，所述质量改变单元被配置成：在所述图像的质量的当前值超过与包含所述图像被输出到所述外部装置或所述显示装置时的车辆位置的国家或地区相关联的预定标准时，基于所述图像被输出到所述外部装置或所述显示装置时的车辆位置和与每个国家或每个地区的预定标准相关联的国家-地区特定信息来执行所述质量改变处理。
2.根据权利要求1所述的图像处理系统，其特征在于，
所述质量改变单元被配置成：在所述图像被存储在所述图像存储单元中之前执行所述质量改变处理，或者在所述图像被存储在所述图像存储单元中之后且在响应于所述输出请求所述图像被输出到所述外部装置、所述显示装置或所述请求者之前执行所述质量改变处理。
3.根据权利要求1所述的图像处理系统，其特征在于，
所述质量改变单元被配置成：在所述图像的质量的当前值超过与作为所述请求者的用户相关联的预定标准时，基于所述请求者信息和与每个用户的预定标准相关联的用户特定信息来执行所述质量改变处理。
4.根据权利要求1至2中任一项所述的图像处理系统，其特征在于，
所述质量改变单元被配置成：
在所述图像的质量的当前值超过与包含拍摄所述图像时的车辆位置的国家或地区相关联的预定标准时，基于拍摄所述图像时的车辆位置和与每个国家或每个地区的预定标准相关联的国家-地区特定信息来执行所述质量改变处理。
5.根据权利要求1至3中任一项所述的图像处理系统，其特征在于，
所述图像处理系统被设置在所述车辆中。
6.根据权利要求1至3中任一项所述的图像处理系统，其特征在于，
所述图像处理系统被分开设置在所述车辆和服务器中。
7.根据权利要求1至3中任一项所述的图像处理系统，其特征在于，
所述质量改变单元执行以下中的至少一个作为所述质量改变处理：使所述图像的分辨率降低至等于或低于预定容许值的处理以及使所述图像的颜色数减少至等于或低于预定颜色数的处理。
8.一种由计算机执行的图像处理方法，其特征在于，包括：
获取由摄像机拍摄的图像，所述摄像机被设置在车辆中；以及
基于以下中的至少一个来使所述图像的质量降低至等于或低于预定标准，所述预定标准高于零：拍摄所述图像时的车辆位置、所述图像被输出到外部装置或显示装置时的车辆位置、以及指示所述图像的输出请求的请求者的请求者信息，
其中，在所述图像的质量的当前值超过与包含所述图像被输出到所述外部装置或所述显示装置时的车辆位置的国家或地区相关联的预定标准时，基于所述图像被输出到所述外部装置或所述显示装置时的车辆位置和与每个国家或每个地区的预定标准相关联的国家-地区特定信息来执行降低所述图像的质量。
9.一种存储由计算机执行的图像处理程序的非暂态存储介质，其特征在于，
当所述计算机执行所述图像处理程序时，所述图像处理程序使所述计算机执行包括以下的方法：
从摄像机获取由所述摄像机拍摄的图像，所述摄像机被设置在车辆中；以及
使所述图像的质量降低至等于或低于预定标准，所述预定标准高于零，所述预定标准基于以下中的至少一个来确定：拍摄所述图像时的车辆位置、所述图像被输出到外部装置或显示装置时的车辆位置、以及指示所述图像的输出请求的请求者的请求者信息，
其中，在所述图像的质量的当前值超过与包含所述图像被输出到所述外部装置或所述显示装置时的车辆位置的国家或地区相关联的预定标准时，基于所述图像被输出到所述外部装置或所述显示装置时的车辆位置和与每个国家或每个地区的预定标准相关联的国家-地区特定信息来执行降低所述图像的质量。
CN201810185795.6A 2017-03-09 2018-03-07 图像处理系统、图像处理方法以及非暂态存储介质 Active CN108574810B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-045351 2017-03-09
JP2017045351A JP6635075B2 (ja) 2017-03-09 2017-03-09 画像記録システム、画像記録方法、画像記録プログラム

Publications (2)

Publication Number Publication Date
CN108574810A CN108574810A (zh) 2018-09-25
CN108574810B true CN108574810B (zh) 2020-12-25

Family

ID=63445302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810185795.6A Active CN108574810B (zh) 2017-03-09 2018-03-07 图像处理系统、图像处理方法以及非暂态存储介质

Country Status (3)

Country Link
US (1) US10868975B2 (zh)
JP (1) JP6635075B2 (zh)
CN (1) CN108574810B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1612631A (zh) * 2003-10-31 2005-05-04 乐金电子(中国)研究开发中心有限公司 相机一体型便携式终端的拍摄限制方法及系统
JP2006178825A (ja) * 2004-12-24 2006-07-06 Denso Corp プローブシステム
JP2008191825A (ja) * 2007-02-02 2008-08-21 Nec Electronics Corp 位置情報を用いた認証システム
CN102473283A (zh) * 2010-07-06 2012-05-23 松下电器产业株式会社 图像传送装置
CN102714712A (zh) * 2010-01-19 2012-10-03 富士通天株式会社 图像处理设备、图像处理系统和图像处理方法
CN103188469A (zh) * 2011-12-27 2013-07-03 富士通株式会社 调查装置和调查方法
CN103493005A (zh) * 2011-03-25 2014-01-01 Lg电子株式会社 图像处理装置和用于控制图像处理装置的方法
CN103548340A (zh) * 2011-05-24 2014-01-29 日产自动车株式会社 车辆用监视装置以及车辆的监视方法
CN103731600A (zh) * 2012-10-12 2014-04-16 索尼公司 图像处理装置、图像处理系统、图像处理方法和程序

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011028651A (ja) * 2009-07-28 2011-02-10 Yupiteru Corp 車両用映像記録装置
US9350914B1 (en) * 2015-02-11 2016-05-24 Semiconductor Components Industries, Llc Methods of enforcing privacy requests in imaging systems
US10452926B2 (en) * 2016-12-29 2019-10-22 Uber Technologies, Inc. Image capture device with customizable regions of interest

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1612631A (zh) * 2003-10-31 2005-05-04 乐金电子(中国)研究开发中心有限公司 相机一体型便携式终端的拍摄限制方法及系统
JP2006178825A (ja) * 2004-12-24 2006-07-06 Denso Corp プローブシステム
JP2008191825A (ja) * 2007-02-02 2008-08-21 Nec Electronics Corp 位置情報を用いた認証システム
CN102714712A (zh) * 2010-01-19 2012-10-03 富士通天株式会社 图像处理设备、图像处理系统和图像处理方法
CN102473283A (zh) * 2010-07-06 2012-05-23 松下电器产业株式会社 图像传送装置
CN103493005A (zh) * 2011-03-25 2014-01-01 Lg电子株式会社 图像处理装置和用于控制图像处理装置的方法
CN103548340A (zh) * 2011-05-24 2014-01-29 日产自动车株式会社 车辆用监视装置以及车辆的监视方法
CN103188469A (zh) * 2011-12-27 2013-07-03 富士通株式会社 调查装置和调查方法
CN103731600A (zh) * 2012-10-12 2014-04-16 索尼公司 图像处理装置、图像处理系统、图像处理方法和程序

Also Published As

Publication number Publication date
JP2018151701A (ja) 2018-09-27
US20180262697A1 (en) 2018-09-13
US10868975B2 (en) 2020-12-15
CN108574810A (zh) 2018-09-25
JP6635075B2 (ja) 2020-01-22

Similar Documents

Publication Publication Date Title
CN108574811B (zh) 图像记录系统、图像记录方法和图像记录程序
KR102464898B1 (ko) 차량과 관련된 영상 정보를 공유하는 방법 및 장치
US9852553B2 (en) Apparatus and method of requesting emergency call for vehicle accident by using travelling information about vehicle
EP3288002A1 (en) Drive recorder
US11027654B2 (en) Vehicle vision system with compressed video transfer via DSRC link
EP3306918B1 (en) Information presentation system
CN107810506B (zh) 具有隐私保护的远程查看系统
US20230016775A1 (en) Vehicular scalable security system
CN105263757B (zh) 用于在使用可与车辆耦合的移动终端设备的情况下识别车辆和对象之间的碰撞的方法和设备
JP6583319B2 (ja) 画像記録システム、画像記録方法、画像記録プログラム
KR101455847B1 (ko) 블랙박스와 차선이탈경고기능 겸용 차량운행기록장치
US20220319192A1 (en) Driving assistance device, driving assistance method, and non-transitory computer-readable medium
WO2014136378A1 (ja) 車外画像保存システム、車外画像保存装置、及び車車間通信装置
CN108574810B (zh) 图像处理系统、图像处理方法以及非暂态存储介质
US11810363B2 (en) Systems and methods for image processing using mobile devices
US20160167581A1 (en) Driver interface for capturing images using automotive image sensors
US10974719B2 (en) Mobile object control system, mobile object control method, and program
CN110995981B (zh) 图像处理装置及其控制方法、非暂时性可读记录介质、信息处理系统
CN112700658B (zh) 用于车辆的图像分享的系统及相应的方法和存储介质
CN114906135A (zh) 不可预见的车辆驾驶场景
KR20180002251A (ko) 근거리 무선통신을 이용한 차량용 카메라 영상 통합처리장치 및 그 방법
CN114640794A (zh) 相机、相机处理方法、服务器、服务器处理方法以及信息处理设备
US11303815B2 (en) Imaging apparatus and imaging method
CN109218365B (zh) 数据传输方法和系统
CN116194965A (zh) 确定相机系统的图像数据的正确性

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant