CN113632450A - 摄影系统及图像处理装置 - Google Patents

摄影系统及图像处理装置 Download PDF

Info

Publication number
CN113632450A
CN113632450A CN202080023852.6A CN202080023852A CN113632450A CN 113632450 A CN113632450 A CN 113632450A CN 202080023852 A CN202080023852 A CN 202080023852A CN 113632450 A CN113632450 A CN 113632450A
Authority
CN
China
Prior art keywords
image
camera
image processing
region
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080023852.6A
Other languages
English (en)
Other versions
CN113632450B (zh
Inventor
太田亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Publication of CN113632450A publication Critical patent/CN113632450A/zh
Application granted granted Critical
Publication of CN113632450B publication Critical patent/CN113632450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geometry (AREA)

Abstract

摄影系统(100)包括照相机(110)及图像处理装置(120)。图像处理装置(120)对照相机(110)的输出图像(IMG1)所包含的物体像进行追踪，并基于物体像的伴随移动的形状变化来取得用于对输出图像的失真进行校正的信息。然后，用取得的信息对输出图像进行校正。

Description

摄影系统及图像处理装置
技术领域
本发明涉及摄影系统。
背景技术
近年来，照相机向汽车的搭载不断被发展。照相机的用途涉及自动驾驶、前照灯的配光的自动控制、数字镜、以及用于覆盖死角的前取景监视器或后取景监视器等多个方面。
这样的照相机优选能够尽可能地拍摄出无失真的图像。但是，车载照相机多使用广角的，越是外周部，失真的影响就越会显著地表现出来。此外，即使使得照相机自身的失真较小，当将照相机内置于前照灯或后灯等时，也会被外透镜(out lens)等追加的光学系统导入失真。
[现有技术文献]
[专利文献]
专利文献1:日本特开2013-164913号公报
专利文献2:日本特开2018-86913号公报
发明内容
[发明要解决的课题]
1.考虑一种方法，其在将照相机内置于外透镜的状态下，拍摄栅格等校准用图像，并基于栅格的失真来确定校正函数。在该方法中，当外透镜被进行设计变更，或照相机与外透镜的位置错开时，校正函数会变得无用。
在将照相机用于自动驾驶或配光控制的情况下，将照相机的图像输入到安装有通过机器学习生成的预测模型的识别器(分类器)中，并对照相机的图像所包含的物体像的位置及种类进行判定。在该情况下，在照相机的失真较大时，需要将同样方式失真的图像作为学习数据(训练数据)来利用。因此，当外透镜被进行设计变更，或照相机与外透镜的位置错开时，需要重新学习。
本发明的一个方案在这样的状况下被完成，其例示性的目的之一在于提供一种可自动地校正失真的摄影系统。
2.当雨滴或雪粒、泥等异物附着于照相机的透镜时，异物所附着的区域(异物区域)的图像会缺损，给使用了照相机的图像的处理带来障碍。
本发明的一个方案在这样的状况下被完成，其例示性的目的之一在于提供一种抑制了因异物导致的画质劣化的摄影系统。
3.当雨滴等水滴附着于照相机的透镜时，水滴会成为透镜，照相机的图像会发生失真，画质会劣化。
本发明的一个方案在这样的状况下被完成，其例示性的目的之一在于提供一种抑制了因水滴导致的画质劣化的摄影系统。
4.为了自动驾驶或前照灯的配光的自动控制，会利用对存在于车辆周围的物体的位置及种类进行感测的物体识别系统。物体识别系统包含传感器、以及对传感器的输出进行分析的运算处理装置。关于传感器，考虑用途、所需精度及成本，从照相机、LiDAR(LightDetection and Ranging，Laser Imaging Detection and Ranging：光探测和测距、激光成像探测和测距)、毫米波雷达、以及超声波声呐等中选择。
本发明人对将作为传感器的照相机内置于前照灯的情况进行了研究。在该情况下，灯光源的出射光会反射到外透镜，从而存在入射到照相机的图像传感器，并映入到照相机图像中的可能。在照相机图像内，当灯光源的映入与物体重叠时，物体的识别率会显著降低。
作为用于除去映入的技术，提出了利用机器学习的方法等，但处理负担较重，在要求实时性的车载照相机中难以采用。
本发明的一个方案在这样的状况下被完成，其例示性的目的之一在于提供一种降低了灯光源的映入影响的摄影系统。
[用于解决技术课题的技术方案]
1.本发明的一个方案涉及一种车辆用的摄影系统。摄影系统包括：照相机；以及图像处理装置，其对照相机的输出图像进行处理。图像处理装置对输出图像所包含的物体像进行追踪，基于物体像的伴随移动的形状变化来取得用于对输出图像的失真进行校正的信息，并用该信息来校正输出图像。
本发明的另一方案也涉及一种车辆用的摄影系统。该摄影系统包括：照相机；以及图像处理装置，其对照相机的输出图像进行处理。图像处理装置从输出图像中检测出真实形状已知的基准物体，基于真实形状和输出图像中的基准物体的像的形状来取得用于对输出图像的失真进行校正的信息，并用该信息来校正输出图像。
本发明的又一方案涉及一种被与照相机一同使用，并构成车辆用的摄影系统的图像处理装置。图像处理装置对照相机的输出图像所包含的物体像进行追踪，基于物体像的伴随移动的形状变化来取得用于对输出图像的失真进行校正的信息，并用该信息来校正输出图像。
本发明的又一方案也为一种图像处理装置。该图像处理装置从照相机的输出图像中检测出真实形状已知的基准物体，基于真实形状和输出图像中的基准物体的像的形状来取得用于对输出图像的失真进行校正的信息，并用该信息来校正输出图像。
2.本发明的一个方案涉及一种车辆用的摄影系统。摄影系统包括：照相机，其以预定的帧率生成照相机图像；以及图像处理装置，其对照相机图像进行处理。在照相机图像的当前帧中包含异物时，图像处理装置从过去的帧中搜索出被异物遮挡的背景图像，并将背景图像粘贴于当前帧的存在异物的异物区域。
本发明的另一方案涉及一种被与照相机一同使用，并构成车辆用的摄影系统的图像处理装置。图像处理装置在照相机图像的当前帧中包含异物时，从过去的帧中搜索出被异物遮挡的背景图像，并将背景图像粘贴于当前帧的存在异物的异物区域。
3.本发明的一个方案涉及一种车辆用的摄影系统。摄影系统包括：照相机，其生成照相机图像；以及图像处理装置，其对照相机图像进行处理。在照相机图像中拍摄到水滴时，图像处理装置对水滴的透镜特性进行运算，并基于该透镜特性来对水滴的区域内的像进行校正。
本发明的另一方案为一种图像处理装置。该装置为一种被与照相机一同使用，并构成车辆用的摄影系统的图像处理装置，在照相机所生成的照相机图像中拍摄到水滴时，对水滴的透镜特性进行运算，并基于该透镜特性来对水滴的区域内的像进行校正。
4.本发明的一个方案涉及一种车辆用的摄影系统。摄影系统包括：照相机，其被与灯光源一同内置于车辆用灯具，并以预定的帧率来生成照相机图像；以及图像处理装置，其对照相机图像进行处理。图像处理装置基于多个帧来提取出灯光源的出射光的映入成分，并将映入成分从当前的帧除去。
本发明的另一方案涉及一种图像处理装置。图像处理装置被与照相机一同使用，并构成车辆用的摄影系统。照相机被与灯光源一同内置于车辆用灯具。图像处理装置基于照相机所生成的照相机图像的多个帧来提取出灯光源的出射光的映入成分，并将映入成分从当前的帧除去。
另外，以上构成要素的任意组合、以及将本发明的表达方式在方法、装置、系统等之间转换后的结果，作为本发明的方案也是有效的。
[发明效果]
根据本发明的一个方案，能够自动地对图像的失真进行校正。根据本发明的一个方案，能够抑制因异物导致的画质劣化。根据本发明的一个方案，能够降低灯光源的映入的影响。根据本发明的一个方案，能够抑制因水滴导致的画质劣化。
附图说明
图1是实施方式1.1的摄影系统的框图。
图2是图像处理装置的功能框图。
图3是对摄影系统的动作进行说明的图。
图4的(a)～图4的(d)是将多个位置中的物体的形状与真实形状对比示出的图。
图5是对基准区域包含消失点的情况下的追踪进行说明的图。
图6是实施方式1.2的摄影系统的框图。
图7是对图6的摄影系统的动作进行说明的图。
图8是实施方式1.3的摄影系统的框图。
图9是实施方式2的摄影系统的框图。
图10是对图9的摄影系统的动作进行说明的图。
图11的(a)、图11的(b)是对基于边缘检测的异物区域的判定进行说明的图。
图12是对异物检测进行说明的图。
图13是对背景图像的搜索进行说明的图。
图14是图像处理装置的功能框图。
图15是实施方式3的摄影系统的框图。
图16是图像处理装置的功能框图。
图17的(a)、图17的(b)是对透镜特性的推定进行说明的图。
图18的(a)～图18的(c)是对基于透镜特性的图像的校正进行说明的图。
图19的(a)、图19的(b)是对基于边缘检测的水滴区域的判定进行说明的图。
图20是对水滴检测进行说明的图。
图21是实施方式4的摄影系统的框图。
图22是图像处理装置的功能框图。
图23是对基于2个帧Fa、Fb的映入图像的生成进行说明的图。
图24是表示从4个帧生成的映入图像的图。
图25是表示基于在明亮的场景中拍摄到的2个帧而生成的映入图像的图。
图26的(a)～图26的(d)是表示映入的除去效果的图。
图27的(a)～图26的(d)是对除去映入中的系数的影响进行说明的图。
图28是包括摄影系统的物体识别系统的框图。
图29是包括摄影系统的显示系统的框图。
具体实施方式
(实施方式1.1)
图1是实施方式1.1的摄影系统100的框图。摄影系统100包括照相机110及图像处理装置120。照相机110例如被内置于汽车的前照灯等车辆用灯具10的灯体12。在车辆用灯具10，除了照相机110以外，还内置有远光16及近光18的灯光源、以及它们的点亮电路、散热器等。
照相机110会介由外透镜14而对照相机前方进行拍摄。除了照相机110所固有的失真以外，外透镜14还会带来额外的失真。照相机110的种类并不被限定，能够使用可见光照相机、红外线照相机、TOF照相机等各种照相机。
图像处理装置120基于照相机110的输出图像IMG1来生成对包含照相机110及外透镜14的影响的失真进行校正所需的信息(参数或函数)。并且，基于生成的信息来对照相机图像IMG1进行校正，并输出校正后的图像IMG2。
在图1中，图像处理装置120被内置于车辆用灯具10，但不限于此，图像处理装置120也可以被设置于车辆侧。
图2是图像处理装置120的功能框图。图像处理装置120能够以CPU(CentralProcessing Unit：中央处理器)或MPU(Micro Processing Unit：微处理器)、微机等处理器(硬件)与处理器(硬件)所执行的软件程序的组合来实现。因此，图2所示的各框仅表示图像处理装置120所执行的处理。图像处理装置120也可以为多个处理器的组合。此外，图像处理装置120也可以仅由硬件构成。
图像处理装置120包括失真校正执行部122和校正特性取得部130。校正特性取得部130基于来自照相机110的图像(照相机图像)IMG1来取得失真校正所需的信息。失真校正执行部122基于校正特性取得部130所取得的信息来执行校正处理。
图像处理装置120的校正特性取得部130对照相机110的输出图像IMG1所包含的物体像进行追踪，并基于物体像的伴随移动的形状变化来取得用于对输出图像IMG1的失真进行校正的信息。
校正特性取得部130包括物体检测部132、追踪部134、存储器136、以及校正特性运算部138。物体检测部132对照相机图像(帧)IMG1所包含的物体进行检测。追踪部134对连续的多个帧所包含的相同物体的移动进行监视，并将物体的位置与形状相对应地规定在存储器136中。
校正特性运算部138基于被存储于存储器136的数据来取得失真校正所需的信息(例如参数或校正函数)。
由照相机110拍摄的照相机图像IMG1包含小到可忽视失真的程度的区域(以下，称为基准区域)。典型地，越是照相机图像的中央，失真就越小，随着接近外周，失真会变大。在该情况下，可以在照相机图像的中央设置基准区域REF。
校正特性运算部138在追踪中的物体被包含于基准区域REF时，将此时的物体的形状作为真实形状。然后，基于基准区域外的任意位置处的相同物体的形状与真实形状的关系来取得用于失真校正的信息。
以上是摄影系统100的构成。接着，对其动作进行说明。图3是对摄影系统100的动作进行说明的图。在图3中，示出了连续的多个帧F1～F5，并示出了物体(汽车)从画面左侧向右侧移动的情况。物体检测部132在检测到物体OBJ时，对其进行追踪。在帧的中央，示出了基准区域REF。
各帧中的物体OBJ的形状被与位置P1～P5相对应地依次存储于存储器136。在帧F3中，物体OBJ被包含于基准区域REF。因此，将帧F3中的物体OBJ的形状作为真实形状SREF。
图4的(a)～图4的(d)是将位置P1、P2、P4、P5处的物体的形状S1、S2、S4、S5与真实形状SREF进行对比而示出的图。位置P#(#＝1，2，4，5)处的失真校正就是使形状S#与真实形状SREF一致。校正特性运算部138在各位置P#处，对用于将形状S#转换为真实形状SREF的校正特性(函数或参数)进行计算。
通过针对各种物体反复进行追踪，关于许多点，能够取得校正特性。
根据实施方式1.1的摄影系统100，在设计阶段中，无需用于失真校正的校准。因此，能够自由地设计外透镜14的形状(即光学特性)。
此外，存在以下这样的优点：在搭载有摄影系统100的汽车出厂后，在发生了照相机110的位置偏移的情况下，会自动地生成与因位置偏移后的光学特性导致的失真对应的校正特性。
也可以是，校正特性取得部130在行驶中始终动作。或者，也可以是，校正特性取得部130在从点火装置接通起到校正特性的学习完成为止的期间，每次都进行动作，并在学习完成后停止动作。在点火装置被断开后，关于已经学习了的校正特性，既可以抛弃，也可以预先保持到下次点火装置接通为止。
在上面的说明中，将失真较小的区域作为基准区域REF，但不限于此，也可以将失真特性(相应地作为其相反特性的校正特性)已知的区域作为基准区域REF。在该情况下，能够基于校正特性来对基准区域REF所包含的物体的形状进行校正，并将校正后的形状作为真实形状。基于该考虑，能够针对临时得到了校正特性的范围，随后作为基准区域REF来操作。
在利用照相机来拍摄从远方接近的物体时，该物体的像会从消失点出现，并从那里向周围移动。将照相机110以消失点被包含于基准区域REF的方式配置为好。图5是对基准区域REF包含消失点DP的情况下的追踪进行说明的图。在该例中，看板OBJA和对向车OBJB被摄入到照相机中。在初始的帧F1中，看板OBJA和对向车OBJB被包含于基准区域REF，因此它们的真实形状SREFA、SREFB能够在初始的帧F1中取得。然后，当帧F2、F3、F4和物体像的位置移动时，能够取得各点的校正特性。
(实施方式1.2)
图6是实施方式1.2的摄影系统200的框图。也可以是，该摄影系统200与实施方式1.1同样地内置于车辆用灯具10。摄影系统200包括照相机210及图像处理装置220。与实施方式1.1同样，图像处理装置220基于照相机210的输出图像IMG1来生成对包含照相机210及外透镜14的影响的失真进行校正所需的信息(参数或函数)。然后，基于生成的信息来对照相机图像IMG1进行校正，并输出校正后的图像IMG2。
图像处理装置220包含失真校正执行部222及校正特性取得部230。校正特性取得部230从照相机图像IMG1中，检测出真实形状已知的基准物体OBJREF的像。然后，基于基准物体OBJ的像的真实形状SREF、以及输出图像IMG1中的物体像的形状S#来取得用于对照相机图像IMG1的失真进行校正的信息。失真校正执行部222用校正特性取得部230所取得的信息来对照相机图像IMG1进行校正。
校正特性取得部230包含基准物体检测部232、存储器236、以及校正特性运算部238。基准物体检测部232从照相机图像IMG1中，检测出真实形状SREF已知的基准物体OBJREF的像。作为基准物体OBJ，能够使用交通标识或电线杆、路面标识等。
基准物体检测部232将检测到的基准物体OBJREF的像的形状S#与位置P#相对应地存储于存储器236。也可以是，与实施方式1.1同样，对临时检测到的基准物体OBJREF进行追踪，并连续地取得位置与形状的关系。
校正特性运算部238针对各位置P#中的每一个，基于基准物体像OBJREF的形状S#与真实形状SREF的关系来对校正特性进行运算。
以上是摄影系统200的构成。接着，对其动作进行说明。图7是对图6的摄影系统200的动作进行说明的图。在该例中，基准物体OBJREF为交通标识，其真实形状SREF为正圆。在得到了如图6所示的多个图像(帧)的情况下，生成基准物体OBJREF的失真后的形状变成正圆那样的校正特性即可。
实施方式1.2在如下情况下是有效的：无法定义在图像中失真较小的基准区域REF。
图8是实施方式1.3的摄影系统300的框图。摄影系统300包括照相机310及图像处理装置320。图像处理装置320包括失真校正执行部322、第1校正特性取得部330、以及第2校正特性取得部340。第1校正特性取得部330为实施方式1.1中的校正特性取得部130，第2校正特性取得部340为实施方式1.2中的校正特性取得部230。即，图像处理装置320支持使用了基准区域的图像校正、以及使用了基准物体的图像校正这两者。
(实施方式2的概要)
本说明书所公开的一个实施方式涉及一种车辆用的摄影系统。摄影系统包括：照相机；以及图像处理装置，其对照相机的输出图像进行处理。图像处理装置在输出图像的当前帧中包含异物时，从过去的帧中搜索出被异物遮挡的背景图像，并将背景图像粘贴于存在当前帧的异物的异物区域。
在车载用的摄影系统中，照相机会伴随车辆的移动而移动，因此照相机图像所包含的物体像会持续移动。另一方面，当异物附着时，异物会具有持续停留在相同的位置，或比物体像更慢地移动的倾向。即，当前，存在于被异物遮挡的异物区域的物体像在过去存在于与异物区域不同的区域，因此未被异物遮挡的可能性较高。因此，能够通过从过去的帧中检测出其背景图像，并将其作为补丁来粘贴于异物区域，从而恢复图像的缺损。
也可以是，图像处理装置针对输出图像的各帧，对边缘进行检测，并将被边缘包围的区域作为异物区域的候选。在异物为雨滴的情况下，在夜间，雨滴会因灯的反射而发光，因此会作为亮点而被摄入照相机图像中。另一方面，在白天(灯熄灭时)，雨滴会挡光，将该部分作为暗点而拍摄下来。因此，能够通过对边缘进行检测来检测出以雨滴为代表的异物。
但是，仅是如此，会存在将雨滴以外的具有边缘的物体误判定为异物的可能。因此，在异物区域的候选遍及预定数量的帧地停留在实质上相同的位置的情况下，图像处理装置也可以将该候选判定为异物区域。因为异物在数帧～数十帧左右的时间尺度上可视为静止，所以能够通过将该性质编入到异物判定的条件中来防止误判定。
作为另一方法，也可以通过图案匹配来检测异物，在该情况下，能够对每1帧都进行检测。然而，需要根据异物的种类或行驶环境(昼夜、天候、本车或其他车的前照灯的点亮/熄灭)等来增加图案的变化，处理会变得复杂。在该点上，因为基于边缘的异物检测能够使处理简化，所以是有利的。
图像处理装置针对输出图像的各帧，对边缘进行检测，在隔着N个帧(N≥2)的2个帧的相同位置存在同形状的边缘时，也可以将被该边缘包围的范围判定为异物区域。在该情况下，无需针对被夹在中间的帧的判定，因此能够减轻图像处理装置的负担。
也可以是，图像处理装置在当前的帧中，将现基准区域定义在异物区域的附近，在过去的帧中，检测出与现基准区域对应的过去基准区域，并对现基准区域与过去基准区域的偏置量进行检测，在过去的帧中，将基于偏置量来使异物区域位移的区域作为背景图像。由此，能够有效率地对应作为补丁来利用的背景图像进行搜索。
过去基准区域的检测也可以基于图案匹配。在雨滴等作为异物而附着的情况下，在异物区域的周边不存在可利用于运算光流(optical flow)的特征点的可能性较高。此外，光流原本是从过去向未来追踪光(物体)的移动的技术，而背景图像的搜索是从现在向过去追溯的处理，因此需要预先对连续的多个帧进行缓冲，使时间轴反转以适用光流，且需要庞大的运算处理。或者，也考虑在过去的帧中，对将来可能成为基准区域的部分全部进行监视，并适用光流的方法，但这也需要庞大的运算处理。通过利用图案匹配，能够有效率地对过去基准区域进行搜索。
另外，过去基准区域的检测也可以基于光流。在现基准区域中存在可利用于运算光流的特征点的情况下，能够通过以追溯时间轴的方式追踪该特征点的移动，从而对过去基准区域进行搜索。
也可以是，图像处理装置针对输出图像的各帧，对边缘进行检测，在隔着N帧的2个帧的相同位置存在同形状的边缘时，将被该边缘包围的范围判定为异物区域，在2个帧中的当前帧中，将现基准区域定义在异物区域的附近，在2个帧中的过去帧中，检测出与现基准区域对应的过去基准区域，并对现基准区域与过去基准区域的偏置量进行检测，在过去帧中，将基于偏置量来使异物区域位移的区域作为背景图像。
也可以是，图像处理装置通过图案匹配来对异物区域进行检测。
也可以是，照相机被内置于灯具，并介由外透镜来进行拍摄。
以下，针对实施方式2，参照附图进行说明。
图9是实施方式2的摄影系统100的框图。摄影系统100包括照相机110及图像处理装置120。照相机110例如被内置于汽车的前照灯等车辆用灯具10的灯体12。在车辆用灯具10中，除了照相机110以外，还内置有远光16及近光18的灯光源、以及它们的点亮电路、散热器等。
照相机110以预定的帧率来生成照相机图像IMG1。照相机110会介由外透镜14来对照相机前方进行拍摄，但雨滴RD或雪粒、泥等异物会附着于外透镜14。这些异物会映入到照相机图像IMG1中，使图像产生缺损。在以下的说明中，将雨滴RD设想为异物，但本发明对于雪粒或泥等也是有效的。
图像处理装置120在照相机图像IMG1的当前帧Fi中包含异物时，从过去的帧Fj(j＜i)中搜索出被异物遮挡的背景图像，并将背景图像粘贴于当前帧的异物区域。然后，输出校正后的图像(以下，称为校正图像)IMG2。
以上是摄影系统100的基本构成。接着，对其动作进行说明。
图10是对图9的摄影系统100的动作进行说明的图。图10的上层表示照相机图像IMG1，下层表示校正图像IMG2。在上层中，示出了当前的帧Fi和过去的帧Fj。在当前的帧Fi中，拍摄到了对向车30。此外，异物(水滴)RD被拍摄在与对向车30重叠的区域32，对向车(背景)30的一部分被异物遮挡。将存在异物RD的区域称为异物区域32。此外，将背景(对向车30)中的、被异物RD遮挡的部分称为背景图像。
图像处理装置120从过去的帧Fj(j＜i)中搜索出被异物RD遮挡的背景图像34，并将背景图像34粘贴于当前帧Fi的异物区域32。
以上是摄影系统100的动作。在车载用的摄影系统中，照相机110会伴随车辆的移动而移动，因此照相机图像IMG1所包含的物体像(背景)会持续移动。另一方面，当异物32附着时，异物会具有持续停留在相同的位置，或比物体像更慢地移动的倾向。即，在当前帧Fi中，存在于被异物32遮挡的异物区域的物体像(对向车30)在过去的帧Fj中，存在于与异物区域不同的区域，因此未被异物遮挡的可能性较高。因此，能够通过从过去的帧Fj中检测出背景图像，并将其作为补丁来粘贴于异物区域，从而恢复图像的缺损。
接着，对具体的处理进行说明。
(异物检测)
图像处理装置120针对照相机图像IMG1的各帧，对边缘进行检测，并将被边缘包围的区域判定为异物区域的候选。图11的(a)、图11的(b)是对基于边缘检测的异物区域的判定进行说明的图。图11的(a)是表示越过雨滴拍摄到的照相机图像IMG1的图像，图11的(b)是表示异物区域的候选的图像。
如图11的(b)所示，可知：能够通过提取边缘来很好地检测出存在雨滴的异物区域。但是，在图11的(b)中，非异物的背景也被误判定为异物。在此，在照相机会移动的车载用途中，在数帧～数十帧的时间尺度下，可视为异物静止，因此能够通过将该性质编入到异物判定的条件中来防止误判定。具体而言，也可以是，图像处理装置120在异物区域的候选遍及预定数量的帧地停留在实质上相同的位置的情况下，将该候选正式判定为异物区域。
在该情况下，也可以是，图像处理装置120将隔着N个帧的2个帧进行比较，在相同的位置存在同形状的边缘时，视为在它们的中间帧中也在相同的位置存在边缘，并将被该边缘包围的范围判定为异物区域。由此，能够降低图像处理装置120的运算处理量。
作为另一方法，也可以通过图案匹配来对异物进行检测，在该情况下，能够对每1帧都进行检测。然而，因为需要根据异物的种类或行驶环境(昼夜、天候、本车或其他车的前照灯的点亮/熄灭)等来增加图案的变化，所以基于边缘的异物检测具有优势。另外，在本发明中，在图像处理装置的运算处理能力具有余裕的情况下，也可以将图案匹配利用于异物检测。
图12是对异物检测进行说明的图。在各帧中，检测出3个边缘A～C，即异物区域的候选。在Fi－1为当前的帧时，将其与在其N帧前的Fi－1－N进行比较。对于边缘A、B，由于存在于相同的位置，因此正式判定为异物。另一方面，对于边缘C，在2个帧Fi－1与Fi－1－N中位置不同，因此从异物中排除。
在Fi为当前的帧时，将其与在其N帧前的Fi－N进行比较。针对边缘A、B，由于存在于相同的位置，因此正式判定为异物。另一方面，针对边缘C，由于在2个帧Fi与Fi－N中位置不同，因此从异物中排除。
通过重复该处理，从而能够高效率地对异物区域进行检测。另外，作为异物的检测方法，也考虑利用图案匹配。一方面，会存在根据图案匹配，能够进行每1帧的检测这样的优点，另一方面，会存在如下这样的问题：需要根据异物的种类或行驶环境(昼夜、天候、本车或其他车的前照灯的点亮/熄灭)等来增加匹配用的图案的变化，运算处理量会増加。根据基于边缘检测的异物判定，能够解决这样的问题。
(背景图像的搜索)
图13是对背景图像的搜索进行说明的图。在图13中，示出了当前的帧Fi和过去的帧Fj。过去的帧Fj也可以是Fi－N。图像处理装置120在当前的帧Fi中，在异物区域40的附近定义现基准区域42。并且，在过去的帧Fj中，检测出与现基准区域42对应的过去基准区域44。
对于过去基准区域44的检测，能够使用图案匹配或光流，但根据以下理由，使用图案匹配为好。在雨滴等作为异物而附着的情况下，在异物区域的周边不存在可利用于运算光流(optical flow)的特征点的可能性较高。此外，光流原本是从过去向未来追踪光(物体)的移动的技术，而背景图像的搜索是从现在向过去追溯的处理，因此需要预先对连续的多个帧进行缓冲，使时间轴反转以适用光流，且需要庞大的运算处理。或者，也考虑在过去的帧中，对将来可能成为基准区域的部分全部进行监视，并适用光流的方法，但这也需要庞大的运算处理。与此不同，通过利用图案匹配，能够有效率地以较少的运算对过去基准区域进行搜索。
然后，对现基准区域42的位置(x，y)与过去基准区域44的位置(x’，y’)的偏置量Δx(＝x’－x)，Δy(＝y’－y)进行检测。在此，将基准区域设为矩形，但其形状并不被特别地限定。
在过去的帧Fj中，将基于偏置量Δx，Δy来使异物区域40位移的区域作为背景图像46。在背景图像46的位置(u’，v’)和异物区域的位置(u，v)中，成立以下关系。
u’＝u+Δx
v’＝v+Δy
以上是背景图像的搜索方法。根据该方法，能够有效率地对应作为补丁来利用的背景图像进行搜索。
图14是图像处理装置120的功能框图。图像处理装置120能够以CPU(CentralProcessing Unit：中央处理器)或MPU(Micro Processing Unit：微处理器)、微机等处理器(硬件)与处理器(硬件)所执行的软件程序的组合来实现。因此，图14所示的各框仅表示图像处理装置120所执行的处理。图像处理装置120也可以为多个处理器的组合。此外，图像处理装置120也可以仅由硬件构成。
图像处理装置120包含边缘检测部122、异物区域判定部124、背景图像搜索部126、以及粘贴部128。边缘检测部122针对当前帧Fi进行边缘检测，并生成包含检测到的边缘的信息的边缘数据Ei。
异物区域判定部124参照当前帧Fi的边缘数据Ei和过去的帧Fj(＝Fi－N)的边缘数据Ei－N，将被静止的边缘包围的区域判定为异物区域，并生成异物区域数据Gi。
背景图像搜索部126基于异物区域数据Gi、当前帧Fi及过去帧Fi－N来对可作为补丁来利用的背景图像进行搜索。关于该处理，如参照图13说明的那样，在当前帧Fi中，在异物区域数据Gi的附近定义现基准区域，并从过去帧Fi－N中提取出与现基准区域对应的过去基准区域。然后，对它们的偏置量Δx，Δy进行检测，并检测出背景图像。粘贴部128将背景图像搜索部126所检测到的背景图像粘贴于当前帧Fi所对应的异物区域。
对与实施方式2相关联的变形例进行说明。
(变形例2.1)
在实施方式中，在对异物区域进行检测时，在参照在当前帧N帧前的过去帧来搜索用作补丁的背景图像时，也参照了在当前帧的N帧前的过去帧，但不限于此。关于背景图像的搜索，也可以利用在当前帧的M帧(N≠M)前的过去帧。此外，在某一过去帧中无法检测到适当的背景图像的情况下，也可以再从过去的帧中搜索背景图像。
(变形例2.2)
在实施方式中，基于边缘，对异物区域的候选进行了搜索。此时，也可以将边缘的形状或大小作为条件来给出。例如，因为雨滴的形状多为圆形或椭圆形，所以能够排除有角的图形。由此，能够防止看板等被作为异物的候选而提取出来。
(实施方式3的概要)
实施方式3涉及车辆用的摄影系统。摄影系统包括：照相机，其生成照相机图像；以及图像处理装置，其对照相机图像进行处理。图像处理装置在水滴被摄入到照相机图像中时，对水滴的透镜特性进行运算，并基于该透镜特性来对水滴的区域内的像进行校正。
根据该构成，能够通过对水滴的透镜作用所导致的光路的失真(透镜特性)进行计算，并对不存在水滴的透镜作用时的光路进行计算，从而对水滴所导致的失真进行校正。
也可以是，图像处理装置将照相机图像中的预定的区域内作为像的校正的对象。当将照相机图像的全部范围作为失真校正的对象时，图像处理装置的运算量会变多，需要高速的处理器。因此，能够通过仅将照相机图像中的重要区域作为校正对象，从而减少图像处理装置所需的运算量。“重要区域”既可以被固定，也可以被设定为动态。
也可以是，图像处理装置针对照相机图像的各帧检测边缘，并将被边缘包围的区域作为水滴的候选。在夜间，水滴会因灯的反射而发光，因此会作为亮点被摄入到照相机图像中。另一方面，在白天(灯熄灭时)，水滴会挡光，该部分会作为暗点而被摄入。因此，能够通过对边缘进行检测来检测出水滴。
但是，仅是如此，会存在将水滴以外的具有边缘的物体误判定为水滴的可能。因此，在水滴的候选遍及预定数量的帧地停留在实质上相同的位置的情况下，图像处理装置也可以将该候选判定为水滴。因为水滴在数帧～数十帧左右的时间尺度上可视为静止，所以能够通过将该性质编入到水滴判定的条件中来防止误判定。
也可以是，图像处理装置在水滴的候选遍及预定数量的帧地停留在实质上相同的位置的情况下，将该候选判定为水滴。
作为另一方法，也可以通过图案匹配来检测水滴，在该情况下，能够对每1帧都进行检测。但是，需要根据行驶环境(昼夜、天候、本车或其他车的前照灯的点亮/熄灭)等来增加图案的变化，处理会变得复杂。在该点上，因为基于边缘的水滴检测能够使处理简化，所以是有利的。
也可以是，图像处理装置针对照相机图像的各帧检测边缘，并在隔着N帧的2个帧的相同位置存在同形状的边缘时，将被该边缘包围的范围判定为水滴。
也可以是，照相机被内置于灯具，并介由外透镜来进行拍摄。
在实施方式3中，公开了一种图像处理装置，其被与照相机一同使用，并构成车辆用的摄影系统。该图像处理装置在水滴被摄入到照相机所生成的照相机图像中时，对水滴的透镜特性进行运算，并基于该透镜特性来对水滴的区域内的像进行校正。
以下，针对实施方式3，参照附图详细进行说明。
图15是实施方式3的摄影系统100的框图。摄影系统100包括照相机110及图像处理装置120。照相机110例如被内置于汽车的前照灯等车辆用灯具10的灯体12。在车辆用灯具10中，除了照相机110以外，还内置有远光16及近光18的灯光源、以及它们的点亮电路、散热器等。
照相机110以预定的帧率来生成照相机图像IMG1。照相机110会介由外透镜14来对照相机前方进行拍摄，但有时在外透镜14会附着有雨滴等水滴WD。水滴WD作为透镜来发挥作用，因此透过其的光线的路径会弯折，使像失真。
图像处理装置120在照相机图像IMG1中包含水滴WD时，对该水滴WD的透镜特性进行运算，并基于该透镜特性来对水滴WD的区域内的像进行校正。
以下，对图像处理装置120的处理的详情进行说明。图16是图像处理装置120的功能框图。图像处理装置120能够以CPU(Central Processing Unit：中央处理器)或MPU(Micro Processing Unit：微处理器)、微机等处理器(硬件)与处理器(硬件)所执行的软件程序的组合来实现。因此，图16所示的各框仅表示图像处理装置120所执行的处理。图像处理装置120也可以为多个处理器的组合。此外，图像处理装置120也可以仅由硬件构成。
图像处理装置120包括水滴检测部122、透镜特性取得部124、以及校正处理部126。水滴检测部122从照相机图像IMG1中检测出一个或多个水滴WD。透镜特性取得部124针对各水滴WD，基于其形状或位置来计算其透镜特性。
校正处理部126基于由透镜特性取得部124得到的透镜特性来对各水滴的区域内的像进行校正。
以上是摄影系统100的构成。接着，对其动作进行说明。图17的(a)、图17的(b)是对透镜特性的推定进行说明的图。图17的(a)示出了照相机图像IMG1。水滴检测部122从照相机图像IMG1中检测出水滴WD，并取得水滴WD的形状(例如，宽度w及高度h)及位置。当能够取得水滴WD的形状及位置时，如图17的(b)所示，能够推定出因表面张力导致的水滴的截面形状，并能够取得透镜特性。
图18的(a)～图18的(c)是对基于透镜特性的图像的校正进行说明的图。在图18的(a)中，示出了水滴WD的透镜效果，实线表示通过水滴折射的实际的光线(i)。
图18的(b)表示由图像传感器IS拍摄的照相机图像的一部分。在照相机图像IMG1中，摄入了实线的光线(i)在图像传感器IS的摄像面上所成的像，在该例中，因折射而缩小的像在图像传感器IS中成像。
图像处理装置120对假定不存在水滴WD时的光线(ii)的光路进行计算，并如图18的(c)所示，对光线(ii)在图像传感器IS的摄像面上形成的像进行推定。被推定出的像为校正后的图像。
以上是图像处理装置120的动作。根据该摄影系统100，能够通过对水滴WD的透镜作用所导致的光路的失真(透镜特性)进行计算，并对不存在水滴WD的透镜作用时的光路进行计算，从而对水滴WD所导致的失真进行校正。
在此，如图17的(a)所示，有时会存在多个水滴同时映入到照相机图像IMG1中的情况。在这种情况下，当将所有水滴作为校正对象时，图像处理装置120的运算处理量会变多，会存在来不及处理的可能。
为了解决该问题，也可以是，图像处理装置120仅将照相机图像IMG1中的、预定的区域内的水滴作为校正的对象。预定的区域例如为感兴趣区域(ROI：Region OfInterest)，既可以是图像的中心，也可以是包含应关注的物体的区域。因此，预定的区域的位置及形状既可以被固定，也可以动态地变化。
此外，也可以是，图像处理装置120仅将在水滴的内侧区域中包含像的水滴作为校正的对象。由此，能够减少运算处理量。
(水滴检测)
接着，针对水滴的检测进行说明。图像处理装置120针对照相机图像IMG1的各帧，对边缘进行检测，并将被边缘包围的区域判定为存在水滴的区域(称为水滴区域)的候选。图19的(a)、图19的(b)是对基于边缘检测的水滴区域的判定进行说明的图。图19的(a)是表示越过水滴拍摄到的照相机图像IMG1的图像，图11的(b)是表示水滴区域的候选的图像。
如图19的(b)所示，可知：能够通过提取边缘来很好地检测出水滴区域。但是，在图19的(b)中，非水滴的背景也被误判定为水滴。在此，在照相机会移动的车载用途中，在数帧～数十帧的时间尺度下，可视为水滴静止，因此能够通过将该性质编入到水滴判定的条件中来防止误判定。具体而言，也可以是，图像处理装置120在水滴区域的候选遍及预定数量的帧地停留在实质上相同的位置的情况下，将该候选正式判定为水滴区域。
在该情况下，也可以是，图像处理装置120将隔着N个帧的2个帧进行比较，在相同的位置存在同形状的边缘时，视为在它们的中间帧中也在相同的位置存在边缘，并将被该边缘包围的范围判定为水滴区域。由此，能够降低图像处理装置120的运算处理量。
作为另一方法，也可以通过图案匹配来对水滴进行检测，在该情况下，能够对每1帧都进行检测。然而，因为需要根据水滴的种类或行驶环境(昼夜、天候、本车或其他车的前照灯的点亮/熄灭)等来增加图案的变化，所以基于边缘的水滴检测具有优势。另外，在本发明中，在图像处理装置的运算处理能力具有余裕的情况下，也可以将图案匹配利用于水滴检测。
图20是对水滴检测进行说明的图。在各帧中，检测出3个边缘A～C，即水滴区域的候选。在Fi－1为当前的帧时，将其与在其N帧前的Fi－1－N进行比较。针对边缘A、B，由于存在于相同的位置，因此正式判定为水滴。另一方面，针对边缘C，由于在2个帧Fi－1与Fi－1－N中位置不同，因此从水滴中排除。
在Fi为当前的帧时，将其与在其N帧前的Fi－N进行比较。针对边缘A、B，由于存在于相同的位置，因此正式判定为水滴。另一方面，针对边缘C，由于在2个帧Fi与Fi－N中位置不同，因此从水滴中排除。
通过重复该处理，从而能够高效率地对水滴区域进行检测。另外，作为水滴的检测方法，也考虑利用图案匹配。一方面，会存在根据图案匹配，能够进行每1帧的检测这样的优点，另一方面，会存在如下这样的问题：需要根据水滴的种类或行驶环境(昼夜、天候、本车或其他车的前照灯的点亮/熄灭)等来增加匹配用的图案的变化，运算处理量会増加。根据基于边缘检测的水滴判定，能够解决这样的问题。
对与实施方式3相关联的变形例进行说明。
(变形例3.1)
在实施方式中，基于边缘，对水滴区域的候选进行了搜索。此时，也可以将边缘的形状或大小作为条件来给出。例如，因为雨滴的形状多为圆形或椭圆形，所以能够排除有角的图形。由此，能够防止看板等被作为水滴的候选而提取出来。
(实施方式4的概要)
实施方式4涉及一种车辆用的摄影系统。摄影系统包括：照相机，其被与灯光源一同内置于车辆用灯具，并以预定的帧率来生成照相机图像；以及图像处理装置，其对照相机图像进行处理。图像处理装置基于多个帧来提取出灯光源的出射光的映入成分，并将映入成分从当前的帧除去。
应除去的映入是因灯这样的固定光源在外透镜这样的固定介质上反射而发生的，因此映入的像可视为长时间不变。因此，能够将多个帧中共通地包含的明亮部分视为映入成分而提取出来。该方法能够仅通过单纯的差分提取或逻辑运算来进行，因此具有运算量较少这样的优点。
也可以是，图像处理装置通过取得多个帧的每个像素的逻辑积来生成映入成分。逻辑积的运算也可以通过如下方式生成：将像素的像素值(或亮度值)展开为二进制，并执行对应的像素的对应位彼此的逻辑积运算。
多个帧也可以隔开至少3秒以上。由此，映入以外的物体被摄入到多个帧的不同位置的可能性会提高，能够防止被作为映入而误提取的情况。
也可以是，图像处理装置将根据灯光源与照相机的位置关系确定出的预定的除外区域从映入成分的提取处理中排除。在应利用照相机拍摄的物体(光源)位于远方的情况下，物体会被摄入到在时间上充分隔开的2个帧的相同的位置，存在被作为灯光源的映入而误提取的可能。因此，能够通过预先确定灯光源的映入无法发生的区域来防止误提取。
多个帧也可以为2帧。即使在仅2帧的处理中，也能够以与3帧以上的处理相比并不逊色的精度来对映入进行检测。
多个帧也可以在较暗的场景中被拍摄。由此，能够进一步提高映入的提取精度。
本发明的另一方案涉及一种车辆用灯具。车辆用灯具包括灯光源和上述任意一个摄影系统。
在实施方式4中，公开了一种图像处理装置，其被与照相机一同使用，并构成车辆用的摄影系统。照相机被与灯光源一同内置于车辆用灯具。图像处理装置基于照相机所生成的照相机图像的多个帧来提取灯光源的出射光的映入成分，并将映入成分从当前的帧中除去。
以下，针对实施方式4，参照附图详细进行说明。
图21是实施方式4的摄影系统100的框图。摄影系统100包括照相机110及图像处理装置120。照相机110例如被内置于汽车的前照灯等车辆用灯具10的灯体12。在车辆用灯具10中，除了照相机110以外，还内置有远光16及近光18的灯光源、以及它们的点亮电路、散热器等。
照相机110以预定的帧率来生成照相机图像IMG1。照相机110会介由外透镜14而对照相机前方进行拍摄。当远光16或近光18等灯光源点亮时，灯光源所射出的光束会在外透镜14上反射或散射，其一部分会入射到照相机110中。由此，灯光源会被摄入到照相机图像IMG1中。另外在图21中，示出了简化的光路，但实际上，映入可能会经由更复杂的光路而发生。
图像处理装置120基于照相机图像IMG1的多个帧来提取灯光源的出射光的映入成分，并将映入成分从当前的帧中除去。
以下，对图像处理装置120的处理的详情进行说明。图22是图像处理装置120的功能框图。图像处理装置120能够以CPU(Central Processing Unit：中央处理器)或MPU(Micro Processing Unit：微处理器)、微机等处理器(硬件)与处理器(硬件)所执行的软件程序的组合来实现。因此，图22所示的各框仅表示图像处理装置120所执行的处理。图像处理装置120也可以为多个处理器的组合。此外，图像处理装置120也可以仅由硬件构成。
图像处理装置120包括映入提取部122和映入除去部124。映入提取部122基于由照相机110拍摄的多个帧中的、在时间上隔开的2个或3个以上的帧的组(在该例中，为2个帧Fa、Fb)来生成包含映入成分的映入图像IMG3。针对用于映入提取的、多个帧Fa、Fb的选择方法，会在后面进行叙述。
映入提取部122将共通地被摄入到多个帧Fa、Fb中的明亮的部分作为映入成分而提取。具体而言，映入提取部122能够通过取得多个帧Fa、Fb的每个像素的逻辑积(AND)来生成映入成分(映入图像IMG3)。映入提取部122针对帧Fa、Fb的全部像素，取得将像素值(RGB)展开为二进制时的、对应的位(bit)彼此的逻辑积。为了简便，设具有帧Fa的像素的红的像素值Ra为8，帧Fb的相同像素的像素值Rb为11。为了简便，当以5位来表示时，
Ra＝[01000]
Rb＝[01011]
它们的逻辑积能够通过将位彼此进行乘法运算来得到，即
Ra×Rb＝[01000]。
通过针对全部像素进行逻辑积的运算，从而生成包含映入成分的图像IMG3。关于映入图像IMG的生成，既可以在行驶开始后仅进行1次，也可以在行驶中以适当的频率进行更新。或者也可以是，以数日或数月1次的频率来生成映入图像IMG3。
另外，也可以是，改变为RGB的像素值，并将RGB的像素值转换为亮度值，针对亮度值取得逻辑积，并提取映入成分。
映入除去部124用映入图像IMG3对照相机图像的各帧Fi进行校正，并除去映入成分。
也可以是，映入除去部124将映入图像IMG3的像素值乘上预定的系数，并从原来的帧Fi中减去。Fi(x，y)表示帧Fi中的水平位置x、垂直位置y的像素。
Fi’(x，y)＝Fi(x，y)－β×IMG3(x，y)
β能够通过实验来最优化，使得映入除去的效果变得最高。
以上是摄影系统100的构成。接着，对其动作进行说明。图23是对基于2个帧Fa、Fb的映入图像IMG3x的生成进行说明的图。在该例中，在外透镜附着有雨滴，但无论有无雨滴，都会发生映入。这2个帧Fa、Fb是在行驶中，隔开3.3秒(在30fps下，为100帧)的间隔拍摄的。通过隔开3秒以上的间隔，大多数物体会被摄入到不同的位置中，因此能够通过取得逻辑积来除去。利用于映入图像IMG3x的生成的多个帧是在较暗的场景中拍摄的。由此，能够减少背景的映入，从而能够更高精度地提取映入成分。较暗的场景的判定既可以通过图像处理来进行，也可以利用照度传感器来进行。
另外，在2个帧Fa、Fb各自的右侧，拍摄到了作为远景成分的路灯及道路标识。因为它们是远景，所以在3.3秒的行驶中位置几乎没有移动，因此其成分会混入到映入图像IMG3中。
为了解决该问题，在帧中确定除外区域为好。发生映入的位置会根据灯光源与照相机的位置关系而在几何学上确定，因此不会发生较大的变化。换言之，能够将无法发生映入的区域预先确定为除外区域，并将其从映入成分的提取处理中排除。在图23的例子中，映入集中于图像的左侧，与此不同，远景(消失点)集中于图像的右侧。因此，能够通过将包含消失点的右半部分作为除外区域，从而防止远景的看板或路灯、标识、大楼的灯光等被作为映入而误提取。
图24是表示基于4个帧生成的映入图像IMG3y的图。使用于映入图像IMG3的生成的4个帧是在时间和场所都不同的场景中拍摄的，通过取得它们的逻辑积来生成图像IMG3y。
在图23的例子中，雨滴或背景的一部分会被作为映入而提取，与此不同，像图24那样，能够通过使用在完全不同的场景中拍摄到的帧，从而除去雨滴或背景，从而更准确地仅提取出映入成分。
图25表示基于在明亮的场景中拍摄的2个帧生成的映入图像IMG3z。当在明亮的场景中进行拍摄时，难以完全除去背景的光。
图26的(a)～图26的(d)是表示除去映入的效果的图。图26的(a)表示原来的帧Fi。图26的(b)表示用图23的映入图像IMG3x对原来的帧Fi进行校正得到的图像。图26的(c)表示用图24的映入图像IMG3y来对原来的帧Fi进行校正得到的图像。图26的(d)表示用图25的映入图像IMG3z对原来的帧Fi进行校正得到的图像。将用于校正的系数β设为0.75。
由图26的(b)～图26的(d)的比较可知，能够通过利用图像IMG3x及图像IMG3y来很好地除去映入的影响，该图像IMG3x通过在较暗的场景中拍摄的帧来得到，该图像IMG3y通过在完全不同的场景中拍摄的帧来得到。
另外，理想地，优选用在以遮光布来覆盖前照灯的状态下拍摄的帧来生成映入图像IMG3。例如，也可以是，对摄影系统100执行维修模式，并在维修车辆时，向用户或工作车指示以遮光布覆盖前照灯，进行利用照相机110的拍摄，从而生成映入图像IMG3。
图27的(a)～图27的(d)是对除去映入过程中的系数的影响进行说明的图。图27的(a)表示校正前的帧，图27的(b)～图27的(d)表示将系数β设为0.5、0.75、1时的校正后的图像IMG2。当设β＝1时，会成为过校正，从而会过于变暗。相反，当设β＝0.5时，映入的除去会不充分，在β＝0.75时，得到了良好的图像。据此，优选设β＝0.6～0.9左右。
作为提取映入的另一方法，也考虑在相同的场景中使灯闪烁并取得差分的方法。然而，在该另一方法中，针对映像背景整体的投光的有无会发生变化，因此画面整体的亮度会发生变化。因此，仅通过取得差分难以对是映入的有无还是背景亮度的差分进行区别。与此不同，根据本实施方式的方法，能够可靠地检测出有无映入。
关于在实施方式1.1～1.3、实施方式2、实施方式3、实施方式4中说明的技术，任意的组合都是有效的。
(用途)
图28是具备摄影系统的物体识别系统400的框图。物体识别系统400包括摄影系统410和运算处理装置420。摄影系统410为实施方式1.1～1.3中说明的摄影系统100、200、300中的任意一个，生成校正了失真的图像IMG2。
或者，摄影系统410为在实施方式2中说明的摄影系统100，生成恢复了因异物导致的信息缺损的图像IMG2。
或者，摄影系统410为在实施方式3中说明的摄影系统100，生成恢复了因水滴导致的信息缺损的图像IMG2。
或者，摄影系统410为在实施方式4中说明的摄影系统100，生成除去了映入的图像IMG2。
运算处理装置420被构成为能够基于图像IMG2来识别物体的位置及种类(类别、类)。运算处理装置420可以包含分类器422。运算处理装置420能够以CPU(CentralProcessing Unit：中央处理器)或MPU(Micro Processing Unit：微处理器)、微机等处理器(硬件)与处理器(硬件)所执行的软件程序的组合来实现。运算处理装置420也可以为多个处理器的组合。或者也可以是，运算处理装置420仅由硬件构成。
分类器422基于通过机器学习生成的预测模型来实现，对被输入的图像所包含的物体的种类(类别、类)进行判别。分类器422的算法并不被特别地限定，但能够采用YOLO(You Only Look Once：你只需看一次)、SSD(Single Shot MultiBox Detector：单发多框检测)、R-CNN(Region-based Convolutional Neural Network：基于区域的卷积神经网络)、SPPnet(Spatial Pyramid Pooling：空间金字塔池化)、Faster R-CNN、DSSD(Deconvolution-SSD：反卷积单发多框检测)、以及Mask R-CNN等，或者能够采用将来被开发出来的算法。也可以是，运算处理装置420和摄影系统410的图像处理装置120(220、320)安装于相同的处理器。
在具备实施方式1.1～1.3的摄影系统的物体识别系统400中，校正了失真的图像IMG2被输入到分类器422中。因此，在学习分类器422时，能够将无失真的图像用作训练数据。换言之，存在如下这样的优点：即使在摄影系统410的失真特性发生了变化的情况下，也无需重新进行学习。
在具备实施方式2的摄影系统的物体识别系统400中，修复了异物导致的信息缺损后的图像IMG2被输入到分类器422。因此，能够提高物体的识别率。
在具备实施方式3的摄影系统的物体识别系统400中，修复了水滴导致的信息缺损后的图像IMG2被输入到分类器422。因此，能够提高物体的识别率。
在具备实施方式4的摄影系统的物体识别系统400中，除去了映入的图像IMG2被输入到分类器422中。因此，能够提高物体的识别率。
关于物体识别系统400的输出，既可以利用于车辆用灯具的配光控制，也可以发送到车辆侧ECU而利用于自动驾驶控制。
图29是具备摄影系统的显示系统500的框图。显示系统500包括摄影系统510和显示器520。摄影系统510为实施方式1.1～1.3的摄影系统100、200、300中的任意一个，生成校正了失真的图像IMG2。
或者，摄影系统510为实施方式2的摄影系统100，生成修复了异物导致的信息缺损的图像IMG2。
或者，摄影系统510为实施方式3的摄影系统100，生成修复了因水滴导致的信息缺损的图像IMG2。
或者，摄影系统510为实施方式4的摄影系统100，生成除去了映入的图像IMG2。
显示器520显示图像IMG2。显示系统500既可以为数字镜，也可以为用于覆盖死角的前取景监视器或后取景监视器。
虽然基于实施方式，使用具体的语句来对本发明进行了说明，但实施方式仅表示本发明的原理、应用的一个侧面，在实施方式中，在不脱离权利要求书所规定的本发明的思想的范围内，允许对许多变形例或配置进行变更。
[工业可利用性]
本发明涉及摄影系统。
[附图标记说明]
100 摄影系统
110 照相机
120 图像处理装置
122 失真校正执行部
130 校正特性取得部
132 物体检测部
134 追踪部
136 存储器
138 校正特性运算部
200 摄影系统
210 照相机
220 图像处理装置
222 失真校正执行部
230 校正特性取得部
232 基准物体检测部
236 存储器
238 校正特性运算部
300 摄影系统
310 照相机
320 图像处理装置
322 失真校正执行部
330 第1校正特性取得部
340 第2校正特性取得部
400 物体识别系统
410 摄影系统
420 运算处理装置
422 分类器
500 显示系统
510 摄影系统
520 显示器
10 车辆用灯具
12 灯体
14 外透镜

Claims (38)

1.一种车辆用的摄影系统，其特征在于，包括：
照相机，以及
图像处理装置，其对上述照相机的输出图像进行处理；
上述图像处理装置对上述输出图像所包含的物体像进行追踪，基于上述物体像的伴随移动的形状变化来取得用于对上述输出图像的失真进行校正的信息，并用该信息对上述输出图像进行校正。
2.如权利要求1所述的摄影系统，其特征在于，
在上述输出图像中，规定了失真较小的基准区域，并将上述物体像被包含于上述基准区域时的形状作为上述物体像的真实形状。
3.如权利要求2所述的摄影系统，其特征在于，
上述照相机被配置为消失点被包含于上述基准区域的方式。
4.如权利要求1～3的任何一项所述的摄影系统，其特征在于，
上述图像处理装置从上述输出图像中检测出真实形状已知的基准物体的像，并基于真实形状和上述输出图像中的上述基准物体的像的形状来取得用于对上述输出图像的失真进行校正的信息。
5.如权利要求4所述的摄影系统，其特征在于，
上述真实形状已知的物体像包含交通标识。
6.一种车辆用的摄影系统，其特征在于，包括：
照相机，以及
图像处理装置，其对上述照相机的输出图像进行处理；
上述图像处理装置从上述输出图像中检测出真实形状已知的基准物体的像，并基于真实形状和上述输出图像中的上述基准物体的像的形状来取得用于对上述输出图像的失真进行校正的信息，并用该信息对上述输出图像进行校正。
7.如权利要求1～6的任何一项所述的摄影系统，其特征在于，
上述照相机被内置于灯具，并介由外透镜来进行拍摄。
8.一种图像处理装置，其被与照相机一同使用，并构成车辆用的摄影系统；
该图像处理装置的特征在于，
对上述照相机的输出图像所包含的物体像进行追踪，基于上述物体像的伴随移动的形状变化来取得用于对上述输出图像的失真进行校正的信息，并用该信息来对上述输出图像进行校正。
9.一种图像处理装置，其被与照相机一同使用，并构成车辆用的摄影系统；
该图像处理装置的特征在于，
从上述照相机的输出图像中，检测出真实形状已知的物体像，基于真实形状和上述输出图像中的上述物体像的形状来取得用于对上述输出图像的失真进行校正的信息，并用该信息来校正上述输出图像。
10.一种车辆用的摄影系统，其特征在于，包括：
照相机，其以预定的帧率生成照相机图像，以及
图像处理装置，其对上述照相机图像进行处理；
上述图像处理装置在上述照相机图像的当前帧中包含异物时，从过去的帧中搜索出被上述异物遮挡的背景图像，并将上述背景图像粘贴于当前帧的存在上述异物的异物区域。
11.如权利要求10所述的摄影系统，其特征在于，
上述图像处理装置针对上述照相机图像的各帧检测边缘，并将被上述边缘包围的区域作为上述异物区域的候选。
12.如权利要求11所述的摄影系统，其特征在于，
上述图像处理装置在上述异物区域的候选遍及预定数量的帧地停留在实质上相同的位置的情况下，将该候选判定为上述异物区域。
13.如权利要求10所述的摄影系统，其特征在于，
上述图像处理装置针对上述照相机图像的各帧检测边缘，并在隔着N帧的2个帧的相同位置存在同形状的边缘时，将被该边缘包围的范围判定为上述异物区域。
14.如权利要求10～13的任何一项所述的摄影系统，其特征在于，
上述图像处理装置
在当前的帧中，在上述异物区域的附近定义现基准区域，
在上述过去的帧中，检测出与上述现基准区域对应的过去基准区域，
对上述现基准区域与上述过去基准区域的偏置量进行检测，
在上述过去的帧中，将使上述异物区域基于上述偏置量而位移的区域作为上述背景图像。
15.如权利要求14所述的摄影系统，其特征在于，
上述过去基准区域的检测是基于图案匹配的。
16.如权利要求14所述的摄影系统，其特征在于，
上述过去基准区域的检测是基于光流的。
17.如权利要求10所述的摄影系统，其特征在于，
上述图像处理装置
针对上述照相机图像的各帧检测边缘，并在隔着N帧的2个帧的相同位置存在同形状的边缘时，将被该边缘包围的范围判定为上述异物区域，
在上述2个帧中的当前帧中，将现基准区域定义在上述异物区域的附近，
在上述2个帧中的过去帧中，对与上述现基准区域对应的过去基准区域进行检测，
对上述现基准区域与上述过去基准区域的偏置量进行检测，
在上述过去帧中，将基于上述偏置量来使上述异物区域位移的区域作为上述背景图像。
18.如权利要求10所述的摄影系统，其特征在于，
上述图像处理装置通过图案匹配来对上述异物区域进行检测。
19.如权利要求10～18的任何一项所述的摄影系统，其特征在于，
上述异物为雨滴。
20.如权利要求10～19的任何一项所述的摄影系统，其特征在于，
上述照相机被内置于灯具，并介由外透镜来进行拍摄。
21.一种图像处理装置，其被与照相机一同使用，并构成车辆用的摄影系统；
该图像处理装置的特征在于，
在照相机图像的当前帧中包含异物时，从过去的帧中搜索出被上述异物遮挡的背景图像，并将存在上述异物的异物区域置换为上述背景图像。
22.一种车辆用的摄影系统，其特征在于，包括：
照相机，其生成照相机图像，以及
图像处理装置，其对上述照相机图像进行处理；
上述图像处理装置在水滴被摄入到上述照相机图像时，对上述水滴的透镜特性进行运算，并基于该透镜特性来对上述水滴的区域内的像进行校正。
23.如权利要求22所述的摄影系统，其特征在于，
上述图像处理装置将上述照相机图像中的预定的区域内作为像的校正的对象。
24.如权利要求22或23所述的摄影系统，其特征在于，
上述图像处理装置针对上述照相机图像的各帧检测边缘，并将被上述边缘包围的区域作为上述水滴的候选。
25.如权利要求24所述的摄影系统，其特征在于，
上述图像处理装置在上述水滴的候选遍及预定数量的帧地停留在实质上相同的位置的情况下，将该候选判定为上述水滴。
26.如权利要求22或23所述的摄影系统，其特征在于，
上述图像处理装置针对上述照相机图像的各帧检测边缘，并在隔着N帧的2个帧的相同位置存在同形状的边缘时，将被该边缘包围的范围判定为上述水滴。
27.如权利要求22或23所述的摄影系统，其特征在于，
上述图像处理装置通过图案匹配来检测水滴。
28.如权利要求22～27的任何一项所述的摄影系统，其特征在于，
上述照相机被内置于灯具，并介由外透镜来进行拍摄。
29.一种图像处理装置，其被与照相机一同使用，并构成车辆用的摄影系统；
该图像处理装置的特征在于，
在水滴被摄入到上述照相机所生成的照相机图像时，对上述水滴的透镜特性进行运算，并基于该透镜特性来对上述水滴的区域内的像进行校正。
30.一种车辆用的摄影系统，其特征在于，包括：
照相机，其被与灯光源一同内置于车辆用灯具，并以预定的帧率来生成照相机图像，以及
图像处理装置，其对上述照相机图像进行处理；
上述图像处理装置基于多个帧来提取上述灯光源的出射光的映入成分，并将上述映入成分从当前的帧中除去。
31.如权利要求30所述的摄影系统，其特征在于，
上述图像处理装置将被共通地摄入到上述多个帧的明亮的部分作为上述映入成分来提取。
32.如权利要求30或31所述的摄影系统，其特征在于，
上述图像处理装置通过取得上述多个帧的每个像素的逻辑积来生成上述映入成分。
33.如权利要求30～32的任何一项所述的摄影系统，其特征在于，
上述多个帧隔开至少3秒以上。
34.如权利要求30～33的任何一项所述的摄影系统，其特征在于，
上述图像处理装置将根据上述灯光源与上述照相机的位置关系而确定的预定的除外区域从映入成分的提取处理中排除。
35.如权利要求30～34的任何一项所述的摄影系统，其特征在于，
上述多个帧为2帧。
36.如权利要求30～35的任何一项所述的摄影系统，其特征在于，
上述多个帧被在较暗的场景中拍摄。
37.一种车辆用灯具，其特征在于，包括：
灯，以及
如权利要求30～36的任何一项所述的摄影系统。
38.一种图像处理装置，其被与照相机一同使用，并构成车辆用的摄影系统；
该图像处理装置的特征在于，
上述照相机被与灯光源一同内置于车辆用灯具；
上述图像处理装置基于上述照相机所生成的照相机图像的多个帧来提取上述灯光源的出射光的映入成分，并将上述映入成分从当前的帧中除去。
CN202080023852.6A 2019-03-26 2020-03-24 摄影系统及图像处理装置 Active CN113632450B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2019058306 2019-03-26
JP2019-058305 2019-03-26
JP2019058303 2019-03-26
JP2019-058304 2019-03-26
JP2019-058306 2019-03-26
JP2019058305 2019-03-26
JP2019-058303 2019-03-26
JP2019058304 2019-03-26
PCT/JP2020/013063 WO2020196536A1 (ja) 2019-03-26 2020-03-24 撮影システムおよび画像処理装置

Publications (2)

Publication Number Publication Date
CN113632450A true CN113632450A (zh) 2021-11-09
CN113632450B CN113632450B (zh) 2023-07-04

Family

ID=72608416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080023852.6A Active CN113632450B (zh) 2019-03-26 2020-03-24 摄影系统及图像处理装置

Country Status (4)

Country Link
US (1) US20220014674A1 (zh)
JP (1) JP7426987B2 (zh)
CN (1) CN113632450B (zh)
WO (1) WO2020196536A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022152402A (ja) * 2021-03-29 2022-10-12 本田技研工業株式会社 認識装置、車両システム、認識方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101056354A (zh) * 2006-04-14 2007-10-17 佳能株式会社 图像摄取装置及其控制方法、图像处理装置和图像处理方法
CN101142814A (zh) * 2005-03-15 2008-03-12 欧姆龙株式会社 图像处理装置及方法、程序、以及记录介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4397573B2 (ja) 2002-10-02 2010-01-13 本田技研工業株式会社 画像処理装置
JP2010260379A (ja) 2009-04-30 2010-11-18 Koito Mfg Co Ltd 撮像素子を内蔵した車両用灯具
JP5525277B2 (ja) * 2010-02-10 2014-06-18 株式会社小糸製作所 カメラを内蔵した車両用灯具
JP2013164913A (ja) * 2012-02-09 2013-08-22 Koito Mfg Co Ltd 車両用灯具
EP2879370B1 (en) 2012-07-27 2020-09-02 Clarion Co., Ltd. In-vehicle image recognizer
JP5805619B2 (ja) * 2012-12-26 2015-11-04 株式会社日本自動車部品総合研究所 境界線認識装置
JP2015035704A (ja) * 2013-08-08 2015-02-19 株式会社東芝 検出装置、検出方法および検出プログラム
JP6817104B2 (ja) 2016-10-24 2021-01-20 株式会社デンソーテン 付着物検出装置、付着物検出方法
JP6923310B2 (ja) * 2016-11-29 2021-08-18 株式会社小糸製作所 車両用ランプの点灯制御装置
JP2018142828A (ja) * 2017-02-27 2018-09-13 株式会社デンソーテン 付着物検出装置および付着物検出方法
EP3467775A1 (en) * 2017-10-03 2019-04-10 Fujitsu Limited Estimating program, estimating method, and estimating system for camera parameter
US11435479B2 (en) * 2018-08-06 2022-09-06 Luminar, Llc Determining relative velocity based on an expected configuration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101142814A (zh) * 2005-03-15 2008-03-12 欧姆龙株式会社 图像处理装置及方法、程序、以及记录介质
CN101056354A (zh) * 2006-04-14 2007-10-17 佳能株式会社 图像摄取装置及其控制方法、图像处理装置和图像处理方法

Also Published As

Publication number Publication date
JP7426987B2 (ja) 2024-02-02
WO2020196536A1 (ja) 2020-10-01
CN113632450B (zh) 2023-07-04
US20220014674A1 (en) 2022-01-13
JPWO2020196536A1 (zh) 2020-10-01

Similar Documents

Publication Publication Date Title
JP6772113B2 (ja) 付着物検出装置、および、それを備えた車両システム
US10504214B2 (en) System and method for image presentation by a vehicle driver assist module
CN107852465B (zh) 车载环境识别装置
US10380434B2 (en) Vehicle detection system and method
JP6120395B2 (ja) 車載装置
TWI607901B (zh) 影像修補系統及其方法
US7566851B2 (en) Headlight, taillight and streetlight detection
US11676394B2 (en) Processing device for conversion of images
CN109409186B (zh) 用于对象检测和通知的驾驶员辅助系统和方法
US10106126B2 (en) Apparatus and method for detecting precipitation for a motor vehicle
O'malley et al. Vision-based detection and tracking of vehicles to the rear with perspective correction in low-light conditions
JP5501477B2 (ja) 環境推定装置及び車両制御装置
US10922827B2 (en) Distance estimation of vehicle headlights
CN105740835B (zh) 夜视环境下基于车载相机的前方车辆检测方法
JP6413318B2 (ja) 車両検出装置、およびシステム、ならびにプログラム
CN111046741A (zh) 车道线识别的方法和装置
US20220014674A1 (en) Imaging system and image processing apparatus
JP6413319B2 (ja) 車両検出装置、およびシステム、ならびにプログラム
JP5921596B2 (ja) 画像処理装置および画像処理方法
KR20230161708A (ko) 차량 및 그 제어 방법
JP4871941B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant