CN104756487A - 图像处理系统和图像处理方法 - Google Patents

图像处理系统和图像处理方法 Download PDF

Info

Publication number
CN104756487A
CN104756487A CN201380056890.1A CN201380056890A CN104756487A CN 104756487 A CN104756487 A CN 104756487A CN 201380056890 A CN201380056890 A CN 201380056890A CN 104756487 A CN104756487 A CN 104756487A
Authority
CN
China
Prior art keywords
image
video camera
overlapping region
fusion rate
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380056890.1A
Other languages
English (en)
Other versions
CN104756487B (zh
Inventor
坂庭秀纪
内田吉孝
小野崎胜夫
樋口晴彦
中嶋满雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN104756487A publication Critical patent/CN104756487A/zh
Application granted granted Critical
Publication of CN104756487B publication Critical patent/CN104756487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种图像处理系统，容易看清立体物(障碍物)，生成更自然的合成图像。图像检测部(106)从各摄像机(101)的图像中提取图像特征量。图像转换部(105)根据图像特征量计算融合率，合成多个摄像机图像重叠的重叠区域的图像。判定重叠区域中的各图像的图像特征量的相关性，在相关性较弱的情况下，判定为存在立体物。另外，存在各图像的图像特征量在位置上重叠的部分的情况下，判断为立体物存在于重叠区域内。该情况下，将图像特征量大的一方的图像的融合率设定得较大，进行图像合成。

Description

图像处理系统和图像处理方法
技术领域
本发明涉及合成来自多个摄像机的拍摄图像的图像处理系统和图像处理方法。
背景技术
为了帮助车辆驾驶而使用图像处理系统，该图像处理系统通过分别设置于车辆的前方、后方、左右两侧的多个摄像机对车辆的周围进行拍摄，对这些拍摄图像实施视点转换，并通过将各图像接合(连接)起来，形成车辆周围的俯瞰图像进行显示。此时，相邻的摄像机拍摄的区域在其连接处互相重复，但目前，通过按照一定的基准选择显示中要使用的拍摄图像，形成一个俯瞰图像。但是，该方法中，在连接处往往产生不连续性，另外，在连接处附近存在步行者或障碍物的情况下，存在成为难以识别的状况的问题。
作为该问题的对策，专利文献1中公开了一种方法，即，在多个图像重叠的区域，按照一定的规则交替配置像素。另外，专利文献2中公开了一种方法，即，判断在俯视显示图像的连接处部分是否存在障碍物，使成为俯瞰图像的连接处部分的位置变化。另外，在专利文献3中公开了一种方法，即，在两个摄像机的视场图像重叠的区域存在立体物时，对于该立体物的图像，设定合成该区域的由两个摄像机拍摄的视场图像的边界线，以使合成图像中仅留下一方的摄像机拍摄的图像。另外，专利文献4中公开了一种与专利文献3同样的设定边界线的方法、及在由两个摄像机拍摄的视场图像重叠的区域中存在障碍物时，将一方摄像机拍摄的障碍物的图像的合成加权设为1，将另一方摄像机拍摄的障碍物的图像的合成加权设为0，各摄像机拍摄的图像中障碍物以外的部分设为加权0.5，然后将它们合成的方法。
现有技术文献
专利文献
专利文献1：日本特开2002－354468号公报
专利文献2：日本特开2007－41791号公报
专利文献3：WO2010/119734号公报
专利文献4：日本特开2009－289185号公报
发明内容
发明要解决的课题
专利文献1的方法中，由于交替配置有用两个摄像机拍摄的图像的像素，所以存在图像不鲜明或立体物被显示为双重像的课题。另外，在专利文献2的方法中，使连接处部分移动，但存在连接处在拍摄范围的端部时，新形成的连接处的图像替换成为不连续的连接这种课题。在专利文献3及专利文献4的设定边界线的方法中，同样也存在边界线部分的图像的替换变得不连续这种课题。另外，在专利文献4的加权的合成方法中，只公开了对于障碍物的图像部分，用0或1这两个值选择一方摄像机的图像的加权的方法。该方法中，如果障碍物的图像和背景图像的分离处理失败，则会生成非常不自然的合成图像。因此，需要以非常高的精度分离障碍物的图像和背景图像，存在处理量的要求和硬件能力的要求高，系统昂贵这种课题。
另外，还考虑使用一般公知的图像的α信道使两个图像透过的α融合方法，但在仅将两个图像按各50％进行α融合的情况下，存在对比度降低，亮度或色彩较淡，难以看清这种课题。
本发明的目的在于，提供一种通过容易看清立体物(障碍物)地生成更自然的合成图像，对于使用者来说，便于使用的良好的图像处理系统及图像处理方法。
用于解决课题的技术方案
本发明的图像处理系统合成来自多个摄像机的拍摄图像而生成俯瞰图像，其特征在于，包括：图像检测部，其从各摄像机的图像提取图像特征量；图像转换部，其根据所提取的图像特征量计算融合率，合成多个摄像机图像重叠的重叠区域的俯瞰图像，该图像转换部判定所述重叠区域中的各图像的图像特征量的相关性，根据相关性的强弱切换融合的方法进行合成。
所述图像转换部在判定为所述重叠区域中的各图像的相关性较弱的情况下，判定是否存在所述各图像的图像特征量在位置上重叠的部分，根据重叠的部分的有无而切换融合的方法进行合成。而且，在判定为存在所述各图像的图像特征量在位置上重叠的部分的情况下，将所述图像特征量大的一方的图像的融合率设定得较大。
发明效果
根据本发明，可以提供容易看清立体物(障碍物)、生成更自然的合成图像的对于使用者来说便于使用的图像处理系统。
附图说明
图1是表示实施例1的图像处理系统的构成的框图。
图2是用设置于车辆的多个摄像机拍摄同一被摄体的图像的例子。
图3是表示拍摄区域的区域划分和重叠区域的图像合成的例子的图。
图4是重叠区域的图像合成的动作顺序。
图5A是表示图4的S406的融合率的计算方法的图。
图5B是表示图4的S406的融合率的计算方法的图。
图5C是表示图4的S406的融合率的计算方法的图。
图5D是表示图4的S406的融合率的计算方法的图。
图6是表示图4的S404的融合率的设定方法的图。
图7是表示图4的S404的融合率的设定方法的另一例子的图。
图8是表示在重叠区域不存在立体物时的合成图像的例子的图。
图9是表示在重叠区域内存在立体物时的合成图像的例子的图。
图10是表示在重叠区域外存在立体物时的合成图像的例子的图。
图11是表示步行者在重叠区域内移动时的合成图像的例子的图。
图12是说明使用运动矢量信息计算融合率的方法的图。
图13是表示实施例2的图像处理系统的构成的框图。
图14是表示利用车辆信息进行图像合成时的区域划分的图。
图15是对在图14中划分的各区域的危险度进行分类的表。
图16是表示利用了车辆信息的重叠区域中的图像合成的动作顺序。
图17是反映了危险度的俯瞰图像显示例。
图18是说明作为实施例3对摄像机图像分区域进行亮度调节的图。
图19是表示匹配亮度直方图的灰度重心的方法的图。
图20是表示进行被重叠区域夹着的区域的亮度调节的方法的图。
图21是表示在重叠区域内的周围部分的合成方法的图。
图22是说明因年龄产生的亮度对比度的感觉差异的图。
图23是说明融合率的变化量限制的图。
具体实施方式
以下，使用附图对本发明的实施方式进行说明。
(实施例1)
图1是表示实施例1的图像处理系统的构成的方框图。图像处理系统采用以下构成，即，用搭载于车辆的多个(n个)摄像机101拍摄车辆周围的图像，通过图像处理装置100将各摄像机的拍摄图像进行合成，通过监视器109显示车辆的周围的俯瞰图像。在图像处理装置100中，将来自各摄像机101的拍摄图像数据在分别对应的多个译码部102中进行译码处理，经由总线103储存于存储部107。
图像转换部105进行对储存于存储部107的来自各摄像机101的拍摄图像数据的合成处理，生成车辆的周围的俯瞰图像。即，对广角的摄像机图像，进行镜头的失真(畸变)修正处理和透视变换处理，作成每个摄像机的俯瞰图像，进行这些俯瞰图像的剪切、合成、α融合处理，生成车辆的周围整体的俯瞰图像的处理。图像检测部106对拍摄图像数据进行边缘提取、轮廓提取、高斯处理、噪声去除处理、阈值处理等，进行画在道路上的白线或障碍物、步行者等的有无、正在拍摄的面积的大小的检测处理。编码部108进行所生成的俯瞰图像的编码处理，CPU104控制上述各部的动作。
从图像处理装置100输出的俯瞰图像数据由监视器109显示。监视器109的种类不被限定，可以是CRT(Cathode Ray Tube)、LCD(LiquidCrystal Display)、LCOS(Liquid Crystal On Silicon)、OLED(Organiclight-emitting diode)、全息照相光学元件或放映机装置等任意的监视器。另外，可以设置于车内，也可以设置于车外，不只是平面型的监视器，也可以利用HUD(Head－Up Display)、HMD(Head MountedDisplay)等。
这样，在图像处理装置100中，利用通过多个摄像机拍摄的图像，检测障碍物或步行者，按照检测结果将各摄像机图像的俯瞰图像进行合成，以便容易看清图像中影像显示(映照)出的障碍物或步行者，从而生成车辆的全周围的俯瞰图像。
本实施例的图像处理系统采用了包含图像处理装置100和多个摄像机101和监视器109的构成，但也可以是摄像机101和监视器109中的任一方或双方作为外部装置在系统外连接的构成。
另外，本实施例中，对于车辆的周围的俯瞰图像的生成进行了记载，但作为除此以外的用途，也可以适用于将来自多个监视摄像机的拍摄图像进行合成而生成监视对象区域的俯瞰图像的情况。
图2是用设置于车辆的多个摄像机拍摄同一被拍摄体的图像的例子。在车辆200设置有前方摄像机201、左侧摄像机202、后方摄像机203、右侧摄像机204，表示步行者205在车辆200的左斜前方步行的状况。用前方摄像机201拍摄该状况的图像为206，用左侧摄像机202拍摄的图像为207。本例中，各摄像机朝向斜下方，在图像206、207中，影像显示出步行者205的腿的部分205a、205b。
由于拍摄角度不同，因此在用前方摄像机201拍摄的图像206中，拍摄到了在从前方摄像机201伸出的箭头的方向上伸出的腿205a。在通过一方的左侧摄像机202拍摄的图像中，拍摄到了在从左侧摄像机202伸出的箭头的方向上伸出的腿205b。即，拍摄到的是同一被拍摄体即步行者205，但因摄像机的拍摄位置的不同，拍摄到了不同方向的腿205a、205b。这是因被拍摄体即步行者205是立体物而产生的现象。在被拍摄体不是立体物而是画在道路上的平面状的图案的情况下，在图像206和207中，以相同的图案被拍摄，如果位置一致，则重叠。即，从不同的方向拍摄同一被拍摄体时，在两个图像内检测到向不同的方向伸出的物体的情况下，可以判定为存在有立体物。本实施例中利用该性质进行融合处理，使得更容易看清多个摄像机图像的重叠的部分。
图3是表示拍摄区域的区域划分和重叠区域的图像合成的例子的图。将车辆200的周围划分为八个区域300～307。用摄像机201拍摄的区域为300、301、302，用摄像机202拍摄的区域为300、303、305。其它区域相对于摄像机203、204也同样地决定。
首先，对于拍摄图像进行在图像端部产生的镜头失真的修正处理和使放大率根据进深的距离而变化的透视变换。由此，例如，根据图2的图像206，作成涉及图3的各区域300、301、302的俯瞰图像。同样地根据图2的图像207作成涉及图3的各区域300、303、305的俯瞰图像。
该情况下，区域300是摄像机201和摄像机202的图像重叠的区域，以后，称为“重叠区域”。其它区域302、305、307也是两个摄像机图像重叠的重叠区域。如果，地面上没有突起物(立体物)而为平面的情况下，相同的区域的图像为同一图像，重叠在一起。即重叠区域是指在根据多个摄像机图像作成俯瞰图像时，拍摄地面上相同的位置的区域。
显示重叠区域中的图像时，可采用从两个图像中选择任一个进行显示的方法和将两者进行融合处理并合成而进行显示的方法。此时，在重叠区域存在立体物的情况下，如果只选择一方图像进行显示，那么在合成图像的连接处附近图像就会中断，有可能产生未被拍摄的部分(图像消失)。于是，如图3所示，在重叠区域300存在立体物(步行者)的情况下，通过进行融合处理对立体物即步行者的腿205a、205b进行显示。由此，可以避免立体物的图像的一部分消失的情况。
图4是重叠区域中的图像合成的动作排序。作为例子，假定对摄像机1(201)和摄像机2(202)的重叠区域300中的图像进行合成的情况。
在S401中，通过图像检测部106提取摄像机1图像内的重叠区域中的拍摄图像的特征量，检测其中存在的物体。此时，通过基于边缘等较多的部分或拉普拉斯滤波器或Sobel滤波器等进行的轮廓提取、二值化处理、色彩信息、直方图信息或各种图形识别处理等，提取图像特征量。然后，将可提取边缘或轮廓的像素的位置或该边缘的亮度的高低等图像特征量Q1存储于存储部107。作为特征量，也可以利用SIFT(Scale－Invariant Feature Transform：尺度不变特征变换)或HOG(Histograms of Oriented Gradients：方向梯度直方图)等的图像的特征量。另外，也可以将HOG特征量和步行者的形状的特征量组合，区别所能够提取的特征信息是步行者还是物体。而且，根据是步行者还是物体，切换对比度强调处理和危险度显示等的做法，则可以对使用者(驾驶员)提供更便于使用的良好的信息。
在S402中，同样根据摄像机2图像内的重叠区域的拍摄图像的特征量，检测在此存在的物体，将所提取的图像特征量Q2存储于存储部107。
在S403中，判定在S401、S402所提取的像素位置和特征量Q1、Q2的相关性的强弱。即，通过计算判定所检测到的物体的像素位置是一致或集中于某范围内，还是特征量的差在某范围内。这些通过进行统计分析或聚类分析，判定空间上的距离关系或语义距离(semanticdistance)关系的相关性。
在S403中判定为相关性强的情况下(是)，判断为立体物不存在，前进到S404。在S404中，通过某固定的融合率对摄像机1和摄像机2的图像进行合成。该情况下，也可以选择利用摄像机1或摄像机2的任一方的图像，但假使在连接处附近有立体物的情况下，其图像有可能消失。因此，优选采用融合方式。在S404中所合成的俯瞰图像在S410输出到监视器109。
在S403中判定为相关性较弱的情况下(否)，在重叠区域可能存在立体物，前进到S405。在S405中，判定摄像机1和摄像机2的图像特征量Q1、Q2是否有位置上重叠的部分。
在S405中判定为图像特征量有位置上重叠的部分的情况(是)，是指在重叠区域存在立体物的情况(图9中后述)，前进到S406。在S406中，根据从各摄像机能够提取的特征量的值Q1、Q2计算融合率。在S407中，以在S406所计算出的融合率进行重叠区域的图像的合成，在S410将俯瞰图像输出到监视器109。
在S405中判定为图像特征量没有位置上重叠的部分的情况(否)，是指在重叠区域本身没有立体物，在能够提取特征(可以检测到物体)的一方的摄像机图像中，影像显示(映照)有周围存在的立体物(图10中后述)，前进到S408。在S408中选择可以提取到特征(可以检测到物体)的一方的摄像机图像。在S409中，根据在S408所选择的摄像机图像合成俯瞰图像，在S410输出到监视器109。该情况下，为了避免因误检测而在连接处附近的图像的消失，也可以将能够提取到特征的摄像机图像的融合率优先进行融合处理，合成俯瞰图像。
在上述的动作流程中，通过在由多个摄像机拍摄的重叠区域中，提取从不同的方向拍摄的摄像机图像的图像特征量并判定它们的相关性，可以区别画在道路上的平面状的图案和立体物。另外，存在立体物时，判定特征量的位置上的重叠，可以判别立体物是存在于重叠区域内、还是存在于重叠区域外。而且，配合各自的状态，通过使俯瞰图像合成时的融合率变化，得到良好的俯瞰图像。
图5A、图5B、图5C和图5D是表示图4的S406中的融合率的计算方法的图。基于由摄像机1、摄像机2所拍摄的重叠区域的特征量Q1、Q2，计算合成各自的摄像机图像的融合率。横轴表示通过图像检测部106所检测出的各摄像机图像的特征量的比率，纵轴表示各摄像机图像的融合率P1、P2。摄像机图像的特征量的比率按以下方式求得。首先，将对摄像机1图像的特征量Q1进行了规定的运算的结果设为F(Q1)。将同样的对摄像机2图像的特征量Q2进行了规定的运算的结果设为F(Q2)。摄像机1图像的特征量的比率计算为：F(Q1)/(F(Q1)+F(Q2))。同样，摄像机2图像的特征量的比率计算为：F(Q2)/(F(Q1)+F(Q2))。对于规定的运算F，在以后的图5A的说明中详细地进行说明。
图5A的情况，融合率的计算式相对于特征量的比率为斜率1的图形。因此，摄像机1图像的融合率P1和摄像机2图像的融合率P2通过用
P1＝F(Q1)/(F(Q1)+F(Q2))
P2＝F(Q2)/(F(Q1)+F(Q2))
求得。
在此，关于规定的运算F，可以进行各种运算。图5A的例子中，对于存在立体物的可能性高的图像，对运算结果的值增大的情况进行说明。例如，进行对在重叠区域内具有规定的阈值以上的图像特征量的像素数进行计数这样的运算。该情况下，可以将摄像机1图像或摄像机2图像各自的重叠区域内的立体物的图像占据的大小作为可改变融合率的要素。另外，也可以进行计算摄像机1图像或摄像机2图像的重叠区域内的像素的图像特征量的总和、平均、加权平均、重心、中心值等的运算。该情况下，不仅重叠区域内的立体物的图像占据的大小，而且特征量的值的大小也可以作为可改变融合率的要素。或者，也可以对每个像素决定融合率。该情况下，作为F(Q1)使用对象像素中的Q1其自身，作为F(Q2)，也可以使用对象像素中的Q2其自身。在图5A的情况下，比较F(Q1)和F(Q2)，其值大的一方的图像的融合率被设定为较大。
图5B的情况与图5A同样，也是使用对摄像机1图像的特征量Q1进行了规定的运算的结果F(Q1)、和对摄像机2图像的特征量Q2进行了规定的运算的结果F(Q2)，计算摄像机1图像的融合率P1、摄像机2图像的融合率P2的例子。图5B与图5A同样，是使融合率特征量的比率连续变化的图，但在“特征量的比率”接近于0.5的部分，使融合率的变化的斜率比图5A大。通过这种融合率的计算方法，在“特征量的比率”变化时，可以一边平稳地切换融合率，一边进一步强调有特征的图像(有立体物的可能性高的图像)的对比度。由此，具有使用者更易识别有立体物的可能性较高的图像的效果。
另外，图5C的情况也与图5A同样，是使用对摄像机1图像的特征量Q1进行了规定的运算的结果F(Q1)、和对摄像机2图像的特征量Q2进行了规定的运算的结果F(Q2)，计算摄像机1图像的融合率P1、摄像机2图像的融合率P2的例子。图5C也是使融合率特征量的比率连续地变化的例子。但是，图5C中“特征量的比率”成为规定的大小以上的情况下，将该摄像机的图像的融合率设为1，“特征量的比率”成为规定的大小以下的情况下，将该摄像机的图像的融合率设为0。通过这种融合率的计算方法，“特征量的比率”变化时，可以一边平稳地切换融合率，一边进一步强调有特征的图像(有立体物的可能性高的图像)的对比度。具有使用者更易识别有立体物的可能性较高的图像的效果。
另外，图5B和图5C中利用了线性图形，如果利用与视觉特性匹配的LOG曲线的图形，可以形成更容易看清的显示。
另外，图5D是在“特征量的比率”变化时，以阶梯切换的方式设定融合率的情况。该情况下，切换等级的数越多，融合率的切换越平稳。图5D的例子中，虽然与使图5A的直线变更为阶梯状的折线接近，但如果使各切换中的融合率的变化量具有差，也可作为与图5B接近的折线、与图5C接近的折线的特性。如以上说明，即使像根据“特征量的比率”的变化阶梯状地切换融合率那样的、融合率的变化相对于“特征量的比率”的变化不连续，也能够作为本发明的一实施方式。
另外，在图5A、图5B、图5C、图5D中的任一图中，对具有立体物的可能性高的图像，均说明了运算结果的值增大的情况，但也可以是有立体物的可能性越高的图像，运算结果的值越减小的运算F。该情况下，将图5A、图5B、图5C、图5D的图从向右上角上升(增加)适当变更为向右下角下降(减少)即可，该情况也可作为本发明的一实施方式。
这样，在图5A、图5B、图5C、图5D的例子中，与专利文献4中公开的方法不同，对于立体物部分的图像，融合率也可以设定为1和0以外的多个值。由此，立体物部分可以根据有立体物的可能性的高低，更自然地进行合成。
另外，融合率按重叠区域整体或像素单位进行计算，用于在重叠区域整体或像素单位中的合成处理。因此，也可以防止在重叠区域内产生专利文献3和专利文献4中公开的边界线那样的不自然的图像的接合部分，能够生成更自然的合成图像。
图6是表示图4的S404中的融合率的设定方法的图。其目的是防止因图像检测部106的误检测，在连接处附近的物体消失的情况，是按每个像素设定某固定的融合率并进行合成的方法。因此，也可适用于S409的处理。
在图6中，以左斜前的重叠区域300为例进行说明。将重叠区域300划分为扇状，在各划分区域a1～a7的每一个，固定设定前方摄像机201的图像的融合率P1、左侧摄像机202的图像的融合率P2的融合率。例如，在区域a1，由于最接近前方摄像机201侧，所以摄像机201的图像的融合率P1＝0.9，摄像机202的图像的融合率P2＝0.1。在与之相邻的区域a2，P1＝0.8，P2＝0.2。相反，在区域a7，由于最接近左侧摄像机202侧，所以P1＝0.1，P2＝0.9。这样，以越接近摄像机201越优先摄像机201的图像，越接近摄像机202越优先摄像机202的图像的方式设定的融合率。由此，强调各划分区域中来自近的摄像机的图像地进行融合，所以可作成更容易看清的图像。另外，在各划分区域中，也可以根据各摄像机图像的特征量，调节融合率。
图7是表示图4的S404中的融合率的设定方法的另一例子的图。将从重叠区域300内的某像素位置C至设置于车辆200的摄像机201和摄像机202的距离设为d1、d2。然后，根据距离d1、d2之比，设定固定的融合率。即，在处于接近摄像机201的距离的像素位置(即d1＜d2)，较高地设定摄像机201的图像的融合率。例如，按下述式分配摄像机201的图像的融合率P1和摄像机202的图像的融合率P2。
P1＝d2/(d1+d2)
P2＝d1/(d1+d2)
但是，在过于接近摄像机的位置，因焦点偏移或失真增大的可能性高，所以优选修正融合率，使距离较远的一方的摄像机优先。即，在将接近限界阈值设为dth(其中，d1最小值≦dth≦d1最大值)时，在d1＜d2且d1＜dth的位置进行修正，以使近的摄像机201图像的融合率P1降低。例如，替换上述设定的融合率P1、P2，分配为：
P1＝d1/(d1+d2)
P2＝d2/(d1+d2)
由此，具有减轻了在距摄像机过近的位置产生的焦点偏移或失真进行显示的效果。
图8是表示在重叠区域不存在立体物时的合成图像的例子的图。在图4的S403的判定中，是两个摄像机图像的图像特征量的相关性较强的情况。在摄像机1和摄像机2的重叠区域中，在摄像机1的图像801中，影像显示出由摄像机1拍摄的道路或在停车场等中平面状地画出的白线803。在摄像机2的图像802中，影像显示出由摄像机2拍摄的道路或在停车场等中画出的白线804。由于拍摄同一重叠区域，因此如果在该区域不存在立体物，则为相同的图像。该情况下，进行S404的处理，以固定的融合率合成来自两个摄像机的图像801、802，或选择一方的图像合成俯瞰图像。其结果是，生成影像显示出一个白线806的合成图像805。
图9是表示在重叠区域内存在立体物时的合成图像的例子的图。在图4的S403的判定中，是两个摄像机图像的图像特征量的相关性较弱的情况。在摄像机1和摄像机2的重叠区域中，在摄像机1的图像901中，影像显示出由摄像机1拍摄的步行者的腿903。在摄像机2的图像902中，影像显示出由摄像机2拍摄的步行者的腿904。虽然拍摄同一重叠区域，但由于在该区域内存在立体物即步行者，因此步行者的腿903、904向不同的方向伸出。
另外，在图4的S405的判定中，由于两者的图像特征量存在位置上重叠的部分908，所以立体物存在于重叠区域内。该情况下，进行S406的处理，计算摄像机1的图像901和摄像机2的图像902的融合率，在S407中按该融合率合成图像。其结果是，生成步行者的腿906、907按照各自的融合率被合成的图像905。
图10是表示在重叠区域外存在立体物时的合成图像的例子的图。在图4的S403的判定中，是两个摄像机图像的图像特征量的相关性较弱的情况。在摄像机1和摄像机2的重叠区域中，在摄像机1的图像1001中影像显示(映照)出由摄像机1拍摄的步行者的腿1003。在摄像机2的图像1002中，影像显示出由摄像机2拍摄的图像，不存在对应于步行者的腿的立体物。这是在重叠区域内什么都不存在，但在摄像机1附近存在步行者(立体物)，步行者在摄像机1的图像1001中作为物体1003映照出的图像。另一方面，由于在摄像机2的图像1002附近什么都不存在，因此没有任何影像显示。
另外，在图4的S405的判定中，由于两者的图像特征量不存在位置上重叠的部分，所以判断为立体物存在于重叠区域外。该情况下，进行S408的处理，选择影像显示出物体1003的摄像机1的图像1001，在S409中，优先摄像机1的图像1001而合成图像。其结果是，生成由摄像机1拍摄的步行者的腿1005存在的合成图像1004。
图11是表示步行者在重叠区域内移动时的合成图像的例子的图。步行者在摄像机1和摄像机2的重叠区域1100处从左侧向右方向步行的情况，以时间顺序排列重叠区域1100中的步行者的合成图像。图像合成时，按照图4的S406，根据图像特征量设定融合率。
在时刻t1，合成由摄像机1拍摄的步行者的腿1101和由摄像机2拍摄的步行者的腿1102，但根据图像特征量(例如，腿的影像显示面积)决定它们的融合率，按照摄像机1侧以P1＝0.8、摄像机2侧以P2＝0.2进行合成。这样，通过设定融合率，影像显示出步行者的腿的面积较大的一侧、即由摄像机1拍摄的腿1101被清楚地显示。
在时刻t2，由摄像机1拍摄的腿1103和由摄像机2拍摄的腿1104的图像特征量(面积)为同程度，融合率均相等，以P1＝P2＝0.5进行合成。
在时刻t3，由摄像机2拍摄的腿1106的图像特征量一方比由摄像机1拍摄的腿1105稍大，按照融合率为摄像机1侧以P1＝0.3、摄像机2侧以P2＝0.7进行合成。
在时刻t4，由摄像机2拍摄的腿1108的图像特征量一方比由摄像机1拍摄的腿1107大得多，按照融合率为摄像机1侧以P1＝0.1、摄像机2侧以P2＝0.9进行合成。其结果是，由较大地影像显示出腿的面积的摄像机2拍摄的腿1108被清楚地显示。
这样，在由两个摄像机拍摄同一物体时，根据图像特征量的相对的比率设定融合率，由此能够生成将面积更大地影像显示出的一方的图像的对比度提高的图像。
在上述的例子中，在时刻t2，由于图像特征量为同程度，因此虽然设定融合率相等，即，P1＝P2＝0.5，但这时双方的亮度会变淡，有可能难以视认。于是，考虑滞后现象，也可以进行在一时刻前优先显示融合率高的图像的处理。具体而言，在图11的例子中，在时刻t2的一时刻前的时刻t1，P1这一方融合率大。因此，在图像特征量为同程度的时刻t2的处理中，优先P1，进行对于所检测出的图像特征量加上规定的比率或值、或者乘以规定的比率或值的处理。由此，例如，将融合率设为P1＝0.6、P2＝0.4等，可以使摄像机1的映像容易看清。另外，此时，也可以根据之前的运动预测下一时刻的运动，设定P1＝0.4，P2＝0.6。如该方法，在用摄像机1和摄像机2检测出同程度的图像特微量的情况下，根据时间顺序的特征量的变化进行融合，以避免两个映像的融合率相等的状况(P1＝P2＝0.5)，由此，可以减少双方的图像变淡而难以视认的现象。
图12是说明使用运动矢量信息计算融合率的方法的图。即，在图4的S401、S402中，为了检测图像特征量，利用光流的运动矢量信息，据此计算出重叠区域的融合率并合成图像。利用多个祯的运动矢量作为图像特征量，根据运动矢量的总和之比计算融合率。
具体而言，计算摄像机1的图像1201内的运动矢量1203的总和ΣCam1、摄像机2的图像1202内的运动矢量1204的总和ΣCam2。然后，将摄像机1的融合率P1和摄像机2的融合率P2按照
P1＝ΣCam1/(ΣCam1+ΣCam2)
P2＝ΣCam2/(ΣCam1+ΣCam2)
进行计算。即，将运动大的一方的摄像机图像的融合率较大地设定。按这些融合率生成包含运动物体1206、1207的合成图像1205。根据该方法，可生成在重叠区域内运动越大越清楚和提高了对比度的图像。
(实施例2)
图13是表示实施例2的图像处理系统的构成的框图。实施例2中，相对于实施例1(图1)的构成，追加了车辆信息取得部1300。车辆信息取得部1300经由CAN(Controller Area Network：控制器局域网)或Flex Ray(车上网络协议标准)等，从应用该图像处理系统的车辆取得车辆控制信息。车辆控制信息是车辆的行进方向或方向盘的角度或车速、前灯或危险提示灯(hazard lamp)、刮水器的On/Off(开/关)、方向指示器的方向等信息，图像处理系统利用这些车辆信息，进行考虑了危险度的图像处理。
图14是表示利用车辆信息进行图像合成时的区域划分的图。特别是在重叠区域中进行图像合成的情况下，根据危险度进行区域划分。在此，将重叠区域300、302、305、307划分为四个危险度类别，将重叠区域300划分为A1～A4，将重叠区域302划分为B1～B4，将重叠区域303划分为C1～C4，将重叠区域304划分为D1～D4。
图15是在图14中划分出的各区域的危险度分类表。将车辆信息(行进方向、方向盘的方向、速度)表示为参数，以(大)、(中)、(小)表示各划分区域的危险度。在各划分区域中，根据危险度变更图像的合成和显示。
对于本实施例的危险度分类，使用了两个速度的阈值。第一阈值X比第二阈值S大。车辆的速度在第一阈值X以上的情况下，判定为作为停车动作的速度是危险的速度。该情况下，通过将车辆周围的全区域显示为危险区域，可以促使给予驾驶员警告。在车辆的速度比第一阈值X小的情况下，使用图15进行各区域的危险度的分类。
例如，驾驶员欲将方向盘向左转向前进的情况下，速度V比第二阈值S大时(V＞S)，左前方的区域A1～A4为危险度(大)。在右前方，在区域B1、B3的步行者由于具有朝向左突然出现(跑出去)的可能性，所以为危险度(中)，另外，后方的区域C2、D1由于会有车辆的构造上的卷入或碰撞，所以为危险度(中)。除此以外的区域B2、B4、C1、D2因距离远，所以为危险度(小)。这样，与车辆信息相匹配地进行危险度的分类。这些因车的形状或稍微转弯的范围、初速度等车种不同而不同，根据各种车辆进行设定。合成俯瞰图像时，容易看清障碍物时，使用各区域的危险度信息进行合成，由此，可以提供对驾驶员来说更容易看清的显示方法。
作为其它车辆信息的利用，可以进行如下的设定。本车在使危险提示灯为On(开)并停止时，警戒从后方靠近而来的车辆，以提高区域C2、C4、D1、D3等的危险度。在驾驶员有效应用方向指示器的情况下，提高方向指示器的方向的行进方向的区域和其后方区域的危险度。前灯为On时，进一步提高行进方向的区域的危险度。在前灯为On的状态下，也可以使灯向上或向下改变显示的方式。例如，如果灯是向上的，由于是在更暗的地方行驶中且视野也窄，因此不仅要提高前方危险度，而且要提高注意力容易松懈的左右区域的危险度。使刮水器为On时，有可能视野变差，所以要提高行进方向的区域的危险度。
图16是利用车辆信息的重叠区域中的图像合成的动作流程。作成俯瞰图像的顺序以图4的动作流程为基础，对追加的工序进行说明。
在S1601，进行车辆信息和图15的危险度信息的读入。
在S1602，将车辆的速度V与阈值X进行比较。车辆的速度比第一阈值X大的情况下，前进到S1603，对于从图15读出的危险度信息，将整个区域重新设定为危险区域(大)。由此，对全部的区域显示为危险。
在S1604，基于图15的危险度信息或在S1603中被改写的危险度信息，对每个显示区域组合与其危险度对应的显示方式，输出所合成的俯瞰图像。此时，由于越是有立体物的区域，融合率越增大，所以通过确认重叠区域中的各摄像机图像的融合率，可以判别立体物(障碍物)存在的可能性。即，在危险度大且融合率大的重叠区域，可以判定为危险性更高。
图17是反映危险度的俯瞰图像显示例。在图16的S1604中，图像转换部105根据在重叠区域300内所检测的立体物(障碍物)1700的特征量使融合率变化，提高障碍物的对比度进行显示。另外，根据图15的危险度信息或在S1603中被改写的危险度信息，对于危险度设为大的区域1701～1704，进行将区域内涂满(全面涂抹)或者在边缘着色的处理。在将区域涂满时，参照在图4的S401或S402所提取的图像特征量中的颜色信息，使用与所提取的颜色信息不同的色相的颜色，从而提高看上去的对比度。另外，在融合率小的摄像机图像中重叠带有颜色的层后，将融合率大的摄像机图像重叠，则可以使有可能影像显示出障碍物的摄像机图像的对比度不那么降低地进行合成。
另外，对于危险性高的区域，即融合率大危险度也大的重叠区域，图像转换部105实施物体的边缘强调和强调对比度这样的图像处理，以使物体能够以更显眼、更清楚识别的方式进行显示。对于在S401、S402中所提取的边缘或轮廓等图像特征部分，通过用显眼的颜色涂满或进行镶边等的处理，能够进一步强调危险性。另外，作为该危险度信息的另外的利用方式，也可以在图15的危险度低的区域或未设定危险度的区域显示使用文字的附加信息等。
(实施例3)
如上述实施例1、2所述，在重叠区域即使调整融合率，如果各摄像机的明亮度有很大不同，则亮度高的摄像机图像优先、容易看清地被合成，有时得不到想要的效果。另外，如果在矩形的重叠区域进行图像的融合处理，由于融合率，有时矩形的边界部分形成断开处而比较显眼。另外，因驾驶员的年龄不同，在亮度对比度的感觉上产生不同。在此，实施例3中表示修正多个摄像机的亮度的方法、重叠区域的边界部的修正、对比度的调节方法。
图18是说明将摄像机图像进行区域划分并进行亮度调节的图。此时，图像检测部106进行亮度直方图计算或灰度重心计算，将其作为图像特征量，图像转换部105根据检测结果实施灰度调节等的画质调节处理。
将设置于车辆200的摄像机201、202、203、204的俯瞰图像分别划分为三个部分，对于摄像机201，划分为部分图像E1～E3，对于摄像机202，划分为部分图像F1～F3，对于摄像机203，划分为部分图像G1～G3，对于摄像机204，划分为部分图像Hl～H3。其中，在重叠区域1800，摄像机201的部分图像E1与摄像机202的部分图像F1相对应。同样地，在重叠区域1801，摄像机201的部分图像E3与摄像机204的部分图像H1相对应，在重叠区域1802，摄像机202的部分图像F3和摄像机203的部分图像G1相对应，在重叠区域1803，摄像机203的部分图像G3和摄像机204的部分图像H3相对应。另外，分别用1811、1812表示重叠区域1800的部分图像E1和部分图像F1的亮度直方图。
在此，用不同的摄像机拍摄同一区域时，有时产生亮度差。例如，在车辆200的右侧方向(摄像机204侧)有太阳时，用相反侧的摄像机202拍摄车辆的影子，部分图像F2会比其它图像暗。另外，摄像机202的图像F1～F3受到摄像机的白平衡调节、图像F2的亮度等影响，图像F1、F3会比拍摄相同区域的其它摄像机图像E1、G1更暗。
该情况下，计算出重叠区域1800即图像E1和F1各自的亮度直方图1811、1812，使其灰度重心相匹配，由此，在一定程度上能够使看上去的明亮度相匹配。使亮度直方图的灰度重心匹配的方法，利用图19进行说明。这样进行多个摄像机图像明亮度调节的方法，是多种多样的。
例如，首先，对于四个部位的重叠区域1800～1803，计算出对应的两个图像的亮度直方图，进行亮度调节，以使其灰度重心相匹配。其后，对被重叠区域夹着的中间图像E2、F2、G2、H2进行亮度调节，以使各重叠区域中的调节结果以渐变方式连接。例如，在中间图像F2中，在接近区域1800的位置，设定为与区域1800的调节结果接近的值，在接近区域1802的位置，设定为与区域1802的调节结果接近的值。由此，实现平滑的亮度灰度。
或者，也可以对前侧图像E2和后侧图像G2进行亮度调节，以使它们的亮度直方图的灰度重心相匹配，以与其调节结果相配合的方式进行各重叠区域的图像的亮度调节。并且，对于中间图像F2、H2进行亮度调节，以使各重叠区域的调节结果以渐变方式连接。
它们的调节顺序也可以根据各图像的亮度直方图进行切换。例如，在图像E2和图像F2的亮度差比规定的阈值大的情况下，先进行E2和F2的亮度调节之后，然后进行其它图像的调节。通过像这样根据状况切换调节顺序，单纯地依次调节相邻的图像，结果可以避免相邻图像间的亮度差扩大需再次调节的情况。
本例中将各摄像机的俯瞰图像划分为三个，但也可以不划分，而是计算各摄像机的图像全体的直方图分布加以利用。例如，也可以计算摄像机201的图像E1～E3全体的亮度直方图、摄像机202的图像F1～F3全体的亮度直方图，通过使其灰度重心相匹配，进行图像E1～E3、F1～F3的亮度调节。
本例中根据亮度直方图的分布推定其图像的明亮度，但也可以利用图像的平均亮度或最大、最小亮度等。利用图像的平均亮度时，虽然未趋向于精细的控制，但可以减轻处理负荷。另外，对亮度调节进行了说明，但也可以是使YCbCr信号的Y、Cb、Cr值各自的平均或重心相匹配；调节RGB信号各自的灰度分布；调节在HSV色空间中各要素的灰度分布使其相匹配。由于不仅利用亮度而且也利用颜色信息，从而也可以修正多个摄像机的颜色偏差。
图19是表示使亮度直方图的灰度重心相匹配的方法的图。例如，在图18的重叠区域1800中，通过使摄像机202的图像F1的灰度重心与摄像机201的图像E1的灰度重心相匹配(一致)，进行重叠区域1800的亮度调节。对其它重叠区域也同样。
在图19的左侧，表示图像E1的亮度直方图1811和图像F1的亮度直方图1812，用▲记号表示各自的灰度重心。两者的灰度重心仅偏离亮度差h。右侧的图形1900表示输出亮度相对于输入亮度的变换式，设定为折线状的实线。虚线是倾斜度1的直线，是输入和输出相等的情况。使用该变换式，进行图像F1的灰度重心的调节。
为了使图像F1的直方图1812的灰度重心与图像E1的直方图1811的灰度重心相匹配，将直方图1812的灰度重心向左方向偏移修正量h即可。该操作是在输入输出图形上，进行相对于直方图1812的灰度重心的输入亮度使输出亮度减少修正量h的变换。如果仅使一点的亮度减少，则会成为不自然的图像，因此在本例中，进行包含其周边连续地使亮度减少的调节。由此，具有图像F1的直方图1812的灰度重心附近的亮度的像素组被变换为亮度减小了h的像素组，能够使其与图像E1的直方图1811的灰度重心一致。即，能够使图像F1的看上去的明亮度接近于图像E1的明亮度。
图20是表示进行被重叠区域夹着的区域的亮度调节的方法的图。在此，以摄像机202的俯瞰图像F1～F3为例进行说明。
首先，对于重叠区域1800，如图19所述，计算图像E1和图像F1的亮度直方图，使用输入输出图形2001修正两者的灰度重心的差h1。由此，得到亮度调节后的图像F1′。同样，对于重叠区域1802，也计算图像F3和图像G1的亮度直方图，使用输入输出图形2003修正两者的灰度重心的差h3。由此，得到亮度调节后的图像F3′。在该例中，表示图像F1和图像F3的修正方向为相反方向的情况，两者的输入输出图形2001、2003的变换式在上下方向也相反。
接着，进行被两个重叠区域1800、1802的调节后的图像F1′、F3′夹着的图像F2的亮度调节。选定从图像F2的前侧朝向后侧的方向为坐标轴z。在前端的z＝0的位置，基于输入输出图形2001进行亮度调节，在后端的z＝Zmax的位置，基于输入输出图形2003进行亮度调节。在中途的位置z，基于将输入输出图形2001和2003根据位置z融合后的输入输出图形2002进行亮度调节，以使在z＝0～Zmax之间成为平滑的渐变(gradation、层次)。
具体而言，如果将图像F1的灰度重心设为X1、修正量设为h1，将图像F3的灰度重心设为X3、修正量设为h3，在位置z的灰度重心Xz和输出修正量hz，通过按
Xz＝X1+(X3－X1)×z/Zmax
Hz＝h1+(h3－h1)×z/Zmax
提供，实施图像F2的亮度调节。
由此，对于摄像机202的俯瞰图像F1～F3，可以以自然的灰度进行没有不协调感的亮度调节。在被重叠区域夹着的其它中间图像E2、G2、H2中，也实施同样的处理。由此，在重叠区域中的亮度修正的基础上，对于其间的区域进行连续地修正，进行四个摄像机的全部图像的亮度修正。
图21是表示重叠区域内的周围部分中的合成方法的图。如果在矩形的重叠区域进行图像的融合处理，则有时因融合率不同，矩形的边界部分形成断开处，比较显眼。因此，重叠区域的中央部以前述的融合率进行合成处理，但对于重叠区域内的周围部分，附加斜率(梯度)进行合成，以使与重叠区域相邻的区域的图像平滑地连接。作为例子，举出图18的重叠区域1800内的两个周围部分2101、2102进行说明。
重叠区域1800内的上侧的周围部分2101，距图18的前摄像机201的距离近，并且与部分图像E2的关联较强。因此，其合成比率由规定的融合率带斜率(梯度)地减少，以使其在合成比率成为0的边界位置与摄像机201的部分图像E1相连。
另一方面，重叠区域1800内的左侧的周围部分2102距侧摄像机202的距离近，并且与部分图像F2的关联强。因此，其合成比率由规定的融合率带斜率(梯度)地减少，以使其在合成比率成为0的边界位置与摄像机202的部分图像F1相连。
通过这样进行合成，重叠区域1800在相邻的图像E2和图像F2的连接处没有断开处，看上去比较自然。另外，如图18所示，不仅是在重叠区域1800中图像E1和F1重叠的情况，而且一部分重叠的情况下也可以将其周围平滑地进行合成。
图22是说明年龄造成的亮度对比度的感觉不同的图。观察图形2200时，20几岁的人会明显感觉到“C”文字和周围的对比度如对比度2201那样较大，但70几岁的人不太感觉到“C”的文字和周围的对比度，如对比度2202那样，这种实验结果在人体工程学的领域有所报告(无障碍设计(Accessible design)技术的标准化(产总研)：非专利文献)。考虑到该结果，在反映使用者(驾驶员)的年龄的情况下决定重叠区域的融合率。另外，驾驶员的年龄信息保持于存储部107。而且，年龄越高，即使重叠区域的各图像特征量少也优先将较大的一方进行提高合成率那样的处理。
例如，驾驶员年轻的情况下，用图5A的斜率的计算式决定融合率。另一方面，驾驶员是高龄者的情况下，如图5B，使用增大了斜率的计算式决定融合率。由此，如果某程度物体检测的比率增加，则进行使其图像的融合率急剧增大的处理，以提高对比度。另外，根据年龄也可以利用图像转换部105进行切换对比度强调处理的强度的处理。
对于本实施例中的融合处理，也可以对每一像素位置计算图像特征量Q1、Q2，对每一像素位置计算出融合率P1、P2。另外，也可以以重叠区域整体计算Q1、Q2，将基于此计算出的P1、P2设定为一样的融合率加以利用进行合成。另外，对于合成结果，既可以在实施进一步强调对比度而显示的处理后进行合成，也可以在合成后实施对比度强调处理。另外，作为侧摄像机202、204，也可以利用将车辆侧视镜数字化的数字镜，生成俯瞰图像。
在以上说明的各实施例的融合处理中，进一步对限制融合率的时间变化进行陈述。
图23是说明融合率的变化量限制的图。纵轴是两个摄像机图像中的一方的融合率(P1或P2)，横轴是时间。横轴的时间将1刻度设定为1帧期间，用帧期间数量来表现。
首先，说明对每一帧在各实施例中说明了的融合率的计算结果的例子。图23的虚线表示直至第二帧为0.8的融合率，通过融合率的计算，到第三帧变为0.5，到第五帧再回到0.8，到第六帧再变为0.5这样的例子。这样，如果对每一帧保持原样应用在各实施例中说明了的融合率的计算方法，例如，第二帧和第三帧的融合率的变化非常剧烈。另外，第五帧和第六帧的变化也剧烈，因噪声也会产生这种状况。其结果是，合成映像的闪烁有可能对使用者带来不快感。
为了改善这种不舒适感，根据紧接融合率的计算处理之前的结果，将其与下一个计算处理的结果的差量(变化量)限制在规定的范围。用图23的实线表示应用该方法时的例子，图中的d是变化的限制量。该例中，将限制量d设定为紧接之前的融合率的10％。即1帧期间的融合率的变化被限制在紧接之前的融合率的10％以内。例如，通过在各实施例中说明的计算方法通常算出的融合率，比紧接之前算出的融合率的90％小的情况，将紧接之前所算出的融合率的90％作为新的融合率的计算结果。同样，通常算出的融合率比紧接之前算出的融合率的110％大的情况，将紧接之前算出的融合率的110％作为新的融合率的计算结果。由此，如果观察从图23的第二帧至第九帧的变化过程可知，能够实现平稳、自然的融合率变化。
通过使用该方法，减少了融合率的急剧的变化，可以减少或防止使用者感到的合成映像的闪烁感。另外，在图23的例子中，对每一帧计算融合率，但也可以是对每一场计算融合率，关于规定数帧，也可以是称为一次的频度。
符号说明
100：图像处理装置、
101：n个摄像机、
102：译码部、
103：总线、
104：CPU、
105：图像转换部、
106：图像检测部、
107：存储部、
108：编码部、
109：监视器、
200：车辆、
201：前方摄像机、
202：左侧摄像机、
203：后方摄像机、
204：右侧摄像机、
205；步行者、
300、302、305、307：重叠区域、
1300：车辆信息取得部。

Claims (15)

1.一种图像处理系统，包括合成对多个摄像机的拍摄图像进行视点转换而得的俯瞰图像的图像转换部，该图像处理系统的特征在于：
包括图像检测部，其从所述多个摄像机的各拍摄图像中提取图像特征量，
所述图像转换部对于由所述多个摄像机重复拍摄的重叠区域，根据由所述图像检测部所提取的图像特征量，按所述重叠区域的整体或像素单位设定融合率，将与所述重叠区域相对应的俯瞰图像按所述融合率进行合成，并且根据所述重叠区域的各俯瞰图像的图像特征量的相关性变更融合率的设定方法进行合成。
2.根据权利要求1所述的图像处理系统，其特征在于：
所述图像转换部在判定为所述重叠区域的各图像的相关性较弱的情况下，判定是否存在所述各图像的图像特征量在位置上重叠的部分，根据重叠部分的有无，切换融合的方法进行合成。
3.根据权利要求2所述的图像处理系统，其特征在于：
所述图像转换部在判定为存在所述各图像的图像特征量在位置上重叠的部分的情况下，将所述图像特征量较大的一方的图像的融合率设定得较大。
4.根据权利要求2所述的图像处理系统，其特征在于：
所述图像转换部在判定为不存在所述各图像的图像特征量在位置上重叠的部分的情况下，选择所述图像特征量较大的一方的图像进行合成。
5.根据权利要求1所述的图像处理系统，其特征在于：
所述图像转换部在判定为所述重叠区域的各图像的相关性较强的情况下，根据从各所述摄像机到所述重叠区域的距离设定融合率。
6.根据权利要求1所述的图像处理系统，其特征在于：
所述图像检测部检测各摄像机图像内的运动矢量作为所述图像特征量，
所述图像转换部根据所述重叠区域中的各图像的运动矢量设定融合率。
7.一种图像处理系统，合成来自多个摄像机的拍摄图像，生成俯瞰图像，该图像处理系统的特征在于，包括：
从各摄像机的图像中提取图像特征量的图像检测部；
图像转换部，其根据所提取的图像特征量计算融合率，合成多个摄像机图像重叠的重叠区域的俯瞰图像；和
车辆信息取得部，其取得表示应用该图像处理系统的车辆的行驶状态的车辆控制信息，
该图像转换部根据所取得的所述车辆控制信息设定所述重叠区域内的危险度，组合与危险度对应的显示方式，输出所合成的所述俯瞰图像。
8.根据权利要求7所述的图像处理系统，其特征在于：
作为所述车辆控制信息，包括车辆的行进方向、方向盘的角度、车速中的任一项，
所述图像转换部在设定为危险度较高的区域提高显示的图像的对比度进行合成。
9.根据权利要求1所述的图像处理系统，其特征在于：
所述图像检测部计算各摄像机图像的亮度直方图和灰度重心，作为所述图像特征量，
所述图像转换部根据所计算出的亮度直方图和灰度重心调节亮度，以使所述重叠区域的各图像的灰度重心一致。
10.根据权利要求9所述的图像处理系统，其特征在于：
所述图像转换部使用所述重叠区域的亮度调节结果，调节所述重叠区域以外的区域的图像的亮度，使其以渐变方式连接。
11.根据权利要求1所述的图像处理系统，其特征在于：
所述图像转换部对于所述重叠区域内的周围部分，随着向与所述重叠区域相邻的区域去对所述融合率赋予斜率使所述融合率变化，进行图像合成。
12.根据权利要求1所述的图像处理系统，其特征在于：
所述图像转换部根据使用者的年龄，变更在所述重叠区域适用的融合率的计算式的斜率，进行图像合成。
13.根据权利要求1所述的图像处理系统，其特征在于：
所述图像转换部按每规定期间计算所述融合率，将该规定期间前后的融合率的变化限制在规定范围以内。
14.一种图像处理方法，合成来自多个摄像机的拍摄图像，生成俯瞰图像，该图像处理方法的特征在于，包括：
从各摄像机的图像中提取图像特征量的步骤；和
根据所提取的图像特征量计算融合率，合成多个摄像机图像重叠的重叠区域的俯瞰图像的步骤，
在合成所述俯瞰图像的步骤中，判定所述重叠区域的各图像的图像特征量的相关性，根据相关性的强弱，切换融合的方法进行合成。
15.一种图像处理方法，合成来自多个摄像机的拍摄图像，生成俯瞰图像，该图像处理方法的特征在于，包括：
从各摄像机的图像中提取图像特征量的步骤；
根据所提取的图像特征量计算融合率，合成多个摄像机图像重叠的重叠区域的俯瞰图像的步骤；和
取得表示应用该图像处理系统的车辆的行驶状态的车辆控制信息的步骤，
在合成该俯瞰图像的步骤中，根据所取得的所述车辆控制信息设定所述重叠区域内的危险度，组合与危险度对应的显示方式，输出所合成的所述俯瞰图像。
CN201380056890.1A 2012-10-31 2013-10-29 图像处理系统和图像处理方法 Active CN104756487B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-239819 2012-10-31
JP2012239819A JP6084434B2 (ja) 2012-10-31 2012-10-31 画像処理システム及び画像処理方法
PCT/JP2013/079297 WO2014069471A1 (ja) 2012-10-31 2013-10-29 画像処理システム及び画像処理方法

Publications (2)

Publication Number Publication Date
CN104756487A true CN104756487A (zh) 2015-07-01
CN104756487B CN104756487B (zh) 2018-05-01

Family

ID=50627373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380056890.1A Active CN104756487B (zh) 2012-10-31 2013-10-29 图像处理系统和图像处理方法

Country Status (5)

Country Link
US (1) US9485438B2 (zh)
EP (1) EP2916540B1 (zh)
JP (1) JP6084434B2 (zh)
CN (1) CN104756487B (zh)
WO (1) WO2014069471A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292642A (zh) * 2016-03-31 2017-10-24 苏宁云商集团股份有限公司 一种基于图像的商品推荐方法及系统
CN107851300A (zh) * 2015-08-04 2018-03-27 株式会社电装 向驾驶员提示辅助图像的装置及其方法
CN110088807A (zh) * 2016-12-16 2019-08-02 歌乐株式会社 分隔线识别装置
CN110738088A (zh) * 2018-07-18 2020-01-31 丰田自动车株式会社 图像处理装置
CN111194549A (zh) * 2017-10-13 2020-05-22 三菱电机株式会社 图像合成装置和图像合成方法
CN111314655A (zh) * 2018-12-11 2020-06-19 晶睿通讯股份有限公司 图像拼接方法及其监控摄像装置
CN113678433A (zh) * 2019-04-18 2021-11-19 三菱电机株式会社 车辆周边图像生成装置、车辆周边显示系统及车辆周边显示方法
CN114750775A (zh) * 2022-03-24 2022-07-15 合肥雷能信息技术有限公司 一种基于毫米波雷达的道路车辆防撞警示系统
CN115244594A (zh) * 2020-03-24 2022-10-25 三菱电机株式会社 信息处理装置和信息处理方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416300B2 (en) * 2009-05-20 2013-04-09 International Business Machines Corporation Traffic system for enhancing driver visibility
US9478054B1 (en) * 2013-11-09 2016-10-25 Google Inc. Image overlay compositing
EP3654286B1 (en) 2013-12-13 2024-01-17 Panasonic Intellectual Property Management Co., Ltd. Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium
JP6371553B2 (ja) * 2014-03-27 2018-08-08 クラリオン株式会社 映像表示装置および映像表示システム
KR101566966B1 (ko) * 2014-05-27 2015-11-06 주식회사 피엘케이 테크놀로지 보행자 인식 가능한 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체
EP3160138B1 (en) * 2014-06-20 2021-03-17 Clarion Co., Ltd. Image synthesis system, image synthesis device therefor, and image synthesis method
JP6411100B2 (ja) * 2014-07-08 2018-10-24 アルパイン株式会社 車両周囲画像生成装置および車両周囲画像生成方法
KR101614247B1 (ko) * 2015-05-20 2016-04-29 주식회사 와이즈오토모티브 파노라마 영상의 접합면 표시장치
JP6408434B2 (ja) * 2015-07-14 2018-10-17 株式会社キクテック 道路標示体劣化検出方法
CN105894449B (zh) * 2015-11-11 2019-11-08 法法汽车(中国)有限公司 克服图像融合中颜色突变的方法及系统
KR102510821B1 (ko) * 2016-02-05 2023-03-16 삼성전자주식회사 영상 처리 방법, 장치 및 기록 매체
DE102016112483A1 (de) * 2016-07-07 2018-01-11 Connaught Electronics Ltd. Verfahren zum Reduzieren von Störsignalen in einem Draufsichtbild, das ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs zeigt, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016121755A1 (de) * 2016-11-14 2018-05-17 Connaught Electronics Ltd. Verfahren zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung von Helligkeit und/oder Farbe, Kamerasystem sowie Krafzfahrzeug
WO2018124268A1 (en) * 2016-12-28 2018-07-05 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium
KR102551099B1 (ko) * 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
CN111316629B (zh) * 2017-08-02 2022-04-19 索尼公司 图像处理装置和方法、成像装置和程序
DE102017218405A1 (de) * 2017-10-13 2019-04-18 Robert Bosch Gmbh Verfahren zum Verarbeiten von Bildern
DE102018202656A1 (de) * 2018-02-22 2019-08-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erstellen von Panoramabildern
CN110633704B (zh) * 2018-06-25 2022-07-26 京东方科技集团股份有限公司 货架及货架管理系统
CN110874817B (zh) * 2018-08-29 2022-02-01 上海商汤智能科技有限公司 图像拼接方法和装置、车载图像处理装置、设备、介质
JP2020120194A (ja) * 2019-01-21 2020-08-06 キヤノン株式会社 撮像装置、撮像方法およびプログラム
JP6998360B2 (ja) * 2019-12-13 2022-01-18 本田技研工業株式会社 車両用表示装置及び駐車支援システム
KR102281609B1 (ko) * 2020-01-16 2021-07-29 현대모비스 주식회사 어라운드뷰 합성 시스템 및 방법
JP7038935B2 (ja) * 2020-03-25 2022-03-18 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR102489290B1 (ko) * 2020-11-20 2023-01-17 부산대학교 산학협력단 영상처리와 위치추적 기술을 활용한 작업장 내 위험지역 접근 감지 및 알림 시스템 및 방법
DE102022201508A1 (de) * 2022-02-14 2023-08-17 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Verarbeiten von Daten

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1373720A (zh) * 1999-09-20 2002-10-09 松下电器产业株式会社 驾驶提醒装置
JP2007274377A (ja) * 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム
EP2437494A1 (en) * 2009-05-25 2012-04-04 Panasonic Corporation Device for monitoring area around vehicle
EP2482557A1 (en) * 2009-09-24 2012-08-01 Panasonic Corporation Driving support display device
US20120219190A1 (en) * 2011-02-24 2012-08-30 Fujitsu Semiconductor Limited Image processing apparatus, image processing system, and image processing method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3431678B2 (ja) * 1994-02-14 2003-07-28 三菱自動車工業株式会社 車両用周囲状況表示装置
JP2002354468A (ja) 2001-05-30 2002-12-06 Clarion Co Ltd 画像合成方法及び装置並び車両周囲状況モニタ装置
JP4725233B2 (ja) 2005-08-02 2011-07-13 日産自動車株式会社 俯瞰画像表示システム
JP4846426B2 (ja) * 2006-04-20 2011-12-28 パナソニック株式会社 車両周囲監視装置
US7728879B2 (en) 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
JP2009040107A (ja) * 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
JP4972036B2 (ja) 2008-05-30 2012-07-11 三洋電機株式会社 画像処理装置
JP2010250640A (ja) * 2009-04-17 2010-11-04 Sanyo Electric Co Ltd 画像処理装置
JP5516988B2 (ja) * 2010-10-20 2014-06-11 アイシン精機株式会社 駐車支援装置
WO2012144053A1 (ja) * 2011-04-21 2012-10-26 トヨタ自動車株式会社 車両用周辺障害物表示装置及び車両用周辺障害物表示方法
JP5483120B2 (ja) 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1373720A (zh) * 1999-09-20 2002-10-09 松下电器产业株式会社 驾驶提醒装置
JP2007274377A (ja) * 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム
EP2437494A1 (en) * 2009-05-25 2012-04-04 Panasonic Corporation Device for monitoring area around vehicle
EP2482557A1 (en) * 2009-09-24 2012-08-01 Panasonic Corporation Driving support display device
US20120219190A1 (en) * 2011-02-24 2012-08-30 Fujitsu Semiconductor Limited Image processing apparatus, image processing system, and image processing method

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107851300A (zh) * 2015-08-04 2018-03-27 株式会社电装 向驾驶员提示辅助图像的装置及其方法
CN107292642A (zh) * 2016-03-31 2017-10-24 苏宁云商集团股份有限公司 一种基于图像的商品推荐方法及系统
CN107292642B (zh) * 2016-03-31 2020-12-08 苏宁云计算有限公司 一种基于图像的商品推荐方法及系统
CN110088807A (zh) * 2016-12-16 2019-08-02 歌乐株式会社 分隔线识别装置
CN110088807B (zh) * 2016-12-16 2023-08-08 歌乐株式会社 分隔线识别装置
CN111194549B (zh) * 2017-10-13 2022-01-28 三菱电机株式会社 图像合成装置和图像合成方法
CN111194549A (zh) * 2017-10-13 2020-05-22 三菱电机株式会社 图像合成装置和图像合成方法
CN110738088A (zh) * 2018-07-18 2020-01-31 丰田自动车株式会社 图像处理装置
CN111314655A (zh) * 2018-12-11 2020-06-19 晶睿通讯股份有限公司 图像拼接方法及其监控摄像装置
CN113678433A (zh) * 2019-04-18 2021-11-19 三菱电机株式会社 车辆周边图像生成装置、车辆周边显示系统及车辆周边显示方法
CN113678433B (zh) * 2019-04-18 2024-05-03 三菱电机株式会社 车辆周边图像生成装置、车辆周边显示系统及车辆周边显示方法
CN115244594A (zh) * 2020-03-24 2022-10-25 三菱电机株式会社 信息处理装置和信息处理方法
CN115244594B (zh) * 2020-03-24 2023-10-31 三菱电机株式会社 信息处理装置和信息处理方法
CN114750775A (zh) * 2022-03-24 2022-07-15 合肥雷能信息技术有限公司 一种基于毫米波雷达的道路车辆防撞警示系统

Also Published As

Publication number Publication date
EP2916540B1 (en) 2018-05-30
CN104756487B (zh) 2018-05-01
WO2014069471A1 (ja) 2014-05-08
JP6084434B2 (ja) 2017-02-22
US9485438B2 (en) 2016-11-01
EP2916540A4 (en) 2016-10-19
EP2916540A1 (en) 2015-09-09
US20150281594A1 (en) 2015-10-01
JP2014090349A (ja) 2014-05-15

Similar Documents

Publication Publication Date Title
CN104756487A (zh) 图像处理系统和图像处理方法
JP6371553B2 (ja) 映像表示装置および映像表示システム
US10896335B2 (en) Adaptive transparency of virtual vehicle in simulated imaging system
US9053575B2 (en) Image processing apparatus for generating an image for three-dimensional display
US8976229B2 (en) Analysis of 3D video
US9036007B2 (en) System and method for converting two dimensional to three dimensional video
JP2015188234A (ja) グローバル動きに基づく深度の推定
JP5171723B2 (ja) 障害物検知装置、および当該装置を搭載した車両
WO2011087145A1 (en) Methods and a display device for displaying a pair of stereoscopic images on a display for reducing viewing discomfort
KR20190113943A (ko) 이미지 속성 맵을 프로세싱하기 위한 방법 및 장치
WO2018225518A1 (ja) 画像処理装置、画像処理方法、プログラム、およびテレコミュニケーションシステム
US20160180514A1 (en) Image processing method and electronic device thereof
US20120127155A1 (en) 3d comfort and fusion limit empirical model
JP2017011633A (ja) 撮像装置
GB2489931A (en) Analysis of 3D video to detect frame violation within cropped images
JP6617610B2 (ja) 車両用表示装置
US20220242433A1 (en) Saliency-based presentation of objects in an image
ES2533051T3 (es) Procedimiento y dispositivo para determinar una imagen de profundidad
US20230099481A1 (en) Display control apparatus, vehicle, and display control method
US11410274B2 (en) Information processing device and program
KR101649188B1 (ko) 입체감 측정 방법 및 장치
EP2677496A1 (en) Method and device for determining a depth image
JP2020145564A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant