CN106204432A - 绘图装置、绘图方法和绘图程序 - Google Patents

绘图装置、绘图方法和绘图程序 Download PDF

Info

Publication number
CN106204432A
CN106204432A CN201610274422.7A CN201610274422A CN106204432A CN 106204432 A CN106204432 A CN 106204432A CN 201610274422 A CN201610274422 A CN 201610274422A CN 106204432 A CN106204432 A CN 106204432A
Authority
CN
China
Prior art keywords
view data
data
camera
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610274422.7A
Other languages
English (en)
Inventor
儿玉裕子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Publication of CN106204432A publication Critical patent/CN106204432A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本申请涉及绘图装置、绘图方法和绘图程序。绘图装置包括第一控制单元和第二控制单元。第一控制单元从多个相机接收包括对象的多个图像数据，并且输出从通过参考LUT数据所执行的坐标变换中获得的数据。第二控制单元关于对象导出距所述多个图像数据的光学中心的每个确定距离，基于确定距离来选择多个图像数据中的一个图像数据作为选择图像数据，以及通过导出与选择图像数据中的对象的像素相对应的坐标来重写LUT数据。

Description

绘图装置、绘图方法和绘图程序
技术领域
本文讨论的实施例涉及绘图装置、绘图方法和绘图程序。
背景技术
近年来，例如，环视监视器已经付诸实践。关于环视监视器，汽车设置有视场角相交叠的多个相机并且从多个相机获得的图像(视频)按照合成处理进行处理，使得驾驶员可以在其查看汽车四周的同时平行停放汽车或者将汽车停放在车库中。
换言之，例如，绘图装置已经付诸实践。关于绘图装置，通过多个输入装置例如相机获得的实际图像被投影在被视为地面的三维投影面上，使得绘图装置模拟好像从上面观察地面的视频。
这样的绘图装置(合成图像的生成装置)不限于设置在汽车中的环视监视器(多角度环视监视器)。例如，绘图装置还可以设置在火车、船、飞行器或者建筑中，或者可以应用于监视器相机、家用电器或玩具等。
在本说明书中，将对具有设置在汽车的前方、后方、左方和右方的四个相机的环视监视器进行说明作为绘图装置的示例。但是，如上所述，本实施例可以应用于各种领域和对象，并且相机的数目不限于四个。
合成图像(绘制图像(drawn image)不限于从高的位置进行俯瞰的图像(俯视图像)。可替代地，例如，要理解的是，合成图像(绘制图像)可以是从天空对角地俯瞰的鸟瞰视图图像和从下向上看的蛙眼视图图像，或者是被执行了各种合成处理的图像。
如上所述，例如，已经提出了各种方案作为用于通过对由多个相机捕获的多个图像数据进行处理来获得绘制图像的绘图技术。然而，例如，当通过处理多个图像数据来模拟绘制图像(例如，俯视图像)时，例如，执行复杂的处理以例如基于三维(3D)坐标选择通过预定相机获得的图像数据以获得高图像质量的模拟结果。
可替代地，因为基于例如相机的附接位置来对以多个相机获得的多个图像数据进行选择，所以存在以下的问题：难以获得充分实现每个相机(镜头)的特性的高图像质量的模拟结果(绘图数据(绘制图像))。
附带地，在过去，已经提出了各种方案作为用于通过对由多个相机捕获的多个图像数据进行处理来生成绘制图像的绘图技术。
专利文献1：国际公布小册No.WO2011/036892。
发明内容
根据实施例的一个方面，提出一种绘图装置，其包括第一控制单元和第二控制单元。第一控制单元从多个相机接收包括对象的多个图像数据，并且输出从通过参考LUT数据所执行的坐标变换中获得的数据。
第二控制单元关于对象导出距所述多个图像数据的光学中心的每个确定距离，基于确定距离选择多个图像数据中的一个图像数据作为选择图像数据(selection image data)，以及通过导出与选择图像数据中的对象的像素相对应的坐标来重写LUT数据。
发明效果
根据本实施例的绘图装置、绘图方法和绘图程序，可以通过执行简单的处理来获得高图像质量的绘图数据。
附图说明
图1为用于说明如何通过将LUT数据应用于原始图像数据来获得绘制图像的图；
图2为用于说明设置在汽车中的绘图装置的示例的图(第一部分)；
图3为用于说明设置在汽车中的绘图装置的示例的图(第二部分)；
图4为用于说明以图2和图3所示的绘图装置执行的绘图处理的示例的图；
图5为用于说明以图2和图3所示的绘图装置执行的绘图处理的另一示例的图；
图6为用于说明在图5所示的绘图处理中的LUT数据的生成处理的示例的流程图；
图7为示出设置在汽车中的绘图装置的相机布置的示例的图；
图8为用于说明与图7所示的绘图装置的相机布置相关联的问题的示例的图；
图9为用于说明与图7所示的绘图装置的相机布置相关联的问题的另一示例的图；
图10为示意性地示出根据本实施例的绘图装置的框图；
图11为用于说明相机的镜头特性的示例的图；
图12为用于说明由设置在汽车中的绘图装置的每个相机所捕获的图像数据的图；
图13为用于说明根据本实施例的绘图装置中的LUT数据的重写处理的示例的图(第一部分)；
图14为用于说明根据本实施例的绘图装置中的LUT数据的重写处理的示例的图(第二部分)；
图15为用于说明根据本实施例的绘图装置中的LUT数据的生成处理的示例的流程图；
图16为示出图10所示的绘图装置的配置的示例的框图；
图17为用于说明根据本实施例的绘图装置的效果的图；以及
图18为示意性地示出对于图10所示的绘图装置的修改的框图。
具体实施方式
首先，在详细说明根据本实施例的绘图装置、绘图方法和绘图程序之前，将参照图1至图9来说明绘图技术的示例以及与之相关联的问题。图1为用于说明如何通过将LUT(查找表)数据应用于原始图像数据来获得绘制图像的图。
在图1中，附图标记B1表示存储原始图像数据(纹理图像)的缓冲器(SRC缓冲器)，附图标记B2表示存储LUT数据(纹理坐标)的缓冲器(WARP缓冲器)。附图标记B3表示用于存储绘图结果(模拟结果)的绘制图像的缓冲器(绘图缓冲器)。
如图1所示，例如，二维(2D)绘图引擎通过参考WARP缓冲器B2中存储的LUT数据来对SRC缓冲器B1中存储的原始图像数据执行坐标变换，并且将其结果(绘图结果)存储至绘图缓冲器B3。
图2和图3为用于说明设置在汽车中的绘图装置的示例的图，并且图2和图3用于示出根据由设置在汽车的前方、后方、左方和右方的四个相机捕获的图像数据来生成汽车的四周的图像的环视监视器。
在图2中，附图标记100表示汽车(车辆)，附图标记CF表示前方相机、附图标记CB表示后方相机、附图标记CL表示左方相机以及附图标记CR表示右方相机。附图标记IF表示由前方相机CF捕获的前方图像，附图标记IB表示由后方相机CB捕获的后方图像，附图标记IL表示由左方相机CL捕获的左方图像，附图标记IR表示由右方相机CR捕获的右方图像，以及附图标记Io表示构成的俯视图像(从高的位置俯瞰的图像)。
在图3中，附图标记VP表示视点，附图标记CRoa表示右方相机CR(镜头)的光轴，以及附图标记PP表示投影面(Z＝0)。如图2和图3所示，绘图装置(环视监视器)具有例如相机CF、CB、CL和CR——相机CF、CB、CL、CR的视场角为180度并且被设置在汽车100的前方、后方、左方、右方，并且绘图装置基于相机所提供的图像(图像数据)IF、IB、IL、IR来构成俯视图像Io。
更具体地，例如，绘图装置对图像IF、IB、IL、IR执行合成处理，并且在与相机CF、CB、CL和CR的视野范围中Z为零的投影面(地面)PP相对应的三维投影面上生成(绘制)图像(俯视图像Io)。
换言之，如参照图1所说明的，从相机CF、CB、CL、CR提供的图像(实际图像)IF、IB、IL、IR为纹理图像，并且图像IF、IB、IL、IR基于根据缓冲器B2中存储的每个相机的位置所计算的纹理坐标(LUT数据)被映射。
如上所说明的，2D绘图引擎(二维图形计算装置)用于计算并且输出基于纹理坐标被映射的数据。该功能将被称为LUT(查找表)，并且保存纹理坐标的缓冲器B2将被称为WARP缓冲器。
在本说明书中，将对环视监视器进行说明作为示例，在环视监视器中四个相机设置在汽车的前方、后方、左方和右方，并且生成俯视图像。要理解的是，相机的数目不限于四个，并且所生成的图像不限于俯视图像。
此外，绘图装置不限于设置在汽车中的环视监视器。例如，绘图装置还可以应用于驾驶监视器(drive monitor)或者应用于设置在火车、船、飞行器或建筑物中的监视器，或者可以应用于监视器相机、家用电器或玩具等。
图4为用于说明由图2和图3所示的绘图装置执行的绘图处理的示例的图。如图4所示，在映射处理中通过参考WARP缓冲器B2中存储的LUT数据来对存储于SRC缓冲器B1中的前方、后方、左方和右方的纹理图像(捕获输入)IF、IB、IL、IR进行处理，并且生成中间文件。
前方、后方、左方和右方的中间文件(映射结果)在用于限定掩膜区域(图4的阿尔法映射(alpha map)中的实心填充区域)的阿尔法混合(alpha blending)处理中被处理，并且存储于绘图缓冲器B3中的前方、后方、左方和右方的区域被确定为绘图结果。注意，阿尔法映射的映射区域(掩膜区域)是固定的。
换言之，在前方、后方、左方和右方的中间文件中的交叠区域中，要确定将中间文件的哪个中间文件中的数据用于生成绘制图像。如上所述，绘图缓冲器B3(层0)存储绘制图像(俯视图像)Io，并且从层0读取俯视图像Io，并且例如显示俯视图像Io。
如图4所示，例如，2D绘图引擎通过将LUT数据应用于纹理图像IF、IB、IL、IR来执行映射处理四次以生成中间文件。此外，通过对四个中间文件执行阿尔法混合处理来执行映射处理四次以生成绘图图像。换言之，在图4所示的绘图处理中，由2D绘图引擎进行的映射处理被执行八次。
图5为用于说明以图2和图3所示的绘图装置执行的绘图处理的另一示例的图。
如图5所示，在映射处理中通过参考存储于WARP缓冲器B2中的LUT数据对存储于SRC缓冲器B1中的前方、后方、左方和右方的纹理图像IF、IB、IL和IR进行处理，并且前方、后方、左方和右方的绘制图像被存储至绘图缓冲器B3。
LUT数据包括掩膜区域(图5的LUT数据中实心填充的区域)，并且通过在映射处理中基于LUT数据对纹理图像IF、IB、IL、IR进行处理所获得的绘制图像(部分绘制图像)被存储至绘图缓冲器B3中的四个不同的层0至3。注意，LUT数据的映射区域(掩膜区域)是固定的。
然后，例如，当在显示器上显示绘制图像(俯视图像)Io时，显示器控制器读取在绘图缓冲器B3的层0至层3中存储的四个部分绘制图像，构成俯视图像Io，并且在显示器上显示俯视图像Io。
如图5所示，例如，2D绘图引擎可以通过将LUT数据应用于纹理图像IF、IB、IL、IR仅执行映射处理四次，以生成部分绘制图像。
然而，四个生成的部分绘制图像被分别存储至绘图缓冲器B3的不同的层0至3，并且为了在显示器上显示绘制图像，存储于层0至层3中的部分绘制图像通过显示器控制器被组合。
如上所述，在图4所示的绘图处理中，使用2D绘图引擎进行的映射处理被执行八次。在图5所示的绘图处理中，使用绘图缓冲器B3中的四个层。此外，在图4所示的绘图处理和图5所示的绘图处理二者中，映射区域是固定的。
图6为用于说明图5所示的绘图处理中的LUT数据的生成处理的示例的流程图。如图6所示，当LUT数据的生成处理开始时，在步骤ST101中生成任意给定投影面的顶点坐标，并且随后执行步骤ST102。
例如，投影面的顶点坐标为通常例如在下述时候使用的XYZ(三维)空间中的顶点的坐标：当根据由布置在汽车的前方、后方、左方和右方的相机捕获的图像(IF、IB、IL、IR)通过执行多边形处理来生成俯视图像时。
在步骤ST102中，根据相机位置、步骤ST101中生成的投影面的顶点坐标等来生成纹理坐标(LUT数据)，并且然后结束LUT数据的生成处理。
在步骤ST102中基于投影面的顶点坐标、相机位置等生成的纹理坐标中，例如，如参照图5所说明的，映射区域是固定的。
图7为示出设置在汽车中的绘图装置的相机布置的示例的图。认为设置在汽车100的前方、后方、左方和右方的前方相机CF、后方相机CB、左方相机CL和右方相机CR包括180度的视场角。
此外，将前方相机CF朝向前方中心进行附接，将后方相机CB朝向后方中心进行附接，将左方相机CL在朝向左后方约45度处进行附接，以及将右方相机CR在朝向右后方约15度处进行附接。注意，相机CF、CB、CL、CR的附接角度仅为示例，并且要理解的是可以存在各种情况。
在图7的俯视图像Io中，附图标记RFL表示由前方相机CF捕获的前方图像IF和由左方相机CL捕获的左方图像IL彼此交叠的区域，以及附图标记RFR表示前方图像IF和由右方相机CR捕获的右方图像IR彼此交叠的区域。注意，附图标记RF表示可以仅由前方相机CF捕获的前方图像IF中的区域。
在俯视图像Io中，附图标记RBL表示由后方相机CB捕获的后方图像IB与左方图像IL彼此交叠的区域，附图标记RBR表示后方图像IB与右方图像IR彼此交叠的区域，以及附图标记RBLR表示后方图像IB、左方图像IL和右方图像IR彼此交叠的区域。注意，附图标记RLR表示左方图像IL和右方图像IR彼此交叠的区域。
此外，在俯视图像Io中，附图标记RL表示可以仅由左方相机CL捕获的左方图像IL中的区域，以及附图标记RR表示可以仅由右方相机CR捕获的右方图像IR中的区域。
因此，由前方相机CF捕获的前方图像IF可以绘制俯视图像Io中的区域RFL、RF和RFR。由后方相机CB捕获的后方图像IB可以绘制俯视图像Io中的区域RBL、RBLR和RBR。
此外，由左方相机CL捕获的左方图像IL可以绘制俯视图像Io中的区域RFL、RL、RBL、RBLR和RLR。由右方相机CR捕获的右方图像IR可以绘制俯视图像Io中的区域RFR、RR、RLR、RBR和RBLR。
在图7中，不能被捕获的区域，例如RBLR和RLR，——因为这些区域被汽车100它自身所遮挡——不被予以考虑。实际上，这些区域、区域RBLR和区域RLR分别包括在RBR和RR中。
图8为用于说明与图7所示的绘图装置的相机布置相关联的问题的示例的图，并且图8对根据固定相机映射处理的俯视图像Io的绘制(合成)进行说明。图8(a)示出固定相机映射区域的示例，以及图8(b)示出此时所绘制的俯视图像Io。
当如图8(a)所示绘制俯视图像Io时，将固定相机映射区域FF、FB、FL和FR应用于设置在汽车100的前方、后方、左方和右方的前方相机CF、后方相机CB、左方相机CL和右方相机CR，然后例如获得图8(b)。
换言之，基于固定相机映射区域FF、FB、FL和FR对来自相机CF、CB、CL、CR的图像IF、IB、IL、IR进行选择，并且绘制俯视图像Io。
然而，如参照图7所说明的，例如，当没有将左方相机CL朝向左侧的中心进行附接而是在朝向左后方约45度处进行附接时，由左方相机CL捕获的图像IL不能覆盖映射区域FL的全部区域，并且可能存在缺失区域DD。
如上所述，当通过执行固定相机映射处理来绘制俯视图像时，以固定方式确定每个相机的映射区域(图像(视频)的使用范围)。因此，由未示出考虑中的位置的相机捕获的图像可能根据相机位置而被使用。
作为结果，绘制的俯视图像可能包括缺失区域。该关于俯视图像(绘制图像)中的缺失区域的问题与从由多个相机捕获的图像中所选的最优(最高质量)图像的选择有关。
换言之，当通过执行固定相机映射处理来绘制俯视图像时，在绘图结果中使用了低质量图像，或者使用了由实际上并未示出期望部分的相机捕获的图像。这使得难以获得最优的绘图结果。
用户可能能够基于绘图结果(俯视图像)来细微地调节每个相机的视频的使用范围。然而，例如，通过用眼睛进行目测，难以找到哪些相机提供了最高质量的视频并且对于任意给定像素是最佳的。
图9为用于说明与图7所示的绘图装置的相机布置相关联的问题的另一示例的图，并且图9用于说明根据最近位置的相机映射处理的俯视图像Io的绘制以使用由最接近的位置处的相机捕获的图像。图9(a)示出最近位置处的相机映射区域的示例。图9(b)示出此时绘制的俯视图像Io。
当如图9(a)所示绘制俯视图像Io时，将最近位置的相机映射区域NF、NB、NL和NR应用于设置在汽车100上的前方相机CF、后方相机CB、左方相机CL和右方相机CR，然后例如获得图9(b)。
换言之，基于最近位置处的相机映射区域NF、NB、NL和NR对来自相机CF、CB、CL、CR的图像IF、IB、IL、IR进行选择，并且绘制俯视图像Io。
然而，例如，当将左方相机CL在朝向左右方约45度处进行附接，并且将右方相机CR在朝向右后方约15度处进行附接时，缺失区域DD1、DD2、DD3、DD4会出现于汽车100的四个角的部分中。
如上所述，当通过执行最近位置的相机映射处理来绘制俯视图像时，例如，附接的相机的方向未被予以考虑。因此，因为由于相机的方向而不存在于图像中的部分，所以绘制的俯视图像包括缺失区域。
换言之，当通过执行最近位置的相机映射处理来绘制俯视图像时，在绘图结果中同样使用了低质量图像，或者使用了由实际上并未示出期望部分的相机所捕获的图像。这使得难以获得高图像质量的绘图数据(最优绘图结果)。注意，例如，为了通过考虑相机的方向来确定任意给定像素是否被示出，执行针对该确定的额外的处理——这并非优选的。
在下文中将参照附图来说明绘图装置、绘图方法和绘图程序的实施例。图10为示意性地示出根据本实施例的绘图装置的框图。
如图10所示，根据本实施例的绘图装置包括第一控制单元(2D绘图引擎)1、第二控制单元(LUT计算装置)2和LUT 3，并且绘图装置被配置成根据由多个相机51、52捕获的多个图像数据I1、I2来生成绘制图像(合成图像)。在该相机中，设置了至少两个相机，并且由至少两个相机捕获的至少两个图像包括示出相同对象(subject)的区域。
在根据本实施例的绘图装置中，第一控制单元1从多个相机51、52接收包括对象的多个图像数据I1、I2，并且将从通过参考LUT(LUT数据)3所执行的坐标变换中获得的数据输出至显示器4作为绘图数据。
第二控制单元2从关于对象的多个图像数据I1、I2中的每个图像数据的光学中心导出确定距离(d)，并且基于确定距离来选择多个图像数据中的一个图像数据作为选择图像数据。
此外，第二控制单元2导出与选择图像数据中的对象的像素相对应的坐标，并且重写存储于LUT 3中的LUT数据。例如，第二控制单元2基于相机特性(相机的相机特性)来导出与多个图像数据I1、I2中拍摄的相同位置(对象的同一像素)相对应的坐标，并且重写LUT数据。
相机特性可以包括例如由镜头所引起的特性例如镜头数据(镜头畸变数据)以及由图像捕获设备(例如，CMOS图像传感器)和图像引擎等所引起的特性。
然而，为了简化说明，认为多个相机51、52包括相同的镜头视场角和相同的图像捕获设备等，并且通过主要聚焦于由于镜头特性而引起的每个图像捕获区域中的图像质量来描述相机特性。
图11为用于说明相机的镜头特性的示例的图，并且图11示出由相机(51、52)捕获的图像数据I(I1、I2)的示例。如图11所示，在图像数据(帧存储器上的二维图像数据)I中、距离图像中心O的距离较长的外围部分中，分辨率和焦度较低，并且畸变较大，然后可以理解为图像质量较低。
换言之，应用于绘图装置的相机的镜头通常为具有宽的视场角(例如，180度的视场角)的被称为鱼眼镜头或(超)广角镜头的镜头，该镜头在接近于镜头的光轴的图像捕获区域(距离图像中心O的距离较短的中心部分)中实现高的图像质量。
即，一般而言，广角(鱼眼)镜头由于渐晕(vegnette)和压缩而在较接近于光轴中心(图像中心)的像素处实现较高的绘图精度，并且在与光轴中心较远的像素处实现较低的绘图精度。因此，在考虑表示真实世界中的任意给定点的像素(对象的考虑中的位置OP)时，所有相机的最高图像质量的像素可以被认为通常是最接近于光轴中心的像素。
因此，在图10所示的根据本实施例的绘图装置中，例如，第二控制单元2重写LUT数据以基于相机特性(镜头特性)选择多个图像数据I1、I2中的确定距离d最短的一个图像数据作为选择图像数据。
即使在相机51的镜头特性并未使得图像质量简单地根据确定距离d的长度而下降时，图10所示的绘图装置仍有效。例如，图10所示的绘图装置即使在下述时候仍有效：相机51的镜头特性使得图像质量降低直到确定距离d变为预定距离为止，但是图像质量此后提高并且然后图像质量再次降低。
换言之，例如，当确定距离d大于预定距离并且达到较高的图像质量时，第二控制单元2将确定距离d乘以常数(＜1)以确定用于根据基于镜头特性的确定距离d来选择图像数据I1和I2中的任一图像数据的确定距离。
如上所述，例如，当存在虽然确定距离d较长但是图像质量仍较高的区域时，将与该区域相对应的确定距离d乘以小于“1”的常数，这使得易于选择高图像质量区域中的图像数据。
例如，当相机51、52的镜头的视场角不同时或者当基于图像捕获设备等的特性在相机51、52中不同时，可以通过对确定距离d执行预定的处理来选择最优图像数据。注意，这样的处理可以通过应用例如各种已知方法来实现。
例如，根据本实施例的上面说明的绘图装置可以应用于具有四个相机——四个相机附接至汽车的前方、后方、左方和右方——的环视监视器，并且由这些相机捕获的图像在合成处理中进行处理，使得生成(绘制)俯视图像并且在显示器4上显示。
本实施例不限于设置在汽车中的环视监视器。例如，本实施例还可以应用于驾驶监视器或者设置在火车、船、飞行器或建筑物中的监视器，或者可以应用于监视器相机、家用电器或玩具等。相机的数目不限于四个，并且所生成的图像不限于俯视图像。
此外，多个相机的视场角和捕获的图像的分辨率通常相同，但是不必须应用相同的视场角和分辨率。在该情况下，例如，由第二控制单元2执行的比较处理(基于确定距离d的图像数据的选择处理)被修改成选择最优图像数据作为选择数据。
图12为用于说明由设置在汽车中的绘图装置的每个相机所捕获的图像数据的图。图12示出以下的环视监视器的情况：该环视监视器根据由设置在汽车(车辆)100的前方、后方、左方和右方的四个相机CF、CB、CL、CR所捕获的图像数据(IF、IB、IL、IR)来生成汽车四周的图像(俯视图像)Io。
在图12中，就像上面所说明的图7，将左方相机CL在朝向左后方约45度处进行附接，以及将右方相机CR在朝向右后方约15度处进行附接。换言之，将前方相机CF的光轴CFoa朝向前方中心进行定位，将后方相机CB的光轴CBoa朝向后方中心进行定位，将左方相机CL的光轴CLoa在朝向左后方约45度处进行定位，以及将右方相机CR的光轴CRoa在朝向右后方约15度处进行定位。
将考虑以下情况：如上所述，例如，根据由相机CF、CB、CL、CR捕获的图像数据IF、IB、IL、IR来构成(绘制)俯视图像(与Z为零的投影面(地面)相对应的三维投影面的图像)Io，其中，相机CF、CB、CL、CR的视场角为180度并且设置在汽车100的前面、后方、左方和右方。
如图12所示，首先，通过相机CF、CB、CL、CR中的全部相机来捕获对象(周围环境)。此时，例如，俯视图像Io中沿左前方向的位置(对象的考虑中的位置OP)在视场角之外。因此，该位置不能通过后方相机CB和右方相机CR捕获并且该位置仅包括在由前方相机CF和左方相机CL捕获的图像数据IF和IL中。
在本实施例中，从通过在由全部相机CF、CB、CL、CR捕获的图像数据IF、IB、IL、IR中捕获相同对象而获得的多个图像数据中选择具有最优选的图像质量的数据作为绘图数据(选择数据)，并且将具有最优选的图像质量的数据用于俯视图像Io的生成。
换言之，根据本实施例，对LUT数据进行重写使得从通过以重叠方式捕获对象的考虑中的位置OP所获得的至少两个图像数据中选择最高图像质量数据，并且将所选的最高图像质量数据用于绘制俯视图像Io。
图13和图14为用于说明根据本实施例的绘图装置中的LUT数据的重写处理的示例的图。图13对应于上面所说明的图7，并且图13示出俯视图像Io中的对象的考虑中的位置OP以及通过附接至汽车100的前方、后方、左方和右方的相机CF、CB、CL、CR所捕获的图像(图像数据)IF、IB、IL、IR。
图14(a)示出前方图像数据IF的处理。图14(b)示出左方图像数据IL的处理。如图13所示，对象的考虑中的位置OP存在于区域RFL中。因此，对象的考虑中的位置OP包括在图像数据IF和IL中作为考虑中的位置OPF和OPL，但是对象的考虑中的位置OP并不包括在图像数据IB和IR中。
换言之，在上面说明的图10所示的绘图装置中，第二控制单元2根据相机特性(镜头数据(镜头畸变数据))识别出对象的考虑中的位置OP在后方相机CB和右方相机CR的图像捕获范围之外。
镜头畸变数据包括关联表，关联表包括例如相对于相机的光轴的向量(或者通过光轴形成的入射角)以及形成图像的二维坐标(或者实际图像高度)。
因此，第二控制单元2对由前方相机CF捕获的前方图像数据IF以及由左方相机CL捕获的左方图像数据IL执行参照图14说明的处理，并且第二控制单元2执行处理以确定采用哪些图像数据作为选择图像数据。
如图14(a)所示，例如，将俯视图像Io中的对象的考虑中的位置OP捕获作为由前方相机CF捕获的图像数据(帧存储器中存储的帧图像)IF中的考虑中的位置OPF。
在将帧图像IF中的图像中心的位置表示为原点OF(0,0)并且将考虑中的位置OPF的坐标表示为(xF,yF)的情况下，从原点OF至考虑中的位置OPF的距离(确定距离)dF被导出为dF＝(xF 2,yF 2)1/2。
如图14(b)所示，例如，将俯视图像Io中的对象的考虑中的位置OP捕获作为由左方相机CL捕获的图像数据(帧存储器中存储的帧图像)IL中的考虑中的位置OPL。
在将帧图像IL中的图像中心的位置表示为原点OL(0,0)并且将考虑中的位置OPL的坐标表示为(xL,yL)的情况下，从原点OF至考虑中的位置OPF的确定距离dL被导出为dL＝(xL 2,yL 2)1/2。
然后，将确定距离dF和dL进行比较，并且在例如dF<dL成立的情况下，选择确定距离较短的图像数据IF作为选择图像数据。换言之，在上面说明的图10所示的绘图装置中，第二控制单元2重写LUT数据，使得选择确定距离较短的图像数据IF作为选择图像数据。
要理解的是，当对象的考虑中的位置OP仅在单条图像数据中被捕获时，第二控制单元2重写LUT数据以选择图像数据作为选择数据。
例如，当使用了许多相机并且对象的考虑中的位置OP在三个或更多个图像数据中被捕获时，第二控制单元2重写LUT数据以选择确定距离d最短的图像数据作为选择数据。
如上所述，根据本实施例，可以通过执行以下简单的处理来获得高图像质量的绘图数据(俯视图像)：导出并且比较每个帧图像中的图像中心(原点)O与考虑中的位置OP之间的二维确定距离d。
根据本实施例，当图像数据包括在由多个相机CF、CB、CL、CR捕获的图像数据IF、IB、IL、IR中的任意一个图像数据中时，采用该图像数据作为选择数据。因此，这可以消除绘制图像(俯视图像)中的缺失部分。
换言之，根据本实施例，可以自动确定(选择)最适合于每个像素的根据相机位置而不同的图像数据(相机视频)。因为从实际示出像素的图像中选择针对像素的最高图像质量的相机视频，所以可以在不考虑相机方向的情况下获得高图像质量的视频。此外，在计算中，仅导出关于二维坐标的距离是足够的。因此，处理可以以高速度来执行。
图15为用于说明根据本实施例的绘图装置中的LUT数据的生成处理的示例的流程图。如图15所示，当LUT数据的生成处理开始时，在步骤ST1中生成任意给定投影面的顶点坐标，并且随后执行步骤ST2。在步骤ST2中，确定是否所有像素均被处理。
在步骤ST2中，当确定所有像素均被处理(是)时，终止LUT数据的生成处理。当确定所有像素并未被全部处理(否)时，随后执行步骤ST3。
如上所述，投影面的顶点坐标为通常例如在下述时候使用的三维空间中的顶点的坐标：当根据由布置在汽车的前方、后方、左方和右方的相机所捕获的图像、通过执行多边形处理来生成俯视图像时。
在步骤ST3中，基于通过光轴形成的入射角或者步骤ST1中生成的投影面的顶点坐标的每个视向量(eye vector)来搜索镜头畸变数据，并且获得对应输入图像上的二维坐标或实际图像高度，并且然后接着执行步骤ST4。
在步骤ST4中，计算从输入图像的二维坐标至图像中心(光轴)的距离(确定距离d)，并且然后接着执行步骤ST5。在步骤ST5中，计算并且比较所有相机中距离中心的距离，并且将距离最短的像素分配至作为纹理坐标的像素。然后，如上所述，当在步骤ST2中确定所有像素均被处理时，终止数据的生成处理。
例如，当镜头畸变数据(镜头特性)在相机之间不同时，或者当距离中心的距离与图像质量之间的关系存在复杂改变时，执行处理以例如将由每个相机捕获的图像的确定距离乘以常数。
图16为示出图10所示的绘图装置的配置的示例的框图。如图16所示，绘图装置的示例包括2D绘图引擎1、LUT计算装置2、ROM(只读存储器)201和RAM(随机存取存储器)202。此外，绘图装置的示例包括内部总线203、外部总线204、多个(四个)相机CF、CB、CL和CR以及显示器4。
ROM 201存储(布置)：在引导之后立即操作的引导加载程序(bootloader)211；使用LUT来执行2D绘图处理的软件程序212；以及数据213，例如镜头畸变数据、任意给定的三维原始投影面和相机位置/角度。
RAM 202包括例如存储区(软件程序222和数据223)，在存储区中存储于ROM 201中的软件程序212和数据213基于引导期间的引导加载程序211被复制并且被提取。数据223对应于图10中的相机特性(镜头数据)。
此外，RAM 202包括：存储相机输入图像(纹理图像)的缓冲器(SRC缓冲器)B1；存储LUT数据的LUT 3(WARP缓冲器B2)；以及用作存储绘图结果的缓冲器(绘图缓冲器)B3的存储区(数据)。
2D绘图引擎(第一控制单元)1经由内部总线203连接至RAM 202，从RAM 202读取软件程序222，并且使用LUT来执行2D绘图处理。
换言之，2D绘图引擎1不仅从缓冲器B1读取相机输入图像(图像数据IF、IB、IL、IR)，而且从LUT 3读取LUT数据，并且将数据——该数据通过参考LUT数据来应用坐标变化而获得——输出至缓冲器B3作为绘图数据。
注意，相机CF、CB、CL、CR和显示器4经由外部总线204连接至RAM 202，并且由相机CF、CB、CL、CR捕获的图像数据IF、IB、IL、IR经由外部总线204被输入并且写入到缓冲器B1中。存储于缓冲器B3中的绘图数据(例如，俯视图像)经由外部总线204被输出，并且被显示在显示器4上。
LUT计算装置(第二控制单元2)经由内部总线203连接至RAM 202，从RAM 202读取数据(相机特性)223，并且执行LUT计算处理。该LUT计算处理对应于例如用于针对存储于RAM(存储器)202的缓冲器B1中的帧图像(纹理图像IF、IB、IL、IR)中的每个帧图像基于图像中心O与对象的考虑中的位置OP之间的距离来重写LUT数据的处理。
接着，将对图16所示的绘图装置的操作的概况进行说明。ROM 201预先存储引导加载程序211、软件程序212和数据(最优纹理坐标数据)。
首先，处理从引导加载程序211的头部开始。随着引导加载程序211的处理，软件程序212和数据213被存储至RAM 202。然后，当引导加载程序211的处理结束时，软件程序222被启动，并且由相机CF、CB、CL、CR捕获的图像数据IF、IB、IL、IR经由外部总线204被输入到缓冲器B1中。
例如，LUT计算装置(第二控制单元)2通过参考镜头畸变数据以及任意给定三维投影面和相机位置/角度(相机特性)的数据关于绘图缓冲器B3(绘制图像Io)的每个像素(连接点与光轴中心之间的确定距离d)来计算每个相机的分辨率。
将所有相机的图像(帧图像)IF、IB、IL、IR中的像素的分辨率进行比较，并且将由具有最高分辨率的相机所捕获的像素的值输出作为映射目标，即，计算(重写)LUT数据。
然后，2D绘图引擎1通过参考缓冲器B2(LUT数据)和缓冲器B1(纹理图像)使用LUT来执行2D绘图处理。注意，绘图结果被写至绘图缓冲器B3，并且绘图结果被读取并且显示在显示器4上。
2D绘图引擎1、LUT计算装置2、ROM 201、RAM 202和内部总线203可以形成为单个半导体集成电路(绘图装置LSI)。注意，相机CF、CB、CL、CR和显示器4经由外部总线204连接至绘图装置LSI。
可替代地，可以将LUT计算装置2与绘图装置LSI相分离并且将LUT计算装置2设置作为单个工具。例如，可以将LUT计算装置2设置作为用于汽车(100)的工具，汽车(100)设置有包括2D绘图引擎1、ROM201和RAM 202等的绘图装置LSI、多个相机CF、CB、CL和CR以及显示器4。
可以提供本实施例作为用于绘图装置的绘图程序，以及在该情况下，可以将绘图程序存储至ROM 201、LUT计算装置2的存储器等等。注意，ROM 201可以例如为电可重写的闪速存储器等，以及例如软件程序212和数据213可以被配置成可更新的。
图17为用于说明根据本实施例的绘图装置的效果的图。图17(a)对应于图7和图13，以及图17(b)和图17(c)对应于图8(a)和图8(b)。图17(d)和图17(e)为对应于根据本实施例的图17(b)和图17(c)的绘图。
如图17(b)和图17(c)所示，在生成绘制图像Io并且将固定相机映射区域FF、FB、FL和FR应用于设置在汽车100的前方、后方、左方和右方的相机CF、CB、CL、CR时，例如，出现缺失区域DD。此外，如图17(c)所示的绘制图像Io不是充分利用由相机CF、CB、CL、CR捕获的图像数据IF、IB、IL、IR的高质量图像。
与此相反，如图17(d)和图17(e)所示，根据本实施例，在上面说明的绘制图像Io中，相机映射区域FF、FB、FL和FR通过图像数据IF、IB、IL、IR被最优化。
换言之，由根据本实施例的绘图装置生成的绘制图像Io不会是有缺陷的(不会包括缺失区域DD)，只要其通过相机CF、CB、CL、CR中的至少任意一个相机被捕获即可。此外，由根据本实施例的绘图装置生成的绘制图像Io是充分利用图像数据IF、IB、IL、IR的高质量图像。
如上所述，根据本实施例，例如，即使当相机的位置和定向不同时，仍可以通过充分利用由该状态下的相机捕获的图像数据来生成包含较少的图像质量变化和包含较少的映射缺失的高质量绘制图像。特别地，这具有关于广角(鱼眼)镜头的较大的影响，广角(鱼眼)镜头受例如渐晕和比例上的变化(例如，图像的畸变)极大地影响。
图18为示意性地示出图10所示的绘图装置的修改的框图。根据图18与上面说明的图10之间的比较，明显的是，在本修改中，第二控制单元2接收图像数据I1、I2而不是提前准备的多个相机51、52的相机特性(镜头数据)。
换言之，在根据图18所示的修改的绘图装置中，例如，在初始设置中，被采用作为预定图案的对象通过相机51、52被捕获并且其图像数据I1、I2被输入第二控制单元2中。
例如，第二控制单元2根据通过使相机51、52捕获预定图案所获得的图像数据I1、I2来计算相机51、52的相机特性，并且通过参考如此计算的相机特性来选择选择图像数据。
在图18所示的修改中，例如，稍微麻烦的是计算按照初始设置执行的相机特性，但是在该状态下，可以设置不仅包括由镜头引起的特性而且包括由图像捕获设备和图像引擎等引起的特性的相机特性。
除了以第二控制单元2进行的相机特性的设置以外的配置与参照图10说明的相机51、相机52、第一控制单元1、第二控制单元2、LUT 3和显示器4相同，并且省略关于其的说明说明。
注意，本实施例不限于通过在汽车的前方、后方、左方和右方布置四个相机来生成俯视图像的环视监视器。换言之，本实施例还可以应用于驾驶监视器，或者设置在火车、船、飞行器或建筑物中的监视器，或者可以应用于监视器相机、家用电器或玩具等。
相机的数目不限于四个，并且只要在至少两个捕获的图像中示出相同对象，则可以应用本实施例。生成的绘制图像不限于俯视图像。

Claims (16)

1.一种绘图装置，包括：
第一控制单元，所述第一控制单元从多个相机接收包括对象的多个图像数据，并且输出从通过参考查找表数据所执行的坐标变换中获得的数据；以及
第二控制单元，所述第二控制单元关于所述对象导出距所述多个图像数据的光学中心的每个确定距离，基于所述确定距离来选择所述多个图像数据中的一个图像数据作为选择图像数据，以及通过导出与所述选择图像数据中的所述对象的像素相对应的坐标来重写所述查找表数据。
2.根据权利要求1所述的绘图装置，其中，
所述第二控制单元通过参考预先准备的所述多个相机中的每个相机的位置和角度数据以及所述多个相机的相机特性来选择所述选择图像数据。
3.根据权利要求1所述的绘图装置，其中，
所述第二控制单元通过参考根据所述多个图像数据导出的所述多个相机中的每个相机的位置和角度数据以及所述多个相机的相机特性来选择所述选择图像数据。
4.根据权利要求1所述的绘图装置，其中，
所述第二控制单元从所述多个图像数据中选择所述确定距离最短的图像数据作为所述选择图像数据。
5.根据权利要求1至4中任一项所述的绘图装置，所述绘图装置还包括：
存储器，所述存储器存储所述多个图像数据中的每个图像数据作为帧图像，其中，
所述多个图像数据的光学中心对应于所述帧图像的每个帧图像中的图像中心的位置，以及
关于所述对象，所述确定距离为在所述帧图像的每个帧图像中从所述图像中心的位置至所述对象的距离。
6.根据权利要求5所述的绘图装置，其中，
在所述帧图像中，所述图像中心的位置被表示为原点(0,0)，以及所述对象的考虑中的位置的坐标被表示为(x,y)，
所述确定距离d被导出为：d＝(x2+y2)1/2。
7.根据权利要求6所述的绘图装置，其中，所述第二控制单元对所述帧图像的所有区域执行处理。
8.根据权利要求1至4中任一项所述的绘图装置，其中，
存储器包括用于存储所述查找表数据的查找表。
9.根据权利要求1至4中任一项所述的绘图装置，所述绘图装置还包括：
显示器，所述显示器显示从所述第一控制单元输出的绘图数据。
10.一种绘图方法，所述绘图方法用于从多个相机接收包括对象的多个图像数据，并且输出从通过参考查找表数据所执行的坐标变换中获得的数据，所述绘图方法包括：
关于所述对象导出距所述多个图像数据的光学中心的每个确定距离；
基于所述确定距离来选择所述多个图像数据中的一个图像数据作为选择图像数据；以及
通过导出与所述选择图像数据中的所述对象的像素相对应的坐标来重写所述输出数据。
11.根据权利要求10所述的绘图方法，其中，
所述选择所述多个图像数据中的一个图像数据为：通过参考预先准备的所述多个相机中的每个相机的位置和角度数据以及所述多个相机的相机特性来选择所述选择图像数据。
12.根据权利要求10所述的绘图方法，其中，
所述选择所述多个图像数据中的一个图像数据为：通过参考根据所述多个图像数据导出的所述多个相机中的每个相机的位置和角度数据以及所述多个相机的相机特性来选择所述选择图像数据。
13.根据权利要求10所述的绘图方法，其中，
所述选择所述多个图像数据中的一个图像数据为：从所述多个图像数据中选择所述确定距离最短的图像数据作为所述选择图像数据。
14.根据权利要求10至13中任一项所述的绘图方法，其中，
所述多个图像数据中的每个图像数据被存储至存储器作为帧图像，
所述多个图像数据的光学中心对应于所述帧图像的每个帧图像中的图像中心的位置，以及
关于所述对象，所述确定距离为在所述帧图像的每个帧图像中从所述图像中心的位置至所述对象的距离。
15.根据权利要求14所述的绘图方法，其中，
在所述帧图像中，所述图像中心的位置被表示为原点(0,0)，以及所述对象的考虑中的位置的坐标被表示为(x,y),
所述确定距离d被导出为d＝(x2+y2)1/2。
16.一种用于绘图装置的绘图程序，所述绘图装置包括控制设备，所述控制设备从多个相机接收包括对象的多个图像数据，并且输出从通过参考查找表数据所执行的坐标变换中获得的数据，所述绘图程序使得所述控制设备能够执行：
关于所述对象导出距所述多个图像数据的光学中心的每个确定距离；
基于所述确定距离来选择所述多个图像数据中的一个图像数据作为选择图像数据；以及
通过导出与所述选择图像数据中的所述对象的像素相对应的坐标来重写所述查找表数据。
CN201610274422.7A 2015-05-28 2016-04-28 绘图装置、绘图方法和绘图程序 Pending CN106204432A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-108715 2015-05-28
JP2015108715A JP6582557B2 (ja) 2015-05-28 2015-05-28 描画装置、描画方法および描画プログラム

Publications (1)

Publication Number Publication Date
CN106204432A true CN106204432A (zh) 2016-12-07

Family

ID=56108448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610274422.7A Pending CN106204432A (zh) 2015-05-28 2016-04-28 绘图装置、绘图方法和绘图程序

Country Status (4)

Country Link
US (1) US10382679B2 (zh)
EP (1) EP3098777B1 (zh)
JP (1) JP6582557B2 (zh)
CN (1) CN106204432A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272517A (zh) * 2017-07-18 2019-01-25 卡西欧计算机株式会社 绘图装置、绘图方法以及记录有程序的记录介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
JP2018050119A (ja) * 2016-09-20 2018-03-29 国立大学法人 東京大学 作業車両の表示システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1344470A (zh) * 1999-04-16 2002-04-10 松下电器产业株式会社 图象处理装置及监视系统
US20100220190A1 (en) * 2009-02-27 2010-09-02 Hyundai Motor Japan R&D Center, Inc. Apparatus and method for displaying bird's eye view image of around vehicle
CN103778617A (zh) * 2012-10-23 2014-05-07 义晶科技股份有限公司 动态图像处理方法以及动态图像处理系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3695377B2 (ja) * 2001-10-01 2005-09-14 日産自動車株式会社 画像合成装置および画像合成方法
US7148861B2 (en) * 2003-03-01 2006-12-12 The Boeing Company Systems and methods for providing enhanced vision imaging with decreased latency
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP2007226300A (ja) * 2006-02-21 2007-09-06 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP3328048B1 (en) * 2008-05-20 2021-04-21 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2482557B1 (en) 2009-09-24 2020-03-18 Panasonic Intellectual Property Management Co., Ltd. Driving support display device
WO2012075250A1 (en) * 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
JP5853457B2 (ja) * 2011-07-20 2016-02-09 アイシン精機株式会社 車両周辺監視システム
WO2013043751A1 (en) * 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US9210392B2 (en) * 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US20140002674A1 (en) * 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
WO2014031795A1 (en) * 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
JP6115104B2 (ja) * 2012-12-04 2017-04-19 アイシン精機株式会社 車両の制御装置、及び制御方法
US9519972B2 (en) * 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9185276B2 (en) * 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015081279A1 (en) * 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
CN106462937B (zh) * 2014-06-06 2019-12-31 夏普株式会社 图像处理装置以及图像显示装置
JP2016162392A (ja) * 2015-03-05 2016-09-05 セイコーエプソン株式会社 ３次元画像処理装置および３次元画像処理システム
KR102328020B1 (ko) * 2015-04-03 2021-11-17 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1344470A (zh) * 1999-04-16 2002-04-10 松下电器产业株式会社 图象处理装置及监视系统
US20100220190A1 (en) * 2009-02-27 2010-09-02 Hyundai Motor Japan R&D Center, Inc. Apparatus and method for displaying bird's eye view image of around vehicle
CN103778617A (zh) * 2012-10-23 2014-05-07 义晶科技股份有限公司 动态图像处理方法以及动态图像处理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272517A (zh) * 2017-07-18 2019-01-25 卡西欧计算机株式会社 绘图装置、绘图方法以及记录有程序的记录介质

Also Published As

Publication number Publication date
JP2016224610A (ja) 2016-12-28
EP3098777A1 (en) 2016-11-30
US10382679B2 (en) 2019-08-13
JP6582557B2 (ja) 2019-10-02
US20160353019A1 (en) 2016-12-01
EP3098777B1 (en) 2020-02-26

Similar Documents

Publication Publication Date Title
JP6595726B2 (ja) 両眼視野／単眼視野間の移行
KR101956149B1 (ko) 이미지 사이의 광학 흐름의 효율적 결정
US8817079B2 (en) Image processing apparatus and computer-readable recording medium
CN110060202A (zh) 一种单目slam算法的初始化方法及系统
JP5011224B2 (ja) 任意視点映像生成装置及び任意視点映像生成プログラム
JP4828506B2 (ja) 仮想視点画像生成装置、プログラムおよび記録媒体
CN103198488B (zh) Ptz监控摄像机实时姿态快速估算方法
US20140125774A1 (en) Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof
KR102143098B1 (ko) 임의의 뷰 생성
CN103617606A (zh) 用于辅助驾驶的车辆多视角全景生成方法
KR102067823B1 (ko) 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치
JP6276719B2 (ja) 画像生成装置、座標変換テーブル作成装置および作成方法
CN106204432A (zh) 绘图装置、绘图方法和绘图程序
CA2845073A1 (en) Combination of narrow-and wide-view images
CN109544498A (zh) 一种图像自适应融合方法
KR101853269B1 (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 장치
US20160232705A1 (en) Method for 3D Scene Reconstruction with Cross-Constrained Line Matching
CN110349077B (zh) 一种全景图像合成方法、装置及电子设备
CN109427089B (zh) 基于环境光照条件的混合现实对象呈现
CN110430416B (zh) 自由视点图像生成方法和装置
WO2020208976A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN110084851A (zh) 一种双目点云生成方法及系统
KR20220133766A (ko) 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템
JP4846627B2 (ja) 表示制御装置
Huo et al. Research on the auxiliary panoramic parking technology based on fast image mosaic

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161207

RJ01 Rejection of invention patent application after publication