CN101080741A - 用于图像合成的设备及方法 - Google Patents
用于图像合成的设备及方法 Download PDFInfo
- Publication number
- CN101080741A CN101080741A CNA2006800013448A CN200680001344A CN101080741A CN 101080741 A CN101080741 A CN 101080741A CN A2006800013448 A CNA2006800013448 A CN A2006800013448A CN 200680001344 A CN200680001344 A CN 200680001344A CN 101080741 A CN101080741 A CN 101080741A
- Authority
- CN
- China
- Prior art keywords
- virtual view
- frame memory
- image
- composograph
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000015654 memory Effects 0.000 claims abstract description 104
- 238000012552 review Methods 0.000 claims description 67
- 238000003860 storage Methods 0.000 claims description 54
- 239000000203 mixture Substances 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 22
- 230000007812 deficiency Effects 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 13
- 230000005055 memory storage Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 8
- 230000002950 deficient Effects 0.000 abstract 1
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
一种用于合成图像的设备和方法，通过其，即使当虚拟视点被动态地改变时，也能正确显示合成图像。提供指示输入图像和失真校正后图像之间的对应关系的坐标变换表，和产生合成图像所需的关于虚拟视点位置的参数。基于该坐标变换表和关于虚拟视点位置的参数，产生表示输入图像和从虚拟视点所见的合成图像之间的对应关系的虚拟视点变换数据，在帧存储器(15)中写入摄像机图像，并通过用帧存储器(15)的残余存取带宽，基于虚拟视点变换数据读出摄像机图像，来产生合成图像，并且，当由于帧存储器(15)的不足的存取带宽而不能读出摄像机图像时，用任意位图数据替换不能从帧存储器(15)读出的摄像机图像。
Description
技术领域
本发明涉及一种图像合成设备，用于显示安装在车辆上的摄像机的所处理图像，以减少驾驶员的车辆的盲点，并便利驾驶操作。
背景技术
传统地，作为用于合成从安装于车辆外围的多个摄像机获得的各个图像的图像合成设备，已经提出了一种图像合成设备，其中例如，自环绕驾驶员自己车辆的上方所见的图像被变形并合成，合成图像被显示在车辆内部的显示设备上(例如，见专利参考文件1)。也已经提出了另一种图像合成设备，其中，在图像的变形/合成中，虚拟视点(virtual viewpoint)的位置被动态地改变，以根据驾驶状况提供最佳视点图像(合成图像)(例如，见专利参考文件2)。
图3是专利参考文件2中所披露的车辆外围监视设备的示意配置的方框图。该图中所示的车辆外围监视设备包括摄像机单元101、模/数(A/D)转换单元102、帧存储器单元103、图像合成单元104、数/模(D/A)转换单元105、显示器106、变换表107和视点变化使用参数供应(viewpoint changing useparameter supplying)单元108。摄像机单元101包括多个摄像机C1到Cn。模/数转换单元102和帧存储器103也相应地包括模/数转换器AD1到ADn和帧存储器FM1到FMn，其个数等同于摄像机C1到Cn的个数。
由摄像机C1到Cn所拾取的图像被相应地存储在帧存储器FM1到FMn中。变换表107是用于失真校正的几何变换的ROM。视点变化使用参数供应单元108向图像合成单元104提供视点变化使用参数，以动态地改变视点变化。图像合成设备104由CPU或DSP(数字信号处理器)构成。图像合成设备104基于变换表107中的几何变换表来校正自摄像机C1到Cn获得的图像的失真，并基于自视点变换参数供应单元108提供的视点变换参数进行用于变换的地址计算。
在该方法中，对视点位置来说不变的、用于失真校正的变换表是预先计算的以构成该ROM。对于其变换规则是根据起始点而变化的视点变换/合成，基于从视点变换使用参数供应单元108提供的参数，连续地进行用于变换的地址计算。这样，通过动态地改变视点位置，可以根据驾驶状况，在安装于车辆内部的显示器106上显示最佳合成图像。
专利参考文件1：JP-A-58(Showa)-110334
专利参考文件2：JP-A-2001-339716
发明内容
本发明所要解决的问题
同时，考虑合成图像的图像质量，通过利用合成图像和输入图像之间的、非1像素对1像素而是1像素对多像素的对应关系而插补/产生合成图像，可以改善图像质量。在此情况下，如果二维地考虑输入图像，为了获得合成图像的一个像素，则需要X方向和Y方向的每个方向的两个像素，即总共四个像素。相应地，增加了存取帧存储器的数量。因为帧存储器中的存取的带宽影响生成成本，因此，重要的是如何以有限的存取带宽改善图像质量。具体地，有一种将图像质量的改善限定在合成图像的特定部分的技术，和另一种如果插补比例高的话无需插补读出一个像素的技术。但是，在这两种技术中，整个帧存储器的存取数量根据虚拟视点的位置而变化。
但是，在传统图像合成设备中，没有考虑由于虚拟视点的动态改变造成的对帧存储器的存取数量的增加或减少。因此，由于在帧存储器中存取带宽中的不足而导致的读出图像数据的失败，图像可能被丢失。另外，如果载入线存储器(line memory)，在先前线的时刻所读出的图像会被不利地显示。附带地，在NTSC(国家电视标准委员会)系统的情况下，因为在隔行扫描中的时间轴在偶数线和奇数线是不同的，例如，即使在同一图像中输出两条偶数线，对应于其间的奇数线的不同图像存在，以至于合成的图像变得不自然。
考虑到上述情况完成了本发明。本发明的一个目的是为了提供一种图像合成设备和图像合成方法，其在即使虚拟视点在动态地改变的情况下也能精确地显示合成图像。
解决问题的手段
上述目的能通过下列配置和方法来实现。
(1)一种图像合成设备包括：坐标变换表存储装置，用于存储表示输入图像和失真校正后图像之间的相关性的坐标变换表；虚拟视点变换数据产生装置，用于基于存储在坐标变换表存储装置中的坐标变换表和关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间相关性的虚拟视点变换数据；视点变换使用参数供应装置，用于向虚拟视点变换数据产生装置提供产生合成图像所需的关于虚拟视点位置的参数；存储器控制装置，用于执行对帧存储器的摄像机图像的写操作，并且用帧存储器中残余的存取带宽，基于由虚拟视点变换数据产生装置所产生的虚拟视点变换数据，来执行摄像机图像的读操作，从而产生合成图像，和用于如果由于帧存储器中存取带宽中的不足而导致没有摄像机图像能被读出，生成指示读操作失败的信息；以及虚拟视点图像变换装置，用于如果从存储器控制装置输出指示任何摄像机图像的读操作失败的信息，用另一图像数据替换由于帧存储器中存取带宽中的不足而不能被存储器控制装置读出的摄像机图像。
(2)在上述项(1)所定义的图像合成设备中，虚拟视点图像变换装置在不使用不能被存储器控制装置读出的摄像机图像的情况下产生合成图像。
(3)在上述项(1)中所定义的图像合成设备中，在产生从多个像素合成的单个合成像素的情况下，即使由于帧存储器中的存取带宽中的不足而不能从存储器控制装置读出该多个像素的部分，该虚拟视点图像变换装置也用其余的像素来产生合成图像。
(4)一种图像合成设备包括：坐标变换表存储装置，用于存储指示输入图像和失真校正后图像之间的相关性的坐标变换表；虚拟视点变换数据产生装置，用于基于存储在坐标变换表存储装置中的坐标变换表和关于虚拟视点位置的参数，产生虚拟视点变换数据，其指示输入图像和从虚拟视点所见的合成图像之间的相关性；视点变换使用参数供应装置，用于向虚拟视点变换数据产生装置提供产生合成图像所需的关于虚拟视点位置的参数；帧存储器存取带宽计算装置，用于基于输入摄像机图像的数目和由虚拟视点变换数据产生装置所产生的虚拟视点变换数据，来计算对帧存储器的存储器存取的数量；存储器存取数据控制装置，用于基于由帧存储器存取带宽计算装置所计算的存储器存取的数量，来控制虚拟视点变换数据的存储器存取数据的数量；以及存储器控制装置，用于执行对帧存储器的摄像机图像的写操作，并且还使用帧存储器中残余的存取带宽，基于其存储器存取数据的数量被存储器存取数据控制装置控制的虚拟视点变换数据，执行摄像机图像的读操作，由此产生合成图像。
(5)一种图像合成方法，包括步骤：准备指示输入图像和失真校正后图像之间的相关性的坐标变换表和产生合成图像所需的、关于虚拟视点位置的参数；基于坐标变换表和关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间的相关性的虚拟视点变换数据；执行对帧存储器的摄像机图像的写操作，并且还用帧存储器中残余的存取带宽，基于虚拟视点变换数据，来执行摄像机图像的读操作，从而产生合成图像；以及如果由于帧存储器中存取带宽中的不足而导致没有摄像机图像能被读出，则用另一图像数据来替换不能从帧存储器读出的摄像机图像，从而产生合成图像。
(6)在上述项(5)中所定义的图像合成方法中，在不使用由于帧存储器中存取带宽中的不足而不能被读出的摄像机图像的情况下，产生合成图像。
(7)在上述项(5)中所定义的图像合成方法中，在产生从多个像素合成的单个合成像素的情况下，即使由于帧存储器中的存取带宽中的不足而不能从存储器控制装置读出该多个像素的部分，也用其余的像素来产生合成图像。
(8)一种图像合成方法，包括步骤：准备指示输入图像和失真校正后图像之间的相关性的坐标变换表和产生合成图像所需的关于虚拟视点位置的参数；基于坐标变换表和关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间的相关性的虚拟视点变换数据；基于如此产生的虚拟视点变换数据和输入摄像机图像的数目，计算对帧存储器的存储器存取的数量；基于如此计算的存储器存取的数量，控制虚拟视点变换数据的存储器存取数据的数量；以及执行对帧存储器的摄像机图像的写操作，并且还使用帧存储器中残余的存取带宽，基于其存储器存取数据的数量被控制的虚拟视点变换数据，来执行摄像机图像的读操作，从而产生合成图像。
本发明的优点
在上述项(1)中所定义的图像合成设备中，用另一图像数据(例如，诸如位图数据的具体图像数据)来替换由于在帧存储器中存取带宽中的不足而不能被所述存储器控制装置所读出的摄像机图像，从而产生合成图像。由于该原因，即使动态地改变虚拟视点，也不会丢失该图像，且不会显示在先前线时刻所读出的图像，从而允许始终显示精确的合成图像。
在上述项(2)中所定义的图像合成设备中，如果能从帧存储器读出至少一个摄像机图像，则实际摄像机图像的合成图像能被获得，而无需被另一图像数据(诸如位图数据的具体图像数据)替换。
在上述项(3)中所定义的图像合成设备中，在产生从多个像素合成的单个合成像素的情况下，如果能从帧存储器读出至少一个摄像机图像，则实际摄像机图像的合成图像能被获得，而无需被另一图像数据(诸如位图数据的具体图像数据)替换。
在上述项(4)中所定义的图像合成设备中，因为虚拟视点变换数据的存储器存取数据的数量被控制在不超出帧存储器中的存取带宽的范围内，所以可以省略用另一图像数据替换不能被读出的摄像机数据的处理。
在上述项(5)中所定义的图像合成方法中，用另一数据(例如，诸如位图数据的具体图像数据)来替换由于帧存储器中的存取带宽中的不足而不能被所述存储器控制装置所读出的摄像机图像，从而产生合成图像。由于这个原因，即使动态地改变虚拟视点，也不会丢失该图像，且不会显示在先前线时刻所读出的图像，从而允许始终显示精确的合成图像。
在上述项(6)中所定义的图像合成方法中，如果能从帧存储器读出至少一个摄像机图像，则实际摄像机图像的合成图像能被获得，而无需被另一图像数据(诸如位图数据的具体图像数据)替换。
在上述项(7)中所定义的图像合成方法中，在产生从多个像素合成的单个合成像素的情况下，如果能从帧存储器读出至少一个摄像机图像，则实际摄像机图像的合成图像能被获得，而无需被另一图像数据(诸如位图数据的具体图像数据)替换。
在上述项(8)中所定义的图像合成方法中，因为虚拟视点变换数据的存储器存取数据的数量被控制在不超出帧存储器中的存取带宽的范围内，所以可以省略用另一图像数据替换不能被读出的摄像机数据的处理。
附图说明
图1是显示根据本发明的第一个实施例的图像合成设备的示意配置的方框图。
图2是显示根据本发明的第二个实施例的图像合成设备的示意配置的方框图。
图3是传统图像合成设备的示意配置的方框图。
标记数字和符号的描述
10摄像机单元
11坐标变换表存储单元
12虚拟视点变换数据产生单元
13视点变换使用参数供应单元
14存储器控制单元
15帧存储器
16虚拟视点图像变换单元
17显示单元
18帧存储器存取带宽计算单元
19存储器存取数据控制单元
本发明的最佳实施方式
现在参考附图，将给出本发明的优选实施例的详细解释。
实施例1
图1是显示根据本发明的第一个实施例的图像合成设备的示意配置的方框图。在该图中，根据本实施例的图像合成设备包括摄像机单元10、坐标变换表存储单元11、虚拟视点变换数据产生单元12、视点变换使用参数供应单元13、存储器控制单元14、帧存储器15、虚拟视点图像变换单元16和显示单元17。
如前，摄像机单元10由多个摄像机(未示出)构成，且用于拾取对象。坐标变换表存储单元11存储指示输入图像和失真校正后图像之间相关性(即变换后的图像坐标和变换前的图像坐标之间的关系)的坐标变换表。虚拟视点变换数据产生单元12连续地计算失真校正后的图像和合成图像之间的相关性，从而产生用于获得自虚拟视点所见图像的虚拟视点变换数据。该视点变换使用参数供应单元13向虚拟视点变换数据产生单元12提供用于产生合成图像所需的、关于虚拟视点位置的参数。帧存储器15存储摄像机图像。
存储器控制单元14执行对于帧存储器15的摄像机图像的写和读操作，来产生合成图像。虚拟视点图像变换单元16用诸如位图数据的另一图像数据替换由于帧存储器15中存取带宽中的不足而不能被存储器控制单元14读出的摄像机图像。在此情况下，如果至少一个摄像机图像可以从帧存储器15被读出，而无需用另一图像数据诸如位图数据替换，则可由获得实际摄像机图像的合成图像。显示单元17可视地显示从虚拟视点图像变换单元16所生成的合成后图像。
下面，将给出具有上述配置的图像合成设备的操作的解释。在虚拟视点变换数据产生单元12中，基于存储在坐标变换表存储单元11中的坐标变换表和从视点变换使用参数供应单元13提供的关于虚拟视点位置的参数，产生指示从虚拟视点所见的合成后图像和输入图像之间相关性的虚拟视点变换数据。虚拟视点变换数据的内容是对应于合成图像的XY坐标(Xo，Yo)的输入图像的XY坐标(Xi，Yi)，以及X轴插补系数Xk和Y轴插补系数Yk。(Xo，Yo)＝Xk×{Yk×(Xi，Yi)+(1-Yk)×(Xi，Yi+1)}+(1-Xk)×{Yk×(Xi+1，Yi)+(1-Yk)×(Xi+1，Yi+1)}......(1)
在此情况下，合成图像的一个像素是从输入图像的四个像素(Xi，Yi)、(Xi，Yi+1)、(Xi+1，Yi)、(Xi+1，Yi+1)获得的。但是，考虑Xk＝1或Yk＝1的情况，实际所需的像素的个数根据插补系数的值在一个到四个像素的范围内变化。
存储器控制单元14执行对帧存储器15的摄像机图像的写操作，并且使用帧存储器15中残余的存取带宽，基于由虚拟视点变换数据产生单元12所产生的虚拟视点变换数据，而执行对摄像机图像的读操作，由此产生合成图像。如果由于帧存储器15中的存取带宽的不足而导致没有摄像机图像能被读出，则存储器控制单元14生成指示读操作失败的信息。在此情况下，在由于帧存储器15中的存取带宽的不足而导致没有摄像机图像能被读出的情况下，存储器控制单元14通知虚拟视点图像变换单元16该读操作的失败。在虚拟视点图像变换单元16中，基于从帧存储器15读取的摄像机图像，用上述公式(1)来计算合成后图像。该合成后图像被显示在显示单元17上。在此情况下，如果任何摄像机图像的读操作都以失败告终，则用任何位图数据替换合成后图像。
如上所述，在根据本实施例的图像合成设备中，已预备了指示输入图像和失真校正后图像之间的相关性的坐标变换表和用于产生合成图像所需的关于虚拟视点位置的参数；基于坐标变换表和关于虚拟视点位置的参数，产生指示输入图像和虚拟视点之间相关性的虚拟视点变换数据；对帧存储器15执行摄像机图像的写操作，并且还使用帧存储器15中残余的存取带宽，执行基于虚拟视点变换数据的对摄像机图像的读操作，由此产生合成后图像；如果由于帧存储器15中存取带宽的不足而导致没有摄像机图像能被读出，则用任何位图数据来替换不能从帧存储器15读出的摄像机图像。由此，即使动态地改变虚拟视点以至于存储器控制单元14对帧存储器15的存取数量超过存取带宽，将不会丢失图像，且将不会显示在先前线时刻所读出的图像，从而允许始终显示精确的合成图像。
当在车辆外围监视设备中使用根据本实施例的图像合成设备时，可能减少车辆驾驶员的盲点并便利驾驶操作。
附带地，在该实施例中，在虚拟视点图像变换单元16中，如果摄像机图像的读操作只以失败告终，则用任何位图数据替换有关合成图像。但是，在需要多个摄像机图像数据以计算合成图像的情况下，如果至少一个摄像机图像数据的读操作成功，则可以用该摄像机图像数据获得合成图像。
实施例2
图2是显示根据本发明的第二个实施例的图像合成设备的示意配置的方框图。在该图像中，相同标记数字表示在图1中的相同的组成元件。在图2中，根据本实施例的图像合成设备包括摄像机单元10；坐标变换表存储单元11；虚拟视点变换数据产生单元12；视点变换使用参数供应单元13；帧存储器15；帧存储器存取带宽计算单元18，用于基于所输入的摄像机图像的数目和由虚拟视点变换数据产生单元12所产生的虚拟视点变换数据，计算对帧存储器15的存储器存取的数量；存储器存取数据控制单元19，用于如果由帧存储器存取带宽计算单元18计算的帧存储器15的存取数量超过帧存储器15中的存取带宽，通过控制虚拟视点变换数据的插补系数由此使Xk或Yk接近1来控制帧存储器15的存取数量；存储器控制单元14，用于执行对帧存储器15的摄像机图像的写操作，并且还使用帧存储器15中残余的存取带宽，基于其存储器存取数据的数量受存储器存取数据控制单元19控制的虚拟视点变换数据，来执行摄像机图像的读操作，由此产生合成后图像；以及显示单元17，用于可视地显示由存储器控制单元14所产生的合成后图像。
接下来，将给出具有上述配置的图像合成设备的操作的解释。在虚拟视点变换数据产生单元12中，基于从坐标变换表存储单元11提供的坐标变换表和从坐标使用参数供应单元13提供的关于虚拟视点位置的参数，产生虚拟视点变换数据，其指示从虚拟视点所见的合成图像和输入图像之间的相关性。虚拟视点变换数据的内容，如在上述第一个实施例中一样，是对应于合成图像的XY坐标(Xo，Yo)的输入图像的XY坐标(Xi，Yi)，以及X轴插补系数Xk和Y轴插补系数Yk。帧存储器存取带宽计算单元18基于摄像机图像和虚拟视点变换数据，计算用于存取帧存储器15所需的存取的数量。如果该存取的数量超过存取后的带宽，在存储器存取数据控制单元19中，以接近于1的值的顺序，使X轴插补系数和Y轴插补系数近似到“1”，由此控制存取的数量。当存取的数量变得低于存取带宽时，完成该控制。在存储器控制单元14中，执行对帧存储器15的摄像机图像的写和读操作，以便基于如此读取的摄像机图像产生合成图像。在显示单元17上显示合成图像。
如上所述，在根据本实施例的图像合成设备中，准备指示输入图像和失真校正后的图像之间的相关性的坐标变换表和产生合成图像所需的关于虚拟视点位置的参数；基于该坐标变换表和关于虚拟视点位置的参数，产生指示输入图像和虚拟视点之间的相关性的虚拟视点变换数据；基于所产生的虚拟视点变换数据和输入摄像机图像的个数，来计算对帧存储器15的存储器存取的数量；基于所计算的存储器存取的数量，来控制虚拟视点变换数据的存储器存取数据的数量；对帧存储器15执行摄像机数据的写操作，并且用帧存储器15的残余存取带宽，执行基于其存储器存取数据的数量被控制的虚拟视点变换数据的、摄像机图像的读操作。由此，即使动态地改变虚拟视点，以至于存储器控制单元14对帧存储器15的的存取数量超过存取带宽，也不会丢失图像，且不会显示在先前线时刻所读出的图像，从而允许始终显示不会让驾驶员混淆的精确的合成图像。具体地，在本实施例中，因为虚拟视点变换数据的存储器存取数据的数量被控制在不超过帧存储器15的存取带宽的范围内，所以可以省略以另一图像数据替换不能被其他图像数据读出的摄像机图像的处理。
同样在车辆外围监视设备中使用根据本实施例的图像合成设备的情况下，可能监视车辆驾驶员的盲点，并便利驾驶操作。
参考具体实施例已经详细地解释了本发明。但是，对本领域技术人员来说显而易见的是，本发明可以在不脱离本发明的精神和范围的情况下以各种方式改变或修改。
本申请基于在2005年7月15日的日本专利申请(专利申请No.2005-207044)，其内容被引用附于此。
工业适应性
本发明产生效果，即，即使动态地改变虚拟视点，也不会丢失图像，且不会显示在先前线时刻所读出的图像，从而允许始终显示精确的合成图像。因此，本发明能被应用于车辆外围监视设备，以显示安装在车辆上的摄像机的处理后的图像。
Claims (8)
1.一种图像合成设备，包括：
坐标变换表存储装置，用于存储指示输入图像和失真校正后图像之间的相关性的坐标变换表；
虚拟视点变换数据产生装置，用于基于存储在所述坐标变换表存储装置中的坐标变换表和关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间相关性的虚拟视点变换数据；
视点变换使用参数供应装置，用于向所述虚拟视点变换数据产生装置提供产生合成图像所需的关于所述虚拟视点位置的参数；
存储器控制装置，用于执行对帧存储器的摄像机图像的写操作，并且用所述帧存储器中残余的存取带宽，基于由所述虚拟视点变换数据产生装置所产生的虚拟视点变换数据，来执行摄像机图像的读操作，由此产生合成图像，和用于如果由于所述帧存储器中存取带宽中的不足而导致没有摄像机图像能被读出，则生成指示读操作失败的信息；以及
虚拟视点图像变换装置，用于如果从所述存储器控制装置输出指示任何摄像机图像的读操作失败的信息，用另一图像数据替换由于帧存储器中存取带宽中的不足而不能被所述存储器控制装置读出的摄像机图像。
2.根据权利要求1所述的图像合成设备，其中，所述虚拟视点图像变换装置在不使用不能被所述存储器控制装置读出的摄像机图像的情况下产生合成图像。
3.根据权利要求1所述的图像合成设备，其中，在产生从多个像素合成的单个合成像素的情况下，即使由于所述帧存储器中的存取带宽的不足而不能从所述存储器控制装置读出所述多个像素的部分，所述虚拟视点图像变换装置也用其余的像素来产生合成图像。
4.一种图像合成设备包括：
坐标变换表存储装置，用于存储指示输入图像和失真校正后图像之间的相关性的坐标变换表；
虚拟视点变换数据产生装置，用于基于存储在所述坐标变换表存储装置中的坐标变换表和关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间相关性的虚拟视点变换数据；
视点变换使用参数供应装置，用于向所述虚拟视点变换数据产生装置提供产生合成图像所需的关于所述虚拟视点位置的参数；
帧存储器存取带宽计算装置，用于基于输入摄像机图像的数目和由所述虚拟视点变换数据产生装置所产生的虚拟视点变换数据，来计算对帧存储器的存储器存取的数量；
存储器存取数据控制装置，用于基于由所述帧存储器存取带宽计算装置计算的存储器存取的数量，来控制所述虚拟视点变换数据的存储器存取数据的数量；以及
存储器控制装置，用于执行对所述帧存储器的摄像机图像的写操作，并且还使用所述帧存储器中残余的存取带宽，基于其存储器存取数据的数量被存储器存取数据控制装置控制的虚拟视点变换数据，来执行摄像机图像的读操作，由此产生合成图像。
5.一种图像合成方法，包括步骤：
准备指示输入图像和失真校正后图像之间的相关性的坐标变换表和产生合成图像所需的、关于虚拟视点位置的参数；
基于所述坐标变换表和所述关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间相关性的虚拟视点变换数据；
执行对帧存储器的摄像机图像的写操作，并且还使用所述帧存储器中残余的存取带宽，基于所述虚拟视点变换数据，来执行摄像机图像的读操作，由此产生合成图像；以及
如果由于所述帧存储器中存取带宽中的不足而导致没有摄像机图像能被读出，则用另一图像数据来替换不能从帧存储器读出的摄像机图像，由此产生合成图像。
6.根据权利要求5所述的图像合成方法，其中，在不使用由于所述帧存储器中存取带宽中的不足而不能被读出的摄像机图像的情况下，产生合成图像。
7.根据权利要求5所述的图像合成方法。其中在产生从多个像素合成的单个合成像素的情况下，即使由于所述帧存储器中的存取带宽的不足而不能从所述存储器控制装置读出所述多个像素的部分，也用其余的像素来产生合成图像。
8.一种图像合成方法，包括步骤：
准备指示输入图像和失真校正后图像之间的相关性的坐标变换表和产生合成图像所需的、关于虚拟视点位置的参数；
基于所述坐标变换表和所述关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间相关性的虚拟视点变换数据；
基于如此产生的虚拟视点变换数据和输入摄像机图像的数目，计算对帧存储器的存储器存取的数量；
基于如此计算的存储器存取的数量，控制所述虚拟视点变换数据的存储器存取数据的数量；以及
执行对所述帧存储器的摄像机图像的写操作，并且还使用帧存储器中残余的存取带宽，基于其存储器存取数据的数量被控制的虚拟视点变换数据，来执行摄像机图像的读操作，由此产生合成图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP207044/2005 | 2005-07-15 | ||
| JP2005207044A JP4727329B2 (ja) | 2005-07-15 | 2005-07-15 | 画像合成装置及び画像合成方法 |
| PCT/JP2006/313138 WO2007010729A1 (ja) | 2005-07-15 | 2006-06-30 | 画像合成装置及び画像合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101080741A true CN101080741A (zh) | 2007-11-28 |
| CN101080741B CN101080741B (zh) | 2010-08-18 |
Family
ID=37668615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2006800013448A Active CN101080741B (zh) | 2005-07-15 | 2006-06-30 | 用于图像合成的设备及方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20080048848A1 (zh) |
| EP (1) | EP1906355B1 (zh) |
| JP (1) | JP4727329B2 (zh) |
| CN (1) | CN101080741B (zh) |
| WO (1) | WO2007010729A1 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101819678A (zh) * | 2010-03-16 | 2010-09-01 | 昆明理工大学 | 驾驶模拟系统三维虚拟图像的标定方法 |
| CN102577374A (zh) * | 2009-10-21 | 2012-07-11 | 松下电器产业株式会社 | 视频图像转换装置和摄像装置 |
| CN102639360A (zh) * | 2009-11-16 | 2012-08-15 | 富士通天株式会社 | 车载照明设备、图像处理设备和图像显示系统 |
| CN102111621B (zh) * | 2009-12-23 | 2013-03-13 | 中国移动通信集团公司 | 一种恢复视频数据的方法、装置和系统 |
| CN101889434B (zh) * | 2007-12-05 | 2014-05-07 | 佳能株式会社 | 图像处理设备及其控制方法 |
| CN109559282A (zh) * | 2017-09-25 | 2019-04-02 | 德克萨斯仪器股份有限公司 | 用于通用几何校正引擎的高效处理的方法和系统 |
| CN109964253A (zh) * | 2016-10-28 | 2019-07-02 | 佳能株式会社 | 图像处理设备、图像处理系统、图像处理方法和程序 |
| CN111572450A (zh) * | 2019-02-15 | 2020-08-25 | 松下知识产权经营株式会社 | 图像处理装置、车载照相机系统和图像处理方法 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4450036B2 (ja) | 2007-09-10 | 2010-04-14 | トヨタ自動車株式会社 | 複合画像生成装置、及びプログラム |
| JP5053776B2 (ja) * | 2007-09-14 | 2012-10-17 | 株式会社デンソー | 車両用視界支援システム、車載装置、及び、情報配信装置 |
| JP6585371B2 (ja) * | 2015-04-24 | 2019-10-02 | 株式会社デンソーテン | 画像処理装置、画像処理方法および車載装置 |
| JP6894687B2 (ja) * | 2016-10-11 | 2021-06-30 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
| KR102633595B1 (ko) | 2016-11-21 | 2024-02-05 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
| US10237537B2 (en) | 2017-01-17 | 2019-03-19 | Alexander Sextus Limited | System and method for creating an interactive virtual reality (VR) movie having live action elements |
| JP2020134973A (ja) * | 2019-02-12 | 2020-08-31 | キヤノン株式会社 | 素材生成装置、画像生成装置および画像処理装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69835802T2 (de) * | 1998-03-09 | 2007-04-12 | Sony Deutschland Gmbh | Verfahren und System zur Interpolation von digitalen Signalen |
| CN1258909C (zh) * | 1998-07-30 | 2006-06-07 | 松下电器产业株式会社 | 动图象合成装置 |
| JP2000057350A (ja) * | 1998-08-10 | 2000-02-25 | Toshiba Corp | 画像処理装置と方法及び画像送信装置と方法 |
| JP3593466B2 (ja) * | 1999-01-21 | 2004-11-24 | 日本電信電話株式会社 | 仮想視点画像生成方法およびその装置 |
| US6542840B2 (en) * | 2000-01-27 | 2003-04-01 | Matsushita Electric Industrial Co., Ltd. | Calibration system, target apparatus and calibration method |
| JP3297040B1 (ja) * | 2001-04-24 | 2002-07-02 | 松下電器産業株式会社 | 車載カメラの画像合成表示方法及びその装置 |
| JP3871614B2 (ja) * | 2002-06-12 | 2007-01-24 | 松下電器産業株式会社 | 運転支援装置 |
| JP2004147210A (ja) * | 2002-10-25 | 2004-05-20 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
| JP2004240480A (ja) * | 2003-02-03 | 2004-08-26 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
| US20050024651A1 (en) * | 2003-07-29 | 2005-02-03 | Zhenghua Yu | Adaptive complexity scalable post-processing method |
-
2005
- 2005-07-15 JP JP2005207044A patent/JP4727329B2/ja active Active
-
2006
- 2006-06-30 WO PCT/JP2006/313138 patent/WO2007010729A1/ja active Application Filing
- 2006-06-30 EP EP06767726A patent/EP1906355B1/en active Active
- 2006-06-30 CN CN2006800013448A patent/CN101080741B/zh active Active
- 2006-06-30 US US11/791,972 patent/US20080048848A1/en not_active Abandoned
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101889434B (zh) * | 2007-12-05 | 2014-05-07 | 佳能株式会社 | 图像处理设备及其控制方法 |
| CN102577374A (zh) * | 2009-10-21 | 2012-07-11 | 松下电器产业株式会社 | 视频图像转换装置和摄像装置 |
| CN102639360A (zh) * | 2009-11-16 | 2012-08-15 | 富士通天株式会社 | 车载照明设备、图像处理设备和图像显示系统 |
| CN102639360B (zh) * | 2009-11-16 | 2014-12-10 | 富士通天株式会社 | 车载照明设备、图像处理设备和图像显示系统 |
| CN102111621B (zh) * | 2009-12-23 | 2013-03-13 | 中国移动通信集团公司 | 一种恢复视频数据的方法、装置和系统 |
| CN101819678A (zh) * | 2010-03-16 | 2010-09-01 | 昆明理工大学 | 驾驶模拟系统三维虚拟图像的标定方法 |
| CN109964253A (zh) * | 2016-10-28 | 2019-07-02 | 佳能株式会社 | 图像处理设备、图像处理系统、图像处理方法和程序 |
| CN109964253B (zh) * | 2016-10-28 | 2020-01-31 | 佳能株式会社 | 图像处理设备、图像处理系统、图像处理方法和存储介质 |
| US11128813B2 (en) | 2016-10-28 | 2021-09-21 | Canon Kabushiki Kaisha | Image processing apparatus, image processing system, image processing method, and storage medium |
| CN109559282A (zh) * | 2017-09-25 | 2019-04-02 | 德克萨斯仪器股份有限公司 | 用于通用几何校正引擎的高效处理的方法和系统 |
| CN111572450A (zh) * | 2019-02-15 | 2020-08-25 | 松下知识产权经营株式会社 | 图像处理装置、车载照相机系统和图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1906355A1 (en) | 2008-04-02 |
| CN101080741B (zh) | 2010-08-18 |
| WO2007010729A1 (ja) | 2007-01-25 |
| JP2007026071A (ja) | 2007-02-01 |
| JP4727329B2 (ja) | 2011-07-20 |
| US20080048848A1 (en) | 2008-02-28 |
| EP1906355A4 (en) | 2010-05-05 |
| EP1906355B1 (en) | 2011-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101080741A (zh) | 用于图像合成的设备及方法 | |
| US7773772B2 (en) | Image generation device and method for vehicle | |
| CN1266934C (zh) | 视频信号去隔行的方法及装置 | |
| CN1290057C (zh) | 改善的视频图像的空间分辨率 | |
| CN1829318A (zh) | 车载图像处理装置以及车辆用图像处理方法 | |
| CN1627175A (zh) | 具有分辨率变换功能的显示图像生成装置 | |
| CN1121670A (zh) | 帧像素数据发生系统 | |
| US20190379842A1 (en) | Image processing device | |
| CN101075425A (zh) | 图像信号处理电路和图像显示装置 | |
| CN1244236C (zh) | 距离计算方法和图像拾取设备 | |
| CN1925545A (zh) | 图像处理器 | |
| CN1831931A (zh) | 允许重叠显示的显示控制器 | |
| CN1835545A (zh) | 使用单个线存储器的图像比例换算设备及其比例换算方法 | |
| CN1605198A (zh) | 影像信号处理装置和方法 | |
| CN1317884C (zh) | 一种实现图像整数倍放大的方法 | |
| CN1210951C (zh) | 具有校正失真功能的投影式显示装置 | |
| CN1920935A (zh) | 图像显示方法、系统和单元 | |
| CN1123928A (zh) | 生成图像的方法和装置 | |
| CN1052130C (zh) | 图象变换设备 | |
| US7619652B2 (en) | Frame processing and frame processing method | |
| CN1728183A (zh) | 图像转换设备、图像转换电路及图像转换方法 | |
| CN1154048C (zh) | 寻址处理方法 | |
| US11494869B2 (en) | Image processor having a compressing engine performing operations on each row of M*N data block | |
| CN1946133A (zh) | 用以调整图像尺寸的方法及装置 | |
| CN1151471C (zh) | 图像处理装置和图像显示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Osaka, Japan Patentee after: Panasonic Holding Co.,Ltd. Country or region after: Japan Address before: Osaka, Japan Patentee before: Matsushita Electric Industrial Co.,Ltd. Country or region before: Japan |
|
| CP03 | Change of name, title or address | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240422 Address after: Kanagawa Prefecture, Japan Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd. Country or region after: Japan Address before: Osaka, Japan Patentee before: Panasonic Holding Co.,Ltd. Country or region before: Japan |
|
| TR01 | Transfer of patent right |