CN101821770B - 图像生成方法和装置 - Google Patents
图像生成方法和装置 Download PDFInfo
- Publication number
- CN101821770B CN101821770B CN2008801115467A CN200880111546A CN101821770B CN 101821770 B CN101821770 B CN 101821770B CN 2008801115467 A CN2008801115467 A CN 2008801115467A CN 200880111546 A CN200880111546 A CN 200880111546A CN 101821770 B CN101821770 B CN 101821770B
- Authority
- CN
- China
- Prior art keywords
- image
- pixels
- location
- corresponding point
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims description 13
- 238000011946 reduction process Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 abstract description 4
- 230000006866 deterioration Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Generation (AREA)
Abstract
一种图像生成方法，根据图像A、和比图像A位深度高的图像B，生成图像C的图像信息，对图像A进行色调映射，产生与图像B具有相同的位深度的图像C，对图像C的各像素位置与图像B中的对应点的有无、以及对应点位置进行推定，在推定为有对应点的、图像C中的像素位置中，设定图像B中的对应位置的图像信息。也可以根据推定为有对应点而设定的图像信息，产生在对应点推定中推定为没有对应点的、图像C中的像素位置的图像信息。
Description
技术领域
本发明涉及根据多个图像生成高位深度(bit depth)的图像的技术。
本申请基于2007年10月15日申请的日本专利申请特愿2007-267613号要求优先权，并在这里引用其内容。
背景技术
图11是表示直线排列的多视点摄像系统的摄影机配置例的图，图12是表示平面排列的多视点摄像系统的摄影机配置例的图，图13是表示弧形状排列的多视点摄像系统的摄影机配置例的图，图14是表示球面排列的多视点摄像系统的摄影机配置例的图。
已经开发了从不同方向对一个场景(scene)进行摄影的多视点摄像系统。在多视点摄像系统中，摄影机配置是如图11所示那样在直线上一维排列、或如图12所示那样在平面上二维排列、或如图13所示那样排列为弧形状、或如图14所示那样排列为球面状的配置等各种各样的。如果利用这样的多视点摄像系统，就能够对多面的视频图像场景进行归档(汇总为一个)。
进而，存在根据在多视点摄影的摄影机视频图像，生成没有摄影的假想摄影机位置的图像信息的技术。将其称为图像合成技术。
在图像合成中，假设已知摄影机参数，该摄影机参数表示原来的摄影机视频图像是从空间中的哪个方向摄影的图像信息。在图像合成中有各种各样的方法。
例如，存在推定深度信息(depth information)来进行合成的方法。首先，在原来的摄影机视频图像之间进行图像信息的对应点探索来求取视差信息，根据视差信息来推定场景的深度信息。然后，推定假想摄影机位置的深度信息，根据原来的摄影机的图像信息来产生对应的图像信息(参照非专利文献1)。
此外，也存在不进行深度信息的推定，而利用原来的图像的视差信息直接产生假想摄影机位置的图像信息的方法(参照非专利文献2)。
或者，也存在预先根据多个摄影机视频图像来推定在场景中存在的对象(object)的三维模型信息，生成从假想摄影机位置的该模型的投影图像的方法(参照非专利文献3)。
在这样的摄像系统中，通常使用位深度(灰度)相同的摄影机，但也可以使用位深度不同的摄影机。通过组合位深度高的摄影机和位深度低的摄影机进行使用，从而能够降低得到的图像信息的信息量。
作为根据位深度低的图像获得位深度高的图像的方法，可以举出色调映射方法(参照非专利文献4)。这是将量化后的值向更高的动态范围的信号映射的技术。
非专利文献1：Keita Takahashi and Takeshi Naemura，“LayeredLight-Field Rendering with Focus Measurement”，EURASIP SignalProcessing：Image Communication，vol.21，no.6，pp.519-530(2006.7).
非专利文献2：M.Droese，T.Fujii and M.Tanimoto，“Ray-SpaceInterpolation Constraining Smooth Disparities Based On Loopy BeliefPropagation”，Proc.of IWSSIP2004，pp.247-250，Poznan，Poland，Sept.2004.
非专利文献3：松山隆司、高井勇志、ウ小軍、延原章平：「3次元ビデオ映像の撮影·編集·表示」、日本バ一チヤルリアリテイ学会論文誌、Vol.7，No.4，pp.521-532，2002.12.
非专利文献4：E.Reinhard，M.Stark，P.Shirley and J.Ferwerda，“Photographic Tone Reproduction for Digital Images”，presented atSIGGRAPH，2002.
发明内容
本发明要解决的课题
本发明的目的在于，针对处理位深度不同的多视点视频图像这一发明者着眼的新技术，对低位深度的图像失去的以高动态范围表现的信息进行复原，使对于低位深度的图像的主观品质提高。
用于解决课题的方案
在现有技术中没有进行对位深度不同的多视点视频图像的处理。即，本发明的课题是从处理位深度不同的多视点视频图像这一新的技 术构思而产生的课题。
在多视点摄像系统中使用位深度不同的摄影机的情况下，低位深度的图像和高位深度的图像混合存在。此外，即使在以相同位深度的摄影机进行摄影的情况下，由于能够例如通过降低一部分的摄影机视频图像的位深度来削减信息量，所以有适于多视点图像的压缩的情况。即使在该情况下，低位深度的图像和高位深度的图像也混合存在。
在以上那样的情况下，在低位深度的图像信息中欠缺以高动态范围表现的信息。因此，以低位深度摄影的摄影机位置的图像信息与以高位深度摄影的摄影机位置中的图像信息相比，存在主观品质劣化的问题。
因此，本发明为了解决上述问题，提供一种对低位深度的图像失去的以高动态范围表现的信息进行复原，使对于低位深度的图像的主观品质提高的技术。
对本发明的概要进行说明。例如，通过以位深度不同的多个摄影机对同一场景进行摄影，从而能够减少处理的图像信息的总信息量。因此，在该情况下，能够大幅降低多视点视频图像的码量。
位深度指的是例如8位还是10位等的、信号的动态范围(dynamicrange)。当存在没有摄影的范围时(即，当动态范围变窄时)，该部分的信息欠缺，主观品质变差，因此在要削减多视点视频图像的码量时存在问题。
在本发明中，通过对失去的范围的信息进行复原，来解决该问题。原来在现有技术中并没有进行对位深度不同的多视点视频图像的处理。本发明的课题是从处理位深度不同的多视点视频图像这一新的技术构思而产生的课题。
本发明为了解决该课题，使用以下技术手段，即利用其它的摄影机摄影的位深度高的信息，对目标图像的位深度高的信息进行复原，由此在对以位深度不同的多个摄影机摄影的多视点视频图像进行处理的情况下，能够不使主观的图像品质降低，减少处理的图像信息的总信息量。
本发明提供一种图像生成方法，根据图像A、和比图像A位深度高的图像B来生成图像C的图像信息，该图像生成方法执行如下步骤：图像位深度扩大步骤，对图像A进行色调映射，产生与图像B具有相 同的位深度的图像C；对应点推定步骤，对图像C的各像素位置与图像B中的对应点的有无、以及对应点位置进行推定；以及对应图像设定步骤，在对应点推定步骤中推定为有对应点的、图像C中的像素位置中，设定图像B中的对应位置的图像信息。
根据该图像生成方法，能够使用其它图像中包含的高动态范围的信息，生成对于所希望的图像的高位深度的图像。在这时在其它图像中不存在对应于生成的像素位置的图像信号的情况下，通过使用将原来的低位深度以色调映射扩大后的图像信息，能够防止图像信息的欠缺。
在对应点的推定中，可以举出另外输入对应点信息而进行赋予的情况，和使用图像信息来探索对应点的情况。在另外赋予对应点信息的情况下，也可以预先推定场景的深度信息或几何信息，然后推定图像间的对应点。
在对应点的探索中，在对应的像素间(对图像C的各像素的，图像B的1～多个像素候补)求取差分的绝对值，在该值的最小值比预先设定的阈值小的情况下，将成为该最小值的点推定为对应点，在比阈值大的情况下，推定为没有对应点也可。
优选将该情况下的阈值与低位深度的图像信息一起进行文件化(filing)。在根据文件化后的低位深度的图像信息生成高位深度的图像信息时，通过使用文件中包含的阈值，能够保障在生成时总是得到相同的图像。
在利用位深度不同的摄影机的图像，从多个方向摄影某个场景的情况下，对于低位深度的摄影机的图像，能够利用其它的高位深度的摄影机的图像，生成高位深度的图像。该方法不仅在多视点图像中、也能应用于单镜头(single camera)的活动图像。即，在活动图像中的各帧的位深度不同的情况下，对于低位深度的帧的图像，能够利用其它的高位深度的帧的图像，生成高位深度的图像。
在上述方法中，可以进一步设置图像内插步骤，在该步骤中，根据在对应图像设定步骤中设定的图像信息，产生在对应点推定步骤中推定为没有对应点的、图像C中的像素位置的图像信息。
在该情况下，在其它的图像中不存在对应于生成的像素位置的图像信号的情况下，通过根据在周围的、生成的高位深度的图像信号进 行内插而产生，能够防止图像信息的欠缺。
此外，本发明的图像生成方法，根据图像A、和比图像A位深度高的图像B来生成图像C的图像信息，该图像生成方法执行如下步骤：图像位深度扩大步骤，对图像A进行色调映射，产生与图像B具有相同位深度的图像D；对应点推定步骤，对图像D的各像素位置与图像B中的对应点的有无、以及对应点位置进行推定；对应图像设定步骤，在图像E中的像素位置中，设定图像B中的对应位置的图像信息，其中，该图像E中的像素位置与在对应点推定步骤中推定为有对应点的、图像D中的像素位置相同；图像内插步骤，根据在对应图像设定步骤中设定的图像信息，产生图像E中的像素位置的图像信息，其中，该图像E中的像素位置与在对应点推定步骤中推定为没有对应点的、图像D中的像素位置相同；图像位深度缩小步骤，对图像E进行色调映射，产生与图像A具有相同位深度的图像F；差分产生步骤，在图像A的各像素位置中，求取图像A的图像信息和相同像素位置的图像F的图像信息的差分；以及图像信息设定步骤，在差分产生步骤中求取的各像素位置中的差分小的情况下，在对应的图像C的各像素位置中设定图像E的图像信息，在差分产生步骤中求取的各像素位置中的差分大的情况下，在对应的图像C的各像素位置中设定基于图像D的图像信息的图像信息。
作为典型例子，在上述图像信息设定步骤中，在上述差分产生步骤中求取的各像素位置中的差分比阈值大的情况下，
(i)在对应的图像C的各像素位置中设定图像D的图像信息，或
(ii)在对应的图像C的各像素位置中，设定对图像D的图像信息和图像E的图像信息进行加权平均后的值。
根据该图像生成方法，在所希望的图像与其它图像的对应点的推定中存在误差的情况下，代替使用与上述发明同样地生成的高位深度的图像，而使用将原来的低位深度以色调映射扩大后的图像信息，或使用生成的高位深度的图像信息、和将原来的低位深度以色调映射扩大后的图像信息的加权平均值，由此能够降低推定误差导致的画质的劣化。
此外，本发明提供一种图像生成方法，其中，具有相同位深度的图像生成装置根据图像A和图像B来生成图像C的图像信息，其中，该图像生成方法执行如下步骤：基准图像位深度缩小步骤，对图像A进行色调映射来产生位深度小的图像G；图像位深度扩大步骤，对图像G进行色调映射，产生与图像A具有相同位深度的图像D；对应点推定步骤，对图像D的各像素位置与图像B中的对应点的有无、以及对应点位置进行推定；对应图像设定步骤，在图像E中的像素位置中，设定图像B中的对应位置的图像信息，其中，该图像E中的像素位置与在对应点推定步骤中推定为有对应点的、图像D中的像素位置相同；图像内插步骤，根据在对应图像设定步骤中设定的图像信息，产生图像E中的像素位置的图像信息，其中，该图像E中的像素位置与在对应点推定步骤中推定为没有对应点的、图像D中的像素位置相同；图像位深度缩小步骤，对图像E进行色调映射，产生与图像G具有相同位深度的图像F；以及差分产生步骤，在图像G的各像素位置中，求取图像G的图像信息和相同像素位置的图像F的图像信息的差分，而且，一边改变阈值一边执行如下步骤：阈值设定步骤，在预先设定的范围中设定阈值；图像信息设定步骤，在差分产生步骤中求取的各像素位置中的差分比阈值小的情况下，在对应的图像C的各像素位置中设定图像E的图像信息，在差分产生步骤中求取的各像素位置中的差分比阈值大的情况下，在对应的图像C的各像素位置中设定基于图像D的图像信息的图像信息；以及生成差分合计步骤，计算在图像信息设定步骤中得到的图像C和图像A的各像素位置中的图像信息的差分的合计，执行阈值决定步骤，决定在生成差分合计步骤中得到的差分的合计变得最小的阈值。
作为典型例子，在上述图像信息设定步骤中，在上述差分产生步骤中求取的各像素位置中的差分比阈值大的情况下，
(i)在对应的图像C的各像素位置中设定图像D的图像信息，或
(ii)在对应的图像C的各像素位置中，设定对图像D的图像信息和图像E的图像信息进行加权平均后的值。
根据该图像生成方法，在将图像变换到低位深度然后变换到高位深度的情况下，在以上述方法生成高位深度的图像时，检测出对应点的推定误差导致的劣化的大小，以劣化变得最小的方式，决定对与上述方法同样地生成的高位深度的图像进行选择的阈值。由于也存在原来的高位深度的图像信息，所以能够检测出劣化的大小。
该阈值参数能够以如下方式利用。首先，预先推定该阈值，作为阈值参数对低位深度的图像附加。例如，与低位深度的图像和其它图像一起，该阈值参数也进行文件化。在该文件中不包含变换到低位深度之前的图像信息。因此，由于对与原来的图像相比低位深度的图像信息进行文件化，所以能够减小文件大小。在再生该文件时，根据低位深度的图像和其它图像，利用上述阈值参数，能够生成高位深度的图像。这时，能够生成将主观品质的劣化最小化了的高位深度的图像。
此外，在上述图像信息设定步骤中，在上述差分产生步骤中求取的各像素位置中的差分比阈值大的情况下，在使用上述(ii)的方法时，不是在生成的图像的信号中使用将低位深度的图像以色调映射扩大后的图像，而是使用与高位深度的图像加权平均后的值，因此能够降低对低位深度的图像进行色调映射扩大而导致的图像的模糊。
本发明此外也提供利用上述各方法生成图像的图像生成装置。
发明的效果
根据本发明，能够对以低位深度摄影的摄影机位置的图像信息，利用以其它的高位深度摄影的摄影机位置的图像信息，生成高位深度的图像信息。由此，能够降低主观品质的劣化。
附图说明
图1是表示本发明的第一实施例的图像生成装置的结构的图。
图2是表示同实施例的图像生成装置的工作的流程图。
图3是表示本发明的第二实施例的图像生成装置的结构的图。
图4是表示同实施例的图像生成装置的工作的流程图。
图5是表示本发明的第三实施例的图像生成装置的结构的图。
图6是表示同实施例的图像生成装置的工作的流程图。
图7是表示同实施例的变形例的图像生成装置的结构的图。
图8是表示本发明的第四实施例的图像生成装置的结构的图。
图9是表示同实施例的图像生成装置的工作的流程图。
图10是表示同实施例的变形例的图像生成装置的结构的图。
图11是表示直线排列的多视点摄像系统的图。
图12是表示平面排列的多视点摄像系统的图。
图13是表示弧形状排列的多视点摄像系统的图。
图14是表示球面排列的多视点摄像系统的图。
附图标记说明
101、201、301、401图像位深度扩大部
102、202、302、402对应点推定部
103、203、303、403对应图像设定部
204、304、404图像内插部
305、405图像位深度缩小部
306、406差分产生部
307、407图像选择部
308、408图像生成部
409生成差分合计部
410阈值设定部
411阈值决定部
412基准图像位深度缩小部
具体实施方式
使用附图对本发明的图像生成装置的实施例进行说明。
[第一实施例]
作为第一实施例，表示如下情况的例子，即根据以其它的摄影机摄影的低位深度的图像A和高位深度的图像B，生成对应于图像A的高位深度(对应于图像B的位深度)的图像C。在这里，假设以摄影机摄影的信号全部是利用YUV信号(亮度Y，色差U、V)设定了彩色信号的信号，在实施例中，假设仅处理Y信号。
在图1中表示装置概要。本实施例中的图像生成装置具备：图像位深度扩大部101，扩大图像A的位深度，产生与图像B具有相同的位深度的图像C；对应点推定部102，对图像C的各像素位置与图像B中的对应点的有无、以及对应点位置进行推定；以及对应图像设定部103，在对应点推定部102中推定为有对应点的图像C中的像素位置中，设定图像B中的对应位置的图像信息。
在这里，在图像位深度扩大部101中，利用非专利文献4中表示 的方法(色调映射，tone mapping)对图像的位深度进行扩大来产生图像。
此外，在对应点推定部102中，使用摄影机参数或已知的匹配(matching)技术，针对图像C的各像素假定(图像B中的)对应的像素的候补(1～多个)，在对应的像素之间求取差分的绝对值，在这些绝对值的最小值比预先设定的阈值小的情况下，将成为最小值的点推定为对应点，在比阈值大的情况下，针对图像C的相应像素推定为没有对应点。
以上述为前提，图1所示的图像生成装置以下述方式工作。图2表示其流程图。
首先，图像位深度扩大部101对图像A进行色调映射扩大来产生图像C(步骤S10)。然后，对应点推定部102以上述方法来推定图像C与图像B的对应点的有无、以及位置(步骤S11)。对应图像设定部103对于在对应点推定部102中推定为有对应点的图像C的各像素，设定图像B的对应点的图像信息(步骤S12)。通过以上方式生成图像C。
再有，在图像位深度扩大部101中，也可以使用其它的色调映射方法。
此外，在对应点推定部102中，在像素之间求取差分的绝对值，但也可以使用由将推定的对象的像素作为中心的多个像素构成的块(block)来进行推定。例如，针对图像C的各像素，假定图像B中的对应的像素的候补(1～多个)，求取与由将各候补作为中心的多个像素构成的块内的像素的差分的绝对值的合计，将该合计值成为最小的候补的位置作为对应点进行推定。
在以上的例子中，根据以其它的摄影机摄影的低位深度的图像A和高位深度的图像B来生成高位深度的图像C，但也可以根据以相同摄影机摄影的、某个时刻的低位深度的图像A、和其它时刻的高位深度的图像B，来生成高位深度的图像C。
此外，如上述那样，根据图像A和图像B，产生对应于图像A的图像C，但图像B是多个也可。下面表示图像B是2个(B1和B2)的情况下的例子。结构是相同的，以如下方式工作。
首先，图像位深度扩大部101对图像A进行色调映射扩大来产生图像C。
然后，对应点推定部102以与上述相同的方法来推定图像C和图像B1的对应点的有无、以及位置。对应图像设定部103将在对应点推定部102中推定为有对应点的各位置中的图像B1的图像信息向图像C设定。
接着，对应点推定部102同样地推定图像C和图像B2的对应点的有无、以及位置。对应图像设定部103将在对应点推定部102中推定为有对应点的各位置中的图像B2的图像信息向图像C设定。
通过以上方式生成图像C。
在推定为在图像B1和图像B2的双方中有对应点的情况下，使预先决定的任一个的图像信息优先而设定到图像C也可，将与对应的图像C的像素的差分较小的图像B1或图像B2的图像信息设定到图像C也可，将图像B1与图像B2的图像信息的平均值设定到图像C也可。
在图像B是3个以上的情况下也能够同样地生成高位深度的图像C。
关于以下说明的其它实施例，在存在多个图像B的情况下，也能够同样地实施。
[第二实施例]
接着，作为第二实施例，表示如下情况的例子，即与第一实施例同样地，根据以其它的摄影机摄影的低位深度的图像A和高位深度的图像B，生成对应于图像A的高位深度图像C。其中，表示如下例子，即，在没有对应点的情况下，根据周围的高位深度的图像信息进行内插而生成。
在图3中表示装置概要。本实施例中的图像生成装置具备：图像位深度扩大部201，扩大图像A的位深度，产生图像C；对应点推定部202，对图像C的各像素位置与图像B中的对应点的有无、以及对应点位置进行推定；对应图像设定部203，在对应点推定部202中推定为有对应点的图像C中的像素位置中，设定图像B中的对应位置的图像信息；以及图像内插部204，根据在对应图像设定部203中设定的图像信息，产生在对应点推定部202中推定为没有对应点的图像C中的像素位置的图像信息。
在图像内插部204中，根据假设有对应点而从图像B设定了图像 信息的像素位置的相应图像信息，来产生在图像C中的像素中的、推定为没有对应点的像素的图像信息。这时，与从图像B设定了图像信息的像素位置起的距离对应地进行线性内插。
以上述为前提，图3所示的图像生成装置以下述方式工作。图4表示其流程图。
首先，图像位深度扩大部201对图像A进行色调映射扩大来产生图像C(步骤S20)。然后，对应点推定部202推定图像C和图像B的对应点的有无、以及位置(步骤S21)。对应图像设定部203对于在对应点推定部202中推定为有对应点的图像C的各像素，设定图像B的对应点的图像信息(步骤S22)。图像内插部204针对在对应点推定部202中推定为没有对应点的像素位置，根据在对应图像设定部203中已经设定的图像信息进行内插来产生图像信息(步骤S23)。通过以上生成图像C。
在图像内插部204中，通过线性内插来生成图像信息，但使用非线性处理来生成图像信息也可。这些情况均利用在对应图像设定部203中设定的图像信息来生成。
[第三实施例]
接着，作为第三实施例，表示如下情况的例子，与第一实施例同样地，即根据以其它的摄影机摄影的低位深度的图像A和高位深度的图像B，生成对应于图像A的高位深度(对应于图像B的位深度)的图像C。其中，表示如下例子，即仅在将生成的图像信息的动态范围缩小后的图像和原来的图像A的差较小的像素位置，应用生成的图像信息。
在以下的说明中，图像D是最初将图像A色调映射扩大后的图像，图像E是与图像D相同尺寸(相同像素结构)的临时处理用图像。
此外，图像F是将图像E色调映射缩小而产生的、位深度小的图像(与图像A具有相同的位深度的、临时处理用图像)。
在图5中表示装置概要。本实施例中的图像生成装置具备：图像位深度扩大部301，对图像A的位深度进行色调映射扩大，产生图像D；对应点推定部302，对图像D的各像素位置与图像B中的对应点的有无、以及对应点位置进行推定；对应图像设定部303，在图像E中的像 素位置中，设定图像B中的对应位置的图像信息，其中，图像E中的像素位置与在对应点推定部302中推定为有对应点的、图像D中的像素位置相同；图像内插部304，根据在对应图像设定部303中设定的图像信息，产生图像E中的像素位置的图像信息，其中，图像E中的像素位置与在对应点推定部302中推定为没有对应点的、图像D中的像素位置相同；图像位深度缩小部305，对图像E进行色调映射，产生位深度小的图像F；差分产生部306，在图像A的各像素位置中，求取图像A的图像信息、与相同像素位置的图像F的图像信息的差分；以及图像选择部307，在差分产生部306中求取的各像素位置中的差分比阈值小的情况下，在对应的图像C的各像素位置中设定图像E的图像信息，在差分产生部306中求取的各像素位置中的差分大的情况下，在对应的图像C的各像素位置中设定图像D的图像信息。
在图像位深度缩小部305中，例如按照非专利文献4所示的方法，生成位深度小的图像信息(即，图像F)。
在差分产生部306中，在各像素位置产生上述差分。
在图像选择部307中，预先设定差分的阈值，进行与在差分产生部306中得到的差分的比较。
以上述为前提，图5所示的图像生成装置以下述方式工作。图6表示其流程图。
首先，图像位深度扩大部301对图像A进行色调映射扩大来产生图像D(步骤S30)。然后，对应点推定部302推定图像D和图像B的对应点的有无、以及位置(步骤S31)。对应图像设定部303将在对应点推定部302中推定为有对应点的位置中的图像B的图像信息向图像E设定(步骤S32)。
图像内插部304针对在对应点推定部302中推定为没有对应点的位置，根据在对应图像设定部303中已经设定的图像信息进行内插来产生图像E的图像信息(步骤S33)。
图像位深度缩小部305对图像E进行色调映射缩小，产生位深度小的图像F(步骤S34)。差分产生部306产生图像A和图像F的差分(步骤S35)。
在图像选择部307中，按照在差分产生部306中得到的差分，针对各像素位置，选择图像E或图像D来生成图像C(步骤S36)。
再有，在图像位深度缩小部305中，也可以使用其它方法来产生位深度小的图像。
此外，在差分产生部306中，也可以产生将对象像素作为中心的块之间的差分(参照第一实施例)。
可是，在图像选择部307中，在差分产生部306中求取的各像素位置中的差分小的情况下，在对应的图像C的各像素位置中设定图像E的图像信息，在差分产生部306中求取的各像素位置中的差分大的情况下，在对应的图像C的各像素位置中设定图像D的图像信息。
也可以代替该图像选择部307，设置图7所示的图像生成部308。
在图7中表示装置概要。在该情况下，在图像生成部308中，在差分产生部306中求取的各像素位置中的差分比阈值小的情况下，在对应的图像C的各像素位置中设定图像E的图像信息，在差分产生部306中求取的各像素位置中的差分大的情况下，在对应的图像C的各像素位置中设定对图像D的图像信息和图像E的图像信息进行加权平均后的值。
由此，在差分大的情况下不是使用色调映射扩大后的图像D，而能够使用色调映射扩大后的图像D和根据其它图像生成的图像E的加权平均。本方法在色调映射扩大后的图像D的劣化大的情况下是优选的。
[第四实施例]
接着，作为第四实施例，表示以下情况下的例子，即，有以其它的摄影机摄影的相同位深度的图像A和B，根据图像A的缩小图像和图像B来生成接近于图像A的图像C。在这里，表示如下例子，即仅在将生成的图像信息的动态范围缩小后的图像和原来的图像A的差较小的像素位置，应用生成的图像信息。在本实施例中，其特征在于对各像素位置中的2图像间的差分的阈值也进行推定。
在图8中表示装置概要。本实施例的图像生成装置具备：
·基准图像位深度缩小部412，对图像A进行色调映射，产生位深度小的图像G；
·图像位深度扩大部401，对图像G进行色调映射扩大，产生与图像A、B相同位深度的图像D；
·对应点推定部402，对图像D的各像素位置和图像B中的对应点的有无、以及对应点位置进行推定；
·对应图像设定部403，在图像E(与图像D同尺寸的临时处理图像)中的像素位置中，设定图像B中的对应位置的图像信息，其中，该图像E中的像素位置与在对应点推定部402中推定为有对应点的、图像D中的像素位置相同；
·图像内插部404，根据在对应图像设定部403中设定的图像信息，产生图像E中的像素位置的图像信息，其中，该图像E中的像素位置与在对应点推定部402中推定为没有对应点的、图像D中的像素位置相同；
·图像位深度缩小部405，对图像E进行色调映射，产生位深度小(与图像G相同位深度的)的图像F；
·差分产生部406，在图像G的各像素位置中，求取图像G的图像信息、与相同像素位置的图像F的图像信息的差分；
·阈值设定部410，在预先设定的范围中设定多个阈值；
·图像选择部407，对于在阈值设定部410中设定的各阈值，在差分产生部406中求取的各像素位置中的差分比阈值小的情况下，在对应的图像C的各像素位置中设定图像E的图像信息，在差分产生部406中求取的各像素位置中的差分比阈值大的情况下，在对应的图像C的各像素位置中设定图像D的图像信息；
·生成差分合计部409，对在图像选择部407中得到的图像C和图像A的各像素位置中的图像信息的差分的合计进行计算；以及
·阈值决定部411，决定在生成差分合计部409中得到的差分的合计变得最小的阈值。
在阈值设定部410中，作为阈值从10到50以10为单位使阈值增加。
以上述为前提，图8所示的图像生成装置以下述方式工作。图9表示其流程图。
首先，基准图像位深度缩小部412从图像A利用色调映射来产生位深度小的图像G(步骤S40)。
图像位深度扩大部401根据图像G产生位深度大(与图像A、B具有相同的位深度)的图像D(步骤S41)。
然后，对应点推定部402推定图像D和图像B的对应点的有无、以及位置(步骤S42)。
对应图像设定部403将在对应点推定部402中推定为有对应点的位置中的图像B的图像信息向图像E设定(步骤S43)。
图像内插部404针对在对应点推定部402中推定为没有对应点的位置，根据在对应图像设定部403中已经设定的图像信息进行内插来产生图像E的图像信息(步骤S44)。
图像位深度缩小部405根据图像E来产生位深度小的图像F(步骤S45)。
差分产生部406产生图像G和图像F的差分(步骤S46)。
接着，在阈值设定部410中，将阈值设定为10(步骤S47)。
在图像选择部407中，对在差分产生部406中得到的差分与阈值进行比较，按各像素位置的每一个选择图像E或图像D来生成图像C(步骤S48)。
生成差分合计部409求取图像C和图像A的差分的合计(步骤S49)。
在50之前一边使阈值以10为单位增加，一边反复执行以上的阈值设定部410和图像选择部407和生成差分合计部409的处理(步骤S50、S51)。
接着，阈值决定部411决定在生成差分合计部409中得到的值变得最小的情况下的阈值(步骤S52)。
在上述结构中，也可以代替图像选择部407而使用图像生成部408。在图10中表示装置概要。
在图像选择部408中，在差分产生部406中求取的各像素位置中的差分小的情况下，在对应的图像C的各像素位置中设定图像E的图像信息，在差分产生部406中求取的各像素位置中的差分大的情况下，在对应的图像C的各像素位置中设定将图像D的图像信息和图像E的图像信息加权平均后的值。
在以上的实施例中，说明了针对多个摄影机输入视频图像的处理。该方法不仅在多视点图像中、也能应用于单镜头的活动图像。
即，在活动图像中的各帧的位深度不同的情况下，对于低位深度的帧的图像，能够利用其它的高位深度的帧的图像，生成高位深度的 图像。
例如，在将低位深度的帧作为图像A，将其它的高位深度的帧作为图像B，生成高位深度的图像C的处理中能够应用。
此外，在本实施例中，将处理的信号作为Y信号，但其是RGB等的其它的彩色信号也可。
此外，在YUV信号的Y信号的位深度相同，但UV信号的位深度不同的情况下也能应用。在该情况下，在图像扩大部中仅扩大UV信号，直接复制Y信号。而且，不利用扩大U或V信号后的信号，而利用Y信号进行在对应点推定部中的对应点推定的处理也可。
以上的图像生成的处理，能够通过计算机和软件程序来实现，也能够将该程序记录在计算机能够读取的记录介质中进行提供，或通过网络进行提供。
产业上的利用可能性
根据本发明，对以低位深度摄影的摄影机位置的图像信息，能够利用其它的以高位深度摄影的摄影机位置的图像信息，生成高位深度的图像信息。由此，能够降低主观品质的劣化。
Claims (16)
1.一种图像生成方法，根据第一图像A和比图像A位深度高的第二图像B，生成第三图像C的图像信息，其特征在于，执行如下步骤：
图像位深度扩大步骤，利用色调映射对第一图像A的位深度进行扩大，产生与图像B具有相同的位深度的第三图像C；
对应点推定步骤，对第三图像C的各像素位置与第二图像B中的对应点的有无、以及对应点位置进行推定；以及
对应图像设定步骤，在所述对应点推定步骤中推定为有对应点的、第三图像C中的像素位置中，设定第二图像B中的对应位置的图像信息。
2.根据权利要求1所述的图像生成方法，其特征在于，还执行：
图像内插步骤，根据在所述对应图像设定步骤中设定的图像信息进行内插，产生在所述对应点推定步骤中推定为没有对应点的、第三图像C中的像素位置的图像信息。
3.一种图像生成方法，根据第一图像A和比图像A位深度高的第二图像B，生成第三图像C的图像信息，其特征在于，执行如下步骤：
图像位深度扩大步骤，利用色调映射对第一图像A的位深度进行扩大，产生与图像B具有相同位深度的第四图像D；
对应点推定步骤，对第四图像D的各像素位置与第二图像B中的对应点的有无、以及对应点位置进行推定；
对应图像设定步骤，在与在所述对应点推定步骤中推定为有对应点的、第四图像D中的像素位置相同的第五图像E中的像素位置中，设定第二图像B中的对应位置的图像信息；
图像内插步骤，根据在所述对应图像设定步骤中设定的图像信息进行内插，产生与在所述对应点推定步骤中推定为没有对应点的、第四图像D中的像素位置相同第五图像E中的像素位置的图像信息；
图像位深度缩小步骤，利用色调映射对第五图像E的位深度进行缩小，产生与图像A具有相同位深度的第六图像F；
差分产生步骤，在第一图像A的各像素位置中，求取第一图像A的图像信息和相同像素位置的第六图像F的图像信息的差分；以及
图像信息设定步骤，在所述差分产生步骤中求取的各像素位置中的差分比阈值小的情况下，在对应的第三图像C的各像素位置中设定第五图像E的图像信息，在所述差分产生步骤中求取的各像素位置中的差分比阈值大的情况下，在对应的第三图像C的各像素位置中设定基于第四图像D的图像信息的图像信息。
4.根据权利要求3所述的图像生成方法，其特征在于，在所述图像信息设定步骤中，在所述差分产生步骤中求取的各像素位置中的差分比阈值大的情况下，在对应的第三图像C的各像素位置中设定第四图像D的图像信息。
5.根据权利要求3所述的图像生成方法，其特征在于，在所述图像信息设定步骤中，在所述差分产生步骤中求取的各像素位置中的差分比阈值大的情况下，在对应的第三图像C的各像素位置中设定对第四图像D的图像信息和第五图像E的图像信息进行加权平均后的值。
6.一种图像生成方法，根据具有相同位深度的第一图像A和第二图像B，使用第四～第七图像D～G生成第三图像C的图像信息，其特征在于，执行如下步骤：
基准图像位深度缩小步骤，利用色调映射对第一图像A的位深度进行缩小来产生具有比第一图像A的位深度小的位深度的第七图像G；
图像位深度扩大步骤，利用色调映射对第七图像G的位深度进行扩大，产生与图像A具有相同位深度的第四图像D；
对应点推定步骤，对第四图像D的各像素位置与第二图像B中的对应点的有无、以及对应点位置进行推定；
对应图像设定步骤，在与在所述对应点推定步骤中推定为有对应点的、第四图像D中的像素位置相同的第五图像E中的像素位置中，设定第二图像B中的对应位置的图像信息；
图像内插步骤，根据在所述对应图像设定步骤中设定的图像信息进行内插，产生与在所述对应点推定步骤中推定为没有对应点的、第四图像D中的像素位置相同的第五图像E中的像素位置的图像信息；
图像位深度缩小步骤，利用色调映射对第五图像E的位深度进行缩小，产生与图像G具有相同位深度的第六图像F；
差分产生步骤，在第七图像G的各像素位置中，求取第七图像G的图像信息和相同像素位置的第六图像F的图像信息的差分；
阈值设定步骤，设定阈值；
图像信息设定步骤，在所述差分产生步骤中求取的各像素位置中的差分比阈值小的情况下，在对应的第三图像C的各像素位置中设定第五图像E的图像信息，在所述差分产生步骤中求取的各像素位置中的差分比阈值大的情况下，在对应的第三图像C的各像素位置中设定基于第四图像D的图像信息的图像信息；
生成差分合计步骤，计算在所述图像信息设定步骤中得到的第三图像C和第一图像A的各像素位置中的图像信息的差分的合计；以及
阈值决定步骤，一边将在所述阈值设定步骤中设定的阈值在预先决定的范围内改变，一边反复进行所述图像信息设定步骤和所述生成差分合计步骤，根据其结果决定在所述生成差分合计步骤中得到的差分的合计变得最小的阈值。
7.根据权利要求6所述的图像生成方法，其特征在于，在所述图像信息设定步骤中，在所述差分产生步骤中求取的各像素位置中的差分比阈值大的情况下，在对应的第三图像C的各像素位置中设定第四图像D的图像信息。
8.根据权利要求6所述的图像生成方法，其特征在于，在所述图像信息设定步骤中，在所述差分产生步骤中求取的各像素位置中的差分比阈值大的情况下，在对应的第三图像C的各像素位置中，设定对第四图像D的图像信息和第五图像E的图像信息进行加权平均后的值。
9.一种图像生成装置，根据第一图像A和比图像A位深度高的第二图像B，生成第三图像C的图像信息，其特征在于，具备：
图像位深度扩大部，利用色调映射对第一图像A的位深度进行扩大，产生与图像B具有相同的位深度的第三图像C；
对应点推定部，对第三图像C的各像素位置与第二图像B中的对应点的有无、以及对应点位置进行推定；以及
对应图像设定部，在所述对应点推定部中推定为有对应点的、第三图像C中的像素位置中，设定第二图像B中的对应位置的图像信息。
10.根据权利要求9所述的图像生成装置，其特征在于，还具备：
图像内插部，根据在所述对应图像设定部中设定的图像信息进行内插，产生在所述对应点推定部中推定为没有对应点的、第三图像C中的像素位置的图像信息。
11.一种图像生成装置，根据第一图像A和比图像A位深度高的第二图像B，生成第三图像C的图像信息，其特征在于，具备：
图像位深度扩大部，利用色调映射对第一图像A的位深度进行扩大，产生与图像B具有相同位深度的第四图像D；
对应点推定部，对第四图像D的各像素位置与第二图像B中的对应点的有无、以及对应点位置进行推定；
对应图像设定部，在与在所述对应点推定部中推定为有对应点的、第四图像D中的像素位置相同的第五图像E中的像素位置中，设定第二图像B中的对应位置的图像信息；
图像内插部，根据在所述对应图像设定部中设定的图像信息进行内插，产生与在所述对应点推定部中推定为没有对应点的、第四图像D中的像素位置相同的第五图像E中的像素位置的图像信息；
图像位深度缩小部，利用色调映射对第五图像E的位深度进行缩小，产生与图像A具有相同位深度的第六图像F；
差分产生部，在第一图像A的各像素位置中，求取第一图像A的图像信息和相同像素位置的第六图像F的图像信息的差分；以及
图像信息设定部，在所述差分产生部中求取的各像素位置中的差分比阈值小的情况下，在对应的第三图像C的各像素位置中设定第五图像E的图像信息，在所述差分产生部中求取的各像素位置中的差分比阈值大的情况下，在对应的第三图像C的各像素位置中设定基于第四图像D的图像信息的图像信息。
12.根据权利要求11所述的图像生成装置，其特征在于，在所述图像信息设定部中，在所述差分产生部求取的各像素位置中的差分比阈值大的情况下，在对应的第三图像C的各像素位置中设定第四图像D的图像信息。
13.根据权利要求11所述的图像生成装置，其特征在于，在所述图像信息设定部中，在所述差分产生部求取的各像素位置中的差分比阈值大的情况下，在对应的第三图像C的各像素位置中设定对第四图像D的图像信息和第五图像E的图像信息进行加权平均后的值。
14.一种图像生成装置，根据具有相同位深度的第一图像A和第二图像B，使用第四～第七图像D～G生成第三图像C的图像信息，其特征在于，具备：
基准图像位深度缩小部，利用色调映射对第一图像A的位深度进行缩小来产生具有比第一图像A的位深度小的位深度的第七图像G；
图像位深度扩大部，利用色调映射对第七图像G的位深度进行扩大，产生与图像A具有相同位深度的第四图像D；
对应点推定部，对第四图像D的各像素位置与第二图像B中的对应点的有无、以及对应点位置进行推定；
对应图像设定部，在与在所述对应点推定部中推定为有对应点的、第四图像D中的像素位置相同的第五图像E中的像素位置中，设定第二图像B中的对应位置的图像信息；
图像内插部，根据在所述对应图像设定部中设定的图像信息进行内插，产生与在所述对应点推定部中推定为没有对应点的、第四图像D中的像素位置相同的第五图像E中的像素位置的图像信息；
图像位深度缩小部，利用色调映射对第五图像E的位深度进行缩小，产生与图像G具有相同位深度的第六图像F；
差分产生部，在第七图像G的各像素位置中，求取第七图像G的图像信息和相同像素位置的第六图像F的图像信息的差分；
阈值设定部，设定阈值；
图像信息设定部，在所述差分产生部中求取的各像素位置中的差分比阈值小的情况下，在对应的第三图像C的各像素位置中设定第五图像E的图像信息，在所述差分产生部中求取的各像素位置中的差分比阈值大的情况下，在对应的第三图像C的各像素位置中设定基于第四图像D的图像信息的图像信息；
生成差分合计部，计算在所述图像信息设定部中得到的第三图像C和第一图像A的各像素位置中的图像信息的差分的合计；以及
阈值决定部，一边将在所述阈值设定部中设定的阈值在预先决定的范围内改变，一边反复进行利用所述图像信息设定部和所述生成差分合计部的处理，根据其结果决定在所述生成差分合计部中得到的差分的合计变得最小的阈值。
15.根据权利要求14所述的图像生成装置，其特征在于，在所述图像信息设定部中，在所述差分产生部求取的各像素位置中的差分比阈值大的情况下，在对应的第三图像C的各像素位置中，设定第四图像D的图像信息。
16.根据权利要求14所述的图像生成装置，其特征在于，在所述图像信息设定部中，在所述差分产生部求取的各像素位置中的差分比阈值大的情况下，在对应的第三图像C的各像素位置中，设定对第四图像D的图像信息和第五图像E的图像信息进行加权平均后的值。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007267613 | 2007-10-15 | ||
| JP2007-267613 | 2007-10-15 | ||
| PCT/JP2008/068375 WO2009051062A1 (ja) | 2007-10-15 | 2008-10-09 | 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101821770A CN101821770A (zh) | 2010-09-01 |
| CN101821770B true CN101821770B (zh) | 2012-08-22 |
Family
ID=40567329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008801115467A Expired - Fee Related CN101821770B (zh) | 2007-10-15 | 2008-10-09 | 图像生成方法和装置 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US8355596B2 (zh) |
| EP (1) | EP2221763A4 (zh) |
| JP (2) | JP4578566B2 (zh) |
| KR (1) | KR101136506B1 (zh) |
| CN (1) | CN101821770B (zh) |
| BR (1) | BRPI0818187A2 (zh) |
| CA (1) | CA2702163C (zh) |
| RU (1) | RU2438179C1 (zh) |
| TW (1) | TWI365421B (zh) |
| WO (1) | WO2009051062A1 (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8355596B2 (en) * | 2007-10-15 | 2013-01-15 | Nippon Telegraph And Telephone Corporation | Image generation method and apparatus, program therefor, and storage medium which stores the program |
| JP6216143B2 (ja) * | 2012-06-20 | 2017-10-18 | キヤノン株式会社 | 画像処理装置、その制御方法、およびプログラム |
| CN104754359B (zh) * | 2015-01-26 | 2017-07-21 | 清华大学深圳研究生院 | 一种二维自由视点视频的深度图编码失真预测方法 |
| US10187584B2 (en) * | 2016-12-20 | 2019-01-22 | Microsoft Technology Licensing, Llc | Dynamic range extension to produce high dynamic range images |
| KR102086581B1 (ko) | 2018-04-27 | 2020-03-09 | 주식회사 쓰리에이치굿스 | 열과 플라즈마를 이용한 공기살균 기능을 갖는 실내용 냉난방기 |
| KR102033512B1 (ko) | 2018-04-27 | 2019-10-17 | 주식회사 쓰리에이치굿스 | 후열 리싸이클 기능을 갖는 히터 |
| JP6704572B2 (ja) * | 2018-05-08 | 2020-06-03 | ウエノテックス株式会社 | 体積推定装置、体積推定システムおよび体積推定方法 |
| KR102104904B1 (ko) | 2018-07-13 | 2020-05-29 | 주식회사 쓰리에이치굿스 | 복사 대류형 냉난방기 |
| JP7042520B2 (ja) * | 2020-03-12 | 2022-03-28 | ウエノテックス株式会社 | 体積推定装置、体積推定システムおよび体積推定方法 |
| US11475549B1 (en) * | 2021-06-04 | 2022-10-18 | Nvidia Corporation | High dynamic range image generation from tone mapped standard dynamic range images |
| CN113438400B (zh) * | 2021-06-25 | 2022-10-21 | 维沃移动通信（杭州）有限公司 | 图像采集方法、图像采集装置和电子设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101052988A (zh) * | 2005-06-22 | 2007-10-10 | 松下电器产业株式会社 | 图像生成装置及图像生成方法 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5187754A (en) * | 1991-04-30 | 1993-02-16 | General Electric Company | Forming, with the aid of an overview image, a composite image from a mosaic of images |
| EP0650299B1 (fr) | 1993-10-20 | 1998-07-22 | Laboratoires D'electronique Philips S.A.S. | Procédé de traitement des niveaux de luminance dans une image composite et système de traitement d'image appliquant ce procédé |
| JPH09218954A (ja) | 1996-02-14 | 1997-08-19 | Nippon Telegr & Teleph Corp <Ntt> | 画像生成方法 |
| JP2998791B2 (ja) | 1996-10-31 | 2000-01-11 | 日本電気株式会社 | 三次元構造推定装置 |
| JP3233601B2 (ja) | 1997-09-25 | 2001-11-26 | シャープ株式会社 | 画像処理装置 |
| DE19730305A1 (de) * | 1997-07-15 | 1999-01-21 | Bosch Gmbh Robert | Verfahren zur Erzeugung eines verbesserten Bildsignals bei der Bewegungsschätzung von Bildsequenzen, insbesondere eines Prädiktionssignals für Bewegtbilder mit bewegungskompensierender Prädiktion |
| EP0908847B1 (en) | 1997-10-06 | 2006-01-25 | Canon Kabushiki Kaisha | Image synthesis apparatus and image synthesis method |
| JPH11112790A (ja) * | 1997-10-06 | 1999-04-23 | Canon Inc | 画像合成装置および方法 |
| JPH11242737A (ja) | 1998-02-26 | 1999-09-07 | Ricoh Co Ltd | 画像処理方法及び装置並びに情報記録媒体 |
| US6269175B1 (en) * | 1998-08-28 | 2001-07-31 | Sarnoff Corporation | Method and apparatus for enhancing regions of aligned images using flow estimation |
| JP3561446B2 (ja) | 1999-08-25 | 2004-09-02 | 日本電信電話株式会社 | 画像生成方法及びその装置 |
| US7274830B2 (en) * | 2002-06-12 | 2007-09-25 | Litton Systems, Inc. | System for multi-sensor image fusion |
| JPWO2004057531A1 (ja) | 2002-12-20 | 2006-04-27 | ジクー・データシステムズ株式会社 | 画像合成装置、及びプログラム |
| US7148484B2 (en) * | 2003-01-24 | 2006-12-12 | The Regents Of The University Of California | Cellular telephone-based radiation sensor and wide-area detection network |
| US6879731B2 (en) * | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
| US7633616B2 (en) * | 2003-06-02 | 2009-12-15 | Sensovation Ag | Apparatus and method for photo-electric measurement |
| DE10330926B4 (de) * | 2003-07-08 | 2008-11-27 | Siemens Ag | Verfahren zur absoluten Korrektur von B0-Feld-Abweichungen in der Magnetresonanz-Tomographie-Bildgebung |
| US7474355B2 (en) * | 2003-08-06 | 2009-01-06 | Zoran Corporation | Chroma upsampling method and apparatus therefor |
| RU2267232C1 (ru) | 2004-06-11 | 2005-12-27 | Федеральное государственное унитарное предприятие Научно-исследовательский институт комплексных испытаний оптико-электронных приборов и систем (ФГУП НИИКИ ОЭП) | Способ преобразования изображений |
| JP4372112B2 (ja) | 2006-03-30 | 2009-11-25 | 株式会社クボタ | コンバインにおける穀粒排出用オーガの操作装置 |
| US8355596B2 (en) * | 2007-10-15 | 2013-01-15 | Nippon Telegraph And Telephone Corporation | Image generation method and apparatus, program therefor, and storage medium which stores the program |
-
2008
- 2008-10-09 US US12/682,027 patent/US8355596B2/en not_active Expired - Fee Related
- 2008-10-09 JP JP2009538070A patent/JP4578566B2/ja active Active
- 2008-10-09 CA CA2702163A patent/CA2702163C/en active Active
- 2008-10-09 KR KR1020107007424A patent/KR101136506B1/ko not_active IP Right Cessation
- 2008-10-09 CN CN2008801115467A patent/CN101821770B/zh not_active Expired - Fee Related
- 2008-10-09 WO PCT/JP2008/068375 patent/WO2009051062A1/ja active Application Filing
- 2008-10-09 BR BRPI0818187A patent/BRPI0818187A2/pt not_active IP Right Cessation
- 2008-10-09 RU RU2010113346/08A patent/RU2438179C1/ru not_active IP Right Cessation
- 2008-10-09 EP EP08839225.3A patent/EP2221763A4/en not_active Withdrawn
- 2008-10-13 TW TW097139163A patent/TWI365421B/zh not_active IP Right Cessation
-
2010
- 2010-08-20 JP JP2010185543A patent/JP2011008815A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101052988A (zh) * | 2005-06-22 | 2007-10-10 | 松下电器产业株式会社 | 图像生成装置及图像生成方法 |
Non-Patent Citations (3)
| Title |
|---|
| Erik Reinhard et al..Photographic Tone Reproduction for Digital Images.《PROC. OF SIGGRAPH"02》.2002,全文. * |
| JP特开平11-112790A 1999.04.23 |
| JP特开平11-242737A 1999.09.07 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011008815A (ja) | 2011-01-13 |
| US8355596B2 (en) | 2013-01-15 |
| EP2221763A1 (en) | 2010-08-25 |
| CA2702163C (en) | 2014-07-22 |
| KR101136506B1 (ko) | 2012-04-17 |
| JPWO2009051062A1 (ja) | 2011-03-03 |
| EP2221763A4 (en) | 2013-05-01 |
| TWI365421B (en) | 2012-06-01 |
| CN101821770A (zh) | 2010-09-01 |
| CA2702163A1 (en) | 2009-04-23 |
| RU2438179C1 (ru) | 2011-12-27 |
| TW200919366A (en) | 2009-05-01 |
| WO2009051062A1 (ja) | 2009-04-23 |
| KR20100053680A (ko) | 2010-05-20 |
| BRPI0818187A2 (pt) | 2016-10-18 |
| JP4578566B2 (ja) | 2010-11-10 |
| US20100290715A1 (en) | 2010-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101821770B (zh) | 图像生成方法和装置 | |
| CN101821769B (zh) | 图像生成方法、装置 | |
| JP6021541B2 (ja) | 画像処理装置及び方法 | |
| US9030469B2 (en) | Method for generating depth maps from monocular images and systems using the same | |
| US9749601B2 (en) | Imaging device, image display method, and storage medium for displaying reconstruction image | |
| US20100253682A1 (en) | Image generating apparatus and computer program | |
| JP6128748B2 (ja) | 画像処理装置及び方法 | |
| JP2004200973A (ja) | 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体 | |
| CA2701890C (en) | Image generation method and apparatus, program therefor, and storage medium which stores the program | |
| CN107590857A (zh) | 用于生成虚拟视点图像的设备和方法 | |
| CN115170637A (zh) | 虚拟视角图像构建方法及装置、控制设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120822 Termination date: 20181009 |