CN100366096C - 立体图像处理设备和方法 - Google Patents

立体图像处理设备和方法 Download PDF

Info

Publication number
CN100366096C
CN100366096C CNB028030095A CN02803009A CN100366096C CN 100366096 C CN100366096 C CN 100366096C CN B028030095 A CNB028030095 A CN B028030095A CN 02803009 A CN02803009 A CN 02803009A CN 100366096 C CN100366096 C CN 100366096C
Authority
CN
China
Prior art keywords
image
input picture
output image
processing unit
graphics processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028030095A
Other languages
English (en)
Other versions
CN1476729A (zh
Inventor
P·-A·雷德尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1476729A publication Critical patent/CN1476729A/zh
Application granted granted Critical
Publication of CN100366096C publication Critical patent/CN100366096C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/334—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Eye Examination Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

图像处理单元(100)设计成可以产生要在一个立体显示设备(306)上显示的第一输出图像(IL *)和第二输出图像(IR *)，导致在一个第一观察者(302)以左眼和右眼基本上独立感觉第一输出图像(IL *)和第二输出图像(IR *)的情况下得到一个立体图像而在一个第二观察者(304)以两个眼睛基本上同样感觉第一输出图像(IL *)和第二输出图像(IR *)的情况下得到一个普通非立体图像。图像处理单元(100)设计成可以通过将偏置图像(ΔI)与输入图像(I)相加计算出第一输出图像(IL *)和通过从输入图像(I)中减去偏置图像(ΔI)计算出第二输出图像(IR *)。

Description

立体图像处理设备和方法
技术领域
本发明涉及根据若干输入图像产生要在一个立体显示设备上显示的一个第一输出图像和一个第二输出图像的图像处理单元。这种图像处理单元可导致：
在一个第一观察者以左眼和右眼基本上独立感觉第一输出图像和第二输出图像的情况下得到一个立体图像(stereoscopic image)；以及
在一个第二观察者以两眼基本上同样感觉第一输出图像和第二输出图像的情况下得到一个普通的非立体图像(monoscopic image)。
本发明还涉及根据若干输入图像产生要在一个立体显示设备上显示的一个第一输出图像和一个第二输出图像的方法，这种方法可导致：
在一个第一观察者以左眼和右眼基本上独立感觉第一输出图像和第二输出图像的情况下得到一个立体图像；以及
在一个第二观察者以两眼基本上同样感觉第一输出图像和第二输出图像的情况下得到一个普通的非立体图像。
本发明还与一种图像显示设备有关，这种图像显示设备包括：
一个图像处理单元，用来根据若干输入图像产生要在一个立体显示设备上显示的一个第一输出图像和一个第二输出图像，导致
在一个第一观察者以左眼和右眼基本上独立感觉第一输出图像和第二输出图像的情况下得到一个立体图像，
而在一个第二观察者以两眼基本上同样感觉第一输出图像和第二输出图像的情况下得到一个普通的非立体图像；以及
立体显示设备。
技术背景
从论文“通过微立体技术得到舒服的3-D影像的充分现实”(“Justenough reality：Comfortable 3-D viewing via microstereopsis”，IEEETransactions on Circuits and Systems for Video Technology，Vol.10，No.3，pp.387-396，2000)中可以看到在开始这段中所说明的这种图像处理单元的一个实施例。
在传统的基于眼镜的立体系统中，戴了适当眼镜的观察者可以观测到立体图像。利用眼镜，观察者以左眼和右眼分别基本上独立地感觉左图像和右图像。如果没有眼镜的滤波效应，就会有串扰。观察者会感觉到一个双重的图像：左图像和右图像两个眼睛都可看到，混叠在一起。
在所引用的论文中利用了眼间隔离的下限，即微立体技术(microstereopsis)，表明出乎意料小的不一致有助于得到精确和舒适的深度感觉。据说这样的“适度”3D可以使存在深度的感觉不变。此外，它还使在较长的观看期间观看更为舒适。在所说明的情况下，串扰被感觉为焦深，而不是重影。也就是说，在摄像机之间的基线小的情况下，串扰可以感觉为模糊而不是重影：没戴眼镜的观察者看到的是质量可以接受的一个模糊的非立体图像。通过调整摄像机之间的基线，可以在非立体图像质量和3D效果之间进行折衷。在摄像机之间的基线较短时，对于戴眼镜的观察者来说深度效果就较差。在这种情况下不再能得到最大的3D效果。但是，对于不戴眼镜的观察者来说串扰所引起的不自然现象较少。然而，缺点是，即使在摄像机之间的基线比较小的情况下，普通的非立体图像也有这些不自然现象。
发明内容
本发明的第一个目的是提供一种在开始这段中所说明的具有比较高的普通非立体图像质量的图像处理单元。
本发明的第二个目的是提供一种在开始这段中所说明的可以得到比较高的普通非立体图像质量方法。
本发明的第三个目的是提供一种在开始这段中所说明的具有比较高的普通非立体图像质量的图像显示设备。
实现本发明的第一个目的的图像处理单元包括：
一个偏置计算器，设计成可以根据至少一个输入图像计算出一个偏置图像；
一个加法单元，设计成可以通过将偏置图像与普通的非立体输入图像相加计算出第一输出图像；以及
一个减法单元，设计成可以通过从普通的非立体输入图像中减去偏置图像计算出第二输出图像。
为了说明方便，介绍三个精细配置在一直线上的向图像处理单元提供输入图像的摄像机。来看图1A，中间的摄像机提供普通非立体输入图像I，在标准的显示设备上显示时观察者观测到的是一个普通非立体图像。左、右摄像机提供第一眼和第二眼输入图像IL和IR，它们在一个立体显示设备上一起显示时，观察者观测到的是一个立体图像。
图像处理单元接收至少其中一个输入图像。通过对输入图像的处理得到一个第一输出图像I＊ L和一个第二输出图像I＊ R。在这两个输出图像在一个适当的立体显示设备上显示时，可以观测到一个立体图像和一个普通非立体图像，这取决于观察者是否戴眼镜：
在观察者用眼镜的情况下，可以观测到一个立体图像，这意味着I＊ L≈IL和I＊ R≈IR；
而在观察者不用眼镜的情况下，可以观测到一个普通非立体图像，这意味着I＊≈I，其中I＊为观测到的普通非立体输出图像。
图像处理单元对这些输入图像进行处理，得到一个第一输出图像I＊ L和一个第二输出图像I＊ R，它们等于普通非立体输入图像I加上或减去某个偏置图像ΔI。有：
I＊ L＝I+ΔI    (1)
I＊ R＝I-ΔI    (2)
通过将第一输出图像I＊ L与第二输出图像I＊ R分开，用立体显示设备结合适当的眼镜，观察者可以看到一个立体图像。观察者可以区别两个输出图像，产生3D效果，得到一个立体图像。不用眼镜的观察者将两个输出图像混在一起。观察者不能区别两个输出图像。观察者看到的是一个感觉上基本上与普通非立体输入图像I相同的普通非立体图像。
I＊＝I＊ R+I＊ L＝I+ΔI+I-ΔI＝2I    (3)
这种图像处理单元的优点是普通非立体图像质量基本上与3D效果无关。这意味着不想戴眼镜的观察者会看到质量比较高的普通非立体图像。但是同时，想戴眼镜的观察者可以观测到质量比较高的立体图像。
在按照本发明设计的图像处理单元的一个实施例中，偏置计算器设计成可以通过从第二眼输入图像中减去第一眼输入图像再除以一个等于2的常数来计算偏置图像。第二眼输入图像、普通的非立体输入图像和第一眼输入图像可以由一个三元摄像机获得。这些图像也可以用一个摄像机在图像摄取时刻之间移动的摄像机获得。这些图像还可以由一个图形系统产生。ΔI选为第一个输入图像与第三个输入图像之差的二分之一。假设IL为第一个输入图像而IR为第三个输入图像。于是：
ΔI＝(IL-IR)/2    (4)
这样做的优点是输出图像I＊ L和I＊ R分别与输入图像IL和IR最为相似。由于亮度限为例如[0，255]，因此最好是加、减ΔI后继之以限幅，以保证I＊ L和I＊ R含有正当的亮度值。也可以是通过对输入图像定标保证I＊ L和I＊ R含有正当的亮度值。
在按照本发明设计的图像处理单元的另一个实施例中，偏置计算器设计成可以通过从第二眼输入图像中减去普通的非立体输入图像来计算偏置图像。第二眼输入图像和普通的非立体输入图像可以由一个立体摄像机获得。这些图像也可以用一个在图像摄取时刻之间移动的摄像机获得。这些图像还可以由一个图形系统产生。ΔI选为第二眼输入图像与普通的非立体输入图像之差。假设IL为第二眼输入图像而I为普通的非立体输入图像。于是：
Δ I＝IL-I    (5)
这样做的优点是可以用标准的立体摄像机获取图像，同时比较好和容易实现立体和非立体图像。
在按照本发明设计的图像处理单元的另一个实施例中，偏置计算器设计成可以通过对普通的非立体输入图像求微分来计算出偏置图像。在这种情况下只有一个输入图像：普通的非立体输入图像就等于第二眼输入图像。偏置图像直接由这个输入图像计算。这样做的优点是计算容易而且非常稳健。它给出适度的不必与景象的实际深度有关的3D效果。假设，一个图像内的亮度迁移与深度迁移相应。普通的非立体输入图像可以由一个普通的非立体摄像机获得或者由一个图形系统产生。计算偏置图像的方法的一个例子如式6所示。
ΔI＝α+β|I|Y    (6)
按照本发明设计的图像处理单元的一个实施例还包括一个表现单元，设计成可以根据一个所获得的图像和一个深度图表现输入图像。优点是可以将图像表现成似乎它们来自一个三元或立体摄像机装置。从这点出发，可以采用这种脱离这些装置的处理，如上所述。
在按照本发明设计的包括表现单元的图像处理单元的一个实施例中，深度图由一个深度摄像机提供。用了深度摄像机，深度图可以直接得到。从一个或多个图像中估计深度是一个比较复杂的问题。因此，如果深度图由深度摄像机提供，就没有这个问题，这是一个优点。
按照本发明设计的图像处理单元包括表现单元的实施例还包括一个深度估计单元，设计成可以根据所获得的图像产生深度图。这个原理例如可参见P.Wilinski和K.van Overveld的论文“应用基于置信度的块匹配从运动得出深度”(“Depth from motion using confidencebased block matching”，Proceedings of image and MultidimensionalSignal Processing Workshop，pages 159-162，Alpbach，Austria，1998)。按照本发明设计的这个实施例的优点是即使从用标准的非立体摄像机获得的视频序列中也可以产生具有3D效果的图像。
实现本发明的第二个目的的方法包括下列步骤：
根据至少一个输入图像计算出一个偏置图像；
通过将偏置图像与普通的非立体输入图像相加计算出第一输出图像；以及
通过从普通的非立体输入图像中减去偏置图像计算出第二输出图像。
实现本发明的第三个目的的图像显示设备的图像处理单元包括：
一个偏置计算器，设计成可以根据至少一个输入图像计算出一个偏置图像；
一个加法单元，设计成可以通过将偏置图像与普通的非立体输入图像相加计算出第一输出图像；以及
一个减法单元，设计成可以通过从普通的非立体输入图像中减去偏置图像计算出第二输出图像。
图像显示设备可以包括一些诸如接收装置、解码器和存储装置那样的部件。可以与所说明的方法和图像显示设备的变型相应，对这种图像处理单元进行种种修改和变动。
按照本发明设计的图像处理单元、方法和图像显示设备的这些和其他一些情况从以下结合附图对实现方式和实施例的说明中可以清楚地看出。在这些附图中：
附图说明
图1A示意性地示出了图像处理单元与一个三元摄像机连接的实施例；
图1B示意性地示出了图像处理单元与一个立体摄像机连接的实施例；
图1C示意性地示出了图像处理单元与一个普通非立体摄像机连接的实施例；
图2A示意性地示出了图像处理单元包括一个表现器的实施例；
图2B示意性地示出了图像处理单元包括一个深度估计单元的实施例；以及
图3示意性地示出了图像显示设备在其所处环境内的实施例。
在所有这些图中，相应的标注数码具有相同的含意。
图1A示意性地示出了图像处理单元100与一个三元摄像机连接的实施例。三元摄像机包括分别用来获得第二眼输入图像IL、普通的非立体输入图像I和第一眼输入图像IR的摄像机114-118。这些图像通过图像处理单元100的输入连接器108-112提供给图像处理单元100。图像处理单元100设计成可以产生一个第一输出图像I＊ L和一个第二输出图像I＊ R。图像处理单元100包括：
一个偏置计算器102，设计成可以根据输入图像1L和1R按照式4计算出一个偏置图像ΔI；
一个加法单元104，设计成可以通过按照式1将偏置图像ΔI与输入图像I相加计算出第一输出图像I＊ L；以及
一个减法单元106，设计成可以通过按照式2从输入图像I中减去偏置图像ΔI计算出第二输出图像I＊ R。
图1B示意性地示出了图像处理单元101与一个包括分别获得图像IL和I的摄像机114和116的立体摄像机连接的实施例。这些图像通过图像处理单元101的输入连接器108和112提供给图像处理单元101。图像处理单元101设计成可以产生一个第一输出图像I＊ L和一个第二输出图像I＊ R。图像处理单元101包括一偏置计算器102，设计成可以按照式5根据输入图像IL和I计算出一个偏置图像ΔI。
图1C示意性地示出了图像处理单元103与一个获得图像I的普通非立体摄像机116连接的实施例。这个图像通过图像处理单元103的输入连接器108提供给图像处理单元103。图像处理单元103设计成可以产生一个第一输出图像I＊ L和一个第二输出图像I＊ R。图像处理单元103包括一个偏置计算器102，设计成可以按照式6根据输入图像I计算出一个偏置图像ΔI。
图2A示意性地示出了图像处理单元105包括一个表现器202的实施例。图像处理单元105通过输入连接器108和208接收它的输入。摄像机116获得像素表示亮度值的一个图像I。摄像机216获得像素表示深度值的一个深度图。通过图像I的视差变换产生输入图像IL和IR。这意味着，计算出与深度相关的像素位移，用来获得输入图像IL和IR。这种处理可参见例如US 5,929,859。在该专利说明中，揭示了可以避免由于位移引起的不希望有的孔或交叠。图像处理单元105包括一个偏置计算器102，设计成可以按照式4根据输入图像IL和IR和/或按照式5根据输入图像IL和I计算出一个偏置图像ΔI。
图2B示意性地示出了图像处理单元107包括一个表现器和一个深度估计单元204的实施例。图像处理单元107通过输入连接器108接收它的输入。摄像机116获得像素表示亮度值的一个图像I。通过图像I的视差变换和根据由深度估计单元204产生的深度图D产生输入图像IL和IR。深度估计单元204设计成如在例如P.Wilinski和K.van Overveld的论文“应用基于置信度的块匹配从运动得出深度”(“Depth from motionusing confidence based block matching”，Proceedings of image andMultidimensional Signal Processing Workshop，pages 159-162，Alpbach，Austria，1998)中所揭示的那样。图像处理单元107包括一个偏置计算器102，设计成可以按照式4根据输入图像IL和IR和/或按照式5根据输入图像IL和I计算出一个偏置图像ΔI。
图3示意性地示出了图像显示设备300在其所处环境内的实施例。图3示出了一个多路复用器309与摄像机114-118的连接情况。摄像机114-118分别获得图像IL、I和IR，通过多路复用器的输入连接器312-316提供给多路复用器309。多路复用器309设计成可以对表示所获得的图像的数据进行编码和发送经编码的数据。经编码的数据通过输入连接器310提供给图像显示设备300。图像显示设备300包括：
一个接收装置308，用来接收经编码的数据，将数据解码后产生图像IL、I和IR；
一个如结合图1A所说明的图像处理设备100；以及
一个立体显示设备306，设计成可以例如通过时分复用基本上独立显示输出图像I＊ L和I* R，导致
在一个第一观察者302以左眼和右眼基本上独立感觉第一输出图像I＊L和第二输出图像I＊ R的情况下得到一个立体图像，
而在一个第二观察者304以两个眼睛基本上同样感觉第一输出图像I* L和第二输出图像I＊ R的情况下得到一个普通非立体图像。
已知有许多显示技术用来显示立体图像。采用时间并行技术，将两个输出图像同时输出给一个或两个显示器。例如，可以将两个输出图像用互补色滤波后在一个显示上混在一起。观察者佩戴有与投射滤波器匹配的滤波器的眼镜。作为另一个例子，可以用两个显示器来显示两个通过相应的极化眼镜可以看到的极化不同的图像。在时分多路复用技术中，在一个显示器上交替地显示左、右图像。作为一个例子，将一个图像写至偶扫瞄行而将另一个图像写至奇扫描行。用一个快门系统在显示左眼图像时挡住右眼。快门系统可以安装在观察者所戴的眼镜内。或者，也可以在显示器的正面放置一个带有可控极化器的快门，而观察者戴一个带有极化眼镜的头戴装置。
应指出的是上述实施例只是例示本发明，而不是限制本发明，熟悉该技术领域的人员在不脱离所附权利要求书给出的范围的情况下可以设计出许多其他实现方式。在权利要求书中，任何括号内的标注符号不应该构成对权利要求的限制。词“包括”并不排除还有在权利要求中没有列出的单元或步骤。在一个单元前的“一个”并不排除有多个这样的单元。本发明可以用包括一些不同的单元的硬件实现，也可以用一个适当的程控计算机实现。在权利要求书中列举了一些装置，这些装置中有一些可以用同一个硬件实现。

Claims (10)

1.一种图像处理单元(100)，用于根据包括第一眼输入图像IR、第二眼输入图像IL和一个普通的非立体输入图像I的若干输入图像中的至少一个输入图像，而产生要在一个立体显示设备(306)上显示的一个第一输出图像I* L和一个第二输出图像I* R，这导致：
-在一个第一观察者(302)以左眼和右眼基本上独立感觉第一输出图像I* L和第二输出图像I* R的情况下得到一个立体图像，而且
-在一个第二观察者(304)以两个眼睛基本上同样感觉第一输出图像I* L和第二输出图像I* R的情况下得到一个普通的非立体图像，
所述图像处理单元的特征是它包括：
-一个偏置计算器(102)，设计成根据至少一个输入图像计算出一个偏置图像ΔI；
-一个加法单元(104)，设计成通过将偏置图像ΔI与普通的非立体输入图像I相加计算出第一输出图像I* L；以及
-一个减法单元(106)，设计成通过从普通的非立体输入图像I中减去偏置图像ΔI计算出第二输出图像I* R。
2.一种如在权利要求1中所提出的图像处理单元(100)，其特征是所述偏置计算器(102)设计成通过从第二眼输入图像IL中减去第一眼输入图像IR再除以一个等于2的常数计算出偏置图像ΔI。
3.一种如在权利要求1中所提出的图像处理单元(101)，其特征是所述偏置计算器(102)设计成通过从第二眼输入图像IL中减去普通的非立体输入图像I计算出偏置图像ΔI。
4.一种如在权利要求1中所提出的图像处理单元(103)，其特征是所述偏置计算器(102)设计成通过对普通的非立体输入图像I求微分计算出偏置图像ΔI。
5.一种如在权利要求1中所提出的图像处理单元(105)，其特征是所述图像处理单元(105)还包括一个表现单元(202)，该表现单元设计成根据一个所获得图像I和一个深度图D表现输入图像。
6.一种如在权利要求5中所提出的图像处理单元(105)，其特征是所述深度图D由一个深度摄像机(216)提供。
7.一种如在权利要求5中所提出的图像处理单元(107)，其特征是所述图像处理单元(107)还包括一个深度估计单元(204)，该深度估计单元设计成根据所获得的图像I产生深度图D。
8.一种方法，用以根据包括第一眼输入图像IR、第二眼输入图像IL和一个普通的非立体输入图像I的若干输入图像中的至少一个输入图像，而产生要在一个立体显示设备(306)上显示的一个第一输出图像I* L和一个第二输出图像I* R，这导致：
-在一个第一观察者(302)以左眼和右眼基本上独立感觉第一输出图像I* L和第二输出图像I* R的情况下得到一个立体图像，而且，
-在一个第二观察者(304)以两个眼睛基本上同样感觉第一输出图像I* L和第二输出图像I* R的情况下得到一个普通的非立体图像，
所述方法的特征是它包括下列步骤：
-根据至少一个输入图像计算出一个偏置图像ΔI；
-通过将偏置图像ΔI与普通的非立体输入图像I相加计算出第一输出图像I* L；以及
-通过从普通的非立体输入图像I中减去偏置图像ΔI计算出第二输出图像I* R。
9.一种如在权利要求8中所提出的方法，其特征是所述偏置图像ΔI是通过从第一个输入图像IL中减去第二个输入图像I计算的。
10.一种图像显示设备(300)，它包括：
-一个图像处理单元(100)，用来根据包括第一眼输入图像IR、第二眼输入图像IL和一个普通的非立体输入图像I的若干输入图像中的至少一个输入图像，而产生要在一个立体显示设备(306)上显示的一个第一输出图像I* L和一个第二输出图像I* R，这导致：
-在一个第一观察者(302)以左眼和右眼基本上独立感觉第一输出图像I* L和第二输出图像I* R的情况下得到一个立体图像，而且，
-在一个第二观察者(304)以两个眼睛基本上同样感觉第一输出图像I* L和第二输出图像I* R的情况下得到一个普通的非立体图像；以及
-立体显示设备(306)，
其特征是所述图像处理单元(100)包括：
-一个偏置计算器(102)，设计成根据第一个输入图像计算出一个偏置图像ΔI；
-一个加法单元(104)，设计成通过将偏置图像ΔI与普通的非立体输入图像I相加计算出第一输出图像I* L；以及
-一个减法单元(106)，设计成通过从普通的非立体输入图像I中减去偏置图像ΔI计算出第二输出图像I* R。
CNB028030095A 2001-07-23 2002-06-25 立体图像处理设备和方法 Expired - Fee Related CN100366096C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01202818.9 2001-07-23
EP01202818 2001-07-23

Publications (2)

Publication Number Publication Date
CN1476729A CN1476729A (zh) 2004-02-18
CN100366096C true CN100366096C (zh) 2008-01-30

Family

ID=8180690

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028030095A Expired - Fee Related CN100366096C (zh) 2001-07-23 2002-06-25 立体图像处理设备和方法

Country Status (9)

Country Link
US (1) US7085410B2 (zh)
EP (1) EP1413148B1 (zh)
JP (1) JP4098235B2 (zh)
KR (1) KR100912418B1 (zh)
CN (1) CN100366096C (zh)
AT (1) ATE447298T1 (zh)
DE (1) DE60234187D1 (zh)
ES (1) ES2332708T3 (zh)
WO (1) WO2003010976A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4898459B2 (ja) * 2004-02-17 2012-03-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 奥行きマップの生成
KR101454208B1 (ko) * 2007-12-28 2014-10-24 삼성전자주식회사 하프톤 영상 인코딩 및 디코딩 방법 및 장치
US20090252398A1 (en) * 2008-04-07 2009-10-08 Compucyte Corporation Method and System for Creating a Three-Dimensionally-Perceived Image of a Biological Sample
JP5347717B2 (ja) * 2008-08-06 2013-11-20 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP4636149B2 (ja) * 2008-09-09 2011-02-23 ソニー株式会社 画像データ解析装置、および画像データ解析方法、並びにプログラム
USD603445S1 (en) 2009-03-13 2009-11-03 X6D Limited 3D glasses
USD624952S1 (en) 2008-10-20 2010-10-05 X6D Ltd. 3D glasses
USD666663S1 (en) 2008-10-20 2012-09-04 X6D Limited 3D glasses
USRE45394E1 (en) 2008-10-20 2015-03-03 X6D Limited 3D glasses
US8542326B2 (en) 2008-11-17 2013-09-24 X6D Limited 3D shutter glasses for use with LCD displays
CA2684513A1 (en) 2008-11-17 2010-05-17 X6D Limited Improved performance 3d glasses
JP5532588B2 (ja) * 2008-11-18 2014-06-25 ソニー株式会社 画像表示装置および画像表示方法
USD646451S1 (en) 2009-03-30 2011-10-04 X6D Limited Cart for 3D glasses
USD672804S1 (en) 2009-05-13 2012-12-18 X6D Limited 3D glasses
USD650956S1 (en) 2009-05-13 2011-12-20 X6D Limited Cart for 3D glasses
JP5521913B2 (ja) 2009-10-28 2014-06-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5794335B2 (ja) * 2009-10-28 2015-10-14 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
USD671590S1 (en) 2010-09-10 2012-11-27 X6D Limited 3D glasses
USD692941S1 (en) 2009-11-16 2013-11-05 X6D Limited 3D glasses
USD669522S1 (en) 2010-08-27 2012-10-23 X6D Limited 3D glasses
IT1397294B1 (it) * 2010-01-07 2013-01-04 3Dswitch S R L Dispositivo e metodo per il riconoscimento di occhiali per visione stereoscopica, e relativometodo di controllo della visualizzazione di un flusso video stereoscopico.
USD662965S1 (en) 2010-02-04 2012-07-03 X6D Limited 3D glasses
US8885890B2 (en) * 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
USD664183S1 (en) 2010-08-27 2012-07-24 X6D Limited 3D glasses
JP5454424B2 (ja) * 2010-09-03 2014-03-26 ソニー株式会社 撮像方法
JP5831105B2 (ja) * 2011-09-30 2015-12-09 ソニー株式会社 撮像装置及び撮像方法
US9070222B2 (en) 2012-08-01 2015-06-30 Dreamworks Animation Llc Techniques for automating stereo settings for stereoscopic computer animation
USD711959S1 (en) 2012-08-10 2014-08-26 X6D Limited Glasses for amblyopia treatment
US9532032B2 (en) * 2013-04-18 2016-12-27 Ellis Amalgamated, LLC Astigmatic depth from defocus imaging using intermediate images and a merit function map
TW201528775A (zh) 2014-01-02 2015-07-16 Ind Tech Res Inst 景深圖校正方法及系統
JP6759347B2 (ja) * 2016-09-23 2020-09-23 日本電信電話株式会社 画像生成装置、画像生成方法、およびプログラム
JP6615824B2 (ja) * 2016-09-23 2019-12-04 日本電信電話株式会社 画像生成装置、画像生成方法、およびプログラム
TWI683280B (zh) * 2017-08-16 2020-01-21 威盛電子股份有限公司 立體環景影片產生方法及裝置
CN108520232B (zh) 2017-08-16 2020-07-24 威盛电子股份有限公司 立体环景影片产生方法及装置
WO2019041035A1 (en) 2017-08-30 2019-03-07 Innovations Mindtrick Inc. STEREOSCOPIC IMAGE DISPLAY DEVICE ADJUSTED BY THE SPECTATOR
CN115486062A (zh) * 2019-12-19 2022-12-16 艾伊3D公司 用于展示立体图像的方法及显示系统
WO2023042266A1 (ja) * 2021-09-14 2023-03-23 日本電信電話株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
WO2024013850A1 (ja) * 2022-07-12 2024-01-18 日本電信電話株式会社 ステレオ映像生成装置、ステレオ映像生成方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0751689A2 (en) * 1995-06-29 1997-01-02 Matsushita Electric Industrial Co., Ltd. Stereoscopic image generating apparatus and display therefor
CN1319310A (zh) * 1998-09-22 2001-10-24 阿尔夫·霍尔格·切尔西希 产生三维图像的装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3712199A (en) * 1970-09-23 1973-01-23 Video West Inc Three-dimensional color photographic process, apparatus and product
US4761066A (en) * 1986-01-14 1988-08-02 Carter William J Stereoscopic optical system
CA1326082C (en) * 1989-09-06 1994-01-11 Peter D. Macdonald Full resolution stereoscopic display
US5258833A (en) * 1991-04-08 1993-11-02 Schenk Alan G Sterescopic television/video system
US6111596A (en) 1995-12-29 2000-08-29 Lucent Technologies Inc. Gain and offset correction for efficient stereoscopic coding and improved display
JP3931392B2 (ja) * 1997-08-25 2007-06-13 ソニー株式会社 立体画像用ビデオ信号生成装置、立体画像用ビデオ信号送出装置および立体画像用ビデオ信号受信装置
US6055274A (en) 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
GB2336963A (en) * 1998-05-02 1999-11-03 Sharp Kk Controller for three dimensional display and method of reducing crosstalk
US6703988B1 (en) * 1999-07-08 2004-03-09 Fergason Patent Properties, Llc Monitor for showing high-resolution and three-dimensional images and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0751689A2 (en) * 1995-06-29 1997-01-02 Matsushita Electric Industrial Co., Ltd. Stereoscopic image generating apparatus and display therefor
CN1319310A (zh) * 1998-09-22 2001-10-24 阿尔夫·霍尔格·切尔西希 产生三维图像的装置

Also Published As

Publication number Publication date
US20030020708A1 (en) 2003-01-30
ATE447298T1 (de) 2009-11-15
US7085410B2 (en) 2006-08-01
KR100912418B1 (ko) 2009-08-14
DE60234187D1 (de) 2009-12-10
ES2332708T3 (es) 2010-02-11
JP4098235B2 (ja) 2008-06-11
JP2004522382A (ja) 2004-07-22
CN1476729A (zh) 2004-02-18
EP1413148B1 (en) 2009-10-28
WO2003010976A1 (en) 2003-02-06
EP1413148A1 (en) 2004-04-28
KR20040017333A (ko) 2004-02-26

Similar Documents

Publication Publication Date Title
CN100366096C (zh) 立体图像处理设备和方法
EP2306729B1 (en) Video encoding device, video encoding method, video reproduction device, video recording medium, and video data stream
KR100753517B1 (ko) 입체 영상 디스플레이 기능을 갖는 이동통신 단말기 및이를 이용한 입체 영상 디스플레이 방법
Pastoor Human factors of 3D displays in advanced image communications
Hill et al. 3-D liquid crystal displays and their applications
WO2010048632A1 (en) Stereoscopic image format with depth information
CN100594737C (zh) 立体图像显示方法与系统
CN102014293B (zh) 平面视频的立体渲染方法
JPH08205201A (ja) 疑似立体視方法
CN103563363A (zh) 立体视觉图像的自动转换以便允许同时进行图像的立体视觉和平面视觉显示
US20090009591A1 (en) Image synthesizing apparatus and image synthesizing method
US20150215599A1 (en) Method for generating, transmitting and receiving stereoscopic images and relating devices
Tam et al. Depth image based rendering for multiview stereoscopic displays: Role of information at object boundaries
KR20050083352A (ko) 휴대용 단말장치에서 스테레오 카메라를 이용하여 파노라믹 영상과 3차원 영상을 획득 및 디스플레이를 할 수 있는 장치 및 그 방법.
CN102196276A (zh) 一种完全立体电视图像显示方案
Pastoor Human factors of 3DTV: an overview of current research at Heinrich-Hertz-Institut Berlin
JP2012134885A (ja) 画像処理装置及び画像処理方法
KR101114572B1 (ko) 스테레오스코픽 영상 신호의 2차원 영상 신호로의 변환방법 및 변환 장치
KR100823561B1 (ko) 2차원 및 3차원 입체 영상 표시 겸용 디스플레이 장치
EP2547109A1 (en) Automatic conversion in a 2D/3D compatible mode
US8947507B2 (en) Method of processing 3D images, and corresponding system including the formulation of missing pixels using windows of details from first and second views
KR102020563B1 (ko) 무안경식 3차원 디스플레이 시스템에 적용 가능한 영상 획득 방법과, 이를 통해 획득한 영상을 이용하여 3차원 입체 영상을 제공하는 방법, 장치 및 시스템
KR100830441B1 (ko) 이미지 표출 방법 및 이미지 표출 장치
Chen et al. Global quality of assessment and optimization for the backward-compatible stereoscopic display system
JPH0391388A (ja) 画像通信用入出力方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080130

Termination date: 20150625

EXPY Termination of patent right or utility model