CN102611901A - 深度推断数据生成装置、深度推断数据生成方法以及仿真立体图像显示装置 - Google Patents

深度推断数据生成装置、深度推断数据生成方法以及仿真立体图像显示装置 Download PDF

Info

Publication number
CN102611901A
CN102611901A CN2012100200348A CN201210020034A CN102611901A CN 102611901 A CN102611901 A CN 102611901A CN 2012100200348 A CN2012100200348 A CN 2012100200348A CN 201210020034 A CN201210020034 A CN 201210020034A CN 102611901 A CN102611901 A CN 102611901A
Authority
CN
China
Prior art keywords
data
play amount
image
generates
maximum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100200348A
Other languages
English (en)
Other versions
CN102611901B (zh
Inventor
木田晋吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN102611901A publication Critical patent/CN102611901A/zh
Application granted granted Critical
Publication of CN102611901B publication Critical patent/CN102611901B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供深度推断数据生成装置、深度推断数据生成方法以及仿真立体图像显示装置。该深度推断数据生成装置具备图像特征检测部、差分数据生成部、负偏移量生成部，正偏移量生成部。图像特征检测部生成从所输入的非立体图像的平均辉度检测出的平均值数据、从最小辉度检测出的最小值数据、从最大辉度检测出的最大值数据。差分数据生成部求出非立体图像和平均置数据之间的差分，生成差分数据。负偏移量生成部使用最小值数据生成随着具有偏移量的最小值的差分数据接近于0，偏移量从最小值变为接近于0的值的负偏移量；正偏移量生成部使用最大值数据生成随着具有偏移量的最大值的差分数据接近于0，偏移量从所述最大值变为接近于0的值的正偏移量。

Description

深度推断数据生成装置、深度推断数据生成方法以及仿真立体图像显示装置
技术领域
本发明涉及深度推断数据生成装置、深度推断数据生成方法以及仿真立体图像显示装置，尤其涉及根据通常的静止图像或运动图像、即没有明示或者也没有如立体图像的那样暗示地赋予深度信息的图像(非立体图像)生成仿真的立体图像的深度推断数据生成装置、深度推断数据生成方法以及仿真立体图像显示装置。
背景技术
在立体显示系统中，为了能够进行非立体图像的仿真体视的鉴赏，而进行根据通常的静止图像或运动图像、即没有明示地或者也没有如立体图像那样暗示地赋予用于显示立体的深度信息的图像(非立体图像)生成仿真的立体图像的处理。
作为这样的技术的一例，例如如在专利文献1(日本特开平9-185712号公报)中公开的技术那样，已知有以构成把与深度对应的轮廓线作为断面的电子管(tube)为前提的基于远近法的方法。
在该专利文献1中公开的技术中，对网格图像数据附加轮廓线的距离信息来形成三维多面立体数据，对该三维多面立体数据应用从照片图像取得的彩色图像数据。然后，以在通过三维多面立体数据构成的三维多面立体的内侧贴附彩色图像数据的方式，对所述三维多面立体进行再现(rendering)来得到三维多面立体数据。
此外，作为其它现有例有在专利文献2(日本特开2006-185033号公报)中公开的技术，在专利文献2中公开的仿真立体图像生成装置中，为了尽量决定接近于现实的场景构造，对于成为基本的多个场景构造的每一个使用表示深度值的多个基本深度模型，根据来自上部的高频成分评价部和下部的高频成分评价部的高频成分评价值来决定合成比率，根据该合成比率来合成多个基本深度模型。然后，在加法器中重叠所合成的基本深度模型和非立体图像的R信号，生成最终的深度推断数据，并对非立体图像的影像信号进行基于该深度推断数据的处理，由此生成能够感觉到立体感的其它视点图像的影像信号。
但是，在专利文献1中公开的方法以远近法为基本，不能对实际输入的各种非立体图像的全部场景适用远近法的构造推断，因此存在效果有限的问题。此外，存在即使在适用远近法的构造推断的情况下，也很难自动地构成正确的深度构造模型来实现没有不协调感的体视的问题。
而且，在专利文献2中公开的方法中，合成多个基本深度模型，对该合成的基本深度模型重叠R信号来生成深度推断数据。但是，在被重叠的R信号聚集在一画面内的较大的值的附近时，只是使用了能够作为深度推断数据来使用的动态范围的一部分，所以所得到的仿真立体效果不是很充分。
例如，如果参照图1说明，则在专利文献2中以1/10来重叠R信号，所以在图1中使R信号的输入为1/10。然后，当将R信号的平均值设为APL、最大值设为MAX、最小值设为MIN时，如图1的下方中所示的放大图，R信号实际使用的使用范围是比动态范围窄得多的范围。因此，由于只使用了部分动态范围，所以无法得到充分的仿真立体效果。
发明内容
本发明是鉴于上述问题而提出的，其目的在于提供一种能够最大限度地有效利用动态范围而得到充分的仿真立体效果的深度推断数据生成装置、深度推断数据生成方法以及仿真立体图像显示装置。
为了实现上述目的，本发明的深度推断数据生成装置具备：平均值检测部，其检测出图像的辉度信号成分的平均辉度，生成平均值数据；最小值检测部，其检测出所述图像的辉度信号成分的最小辉度，生成最小值数据；最大值检测部，其检测出所述图像的辉度信号成分的最大辉度，生成最大值数据；差分数据生成部，其求出所述图像的辉度信号成分和所述平均值数据之间的差分，生成差分数据；负偏移量生成部，其生成负偏移量，使用所述最小值数据的所述差分数据具有偏移量的最小值，随着所述差分数据接近于0，所述偏移量从所述最小值变为接近于0的值；正偏移量生成部，其生成正偏移量，使用所述最大值数据的所述差分数据具有偏移量的最大值，随着所述差分数据接近于0，所述偏移量从所述最大值变为接近于0的值；以及深度推断数据输出部，其将所述负偏移量和所述正偏移量作为用于根据所述图像生成仿真立体图像的深度推断数据输出。
此外，本发明的深度推断数据生成方法具备：平均值检测步骤，检测出图像的辉度信号成分的平均辉度，生成平均值数据；最小值检测步骤，检测出所述图像的辉度信号成分的最小辉度，生成最小值数据；最大值检测步骤，检测出所述图像的辉度信号成分的最大辉度，生成最大值数据；差分数据生成步骤，求出所述图像的辉度信号成分和所述平均值数据之间的差分，生成差分数据；负偏移量生成步骤，生成负偏移量，使用所述最小值数据的所述差分数据具有偏移量的最小值，随着所述差分数据接近于0，所述偏移量从所述最小值变为接近于0的值；正偏移量生成步骤，生成正偏移量，使用所述最大值数据的所述差分数据具有偏移量的最大值，随着所述差分数据接近于0，所述偏移量从所述最大值变为接近于0的值；以及深度推断数据输出步骤，将所述负的偏移量和所述正的偏移量作为用于根据所述图像生成仿真立体图像的深度推断数据输出。
而且，本发明的仿真立体图像显示装置，是根据没有明示地赋予深度信息或者也没有如立体图像那样暗示地赋予深度信息的非立体图像来生成仿真立体图像并进行显示的装置，具备：深度推断数据生成装置，其生成所述深度推断数据；立体图对生成装置，其使用所述深度推断数据和所述非立体图像，仅将所述非立体图像的纹理的偏移进行与对应部分的深度相对应的量，由此生成用于显示仿真立体图像的其它视点图像；以及立体图显示装置，其使用所述其它视点图像和所述非立体图像显示仿真立体图像。
根据本发明的深度推断数据生成装置以及深度推断数据生成方法，能够以非立体图像的平均辉度为基准，与动态范围的上限和下限相对应地修正非立体图像的最大值以及最小值，能够得到最大限度地有效利用动态范围的仿真立体效果。
此外，根据本发明的仿真立体图像显示装置，以非立体图像的平均辉度为基准，与动态范围的上限和下限相对应地修正非立体图像的最大值以及最小值，能够显示最大限度地有效利用动态范围具有充分的仿真立体效果的图像。
附图说明
图1是用于说明现有的仿真立体图像生成装置的课题的图。
图2是表示本发明的实施方式的仿真立体图像显示装置的结构的框图。
图3是表示输入到本发明的实施方式的仿真立体图像显示装置的图像的一画面内的判定区域的一例的图。
图4是表示本发明的实施方式的深度推断数据生成装置的露泄(leak)式积分部的结构的框图。
图5是表示通过本发明的实施方式的深度推断数据生成装置进行的深度推断数据的生成处理的处理步骤的流程图。
图6是表示通过本发明的实施方式的深度推断数据生成装置算出的深度推断数据的一例的图。
图7是表示通过本发明的实施方式的深度推断数据生成装置算出的深度推断数据的一例的图。
图8是表示通过本发明的实施方式的深度推断数据生成装置算出的深度推断数据的一例的图。
图9是表示通过本发明的实施方式的深度推断数据生成装置算出的深度推断数据的一例的图。
图10是用于说明本发明的实施方式的深度推断数据生成装置所产生的效果的图。
具体实施方式
以下参照附图说明本发明的实施方式。图2是表示本发明的实施方式的仿真立体图像显示装置的结构的框图。
如图2所示，本实施方式的仿真立体图像显示装置具有深度推断数据生成装置1、立体图对生成装置2、以及立体图显示装置3，没有明示地赋予深度信息或者也没有如立体图像那样暗示地赋予深度信息，根据由按时间序列连续的多个图像构成的非立体图像的影像信号(辉度信号Y、色差信号B-Y、R-Y)生成左眼图像信号和右眼图像信号，在立体图显示装置3使用左眼图像信号和右眼图像信号来显示仿真立体图像。
以下，对构成仿真立体图像显示装置的深度推断数据生成装置1、立体图对生成装置2以及立体图显示装置3的各装置进行说明。
(深度推断数据生成装置的构成)
如图2所示，本实施方式的深度推断数据生成装置1具备去除噪声成分的影响的低通滤波器11、检测出所输入的非立体图像的特征并输出图像特征数据的图像特征检测部12、生成深度推断数据的深度推断部13。另外，低通滤波器11不是必须的，可以省略。
在此，图像特征检测部12具有检测非立体图像的辉度信号成分的平均辉度，生成平均值(APL)数据的平均值检测部121、检测非立体图像的辉度信号成分的最小辉度，生成最小值(MIN)数据的最小值检测部121、以及检测非立体图像的辉度信号成分的最大辉度，生成最大值(MAX)数据的最大值检测部123。
图3是表示在所输入的非立体图像的一画面f内设置的判定区域fa的一例的图。如图3所示，图像特征检测部12在作为一个字段(field)或一帧的画面f内设置预定的判定区域fa，基于判定区域fa内的辉度等级，生成平均值数据、最小值数据、最大值数据作为图像特征数据。
另外，在本实施方式中，针对每一个字段或每一帧生成图像特征数据，但也可以针对各多个字段或各多个帧生成图像特征数据，也可以针对画面的每一预定单位(时间单位)生成图像特征数据。但是，理想的是针对每一个字段或每一帧生成图像特征数据。而且，判定区域fa只要在有效影像期间内，则可以是任意大小。
深度推断部13具有：对图像特征数据进行漏泄式积分处理的漏泄式积分部131；求出非立体图像的辉度信号成分和平均值数据之间的差分，生成差分数据的差分数据生成部132；使用最小值数据，与动态范围的下限相对应地对差分数据的小于0的值进行修正，生成负偏移量的负偏移量生成部133；使用最大值数据，与动态范围的上限相对应地对差分数据的大于0的值进行修正，生成正偏移量的正偏移量生成部134；以及将负偏移量和正偏移量作为深度推断数据输出的深度推断数据输出部135。深度推断数据是用于根据未被赋予深度信息的图像(称为非立体图像)生成仿真立体图像的数据。
在此，参照图4说明漏泄式积分部131的电路结构。如图4所示，漏泄积分部131具有加法器31、寄存器32以及乘法器33、34。然后，当从图像特征检测部12输入作为图像特征数据的平均值数据、最小值数据、最大值数据时，在时间方向执行漏泄式的积分处理。但是，在图4中作为一例来说明输入了平均值数据的情形。
如图4所示，当输入了输入平均值数据APL_in时，加法器31对输入平均值数据APL_in相加通过乘法器33对从寄存器32输出的数据乘以15/16而得的值。加法器31相加后的值被存储在寄存器32，在输入了下一个字段或帧中的输入平均值数据APL_in时，如上所述那样地被乘法器33、加法器31利用。之后，通过乘法器34对从寄存器32输出的数据乘以1/16，输出作为最终的输出数据的输出平均值数据APL_out。
由此，通过漏泄式积分部131进行漏泄式积分处理来使图像缓慢地变化来提供更自然的图像质量。
(深度推断数据的生成处理的步骤)
接着，参照图5的流程图说明通过本实施方式的深度推断数据生成装置进行的深度推断数据的生成处理的步骤。
如图5所示，在步骤S101中，图像特征检测部12从通过低通滤波器11被去除噪声的输入影像信号的辉度信号成分中检测平均辉度、最小辉度、最大辉度，生成图像特征数据。图像特征数据中包含表示平均辉度的平均值数据APL、表示最小辉度的最小值数据MIN、表示最大辉度的最大值数据MAX。然后，在步骤S102中，漏泄式积分部131对图像特征数据进行时间方向的漏泄式积分处理。
接着，在步骤S103中差分数据生成部132通过公式(1)来求出输入影像信号的辉度信号成分和平均值数据APL之间的差分，生成差分数据。
Y_sub(j)＝j-APL                (1)
在此，Y_sub(j)是差分数据，j是输入影像信号的辉度信号成分，APL是平均值数据。
根据在差分数据生成部132中生成的差分数据Y_sub(j)，在步骤S104，负偏移量生成部133进行基于公式(2)中所示的最小值数据的归一化处理。
Y_sub(j)＜0的情况下，
S(j)-＝Y_sub(j)×LowLim/(MIN-APL)           (2)
在此，S(j)-是负偏移量，LowLim是下限限制阈值，MIN是最小值数据。
基于最小值数据MIN的归一化处理，是使用最小值数据MIN，与预先设定的动态范围的下限相对应地对差分数据Y_sub(j)的小于0的值进行修正，生成负偏移量S(j)-的处理。即当差分数据Y_sub(j)取(MIN-APL)时、将具有最小值数据MIN的辉度信号成分的偏移量S(j)(负偏移量S(j)-)与下限限制阈值LowLim对应起来，另外，当差分数据Y_sub(j)取大于(MIN-APL)、且不足0的值时，具有比最小值数据MIN大，且比平均值数据APL小的数据的辉度信号成分的偏移量S(j)与大于下限限制阈值LowLim、且不足0的值对应起来。这样，使用了最小值数据的差分数据具有偏移量的最小值，随着差分数据接近于0，偏移量从最小值变为接近于0的值。
图6(a)表示输入影像信号的辉度信号成分(Y_in(j))和输出影像信号的辉度信号成分(Y_out(j))的关系。例如，参照图6(a)进行说明，当输入了平均辉度APL、最小辉度MIN、最大辉度MAX的影像信号(辉度信号)时，求出差分数据Y_sub(j)进行归一化处理，图6(b)中所示的从MIN到APL为止的值成为负偏移量S(j)-。
如图6(b)所示，在输入辉度信号j具有与平均值数据APL对应的辉度值时，负偏移量S(j)-成为0，在输入辉度信号j具有与最小值数据MIN对应的辉度值时，负偏移量S(j)-成为下限限制阈值LowLim。从而，通过预先将下限限制阈值LowLim设定为动态范围的下限，能够把负偏移量S(j)-放大到动态范围的下限。
在此，如果与现有技术进行比较，则在不进行归一化处理的现有的方法中，并不限于输入辉度信号j为最小辉度MIN时的偏移量成为动态范围的下限，因此无法有效利用整个动态范围。但是，在本实施方式中通过进行归一化处理，如图6(b)所示，输入辉度信号j为最小辉度MIN时，负偏移量S(j)-成为下限限制阈值LowLim，所以只要把下限限制阈值LowLim预先设定成动态范围的下限，就可以充分利用整个动态范围。
接着，在步骤S105中，偏移量生成部134进行基于公式(3)中所示的最大值数据的归一化处理。
Y_sub(j)＞0的情况下，
S(j)+＝Y_sub(j)×UpLim/(MAX-APL)          (3)
在此，S(j)+是正偏移量，UpLim是上限限制阈值，MAX是最大值数据。
基于最大值数据MAX的归一化处理，是使用最大值数据MAX，与预先设定的动态范围的上限相对应地对差分数据Y_sub(j)的大于0的值进行修正，生成正偏移量S(j)+的处理。若如上述那样求出差分数据Y_sub(j)进行归一化处理，则如图6(b)中所示的从APL到MAX的值成为正偏移量S(j)+。即当差分数据Y_sub(j)取(MAX-APL)的值时、将具有最大值数据MAX的辉度信号成分的偏移量S(j)(正偏移量S(j)+)与上限限制阈值UpLim对应起来。此外，当差分数据Y_sub(j)取小于(MAX-APL)、且大于0的值时，具有比最大值数据MAX小，且比平均值数据APL大的数据的辉度信号成分的偏移量S(j)与小于上限限制阈值UpLim、且大于0的值对应起来。这样，使用了最大值数据的差分数据具有偏移量的最大值，随着差分数据接近于0，偏移量从最大值变为接近于0的值。
如图6(b)所示，在输入辉度信号j具有与平均值数据APL相对应的辉度值的情况下，正偏移量S(j)+成为0，在输入辉度信号j具有与最大值数据MAX相对应的辉度值的情况下，正偏移量S(j)+成为上限限制阈值UpLim。从而通过将上限限制阈值UpLim预先设定为动态范围的上限，由此能够把正偏移量S(j)+放大至动态范围的上限。
在此如果与现有技术进行比较的话，则在不进行归一化处理的现有的方法中，输入辉度信号j为最大辉度MAX时的偏移量并不限于成为动态范围的上限，所以不能有效利用整个动态范围。但是，在本实施方式中通过进行归一化处理，如图6(b)所示，在输入辉度信号j为最大辉度MAX时，正偏移量S(j)+成为上限限制阈值UpLim，所以只要把上限限制阈值UpLim设定为动态范围的上限，就能够充分利用整个动态范围。
当生成了负偏移量S(j)-和正偏移量S(j)+时，接着在步骤S106中，深度推断数据输出部135计算在公式(4)中所示的偏移量S(j)，将偏移量S(j)作为深度推断数据输出。
S(j)＝S(j)-+S(j)+        (4)
另外，正偏移量S(j)+向突出(凸)方向作用，负偏移量S(j)-向引入(凹)方向作用。作为决定该特性的主要原因是由于在灰色标度中，明度高的白色是膨胀色，看似变大变宽，明度低的黑色是收缩色，看似变小。
接着，参照图7～9说明所输入的辉度信号的分布多样地变化时的深度推断数据的生成例。
图7表示在对于辉度信号j的数据集中在中间辉度时的图像，生成了深度推断数据(偏移量S)时的情形。如图7(a)所示，输入影像信号的辉度信号成分集中在窄的范围(MAX-MIN)，但是通过进行归一化处理，如图7(b)所示那样放大，在深度推断推定数据中最大限度地有效利用从下限限制阈值LowLim到上限限制阈值UpLim的动态范围。
图8中表示针对辉度信号j的数据较多分布在高辉度的图像，生成深度推断数据(偏移量S)时的情形。如图8(a)所示，对平均辉度数据APL进行检测，以包含较多的图像信息的APL的等级为基点，所以能够在维持保存了高辉度中包含的较多的必要的信息的状态下，转换成图8(b)所示的深度推断数据。
图9表示对于辉度信号j的数据较多分布在低辉度的图像，生成深度推断数据(偏移量S)的情形。如图9(a)所示，对平均辉度数据APL进行检测，以包含的图像信息较多的APL的等级作为基点，所以能够在维持保存了低辉度中包含的较多的必要的信息的状态下，转换成图9(b)所示的深度推断数据。由此有提高深度感的效果。
如上所述，当步骤S106的处理结束时，此后回到步骤S101，重复到步骤S106为止的处理，当对全部输入影像信号生成了深度推断数据时，结束基于本实施方式的深度推断数据生成装置1的深度推断数据的生成处理。
(深度推断数据生成装置的效果)
然后，参照图10说明本实施方式的深度推断数据生成装置的效果。
对作为输入图像输入了如图10(a)所示的整体明亮的天空的图像时的情形进行说明。该输入图像的图像特征数据中，如图10(b)所示，与平均辉度数据APL对应的辉度值是175，与最小值数据MIN对应的辉度值是131，与最大值数据MAX对应的辉度值是242，参照纵轴中表示的像素的出现频度就可以知道图像像素集中在整体明亮的辉度(高辉度)区域。
在此，在图10(c)中表示实施了现有的偏移处理的图像。图像用灰色标度表现，以256阶梯显示了黑～白，假设黑侧向深度(凹)方向移动，白色向突出(凸)方向移动。图10(d)以横轴表示偏移量，以纵轴表示像素的出现频度，假设动态范围是以128为中心的-24、+23的范围(104～151)的情形。如图10(d)所示，偏移量只是使用128～149的窄的范围，看图10(c)所示的图像就可以知道成为浓淡的差少的立体效果弱的输出图像。
另一方面，图10(e)中所示的实施了基于本发明的偏移处理的图像，如图10(f)所示，能够有效利用动态范围(104～151)的大部分。因此，图10(e)中所示的图像成为浓淡的差较大，即具有视差大的充分的立体效果的输出图像。这样，根据本实施方式的深度推断数据生成装置1，可以最大限度地有效利用动态范围而得到充分的仿真立体效果。
(立体图对生成装置、立体图显示装置的构成)
如上所述，当通过深度推断数据生成装置1生成深度推断数据时，根据深度推断数据可以生成其它视点的图像。在此，参照图2说明本实施方式的立体图对生成装置2以及立体图显示装置3的结构。
如图2所示，立体图对生成装置2具备：根据通过深度推断部13生成的深度推断数据，使所输入的非立体图像的影像信号的纹理偏移的纹理偏移部21；补偿遮挡(occlusion)的遮挡补偿部22；进行后期处理的后期处理部23；左眼图像信号生成部24以及右眼图像信号生成部25。
并且，立体图对生成装置2生成的左眼图像信号和右眼图像信号被输入到立体图显示装置3，在立体图显示装置3被显示为仿真的立体图像。
(立体图对生成装置2的动作的一例)
在立体图对生成装置2中，根据基于由深度推断数据生成装置1生成的阶调修正曲线推断的深度信号和影像信号来生成其它视点的图像。例如，在向左移动视点时，对通过画面在跟前显示的物体，可以看到越近的物体越在看图像的人的内侧(鼻子侧)，所以把对应部分的纹理向内侧即向右移动与深度相对应的量。与此相对，通过画面在深处显示的物体，可以看到越近的物体越在看图像的人的外侧，所以把对应部分的纹理向左移动与深度相对应的量。通过把这些作为左眼图像、把原图像作为右眼图像来构成立体图对。
即、在图2所示的本实施方式的立体图对生成装置2中，首先，纹理偏移部21对于从深度推断数据生成装置1的深度推断部13输出的深度推断数据，从小的值开始即从位于深处的开始，依次将与该值对应的部分的影像信号的纹理仅移动深度信号表示的偏移量S像素量，例如向右偏移。另外，在深度信号为负的情况下，向左仅偏移深度信号表示的其偏移量S像素量。
基于纹理偏移部21中的偏移量S的影像信号的纹理的偏移的动作与非立体图像的影像信号的纹理的偏移相对应。换言之，是根据作为深度推断数据的值的偏移量S的值将非立体图像的各像素分别向左右移动的处理。
在此，由于进行偏移而引起的图像中的位置关系的变化，有发生在不存在纹理的部分的情形、即发生遮挡的情形。对于这样的部分，遮挡补偿部22通过影像信号的对应部分周边的影像信号进行充填或者通过在公知的文献(山田邦男、望月研二、相澤清晴、斎藤隆弘：“领域競業法により分割された画像のテクスチヤの統計量に基づく置くル一ジヨン補償”映情学誌、vol.56，No.5，pp.863-866(2002.5))等中记载的方法进行充填。
通过遮挡补偿部22进行遮挡补偿后的图像，通过后期处理部23进行滤波等后期处理，减轻在其以前的处理中发生的噪声等，在左眼图像信号生成部24被作为左眼图像信号来输出。另一方面，在右眼图像信号生成部25将影像信号作为右眼图像信号输出。
由此，立体图对生成装置2能够根据基于深度推断数据生成装置1生成的阶调修正曲线推断的深度推断数据和影像信号，生成左眼图像信号和右眼图像信号的立体图对。之后，这些左眼图像信号和右眼图像信号被输出至立体图显示装置3。之后，在立体图显示装置3中能够显示通过立体图对提高了画面全体的虚拟的立体感的仿真立体图像。
另外，关于立体图对，可以通过左右反转来构成将左眼图像信号作为原图像，将右眼立体图像作为其它视点图像的立体图对。此外，在上述处理中，构成了将右眼图像信号或左眼图像信号中的某一个作为影像信号，将另一方作为所生成的其它视点图像信号的立体图对，但对于左右任意一方也能够使用其它视点图像信号的、即使用向右移动视点的其它视点图像信号和向左移动视点的其它视点图像信号来构成立体图对。
(立体图显示装置3的动作的一例)
图2中表示的本实施方式的立体显示装置3，例如是使用偏光镜的投影系统，或者组合了分时显示和液晶光阀眼镜的投影系统、或显示系统、透镜方式的立体显示器、立体影片方式的立体显示器、头置式显示器或与立体图像的各图像对应的两台投影仪的投影系统，输入了通过立体图对生成装置2生成的左眼图像信号和右眼图像信号，在显示器等中显示仿真立体图像。
另外，在上述实施方式的说明中，作为立体图对生成装置2来说明了左眼图像信号和右眼图像信号的两个视点的例子，但本发明并不限于此。即、在可以进行两个视点以上的显示的显示装置中进行显示的情况下，当然可以生成与其视点数对应数量的其它视点图像。
此外，如上所述，可以构建使用可以显示两个视点以上的显示装置的多视点立体图像显示系统。可以考虑在本立体显示装置中装备声音输出。此时，对于不具有静止图像等声音信息的图像内容，可以考虑对于像附加适当的环境音。
此外，在本实施方式中，如图2所示，说明了通过硬件来构成深度推断数据生成装置1、立体图对生成装置2以及立体图显示装置3的情形，但在本发明中并不限于通过硬件构成，当然可以例如通过CPU和用于使该CPU如上述那样动作的计算机程序的软件来实现深度推断数据生成装置1、立体图对生成装置2、立体图显示装置3的功能。此时，计算机程序可以从记录介质读入到计算机，可以经由网络读入到计算机。
以上，通过一个实施方式说明了本发明，但上述实施方式用于例示了用于使本发明的技术思想具体化的装置或方法，该发明的技术思想并不用于确定构成物品的材质、形状、构造、配置等。可以在权利要求书的范围内对该发明的技术思想进行各种变更。

Claims (3)

1.一种深度推断数据生成装置，其特征在于，
具备：
平均值检测部，其检测出图像的辉度信号成分的平均辉度，生成平均值数据；
最小值检测部，其检测出所述图像的辉度信号成分的最小辉度，生成最小值数据；
最大值检测部，其检测出所述图像的辉度信号成分的最大辉度，生成最大值数据；
差分数据生成部，其求出所述图像的辉度信号成分和所述平均值数据之间的差分，生成差分数据；
负偏移量生成部，其生成负偏移量，使用所述最小值数据的所述差分数据具有偏移量的最小值，随着所述差分数据接近于0，所述偏移量从所述最小值变为接近于0的值；
正偏移量生成部，其生成正偏移量，使用所述最大值数据的所述差分数据具有偏移量的最大值，随着所述差分数据接近于0，所述偏移量从所述最大值变为接近于0的值；以及
深度推断数据输出部，其将所述负偏移量和所述正偏移量作为用于根据所述图像生成仿真立体图像的深度推断数据输出。
2.一种深度推断数据生成方法，其特征在于，
具备：
平均值检测步骤，检测出图像的辉度信号成分的平均辉度，生成平均值数据；
最小值检测步骤，检测出所述图像的辉度信号成分的最小辉度，生成最小值数据；
最大值检测步骤，检测出所述图像的辉度信号成分的最大辉度，生成最大值数据；
差分数据生成步骤，求出所述图像的辉度信号成分和所述平均值数据之间的差分，生成差分数据；
负偏移量生成步骤，生成负偏移量，使用所述最小值数据的所述差分数据具有偏移量的最小值，随着所述差分数据接近于0，所述偏移量从所述最小值变为接近于0的值；
正偏移量生成步骤，生成正偏移量，使用所述最大值数据的所述差分数据具有偏移量的最大值，随着所述差分数据接近于0，所述偏移量从所述最大值变为接近于0的值；以及
深度推断数据输出步骤，将所述负偏移量和所述正偏移量作为用于根据所述图像生成仿真立体图像的深度推断数据输出。
3.一种仿真立体图像显示装置，其根据没有明示地赋予深度信息或者没有如立体图像那样暗示地赋予深度信息的非立体图像生成仿真立体图像并进行显示，其特征在于，
具备：
深度推断数据生成装置、立体图对生成装置、以及立体图显示装置，
所述深度推断数据生成装置生成所述深度推断数据，其具有：
平均值检测部，其检测出图像的辉度信号成分的平均辉度，生成平均值数据；
最小值检测部，其检测出所述图像的辉度信号成分的最小辉度，生成最小值数据；
最大值检测部，其检测出所述图像的辉度信号成分的最大辉度，生成最大值数据；
差分数据生成部，其求出所述图像的辉度信号成分和所述平均值数据之间的差分，生成差分数据；
负偏移量生成部，其生成负偏移量，使用所述最小值数据的所述差分数据具有偏移量的最小值，随着所述差分数据接近于0，所述偏移量从所述最小值变为接近于0的值；
正偏移量生成部，其生成正偏移量，使用所述最大值数据的所述差分数据，具有偏移量的最大值，随着所述差分数据接近于0，所述偏移量从所述最大值变为接近于0的值；以及
深度推断数据输出部，其将所述负偏移量和所述正偏移量作为用于根据所述图像生成仿真立体图像的深度推断数据输出，
所述立体图对生成装置，其使用所述深度推断数据和所述非立体图像，仅将所述非立体图像的纹理的偏移进行与对应部分的深度相对应的量，由此生成用于显示仿真立体图像的其它视点图像，
所述立体图显示装置，其使用所述其它视点图像和所述非立体图像来显示仿真立体图像。
CN201210020034.8A 2011-01-24 2012-01-21 深度推断数据生成装置、深度推断数据生成方法以及仿真立体图像显示装置 Expired - Fee Related CN102611901B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-011836 2011-01-24
JP2011011836A JP5488482B2 (ja) 2011-01-24 2011-01-24 奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置

Publications (2)

Publication Number Publication Date
CN102611901A true CN102611901A (zh) 2012-07-25
CN102611901B CN102611901B (zh) 2015-03-04

Family

ID=46510936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210020034.8A Expired - Fee Related CN102611901B (zh) 2011-01-24 2012-01-21 深度推断数据生成装置、深度推断数据生成方法以及仿真立体图像显示装置

Country Status (5)

Country Link
US (1) US8976175B2 (zh)
JP (1) JP5488482B2 (zh)
KR (1) KR101329069B1 (zh)
CN (1) CN102611901B (zh)
DE (1) DE102012000946A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114517A (ja) * 2011-11-29 2013-06-10 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN103593641B (zh) * 2012-08-16 2017-08-11 株式会社理光 基于立体摄像机的物体检测方法和装置
KR102379182B1 (ko) * 2015-11-20 2022-03-24 삼성전자주식회사 연속 데이터 압축 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060061569A1 (en) * 2004-09-21 2006-03-23 Kunio Yamada Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system
US20090022396A1 (en) * 2007-07-06 2009-01-22 Tatsumi Watanabe Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit
CN101646095A (zh) * 2008-08-06 2010-02-10 索尼株式会社 图像处理装置、图像处理方法及程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59157555A (ja) * 1983-02-28 1984-09-06 Matsushita Electric Ind Co Ltd 乾燥検知装置
JPH09185712A (ja) 1995-12-28 1997-07-15 Kazunari Era 三次元画像データ作成方法
EP1326433B1 (en) * 2001-12-29 2012-04-11 Samsung Electronics Co., Ltd. Apparatus and method of controlling brightness of image
KR100512976B1 (ko) 2003-08-09 2005-09-07 삼성전자주식회사 화면의 콘트라스트를 향상시키는 블랙/화이트 스트레칭시스템 및 그의 스트레칭 방법
JP2006031171A (ja) * 2004-07-13 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 擬似的３次元データ生成方法、装置、プログラム、および記録媒体
JP4214527B2 (ja) 2004-12-27 2009-01-28 日本ビクター株式会社 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム
CA2627999C (en) 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
KR20100135032A (ko) 2009-06-16 2010-12-24 삼성전자주식회사 2차원 영상의 3차원 영상 변환 장치 및 방법
JP5402483B2 (ja) * 2009-10-02 2014-01-29 株式会社Ｊｖｃケンウッド 擬似立体画像作成装置及び擬似立体画像表示システム
JP5402504B2 (ja) * 2009-10-15 2014-01-29 株式会社Ｊｖｃケンウッド 擬似立体画像作成装置及び擬似立体画像表示システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060061569A1 (en) * 2004-09-21 2006-03-23 Kunio Yamada Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system
US20090022396A1 (en) * 2007-07-06 2009-01-22 Tatsumi Watanabe Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit
CN101646095A (zh) * 2008-08-06 2010-02-10 索尼株式会社 图像处理装置、图像处理方法及程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ASHUTOSH SAXENA,MIN SUN,ANDREW Y.NG: "Make3D: Learning 3D Scene Structure", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *

Also Published As

Publication number Publication date
US20120188244A1 (en) 2012-07-26
JP5488482B2 (ja) 2014-05-14
CN102611901B (zh) 2015-03-04
KR101329069B1 (ko) 2013-11-14
KR20130026370A (ko) 2013-03-13
US8976175B2 (en) 2015-03-10
JP2012155389A (ja) 2012-08-16
DE102012000946A1 (de) 2012-07-26

Similar Documents

Publication Publication Date Title
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
US8711204B2 (en) Stereoscopic editing for video production, post-production and display adaptation
Tian et al. View synthesis techniques for 3D video
EP2357838B1 (en) Method and apparatus for processing three-dimensional images
JP4214976B2 (ja) 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
US8503764B2 (en) Method for generating images of multi-views
CN100565589C (zh) 用于深度感知的装置和方法
EP2755187A2 (en) 3d-animation effect generation method and system
CN102379127A (zh) 影像处理装置、影像处理方法以及计算机程序
CN102656892B (zh) 立体图像显示控制设备及其操作控制方法
CN110381305B (zh) 裸眼3d的去串扰方法、系统、存储介质及电子设备
JP4214529B2 (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
CN102611901A (zh) 深度推断数据生成装置、深度推断数据生成方法以及仿真立体图像显示装置
JP4214527B2 (ja) 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム
WO2007017834A3 (en) Disparity value generator
Guo et al. Adaptive estimation of depth map for two-dimensional to three-dimensional stereoscopic conversion
CN104168469A (zh) 立体影像预览装置以及立体影像预览方法
CN104052990B (zh) 一种基于融合深度线索的全自动二维转三维方法和装置
JP6017144B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP4214528B2 (ja) 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム
KR101754976B1 (ko) 적층형 홀로그램용 콘텐츠 변환방법 및 변환장치
JP5871113B2 (ja) 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム
JP4419139B2 (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
JP5459231B2 (ja) 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置
KR100400209B1 (ko) 텔레비젼(tv)신호로부터삼차원동영상을발생시키는장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150304

Termination date: 20220121

CF01 Termination of patent right due to non-payment of annual fee