CN102067616A - 图像信息处理设备、图像捕获设备、图像信息处理方法及程序 - Google Patents

图像信息处理设备、图像捕获设备、图像信息处理方法及程序 Download PDF

Info

Publication number
CN102067616A
CN102067616A CN2010800018185A CN201080001818A CN102067616A CN 102067616 A CN102067616 A CN 102067616A CN 2010800018185 A CN2010800018185 A CN 2010800018185A CN 201080001818 A CN201080001818 A CN 201080001818A CN 102067616 A CN102067616 A CN 102067616A
Authority
CN
China
Prior art keywords
depth value
unit
scene
change
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800018185A
Other languages
English (en)
Inventor
田所英司
冈田俊二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102067616A publication Critical patent/CN102067616A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/282—Autofocusing of zoom lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本发明涉及允许深度值在立体内容的场景变化中平滑地转变的图像信息处理设备、图像捕获设备、图像信息处理方法和程序。在章节#i的末端部分中的深度值711和章节#(i+1)的开始部分中的深度值714之间发生快速的变化的情况中，当在章节#i和章节#(i+1)之间发生变化的时候，所有的深度值临时被校正为零(无穷大)。在这种时候，允许深度值在例如0.5秒或更长的时间段内转变。允许章节#i的末端部分中的原始深度值721顺序地转变，使得结束帧的深度值722变成零。类似地，章节#(i+1)的开始帧的深度值723被设置为零，并且，允许该深度值723顺序地转变为开始部分中的原始深度值724。

Description

图像信息处理设备、图像捕获设备、图像信息处理方法及程序
技术领域
本发明涉及图像信息处理设备，更具体地涉及处理包含用于立体显示的深度值的图像信息的图像信息处理设备、图像捕获设备、用于这些设备的处理方法、以及用于使计算机执行该方法的程序。
背景技术
近年来，作为用于显示内容的显示设备，已经提出了不仅能够显示平面(二维)内容而且能够显示立体(三维)内容的显示设备。由于使用在两个眼睛之间发生的视差(双眼象差异)，所以，这种显示设备在诸如下述情况之类的情况中可能会给观察者一种不自然的感觉：在两个眼睛之间的会聚角和焦距之间出现矛盾的情况；以及在视差值不合适的情况。
因此，已经提出了这样一种显示设备，该显示设备计算立体内容对生物体的影响程度，并且，根据观察者的忍耐水平控制要显示的立体内容的显示状态(例如，参见专利文献1)。在现有技术的这种设备中，内容元数据信息包含关于内容的深度图信息(depth mapinformation)，如果其最大的深度量大，则改变深度图的值以小于标准值，并且执行显示。
引用列表
专利文献
专利文献1：日本未审专利申请公开No.2004-246725(图1)
发明内容
技术问题
上述的现有技术的设备调节深度量以抑制对观察者的影响。然而，在现有技术的这种设备中，基于观察者的忍耐水平和立体内容之间的一般关系(所谓的三维疾病(cybersickness)的风险)来改变显示，并且，不考虑内容随着时间的转变。
立体内容通常包含场景变化，并且深度值在场景变化时会快速地变化，这可能会给观察者带来一种不舒服的感觉。同样地，这不仅在立体内容的立体视频图像之间的变化中而且在立体视频图像和平面视频图像之间的变化中也变得严重。此外，甚至在显示静止图像的幻灯片(slideshow)的情况中也出现与运动图像类似的问题。
鉴于这种情形，提出了本发明，并且，本发明的目的在于允许深度值在立体内容的场景变化期间平滑地转变。
问题的解决方案
为了解决上述问题而提出了本发明，本发明的第一方面提供一种图像信息处理设备、图像信息处理方法及其程序，该图像信息处理设备包括：场景变化检测单元，该场景变化检测单元检测内容中的场景变化；以及深度值校正单元，该深度值校正单元校正用于立体显示的深度值，从而允许深度值的变化在场景变化之前和之后以预定的显示速度转变。因此，提供了允许用于立体显示的深度值在场景变化之前和之后平滑地转变的效果。
此外，在该第一方面中，深度值校正单元可以校正与内容中的某个区域相对应的深度值，从而允许深度值的变化在场景变化之前和之后以预定的显示速度转变。因此，提供了允许与内容中的某个区域相对应的深度值在场景变化之前和之后平滑地转变的效果。
此外，在该第一方面中，深度值校正单元可以在场景变化之前和之后将整个图像的深度值校正到望远侧。因此，提供了允许整个图像的深度值在场景变化之前和之后转变到望远侧的效果。
此外，在该第一方面中，深度值校正单元可以校正深度值，从而提供以预定的显示速度的、从场景变化之前的深度值到场景变化之后的深度值的转变。因此，提供允许从场景变化之前的深度值到场景变化之后的深度值的平滑的转变的效果。
此外，在该第一方面中，深度值校正单元可以允许深度值在下述预定时段之一中转变：在场景变化之前的预定时段、在场景变化之后的预定时段、以及在跨越场景变化之前和之后的预定时段。
此外，在该第一方面中，场景变化检测单元可以将立体图像和平面图像之间的变化检测为场景变化。因此，提供允许立体图像和平面图像之间的变化之前和之后的平滑的转变的效果。
此外，在该第一方面中，场景变化检测单元可以将运动图像和静止图像之间的变化检测为场景变化。因此，提供允许运动图像和静止图像之间的变化之前和之后的平滑的转变的效果。
此外，本发明的第二方面提供一种图像信息处理设备、图像信息处理方法及其程序，该图像信息处理设备包括：固定深度值设置单元，该固定深度值设置单元针对用于提供形成内容的图像数据的立体显示的深度值，将恒定值设置为固定深度值；基准深度值指定单元，该基准深度值指定单元选择图像数据中的某个区域，并且将对应于该区域的深度值指定为基准深度值；以及深度值校正单元，该深度值校正单元使用基准深度值与固定深度值之比来校正对应于图像数据的每一个区域的深度值。因此，提供将特定区域的深度值维持为恒定值的效果。
此外，本发明的第三方面提供一种图像捕获设备、图像捕获处理方法及其程序，该图像捕获设备包括：捕获图像供应单元，该捕获图像供应单元捕获图像，并且供应捕获的图像和用于立体显示的深度值；场景变化检测单元，该场景变化检测单元检测捕获的图像中的场景变化；以及深度值校正单元，该深度值校正单元校正深度值，从而允许深度值的变化在场景变化之前和之后以预定的显示速度转变。因此，提供了允许用于立体显示的深度值在场景变化之前和之后平滑地转变的效果。
本发明的有益效果
根据本发明，可以实现能够使深度值在立体内容的场景变化中平滑地转变的极好的优点。
附图说明
图1是示出本发明实施例中的图像捕获设备300的示例性整体配置的示图。
图2是示出本发明实施例中的内容记录单元200的示例性配置的示图。
图3是示出本发明实施例中的深度图220的例子的示图。
图4包括示出本发明实施例中的深度值和距离之间的关系的例子的示图。
图5包括示出根据本发明实施例的视频数据210和深度图220之间的关系的示图。
图6包括示出根据本发明实施例的深度值校正的第一模式的示图。
图7是示出根据本发明实施例的深度值校正的第一模式中的整个章节(chapter)的示图。
图8是示出本发明实施例中的深度值校正机构的第一示例功能配置的示图。
图9是示出根据本发明实施例中的深度值校正的第一模式的处理流程的示图。
图10包括示出根据本发明实施例的深度值校正的第二模式的示图。
图11是示出本发明实施例中的深度值校正机构的第二示例功能配置的示图。
图12是示出根据本发明实施例中的深度值校正的第二模式的第一处理流程的示图。
图13是示出根据本发明实施例中的深度值校正的第二模式的第二处理流程的示图。
图14是示出根据本发明实施例中的深度值校正的第二模式的第三处理流程的示图。
图15是示出本发明第三实施例中的静止图像数据和运动图像数据之间的关系的示图。
图16包括示出根据本发明实施例的深度值校正的第三模式的示图。
图17是示出本发明实施例中的深度值校正机构的第三示例功能配置的示图。
图18是示出根据本发明实施例中的深度值校正的第三模式的处理流程的示图。
图19包括示出根据本发明实施例的深度值校正的第三模式的变型例的示图。
具体实施方式
在下文中将描述实施本发明的方式(在下文中称为实施例)。
将按照下面的顺序给出描述。
1.第一实施例(在场景变化的时候深度值被设置到望远侧的例子)
2.第二实施例(在场景变化的时候允许主图像区域的深度值转变的例子)
3.第三实施例(在幻灯片静止图像之间变化的时候校正深度值的例子)
4.变型例
<1.第一实施例>
[图像捕获设备300的示例性整体配置]
图1是示出本发明实施例中的图像捕获设备300的示例性整体配置的示图。图像捕获设备300包括镜头单元310、用于操作镜头单元310的电机315和316、以及电机驱动器319。图像捕获设备300还包括图像拾取元件321、模拟处理单元322、A/D转换器323、数字处理单元324、产生定时的定时产生器325、以及照相机控制单元329。图像捕获设备300还包括视频编码单元331、深度信息设置单元332、文件产生单元333、文件解码单元334、视频解码单元335和深度信息输出单元336。图像捕获设备300还包括存储器337、用于存储器337的存储器控制器338和系统控制单元339。信号线从操作接收单元390连接到系统控制单元339。另外，图像捕获设备300包括误差校正单元341、数据调制/解调单元342、磁场调制驱动器343、磁场头344、伺服电路345、电机346、光学拾取器347、驱动控制单元349和显示单元350。此外，作为记录有视频的记录介质，例如，光盘370被附接到图像捕获设备300。
镜头单元310被配置为接收来自被摄体的光，并且包括变焦透镜311和聚焦透镜312。电机315和316分别与变焦透镜311和聚焦透镜312连接，并且，电机315和316被驱动为使得可以使变焦透镜311和聚焦透镜312移动。此外，电机驱动器319与电机315和316连接，并且，由电机驱动器319控制电机315和316。
图像拾取元件321是将由镜头单元310接收的光转换为静电并累积该静电的元件，并且，使用例如CCD或CMOS传感器等来实现。模拟处理单元322通过使用相关双采样(CDS)去除来自图像拾取元件321的模拟信号中的噪声，并且通过使用自动增益控制(AGC)来校正模拟信号的高频部分和低频部分。A/D转换器323将来自模拟处理单元322的模拟信号转换为数字信号。数字处理单元324执行诸如白平衡或伽玛转换的处理。
来自数字处理单元324的输出信号变成视频编码单元331的视频信号输入。此外，将由数字处理单元324检测的信息传送给照相机控制单元329。照相机控制单元329基于由数字处理单元324检测的信息对电机驱动器319和定时产生器325执行控制。定时产生器325产生用于图像拾取元件321、模拟处理单元322、A/D转换器323和数字处理单元324的定时信号。请注意，已经描述的镜头单元310、图像拾取元件321等是权利要求中记载的捕获图像供应单元的例子。
视频编码单元331对视频信号进行编码。深度信息设置单元332设置对应于视频信号的深度信息。文件产生单元333通过将编码的视频信号和深度信息进行多路复用来产生视频文件(多路复用的数据)。文件解码单元334对视频文件进行解码，并且输出视频信号和深度信息。视频解码单元335对视频信号进行解码，并且将解码的视频信号输出到显示单元350。深度信息输出单元336对深度信息进行解码，并且将解码的深度信息输出到显示单元350。
存储器337是保持视频文件等的存储器。存储器控制器338将从文件产生单元333或误差校正单元341供应的视频文件(多路复用的数据)写入到存储器337中，或者，存储器控制器338进一步从存储器337读取多路复用的数据并将多路复用的数据供应给误差校正单元341或文件解码单元334。
系统控制单元339控制上述的存储器控制器338的操作或者文件产生单元333和文件解码单元334的操作。此外，系统控制单元339与驱动控制单元349连接，并且作出对盘驱动器的操作的请求。此外，系统控制单元339与照相机控制单元329连接，并且能够获得自动聚焦和变焦状态(诸如自动聚焦是否处于聚焦动作中或者焦距)。
另外，操作接收单元390与系统控制单元339连接，并且，能够识别来自用户的操作输入。作为操作接收单元390，例如，提供与变焦有关的按钮和与记录有关的按钮。系统控制单元339与照相机控制单元329连接，并且，根据来自用户的操作输入执行诸如变焦的控制。
误差校正单元341将用于交织和误差校正的代码添加至来自存储器控制器338的多路复用的数据，并且将所得到的数据供应给数据调制/解调单元342。此外，误差校正单元341对来自数据调制/解调单元342的解调信号执行去交织和误差校正处理，并且，将多路复用的数据供应给存储器控制器338。
数据调制/解调单元342执行预定的调制以便记录到光盘370上，并且其后将所得到的信号输出给磁场调制驱动器343。同时，数据调制/解调单元342输出用于驱动光学拾取器347的信号。此外，数据调制/解调单元342对来自光学拾取器347的信号执行预定的解调处理，并且将所得到的信号作为解调信号输出给误差校正单元341。
在记录时，磁场调制驱动器343根据输入信号驱动磁场头344，并且将磁场施加给光盘370。在记录时，光学拾取器347将用于记录的激光束照射到光盘370上，以将信号记录到光盘370上。此外，在再现时，光学拾取器347将用于再现的激光束照射到光盘370上，根据从光盘370反射的光束的量执行向电信号的光电转换，并且获取再现信号。根据来自系统控制单元339的请求执行上述操作，并且，驱动控制单元349向伺服电路345发出请求以控制盘驱动器的整体操作。伺服电路345控制光学拾取器347的盘径向方向上的移动伺服、跟踪伺服和聚焦伺服，并且还控制电机346的主轴伺服(spindle servo)。因此，光盘370执行视频文件(多路复用的数据)的记录或再现。
请注意，在上述的示例配置中，假设用于磁场调制的磁光盘。然而，甚至在相变盘的情况中，也使用类似的基本配置。此外，代替光盘370，可以利用磁盘(诸如硬盘)或者半导体盘(诸如SSD(固态驱动器))。
显示单元350被配置为：基于来自视频解码单元335的视频信号和来自深度信息输出单元336的深度信息，使用在两个眼睛之间发生的视差来显示立体图像。对显示单元350执行立体显示的方案没有特别的限制，例如，通过微极型(Micropole-type)显示器来实现显示单元350。此外，这里，假设显示单元基于视频信号和深度信息执行立体显示。然而，这不应当是限制性的。通常，可以将深度信息转换为左/右视差偏移值，从而还可以应用于左/右视差型(并列型)的显示单元。
[内容记录单元200的示例配置]
图2是示出本发明实施例中的内容记录单元200的示例性配置的示图。内容记录单元200是记录上述的视频文件的单元。内容记录单元200保持视频数据项#1至#N(210-1至210-N)(在下文中也称为“视频数据项210”)和深度图#1至#N(220-1至220-N)(在下文中也简称为“深度图220”)。
视频数据项210和深度图220以例如GOP(图片组)为单位相互关联。也就是说，深度图220-1对应于记录有第一GOP的视频数据项210-1，深度图220-2对应于记录有第二GOP的视频数据项210-2。GOP是MPEG(运动图片专家组)标准中的运动图像的帧组。在很多情况下，一个GOP包含15个帧。如果假设帧率为29.97帧/秒，则一个GOP对应于大约0.5秒。
图3是示出本发明实施例中的深度图220的例子的示图。深度图220被配置为保持与帧图像的各个像素相对应的深度值。也就是说，深度图220保持关于二维XY平面上的每一个像素的深度值。深度值具有例如使用8位宽度的“0”至“255”的范围的值，并且，假设像素离观察者越近，其所具有的值就越大。在该图的例子中，与靠近观察者的人物区域相对应的深度值表示“255”，与背景区域相对应的深度值表示“0”。请注意，通常，深度图220也称为深度水平图(depth level map)。
图4包括示出本发明实施例中的深度值和距离之间的关系的例子的示图。由图4的部分(a)可知，如果从镜头到被摄体的距离小于或等于0.5[m]，则深度值表示“255”。如果该距离超过5.0[m]，则深度值表示“0”。在该距离大于0.5[m]且小于或等于5.0[m]的情况下，如图4的部分(a)中一样，提供“0”至“255”的范围中的值。
此外，由图4的部分(b)可知，深度值被设置为与距离的对数值具有线性关系。这是为了考虑人类的感觉，即，附近的被摄体比远处的被摄体可更敏感地感知。
当在图像捕获设备300中设置深度值的情况中，首先，通过将光圈开启状态设置在广角端(wide end)来将镜头的景深控制为最浅的，并且，镜头的焦点被设置在无穷远处(超过5.0[m])。因此，识别屏幕内区域的合焦(in-focus)视频区域，并且，该区域被设置为背景区域，并且被分配深度值“0”。接下来，在通过将光圈开启状态设置在广角端来将镜头的景深控制为最浅的同时，将镜头的焦点设置为短距离(0.5[m])。因此，识别屏幕内区域的合焦视频区域，并且，该区域被设置为最短距离点，并且被分配深度值“255”。然后，在通过将光圈开启状态设置在广角端来将镜头的景深控制为最浅的同时，镜头的焦点从短距离(0.5[m])顺序地改变到无穷远处(超过5.0[m])，并且，控制镜头位置以执行距离测量。与测量同步地、顺序地存储屏幕内区域的合焦视频区域。这样，分配了图4的部分(a)中的对应关系。
在执行了上述初始设置之后，可以基于被摄体轮廓识别或运动向量检测分析来产生对应于各个像素的深度值。可以在图像捕获期间实时地产生深度值，或者，可以后来从照相机信息产生深度值。从数字照相机的内部获得照相机信息，作为诸如摄影时的设置条件的信息。例如，照相机信息包括诸如F值、曝光时间、曝光校正值、AGC增益值、有无闪光、镜头焦距、白平衡、被摄体距离、照相机抖动校正、脸部元数据信息、数字变焦倍率、摄影效果和厂商名称(vendor name)的信息。该照相机信息能够作为符合例如AVCHD标准的流文件记录到修改数字视频分组(modified digital video pack，MDP)上。在通过使用元数据信息而知道存在脸部的坐标的情况下，能够利用照相机信息中的被摄体距离作为此坐标位置处的距离。根据图4的部分(a)中的对应关系表能够将获得的距离转换为深度值。
图5包括示出根据本发明实施例中的视频数据210和深度图220之间的关系的示图。图5的部分(a)示出视频数据210的例子。在这个例子中，人物出现在图像捕获设备的附近，并且，背景出现在人物的后面。
图5的部分(b)示出与图5的部分(a)中的视频数据210相对应的深度图220的例子。人物区域的深度值221用十六进制符号表示为“B4”，即，十进制符号的“180”。这意味着人物位于距离图像捕获设备1.0[m]的位置处。背景区域的深度值222表示为“0”。这意味着背景位于离图像捕获设备的无穷远处(超过5.0[m])。深度图220中的深度值对应于视频数据210的各个像素。
[深度值校正的第一模式]
图6包括示出根据本发明实施例中的深度值校正的第一模式的示图。如图6的部分(a)中一样，假设在章节变化的时候帧内的区域的深度值快速地变化的情况。这里，章节#i的末端部分中的特定区域的深度值711变为章节#(i+1)的开始部分中的深度值714。在这种情况下，特定区域的深度值快速地变化，这可能会给观察者产生一种不自然的感觉。请注意，这种情况下的特定区域被假设是作为对应于人物等的帧的一部分的区域，但是，该区域也可以是整个帧。
在本发明的实施例中，作为深度值校正的第一模式，如图6的部分(b)中一样，在章节变化的时候，所有的深度值被临时校正为零(无穷大)。因此，能够抑制在章节变化的时候的深度值的快速变化。然而，如果快速地执行用于将深度值设置为零的校正操作自身，则这种校正可能会带来一种新的不自然的感觉。因此，希望在校正深度值的时候允许深度值在例如0.5秒或更大的时间段内以预定的显示速度转变。在图6的部分(b)的例子中，允许章节#i的末端部分中的原始深度值721以预定的显示速度顺序地转变，从而末端帧的深度值722变成零。类似地，章节#(i+1)的开始帧的深度值723被设置为零，并且，允许该深度值723顺序地转变为开始部分中的原始深度值724。
图7是示出根据本发明实施例的深度值校正的第一模式中的整个章节的示图。这里，假设章节#j由k个帧构成。在章节#j中，单独地校正开始部分的n个帧和末端部分的n个帧中的深度值。
在章节#j的开始部分的n个帧中，深度值从零顺序地增加。在这个例子中，假设深度值按(1/n)的步长从零增加，并且在第(n+1)帧中收敛于不经过校正的值。也就是说，如果假设第(n+1)帧的深度值由A表示，则第i帧(i是1至n的范围中的整数)的深度值由A×((i-1)/n)给出。
此外，在章节#j的末端部分中的n个帧中，深度值向着零顺序地减小。在这个例子中，假设深度值以(1/n)的步长减小，并且在第k帧中收敛于零。也就是说，如果假设第(k-n)帧的深度值由B表示，则第i帧(i是(k-(n-1))至k的范围中的整数)的深度值由B×((k-i)/n)给出。
[深度值校正的第一模式的功能配置]
图8是示出本发明实施例中的深度值校正机构的第一示例功能配置的示图。该深度值校正机构被配置为允许深度值在场景变化之前和之后平滑地转变为零(望远侧)。在图像捕获设备300中，在当图像捕获的时候获得的深度值由深度信息设置单元332校正之后设置深度图220，或者，未校正的深度图220的深度值可以由深度信息输出单元336校正并输出给显示单元350。因此，在图像捕获设备300中，深度信息设置单元332或深度信息输出单元336可以设置有深度值校正机构。此外，该深度值校正机构不仅可以在图像捕获设备中实现，而且可以在处理视频文件的图像信息处理设备中实现。
该深度值校正机构包括内容供应单元110、内容读取管理单元120、转变帧数设置单元(number-of-transition-frames setting unit)130、内容预读取管理单元140和深度值校正单元150。
内容供应单元110被配置为供应捕获的内容。在图像捕获设备300中，由图像拾取元件321、照相机控制单元329等供应内容。在图像信息处理设备的情况中，由读取单元(未示出)从存储内容的存储单元供应内容。
内容读取管理单元120被配置为执行管理，以逐帧地读取从内容供应单元110供应的内容。内容读取管理单元120包括当前帧号保持单元121和当前帧深度值保持单元122。当前帧号保持单元121被配置为保持从内容供应单元110读取的当前帧的帧号。当前帧深度值保持单元122被配置为保持与从内容供应单元110读取的当前帧相对应的深度值。
转变帧数设置单元130被配置为预先设置在场景变化之前和之后要校正的帧的数目。在图7的例子中，由n个帧构成的每一组被设置为在场景变化之前和之后的转变帧的数目。
内容预读取管理单元140被配置为执行管理，以在由内容读取管理单元120执行读取之前预读取内容中的当前帧之前的(未来)帧。内容预读取管理单元140包括场景变化检测单元141和最后一个帧号产生单元142。场景变化检测单元141被配置为检测预读取的内容中的场景变化的位置。作为场景变化，例如，假设章节变化。最后一个帧号产生单元142被配置为基于由场景变化检测单元141检测的场景变化位置产生当前场景的最后一个帧号。在图7的例子中，第k帧是最后一个帧。
深度值校正单元150被配置为校正在当前帧深度值保持单元122中保持的深度值。在图7的例子中，根据下述公式校正深度值：
校正之后的深度值＝校正之前的深度值×m/n
其中，n是转变帧数设置单元130中保持的转变帧数，m是根据场景变化的开始部分或末端部分如下设置的：
在场景开始n帧的情况下，m＝当前帧号-1
在场景末端n帧的情况下，m＝最后一个帧号-当前帧号
请注意，从当前帧号保持单元121供应当前帧号，从最后一个帧号产生单元142供应最后一个帧号。
[深度值校正的第一模式的示例操作]
图9是示出根据本发明实施例中的深度值校正的第一模式的处理流程的示图。这里，作为场景变化的例子，将描述检测到章节变化的例子。
首先，在内容读取管理单元120中，执行对当前帧的更新(步骤S911)。也就是说，对保持在当前帧号保持单元121中的当前帧号进行更新，另外，对保持在当前帧深度值保持单元122中的深度值进行更新。
如果当前帧在章节的开始n帧中(步骤S913)，则变量m被设置为“当前帧号-1”(步骤S914)。另一方面，如果当前帧在章节的末端n帧中(步骤S916)，则变量m被设置为“最后一个帧号-当前帧号”(步骤S917)。
然后，如果当前帧在章节的开始n帧或末端n帧中，则由深度值校正单元150将当前帧深度值保持单元122中保持的深度值校正为与“m/n”相乘(步骤S918)。
其后，基于当前帧的深度值和视频数据，在显示单元350上显示立体图像(步骤S919)。如果当前帧在章节的开始n帧或末端n帧中，则使用以上述的方式校正的深度值，并且，对于其它帧使用未校正的深度值。请注意，虽然这里在包括显示单元350的图像捕获设备300的情形下描述了操作，但是可以在稍后显示的前提下校正和存储深度值。
这样，根据本发明实施例的第一模式，能够允许深度值在场景变化之前和之后平滑地转变为零(望远侧)，并且，能够克服由于深度值的快速变化而导致的不自然的感觉。
<2.第二实施例>
[深度值校正的第二模式]
图10包括示出根据本发明实施例的深度值校正的第二模式的示图。在上述的第一模式中，允许深度值临时地转变为零。与此不同的是，在该第二模式中，假设允许深度值在场景变化之前和之后以预定的显示速度直接转变。
图10的部分(a)示出允许深度值仅仅在章节的末端部分中转变的例子。也就是说，在这个例子中，在章节的末端部分中允许深度值731(a)转变为深度值732，并且，在章节的开始部分中，从深度值733(c)至深度值734维持恒定值。
图10的部分(b)示出允许深度值仅仅在章节的开始部分中转变的例子。也就是说，在这个例子中，在章节的末端部分中，从深度值741至深度值742维持恒定值(a)，并且，在章节的开始部分中，允许深度值743转变为深度值744(c)。
图10的部分(c)示出允许深度值既在章节的开始部分中转变又在章节的末端部分中转变的例子。也就是说，在这个例子中，在章节的末端部分中，允许深度值751(a)转变为深度值752，并且，在章节的开始部分中，也允许深度值753(b)转变为深度值754。
这样，在允许深度值直接转变的情况下，可以在章节变化之前和之后的任何期间中执行转变。
[深度值校正的第二模式的功能配置]
图11是示出本发明实施例中的深度值校正机构的第二示例功能配置的示图。该深度值校正机构被配置为在深度值快速地变化的情况下允许该变化平滑地转变。在下文中，作为场景变化的例子，将描述检测到章节变化的例子。
该深度值校正机构的第二功能配置与参照图8描述的第一功能配置类似之处在于，提供了内容供应单元110、内容读取管理单元120、转变帧数设置单元130、内容预读取管理单元140和深度值校正单元150。除了第一功能配置以外，该深度值校正机构的第二功能配置还包括开始深度值保持单元160。此外，内容预读取管理单元140还包括目标深度值产生单元143。
开始深度值保持单元160被配置为在转变深度值的时候保持开始帧的深度值。在图10的部分(a)的例子中，章节#i的深度值731用作开始帧的深度值。在图10的部分(b)的例子中，章节#(i+1)的深度值743用作开始帧的深度值。此外，在图10的部分(c)的例子中，章节#i的深度值751和章节#(i+1)的深度值753用作开始帧的深度值。基于由场景变化检测单元141检测的场景变化位置和由转变帧数设置单元130设置的转变帧数，确定开始帧。
目标深度值产生单元143被配置为在校正深度值的时候产生目标深度值。在图10的部分(a)的例子中，章节#i的深度值732用作目标深度值。在图10的部分(b)的例子中，章节#(i+1)的深度值744用作目标深度值。此外，在图10的部分(c)的例子中，章节#i的深度值752和章节#(i+1)的深度值754用作目标深度值。基于由场景变化检测单元141检测的场景变化位置和由转变帧数设置单元130设置的转变帧数，确定对应于目标深度值的帧。请注意，由于图10的部分(b)的例子中的深度值744和图10的部分(c)的例子中的深度值754能够被视为与当前帧的深度值基本上等同，所以可以替代地使用当前帧的深度值。此外，可以任意地确定目标深度值。例如，可以根据整个下一章节的动态范围来设置目标深度值。
在该深度值校正机构的第二功能配置中，深度值校正单元150如下地校正深度值。如图10的部分(a)中一样，当在变化之前的章节中执行转变的情况下，使用如下的公式1来校正该章节的末端n帧中的深度值：
校正之后的深度值＝目标深度值+(目标深度值-校正之前的深度值)×m/n(公式1)
其中
m＝最后一个帧号-当前帧号。
如图10的部分(b)中一样，当在变化之后的章节中执行转变的情况下，使用如下的公式2来校正该章节的开始n帧中的深度值：
校正之后的深度值＝开始深度值+(校正之前的深度值-开始深度值)×m/n(公式2)
其中
m＝当前帧号-1。
如图10的部分(c)中一样，当在跨越变化之前和之后的章节中执行转变的情况下，使用上面给出的公式2来校正该章节的开始n帧中的深度值。此外，使用上面给出的公式1来校正该章节的末端n帧中的深度值。
[深度值校正的第二模式的示例操作]
图12是示出根据本发明实施例中的深度值校正的第二模式的第一处理流程的示图。该第一处理表示在如图10的部分(a)中一样在变化之前的章节中执行转变的情况中的例子。
首先，在内容读取管理单元120中，执行对当前帧的更新(步骤S921)。也就是说，对保持在当前帧号保持单元121中的当前帧号进行更新，另外，对保持在当前帧深度值保持单元122中的深度值进行更新。此外，在目标深度值产生单元143中，产生和设置在转变的时候的目标深度值(步骤S922)。这种情况中的目标深度值是图10的部分(a)中的深度值732。
如果当前帧在章节的末端n帧中(步骤S926)，则变量m被设置为“最后一个帧号-当前帧号”(步骤S927)。然后，使用上述给出的公式1，由深度值校正单元150校正在当前帧深度值保持单元122中保持的深度值(步骤S928)。
其后，基于当前帧的深度值和视频数据，在显示单元350上显示立体图像(步骤S929)。如果当前帧在章节的末端n帧中，则使用以上述的方式校正的深度值，并且，对于其它帧使用未校正的深度值。请注意，虽然这里在包括显示单元350的图像捕获设备300的情形下描述了操作，但是可以在稍后显示的前提下校正和存储深度值。
图13是示出根据本发明实施例中的深度值校正的第二模式的第二处理流程的示图。该第二处理表示在如图10的部分(b)中一样在变化之后的章节中执行转变的情况中的例子。
首先，在内容读取管理单元120中，执行对当前帧的更新(步骤S931)。也就是说，对保持在当前帧号保持单元121中的当前帧号进行更新，另外，对保持在当前帧深度值保持单元122中的深度值进行更新。
如果当前帧在章节的开始n帧中(步骤S933)，则变量m被设置为“当前帧号-1”(步骤S934)。然后，使用上述给出的公式2，由深度值校正单元150校正在当前帧深度值保持单元122中保持的深度值(步骤S935)。
其后，基于当前帧的深度值和视频数据，在显示单元350上显示立体图像(步骤S939)。如果当前帧在章节的开始n帧中，则使用以上述的方式校正的深度值，并且，对于其它帧使用未校正的深度值。请注意，虽然这里在包括显示单元350的图像捕获设备300的情形下描述了操作，但是可以在稍后显示的前提下校正和存储深度值。
图14是示出根据本发明实施例中的深度值校正的第二模式的第三处理流程的示图。该第三处理表示在如图10的部分(c)中一样在跨越变化之前和之后的章节中执行转变的情况中的例子。
首先，在内容读取管理单元120中，执行对当前帧的更新(步骤S941)。也就是说，对保持在当前帧号保持单元121中的当前帧号进行更新，另外，对保持在当前帧深度值保持单元122中的深度值进行更新。此外，在目标深度值产生单元143中，产生和设置在转变的时候的目标深度值(步骤S942)。这种情况中的目标深度值是图10的部分(c)中的深度值752。例如，使用章节#i的末端部分的深度值和章节#(i+1)的开始部分的深度值之间的平均值(b)，可以实现深度值752。
如果当前帧在章节的开始n帧中(步骤S943)，则变量m被设置为“当前帧号-1”(步骤S944)。然后，使用上述给出的公式2，由深度值校正单元150校正在当前帧深度值保持单元122中保持的深度值(步骤S945)。
另一方面，如果当前帧在章节的末端n帧中(步骤S946)，则变量m被设置为“最后一个帧号-当前帧号”(步骤S947)。然后，使用上述给出的公式1，由深度值校正单元150校正在当前帧深度值保持单元122中保持的深度值(步骤S948)。
其后，基于当前帧的深度值和视频数据，在显示单元350上显示立体图像(步骤S949)。如果当前帧在章节的开始n帧或末端n帧中，则使用以上述的方式校正的深度值，并且，对于其它帧使用未校正的深度值。请注意，虽然这里在包括显示单元350的图像捕获设备300的情形下描述了操作，但是可以在稍后显示的前提下校正和存储深度值。
这样，根据本发明实施例的第二模式，能够允许深度值在场景变化之前和之后平滑地转变，并且，能够克服由于深度值的快速变化而导致的不自然的感觉。
<3.第三实施例>
[静止图像数据和运动图像数据之间的关系]
图15是示出根据本发明第三实施例的静止图像数据和运动图像数据之间的关系的示图。在第三实施例中，假设立体地显示幻灯片形式的静止图像数据。这里，通过以n帧为单位分布静止图像数据来产生运动图像数据。也就是说，布置n帧的静止图像数据A，其后，布置n帧的静止图像数据B，进一步布置n帧的静止图像数据C。以这样的方式布置每一帧的运动图像数据。与参照图3描述的帧图像类似，静止图像数据具有图像数据和深度值，并且支持立体显示。
与一般的运动图像的情况类似，甚至基于静止图像数据的这种运动图像数据仍可能涉及由于深度值的快速变化而导致的不自然的感觉。特别地，在幻灯片形式的情况中，在改变静止图像数据的时候，深度值可能会快速地变化。
[深度值校正的第三模式]
图16包括示出根据本发明实施例的深度值校正的第三模式的示图。如图16的部分(a)中一样，假设在静止图像之间变化的时候静止图像内的区域的深度值快速地变化的情况。这里，静止图像A的末端部分中的特定区域的深度值811(d)改变为静止图像B的开始部分中的深度值812(e)。在这种情况下，特定区域的深度值快速地变化，这可能会给观察者产生一种不自然的感觉。请注意，这种情况下的特定区域被假设是作为对应于人物等的帧的一部分的区域，但是，该区域也可以是整个帧。
在本发明的实施例中，作为深度值校正的第三模式，如图16的部分(b)中一样，静止图像的特定区域的深度值被校正为变成恒定值(K)。因此，能够抑制在章节变化的时候的深度值的快速变化。
[深度值校正的第三模式的功能配置]
图17是示出根据本发明实施例的深度值校正机构的第三示例功能配置的示图。该深度值校正机构被配置为在包含以幻灯片形式的静止图像数据的运动图像数据中将特定区域的深度值维持为恒定值。在下文中，作为场景变化的例子，将描述检测到章节变化的例子。
该深度值校正机构的第三功能配置与参照图8描述的第一功能配置类似之处在于，提供了内容供应单元110、内容读取管理单元120和深度值校正单元150。在该深度值校正机构的第三功能配置中，从第一功能配置去除了转变帧数设置单元130和内容预读取管理单元140，并且，进一步提供固定深度值设置单元170。此外，内容读取管理单元120还包括基准深度值指定单元123。
基准深度值指定单元123被配置为指定深度值(基准深度值)用作用于从内容供应单元110供应的静止图像的基准。为了指定该基准深度值，可以想到的是，提取静止图像中的某些特征值，并基于该特征值指定基准深度值。例如，可以想到的是，提取静止图像中的脸部，从各脸部中选择要关注的优先脸部(priority face)，并且，指定优先脸部的深度值作为基准深度值。作为优先脸部，能够选择离中心最近的脸部或最大的脸部。此外，例如，可以指定位于最近的距离处的深度值。
固定深度值设置单元170被配置为：设置固定的恒定值作为静止图像的特定区域的深度值。在固定深度值设置单元170中设置的该恒定值称为固定深度值。在图16的部分(b)的例子的情况中，恒定值K被设置为固定深度值。
因此，深度值校正单元150根据下述的公式校正在当前帧深度值保持单元122中保持的深度值：
校正之后的深度值＝校正之前的深度值×K/y
其中，K表示在固定深度值设置单元170中设置的固定深度值，y表示由基准深度值指定单元123指定的基准深度值。
[深度值校正的第三模式的示例操作]
图18是示出根据本发明实施例中的深度值校正的第三模式的处理流程的示图。这里，作为场景变化的例子，将描述检测到章节变化的例子。
首先，在内容读取管理单元120中，执行对当前帧的更新(步骤S951)。也就是说，对在当前帧深度值保持单元122中保持的深度值进行更新。此外，在基准深度值指定单元123中，从当前帧的静止图像指定深度值(步骤S952)。这里，假设作为一个例子，检测到优先脸部，并且指定优先脸部的基准深度值y。
然后，由深度值校正单元150将在当前帧深度值保持单元122中保持的深度值校正为与“K/y”相乘(步骤S958)。这里，K表示在固定深度值设置单元170中设置的固定深度值，y表示由基准深度值指定单元123指定的基准深度值。
其后，基于当前帧的深度值和视频数据，在显示单元350上显示立体图像(步骤S959)。请注意，虽然这里在包括显示单元350的图像捕获设备300的情形下描述了操作，但是可以在稍后显示的前提下校正和存储深度值。
这样，根据本发明实施例的第三模式，在包含幻灯片形式的静止图像数据的运动图像数据中，能够将特定区域的深度值维持为恒定值，并且，能够克服由于深度值的快速变化而导致的不自然的感觉。
<4.变型例>
[幻灯片的变型例]
图19包括示出根据本发明实施例的深度值校正的第三模式的变型例的示图。在上述的第三模式中，深度值被维持为恒定值。然而，在这个变型例中，类似于第二模式，假设允许深度值在场景变化之前和之后转变。
图19的部分(a)示出允许深度值仅仅在静止图像的末端部分中转变的例子。也就是说，在这个例子中，在静止图像A的末端部分中，允许深度值831转变为深度值832，并且，在静止图像B的开始部分中，从深度值833至深度值834维持恒定值。
图19的部分(b)示出允许深度值仅仅在静止图像的开始部分中转变的例子。也就是说，在这个例子中，在静止图像A的末端部分中，从深度值841至深度值842维持恒定值，并且，在静止图像B的开始部分中，允许深度值843转变为深度值844。
图19的部分(c)示出允许深度值既在静止图像的开始部分中转变又在静止图像的末端部分中转变的例子。也就是说，在这个例子中，在静止图像A的末端部分中，允许深度值851转变为深度值852，并且，在静止图像B的开始部分中，也允许深度值853转变为深度值854。
这样，在允许深度值转变的情况下，可以在静止图像之间的变化之前和之后的任何时段中执行转变。
为了实现深度值的这种转变，能够利用参照图11描述的功能配置和参照图12至14描述的处理。也就是说，幻灯片形式的运动图像数据具有由静止图像数据构成的各帧，但是在整体上观察时与一般的运动图像数据没有什么不同。因此，能够利用上述的本发明的第二实施例。类似地，使用本发明的第二实施例，在静止图像之间的变化的时候可以将所有的深度值临时地校正为零(无穷大)。
此外，这里，在立体图像的场景变化的情形下给出了描述。然而，不用说，以类似的方式也能够应用于从立体图像到平面图像的变化或者从平面图像到立体图像的变化。此外，不用说，以类似的方式也能够应用于下述情况中：在既具有基于静止图像的幻灯片形式的运动图像数据又具有正常的运动图像数据的运动图像数据中，也能够按照类似的方式在静止图像和运动图像之间变化。
这样，根据本发明的实施例，能够允许深度值在立体内容的场景变化中平滑地转变。
请注意，本发明的实施例示出了用于实施本发明的例子，并且对应于如上所述的说明在权利要求中阐述的本发明的主题。然而，本发明不应当局限于这些实施例，在不脱离本发明的范围的情况下，可以进行各种变型。
此外，在本发明的实施例中描述的处理工序可以被视为具有上述一系列工序的方法，或者，可以被视为用于使计算机执行上述一系列工序的程序或者存储该程序的记录介质。除了光盘、磁盘和半导体盘以外，例如，还可以使用CD(压缩盘)、MD(迷你盘)、DVD(数字多功能盘)、存储卡、蓝光盘(Blu-ray Disc，注册商标)等来实现记录介质。此外，在图2中，描述了对应于MPEG压缩的GOP的视频深度图值，其被记录为视频和音频流。这些值能够用于各个视频和音频压缩流，例如，光盘的程序流，用于Blu-Ray标准或AVCHD标准的TS流、MPEG2流、H.264/AVC流和MP4流及其未来的扩展标准。
附图标记列表
110  内容供应单元
120  内容读取管理单元
121  当前帧号保持单元
122  当前帧深度值保持单元
123  基准深度值指定单元
130  转变帧数设置单元
140  内容预读取管理单元
141  场景变化检测单元
142  最后一个帧号产生单元
143  目标深度值产生单元
150  深度值校正单元
160  开始深度值保持单元
170  固定深度值设置单元
200  内容记录单元
210  视频数据
220  深度图
300  图像捕获设备
310  镜头单元
311  变焦透镜
312  聚焦透镜
315，316，346  电机
319  电机驱动器
321  图像拾取元件
322  模拟处理单元
323  A/D转换器
324  数字处理单元
325  定时产生器
329  照相机控制单元
331  视频编码单元
332  深度信息设置单元
333  文件产生单元
334  文件解码单元
335  视频解码单元
336  深度信息输出单元
337  存储器
338  存储器控制器
339  系统控制单元
341  误差校正单元
342  数据调制/解调单元
343  磁场调制驱动器
344  磁场头
345  伺服电路
347  光学拾取器
349  驱动控制单元
350  显示单元
370  光盘
390  操作接收单元

Claims (13)

1.一种图像信息处理设备，包括：
场景变化检测单元，该场景变化检测单元检测内容中的场景变化；以及
深度值校正单元，该深度值校正单元校正用于立体显示的深度值，从而允许深度值的变化在场景变化之前和之后以预定的显示速度转变。
2.根据权利要求1所述的图像信息处理设备，其中，深度值校正单元校正与内容中的某个区域相对应的深度值，从而允许深度值的变化在场景变化之前和之后以预定的显示速度转变。
3.根据权利要求1所述的图像信息处理设备，其中，深度值校正单元在场景变化之前和之后将整个图像的深度值校正到望远侧。
4.根据权利要求1所述的图像信息处理设备，其中，深度值校正单元校正深度值，从而提供以预定的显示速度的从场景变化之前的深度值到场景变化之后的深度值的转变。
5.根据权利要求1所述的图像信息处理设备，其中，深度值校正单元执行校正，从而允许深度值在场景变化之前的预定时段中转变。
6.根据权利要求1所述的图像信息处理设备，其中，深度值校正单元执行校正，从而允许深度值在场景变化之后的预定时段中转变。
7.根据权利要求1所述的图像信息处理设备，其中，深度值校正单元执行校正，从而允许深度值在跨越场景变化之前和之后的预定时段中转变。
8.根据权利要求1所述的图像信息处理设备，其中，场景变化检测单元将立体图像和平面图像之间的变化检测为场景变化。
9.根据权利要求1所述的图像信息处理设备，其中，场景变化检测单元将运动图像和静止图像之间的变化检测为场景变化。
10.一种图像信息处理设备，包括：
固定深度值设置单元，该固定深度值设置单元针对用于提供形成内容的图像数据的立体显示的深度值，将恒定值设置为固定深度值；
基准深度值指定单元，该基准深度值指定单元选择图像数据中的某个区域，并且将对应于该区域的深度值指定为基准深度值；以及
深度值校正单元，该深度值校正单元使用基准深度值与固定深度值之比来校正对应于图像数据的每一个区域的深度值。
11.一种图像捕获设备，包括：
捕获图像供应单元，该捕获图像供应单元捕获图像，并且供应捕获的图像和用于立体显示的深度值；
场景变化检测单元，该场景变化检测单元检测捕获的图像中的场景变化；以及
深度值校正单元，该深度值校正单元校正深度值，从而允许深度值的变化在场景变化之前和之后以预定的显示速度转变。
12.一种图像信息处理方法，包括：
场景变化检测步骤，检测内容中的场景变化；以及
深度值校正步骤，校正用于立体显示的深度值，从而允许深度值的变化在场景变化之前和之后以预定的显示速度转变。
13.一种使计算机执行下述步骤的程序：
场景变化检测步骤，检测内容中的场景变化；以及
深度值校正步骤，校正用于立体显示的深度值，从而允许深度值的变化在场景变化之前和之后以预定的显示速度转变。
CN2010800018185A 2009-04-24 2010-04-22 图像信息处理设备、图像捕获设备、图像信息处理方法及程序 Pending CN102067616A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-105755 2009-04-24
JP2009105755A JP5434231B2 (ja) 2009-04-24 2009-04-24 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム
PCT/JP2010/057124 WO2010123053A1 (ja) 2009-04-24 2010-04-22 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
CN102067616A true CN102067616A (zh) 2011-05-18

Family

ID=43011169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800018185A Pending CN102067616A (zh) 2009-04-24 2010-04-22 图像信息处理设备、图像捕获设备、图像信息处理方法及程序

Country Status (9)

Country Link
US (1) US8698877B2 (zh)
EP (1) EP2293584A4 (zh)
JP (1) JP5434231B2 (zh)
KR (1) KR20120034255A (zh)
CN (1) CN102067616A (zh)
BR (1) BRPI1003633A2 (zh)
RU (1) RU2010151791A (zh)
TW (1) TWI416937B (zh)
WO (1) WO2010123053A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597822A (zh) * 2011-06-06 2014-02-19 富士胶片株式会社 图像加工装置、复眼摄像装置、图像加工方法及程序
CN103609105A (zh) * 2011-06-22 2014-02-26 皇家飞利浦有限公司 用于生成用于显示器的信号的方法和设备
CN103718549A (zh) * 2011-08-05 2014-04-09 索尼电脑娱乐公司 图像处理装置
CN104067612A (zh) * 2012-01-04 2014-09-24 汤姆逊许可公司 3d图像序列的处理
CN105184773A (zh) * 2015-08-13 2015-12-23 海信集团有限公司 一种场景切换中插入图片的方法和设备
CN106851239A (zh) * 2012-02-02 2017-06-13 太阳专利托管公司 用于使用视差信息的3d媒体数据产生、编码、解码和显示的方法和装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5540746B2 (ja) 2009-11-20 2014-07-02 ソニー株式会社 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム
JP2011176541A (ja) * 2010-02-24 2011-09-08 Sony Corp 立体映像処理装置および方法、並びにプログラム
JP5562122B2 (ja) * 2010-05-31 2014-07-30 キヤノン株式会社 画像処理装置及びその制御方法
JP2012053606A (ja) * 2010-08-31 2012-03-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP2012134655A (ja) * 2010-12-20 2012-07-12 Toshiba Corp 画像処理装置、画像処理方法および画像表示装置
WO2012098803A1 (ja) * 2011-01-17 2012-07-26 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
JP2012169730A (ja) * 2011-02-10 2012-09-06 Nec Personal Computers Ltd 画像処理方法及び画像処理装置
CN103621076B (zh) 2011-03-24 2015-04-01 富士胶片株式会社 立体图像处理设备和立体图像处理方法
WO2012132304A1 (ja) * 2011-03-30 2012-10-04 富士フイルム株式会社 立体画像表示制御装置及び立体画像表示制御方法
US8879826B2 (en) * 2011-07-05 2014-11-04 Texas Instruments Incorporated Method, system and computer program product for switching between 2D and 3D coding of a video sequence of images
JP2013026943A (ja) * 2011-07-25 2013-02-04 Sharp Corp 立体画像処理装置および立体画像処理方法
JP5127973B1 (ja) * 2011-10-21 2013-01-23 株式会社東芝 映像処理装置、映像処理方法および映像表示装置
KR101872864B1 (ko) * 2011-12-19 2018-06-29 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
JP5720561B2 (ja) * 2011-12-26 2015-05-20 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
JP5899910B2 (ja) * 2011-12-26 2016-04-06 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
WO2013145567A1 (ja) * 2012-03-26 2013-10-03 パナソニック株式会社 立体映像処理装置および立体映像処理方法
WO2014010191A1 (ja) * 2012-07-11 2014-01-16 パナソニック株式会社 ３次元映像表示装置および３次元映像表示方法
KR101470693B1 (ko) * 2012-07-31 2014-12-08 엘지디스플레이 주식회사 영상 데이터 처리 방법과 이를 이용한 입체 영상 표시장치
WO2014204364A1 (en) * 2013-06-19 2014-12-24 Telefonaktiebolaget L M Ericsson (Publ) 3d video switching with gradual depth transition
US9847082B2 (en) * 2013-08-23 2017-12-19 Honeywell International Inc. System for modifying speech recognition and beamforming using a depth image
US10311595B2 (en) * 2013-11-19 2019-06-04 Canon Kabushiki Kaisha Image processing device and its control method, imaging apparatus, and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JPH11164328A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
CN1961369A (zh) * 2004-05-25 2007-05-09 索尼株式会社 内容再现设备、方法、系统及其计算机程序

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4354751A (en) * 1980-03-18 1982-10-19 Minolta Camera Kabushiki Kaisha Exposure system for a camera
JP2602236B2 (ja) * 1987-07-21 1997-04-23 日本放送協会 立体テレビジョン信号の処理装置
US5323204A (en) * 1992-11-03 1994-06-21 Eastman Kodak Company Automatic optimization of photographic exposure parameters for non-standard display sizes and/or different focal length photographing modes through determination and utilization of extra system speed
EP0888017A2 (en) * 1993-08-26 1998-12-30 Matsushita Electric Industrial Co., Ltd. Stereoscopic image display apparatus and related system
JP3802630B2 (ja) 1996-12-28 2006-07-26 オリンパス株式会社 立体画像生成装置および立体画像生成方法
JP2001204964A (ja) * 2000-01-28 2001-07-31 Square Co Ltd 球技用ゲームのプログラムを記録したコンピュータ読み取り可能な記録媒体および球技用ゲームの画像表示処理方法およびビデオゲーム装置
US7254265B2 (en) * 2000-04-01 2007-08-07 Newsight Corporation Methods and systems for 2D/3D image conversion and optimization
JP3645800B2 (ja) * 2000-08-17 2005-05-11 ペンタックス株式会社 測距装置
US8006186B2 (en) * 2000-12-22 2011-08-23 Muvee Technologies Pte. Ltd. System and method for media production
JP2004246725A (ja) 2003-02-14 2004-09-02 Sharp Corp 表示装置、表示制御方法、表示制御プログラム及びこれを記録したコンピュータ読み取り可能な記録媒体
JP2005109568A (ja) * 2003-09-26 2005-04-21 Sanyo Electric Co Ltd 映像表示装置及びプログラム
WO2007072270A1 (en) * 2005-12-19 2007-06-28 Koninklijke Philips Electronics N.V. 3d image display method and apparatus
JP5011842B2 (ja) * 2006-06-22 2012-08-29 株式会社ニコン 画像再生装置
US8488868B2 (en) * 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US8208009B2 (en) * 2008-02-05 2012-06-26 Disney Enterprises, Inc. Stereoscopic image generation using retinal rivalry in scene transitions
JP4695664B2 (ja) 2008-03-26 2011-06-08 富士フイルム株式会社 立体動画像処理装置および方法並びにプログラム
US8073243B2 (en) * 2008-05-30 2011-12-06 General Instrument Corporation Replacing image information in a captured image
US9225965B2 (en) * 2008-11-07 2015-12-29 Telecom Italia S.P.A. Method and system for producing multi-view 3D visual contents

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JPH11164328A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
CN1961369A (zh) * 2004-05-25 2007-05-09 索尼株式会社 内容再现设备、方法、系统及其计算机程序

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597822A (zh) * 2011-06-06 2014-02-19 富士胶片株式会社 图像加工装置、复眼摄像装置、图像加工方法及程序
CN103609105A (zh) * 2011-06-22 2014-02-26 皇家飞利浦有限公司 用于生成用于显示器的信号的方法和设备
CN103609105B (zh) * 2011-06-22 2016-12-21 皇家飞利浦有限公司 用于生成用于显示器的信号的方法和设备
CN103718549A (zh) * 2011-08-05 2014-04-09 索尼电脑娱乐公司 图像处理装置
CN103718549B (zh) * 2011-08-05 2016-06-22 索尼电脑娱乐公司 图像处理装置
US9621880B2 (en) 2011-08-05 2017-04-11 Sony Corporation Image processor for displaying images in a 2D mode and a 3D mode
CN104067612A (zh) * 2012-01-04 2014-09-24 汤姆逊许可公司 3d图像序列的处理
CN106851239A (zh) * 2012-02-02 2017-06-13 太阳专利托管公司 用于使用视差信息的3d媒体数据产生、编码、解码和显示的方法和装置
CN105184773A (zh) * 2015-08-13 2015-12-23 海信集团有限公司 一种场景切换中插入图片的方法和设备
CN105184773B (zh) * 2015-08-13 2018-05-01 海信集团有限公司 一种场景切换中插入图片的方法和设备

Also Published As

Publication number Publication date
US20110261160A1 (en) 2011-10-27
EP2293584A1 (en) 2011-03-09
EP2293584A4 (en) 2016-11-09
WO2010123053A1 (ja) 2010-10-28
JP5434231B2 (ja) 2014-03-05
RU2010151791A (ru) 2012-06-27
TWI416937B (zh) 2013-11-21
US8698877B2 (en) 2014-04-15
TW201043003A (en) 2010-12-01
BRPI1003633A2 (pt) 2016-02-23
JP2010258723A (ja) 2010-11-11
KR20120034255A (ko) 2012-04-10

Similar Documents

Publication Publication Date Title
CN102067616A (zh) 图像信息处理设备、图像捕获设备、图像信息处理方法及程序
US8390729B2 (en) Method and apparatus for providing a video image having multiple focal lengths
CN101951527B (zh) 信息处理设备和信息处理方法
CN101051515B (zh) 图像处理设备及图像显示方法
CN101573971B (zh) 图像记录装置和图像记录方法
CN101945212B (zh) 图像捕获设备、图像处理方法
JP2007328755A (ja) 画像処理装置、画像処理方法およびプログラム
CN102135722B (zh) 摄像机结构、摄像机系统和方法
WO2009142915A1 (en) Systems and methods for concurrently playing multiple images from a storage medium
CN102202180A (zh) 摄像装置
JP2011199566A (ja) 撮像装置、撮像方法及びプログラム
US8767096B2 (en) Image processing method and apparatus
CN102263894B (zh) 拍摄装置
CN102177722A (zh) 图像处理装置和方法以及图像再生装置、方法和程序
CN102209199B (zh) 图像拍摄装置
JP2004274253A (ja) 映像記録装置および映像送信装置
JP2013121173A (ja) 撮像装置
JP4998439B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2006033242A (ja) 画像再生方法および撮像装置
JP5892211B2 (ja) 撮像装置、及びプログラム
JP2011205442A (ja) 画像処理装置、画像処理方法およびプログラム
KR101946574B1 (ko) 영상 재생 장치, 방법, 및 컴퓨터 판독가능 저장매체
JP3064489B2 (ja) ３方向の寸法表示を可能にしたスチルビデオカメラ
JP2012165405A (ja) 撮像装置、及びプログラム
JP5915009B2 (ja) 画像処理装置、電子カメラ、画像処理方法、及びプログラム、並びに記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110518