CN101931824B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及图像处理设备、图像处理方法和程序。该种图像处理设备包括：接收包括L图像和R图像的通信数据的接收单元；属性信息获取单元，根据通信数据获取包括拍摄时间的属性信息；以及输出控制单元，分析图像和属性信息，并在三维图像显示和二维图像显示之间切换。如果已经获取在同一拍摄时间拍摄的L图像和R图像，则输出控制单元进行三维图像显示。如果没有获取上述图像，则输出控制单元确定使用在不同拍摄时间拍摄的L图像和R图像的三维图像显示中出现的对象成像位置误差是否不超过预先设置的容许对象成像位置误差，如果不超过，则使用在不同拍摄时间拍摄的L图像和R图像进行三维图像显示，如果超过，则进行二维图像显示。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种图像处理设备、图像处理方法和程序。更详细地，本发明涉及这样的图像处理设备、图像处理方法和程序：经由网络接收由用于拍摄要应用于三维(3D：3维)图像显示的图像的多个照相机所拍摄的图像，并将接收到的图像显示在显示单元上。 

背景技术

近年来，用于显示三维图像，即3D(3维)图像的系统被积极地开发并使用。用于显示3D图像的代表系统包括：被动立体系统和主动立体系统。 

被动立体系统通过使用例如偏振滤光器来使得只允许沿特定方向振动的光通过，以分别产生分别由观看者的左眼和右眼观看的左眼用图像和右眼用图像。在形成由图像显示装置显示的图像的输出光到达观看者的眼睛之前，该光通过偏振滤光器被分为左眼用光和右眼用光。例如，通过观看者佩戴的偏振眼镜，左眼用成像光只被输入到左眼，而不被输入到右眼，并且右眼用成像光只被输入到右眼，而不被输入到左眼。这样，系统分别将左眼用图像和右眼用图像输入到观看者的左眼和右眼，从而实现立体视觉。 

同时，主动立体系统被称为例如时分系统，其通过与图像显示装置的帧切换定时同步地使用快门眼镜来实现到左图像和右图像的分离。根据该系统的机制，图像显示装置通过在每一帧的图像之间进行切换来显示左眼用图像和右眼用图像，并且观看者所佩戴的快门眼镜在显示左眼用图像期间盖住观看者的右眼，并且在显示右眼用图像期间盖住观看者的左眼。 

为了显示根据上述系统的3D图像，使用从多个不同视点拍摄的图像。例如，使用由用于拍摄左眼用图像的照相机L以及用于拍摄右眼用图像的照相机R所拍摄的图像。 

例如，当由两个照相机L和R拍摄的图像被经由网络传输，并由诸如PC(个人计算机)和TV(电视)的远程图像处理设备接收并显示时，进行通过可靠地接收由照相机L和R同时拍摄的两个图像来产生显示数据的处理。在例如日本未审专利申请公开2005-94073号和2006-140618号，以及日本未审专利申请公开(PCT申请的翻译)11-504167号的公报中描述了这种类型的系统。 

然而，难以完全防止网络通信中数据传输包的丢失和延迟。例如，存在这样的情况：已经接收到由照相机L在时间t1拍摄的图像，但没有接收到由照相机R在同一时间t1拍摄的图像。在这种情况下，已经接收到该数据的设备不能显示正确的3D图像。 

例如，如果接收并显示数据的设备已经接收到由照相机L在时间t、t+1等拍摄的图像，但是只接收到由照相机R在时间t-1及以前拍摄的图像，则图像显示以在时间t-1拍摄的图像停止。 

可选择地，可以进行这样的处理：显示由照相机L根据时间t、t+1等等的时间转换拍摄的正确图像，同时，继续显示由照相机R在时间t-1拍摄的图像。然而，显示诸如上述L图像(左眼用图像)和R图像(右眼用图像)的异步图像的处理削弱3D图像的正确立体效果。 

发明内容

考虑例如上述问题做出了本发明。在本发明中，期望提供一种图像处理设备、图像处理方法以及程序，其中，在经由网络传输来自多个视点、用于形成三维图像的图像，例如左眼用图像和右眼用图像，并且由接收该图像的设备执行三维图像显示的系统中，所述图像处理设备、图像处理方法以及程序通过根据来自多个视点的图像的获取状态以及该图像的状态在图像之间进行切换来显示三维(3D)图像和二维图像(2D)图像。 

根据本发明第一实施例的图像处理设备，包括：接收单元，被配置为接收通信数据，通信数据包括应用于三维图像显示的L图像(左眼用图像)和R图像(右眼用图像)；属性信息获取单元，被配置为根据通信数据获取包括拍摄时间的属性信息；以及输出控制单元，被配置为分析包括在通信数据中的图像和属性信息，并基于分析的结果执行在三维图像显示和二维图像显示之间切换的处理。如果已经获取在同一拍摄时间拍摄的一对L图像和R图像，则输出控制单元进行三维图像显示。如果没有获取在同一拍摄时间拍摄的一对L图像和R图像，则输出控制单元确定使用在不同拍摄时间拍摄的L图像和R图像的三维图像显示中出现的对象成像位置误差是否不超过预先设置的容许对象成像位置误差，如果对象成像位置误差不超过容许误差，则使用在不同拍摄时间拍摄的L图像和R图像进行三维图像显示，并且如果对象成像位置误差超过容许误差，则停止三维图像显示并进行二维图像显示。 

此外，在根据本发明实施例的图像处理设备中，输出控制单元可以计算在不同拍摄时间拍摄的L图像和R图像中所包含的运动对象之中、具有最大运动速度的运动对象的帧间运动向量V，利用运动向量V和三维图像的显示表面上的容许双眼视差移位量δWs来计算容许拍摄时间差δT，如果在不同拍摄时间拍摄的L图像和R图像之间的拍摄时间差不超过容许拍摄时间差δT，则使用在不同拍摄时间拍摄的L图像和R图像进行三维图像显示，并且如果在不同拍摄时间拍摄的L图像和R图像之间的拍摄时间差超过容许拍摄时间差δT，则停止三维图像显示并进行二维图像显示。 

此外，在根据本发明实施例的图像处理设备中，输出控制单元可以根据运动向量V获取对象的运动速度Vs，并根据表达式δT＝δWs/Vs执行计算容许拍摄时间差δT的处理。 

此外，在根据本发明实施例的图像处理设备中，输出控制单元可以获取三维图像的显示表面上的容许双眼视差移位量δWs的x方向上的容许双眼视差移位量δWsx以及y方向上的容许双眼视差移位量 δWsy，获取由帧间运动向量V预确定的x方向上的运动速度Vsx以及y方向上的运动速度Vsy，并且执行将容许拍摄时间差δT计算为δWsx/Vsx和δWsy/Vsy的值中较小的一个的处理。 

此外，在根据本发明实施例的图像处理设备中，输出控制单元可以获取预先设置的容许拍摄时间差δT，如果在不同拍摄时间拍摄的L图像和R图像之间的拍摄时间差不超过容许拍摄时间差δT，则使用在不同拍摄时间拍摄的L图像和R图像进行三维图像显示，并且如果在不同拍摄时间拍摄的L图像和R图像之间的拍摄时间差超过容许拍摄时间差δT，则停止三维图像显示并进行二维图像显示。 

此外，在根据本发明实施例的图像处理设备中，在停止三维图像显示并执行二维图像显示时，输出控制单元可以通过参考包括于存储在通信数据中的属性信息中的优先级信息，并选择具有高优先级的图像，来执行二维图像显示。 

此外，根据本发明第二实施例的图像处理方法由图像处理设备执行，并包括步骤：接收步骤，使通信单元接收通信数据，通信数据包括应用于三维图像显示的L图像(左眼用图像)和R图像(右眼用图像)；属性信息获取步骤，使属性信息获取单元根据通信数据获取包括拍摄时间的属性信息；以及分析和切换步骤，使输出控制单元分析包括在通信数据中的图像和属性信息，并基于分析的结果执行在三维图像显示和二维图像显示之间切换的处理。如果已经获取在同一拍摄时间拍摄的一对L图像和R图像，则分析和切换步骤执行三维图像显示。如果没有获取在同一拍摄时间拍摄的一对L图像和R图像，则分析和切换步骤确定使用在不同拍摄时间拍摄的L图像和R图像的三维图像显示中出现的对象成像位置误差是否不超过预先设置的容许对象成像位置误差，如果对象成像位置误差不超过容许误差，则使用在不同拍摄时间拍摄的L图像和R图像进行三维图像显示，并且如果对象成像位置误差超过容许误差，则停止三维图像显示并进行二维图像显示。 

此外，根据本发明第三实施例的程序，其使得图像处理设备执行 图像处理，所述程序包括以下步骤：使通信单元接收通信数据，通信数据包括应用于三维图像显示的L图像(左眼用图像)和R图像(右眼用图像)；使属性信息获取单元根据通信数据获取包括拍摄时间的属性信息；以及使输出控制单元分析包括在通信数据中的图像和属性信息，并基于分析的结果执行在三维图像显示和二维图像显示之间切换的处理。如果已经获取在同一拍摄时间拍摄的一对L图像和R图像，则分析和切换步骤执行三维图像显示。如果没有获取在同一拍摄时间拍摄的一对L图像和R图像，则分析和切换步骤确定使用在不同拍摄时间拍摄的L图像和R图像的三维图像显示中出现的对象成像位置误差是否不超过预先设置的容许对象成像位置误差，如果对象成像位置误差不超过容许误差，则使用在不同拍摄时间拍摄的L图像和R图像进行三维图像显示，并且如果对象成像位置误差超过容许误差，则停止三维图像显示并进行二维图像显示。 

根据本发明实施例的程序能够被提供给：例如，能够通过提供计算机可读形式的程序的存储或通信介质来执行各种程序代码的图像处理设备或计算机系统。利用这种以计算机可读形式提供的程序，由图像处理设备或计算机系统来实现根据该程序的处理。 

此外，根据基于下面描述的本发明的实施例和附图的更多详细的说明，本发明要解决的问题、特征和优点将变得清楚。在本说明书中，系统指多个设备的逻辑结合结构，且不限于同一壳体中存储的各个结构的设备。 

根据本发明实施例的结构，在接收包括L图像(左眼用图像)和R图像(右眼用图像)的通信数据，并基于所接收的数据执行三维(3D)图像显示的图像处理设备中，如果已经获取了在同一拍摄时间拍摄的一对L图像和R图像，则执行三维图像显示。如果没有获取在同一拍摄时间拍摄的一对L图像和R图像，则确定使用在不同拍摄时间拍摄的L图像和R图像的三维图像显示中出现的对象成像位置误差是否不超过预先设置的容许对象成像位置误差。然后，如果对象成像位置误差不超过容许误差，则进行使用在不同拍摄时间拍摄的L图像 和R图像的三维图像显示。如果对象成像位置误差超过容许误差，则停止三维图像显示，并进行二维图像显示。由于本结构，即使在使用在不同拍摄时间拍摄的一对L图像和R图像的三维图像显示中，也能够提供不引起不自然的深度感觉的图像。 

附图说明

图1是用于说明使用根据本发明实施例的图像处理设备进行处理的概况、以及图像处理设备的结构示例的图； 

图2是用于说明在本发明实施例中从照相机传输到图像处理设备的包的结构示例的图； 

图3是用于说明根据本发明实施例的图像处理设备的结构示例的图； 

图4A和图4B是用于说明三维(3D)图像显示处理的示例的图； 

图5A和图5B是用于说明当没有获得拍摄时间彼此同步的L和R图像时执行的三维(3D)图像显示处理的例子的图； 

图6是用于说明如何在三维(3D)图像显示中观看对象的图； 

图7是用于说明三维(3D)图像显示中要满足的条件的图； 

图8是用于说明显示在同一拍摄时间拍摄的同步图像的三维(3D)图像显示的显示例子、以及使用在不同拍摄时间拍摄的图像的三维(3D)图像显示的显示例子的图； 

图9是用于说明用于确定应该在根据本发明实施例的图像处理设备中执行3D图像显示和2D图像显示中的哪一个的参数的图； 

图10是示出用于说明用于确定应该在根据本发明实施例的图像处理设备中执行3D图像显示和2D图像显示中的哪一个的处理序列的流程图的图； 

图11是示出用于说明用于确定应该在根据本发明实施例的图像处理设备中执行3D图像显示和2D图像显示中的哪一个的处理序列中所包括的δT计算处理的流程图的图；以及 

图12是示出用于说明用于确定应该在根据本发明实施例的图像 处理设备中执行3D图像显示和2D图像显示中的哪一个的处理序列中所包括的δWs计算处理的流程图的图。 

具体实施方式

下面参考附图描述根据本发明实施例的图像处理设备、图像处理方法以及程序的细节。描述将由下面几项组成：1.根据本发明实施例的图像处理设备的结构和处理概览，2.3D图像显示示例和3D图像显示条件，以及3.由根据本发明实施例的图像处理设备执行的处理的细节。 

[1.根据本发明实施例的图像处理设备的结构和处理概况] 

参考图1和随后的附图，首先对根据本发明实施例的图像处理设备的结构示例和处理的概览进行描述。图1示出用于从多个视点拍摄图像以形成三维图像(3D图像)的照相机L101和R102、网络103以及图像处理设备120。 

照相机L101拍摄用于形成三维图像(3D图像)的左眼用图像，照相机R102拍摄用于形成三维图像(3D图像)的右眼用图像。将所拍摄的图像与图像数据的属性数据一起打包，并经由网络103传输到图像处理设备120。图像处理设备120接收从照相机L101和R102发送的包，获取图像数据并将其显示在显示单元124上。 

图像处理设备120包括：接收单元121、包分析单元122、输出控制单元123、显示单元124、控制单元125以及存储器126。接收单元121接收从照相机L101和R102发送的包。由包分析单元122分析接收的包，并从包中提取图像数据、属性信息等。属性信息包括例如各拍摄的图像帧的拍摄时间信息。 

将提取的数据传输到输出控制单元123，并利用由照相机L101和R102拍摄的图像将3D显示图像显示在显示单元124上。根据本发明实施例的图像处理设备120基于由照相机L101和R102拍摄的图像的接收状态以及图像内容的分析，执行在三维(3D)图像显示和二维(2D)图像显示之间进行切换的处理。下面说明该处理的细节。 

控制单元125执行由接收单元121、包分析单元122、输出控制单元123和显示单元124执行的处理的整体控制。例如，控制单元125根据存储器126中存储的程序执行控制。 

如先前所述，3D图像显示系统包括被动立体系统和主动立体系统。被动立体系统通过使用例如偏振滤光器来使得只允许沿特定方向振动的光通过，以分别产生分别由观看者的左眼和右眼观看的左眼用图像和右眼用图像。 

主动立体系统被称为例如时分系统，其通过与图像显示设备的帧切换定时同步地使用快门眼镜来实现到左图像和右图像的分离。 

被动立体系统和主动立体系统都可应用于根据本发明实施例的图像处理设备120。根据本发明实施例的图像处理设备120从由照相机L101和R102发送的包获取在同一时间拍摄的图像对，并根据上述系统之一执行3D图像显示。 

然而，在经由网络103的包传输中，包的丢失和延迟以预定概率发生。根据本发明实施例的图像处理设备120执行用于处理诸如包丢失和延迟的情况的处理。具体来说，图像处理设备120的输出控制单元123分析由照相机L101和R102拍摄的图像的获取状态以及图像内容。 

例如，如果确认接收到由照相机L101和R102在同一时间拍摄的图像对，则执行使用该图像对的3D图像显示。此外，如果发生了由照相机L101和R102拍摄于同一时间的成对图像之一没有被接收到的情况，则确定在由照相机L101和R102拍摄于不同拍摄时间的图像被组合并显示的情况下，是否能够显示自然的3D图像。 

如果能够显示自然的3D图像，则利用具有时间差的L和R图像执行3D图像显示。如果确定难以显示自然的3D图像，则停止3D图像显示，并利用由照相机L101拍摄的图像和由照相机R102拍摄的图像之一来显示2D图像。 

图2示出在由照相机L101和R102拍摄的图像的传输中使用的包的结构例。在图2中，(a)示出从照相机L101和R102输出的包 的结构例。照相机L101和R102设置具有相似结构的包，并通过将图像处理设备120指定为目的地而将包输出到网络103。 

如图2的(a)中所示，包具有这样的结构：包含地址信息等的头后面跟随着设置为要传输的实际数据的有效载荷。有效载荷包含：多个拍摄的图像帧数据项，以及与各图像帧相对应的属性信息(SEI：补充增强信息)项。图像帧数据被存储为例如MPEG(运动图像专家组)编码数据。 

如图2的(b)中所示，属性信息(SEI)包括：图像信息，图像信息包括用作照相机组的标识符的组ID(标识符)以及图像类型(L图像或R图像)信息等，图像类型信息指示由照相机L101拍摄的图像和照相机R102拍摄的图像中的哪一个是相应图像；拍摄时间信息；容许传输延迟时间量；优先级信息等。 

拍摄时间信息指照相机L101和R102共同的时间信息。例如，诸如经由因特网获取的标准时间一类的时间信息被各照相机使用，并被设为各自拍摄的图像帧的拍摄时间。 

容许传输延迟时间量指：例如，预先设置的或由用户设置的、表示由两个照相机之一的照相机拍摄的图像相对于由另一个照相机在同一时间拍摄的图像的容许延迟时间的时间信息。 

优先级信息指：记录在图像处理设备120停止3D图像显示并执行二维(2D)图像显示时应该优选使用由两个照相机拍摄的L和R图像中的哪一个的信息。 

与拍摄的图像帧的每一个相关联地设置包括上面的信息项的属性信息。每个包存储多个图像帧和属性信息项。 

图2示出SEI作为属性信息存储区域。然而，用于存储属性信息的区域不限于如图2所示的SEI字段，而可以以各种方式设置。例如，可以修改该结构，使得在包中设置能够存储任意数据的字段，例如用户数据字段，以在这些字段中存储属性信息。也可以修改结构，以使用与图像数据存储包分开的属性信息存储包。 

随后，参考图3，说明图像处理设备120的内部结构及其处理的 细节。包含从照相机L101和R102发送的拍摄数据的数据包被图像处理设备120的接收单元121接收，并被输入到包分析单元122。 

如图3中所示，包分析单元122包括解码单元201和属性信息获取单元202。解码单元201执行对例如MPEG编码图像数据进行解码的处理，并将解码结果输出到输出控制单元123的接收信息验证单元211。属性信息获取单元202获取存储在各包中的图像类型(L图像或R图像)信息、拍摄时间信息以及容许传输延迟时间量，作为与先前参考图2说明的各图像帧相对应的属性信息，并将这些信息项输出到输出控制单元123的接收信息验证单元211。 

输出控制单元123的接收信息验证单元211通过执行使用从解码单元201输入的图像信息、从属性信息获取单元202输入的属性信息以及存储在存储器213中的参数的数据处理，来确定是输出3D图像还是2D图像。 

根据由接收信息验证单元211做出的确定结果，3D/2D切换控制单元212在显示单元124上显示3D图像或2D图像。 

即，如上所述，如果已经接收到由照相机L101和R102在同一时间拍摄的图像对，则显示3D图像。如果没有接收到成对图像之一，且如果确定能够通过拍摄于不同拍摄时间的图像的组合显示自然的3D图像，则利用具有拍摄时间差的L和R图像来显示3D图像。如果确定难以通过组合在不同拍摄时间拍摄的图像来显示自然的3D图像，则停止3D图像显示，并利用由照相机L101拍摄的图像和由照相机R102拍摄的图像之一来显示2D图像。例如，利用根据先前参考图2描述的属性信息中包括的优先级信息选择的图像来执行2D图像显示。 

[2.3D图像显示示例和3D图像显示条件] 

随后，将说明3D图像显示示例和3D图像显示条件。 

参考图4A和图4B，首先说明在显示单元124上显示的3D图像的示例。图4A和图4B示出根据以下系统的3D图像显示示例：(1)主动立体系统以及(2)被动立体系统。 

如图4A所示，根据(1)主动立体系统，按时间序列交替显示作为由照相机L101拍摄的图像的L图像和作为由照相机R102拍摄的图像的R图像，并且佩戴着与观看者的左眼和右眼相对应的液晶快门眼镜的观看者分别用左眼和右眼观看L图像和R图像。 

如图4B所示，根据(2)被动立体系统，输出到显示单元的一帧图像由交替布置的L和R图像构成。L和R图像是偏振图像。通过由观看者佩戴的偏振眼镜，L图像部分和R图像部分分别由观看者的左眼和右眼来观看。 

根据(1)主动立体系统，交替输出同时拍摄的L和R图像。而根据(2)被动立体系统，利用同时拍摄的L和R图像来产生和输出一帧图像。 

在图4A和图4B所示的示例中，已经全部获取了在拍摄时间t01到t03拍摄的L和R图像。利用这些获取的图像，可以用系统(1)和(2)二者来显示和观看正确的3D图像。 

然而，如果存储L和R图像之一的包丢失或延迟，则在某些情况下妨碍了使用如图4A和图4B中所示的在t01到t03的每一个的同一拍摄时间拍摄的L和R图像对的显示处理。 

下面参考图5A和图5B描述具体例子。图5A和图5B示出在已经获取了在拍摄时间t01到t03拍摄的L图像，但是没有获取在时间t02和t03拍摄的R图像，而只获取了在时间t01拍摄的R图像时执行的处理的例子。 

在这种情况下，直到使用例如在拍摄时间t01拍摄的L和R图像对的3D图像显示，系统(1)和(2)都可以成功地进行3D图像显示。然而，没有获取到在时间t02以及之后拍摄的R图像，从而阻碍了正常的3D图像显示。 

在这种情况下执行的处理的示例包括：例如，(a)显示在直到t01的拍摄时间拍摄的图像，之后停止显示并等待，直到获取了在拍摄时间t02拍摄的L和R图像对；以及(b)显示在直到t01的拍摄时间拍摄的图像，之后在继续使用在拍摄时间t01拍摄的R图像的同 时使用在拍摄时间t02和t03拍摄的L图像。在图5A和图5B中示出了后面的例子。 

如果执行上面(a)的处理，则显示图像不连续。此时，如果执行(b)的处理，则不显示正确的3D图像，并在某些情况下输出缺少正确深度效果的非自然图像。 

在根据本发明实施例的图像处理设备120的输出控制单元123中，接收信息验证单元211分析接收到的信息(图像和属性信息)，并确定在由照相机L101和R102在不同拍摄时间拍摄的图像被组合并显示的情况下是否能够显示自然的3D图像。如果能够显示自然的3D图像，则利用具有拍摄时间差的L和R图像来显示3D图像。如果确定难以显示自然的3D图像，则停止3D图像的显示，并利用由照相机L101拍摄的图像和由照相机R102拍摄的图像之一来显示2D图像。 

以上述方式，根据本发明实施例的图像处理设备120的输出控制单元123执行这样的处理：确定在由照相机L101和R102在不同拍摄时间拍摄的图像被组合并显示的情况下是否能够显示自然的3D图像。在该具体处理的描述之前，将首先参考图6对获得3D图像显示中的深度效果的原理进行描述。 

图6示出观看者的左眼301和右眼302、显示表面310以及对象成像位置320。显示表面310例如是显示先前参考图4A到图5B描述的3D图像的显示表面，诸如TV、显示器或屏幕。对象成像位置320表示由观看者感觉到的对象的位置。 

显示表面310在L图像和R图像的每一个中显示同一对象，从而将该对象显示在各图像的不同显示位置处，即，图中所示的L图像对象显示位置311和R图像对象显示位置312。L图像对象显示位置311处的对象只由观看者的左眼301观看，R图像对象显示位置312处的对象只由观看者的右眼302观看。于是，由观看者感觉的对象位置与图中所示的对象成像位置320相对应。 

即，观看者感觉对象位置距观看者的眼睛有距离Do。当眼睛和该对象之间的距离表示为Do，且眼睛和显示表面之间的距离表示为 Ds时，Do和Ds之间的关系可以用下面的表达式(数学表达式1)来表示。 

Do＝(We/(We-Ws))Ds         (数学表达式1) 

这里，We表示观看者的左眼和右眼之间的距离，且Ws表示同一对象在显示表面上的L图像和R图像中的相应显示位置之间的距离。 

例如，如果已经获取同时拍摄的L图像和R图像，图6中所示的显示表面310在L图像对象显示位置311和R图像对象显示位置312处显示对象。于是，观看者可以感觉该对象位于对象成像位置320处。 

当对象不是运动对象时，即使不使用同时拍摄的L图像和R图像，而是使用在不同拍摄时间拍摄的图像，例如拍摄时间t01拍摄的L图像和拍摄时间t02拍摄的R图像，图6所示的显示表面310上的相应显示位置(即L图像对象显示位置311和R图像对象显示位置312)也不移动。因此，在这种情况下，即使通过组合在拍摄时间t01拍摄的L图像和在拍摄时间t02拍摄的R图像来进行3D显示，也可以进行自然的3D图像显示。 

然而，如果对象是运动对象，则发生问题。当对象是运动对象时，如果对在不同拍摄时间拍摄的L图像和R图像进行组合，则L图像对象显示位置311和R图像对象显示位置312之间的距离Ws改变。于是，对象成像位置320朝前或朝后移位，且不获得对象位置的正确感觉。 

例如，如图中所示，如果成像位置的容许误差被表示为δDo，则可以根据容许成像位置误差δDo来计算显示表面310上的L图像对象显示位置311和R图像对象显示位置312之间的距离Ws(即双眼视差)的容许移位量δWs。 

下面参考图7描述该计算过程。如图7所示，容许成像位置误差δDo和容许双眼视差移位量δWs之间的关系可以由下面的表达式(数学表达式2)来表示。 

δWs＝WeDs((1/Do)-(1/(Do-δDo)))   (数学表达式2) 

此外，如果δDo相对于Do充分小，则上面的表达式(数学表达式2)可以由下面的表达式(数学表达式3)来表示。 

δWs＝WeDs(δDo/Do²)  (数学表达式3) 

如上所述，当图像中的对象不运动时，即使使用在不同拍摄时间拍摄的图像，图6中所示的L图像对象显示位置311和R图像对象显示位置312也不改变。然而，当图像中的对象运动时，如果使用在不同拍摄时间拍摄的图像，则图6中所示的L图像对象显示位置311和R图像对象显示位置312改变。 

因此，当图像包括运动对象时，例如如参考图5A和图5B描述的在不同拍摄时间拍摄的L图像和R图像的组合削弱3D图像的正确深度效果。 

当Vs表示对象在图像中的运动速度，δT表示L图像和R图像之间的拍摄时间差时，由于时间间隔δT，对象在图像中移动了Vs·δT的距离。 

因此，当上面表达式(数学表达式2或3)的容许双眼视差移位量δWs被设为Vs·δT时，如果在图像中存在具有最大运动速度Vs的对象，则可以将L图像和R图像之间的容许拍摄时间差确定为δT。 

在根据本发明实施例的图像处理设备120中，输出控制单元123的接收信息验证单元211分析L图像和R图像以及属性信息，以首先确定是否已经获取在同一拍摄时间拍摄的L图像和R图像的组合。 

如果已经获取在同一拍摄时间拍摄的L图像和R图像的组合，则进行基于在同一拍摄时间拍摄的L图像和R图像的组合的3D图像显示。此时，如果没有获取在同一拍摄时间拍摄的L图像和R图像的组合，则检测在图像中具有最大运动速度Vs的对象，并计算L图像和R图像之间的容许拍摄时间差δT。如果可以输出具有不超过容许拍摄时间差δT的拍摄时间差的L图像和R图像的组合，则利用具有该拍摄时间差的L图像和R图像的组合来输出3D图像。 

此时，如果确定难以输出具有不超过容许拍摄时间差δT的拍摄 时间差的L图像和R图像的组合，则进行从3D图像显示切换到2D图像显示的处理。在这种情况下，利用根据例如包括在先前参考图2描述的属性信息中的优先级信息选择的图像来进行2D图像显示。可选择地，利用L图像和R图像中未延迟的一个作为右眼用图像和左眼用图像来输出2D图像。 

参考图8，下面说明图像中运动对象的具体例子。图8示出在(a)使用在同一拍摄时间拍摄的同步L图像和R图像的3D图像显示示例，以及(b)使用在不同拍摄时间拍摄的异步L图像和R图像的3D图像显示示例中图像的例子。 

在各例子中，圆形对象沿由弧线表示的对象轨迹370运动。 

在(a)使用在同一拍摄时间拍摄的L图像和R图像的同步显示例子中，L图像对象显示位置351和R图像对象显示位置352分别与先前参考图6说明的L图像对象显示位置311和R图像对象显示位置312相对应。即，L图像对象显示位置351和R图像对象显示位置352表示在同一拍摄时间拍摄的L图像和R图像的各自的对象显示位置。观看者分别用左眼和右眼观看这些显示位置处的各自的对象。因此，观看者能够识别正常对象位置。 

L图像对象显示位置351和R图像对象显示位置352之间的距离，即双眼视差，被表示为Wsx。根据前面的表达式(数学表达式1)，对象位置可以被识别为位于相距对象距离Do的位置。 

此时，(b)使用在不同拍摄时间拍摄的异步L图像和R图像的3D图像显示例子示出：在例如在拍摄时间t03拍摄的R图像和在前面的拍摄时间t01拍摄的L图像的组合中的L图像对象显示位置361和R图像对象显示位置362。 

在这种情况下，如图所示，将L图像对象显示位置361和R图像对象显示位置362之间的x方向上的距离表示为Wsx+δWsx。即，出现在原始同步L图像和R图像的组合中的双眼视差Wsx加上误差δWsx。该附加的值是将相对观看者的对象成像位置向前或向后移动的因素，即，减小或增大先前参考图6说明的眼睛和对象之间的距离 Do的因素。 

根据本发明实施例的图像处理设备120预先设置容许成像位置误差δDo，并确定基于在不同拍摄时间拍摄的L图像和R图像的组合的3D图像显示中对象成像位置的移位是否不超过容许成像位置误差δDo。如果对象成像位置移位不超过容许成像位置误差δDo，则进行使用该对L图像和R图像(即在不同拍摄时间拍摄的一对L和R图像)的3D图像显示。如果对象成像位置移位超过容许成像位置误差δDo，则进行停止3D图像显示并切换到2D图像显示的处理。 

例如，现在假设：直到时间t01，都利用在同一拍摄时间拍摄的L图像和R图像进行3D显示，此后使用L图像和R图像之一，例如在拍摄时间t02和t03拍摄的L图像，同时继续使用在拍摄时间t01拍摄的R图像。此外，假设图8中所示对象沿着对象轨迹370向右移动。在这种情况下，只有L图像的对象向右移动，而R图像的对象的位置不移动。在这种情况下，观看者感觉好像图8中所示的对象逐渐接近观看者。之后，如果获取了例如在时间t05拍摄的L图像和R图像，并且如果进行基于在拍摄时间t05拍摄的L图像和R图像的3D图像显示，则观看者感觉好像已经逐渐地接近了观看者的对象突然地向后移动。 

为了防止观看者感觉到这种不自然的对象移动，应该控制出现在使用拍摄于不同拍摄时间的L图像和R图像的3D图像显示中的对象成像位置误差不超过参考图6说明的容许对象成像位置误差δDo。 

如果对象的移动方向分量包括y方向分量，则L图像对象显示位置361和R图像对象显示位置362的各显示位置也沿y方向移位。即，如图8的(b)中所示，L图像对象显示位置361和R图像对象显示位置362之间在y方向上的距离表示为Wsy+δWsy，如图所示。 

在y方向上的移位导致发生对象的重影(double blurring)。因此，进行这样的处理：也在y方向上预先设置容许移位量δWsy，并在要使用的L图像和R图像中的对象显示位置在y方向上的移位不超过容许移位量δWsy的情况下进行3D图像显示处理。 

具体来说，例如，提供了这样的结构：该结构设置或计算两个容许值δWsx和δWsy，并通过使用这两个容许值中较小的一个来执行3D/2D图像切换确定处理。下面将参考流程图说明该具体处理例子。y方向上的移位导致发生对象的重影问题。因此，可以将该结构修改为：在检测到对象显示位置在y方向上的移位的情况下停止3D显示并切换到2D显示。 

[3.由根据本发明实施例的图像处理设备执行的处理的细节] 

随后，将参考图9和随后的附图说明由根据本发明实施例的图像处理设备120执行的处理的细节。 

如上所述，在根据本发明实施例的图像处理设备120中，输出控制单元123的接收信息验证单元211分析L图像和R图像以及属性信息，以首先确定是否能够获得在同一拍摄时间拍摄的L图像和R图像的组合。如果能够获得在同一拍摄时间拍摄的L图像和R图像的组合，则进行基于在同一拍摄时间拍摄的L图像和R图像的组合的3D图像显示。 

此时，如果难以获得在同一拍摄时间拍摄的L图像和R图像的组合，则检测在图像中具有最大运动速度Vs的对象，并计算L图像和R图像之间的容许拍摄时间差δT。如果可以输出具有不超过容许拍摄时间差δT的拍摄时间差的L图像和R图像的组合，则利用该具有拍摄时间差的L图像和R图像的组合输出3D图像。 

此时，如果确定难以输出具有不超过容许拍摄时间差δT的拍摄时间差的L图像和R图像的组合，则进行从3D图像显示切换到2D图像显示的处理。在这种情况下，利用根据例如先前参考图2说明的属性信息中包括的优先级信息所选择的图像来进行2D图像显示。可选择地，利用L图像和R图像中未延迟的一个作为右眼用图像和左眼用图像来输出2D图像。 

下面参考图9说明由接收信息验证单元211获取或计算的参数。由接收信息验证单元211获取或计算的参数如下：(1)眼睛和对象(成像位置)之间的距离Do，(2)容许成像位置误差δDo，(3) 眼睛和显示表面之间的距离Ds，(4)眼睛之间的距离We，(5)双眼视差(L图像和R图像在显示表面上的对象显示位置之间的差)Ws，(6)帧间运动向量(最大值)V，(7)容许双眼视差移位量δWs，以及(8)容许L和R图像显示定时差量(容许拍摄时间差)δT。 

将说明计算或获取上面参数(1)到(8)的处理的例子。根据先前说明的表达式(数学表达式1)，利用双眼视差Ws、眼睛和显示表面之间的距离Ds以及眼睛之间的距离We来计算眼睛和对象(成像位置)之间的距离Do。(2)容许成像位置误差δDo、(3)眼睛和显示表面之间的距离Ds，以及(4)眼睛之间的距离We的各自的值被预先设置并存储在存储器213中。 

基于眼睛和显示表面之间的距离Ds以及对接收的图像的分析，计算(5)双眼视差(L图像和R图像在显示表面上的对象显示位置之间的差)We的值。基于对接收的图像的分析计算(6)帧间运动向量(最大值)V的值。帧间运动向量(最大值)V包括：在各帧之间以最大速度运动的对象的运动速度Vs和运动方向的信息。 

通过应用先前说明的表达式(数学表达式2或3)，利用眼睛和显示表面之间的距离Ds、眼睛和对象(成像位置)之间的距离Do、容许成像位置误差δDo以及眼睛之间的距离We来计算(7)容许双眼视差移位量δWs的值。可选择地，可以修改该结构，以将容许双眼视差移位量δWs的预先设置的固定值存储在存储器213中，并使用该存储的值。 

利用上述容许双眼视差移位量δWs以及通过图像分析计算的帧间运动向量(最大值)V，来计算(8)容许L和R图像显示定时差量(容许拍摄时间差)δT的值。即，该值根据表达式δT＝δWs/Vs来计算，其中，Vs表示帧间运动向量(最大值)V的大小，即对象的运动速度。 

下面将参考图10到图12中所示流程图说明由输出控制单元123执行的显示图像确定序列。图10是用于说明由输出控制单元123执行的显示图像确定序列的总体的流程图。图11是用于说明图10中所示步骤S103的处理的细节(即计算容许L和R图像显示定时差量δT 的序列)的流程图。图12是用于说明图11中所示步骤S203的处理的细节(即计算容许双眼视差移位量δWs的序列)的流程图。 

参考图10中所示的流程图，首先进行对由输出控制单元123执行的显示图像确定序列的总体的说明。在步骤S101，输出控制单元123的接收信息验证单元211确定是否能够进行L图像和R图像的同步图像显示。即，接收信息验证单元211确定是否能够在没有包丢失或延迟的情况下获取和显示在同一拍摄时间拍摄的L图像和R图像。如果确定能够进行L图像和R图像的同步图像显示，则序列前进到步骤S106，以利用在同一时间拍摄的L图像和R图像，根据先前参考图4A和图4B说明的主动立体系统或被动立体系统进行3D图像显示处理。 

如果在步骤S101的确定结果是否，即，如果确定L图像或R图像的接收被延迟，且因此难以进行L图像和R图像的同步显示，则序列进行到步骤S102。 

在步骤S102，确定是否能够根据获取的L图像和R图像的属性信息获取容许L和R图像显示定时差量(容许拍摄时间差)δT。容许L和R图像显示定时差量(容许拍摄时间差)δT与包括在参考图2说明的包的属性信息中的容许传输延迟时间量相对应。 

如果根据所接收的包的属性信息获取了容许传输延迟时间量，则将容许传输延迟时间量的值设定为容许L和R图像显示定时差量(容许拍摄时间差)δT。 

此时，如果没有根据所接收包的属性信息获取容许传输延迟时间量，则序列进行到步骤S103以执行δT计算处理。 

在获取或计算δT的处理之后，序列进行到步骤S104。在步骤S104，将要使用的L图像和R图像之间的拍摄时间的时间差与所获取或计算的容许拍摄时间差δT相比较。 

将要使用的L图像和R图像之间的拍摄时间的时间差计算为参考图2说明的包的属性信息中包括的拍摄时间之间的差。 

如果在步骤S104确定要使用的L图像和R图像之间的拍摄时间的时间差不超过容许拍摄时间差δT，则在步骤S104的确定结果为是。 在这种情况下，确定基于这些L图像和R图像的组合的三维(3D)图像显示不会引起实质不自然的感觉。然后，序列进行到步骤S106，以利用具有不超过容许拍摄时间差δT的拍摄时间差的L图像和R图像，根据先前参考图5A和图5B说明的主动立体系统或被动立体系统进行3D图像显示处理。 

此时，如果在步骤S104确定要使用的L图像和R图像之间的拍摄时间的时间差超过容许拍摄时间差δT，则在步骤S104的确定结果为否。在这种情况下，确定如果进行基于这些L图像和R图像的组合的三维(3D)图像显示，则会引起实质不自然的感觉。然后，序列进行到步骤S105，以停止3D图像显示并切换到2D图像显示。具体来说，利用根据例如先前参考图2说明的属性信息中包括的优先级信息所选择的图像来进行2D图像显示。可选择地，利用L图像和R图像中未延迟的一个作为右眼用图像和左眼用图像来输出2D图像。 

将参考图11说明图10的流程图中的步骤S103的处理的细节，即，计算容许L和R图像显示定时差量(容许拍摄时间差)δT的序列。 

在步骤S201，根据L或R图像的各图像帧计算最大运动向量V。该处理使用L图像和R图像之一的连续的帧。 

基于连续的帧分析以最大速度运动的对象的帧间运动的状态，并且计算最大运动向量V。向量V包括对象的运动速度Vs和运动方向的信息。根据运动距离和各帧之间的时间间隔可以计算运动速度。向量V是表示为(Vx，Vy)的二维向量，其中Vx和Vy分别表示x方向上的对象运动速度和y方向上的对象运动速度。 

然后，在步骤S202确定是否能够获取容许双眼视差移位量δWs。容许双眼视差移位量δWs可以被作为预先设置值存储在存储器213中。在这种情况下，从存储器213获取容许双眼视差移位量δWs，且序列进行到步骤S204。 

此时，如果容许双眼视差移位量δWs没有被设置为存储在存储器213中的值，则序列进行到步骤S203，以计算容许双眼视差移位量δWs。之后，序列进行到步骤S204。稍后将说明在步骤S203计算容 许双眼视差移位量δWs的处理。 

在步骤S204，根据下面的表达式(数学表达式4)计算容许L和R图像显示定时差量(容许拍摄时间差)δT。 

δT＝min(δWsx/Vx，δWsy/Vy)    (数学表达式4) 

在上面的表达式中，δWsx表示容许双眼视差移位量δWs的x方向分量，δWsy表示容许双眼视差移位量δWs的y方向分量。此外，min(a，b)表示针对a和b的每一个选择的较小的值。 

如先前参考图8所述，分别作为容许双眼视差移位量δWs的x方向分量和y方向分量的δWsx和δWsy是这样的值：它们分别表示从同步L图像和R图像中的各对象显示位置开始的x方向上的位移和y方向上的位移。 

至少容许双眼视差移位量δWs的y方向分量δWsy被作为预先确定的预设值存储在存储器213中。可以将容许双眼视差移位量δWs的x方向分量δWsx存储在存储器213中，或在步骤S203对其进行计算。 

随后，将参考图12中所示的流程图，对在步骤S203计算容许双眼视差移位量δWs的处理的细节进行说明。 

在步骤S301，首先获取Ws，其表示具有在图11的前述流程中的步骤S201处计算的最大运动向量V的对象的L图像和R图像的各自的起始位置之间的差。这里使用的L图像和R图像是在不同拍摄时间拍摄的、要应用于3D图像显示的L图像和R图像对，即，在先前参考图8的(b)说明的不同拍摄时间拍摄的L图像和R图像。 

在步骤S302，根据先前所述的表达式(数学表达式1)计算眼睛和对象之间的距离Do。即，根据下面的表达式计算眼睛和对象之间的距离Do。 

Do＝(We/(We-Ws))Ds        (数学表达式1) 

这里，We表示观看者的左眼和右眼之间的距离，Ws表示显示表面上的L图像和R图像中的同一对象的相应显示位置之间的距离，且Ds表示眼睛和显示表面之间的距离。使用存储在存储器213中的We和Ds的值。 

然后，在步骤S303，计算x方向上的容许双眼视差移位量δWsx。通过应用先前说明的表达式(数学表达式2)来执行计算x方向上的容许双眼视差移位量δWsx的处理。即，通过应用下面的表达式来计算x方向上的容许双眼视差移位量δWsx。 

δWs＝WeDs((1/Do)-(1/(Do-δDo)))    (数学表达式2) 

这里，We表示观看者的左眼和右眼之间的距离，Ds表示眼睛和显示表面之间的距离，Do表示眼睛和对象之间的距离，且δDo表示容许成像位置误差。We、Ds和δDo的值被预先设置，且使用它们存储在存储器213中的值。此外，将在步骤S302计算的值作为Do使用。 

可以修改该结构以通过代替上面的表达式(数学表达式2)而应用另一个表达式(数学表达式3)来计算x方向上的容许双眼视差移位量δWsx。即，可以通过应用下面的表达式来计算x方向上的容许双眼视差移位量δWsx。 

δWs＝WeDs(δDo/Do²)    (数学表达式3) 

以上述方式计算x方向上的容许双眼视差移位量δWsx。然后，在图11中所示的步骤S204，将δWsx/Vx和δWsy/Vy中较小的一个设定为容许L和R图像显示定时差量(容许拍摄时间差)δT。 

在图10的步骤S104，通过上面的处理计算δT，即，将容许L和R图像显示定时差量(容许拍摄时间差)δT与要显示的L图像和R图像之间的拍摄时间差ΔT相比较。即，确定是否满足下面的表达式(数学表达式5)。 

要显示的L图像和R图像之间的拍摄时间差ΔT≤容许拍摄时间差δT(数学表达式5) 

如果满足上面的表达式(数学表达式5)，则确定不会给观看者引起不自然的感觉，并且利用要显示的L图像和R图像来进行3D显示(步骤S106)。如果不满足上面的表达式(数学表达式5)，则确定将给观看者引起不自然的感觉，并且停止使用要显示的L图像和R图像的3D显示，而利用L图像和R图像之一作为能够由双眼观看的图像来进行2D图像显示(步骤S105)。 

如上所述，构造根据本发明实施例的图像处理设备120，使得： 如果难以获取彼此拍摄时间同步的L图像和R图像，则基于包括于图像中的对象的运动状态，来确定使用在不同拍摄时间拍摄的L图像和R图像的3D图像显示中出现的对象成像位置的移位或双眼视差的移位是否不超过预先设定的容许值，且如果该移位不超过该容许值，则进行该3D图像显示。因此，即使难以获取彼此拍摄时间同步的L图像和R图像，也能够进行自然的3D图像显示。 

即，在根据本申请的发明的实施例的处理中，在可以获得L图像和R图像的组合，其中，在使用在不同拍摄时间拍摄的L图像和R图像的3D图像显示中出现的对象成像位置的移位和双眼视差的移位分别不超过容许成像位置误差δDo和容许双眼视差移位量δWs的情况下，进行3D图像显示。 

容许双眼视差移位量δWs和容许L和R图像显示定时差量(容许拍摄时间差)δT具有由表达式δWs＝Vs·δT表示的关系，其中Vs表示以最大速度运动的运动对象的运动速度。 

因此，如果先前已经提供了容许L和R图像显示定时差量(容许拍摄时间差)δT，则可以单独通过δT与要使用的L和R图像之间的拍摄时间差的比较，来确定是执行3D图像显示还是切换到2D图像显示。 

即使先前没有提供容许L和R图像显示定时差量(容许拍摄时间差)δT，也可以通过图10所示步骤S103的处理，即参考图11和图12所述的处理来计算δT。即，利用容许双眼视差移位量δWs和通过图像分析计算的帧间运动向量(最大值)V，根据表达式δT＝δWs/Vs来计算δT。这里，Vs表示帧间运动向量(最大值)V的大小，即，对象的运动速度。在流程图中，对单独计算和确定x分量和y分量的结构进行了说明。然而，可以修改该结构，以在不分为x分量和y分量的情况下，根据上面的表达式计算δT，并基于计算的δT的值来执行确定。 

因此，即使在没有将δT设置为预设值时，如果已经设置了容许成像位置误差δDo，也可以确定是否能够进行具有不超过容许成像位置误差δDo的对象成像位置的误差的图像显示。因此，如果基于该确 定结果进行使用在不同拍摄时间拍摄的L图像和R图像的3D图像显示，则保证由显示处理所导致的对象成像位置的误差不超过容许成像位置误差δDo，且能够观看到自然的3D图像。 

已经说明了这样的结构：该结构从存储器213获取参考图10到图12说明的流程图示出的各计算中使用的值中的一些，并且该结构从包括于从照相机L101和R102接收的包中的属性信息获取所述值中的其它值。可以修改该结构，以存储所有这些在从照相机L101和R102发送的包中的值，或者从外部服务器获取所述值。 

此外，说明书中说明的一系列处理可以由硬件、软件或二者的组合结构来执行。为了使各处理由软件执行，可以在包含于特定硬件中的计算机的存储器中安装并执行记录处理序列的程序，或者，可以在能够执行各种处理的通用计算机中安装并执行该程序。例如，可以将程序预先记录在记录介质中。可以将程序从记录介质安装在计算机中，并且也可以经由诸如LAN(局域网)和因特网的网络接收程序，并将其安装在诸如内部硬盘的记录介质中。 

说明书中所述的各种处理不仅可以根据说明书按时间顺序执行，也可以适当地或根据执行处理的设备的处理能力来并发地或单独地执行。此外，在本说明书中，系统指多个设备的逻辑集合结构，而不限于存储于同一壳体的具有各自结构的设备。 

本申请包含涉及2009年6月19日在日本专利局提交的日本在先专利申请JP2009-145987中公开主题的主题，其整个内容通过引用包含于此。 

参考具体实施例详细描述了本发明。然而，显而易见地，本领域技术人员能够在不离开本发明要旨的范围内修改或改变各实施例。即，示例性公开了本发明，因此不应做出限制性的解释。为了理解本发明的要旨，应该参考权利要求书。 

Claims (7)

1.一种图像处理设备，包括：

接收单元，被配置为接收通信数据，所述通信数据包括应用于三维图像显示的作为左眼用图像的L图像和作为右眼用图像的R图像；

属性信息获取单元，被配置为根据所述通信数据获取包括拍摄时间的属性信息；以及

输出控制单元，被配置为分析包括在所述通信数据中的所述图像和所述属性信息，并基于分析的结果执行在三维图像显示和二维图像显示之间切换的处理，

其中，如果已经获取在同一拍摄时间拍摄的一对L和R图像，则所述输出控制单元进行三维图像显示，以及

其中，如果没有获取在同一拍摄时间拍摄的一对L和R图像，则所述输出控制单元确定使用在不同拍摄时间拍摄的L图像和R图像的三维图像显示中出现的对象成像位置误差是否不超过预先设置的容许对象成像位置误差，如果所述对象成像位置误差不超过所述容许对象成像位置误差，则使用在不同拍摄时间拍摄的所述L图像和R图像进行三维图像显示，而如果所述对象成像位置误差超过所述容许对象成像位置误差，则停止三维图像显示并进行二维图像显示。

2.根据权利要求1所述的图像处理设备，

其中，所述输出控制单元计算在不同拍摄时间拍摄的L图像和R图像中所含的运动对象之中、具有最大运动速度的运动对象的帧间运动向量V，利用所述运动向量V和三维图像的显示表面上的容许双眼视差移位量δWs来计算容许拍摄时间差δT，如果在不同拍摄时间拍摄的L图像和R图像之间的拍摄时间差不超过所述容许拍摄时间差δT，则使用在不同拍摄时间拍摄的所述L图像和R图像进行三维图像显示，而如果在不同拍摄时间拍摄的L图像和R图像之间的拍摄时间差超过所述容许拍摄时间差δT，则停止三维图像显示并进行二维图像显示。

3.根据权利要求2所述的图像处理设备，

其中，所述输出控制单元根据所述运动向量V获取所述对象的运动速度Vs，并根据表达式δT＝δWs/Vs执行计算容许拍摄时间差δT的处理。

4.根据权利要求2所述的图像处理设备，

其中，所述输出控制单元获取三维图像的显示表面上的容许双眼视差移位量δWs的x方向上的容许双眼视差移位量δWsx以及y方向上的容许双眼视差移位量δWsy，获取由所述帧间运动向量V预确定的x方向上的运动速度Vsx以及y方向上的运动速度Vsy，并且执行将容许拍摄时间差δT计算为δWsx/Vsx和δWsy/Vsy的值中较小的一个的处理。

5.根据权利要求1所述的图像处理设备，

其中，所述输出控制单元获取预先设置的容许拍摄时间差δT，如果在不同拍摄时间拍摄的L图像和R图像之间的拍摄时间差不超过所述容许拍摄时间差δT，则使用在不同拍摄时间拍摄的所述L图像和R图像进行三维图像显示，并且如果在不同拍摄时间拍摄的L图像和R图像之间的拍摄时间差超过所述容许拍摄时间差δT，则停止三维图像显示并进行二维图像显示。

6.根据权利要求1所述的图像处理设备，

其中，在停止三维图像显示并执行二维图像显示时，所述输出控制单元参考存储在所述通信数据中的属性信息中所含的优先级信息并选择具有高优先级的图像，来执行所述二维图像显示。

7.一种由图像处理设备执行的图像处理方法，所述图像处理方法包括步骤：

接收步骤，使通信单元接收通信数据，所述通信数据包括应用于三维图像显示的作为左眼用图像的L图像和作为右眼用图像的R图像；

属性信息获取步骤，使属性信息获取单元根据所述通信数据获取包括拍摄时间的属性信息；以及

输出控制步骤，使输出控制单元分析包括在所述通信数据中的所述图像和所述属性信息，并基于分析的结果执行在三维图像显示和二维图像显示之间切换的处理，

其中，如果已经获取在同一拍摄时间拍摄的一对L和R图像，则所述输出控制步骤执行三维图像显示，以及

其中，如果没有获取在同一拍摄时间拍摄的一对L和R图像，则所述输出控制步骤确定使用在不同拍摄时间拍摄的L图像和R图像的三维图像显示中出现的对象成像位置误差是否不超过预先设置的容许对象成像位置误差，如果所述对象成像位置误差不超过所述容许对象成像位置误差，则使用在不同拍摄时间拍摄的所述L图像和R图像进行三维图像显示，而如果所述对象成像位置误差超过所述容许对象成像位置误差，则停止三维图像显示并进行二维图像显示。

Images