CN101199210B

CN101199210B - 图像处理装置

Info

Publication number: CN101199210B
Application number: CN2006800214428A
Authority: CN
Inventors: 若林保孝; 内海端; 吉田英明; 增谷健; 关泽英彦
Original assignee: Sharp Corp; Sanyo Electric Co Ltd; Olympus Imaging Corp; Sony Corp
Current assignee: Sharp Corp; Sanyo Electric Co Ltd; Olympus Imaging Corp; Sony Corp
Priority date: 2005-07-26
Filing date: 2006-07-25
Publication date: 2010-05-26
Anticipated expiration: 2026-07-25
Also published as: CN101199210A; EP1912447A1; KR100935149B1; KR20080030676A; JP2007036528A; JP4630149B2; US20090128622A1; WO2007013449A1; EP1912447A4

Abstract

本发明提供一种图像处理装置，由控制机构(101)将包含图像识别信息及与图像识别信息的配置位置相关的信息的3D信息输入3D信息生成机构(102)。而且，根据所输入的3D信息生成识别标记并与配置位置信息一同输出到图像合并机构(103)。图像合并机构(103)基于配置位置信息将所输入的右眼图像及左眼图像和识别标记进行合并，生成图像数据后输出。由此，在立体图像数据内具有表示是立体图像的识别信息，并且，在立体显示的情况下也不会成为观察上的妨碍。

Description

图像处理装置

技术领域

本发明涉及在生成用于进行三维显示的图像数据时，将属性信息附加到图像数据中的图像处理装置。

背景技术

目前，已提出显示三维图像的各种方法。其中通常所使用的方法有利用双眼视差的被称作“双眼式”的方法。准备具有双眼视差的左眼用图像和右眼用图像，通过用左眼看左眼用图像、用右眼看右眼用图像，从而可以得到如同直接看到被摄体那样的立体感。

作为这种立体观看的立体图像的生成方法，公知的有叫做平行法、交叉法这两种方式。用于生成立体图像的左右眼的图像通过在与左右视点相对应的位置放置照相机来进行拍摄，或将软件中的模拟照相机放置在视点位置来生成图像。此时，利用拍摄或所拍摄的左右眼的图像，在平行法中，将左眼用图像朝向左配置、将右眼用图像朝向右配置，从而进行生成图像；而在交叉法中，将左眼用图像朝向右配置，将右眼用图像朝向左配置，从而生成图像。

在用这种方式生成的裸眼立体观看用的照片中，由于左右图像的配置因生成方法的不同而不同，因此，提出有以可以适当地进行立体观看的方式来区别左眼用图像和右眼用图像的立体照相机。例如，在专利文献1(日本特开平6-324413号公报)记载的“立体照相机”记录左眼用图像和右眼用图像时，有使用一个透镜和两个反射镜进行拍摄的方法、以及只使用左右两个透镜进行拍摄的方法。在用两个透镜进行拍摄的情况下，当将摄入左半部分的影像印刷在印相纸上时，在印相纸的左半部分形成从右侧看到的图像，相反地在将摄入右半部分的影像印刷在印相纸上时，在印相纸的右半部分形成从左侧看到的图像。因而，需要将印相纸切成一半部分以使左图像和右图像进行反转，但由于左图像和右图像几乎是相同的，很难看出其不同点，因此，为了添加区别点而在照片中写入标记。同样地，在专利文献2(日本特开平9-160143号公报)记载“立体照相机”中，在写入区别左右的标记的同时，使用所写入的标记容易地进行裸眼立体观看。

另外，近年来也提出了可进行立体观看的显示机构，作为以双眼式为代表的方式有分时方式、视差屏障(parallax barrier)方式、偏振光过滤方式等几种方式。其中，以分时方式和视差屏障方式为例进行说明。

图17是用于说明分时方式的概念图。如图17所示，该分时方式为，左眼图像和右眼图像在垂直方向上每隔一个像素交替配置成队列形，左眼图像的显示和右眼图像的显示交替切换而进行显示。左眼图像及右眼图像与通常的二维显示时相比，垂直分辨率为1/2。观察者佩戴与显示器的切换同步开闭的快门式眼镜。在此使用的快门在显示左眼图像时，左眼侧打开、右眼侧关闭，在显示右眼侧图像时，左眼侧关闭、右眼侧打开。这样，左眼图像只用左眼观察、右眼图像只用右眼观察，从而可以进行立体观看。

图18是用于说明视差屏障方式的概念图。图18(a)是表示视差产生原理的图。图18(b)是表示用视差屏障方式显示的画面的图。在图18(a)中，在图像显示面板600上显示如图18(b)所示的左眼图像和右眼图像在水平方向上每隔一个像素交替配置成队列形的图像，将以比同一视点的像素间隔窄的间隔具有狭缝的视差屏障601放置于图像显示面板600的前面，由此，左眼图像只用左眼602观察，右眼图像只用右眼603观察，从而可以进行立体观看。

除上述以外，还有与视差屏障方式同样，使用配置于前面的双凸透镜对图18(b)所示的形式的图像进行立体显示的透镜(lenticular)方式等。

在此，图19表示对应于视差屏障方式或透镜方式的记录数据形式的一例。根据图19(a)所示的左眼图像和图19(b)所示的右眼图像，将各自在水平方向每隔一个像素列拉长间隔生成并记录图19(c)所示的一幅立体图像。在显示时通过将该立体图像按每一像素交替排列，从而在用对应于视差屏障方式或透镜方式的显示装置看时，则能够用裸眼立体地进行观察。

专利文献1：特开平6-324413号公报

专利文献2：特开平9-160143号公报

但是，用不对应立体观看的通常的显示装置显示图19(c)所示的立体图像的情况下，只有左眼用图像、右眼用图像左右排列的图像被显示。在这种情况下，对于只拥有通常的显示装置的人来说，不能明确地识别出其为立体观看而拍摄的图像的情况，有可能引起混乱。因此，用通常的显示装置显示立体图像时，理想的是准备表示面向立体观看的可视认机构。另一方面，该表示面向立体观看的可视认机构、即一些标记，在使用可以立体观看的显示装置观察的情况下，不会成为立体观看的妨碍，并且在进行图像的加工时或在和图像尺寸不同的印相纸上进行印刷时等不会被删除。上述在专利文献1、2中可以区别哪个是左眼用、哪个是右眼用，但是有关根据照片的裸眼立体观看的情况下的标记，在显示装置中容易看到的情况没有被考虑。另外，在加工、印刷时标记可能被删除的情况也没有被考虑。

发明内容

本发明是鉴于上述问题而开发的，目的是提供一种图像处理装置，其在立体图像数据内含有表示是立体图像的识别信息，并且，在立体显示的情况下也不会形成观察的妨碍。

本发明的图像处理装置，生成由对应于多个视点的每一个的多个图像构成的立体图像数据，其特征在于，具备生成立体图像识别标记标记的信息生成机构，其中该立体图像识别标记包含表示是立体图像的信息和表示立体图像的生成方法的信息，并在显示所述立体图像时可作为图像来视认，所述立体图像数据包含所述立体图像识别标记。

另外，特征在于，所述立体图像识别标记配置于所述立体图像数据内的两处以上。

另外，特征在于，所述立体图像识别标记配置于构成所述立体图像数据的所述多个图像的每一个中，配置于所述多个图像的每一个中的所述立体图像识别标记在用可立体观看的显示机构显示所述立体图像数据时，配置成在立体图像上相互汇合。

另外，特征在于，还具备将所述立体图像识别标记的配置位置定位在所述立体图像数据内的任意位置的位置决定机构。

另外，特征在于，还具备在所述立体图像数据内设定关注图像区域的关注图像区域设定机构，所述位置决定机构将所述立体图像识别标记配置在立体图像数据内的所述关注图像区域的外侧。

另外，特征在于，还具备显示图像的图像显示机构，在所述图像显示机构中显示将所述立体图像识别标记配置于由所述位置决定机构配置的预定位置的状态的图像，同时所述位置决定机构按照指示所述立体图像识别标记的配置位置的配置位置确定信息，决定所述立体图像识别标记的配置位置。

另外，特征在于，所述位置决定机构按照所述配置位置确定信息确定配置位置时，可以改变配置所述立体图像识别标记的预定位置。

另外，特征在于，还具备推定所述立体图像数据的任意区域的深度再生位置的再生位置推定机构，

所述位置决定机构根据再生位置推定机构的推定结果来选择区域，以决定所述立体图像识别标记的配置位置。

另外，特征在于，所述位置决定机构在由所述再生位置推定机构推定为将立体图像再生到画面后部的区域内决定所述立体图像识别标记的配置位置。

另外，特征在于，所述立体图像识别标记配置在以下范围内，即对于所述立体图像数据的横向长度H、纵向长度V而言，在横向上距离立体图像的中心为(4/3)×V/2以下、在纵向上距离立体图像的中心为(2/3)×H/2以下。

(发明的效果)

根据本发明的图像处理装置，由对应于多个时点的每一个的多个图像构成的立体图像数据包含表示是立体图像的信息、和表示立体图像的生成方法的信息，通过包含在显示所述立体图像时可作为图像视认的立体图像识别标记，从而即使使用与立体观看不对应的二维显示机构观察也能够识别面向立体观看的图像的情况。

另外，通过将立体图像识别标记配置于立体图像数据内的两处以上，从而能够降低在对图像进行剪裁时识别信息被剪下的可能性。

另外，立体图像识别标记配置成在使用可立体观看的显示机构显示立体图像识别信息时可以在图像上相互汇合，由此，在立体观看时可立体地看到立体图像识别标记，从而可以防止识别标记成为立体观看的妨碍的情况。

另外，所述图像处理装置还具备将立体图像识别信息的配置位置定位在所述立体图像数据内的任意位置的位置决定机构，由此图像的拍摄者及制作者可以按照图像选择识别标记的配置，从而能够自由地选择不会成为想要立体观看的被摄体的妨碍的位置。

另外，所述图像处理装置还具备在立体图像数据内设定关注图像区域的关注图像区域设定机构，且将立体图像识别标记配置在立体图像数据内的所述关注图像区域的外侧，由此，能够防止识别标记被显示在作为制作者想要立体观看的部分而设定的关注图像区域中。

另外，所述图像处理装置还具备显示图像的图像显示机构，在所述图像显示机构中显示将所述立体图像识别标记配置于由所述位置决定机构配置的预定位置的状态的图像，所述位置决定机构按照指示所述立体图像识别标记的配置位置的配置位置确定信息，决定所述立体图像识别标记的配置位置，由此，能够利用显示机构确认识别标记配置后的图像的样子，同时决定配置位置。

另外，所述位置决定机构按照所述配置位置确定信息确定配置位置时，可以改变所述立体图像识别标记配置的预定位置，由此，制作者可以将识别标记配置在任意位置，并且当配置在关注图像区域内或图像的外侧等不适当的位置时，能够将配置位置变换到适当的位置。

另外，所述图像处理装置还具备推定所述立体图像数据的任意区域的深度再生位置的再生位置推定机构，所述位置决定机构根据再生位置推定机构的推定结果选择区域，以决定所述立体图像识别标记的配置位置，由此，能够减轻起因于所述立体图像识别标记和其配置位置周围的图像的深度再生位置相互有较大差异的观察时的不协调感。

另外，所述位置决定机构通过在由所述再生位置推定机构推定为将立体图像再生到画面后部的区域，决定所述立体图像识别标记的配置位置，尤其是通过将识别标记配置在不协调感强、立体图像在比显示机构的画面上更靠眼前侧被再生的区域，能够防止生成识别标记没入而被看到的立体图像数据。

另外，将所述立体图像识别标记配置在：对于所述立体图像数据的横向长度H、纵向长度V而言，在横向上距离立体图像的中心为(4/3)×V/2以下、在纵向上距离立体图像的中心为(2/3)×H/2以下的范围内，由此，能够降低在印刷时立体图像识别标记被剪下的可能性。

附图说明

图1是表示本发明实施方式1的图像处理装置的构成的框图；

图2是表示立体图像数据的一例的图；

图3是表示有关立体图像数据中的识别标记的配置的一例的图；

图4是表示有关立体图像数据中的识别标记的配置的一例的图；

图5是表示立体图像数据中的识别标记的配置限制的图；

图6是表示立体图像数据终的将识别标记配置于配置限制范围时的一例的图；

图7是用于对文件格式和3D信息进行说明的图；

图8是表示本发明实施方式2的图像处理装置的框图；

图9是表示有关立体图像数据中的识别标记的表现的一例的图；

图10是表示有关立体图像数据中的识别标记的配置的一例的图；

图11是说明设定了3D关注图像区域时的有关识别标记的配置的图；

图12是表示有关立体图像数据中的识别标记的配置的一例的图；

图13是表示图像再生装置的框图；

图14是表示在2D显示器和3D显示器中的显示图像的图；

图15是表示本发明实施方式2中的图像处理装置的变形例的框图；

图16是表示本发明实施方式3的图像处理装置的框图；

图17是用于说明分时方式的概念图；

图18是用于说明视差屏障方式的概念图；

图19是说明视差屏障方式的记录数据显示的图。

图中：100、200、300-图像处理装置，101-控制机构，102-3D信息生成机构，103-图像合并机构，104-编码机构，105-多路复用机构，201-位置决定机构，202-关注图像区域决定机构，203-再生位置推定机构，303-图像显示机构，500-图像再生装置，501-逆多路复用机构，502-3D信息分析机构，503-译码机构，504-图像转换机构，600-图像显示面板，601-视差屏障，602-右眼，603-左眼。

具体实施方式

(实施方式1)

下面，参照附图对本发明的实施例进行说明。使用“3D”意味着三维或立体、“2D”意味着二维的词语，将立体图像作为”3D”图像、将通常的二维图像作为“2D图像”进行说明。

图1是表示本发明实施方式1的图像处理装置的构成的框图。

图像处理装置100构成为具备：控制机构101，其输出表示是立体图像及立体图像的生成方法的图像识别信息、和与从视觉上表示图像识别信息的识别标记的配置位置相关的信息等3D信息；生成识别标记的3D信息生成机构102；合并左眼图像和右眼图像及由3D信息生成机构102生成的识别标记的图像合并机构103；对合并后的图像进行编码的编码机构104；将图像数据和3D信息进行多路复用后输出的多路复用机构105；对记录介质或通信线路进行存取的机构。

由左眼图像和右眼图像构成的图像信号被输入到图像处理装置100。控制机构101指定是立体图像及哪种生成方法，并且指定配置随后生成的识别标记的位置。控制机构101将包含表示是立体图像的信息和表示立体图像的生成方法的信息的图像识别信息、还有包含与图像识别信息的配置位置相关的信息等3D信息输送到3D信息生成机构102和多路复用机构105。

3D信息生成机构102基于图像识别信息生成从视觉上表示是立体图像和生成方法的识别标记，并将其和识别标记的配置位置信息一起输送到图像合并机构103。图像合并机构103基于从左眼的视点位置看到的图像即左眼图像、和来自右眼的图像即右眼图像及配置位置信息，将识别标记进行合并，生成指定形式的图像数据。在此，图2表示由图像合并机构生成的图像数据的具体例子。在图2中，朝向左侧配置的图像L为左眼图像，朝向右侧配置的图像R为右眼图像。

立体图像内的被显示为“3D Parallel”的部分表示识别标记。利用“3D”表示是立体图像；由“Parallel”表示通过平行法生成该图像的情况。作为表示是立体图像的字符串，除“3D”以外，也可以用称作“Stereo”、“StereoPhotgraph”的字符或“Stereo Image”等。另外，作为表示生成方法的区别的字符串，若为交叉法则可以显示为“Crossing”等，更简单地将平行法表示为“P”、将交叉法表示为“C”也可以。另外，除字符以外，也可以用记号“||”表示平行法、用记号“×”表示交叉法。

通过将这种识别标记进行合并，从而在用2D显示器显示时，能够立即判断是3D用的图像的情况。另外，通过明确生成方式，从而在用裸眼立体观看由2D显示器显示的上述立体图像时，具有容易立体观看的优点。进行立体观看时，若为平行法，则需要用左眼看被配置在左侧的图像，而用右眼看被配置在右侧的图像，若为交叉法，则需要用左眼看被配置在右侧的图像，而用右眼看被配置在左侧的图像，但通过使生成方法明确，从而能够立即判断哪种观看方法较佳。

立体图像中的识别标记的配置方法有各种各样的模式。控制机构101按照事先决定的方法来决定配置识别标记的位置。图3、图4表示其例子。图3(a)是将识别标记配置于图像的中央附近的例子，图3(b)是以识别标记位于立体图像上的上下端任一边近旁的中央附近为例，将识别标记配置于图像中央上部的例子。虽然未图示，但配置于图像中央下部也可以。另外，图3(c)是以识别标记位于立体图像上的任一角的情况为例，将识别标记配置于图像左上部的图；图3(d)是以识别标记位于左右端任一边近旁的中央附近的情况为例，将识别标记配置于图像右端部的图。虽然未图示，但配置于图像左下、右上、右下也可以，配置于图像左端部也可以。

另外，图3(e)是将识别标记配置于立体图像上的上端和右端的各中央附近的例子，图3(f)是将识别标记配置于立体图像上的下端和左端的各中央附近的例子。虽然未图示，但配置于上端和左端、下端和右端也可以。在此，举出了在两处配置标记的例子，这样，通过在立体图像的两处以上配置标记，从而即使在图像编辑等中实施剪裁，上下端或左右端被剪下的情况下，某一个标记也会留下，从而能够判别3D图像的情况。

图4是左右分别配置了识别标记的例子。在图3的配置中，在3D对应显示器中显示时，由于识别标记未满足作为立体图像的再现条件，因此不能作为正常的图像来观察，从而产生不协调感。因此，如图4所示，在左右图像的大致相同位置按照生成条件将识别标记分别配置于具有视差的位置，由此，在进行立体观看时使标记相互汇合，从而能够正确地进行立体观看。图4(a)是以在立体图像的上下端任一边近旁进行汇合的方式配置识别标记的例子，是将识别标记配置于左右图像的下端的图。虽然未图示，但配置于上端也可以。

另外，图4(b)是以在立体图像的各视点图像左端彼此之间、或右端彼此之间进行汇合的方式配置识别标记时的例子，是将识别标记配置于各视点图像的左端的图。虽然未图示，但配置于各视点图像的右端也可以。图4(c)是以在立体图像进行左右汇合的方式，在各视点图像上且只在两处配置识别标记时的例子，是将识别标记配置于左端和下端的图。虽然未图示，但配置于左端和上端、右端和下端、右端和上端也可以。

如上所述，虽然有几种配置方法，但用3D非对应设备印刷这些图像时，存在因用纸尺寸的原因被剪裁使得标记消失的情况。因此，为了防止标记被剪下的情况而将标记配置在下述的范围内。

图像及印相纸的长宽比大体上4∶3或3∶2为通常的尺寸。因此将3∶2图像输出到4∶3的印相纸上时，可能左右端被剪下，或将4∶3的图像输出到3∶2的印相纸上时，可能上下端被剪下。将用于此时标记不会被剪下的条件以图5为基础进行表示。在图5中，用实线描绘的外侧的部分表示立体图像的范围，虚线围起来的部分设定为被输出的印相纸的尺寸。图5(a)为将3∶2图像输出到4∶3的印相纸上的情况，将立体图像中的纵向长度设为V、将横向长度设为H、将印相纸的横向长度设为H’。由于印相纸的尺寸H’∶V＝4∶3，因此，H’＝(4/3)×V。所以，将配置识别标记的范围设定为H_MARK时，通过将识别标记配置在距离图像的中心

H_MARK≤(4/3)×V/2

的范围内，能够防止印刷时进行剪裁而被剪下的情况。

另外，图5(b)为将4∶3图像输出到3∶2的印相纸上的情况，和前面大致一样，将立体图像中的纵向长度设为V、将横向长度设为H、将印相纸的纵向长度设为V’，由于H∶V’＝3∶2，因此，V’＝(2/3)×H。所以，将配置识别标记的垂直方向的范围设定为V_MARK时，通过将识别标记配置在距离图像的中心

V_MARK≤(2/3)×H/2

的范围内，能够防止印刷时进行剪裁而被剪下的情况。在以上的范围内，将标记配置于图3、图4所示的位置。

图6表示按照这种限制配置识别标记的立体图像的例子。图像尺寸为4∶3。如图3(e)所示，在将识别标记配置于上端和右端的情况下，为了在3∶2的印相纸上进行印刷时也可防止因剪裁而被剪下，如图6所示，配置于右端的标记自图像的中心起配置在表示比V_MARK更短的范围的、用灰色显示的范围。

编码机构104将用图像合并机构103生成的图像数据进行编码并生成编码数据。作为编码方法，对于静止图像而言可以列举JPEG、JPEG200等国际标准方式。在此以静止图像为例，但运动图像也可以，为运动图像时，图像信号由连续的帧构成，一帧一帧地被输入到图像处理装置。对于运动图像而言可以列举MPEG(Moving Picture Experts Group)-1、MPEG-2、MPEG-4等国际标准方式。作为运动图像的编码仅采用帧内编码时，也可以采用Motion JPEG(Joint Photographic Experts Group)等方式。作为图像编码方式不限于上述，采用非标准的方式也可以，不进行压缩也可以。

多路复用机构105将来自控制机构101的3D信息和来自编码机构104的编码数据转换为规定的格式向外部输出。虽然图1中未图示，但对声音和文本进行多路复用时，这些数据也被多路复用机构105多路复用。

在多路复用机构105输出端连接有IC存储器及光磁盘、磁盘、硬盘等记录设备、及LAN调制解调器等通信设备。在此，对在多路复用机构105上连接了IC存储器时的记录格式进行说明。通常，在将IC存储器用于记录介质的情况下，在IC存储器上构筑有FAT(File Allocation Table)等文件系统，数据作为文件被记录。在此所使用的文件形式可以使用已有的形式，也可以为独自的形式。使用已有的形式时，3D信息通常采用对已有形式中准备的标题进行扩充的结构，并作为已有文件标题的一部分被记录。图7表示此时的例子。如图7(a)所示，3D信息被记录在标题部分。如图7(b)所示，3D信息除识别信息、配置方法以外，还包含视点数等信息。

在使用已有形式的情况下，使用与其形式相对应的扩展名。若为JPEG文件，则采用扩展名“.jpg”。由此，即使是不具有3D图像显示功能的现有的再生装置也可以作为已有形式的文件进行识别，可以作为二维图像进行显示，此时通过显示识别标记能够判别是立体图像。

(实施方式2)

参照附图对本发明的实施方式进行说明。图8是表示本发明实施方式2的图像处理装置的构成的框图。

图像处理装置200构成为具备：控制机构101，其输出包含表示是立体图像及立体图像的生成方法的图像识别信息、和与从视觉上表示图像识别信息的识别标记的配置位置的信息的3D信息；决定识别标记的配置位置的位置决定机构201；决定想要立体观看的区域的关注图像区域决定机构202；生成识别标记的3D信息生成机构102；合并左眼图像和右眼图像及由3D信息生成机构102生成的识别标记的图像合并机构103；对合并后的图像进行编码的编码机构104；将图像数据和3D信息进行多路复用后输出的多路复用机构105；对记录介质或通信线路进行存取的机构。

由左眼图像和右眼图像构成的图像信号被输入到图像处理装置。立体图像的拍摄者或图像的制作者事先由位置决定机构201决定显示表示是立体图像及哪种生成方法的识别标记的位置并输送到控制机构101。在设定3D关注图像区域时，由关注图像区域决定机构202指定区域并输送到控制机构101。关于识别标记的详细内容、配置位置及3D关注图像区域将在后文叙述。控制机构101将包括含有立体图像的信息和有关生成方法的信息的图像识别信息、和有关配置位置的信息的3D信息输送到3D信息生成机构102和多路复用机构105。

3D信息生成机构102基于图像识别信息生成从视觉上表示是立体图像和生成方法的识别标记，并将其和与识别标记的配置位置相关的信息一起输送到图像合并机构103。图像合并机构103基于配置位置信息将识别标记与从左眼的视点位置看到的图像即左眼图像、和来自右眼的图像即右眼图像进行合并，生成指定形式的图像数据。

在此，图9表示由图像合并机构103生成的立体图像的具体例子。在图9中，朝向左侧配置的图像L为左眼图像，朝向右侧配置的图像R为右眼图像。在立体图像下部用灰色描绘的带状的部分为识别标记。用识别标记显示的信息和图2的情况一样为与3D图像的情况和生成方法相关的信息。在此的识别标记用带色记号表示，由带状部分的颜色规定是立体图像，由向上的三角的标记的颜色规定生成方法。例如，将带状部分的颜色设定为18％灰色，表示生成方法的三角的颜色为：用蓝色表示平行法，用黄色表示交叉法，由此可以进行判别。用带颜色记号表现标记时，事先不知道颜色的意思时不能进行判别，用字符串表现的方式具有容易明确地进行判别的优点，由于只要在一方带色记号标记中能够进行判断即可，因此具有能够减少标记的专有面积的优点。

拍摄者或制作者可以通过位置决定机构201，将立体图像中的识别标记的配置位置设定在任意的位置。图10是表示其例子的图。图10(a)是将识别标记配置于立体图像的中央部分的例子。另外，图10(b)是将识别标记配置于在立体图像上的各视点图像的左端彼此之间、或右端彼此之间进行左右汇合的位置的情况的例子，表示配置于左端的情况。虽然未图示，但配置于右端彼此之间也可以。图10(c)是以包围立体图像上的左右视点图像各自的外周部分、且可进行左右汇合的方式定位的情况的图。可以根据图像的构图从它们中自由地选择。

另外，除图10所示的例子以外，还有将识别标记放在3D关注图像区域外的方法。图11、图12表示该例。所谓3D关注图像区域是制作者想要立体观看的图像区域。图像的制作者利用关注图像区域决定机构202设定3D关注图像区域。利用图像编辑软件等生成左右视点的图像时，以此为基点，事先决定3D关注图像区域并通过关注图像区域决定机构202进行设定。例如，在图11(a)中，在将左右的图像进行合并后的图像上，制作者想要对用虚线围住的部分进行立体观看时，将该虚线部分作为3D关注图像区域进行设定，如图11(b)所示，在其外侧配置识别标记。另外，在图11中将3D关注图像区域设定于左右的立体图像内，识别标记配置后的图像尺寸不变。例如，构成左右立体图像的左右图像分别为512×768，合并后的尺寸为1024×768的所谓XGA的尺寸时，识别标记配置于该图像尺寸内，最终的图像尺寸也为1024×768。

另一方面，在想要显示将左右图像合并成的整个图像的情况下，将3D关注图像区域作为将左右图像合并后的整个区域，使图像尺寸增大后将识别标记配置在其外侧。例如，构成左右立体图像的左右图像分别为320×480，在想要立体观看其整体时，左右图像合并后的640×480的区域成为3D关注图像区域。这时，识别标记被配置于其外侧。如图12(a)所示，将横长的带状标记配置于上端时，且带状标记的尺寸为640×60时，将带状标记配置于将左眼图像合并后的3D关注图像区域的上侧，由此，立体图像最终成为640×540这一尺寸。

这样，通过将识别标记配置在3D关注图像区域外，从而在用通常的2D显示器显示该图像时，由于利用识别标记表示是立体图像，所以可以防止混乱，用3D显示器显示时，由于识别标记位于3D关注图像区域外，因此不会显示该部分，从而不会显示识别标记，而只显示想要立体观看的部分。除了图12(a)以外，如图12(b)所示，在立体图像的上下端将横长的带状标记放置在3D关注图像区域外也可以。另外，图12(c)是在立体图像的上下端将纵长的带状标记放置在3D关注图像区域外的图，图12(d)是将围住立体图像上的外周部分的带状标记配置于3D关注图像区域外的图。

编码机构104将用图像合并机构103生成的图像数据进行编码并生成编码数据。作为编码的方法，可以列举和实施例1同样的JPEG等国际标准方式。作为图像编码方式不限于上述，采用非标准的方式也可以，不进行压缩也可以。

多路复用机构105将来自控制机构101的3D信息和来自编码机构104的编码数据转换为规定的格式后向外部输出。

在多路复用机构105输出端连接有IC存储器及光磁盘、磁盘、硬盘等记录设备、及LAN调制解调器等通信设备。例如，在连接了硬盘时，若为JPEG形式，则用“.jpg”这一扩展名记录数据。3D信息通常采用对准备为已有形式的标题进行扩充的结构，并作为已有文件标题的一部分被记录。3D信息除识别信息、配置方法以外，还包含视点数、3D关注图像区域的范围等信息。

利用图13对将这样记录的多路复用数据进行再生的图像再生装置进行说明。用图像再生装置500进行再生时，由逆多路复用机构501将多路复用数据分为3D信息和编码数据，3D信息被3D信息分析机构502分析后，与识别标记的配置位置及3D关注图像区域相关的信息被传送到图像转换机构504。编码数据被译码机构503译码后，图像数据被传送到图像转换机构504。而且，若再生装置为3D显示器，则也可以只立体地显示3D关注图像区域。图14表示用2D显示器和3D显示器显示三维影像时的例子，图14(a)表示用2D显示器显示时的立体图像的像(image)，图14(b)表示用3D显示器显示时所显示的立体图像的像。如该图14(b)所示，以再生装置检测上述3D关注图像区域且不显示关注图像区域，由此，立体观看时不会显示识别信息，可以只观察想要立体观看的部分。

在图9中，关于识别标记的颜色和形状不仅可以是所举出的例子，例如不是带状而是如图2所示的标记也可以，颜色除灰色以外用青色规定是立体图像也可以。另外，关于带状部分和带色记号，举出了填充颜色而显示的例子，但透过背后的图像也可以。关于表示生成方法的图形不限于三角形，圆或四角形也可以，如用红色规定平行法、绿色规定交叉法那样用别的颜色规定也可以。只要是表示是立体图像的颜色和表示生成方法的颜色相互容易判别的组合即可。另外，图12的例子是：为了全部显示将左右图像合并而形成的图像，以左右图像整体成为3D关注图像区域的方式设定3D关注图像区域，并且将识别标记配置于其外侧，但是另一方面，为了不使所生成的图像数据的尺寸增大，在左右图像整体上设定关注图像区域，而将识别标记配置于其内侧也可以。

另外，关于识别标记的配置，除了事先从图10或在实施方式1中所示的例子中选择位置的方法以外，还有利用位置决定机构201自动地决定配置位置的方法。图15表示这种构成的图像处理装置的框图。位置决定机构201给予并保持优先顺序而且与立体图像的内容相对应，从图10或实施方式1中所示的配置例中选择最适当的配置位置，作为识别标记的配置位置的候补。

此时，为了在立体观看时识别标记自身也能够正确地进行立体观看，选择图14或图10(b)及(c)所示的、识别标记左右相互汇合的配置。此时，如果识别标记相对于左右图像的画面框相对地配置在相同的位置，那么，立体观看时，识别标记不具有视差，因此，被再生(显示)的深度方向的位置来到和显示画面上相同的位置。

此时，假如在识别标记周围的图像中存在视差、且立体图像在比显示画面上的位置更靠眼前侧的位置浮现出来而被看到时，由于仅仅是识别标记来到显示画面上的位置，因此看上去嵌入到周围的图像中而感觉不自然。因此，利用图15所示的再生位置推定机构203，对左右的图像每一像素的值进行比较、检测出左右图像的对应点，由此推定进行立体观看时图像作为图像再生的位置的深度再生位置。

根据该推定，按照事先保持的优先顺序，取得配置识别标记的候补位置中的立体图像的深度再生位置，如果立体图像的再生位置从显示画面上来到眼前，则将其设定为识别标记的配置位置。即使未保持优先顺序，也可以取得各配置位置的候补中的深度再生位置，其中，在立体图像的深度再生位置最接近画面上的位置的区域配置识别标记也可以。

(实施方式3)

参照附图对本发明的实施例进行说明。图16是表示本发明实施方式3的图像处理装置的构成的框图。

图像处理装置300构成为具备：输出包含表示是立体图像及立体图像的生成方法的图像识别信息、和与从视觉上显示图像识别信息的识别标记的配置位置相关的信息等3D信息的控制机构101；决定识别标记的配置位置的位置决定机构201；决定想要立体观看的区域的关注图像区域决定机构202；生成识别标记的3D信息生成机构102；合并多个视点的图像及由3D信息生成机构102生成的识别标记的图像合并机构103；对合并后的图像进行预演、用于图像的制作者确认立体图像的图像显示机构301；将合并后的图像进行编码的编码机构104；具备向记录介质或通信线路进行存取的机构且将图像数据和图像识别信息进行多路复用后而输出的多路复用机构105。

由左眼图像和右眼图像构成的图像信号被输入图像处理装置。立体图像的拍摄者或图像的制作者通过由位置输入机构输入信息，事先利用位置决定机构201，决定显示表示是立体图像及哪种生成方法的识别标记的位置候补并传送到控制机构101。位置输入机构未图示，其被连接在图像处理装置300上，由鼠标或键盘等公知的输入机构构成，其输入信息被传送到位置决定机构201。关注图像区域决定机构202指定关注图像区域并送到控制机构101。控制机构101将包括含有立体图像的信息和与生成方法相关的信息的图像识别信息、和与配置位置相关的信息的3D信息送到3D信息生成机构102和多路复用机构105。

3D信息生成机构102基于图像识别信息生成从视觉上表示是立体图像和生成方法的识别标记，并将其和与识别标记的配置位置相关的信息一起传送到图像合并机构103。图像合并机构103基于配置位置信息将识别标记和从多个视点看到的图像一同进行合并，并生成图像数据。此时，图像合并机构103将立体图像送到图像显示机构301。图像显示机构301显示被送来的立体图像，图像的制作者一边对立体图像进行确认，一边使用鼠标等位置输入机构通过位置决定机构201对识别标记的配置位置候补进行修正。在有修正时，通过3D信息生成机构102、图像合并机构103再次由图像显示机构301进行确认。决定配置位置后，由位置输入机构将配置位置确定信息送到位置决定机构201时，按照上述位置配置确定信息确定识别标记的配置位置，合并后的图像数据被送到编码机构104。

由此，可以一边确认识别标记在立体图像上怎样配置，一边根据图像设定适当的位置。另外，图像显示机构301如果用与2D显示和3D显示的双方相对应的显示器，则可通过切换为3D显示来确认在立体观看的情况下会成为怎样的图像。作为与2D和3D的显示相对应的显示器，在视差屏障方式中，其屏障通过液晶来实现，在3D显示时利用屏障进行控制，使得仅分别对应于左眼图像、右眼图像的光可达到左右眼中，用2D显示且透过所有的光的方式等。

另外，此时可以确认立体图像，还可以进行3D关注图像区域的设定。通过一边看着图像显示机构301一边进行3D关注图像区域的设定，即使在利用照相机等生成立体图像的情况下，也能够设定3D关注图像区域，通过在该区域的外侧配置识别标记，在用3D显示器进行显示时，就能够不显示识别标记。此时的识别标记的配置顺序，由制作者使用连接在图像处理装置300的未图示的鼠标等公知的位置输入机构来指定配置识别标记的预定位置，之后，其信息被输入到位置决定机构201，从位置决定机构201接收了其信息的控制机构101将位置信息传送到3D信息生成机构102，再通过图像合并机构103，在图像显示机构301上显示识别标记被配置于制作者指定的位置的状态的图像。

此时，当然由使用者进行的预定位置的指定不仅限于上述的3D关注图像区域外，被指定在关注图像区域内时，或选择可配置范围内的最近旁位置来代替、或进行不能配置的警告，来取得适当的位置。而且，使用者可以改变选择预定位置，在判断为妥当的时点使用上述的鼠标等适当的输入机构进行决定的人力操作，由此配置位置确定信息被送到位置决定机构201，使位置决定机构201确定配置。

立体图像中的识别标记的种类及配置位置由实施方式1、2说明的各种各样的方法，图像的拍摄者、制作者可以一边对立体图像进行确认，一边任意决定。

编码机构104将用图像合并机构103生成的图像数据进行编码并生成编码数据。编码的方法可以列举和实施例1同样的JPEG等国际标准方式。图像编码方式不限于上述，采用非标准的方式也可以，不进行压缩也可以。

在多路复用机构105输出端连接有IC存储器及光磁盘、磁盘、硬盘等记录设备、及LAN调制解调器等通信设备。例如，若为JPEG形式，则数据用后缀“.jpg”被记录在硬盘上。3D信息通常采用准备为已有形式的标题进行扩充的结构，并作为已有文件标题的一部分被记录。3D信息除识别信息、配置方法以外，还包含视点数、3D关注图像区域的范围等信息。

另外，在图16中图像显示机构301作为被包含在图像处理装置300中的结构进行了说明，但不用说，不被包含在图像处理装置300中而连接在外部也可以。

另外，在此，在图像显示机构301中确认图像时，对每次都经由3D信息生成机构102、图像合并机构103的情况进行了说明，但是，也可以不经由图像合并机构103而将来自3D信息生成机构102的信息送到图像显示机构301，仅仅在图像显示机构301中对识别标记进行重复显示，直到根据配置位置确定信息确定配置位置为止。另外，只在最初的配置时经由3D信息生成机构102，以后直到根据配置位置确定信息确定配置位置为止，只从控制机构101输送识别标记的位置信息，在显示机构301中只变更识别标记的位置也可以。其后，位置决定机构201按照配置位置确定信息决定配置位置，由控制机构101、3D信息生成机构102、图像合并机构103生成合并图像。

另外，在此，在决定识别标记的配置时，配置的位置不仅限于3D关注图像区域外，在设定为配置于3D关注图像区域内的情况下，可进行使用给予警告或自动决定的方法的位置的变更，但是，在不设定3D关注图像区域的情况下，在配置于从立体图像可看出识别标记的位置时、设定为未满足实施例1中所示的作为识别标记配置范围内的条件的H_MARK及V_MARK时，进行同样的警告和位置变更也可以。

另外，本实施例中所示的图像显示机构301也可以适用于实施方式2的图15所示构成的图像处理装置中，在构成为使用再生位置推定机构自动地决定识别标记的配置位置的情况下，也可以具备图像显示机构301并使用图像显示机构确认之后决定识别标记的位置。

另外，本发明不限定于上述的各实施方式，可以在技术方案所示的范围内进行种种变更，对于将在不同的实施方式中分别公开的技术手段进行适当地组合而得到的实施方式，也被包含在本发明的技术范围内。

Claims

1.一种图像处理装置，其生成由与多个视点的每一个对应的多个图像构成的立体图像数据，

该图像处理装置具备生成立体图像识别标记的信息生成机构，其中该立体图像识别标记包含表示是立体图像的信息和表示立体图像的生成方法的信息，在显示所述立体图像时可作为图像来视认，

所述立体图像数据包含所述立体图像识别标记。

2.如权利要求1所述的图像处理装置，其特征在于，

所述立体图像识别标记配置于所述立体图像数据内的两处以上。

3.如权利要求1或2所述的图像处理装置，其特征在于，

所述立体图像识别标记配置于构成所述立体图像数据的所述多个图像的每一个中，

配置于所述多个图像的每一个中的所述立体图像识别标记在用可立体观看的显示机构显示所述立体图像数据时，配置成在立体图像上相互汇合。

4.如权利要求1或2所述的图像处理装置，其特征在于，

该图像处理装置还具备位置决定机构，其将所述立体图像识别标记的配置位置定位在所述立体图像数据内的任意位置。

5.如权利要求4所述的图像处理装置，其特征在于，

该图像处理装置还具备在所述立体图像数据内设定关注图像区域的关注图像区域设定机构，

所述位置决定机构将所述立体图像识别标记配置在立体图像数据内的所述关注图像区域的外侧。

6.如权利要求4所述的图像处理装置，其特征在于，

该图像处理装置还具备显示图像的图像显示机构，

在所述图像显示机构中显示将所述立体图像识别标记配置于由所述位置决定机构配置的预定位置的状态的图像，同时所述位置决定机构按照指示所述立体图像识别标记的配置位置的配置位置确定信息，决定所述立体图像识别标记的配置位置。

7.如权利要求6所述的图像处理装置，其特征在于，

所述位置决定机构按照所述配置位置确定信息确定配置位置时，可以改变配置所述立体图像识别标记的预定位置。

8.如权利要求4所述的图像处理装置，其特征在于，

该图像处理装置还具备推定所述立体图像数据的任意区域的深度再生位置的再生位置推定机构，

所述位置决定机构根据再生位置推定机构的推定结果选择区域，以决定所述立体图像识别标记的配置位置。

9.如权利要求8所述的图像处理装置，其特征在于，

所述位置决定机构在由所述再生位置推定机构推定为将立体图像再生到画面后部的区域中决定所述立体图像识别标记的配置位置。

10.如权利要求1或2所述的图像处理装置，其特征在于，

所述立体图像识别标记配置在以下范围内，即对于所述立体图像数据的横向长度H、纵向长度V而言，在横向上距离立体图像的中心为(4/3)×V/2以下、在纵向上距离立体图像的中心为(2/3)×H/2以下。