CN105191300A - 图像处理方法以及图像处理装置 - Google Patents

Abstract

图像处理装置(100)，对经过由选择部(102)从以三个以上的不同视点拍摄同一被摄体而得到的图像群中进行的选择而确定的、用于形成3D显示用的图像的第一视点图像以及第二视点图像进行图像处理，调整部(105)，根据规定的基准位置以及第一视点图像所涉及的拍摄位置，对第一视点图像执行用于将图像移位的调整处理，以使第一视点图像中的被摄体的位置成为，与假设第一视点图像所涉及的拍摄位置为基准位置时得到的图像中出现的被摄体的位置相同的位置，根据基准位置以及第二视点图像所涉及的拍摄位置，对第二视点图像执行用于将图像移位的调整处理，以使第二视点图像中的被摄体的位置成为，与假设第二视点图像所涉及的拍摄位置为基准位置时得到的图像中出现的被摄体的位置相同的位置。

Description

图像处理方法以及图像处理装置

技术领域

本公开涉及，根据多个图像进行3D显示用的图像处理的图像处理方法以及图像处理装置。

背景技术

专利文献1公开以下的技术，即，将从不同视点拍摄同一场景的多个图像的图像数据存储到存储部，按照图像的显示以及其观看所涉及的条件的变更，从存储部选择并利用适当的两个图像数据，从而进行3D显示用的图像处理。该图像处理是，视差调整等的对准调整、修剪等。两个图像数据的选择是，以基于选择出的两个图像数据的3D图像满足规定的条件(例如，容易看的视差角所涉及的条件，空间再现性所涉及的条件等)的方式进行的。据此，观看者受到适当的立体感。

(现有技术文献)

(专利文献)

专利文献1；国际公开WO2012/137454号手册

发明内容

本公开提供，在从以不同视点拍摄特定的被摄体的多个图像中适当地选择图像来进行3D显示的情况下，以使观看者的易看性比以往提高的方式，进行用于抑制特定的被摄体的显示位置的变动的图像处理的图像处理方法以及图像处理装置。

本公开的图像处理方法，对经过从图像群中进行的选择而确定的、用于形成3D显示用的图像的第一视点图像以及第二视点图像进行图像处理，所述图像群是从三个以上的不同视点拍摄同一被摄体而得到的图像群，根据规定的基准位置以及所述第一视点图像所涉及的拍摄位置，对该第一视点图像执行用于将图像移位的调整处理，以使所述第一视点图像中的所述被摄体的位置成为，与如下的图像中出现的该被摄体的位置相同的位置，该图像是假设该第一视点图像所涉及的拍摄位置为所述基准位置时得到的图像，根据所述基准位置以及所述第二视点图像所涉及的拍摄位置，对该第二视点图像执行用于将图像移位的调整处理，以使所述第二视点图像中的所述被摄体的位置成为，与如下的图像中出现的该被摄体的位置相同的位置，该图像是假设该第二视点图像所涉及的拍摄位置为所述基准位置时得到的图像。

并且，本公开的图像处理装置，具备处理器以及存储器，对经过从图像群中进行的选择而确定的、用于形成3D显示用的图像的第一视点图像以及第二视点图像进行图像处理，所述图像群是从三个以上的不同视点拍摄同一被摄体而得到的图像群，所述处理器，通过执行所述存储器所存放的控制程序，根据规定的基准位置以及所述第一视点图像所涉及的拍摄位置，对该第一视点图像执行用于将图像移位的调整处理，以使所述第一视点图像中的所述被摄体的位置成为，与如下的图像中出现的该被摄体的位置相同的位置，该图像是假设该第一视点图像所涉及的拍摄位置为所述基准位置时得到的图像，根据所述基准位置以及所述第二视点图像所涉及的拍摄位置，对该第二视点图像执行用于将图像移位的调整处理，以使所述第二视点图像中的所述被摄体的位置成为，与如下的图像中出现的该被摄体的位置相同的位置，该图像是假设该第二视点图像所涉及的拍摄位置为所述基准位置时得到的图像。

本公开的图像处理方法以及图像处理装置，在从以不同视点拍摄特定的被摄体的多个图像中适当地选择图像来进行3D显示的情况下，以使其特定的被摄体的显示位置与基准一致，因此，对观看者(用户)的易看性提高。

附图说明

图1是示出实施例1的图像处理装置的结构的框图。

图2是实施例1涉及的SB信息的说明图。

图3是示出实施例1涉及的存储部的存储内容的结构以及内容的例子的图。

图4是示出实施例1的图像处理装置的工作的流程图。

图5是示出实施例1涉及的利用接口进行示出显示倍率的变更的输入的情况的图。

图6是示出实施例1涉及的调整部的工作的流程图。

图7是示出实施例1涉及的由调整部的图像处理(调整)的说明图。

图8是由平行双镜头相机拍摄时产生的视差的说明图。

图9是由平行双镜头相机拍摄的图像的对准调整的说明图。

图10是示出实施例1的包含相同的被摄体的多个图像的拍摄的情况的图。

图11是实施例1涉及的由调整部的对准调整的说明图。

图12是其他的实施例涉及的图像的拍摄位置(SB信息)的说明图。

具体实施方式

在从以不同视点拍摄特定的被摄体的多个图像中适当地选择图像来进行3D显示的情况下，为了抑制该特定的被摄体的显示位置的变动，本公开的图像处理方法，对经过从图像群中进行的选择而确定的、用于形成3D显示用的图像的第一视点图像以及第二视点图像进行图像处理，所述图像群是从三个以上的不同视点拍摄同一被摄体而得到的图像群，根据规定的基准位置以及所述第一视点图像所涉及的拍摄位置，对该第一视点图像执行用于将图像移位的调整处理，以使所述第一视点图像中的所述被摄体的位置成为，与如下的图像中出现的该被摄体的位置相同的位置，该图像是假设该第一视点图像所涉及的拍摄位置为所述基准位置时得到的图像，根据所述基准位置以及所述第二视点图像所涉及的拍摄位置，对该第二视点图像执行用于将图像移位的调整处理，以使所述第二视点图像中的所述被摄体的位置成为，与如下的图像中出现的该被摄体的位置相同的位置，该图像是假设该第二视点图像所涉及的拍摄位置为所述基准位置时得到的图像。

据此，在哪个拍摄位置拍摄的图像中，都在从基准位置拍摄的图像中应该出现特定的被摄体的位置，该特定的被摄体一致，因此，即使选择哪个图像，特定的被摄体的位置也不变动。例如，在用于3D显示的左眼用图像和右眼用图像的各个拍摄位置拍摄的图像群中，选择哪个两张图像来形成的3D图像中，特定的被摄体的水平位置(左右方向上的位置)都相同。因此，例如，即使按照画面尺寸的变更等的3D图像的观看条件的变化，为了适当地进行3D显示，而进行变更形成3D图像的两张图像的组那样的选择，3D图像中的被摄体的位置也不变动，对观看者(用户)的易看性提高。而且，观看条件是，与由3D显示用的图像的观看者的观看(视听)的环境以及状况有关的条件，例如，是3D显示的显示器的画面尺寸、从该显示器到用户为止的距离、用户的眼睛间距离以及图像的放大率(显示倍率)等。并且，作为形成3D显示用的图像的第一视点图像以及第二视点图像而被确定的两张图像是，例如，从图像群中选择的两张图像本身、或对从图像群中选择的两张图像进行放大或缩小的倍率变更处理而得到的两张图像等。

在此，例如，也可以是，所述图像处理方法，包括：第一选择步骤，按照针对3D显示用的图像的观看条件进行所述选择；第一调整步骤，对经过所述第一选择步骤中的所述选择而确定的所述第一视点图像以及所述第二视点图像，分别执行对应的所述调整处理；第二选择步骤，在所述观看条件被变更时，在一定条件下，按照该变更后的观看条件进行所述选择；以及第二调整步骤，对经过所述第二选择步骤中的所述选择而确定的所述第一视点图像以及所述第二视点图像之中的至少一张图像，执行对应的所述调整处理。

据此，按照3D显示用的图像的观看条件的变化，会有选择出的两张图像之中的至少一张与观看条件的变化前不同的情况，但是，变更后的图像中的被摄体的位置，与在基准位置拍摄时相同的位置一致。因此，对用户的易看性提高。

并且，例如，也可以是，在所述第二调整步骤中，在经过所述第二选择步骤中的所述选择而确定的所述第一视点图像以及所述第二视点图像之中，存在与该选择之前已经确定的所述第一视点图像以及所述第二视点图像相比没有变更的图像的情况下，不对该没有变更的图像执行所述调整处理。

据此，若按照3D显示用的图像的观看条件的变化而选择出的两张图像之中的一张与观看条件的变化前相同，则能够省略调整处理，提高处理效率。

并且，例如，也可以是，所述第一选择步骤以及所述第二选择步骤中的所述选择是，从所述图像群中选择两张图像的选择，所述第一调整步骤中成为所述调整处理的对象的、作为所述第一视点图像以及所述第二视点图像而被确定的两张图像是，对作为所述第一选择步骤中的所述选择的结果的两张图像分别执行倍率变更处理而得到的两张图像，所述第二调整步骤中成为所述调整处理的对象的、确定的所述第一视点图像以及所述第二视点图像之中的至少一张图像是，对作为所述第二选择步骤中的所述选择的结果的两张图像之中的至少一张图像执行倍率变更处理而得到的至少一张图像。

据此，即使在对图像执行倍率变更处理(放大，缩小等)来进行3D显示的情况下，也能够将该倍率变更处理后的图像的被摄体的位置在与假设在基准位置拍摄时的被摄体的位置相同的位置一致，因此，易看性提高。

并且，例如，也可以是，所述图像处理方法包括决定步骤，在所述决定步骤中，将所述图像群中的任意两张图像的拍摄位置间的规定位置，决定为所述基准位置，所述第一调整步骤以及所述第二调整步骤中的所述调整处理是，根据所述决定步骤所决定的所述基准位置进行的。

据此，例如，能够将图像群的全拍摄位置的平均值以及全拍摄位置之中的位于两端的两张图像的拍摄位置的平均值等那样的规定位置决定为基准位置，能够某种程度地抑制将图像移位的调整处理中产生的图像的一部分的欠缺。

并且，例如，也可以是，所述图像处理方法包括存储步骤，在所述存储步骤中，在所述第一选择步骤中的所述选择之前，将所述图像群、以及示出该图像群中的各个图像的拍摄位置的信息存储到存储介质，所述存储介质中存储的所述图像群中的任意两张图像的组合所涉及的拍摄位置间的距离，与该图像群中的其他的任何两张图像的组合所涉及的拍摄位置间的距离都不同。

据此，能够将为了与3D显示用的图像的观看条件的变化对应来迅速进行适当的3D显示而存放在存储介质中的图像群，高效率地存放在存储介质中。

并且，例如，也可以是，所述图像处理方法包括显示步骤，在所述显示步骤中，显示执行了所述调整处理的所述第一视点图像以及所述第二视点图像。

据此，显示3D显示用的图像，在用于观察其显示的观看条件变更时，为了与该观看条件对应来进行适当的显示而变更形成3D图像的两张图像的组，但是，不使3D图像中的被摄体的位置变动。因此，对用户的易看性提高。

并且，例如，也可以是，所述第一选择步骤以及所述第二选择步骤中的所述选择是，从所述图像群中选择两张图像的选择，所述第一调整步骤中成为所述调整处理的对象的、作为所述第一视点图像以及所述第二视点图像而被确定的两张图像是，作为所述第一选择步骤中的所述选择的结果的两张图像，所述第二调整步骤中成为所述调整处理的对象的、确定的所述第一视点图像以及所述第二视点图像之中的至少一张图像是，作为所述第二选择步骤中的所述选择的结果的两张图像之中的至少一张图像。

据此，即使在对图像不执行倍率变更处理(放大，缩小等)而进行3D显示的情况下，也能够将形成3D图像的各个图像的被摄体的位置在与假设在基准位置拍摄时的被摄体的位置相同的位置一致，因此，易看性提高。

并且，例如，也可以是，将所述第一视点图像中的所述被摄体的位置移位的所述调整处理是如下的处理，即，将该第一视点图像移位，从而将所述第一视点图像中的所述被摄体的位置，移动到与如下的图像中出现的该被摄体的位置相同的位置，该图像是假设将相机的光轴设为与拍摄该第一视点图像时的相机的光轴平行而从所述基准位置拍摄该被摄体时得到的图像，将所述第二视点图像中的所述被摄体的位置移位的所述调整处理是如下的处理，即，将该第二视点图像移位，从而将所述第二视点图像中的所述被摄体的位置，移动到与如下的图像中出现的该被摄体的位置相同的位置，该图像是假设将相机的光轴设为与拍摄该第二视点图像时的相机的光轴平行而从所述基准位置拍摄该被摄体时得到的图像。

据此，例如，作为3D显示的左眼用图像以及右眼用图像来利用的、由在各个拍摄位置将相机的光轴平行来拍摄的图像群之中的、哪个两张图像的组形成的3D图像中，被摄体的水平位置都相同。因此，对用户的易看性提高。并且，针对形成3D图像的两张图像的每一个，例如，不进行用于校正不是平行式的拍摄时产生的梯形失真的梯形校正等的处理，也能够进行调整处理。

并且，本公开的图像处理装置，具备处理器以及存储器，对经过从图像群中进行的选择而确定的、用于形成3D显示用的图像的第一视点图像以及第二视点图像进行图像处理，所述图像群是从三个以上的不同视点拍摄同一被摄体而得到的图像群，所述处理器，通过执行所述存储器所存放的控制程序，根据规定的基准位置以及所述第一视点图像所涉及的拍摄位置，对该第一视点图像执行用于将图像移位的调整处理，以使所述第一视点图像中的所述被摄体的位置成为，与如下的图像中出现的该被摄体的位置相同的位置，该图像是假设该第一视点图像所涉及的拍摄位置为所述基准位置时得到的图像，根据所述基准位置以及所述第二视点图像所涉及的拍摄位置，对该第二视点图像执行用于将图像移位的调整处理，以使所述第二视点图像中的所述被摄体的位置成为，与如下的图像中出现的该被摄体的位置相同的位置，该图像是假设该第二视点图像所涉及的拍摄位置为所述基准位置时得到的图像。

据此，以选择出的图像是在哪个拍摄位置拍摄的图像，被摄体都位于从基准位置拍摄的图像中应该出现被摄体的位置的方式进行图像处理，因此，能够实现对用户容易看的3D显示。

而且，在这些全面性或具体的各种形态中包含，装置、系统、方法、集成电路、计算机程序、计算机可读取的记录介质等的一个或多个组合个。

以下，适当地参照附图，详细说明实施例。但是，会有省略必要以上的详细说明的情况。例如，会有省略已经周知的事项的详细说明以及对实际相同的结构的重复说明的情况。这是，为了避免以下的说明中不必要的冗长，且使本领域的技术人员容易理解而进行的。

而且，发明人，为了使本领域的技术人员充分理解本公开而提供附图以及以下的说明，不是由它们限定权利要求书所记载的主题的宗旨。即，利用了以下的具体的说明所示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、和步骤(工序)及步骤的顺序等是一个例子而不是限定权利要求书所记载的主题的宗旨。以下的实施例的构成要素中的、示出权利要求书的独立权利要求中没有记载的构成要素是，能够任意附加的构成要素。并且，各个图是模式图，并不一定是严密示出的图。

(实施例1)

在实施例1中，主要说明图像处理装置100，以作为在从以不同视点拍摄特定的被摄体(例如人体)的多个图像中适当地选择图像来进行3D显示的情况下，实现抑制该被摄体的显示位置的变动的图像处理方法的一个例子。

以下，利用图1至11说明实施例1。

[1-1.结构]

图1是示出实施例1的图像处理装置100的结构的框图。

图像处理装置100，在硬件方面，由存储器(主存储装置)、硬盘装置等(补助存储装置)、处理器、输入装置、具备通信接口等的计算机以及显示器装置构成。该图像处理装置100，在功能方面，如该图示出，具备接口101、选择部102、存储部104、调整部105以及显示部106。存储器是ROM、RAM等。在存储器中预先存放用于实现各个功能部的处理的控制程序以及该控制程序所利用的设定值等，并且，存储器也用于暂时存放由处理器执行控制程序时利用的各个值。

以下，对于各个功能构成要素，进行详细说明。

接口101，作为图像处理装置100的输入接口，由键盘、鼠标、开关、触摸面板等的输入装置构成，具有接受来自用户的输入的功能。在输入装置是触摸面板的情况下，触摸面板也可以配置在显示器装置(显示部106)的表面。对于接受的输入内容，可以举出与由3D显示用的图像的用户的观看(视听)有关的观看条件等。而且，观看条件是，例如，包含显示部106中的显示器的画面尺寸(也可以是窗口尺寸)、作为从该显示器到用户为止的距离的观看距离、以及用户的眼睛间距离的信息，包含显示条件。显示条件是，例如，包含示出显示部106显示3D显示用的图像的情况下执行用于进行放大或缩小的倍率变更处理时的其程度的显示倍率(放大率)的信息。对于该显示倍率(放大率)，也可以是以显示部106中的显示器尺寸(画面尺寸)为基准(1.0倍)的倍率(放大或缩小的程度)，也可以是以显示器上的窗口尺寸为基准(1.0倍)的倍率。而且，在显示部106中的显示器是3D眼镜式(头戴式显示器)的情况下，观看条件也可以包含3D眼镜的尺寸。并且，作为画面尺寸也可以输入虚拟画面尺寸(从用户的外观上的画面尺寸)，作为观看距离也可以输入虚拟观看距离(从用户到外观上的画面为止的距离)。而且，接口101，将输入的信息，传达到选择部102，存放到存储部104。

选择部102具有，根据从接口101、显示部106以及存储部104得到的信息，从存储部104所保持的图像群中，选择成为形成显示部106上显示的3D显示用的图像的基础的两张图像的功能。该功能是，存储器所存放的控制程序由处理器执行来实现的。对于两张图像的选择方法，在后面进行说明。而且，选择部102也可以，从接口101，获得示出观看条件的信息本身。并且，选择部102也可以，从接口101获得为了确定包含显示倍率等的显示条件的观看条件而需要的信息，根据存储部104内的信息，确定观看条件。

存储部104，例如，由存储器构成，具有保持从不同的多个视点拍摄同一被摄体而得到的多个图像(3D图像数据110)、与该3D图像数据110有关的信息(与拍摄条件有关的信息等)的功能。并且，存储部104，具有存放示出预先设定的显示倍率的信息、以及经由接口101从用户接受的信息的功能。并且，存储部104也可以，由存储器以外的存储介质、即硬盘、CD、DVD、BD、SD卡等以及网络(互联网，局域网)上设置的外部存储装置构成。而且，选择存储部104所保持的构成3D图像数据110的多个图像之中的两张，由显示部106进行再生，从而能够使用户观看3D图像。这是引用如下的现有技术的，即，拍摄具有双眼视差的左右的影像(图像)，显示在能够将拍摄的左右的影像(图像)独立地投影到左右的眼睛的显示器装置，从而使用户观看3D图像。对于构成该3D图像数据110的、从不同视点拍摄同一被摄体而得到的多个图像，与拍摄关联的拍摄时刻、视角以及记录像素数等并不一定需要相同。而且，对于拍摄这些多个图像的相机的摄像元件(图像传感器)，也可以高灵敏度接受可见光，也可以与红外线、X射线等的任意波长区域对应。

存储部104所保持的与3D图像数据110有关的信息包含，基准位置信息114、作为与拍摄条件有关的信息的、SB信息111、距离信息112以及视角信息113等。

基准位置信息114是，示出用于成为与构成3D图像数据110的、从不同视点拍摄同一被摄体而得到的各个图像的拍摄位置(视点的位置)有关的表现的基准的基准位置的信息。对于该基准位置，例如，预先规定构成3D图像数据110的任意特定的图像的拍摄位置、各个图像的拍摄位置的平均位置、或者各个图像的拍摄位置范围内的中心位置以及该范围内的任意特定的位置等。特别是，从抑制基于后述的对准调整(图像移位)的图像的欠缺的观点来看，例如，预先将构成3D图像数据110的所有的图像之中的任意两张图像的拍摄位置间的规定位置决定为基准位置等是有效的。而且，该任意两张图像的拍摄位置间的位置包含，所有的图像的拍摄位置的平均值、以及所有的图像的拍摄位置之中的位于两端的两张图像的拍摄位置的平均值等。并且，具体而言，拍摄位置是，例如相机的焦点位置。

SB信息111是，与构成3D图像数据110的各个图像的拍摄位置间的SB(立体基线：基线长度)有关的信息，也是以从原点的距离来表现各个图像的拍摄位置的信息。在使相机移动来逐渐变更拍摄位置的情况下，原点是例如最初的拍摄位置。具体而言，SB信息111是，例如，以相机的焦点位置与原点的差来表示的。对于拍摄位置(例如相机的焦点位置)，可以根据GPS(GlobalPositioningSystem)来获得，也可以分析在各个位置拍摄的图像来计算，也可以通过其他的方法来获得。并且，拍摄位置也可以，不是严密的相机的焦点位置，而是相机的概略位置等。

图2是SB信息111的说明图。该图也示出，以多个视点拍摄同一被摄体时的各个拍摄位置的例子。

如图2示出，若将原点设为该图中的a的位置，则在a的位置拍摄的图像的SB信息111，成为0cm。同样，在b的位置拍摄的图像的SB信息111成为1cm，在c拍摄的图像的SB信息111，成为3cm。作为用于形成3D图像的两个视点的图像，例如，在选择在a的位置拍摄的图像、和在b的位置拍摄的图像的情况下，两个图像间的SB成为1cm(SB信息的差分：1cm-0cm)。并且，在选择在b的位置拍摄的图像、和在c的位置拍摄的图像的情况下，SB成为2cm(SB信息的差分：3cm-1cm)。

距离信息112是，与到构成3D图像数据110的各个图像中拍摄的被摄体为止的距离有关的信息。而且，具体而言，到被摄体为止的距离是，例如，从相机的焦点位置的距离，也可以是作为相机的位置的从按每个图像拍摄的视点(位置)的距离、以及从基准位置的距离。而且，对于到被摄体为止的距离，例如，可以在相机的旁边设置测距传感器，来利用其测量值，也可以利用通过利用了多个图像的立体匹配等的匹配技术而得到的值。并且，对于距离信息112，可以利用示出作为到被摄体为止的距离的最近距离和最远距离的两个距离的信息，并且，也可以包含示出最近距离和最远距离的两个以外的距离的信息。并且，该最近距离和最远距离也可以是同一值。

视角信息113是，与拍摄构成3D图像数据110的各个图像的相机的视角有关的信息。对于视角信息113，例如，以相机的透镜的焦点距离以及摄像元件(图像传感器)的传感器尺寸来表示，例如，对于具有35mm全尺寸的传感器的相机，仅仅以透镜的焦点距离、或视角(角度)来表示。而且，在利用没有失真的透镜的情况下，视角由透镜的焦点距离以及传感器尺寸确定。

对于存储部104所保持的3D图像数据110、SB信息111、距离信息112、视角信息113、基准位置信息114，不问特别的保持的形式，例如，也可以在数据库中登记且通过检索来利用，也可以作为文件系统中管理的文件来保持。并且，对于构成3D图像数据110的各个图像，也可以以MPEG等的运动图像格式来保持。进而，也可以利用MPF(多图片格式)等的图像格式来保持。

图3是示出存储部104的存储内容的结构的一具体例的图。

在该图的例子中，构成3D图像数据110的图像群是，10张图像，分别由JPEG图像文件(文件名的扩展名为jpg)存放。该10张图像群是，在同一场景中拍摄的图像群(即，从不同视点拍摄同一被摄体而得到的10张图像)。由该图像群中的两张的不同组合形成的3D显示用的图像(立体视的图像)的相机间距离(SB)分别不同。因此，选择部102，通过选择两张(一组)，从而能够选择相机间距离不同的多个组之中的一组图像。图像表116是，在数据库中，将作为与3D图像数据110有关的信息的SB信息111、距离信息112以及视角信息113、和用于与3D图像数据110关联的图像号115一起建立了对应的表。例如，在构成3D图像数据110的10张图像的文件名中附上001至010那样的连号的情况下，以文件名来表示图像号115。而且，在图3的例子中，与JPEG图像文件“001.jpg”关联的“0cm”的SB信息111示出，该文件的图像的拍摄位置，与原点的位置相同。并且，与JPEG图像文件“001.jpg”关联的“2m至10m”的距离信息112示出，例如，图像中的最近的被摄体位于从相机2m的位置，最远的被摄体位于从相机位于10m的位置。

调整部105具有，对存储部104所保持的图像群中的、由选择部102选择出的两张图像，执行图像处理(调整)，将成为其结果的两张图像发送到显示部106的功能。该功能是，存储器所存放的控制程序由处理器执行来实现的。而且，对于调整部105中的具体的图像处理(调整)的内容，在后面进行说明。

显示部106，由显示器装置实现，具有显示3D显示用的图像的功能。若能够进行3D显示，则也可以是利用3D眼镜的眼镜式、以及不利用3D眼镜的裸眼式等的任何显示方式。例如，也可以是利用以帧序列方式，采用了主动快门方式的3D眼镜的显示器，并且，例如，也可以是采用了两个视点的视差屏障方式的显示器。并且，显示部106具有，将与显示有关的信息，经由HDMI(注册商标，High-DefinitionMultimediaInterface)等，传达到选择部102以及调整部105的功能。与显示有关的信息是，作为观看条件中包含的要素的显示器的画面尺寸或窗口尺寸以及3D眼镜的信息等。而且，在显示部106是例如具有3D显示功能的PC(PersonalComputer)的情况下，由用户可以随时进行窗口尺寸的变更，因此，每当变更时，显示部106将与显示有关的信息传达到选择部102以及调整部105。而且，在显示部106不能将与显示有关的信息传达到选择部102以及调整部105的情况下，与显示有关的信息，也可以由接口101输入。并且，与显示有关的信息，也可以是预先规定的固定值。

[1-2.工作]

对于如上构成的图像处理装置100，以下说明其工作。

[1-2-1.整体工作]

图4是示出图像处理装置100的工作的流程图。该图大致示出，在用户进行变更显示倍率的操作(显示倍率的输入操作)的情况下，对构成3D图像数据的从多个视点分别拍摄而成的图像群中选择的两张一组的图像进行图像处理(调整)来显示的处理。在存储部104中，保持3D图像数据110、与拍摄条件有关的信息等，在由显示部106一旦显示图像的状态下，若开始图4的处理，则重新显示变更(放大或缩小)了显示倍率的图像。

图像处理装置100的接口101，接受作为观看条件的要素的显示器的画面尺寸W0、观看距离L、眼睛间距离S等的由用户的输入，将示出输入的观看条件的信息存放到存储部104(处理步骤S100)。

接着，图像处理装置100的选择部102，检查从接口101是否进行作为显示条件的示出显示倍率的变更的输入，在不能检测出显示倍率的变更所涉及的输入的期间，等待到能够检测为止(处理步骤S101)。

图5是示出利用接口101进行示出显示倍率的变更的输入的情况的图。该图示出，将接口101，作为被设置在显示部106的显示器(画面)的前面的透明的触摸面板来安装的例子。在此情况下，接口101接受来自用户的触摸操作。如图5的(a)示出，在用户触摸显示部106的画面上(即，作为接口101的触摸面板)的情况下，接口101，将与该触摸操作对应的信息传达到选择部102。选择部102，通过参照存储部104(预先存储用于与触摸操作对应来确定显示倍率的信息)等，从而确定与从接口101传达的信息对应的显示倍率。而且，除了表示放大或缩小的显示倍率以外，还可以输入成为放大或缩小的中心的位置(坐标)。例如，在图5中，如(a)所示以手指触摸的、图像中的人物的脸，在(b)示出的例子中，成为放大的中心，放大为两倍。

在处理步骤S101中，在从接口101输入显示倍率的情况下，选择部102，选择用于3D显示的两张图像(处理步骤S102)。该从以各个视点拍摄的图像群中选择两张图像的选择，相当于从拍摄所涉及的立体基线(基线长度)的不同组合中选择一组。若用户观看3D显示的环境(包含显示条件的观看条件)不同，则用于用户容易看的3D显示的两张图像的组合不同。

具体而言，选择部102，根据显示部106的显示器(画面)尺寸W0、观看距离L、眼睛间距离S那样的观看条件以及存储部104所保持的拍摄条件，选择以容易观看(立体视)的方式能够进行3D显示的两张图像。选择部102，例如，针对从多个视点分别拍摄而成的图像群中的两张一组的各个组合，根据各个条件(观看，拍摄条件)计算在形成3D图像时的视角，选择最大视差角和最小视差角在-1°至1°的范围内的两张。这是因为，一般而言，对于3D显示的深度，若是突出1°、缩进-1°以内的视差角，则能够将被摄体自然地识别为立体是已知的缘故。而且，对于观看距离L，即使从接口101不输入，也可以在存储部104预先存储作为固定值的观看距离L，来利用它，也可以根据显示部106的画面尺寸计算(推测)观看距离L。例如，能够推测观看距离L为画面高度的3倍的值。并且，对于眼睛间距离S，即使从接口101不输入，也可以将人的平均眼睛间距离的6.5cm作为眼睛间距离S来利用，也可以根据3D眼镜的信息计算(推测)眼睛间距离S。

而且，对于选择部102选择3D显示用的两张图像的方法，除了选择容易进行3D观看(立体视)的图像以外，还可以采用其他的选择方法。即，若两张图像的3D显示没有错误(例如左眼用图像和右眼用图像相反的3D显示)，则可以通过如何选择方法来选择3D显示用的两张图像。例如，为了选择3D效果高且立体视容易的图像，可以选择成为突出1°、缩进-1°以内的视差角的两张3D图像之中的、成为最大的视差角的两张3D图像。并且，也可以选择3D显示的空间再现率(突出以及缩进距离的再现率)高的图像。而且，空间再现率是，表示拍摄时的到被摄体为止的实际的距离和3D显示时的外观上的到被摄体为止的距离的关系的指标。空间再现率高的3D显示是，对观看者(用户)而言看起来与实际的拍摄空间近似，难以给用户带来不协调感的显示。并且，对于选择两张图像的方法，也可以选择由调整部105进行视差调整等的对准调整(图像移位)之后能够使视角处于突出1°、缩进-1°以内的两张。

而且，即使观看条件变更，也在已经选择的两张图像，满足最大视差角和最小视差角为-1°至1°的范围内等那样的规定的判断条件(与所述的各个选择方法对应的条件)的情况下，不进行再选择而返回到处理步骤S101。

在由选择部102选择3D显示用的两张图像之后，调整部105，针对该选择出的两张图像，执行被摄体的显示位置的调整所涉及的图像处理(处理步骤S103)。对于该由调整部105的图像处理(调整)的具体内容，在后面进行说明。

在由调整部105对两张图像执行图像处理(调整)之后，显示部106，根据调整后的两张图像进行3D显示(处理步骤S104)。然后，再次返回到处理步骤S101。

[1-2-2.调整部105的具体工作]

图6是示出调整部的工作的流程图。

首先，调整部105，检查由选择部102选择出的两张图像，与正在选择的两张图像是否不同，即，检查是否变更选择出的图像(处理步骤S201)。在没有选择出的图像的变更的情况下，省略对准调整等。

在有选择出的图像的变更的情况下，调整部105，获得观看条件(包含显示条件)(处理步骤S202)。具体而言，调整部105，从存储部104、显示部106或选择部102，获得显示倍率、显示器的画面尺寸W0。

接着，调整部105，获得针对由选择部102选择出的两张图像的拍摄条件所涉及的信息以及基准位置信息(处理步骤S203)。具体而言，调整部105，从存储部104，获得SB信息111(相机间距离SB)、距离信息112(距离R)、视角信息113(相机的焦点距离f、摄像元件的传感器尺寸pw)以及基准位置信息114。而且，也可以设为拍摄条件所涉及的信息以及基准位置信息114由用户输入，调整部105也可以，不是从存储部104，而是从接口101获得这些信息。

然后，调整部105，根据处理步骤S202以及S203中获得的信息，针对由选择部102选择出的两张图像，计算用于形成容易看的深度(突出量)的3D图像的对准调整量(处理步骤S204)。对于对准调整量的具体计算方法，在后面进行说明。

在计算对准调整量之后，调整部105，针对由选择部102选择出的两张图像进行图像处理(对准调整等)，将作为其结果的图像输出到显示部106(处理步骤S205)。具体而言，调整部105，作为图像处理，以成为规定的显示倍率(参照图4，处理步骤S101)的方式进行图像的放大或缩小，执行对准调整(图像移位)。而且，在进行放大或缩小时，在输入了成为放大或缩小的中心的位置(坐标)的情况下，以放大或缩小的中心点成为画面中央的方式也进行图像的修剪。

图7是由调整部105的图像处理(调整)的说明图。

如图7的(a)示出，用户触摸显示部106的画面上(触摸面板上)，从而进行规定的放大工作。在此，设想放大率被固定为两倍的例子进行说明。从接口101得到触摸的位置的XY二维坐标(CX，CY)，调整部105，获得触摸位置(CX，CY)、两倍的显示倍率、修剪尺寸(图像尺寸的一半)。该触摸位置(CX，CY)，成为放大时的图像的中心。而且，在此，举出将触摸位置设为放大的图像的中心的一个例子，但是，也可以在放大以及缩小的前后不变更图像的中心。

调整部105，如图7的(b)示出，按照处理步骤S204中计算出的对准调整量DL的一半将图像(像素数据)移位，以从CX减去DL的一半而得到的(CX-DL/2，CY)为中心进行修剪。以成为图像尺寸的一半(面积为1/4)的大小的方式，进行修剪。而且，以两倍(纵横两倍)的显示倍率来放大修剪的结果而得到的图像(图像处理的结果)，成为图7的(c)所示的图像。而且，如图7的(c)示出，作为图像处理的结果的图像成为，包含基于对准调整量DL的对准调整(图像移位)的黑区域(例如像素数据值为零的区域)的放大图像。而且，将对准调整设为水平方向(X方向)的图像移位来进行了说明，但是，为了调整作为由两张图像形成的3D图像的左右的纵偏离，也可以一起利用向垂直方向(Y方向)的图像移位。

并且，调整部105也可以，除了对准调整、修剪以及放大或缩小以外，还进行进一步的图像处理。例如，也可以在存储部104存放相机的偏向角、低角、俯仰角以及水平偏离量等的与拍摄关联的信息，利用这些信息，调整部105进行用于在3D显示中以高精度再现拍摄的被摄体的各种调整。并且，说明了将触摸位置设为放大(或缩小)时的中心的一个例子，但是，也可以将放大或缩小的中心，设为固定值以及拍摄时的保存值所示的部分，也可以根据图像中的特定的被摄体的位置来计算等。并且，也可以根据某种运算从触摸位置计算放大或缩小后的图像的中心等。

[1-2-3.调整部105的对准调整量的计算]

以下，对于调整部105的对准调整量的计算(处理步骤S204)，进行详细说明。

为了便于说明，示出光轴平行的平行双镜头相机的对准调整量的计算方法，接着，示出在图像处理装置100中从以三个以上的视点拍摄同一被摄体的图像群中选择两张图像，由调整部105进行的对准调整量的计算方法。

图8是由平行双镜头相机拍摄时产生的视差的说明图。如该图示出，在平行双镜头相机(两台相机)的情况下，若到被摄体为止的距离R，相机的焦点距离f，相机间距离SB是已知的，则根据以下的算式，能够求出拍摄时的视差量Q`x。

Q`x＝f＊SB/R(式1)

图9是由平行双镜头相机拍摄的图像的对准调整的说明图。图9的(a)示出，由图8(式1)求出的视差量、和将拍摄的图像显示在显示器时(观看时)的视差角的关系。图8中的视差量是，摄像元件上的视差量。因此，需要将Q`x变换为显示器上的视差量Qx。在此，在显示器上，成为显示器尺寸W0对摄像元件的传感器尺寸pw的比率，乘以用户指定的图像的放大率(显示倍率)的视差量。根据该关系，显示器上的被摄体的视差量，能够由以下的算式表示。

Qx＝W0/pw＊f＊SB/R＊(放大率)(式2)

在图9中，(b)示出，以(a)所示的视差量成为零的方式，使图像向左右方向(水平方向)移位的对准调整。一般的平行双镜头相机，将被摄体的突出调整为一致于显示器上(将突出成为零)，从而使3D显示容易看。左眼用图像以及右眼用图像的对准调整量DL以及DR，由以下的算式表示。

DL＝Qx/2(式3)

DR＝Qx/2(式4)

而且，所述的对准调整的例子是，一般的调整方法的例子，在反映3D图像的拍摄者以及制作人的意图的情况下的对准调整，不仅限于此。

接着，示出图像处理装置100的调整部105的对准调整量的计算方法。为了便于说明，示出光轴平行的多台相机(平行多镜头相机)的对准调整量的计算方法。

图10是示出图像处理装置100处理的、包含同一被摄体的多个图像的拍摄的情况的图。该图示出，从不同的视点拍摄同一被摄体的五台相机Cam1、Cam2、Cam3、Cam4以及Cam5。这些五台相机的视差量，与式1同样，由以下的算式表示。

Q`x(SB)＝f＊SB/R(式5)

但是，式5中的变量SB是，以下的SB值(SB1、SB2、SB3、SB4、SB5)的任一个。即，是作为原点(例如相机Cam1的位置)和各个相机Cam1、Cam2、Cam3、Cam4、Cam5的位置的差的值的SB1、SB2、SB3、SB4、SB5的任一个。

图11是图像处理装置100的调整部105的对准调整的说明图。该图示出，在由相机Cam1以及相机Cam5分别拍摄的两张图像形成3D图像的情况下，在3D显示中将特定的被摄体(例如人体)的突出调整为一致于显示器上(将突出量成为零)的方法。在图像中存在多个被摄体的情况下，为了决定特定的被摄体，可以利用任何方法。调整部105，根据作为由选择部102选择出的两张图像的拍摄条件的SB信息(SB值)等，通过以下的算式计算对准调整量。

D(SB)＝W0/pw＊f＊(SBb-SB)/R＊(放大率)(式6)

但是，式6中的变量SB也是，以下的SB值(SB1、SB2、SB3、SB4、SB5)的任一个。即，是作为原点和各个相机Cam1、Cam2、Cam3、Cam4、Cam5的位置的差的值的SB1、SB2、SB3、SB4、SB5的任一个。SBb是，以针对基准位置信息114所示的基准位置的从原点的相对位置来表示的SB值。D(SB)，相当于由拍摄位置SB上拍摄的图像A、和假设在基准位置拍摄时应该得到的图像B形成的3D图像中，为了使显示器上的视差量成为零而仅对图像A执行对准调整的量。据此，针对由各个相机拍摄的图像的对准调整量D(SB)，能够与其他的图像独立计算。

而且，如图11示出，调整部105，对由相机Cam1拍摄的图像按照对准调整量D(SB1)执行对准调整(图像移位)，对由相机Cam5拍摄的图像按照对准调整量D(SB5)执行图像移位。调整部105，通过进行这样的对准调整，从而不依赖于选择部102选择出的形成3D图像的两张图像的组合，随时能够将被摄体显示在大致同一位置。

对于该由调整部105的对准调整、和一般的平行双镜头相机的对准调整(参照图8以及图9)的差异，可以如下说明。

一般的平行双镜头相机的对准调整量的计算方法，由作为改变了式2的表现的算式的以下的算式表示。

D`(SB)＝W0/pw＊f*{(SBR+SBL)/2-SB}/R＊(放大率)(式7)

但是，变量SB是，作为左眼用图像的SB值的SBL或作为右眼用图像的SB值的SBR。并且，对于成为基准位置的SBb，一般利用作为左眼用图像以及右眼用图像的拍摄位置的中心的(SBR+SBL)/2。若利用式7，左眼用图像以及右眼用图像的对准调整量DL以及DR，由以下的算式表不。

DL＝D(SBL)＝W0/pw＊f＊{(SBR+SBL)/2-SBL}/R＊(放大率)(式8)

DR＝D(SBR)＝W0/pw＊f＊{(SBR+SBL)/2-SBR}/R＊(放大率)(式9)

如此，根据式8以及式9可知，一般的平行双镜头相机的对准调整，依赖于作为组合对方的左眼用图像或右眼用图像的拍摄位置。

另一方面，根据图像处理装置100利用的图像处理方法，针对一张图像，不依赖于构成3D图像的两张一组的组合对方，而能够由式6独立地计算对准调整量。

[1-3.效果等]

如上所述，在本实施例中，图像处理装置100，由存储部104存放从三个以上的不同视点拍摄同一被摄体而得到的图像群，由选择部102，按照观看条件从该图像群中选择两张图像。针对选择出的两张图像，由调整部105根据需要进行用于倍率变更(放大或缩小)的修剪，确定为形成3D显示用的图像的左眼用图像以及右眼用图像，执行对准调整。根据存储部104所存放的SB信息111以及基准位置信息114等，如下进行该由调整部105的对准调整。即，对左眼用图像执行将图像移位的调整处理，直到将左眼用图像中的特定的被摄体(例如人体)的位置成为，与假设其图像的拍摄位置为基准位置时得到的图像中出现的该特定的被摄体的位置相同的位置为止。而且，对于右眼用图像，也执行同样的调整处理。据此，即使按照观看条件哪个视点的图像被选择为左眼用图像以及右眼用图像的每一个，也能够以按每个图像预先任意设定的基准位置为基准进行图像的移位，因此，能够使3D显示中的特定的被摄体的位置一致。

并且，在本实施例中，图像处理装置100，进行处理步骤S102，以作为按照针对3D显示用的图像的观看条件选择用于形成3D显示用的图像的两张图像的第一选择步骤。而且，进行处理步骤S103，以作为对经由第一选择步骤中的选择而确定的左眼用图像以及右眼用图像，分别执行对应的对准调整等的调整处理的第一调整步骤，从而显示3D图像。然后，图像处理装置100，在处理步骤S101中判断为变更观看条件(显示倍率)的情况下，进行处理步骤S102，以作为若满足规定的判断条件，则按照变更后的观看条件进行所述选择的第二选择步骤。接着，进行处理步骤S103，以作为对经由第二选择步骤中的选择而确定的左眼用图像以及右眼用图像之中的至少一张图像，执行对应的对准调整等的调整处理的第二调整步骤，从而显示3D图像。据此，即使按照3D显示用的图像的观看条件的变化，变更左眼用图像以及右眼用图像之中的至少一张，通过调整处理，也将变更后的图像中的被摄体的位置与在基准位置拍摄时相同的位置一致。因此，对用户的易看性提高。

并且，在本实施例中，若由图像处理装置100的选择部102选择出的两张图像的每一个与其选择前的两张图像的任意图像相同，在调整部105中，则作为处理步骤S201中的判断结果省略对准调整等。据此，能够提高处理效率。

并且，在本实施例中，针对由图像处理装置100的选择部102选择出的两张图像，对由调整部105执行倍率变更(放大等)而得到的图像进行使被摄体移动到以基准位置为视点的位置的对准调整。据此，即使在对图像执行倍率变更处理(放大，缩小等)来进行3D显示的情况下，也不会使该倍率变更处理后的图像中的被摄体的位置变动。而且，在尽量提高倍率变更处理和对准调整(图像移位)的相互的独立性来处理的安装例中，针对在选择的前后没有变更的图像，不进行对准调整，因此，能够提高处理效率。

并且，在本实施例中，在将从不同视点拍摄同一被摄体的图像群中的任意两张图像的拍摄位置间的规定位置决定为基准位置的情况下，选择部102选择的两张图像的拍摄位置夹起该基准位置的概率提高某种程度。因此，能够某种程度地减少作为调整部105的对准调整的结果的因针对左眼用图像以及右眼用图像的图像移位而产生的欠缺部分。

并且，在本实施例中，由图像处理装置100的调整部105进行调整处理之后的左眼用图像以及右眼用图像，由显示部106显示。据此，用户能够观看3D图像，即使在变更了观看条件的情况下，在3D显示中也没有特定的被摄体(例如人体)的水平位置的变动，因此，能够容易观看。

(其他的实施例)

如上所述，对于在本申请中公开的技术的例子，说明了实施例1。然而，在本公开的技术，不仅限于此，也能够适用于适当地进行了变更、置换，补充、省略等的实施例。

在实施例1中，构成为从多张图像群中选择两张图像，但是，也可以是用于显示三张以上的图像的多视差的裸眼式3D显示器的结构。在此情况下，选择部102选择三张以上的图像，调整部105对选择出的图像的每一个，进行与所述同样的对准调整等。并且，实施例1所示的显示器装置，也可以是液晶显示器、有机EL显示器等的在装置表面具有画面的装置，也可以是投影机那样的向屏幕投影影像(图像)来形成画面的装置。

并且，在实施例1中示出，以显示倍率的变更为契机，再次从多张图像群中选择两张图像，进行调整处理来显示3D图像的例子(图4)。但是，除了显示倍率的变更以外，若还存在所述的观看条件的变更，则也可以将它作为契机进行再选择、调整处理等。

并且，在实施例1中，针对被摄体从多个不同视点拍摄的各个拍摄位置是，图2所示的位置，但是，也可以是图12所示的拍摄位置a至e。

如图12示出，若将原点设为a的位置，则a的位置是0cm，b的位置是0.5cm，c的位置是1.5cm，d的位置是3.5cm，e的位置是7.5cm。从在这样的五个拍摄位置拍摄的五张图像中选择用于形成3D图像的两张的组合的数量，有10种。该10种组合中的两个图像间的SB的值是，没有重复的10值之中的任一个。如此，以抑制全图像数来能够对应更多的立体基线的方式适当地选定拍摄位置数，这也是鉴于存放图像群的存储介质的利用效率时有用的。例如，在图像处理装置中，作为为了确定形成3D显示用的图像的左眼用图像以及右眼用图像而选择两张图像的前提，在存储部(存储介质)预先存放成为其选择候选的图像群。在此情况下，若存储部存放，该图像群的任意两张图像的组合所涉及的拍摄位置间的距离与该图像群的其他的任何两张图像的组合所涉及的拍摄位置间的距离都不同的图像群，则存储效率良好。

并且，在实施例1中，SB信息，以作为从原点的距离(相对位置)的SB值来表示各个拍摄位置，但是，也可以以作为从决定的基准位置的相对位置的SB值来表示各个拍摄位置。在此情况下，若存储部104存放SB信息，则不需要示出基准位置本身的信息。即，将式6中的SBb设为零，根据SB信息，从式6能够计算各个图像的对准调整量。

并且，在实施例1中，利用在各个拍摄位置拍摄被摄体的各个相机的光轴平行的例子进行了说明，但也可以是，并不一定平行。在各个相机的光轴不平行而进行交叉法的内束(toe-in)拍摄的情况下，通过执行用于除去图像的梯形失真的梯形校正，从而能够进行与光轴平行的情况同样的处理。在各个相机的光轴不平行而进行交叉法的内束(toe-in)拍摄的情况下，通过执行用于除去图像的梯形失真的梯形校正，从而能够进行与光轴平行的情况同样的处理。并且，也可以由多个相机拍摄。

并且，在实施例1中，对于对准调整，说明了在3D显示中使特定的被摄体的突出一致于显示器上(将突出量成为零)的例子，但是，并不一定需要一致于显示器上。也可以统一利用调整为特定的被摄体位于从显示器向深处缩进规定量的位置、或按照规定量突出到跟前的位置(一律将对准调整量与偏离量相加，或一律从对准调整量减去偏离量)的调整方法。

并且，在实施例1中，也能够对应对图像执行倍率变更处理(放大、缩小等)的情况的例子，式6中包含放大率的变量，但是，并不一定需要进行放大或缩小。因此，也可以不进行图像的放大以及缩小，而将式6中的放大率置换为定数“1”。例如，也可以对作为用于形成3D显示用的图像的左眼用图像以及右眼用图像的、不进行倍率变更处理而拍摄的状态的图像执行对准调整，来利用。

并且，在实施例1说明的图像处理装置中，各个功能构成要素(功能块)，可以由IC(IntegratedCircuit)、LSI(LargeScaleIntegration)等的半导体装置个别单片化，也可以以包含一部分或全部的方式单片化。还有，集成电路化的方法不局限于LSI，也可以用专用电路或者通用处理器来实现。也可以利用在LSI制造之后可编程的现场可编程门阵列(FPGA：FieldProgrammableGateArray)或可动态地重构LSI内部的电路单元的连接和设定的可重构处理器。而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的集成电路化的技术，当然也可以利用这些技术来对功能块进行集成化。有可能适用生物技术等。

并且，实施例1的各个处理，可以由硬件来实现，也可以由软件(包括与OS(操作系统)、中间件、或规定的库一起实现的情况。)来实现。进而，也可以由软件以及硬件的混合来实现。而且，在所述实施例所涉及的图像处理装置由硬件来实现的情况下，当然需要进行用于各个处理的定时调整。在所述实施例中，为了便于说明，省略实际的硬件设计中产生的各种信号的定时调整的详情。

并且，对于实施例1的处理方法的执行顺序，并不一定限于实施例1所记载的顺序，在不超出发明的要旨的范围内，可以替换执行顺序。

并且，也可以将实施例1所示的图像处理装置100的各个功能构成要素，设置在分离的个别的装置内。分离的各个装置内的各个功能构成要素，彼此进行有线或无线的通信来协调工作，从而实现与实施例1所示的图像处理装置100同样的图像处理方法。

并且，也可以实现装载有实施例1中说明的选择部102的立体显示装置、电视机、个人数字助理、PC、数字静止照相机、摄像机、信息记录再生装置、影像记录再生装置、影像处理装置等。而且，在此情况下，也可以将从不同视点拍摄同一被摄体而得到的多张图像，从外部输入到这些装置。并且，也可以实现装载有实施例1中说明的调整部105的立体显示装置、电视机、个人数字助理、PC、数字静止照相机、摄像机、信息记录再生装置、影像记录再生装置、影像处理装置等。在此情况下，也可以将用于形成3D显示用的图像的选择出的两张图像和其拍摄条件所涉及的信息以及基准位置信息，从这些装置的外部传达到这些装置。

如上所述，说明了实施例，以作为本公开的技术的例子。为此，提供了附图以及详细说明。

因此，在附图以及详细说明所记载的构成要素中，不仅包含为了解决问题而一定需要的构成要素，为了示出所述技术，也包含为了解决问题而并不一定需要的构成要素。因此，不应该进行如下认定，即，由于附图以及详细说明中记载这些并不一定需要的构成要素，因此立刻将这些并不一定需要的构成要素认定为必须的构成要素。

并且，所述实施例是，用于示出本公开的技术的例子，因此，在权利要求书或其均匀的范围内能够进行各种变更、置换，补充、省略等。

本公开，能够适用于显示3D图像的装置。

符号说明

100图像处理装置

101接口

102选择部

104存储部

105调整部

106显示部

1103D图像数据

111SB信息

112距离信息

113视角信息

114基准位置信息

115图像号

Claims (10)

1.一种图像处理方法，对经过从图像群中进行的选择而确定的、用于形成3D显示用的图像的第一视点图像以及第二视点图像进行图像处理，所述图像群是从三个以上的不同视点拍摄同一被摄体而得到的图像群，

在所述图像处理方法中，

根据规定的基准位置以及所述第一视点图像所涉及的拍摄位置，对该第一视点图像执行用于将图像移位的调整处理，以使所述第一视点图像中的所述被摄体的位置成为，与如下的图像中出现的该被摄体的位置相同的位置，该图像是假设该第一视点图像所涉及的拍摄位置为所述基准位置时得到的图像，

根据所述基准位置以及所述第二视点图像所涉及的拍摄位置，对该第二视点图像执行用于将图像移位的调整处理，以使所述第二视点图像中的所述被摄体的位置成为，与如下的图像中出现的该被摄体的位置相同的位置，该图像是假设该第二视点图像所涉及的拍摄位置为所述基准位置时得到的图像。

2.如权利要求1所述的图像处理方法，

所述图像处理方法，包括：

第一选择步骤，按照针对3D显示用的图像的观看条件进行所述选择；

第一调整步骤，对经过所述第一选择步骤中的所述选择而确定的所述第一视点图像以及所述第二视点图像，分别执行对应的所述调整处理；

第二选择步骤，在所述观看条件被变更时，在一定条件下，按照该变更后的观看条件进行所述选择；以及

第二调整步骤，对经过所述第二选择步骤中的所述选择而确定的所述第一视点图像以及所述第二视点图像之中的至少一张图像，执行对应的所述调整处理。

3.如权利要求2所述的图像处理方法，

在所述第二调整步骤中，在经过所述第二选择步骤中的所述选择而确定的所述第一视点图像以及所述第二视点图像之中，存在与该选择之前已经确定的所述第一视点图像以及所述第二视点图像相比没有变更的图像的情况下，不对该没有变更的图像执行所述调整处理。

4.如权利要求3所述的图像处理方法，

所述第一选择步骤以及所述第二选择步骤中的所述选择是，从所述图像群中选择两张图像的选择，

所述第一调整步骤中成为所述调整处理的对象的、作为所述第一视点图像以及所述第二视点图像而被确定的两张图像是，对作为所述第一选择步骤中的所述选择的结果的两张图像分别执行倍率变更处理而得到的两张图像，

所述第二调整步骤中成为所述调整处理的对象的、确定的所述第一视点图像以及所述第二视点图像之中的至少一张图像是，对作为所述第二选择步骤中的所述选择的结果的两张图像之中的至少一张图像执行倍率变更处理而得到的至少一张图像。

5.如权利要求2所述的图像处理方法，

所述图像处理方法包括决定步骤，

在所述决定步骤中，将所述图像群中的任意两张图像的拍摄位置间的规定位置，决定为所述基准位置，

所述第一调整步骤以及所述第二调整步骤中的所述调整处理是，根据所述决定步骤所决定的所述基准位置进行的。

6.如权利要求2所述的图像处理方法，

所述图像处理方法包括存储步骤，

在所述存储步骤中，在所述第一选择步骤中的所述选择之前，将所述图像群、以及示出该图像群中的各个图像的拍摄位置的信息存储到存储介质，

所述存储介质中存储的所述图像群中的任意两张图像的组合所涉及的拍摄位置间的距离，与该图像群中的其他的任何两张图像的组合所涉及的拍摄位置间的距离都不同。

7.如权利要求2所述的图像处理方法，

所述图像处理方法包括显示步骤，

在所述显示步骤中，显示执行了所述调整处理的所述第一视点图像以及所述第二视点图像。

8.如权利要求2所述的图像处理方法，

所述第一选择步骤以及所述第二选择步骤中的所述选择是，从所述图像群中选择两张图像的选择，

所述第一调整步骤中成为所述调整处理的对象的、作为所述第一视点图像以及所述第二视点图像而被确定的两张图像是，作为所述第一选择步骤中的所述选择的结果的两张图像，

所述第二调整步骤中成为所述调整处理的对象的、确定的所述第一视点图像以及所述第二视点图像之中的至少一张图像是，作为所述第二选择步骤中的所述选择的结果的两张图像之中的至少一张图像。

9.如权利要求1所述的图像处理方法，

将所述第一视点图像中的所述被摄体的位置移位的所述调整处理是如下的处理，即，将该第一视点图像移位，从而将所述第一视点图像中的所述被摄体的位置，移动到与如下的图像中出现的该被摄体的位置相同的位置，该图像是假设将相机的光轴设为与拍摄该第一视点图像时的相机的光轴平行而从所述基准位置拍摄该被摄体时得到的图像，

将所述第二视点图像中的所述被摄体的位置移位的所述调整处理是如下的处理，即，将该第二视点图像移位，从而将所述第二视点图像中的所述被摄体的位置，移动到与如下的图像中出现的该被摄体的位置相同的位置，该图像是假设将相机的光轴设为与拍摄该第二视点图像时的相机的光轴平行而从所述基准位置拍摄该被摄体时得到的图像。

10.一种图像处理装置，具备处理器以及存储器，对经过从图像群中进行的选择而确定的、用于形成3D显示用的图像的第一视点图像以及第二视点图像进行图像处理，所述图像群是从三个以上的不同视点拍摄同一被摄体而得到的图像群，

所述处理器，通过执行所述存储器所存放的控制程序，

根据规定的基准位置以及所述第一视点图像所涉及的拍摄位置，对该第一视点图像执行用于将图像移位的调整处理，以使所述第一视点图像中的所述被摄体的位置成为，与如下的图像中出现的该被摄体的位置相同的位置，该图像是假设该第一视点图像所涉及的拍摄位置为所述基准位置时得到的图像，

根据所述基准位置以及所述第二视点图像所涉及的拍摄位置，对该第二视点图像执行用于将图像移位的调整处理，以使所述第二视点图像中的所述被摄体的位置成为，与如下的图像中出现的该被摄体的位置相同的位置，该图像是假设该第二视点图像所涉及的拍摄位置为所述基准位置时得到的图像。