CN109565605A - 拍摄技术生成方法以及影像处理装置 - Google Patents

Abstract

拍摄技术生成方法包括：模型生成步骤(S112)，根据从不同的视点拍摄了同一场景的多视点影像(151)，生成所述场景的三维模型(152)；对象场景决定步骤(S113)，决定对象场景(153)，该对象场景是所述场景之中的、生成从虚拟相机来看所述三维模型(152)时的自由视点影像(156)的对象；以及拍摄技术生成步骤(S114)，生成拍摄技术(154)，该拍摄技术示出所述自由视点影像(156)中的所述虚拟相机的位置以及姿态的时间变化。

Description

拍摄技术生成方法以及影像处理装置

技术领域

本申请涉及拍摄技术生成方法以及影像处理装置。

背景技术

作为多视点影像的分发方法，专利文献1中公开的技术是，将从多个视点拍摄的影像与视点移动联动来进行分发。

并且，利用由多个已校准相机拍摄了特定场景的影像群，从而能够以自由的视点来看该场景的自由视点影像的生成技术也是已知的。

(现有技术文献)

(专利文献)

专利文献1日本特开2002-165200号公报

在生成这种自由视点影像时，需要决定示出时间上的视点的轨迹的拍摄技术。

发明内容

本申请的目的在于提供一种能够恰当地决定拍摄技术的拍摄技术生成方法或影像处理装置。

为了达成上述目的，本申请的一个形态所涉及的拍摄技术生成方法包括：模型生成步骤，根据从不同的视点拍摄了同一场景的多视点影像，生成所述场景的三维模型；对象场景决定步骤，决定对象场景，该对象场景是所述场景之中的、生成从虚拟相机来看所述三维模型时的自由视点影像的对象；以及拍摄技术生成步骤，生成拍摄技术，该拍摄技术示出所述自由视点影像中的所述虚拟相机的位置以及姿态的时间变化。

另外，这些概括性的或具体的形态可以由系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。

本申请能够提供一种能够恰当地决定拍摄技术的拍摄技术生成方法或影像处理装置。

附图说明

图1是实施方式1所涉及的影像分发系统的方框图。

图2示出了实施方式1所涉及的影像分发系统的工作例子。

图3在模式上示出了实施方式1所涉及的影像分发系统的工作。

图4是示出实施方式1所涉及的影像处理装置的工作的流程图。

图5是示出实施方式1所涉及的界面画面的例子的图。

图6是实施方式1的变形例所涉及的影像分发系统的方框图。

图7是实施方式2所涉及的影像分发系统的方框图。

图8示出了影像信息处理系统的构成。

图9示出了相机启动时显示的通知画面的一个例子。

图10是实现内容分发服务的内容提供系统的全体构成图。

图11是数字广播用系统的全体构成图。

图12示出了智能电话的一个例子。

图13是示出智能电话的构成例的方框图。

具体实施方式

从体育比赛或实况演出等中的静止场景制作自由视点影像的服务正在开始普及。并且预想到不仅是静止场景，即使针对拍摄场景，利用视点动态移动的自由视点影像的机会也将增多。在此，自由视点影像是指，从在任意的空间位置中移动的虚拟相机来看对象场景时的影像。在生成自由视点影像的情况下，需要决定示出虚拟相机的位置以及姿态的时间变化的拍摄技术。由于该拍摄技术的设定的自由度高，因此存在的课题是难于进行恰当的设定。

在本申请中，对拍摄技术生成方法进行说明，该拍摄技术生成方法自动生成拍摄技术。

本申请的一个形态所涉及的拍摄技术决定方法包括：模型生成步骤，根据从不同的视点拍摄了同一场景的多视点影像，生成所述场景的三维模型；对象场景决定步骤，决定对象场景，该对象场景是所述场景之中的、生成从虚拟相机来看所述三维模型时的自由视点影像的对象；以及拍摄技术生成步骤，生成拍摄技术，该拍摄技术示出所述自由视点影像中的所述虚拟相机的位置以及姿态的时间变化。

据此，该拍摄技术决定方法能够决定作为生成自由视点影像的对象的对象场景，并生成决定的对象场景的拍摄技术。因此，该拍摄技术决定方法能够恰当地决定拍摄技术。并且，通过该拍摄技术决定方法，例如自动地决定了拍摄技术，因此能够减少编辑者等的麻烦。

例如，也可以是，在所述对象场景决定步骤，利用所述多视点影像或所述三维模型，决定所述对象场景。

例如，也可以是，在所述对象场景决定步骤，利用所述场景的声音，决定所述对象场景。

例如，也可以是，在所述拍摄技术生成步骤，以与所述对象场景对应的预先决定了类别的物体包含在所述自由视点影像的方式，来决定所述虚拟相机的位置以及姿态。

据此，能够利用由该拍摄技术决定方法决定的拍摄技术，来生成映现了与对象场景对应的类别的物体的自由视点影像。

例如，也可以是，在所述拍摄技术生成步骤，根据包含在所述三维模型的多个部分的精度，来决定所述虚拟相机的位置以及姿态。

据此，能够利用由该拍摄技术决定方法决定的拍摄技术，来生成精度高的自由视点影像。

例如，也可以是，所述拍摄技术生成方法进一步包括拍摄技术显示步骤，在该拍摄技术显示步骤，对所述拍摄技术进行显示。

例如，也可以是，所述拍摄技术生成方法进一步包括影像生成步骤，在该影像生成步骤，利用所述拍摄技术，从所述三维模型或所述多视点影像中生成所述自由视点影像。

例如，也可以是，在所述影像生成步骤，在所述自由视点影像中添加晃动。

据此，该拍摄技术决定方法能够生成具有临场感的自由视点影像。

例如，也可以是，所述拍摄技术生成方法进一步包括获得步骤，在该获得步骤，获得用户针对所述拍摄技术的评价，在所述拍摄技术生成步骤，根据所述评价，生成拍摄技术。

据此，该拍摄技术决定方法能够生成符合用户的嗜好的拍摄技术。

本申请的一个形态所涉及的影像处理装置具备：模型生成部，根据从不同的视点拍摄了同一场景的多视点影像，来生成所述场景的三维模型；解析部，决定对象场景，该对象场景是所述场景之中的，生成从虚拟相机来看所述三维模型时的自由视点影像的对象；以及拍摄技术生成部，生成拍摄技术，该拍摄技术示出所述自由视点影像中的所述虚拟相机的位置以及姿态的时间变化。

据此，该影像处理装置能够决定作为生成自由视点影像的对象的对象场景，并能够生成决定了对象场景的拍摄技术。因此，该影像处理装置能够恰当地决定拍摄技术。并且，通过该影像处理装置，例如能够自动地决定拍摄技术，因此能够减少编辑者等的麻烦。

另外，这些概括性的或具体的形态可以由系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。

以下参照附图对实施方式进行具体说明。另外，以下将要说明的实施方式均为示出本申请的一个具体例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等均为一个例子，其主旨并非是对本申请进行限定。并且，对于以下的实施方式的构成要素中的没有记载在示出最上位概念的独立技术方案的构成要素，作为任意的构成要素来说明。

(实施方式1)

图1是示出本实施方式所涉及的影像分发系统100的构成的方框图。该影像分发系统100是生成体育比赛场、或实况演出会场等中的自由视点影像，并对生成的自由视点影像进行分发的系统。影像分发系统100包括：多个摄像装置101、影像处理装置102、以及多个视听装置103。

摄像装置101包括相机111以及传感器112。相机111拍摄影像。传感器112包括振动传感器、加速度传感器、地磁传感器、以及麦克风的至少一个，生成检测了拍摄环境的数据。另外，摄像装置101可以是固定相机，也可以是能够移动的相机。能够移动的相机例如可以是CCD相机或网络相机等PTZ相机、或者可以是可穿戴相机，还可以是被搭载在无人机(drone)等移动体的相机。通过该多个摄像装置101，从而生成以不同的视点拍摄了同一场景的多视点影像151。即，多视点影像151包括从不同的视点拍摄了同一场景的多个影像。

影像处理装置102利用多视点影像151，生成自由视点影像156，将生成的自由视点影像156分发到多个视听装置103。该摄像装置101具备：模型生成部121、解析部122、拍摄技术生成部123、渲染部124、显示部125、以及分发部126。

视听装置103对从影像处理装置102分发的自由视点影像进行再生并显示。

另外，影像处理装置102可以由单一的装置来实现，也可以由彼此能够通信的多个装置来实现。例如，显示部125也可以包括在与其他的处理部不同的另外的装置中。

图2示出了影像分发系统100的工作例子。图3在模式上示出了各个工作。

首先，通过由多个摄像装置101进行同步拍摄，从而相同时刻的图像(静止图像)或影像(运动图像)被拍摄(S101)。例如通过以有线或无线连接的多个摄像装置101被控制，从而多个摄像装置101的快门被同时按下。并且，摄像装置101不仅可以获得由相机111拍摄的影像，而且可以同时获得利用传感器112而检测了拍摄环境的检测数据。例如该检测数据包括振动、加速度、地磁、以及声音的至少一个。

接着，多个摄像装置101将多视点影像151以及检测数据发送到影像处理装置102(S102)。

接着，影像处理装置102中包括的模型生成部121利用多视点影像151、以及多视点影像151的拍摄时的多个摄像装置101的相机参数，生成摄像空间的三维模型152(S103)。另外，影像处理装置102可以事先通过校准处理来求出相机参数，也可以利用SfM(Structurefrom Motion：运动恢复结构)等，根据多视点影像151来估计相机参数。并且，模型生成部121例如利用视觉外型法(visual hull)或SfM等来生成三维模型152。

接着，拍摄技术生成部123在三维空间上自动设置虚拟相机，生成用于自由视点影像的制作中使用的拍摄技术154(S104)。具体而言，拍摄技术生成部123在自动设定拍摄技术154时，利用三维空间识别等，来估计更恰当的相机姿态以及设定等，并决定拍摄技术154。

接着，渲染部124利用作为实际相机影像的多视点影像151的纹理或颜色信息，生成从虚拟相机来看三维模型152时的影像的自由视点影像156(S105)。此时，渲染部124可以利用离被摄物体近等基准，来优先选择将要利用的实际相机。

接着，分发部126将生成的自由视点影像156分发到视听装置103(S106)。于是，视听装置103对接收的自由视点影像156进行再生并显示(S107)。

以下，对影像处理装置102中的处理进行详细说明。图4是通过影像处理装置102的自由视点影像生成处理的流程图。

首先，影像处理装置102获得多视点影像151(S111)。接着，三维模型生成部121利用多视点影像151，生成作为摄像空间的对象场景的三维模型152(S112)。此时，被生成的三维模型152只要是根据多视点影像151和补充信息来生成的空间信息即可。补充信息例如是多个相机111的位置信息。具体而言，三维模型生成部121通过预先测定多个相机111的三维空间上的位置，来获得多个相机111的位置信息。或者，三维模型生成部121通过由图像处理进行的校准处理等，来获得多个相机111的位置信息。接着，三维模型生成部121利用获得的多个相机111的位置信息，通过视觉外型法等来生成体素数据。

或者，三维模型生成部121利用各图像上的边沿或角部等特征点信息，来估计图像间的相同的位置(特征点位置)。三维模型生成部121利用对特征点位置以及相机姿态的三维信息进行估计的SfM等方法，生成三维点群。

接着，解析部122利用多视点影像151以及三维模型152的至少一方，决定对象场景153(S113)，该对象场景153是生成自由视点影像156的对象。具体而言，解析部122通过针对多视点影像151以及三维模型152进行识别处理，来决定对象场景153。更具体而言，解析部122判断示出对象场景153的开始的拍摄技术的生成触发、以及示出对象场景153的结束的结束触发。另外，对象场景153也可以是静止场景，还可以是动态场景。即，对象场景可以由一个时刻来表示，也可以由一个时间范围来表示。

并且，解析部122生成附带信息。在此，附带信息是通过图像识别而得到的信息，是生成拍摄技术时所需要的识别结果信息。例如，附带信息是示出影像内的物体或人物等类别以及位置的信息、或者是示出现在的场景是否为预先决定的特定的场景的信息、或者是示出现在的场景的类别的信息。具体而言，附带信息示出影像内的特定人物的三维位置(例如三维坐标)。或者，附带信息示出现在的场景是否为射门场景等。

例如，解析部122通过图像识别等，来检测进球场景等最精彩场景。或者，解析部122检测裁判的特征性的姿势(例如，棒球的裁判员的表示出局的姿势、或足球的各种卡的提示时的姿势等)。将检测出姿势的时刻的前后的场景判断为特定场景。并且，解析部122检测特定人物或球等受到关注的物体的三维坐标信息等。这些被检测出的信息作为附带信息被输出。

另外，解析部122可以输出包括示出被识别的所有的人物的信息的附带信息，也可以输出被识别的人物之中的满足条件的人物的信息。例如，满足条件的人物是指，进行急制动的人物、有可以行动的人物、或者是侵入特定区域的人物等。据此，在监视目的等中，由于能够针对被识别的人物中的需要注意人物进行处理，因此能够减少计算资源以及数据量。

并且，解析部122可以根据场景的解析结果，返回到以前来进行影像处理。即，解析部122在检测到特定场景的情况下，可以将该特定场景以及特定场景的前一个场景决定为对象场景153。例如，解析部122在检测到射门场景的情况下，可以将包括射门场景和前一个场景的一个连续的场景决定为对象场景153。

并且，解析部122还可以除了影像以外而利用由摄像装置101的传感器112获得的检测数据，来决定对象场景153。例如，解析部122也可以利用由麦克风得到的声音来决定对象场景。具体而言，解析部122可以将音量为预先决定的值以上的场景或前后的场景决定为对象场景。另外，解析部122可以将特定的频率的声音的音量用于判断，也可以将声音的持续时间用于判断。据此，解析部122能够将欢呼声大的场景、输入了哨子等明确的声音信号的场景、输入了异常时的声音(爆炸音或警报音等)的场景决定为对象场景。

接着，拍摄技术生成部123利用从解析部122输出的对象场景153的信息以及附带信息，自动生成一个或多个拍摄技术154(S114)。另外，拍摄技术生成部123除了上述的信息以外，还可以利用手动输入的信息来生成拍摄技术154。

具体而言，拍摄技术生成部123按照附带信息所示的场景的类别、以及被摄物体的状况，来自动生成拍摄技术154。例如，拍摄技术生成部123以与对象场景建立了对应的预先决定的类别的物体包含在自由视点影像156的方式，来决定虚拟相机的位置以及姿态。例如，在足球的射门场景中，拍摄技术生成部123以进球包括在影像中的方式，来决定相机位置以及姿态。或者，拍摄技术生成部123以关注的选手等关注的人物包括在影像中的方式，来决定相机位置以及姿态。并且，也可以是，拍摄技术生成部123以扩大关注的选手的行进方向进行拍摄的方式，来决定相机位置以及姿态。这样，拍摄技术生成部123可以按照该场景所表示的气氛，来设定相机位置以及姿态。另外，视点无需总是保持无间断地移动，可以向开关那样，对视点进行离散地切换。

并且，也可以是，在以附带信息示出赞助商的标志的情况下，拍摄技术生成部123以包含较多的这种标志的方式，来决定拍摄技术。

并且，拍摄技术生成部123可以对没有生成三维模型152的区域或质量低的区域进行判断，以这些区域不容易被包括在影像中的方式，来选择拍摄技术154。即，拍摄技术生成部123可以根据三维模型152中包含的多个部分的精度，来决定虚拟相机的位置以及姿态。

并且，拍摄技术生成部123也可以不是在决定了对象场景之后才生成该对象场景的拍摄技术154，而是时常生成拍摄技术154，在对象场景被决定后，输出该对象场景的拍摄技术154。据此，能够减少因处理造成的等待时间，从而能够即时地将影像提供该视听者。

并且，拍摄技术生成部123也可以故意地使拍摄技术的生成失败。例如在追随球或关注的选手等对象物时，在对象物的移动方向发生了大的变化的情况下，以发生了视点越过对象物这种越位等的方式，来设定拍摄技术。据此，能够生成犹如实际的相机拍摄那样具有临场感的自由视点影像156。

接着，渲染部124利用多视点影像151、三维模型152、以及拍摄技术154，来生成拍摄技术确认用影像155(S115)。另外，拍摄技术确认用影像155例如可以是从三维模型152简易地生成的图像。例如，拍摄技术确认用影像155以速度优先来生成，与后述的自由视点影像156相比，可以是低画质或低分辨率的影像，也可以是点群数据的影像。另外，在渲染速度足够快的情况下，作为拍摄技术确认用影像155，可以生成与后述的自由视点影像156为相同质量的影像。

接着，显示部125显示用于对三维模型152、拍摄技术154、以及拍摄技术确认用影像155进行确认的界面画面(S116)。图5示出了该界面画面的例子。该界面画面包括：拍摄技术显示栏201、相机信息显示栏202、拍摄技术确认用影像显示栏203、滑动条204、评价显示栏205、加载键206。

在拍摄技术显示栏201显示三维模型152以及作为拍摄技术154的轨迹的相机路径。另外，可以显示一个相机路径，也可以显示多个相机路径的候选。并且，也可以通过多个相机路径的颜色或线的种类来表示各个相机路径的推荐度等信息。在此，推荐度表示，与用户的嗜好的一致程度或视听率的高低等。并且，通过显示多个相机路径，从而能够向用户(视听者)或编辑者提供选项。

另外，在图5中虽然示出了针对一个对象物的相机路径，不过也可以示出针对多个对象物的每一个的相机路径。并且，在多个相机路径被依次选择了的情况下，对应的拍摄技术确认用影像155可以被连续再生。

在拍摄技术确认用影像显示栏203，显示用于进行确认的与拍摄技术对应的拍摄技术确认用影像155。

通过滑动条204，来操作拍摄技术确认用影像155的时刻。例如，通过由编辑者操作滑动条204，从而虚拟相机在相机路径上移动，该时刻中的拍摄技术确认用影像155被显示在拍摄技术确认用影像显示栏203。另外，在相机路径被选择了的情况下，可以自动开始再生，滑动条204移动。并且，也可以设置用于对拍摄技术进行再生的操作键或操作菜单等。

在相机信息显示栏202显示对应的时刻中的相机位置以及姿态，并且显示焦距、视角、以及F值等相机参数。并且，这些相机位置以及姿态、相机参数能够由编辑者编辑。据此，编辑者能够对拍摄技术生成部123生成的拍摄技术154，按照编辑者的嗜好来进行修正。另外也可以取代相机参数，而设置能够选择相机的型号的界面。通过编辑者选择相机的型号，被选择的相机的相机参数等被自动设定。据此，以选择的相机拍摄的影像能够被再现。

并且，影像处理装置102可以具有对编辑者的选择结果、修正内容以及建议进行反馈的功能。例如，通过加载键206被操作，从而由编辑者修正的拍摄技术被通知到拍摄技术生成部123。被通知的信息例如作为与相机路径或拍摄技术154的生成有关的机器学习的参考来利用。

在评价显示栏205显示被选择的拍摄技术154的推荐度等评价值。另外，编辑者可以设置用于输入拍摄技术154的评价值的栏。在这种情况下，输入的评价值被通知到拍摄技术生成部123，该拍摄技术154的评价值被更新。并且，该评价值也可以用于上述的机器学习。

并且，例如，在实况演出中将多个拍摄技术154(或拍摄技术确认用影像155)显示给编辑者。编辑者从多个拍摄技术154中选择一个，并按照选择结果等算出各个拍摄技术154的评价值。于是，这些评价值被用作广播题材等非即时的重播影像的制作。即，高评价的拍摄技术154被优先制作并显示。另外，评价值可以以个人单位来设定，也可以反映多个人的评价结果。

并且，也可以设置用于对过滤效应等进行设定的界面。

这样，通过编辑者进行选择或编辑，从而用于分发的自由视点影像156的拍摄技术154被决定(S117)。并且，例如通过编辑者操作加载键206，编辑后的拍摄技术154被送到渲染部124。渲染部124生成与该拍摄技术154对应的自由视点影像156(S118)。另外，在选择了多个拍摄技术154的情况下，渲染部124生成多个自由视点影像156。

此时，渲染部124对没有生成三维模型152的区域、低品质的区域、或水面等再构成较困难的区域进行判断，可以通过CG等对这些区域进行插补。并且，渲染部124也可以利用时间不同的帧(例如，几小时前的渲染结果)的信息，对这些区域的图像进行插补。通过这些插补处理，即使是三维模型152的信息少的区域，也能够制作自然的自由视点影像156。并且，渲染部124在再构成困难的区域存在的情况下，可以通过对移动体相机等摄像装置101进行控制，来获得在上述区域的生成中使用的影像数据等。

并且，渲染部124也可以按照相机速度(视点的移动速度)，来控制渲染结果的模糊感，例如，渲染部124可以按照速度，来使相当于周边视野的区域(例如，图像的周边区域)模糊。具体而言，渲染部124在速度越快的情况下，就进行越大的模糊处理。据此，能够使生成的影像与实际上人看到的影像接近。据此，视听者能够得到高的临场感(尤其是在虚拟现实(Virtual Reality)体验时)。

并且，渲染部124针对属于影像中不需要的物体(例如，用于安全措施的金属丝网等)的三维模型，在进行渲染时可以忽视。例如，在解析部122，影像中的不需要的物体被判别。

并且，渲染部124可以像视图变形(view morphing)那样，不利用三维模型152，而进行渲染处理。据此，由于渲染部124可以不利用三维模型152而采用作为二维图像的多视点影像151来进行处理，因此能够减少处理量。

并且，渲染部124在存在声音信息的情况下，也可以对声源位置进行估计，并利用该结果来进行与提高临场感有关的声音处理或声音合成。并且，渲染部124可以针对原始的相机影像，来再生由摄像装置101录音的声音，可以针对虚拟相机的位置的影像，使用或添加事先录音的声音或效果音。

并且，渲染部124可以按照虚拟相机的姿态以及位置来控制声音。例如，渲染部124可以通过声源位置的估计结果，来再现虚拟相机的位置上的声音。

并且，渲染部124也可以通过赋予视觉效果或实际的摄影人员在进行拍摄时产生的效果，来提高现实感。

例如，渲染部124添加相机晃动。具体而言，渲染部124利用体育场的摇晃的检测结果、相机的摇晃的检测结果、或欢呼声的检测结果等，来添加相机晃动。具体而言，渲染部124按照体育场的摇晃的程度、相机的摇晃的程度、或欢呼声的程度，当这些程度越大时，就越使晃动增大。并且，这些检测结果例如是由传感器112得到的检测结果。或者，渲染部124可以从多视点影像151中进行检测。

并且，渲染部124也可以按照视点的移动速度，来添加相机晃动。具体而言，渲染部124在视点的移动速度越大的情况下，就越使晃动增大。

另外，也可以是，在作为拍摄技术确认用影像155而生成了与自由视点影像156质量相同的影像的情况下，拍摄技术确认用影像155可以直接用作自由视点影像156。

接着，分发部126将由渲染部124生成的一个或多个自由视点影像156分发到视听装置103(S119)。此时，也可以是，分发部126除了自由视点影像156以外，还将三维模型152、示出视点(虚拟相机的位置)的信息、以及拍摄技术154的至少一个分发到视听装置103。

视听装置103显示被分发的自由视点影像156。并且，视听装置103在接收了三维模型152、示出视点的信息、或拍摄技术154的情况下，也可以显示这些信息。并且，视听装置103可以根据三维模型152来生成图像或CG，并显示生成的图像或CG。并且，视听装置103也可以具有界面，在接收多个自由视点影像156的情况下，对接收的多个自由视点影像156中的将要显示的自由视点影像156进行切换。

并且，也可以是，视听装置103具有界面，该界面用于获得视听者针对自由视点影像156或拍摄技术154的评价值。得到的评价值被送到拍摄技术生成部123，与编辑者的评价同样，用于在此之后的拍摄技术154的生成中。即，影像分发系统100获得针对拍摄技术154的用户(编辑者或视听者)的评价，并根据评价来生成拍摄技术154。

另外在上述说明中虽然举出的例子是，影像处理装置102具有编辑者对拍摄技术生成部123所生成的拍摄技术154进行编辑的功能，但是并非受此所限。例如，编辑者也可以从多个拍摄技术154中，选择任意的个数的拍摄技术154。在这种情况下，渲染部124生成与被选择的拍摄技术154对应的自由视点影像156。

并且，也可以不必需要存在编辑者，所有的处理可以自动执行。即，可以不进行图4所示的步骤S115～S117，与拍摄技术生成部123所生成的拍摄技术154对应的自由视点影像156可以被分发到视听装置103。

(实施方式1的变形例)

在上述说明中，虽然说明了通过操作显示部125的编辑者，拍摄技术154被选择或修正的例子，影像分发系统100除了上述功能以外，还可以具有由操作视听装置103A的视听者来编辑拍摄技术154的功能。

图6是示出本变形例所涉及的影像分发系统100A的构成的方框图。在本变形例中，视听装置103A具有显示部131，该显示部131具有与显示部125同样的功能。据此，在视听装置103A能够进行与显示部125同样的显示以及操作。据此，视听者能够对拍摄技术154进行控制。

例如，显示部131通过通信，来获得与被输入到显示部125的信息相同的信息。并且，显示部131与显示部125同样，将修正的拍摄技术154、拍摄技术154的选择结果、或评价值等，通过通信反馈到影像处理装置102。

并且，也可以具有视听者或编辑者将新制作的拍摄技术154经由SNS等提供给其他的人的结构。在这种情况下，影像处理装置102根据被提供的拍摄技术154的下载数或受欢迎程度等，获得出色的拍摄技术154，将获得的拍摄技术154的信息用于以后的拍摄技术154的生成中。例如，获得的拍摄技术154被用作机器学习的参考。

并且，按照来自视听装置103A的交互性的操作而被显示到显示部125的画面的屏幕截图等，可以适宜地发送到视听装置103A。据此，由于只有画面信息被传输，因此能够减少传递的信息量。

(实施方式2)

在本实施方式，对视听装置103具备影像处理装置102的一部分功能的例子进行说明。图7是示出本实施方式所涉及的影像分发系统100B的构成的方框图。在图7所示的影像分发系统100B中，影像处理装置102B不具备拍摄技术生成部123、渲染部124以及显示部125。但是，影像处理装置102B具备评价信息接收部127。

分发部126将多视点影像151、三维模型152、示出对象场景153的信息以及附带信息等分发到视听装置103B。

视听装置103B具备：拍摄技术生成部123、渲染部124、显示部125、以及评价部132。另外，拍摄技术生成部123、渲染部124以及显示部125的功能与实施方式1说明的功能相同。

评价部132将通过显示部125以与实施方式1同样的方法得到的、拍摄技术154或拍摄技术确认用影像155的评价值、或拍摄技术154的修正内容等发送到影像处理装置102B。

评价信息接收部127接收由评价部132发送的信息。另外，该信息的传输也可以如上述那样，通过SNS等来执行。

据此，作为分发者一侧的影像处理装置102B能够获得视听者的嗜好信息等。因此，影像处理装置102B能够将与视听者的嗜好信息等相符的拍摄技术154的生成中所需要的信息(示出对象场景153的信息以及附带信息等)，发送到视听装置103B。

另外，在此虽然举例示出影像处理装置102B不具备拍摄技术生成部123、渲染部124以及显示部125的例子，不过也可以与实施方式1同样，影像处理装置102B可以具备拍摄技术生成部123、渲染部124以及显示部125。并且，分发部126也可以将自由视点影像156分发给视听装置103B。在这种情况下，在影像处理装置102B以及视听装置103B均能够进行拍摄技术154的修正。据此，一旦由编辑者修正的拍摄技术154，能够由视听者再次进行修正，因此，不仅能够减少视听者的操作，而且每个视听者能够视听与自己的嗜好相符的影像。

并且，在这种情况下，由评价信息接收部127接收的信息例如作为机器学习等进行拍摄技术154的自动生成时的学习数据来利用。

另外，上述的多个实施方式所示的多个装置中的处理的划分仅为一个例子，并非受上述所限。例如可以是，到三维模型152的生成为止由影像处理装置102B进行，多视点影像151以及三维模型152被传输到视听装置103B，在视听装置103B进行以后的处理。即，视听装置103B可以进一步具备解析部122。

以上对实施方式所涉及的影像分发系统等进行了说明，不过本申请并非受该实施方式所限。

例如，本申请可以作为在上述的影像分发系统中被执行的影像分发方法、影像处理方法、以及拍摄技术生成方法等来实现。

并且，上述的实施方式所涉及的影像分发系统中包含的各装置中所具备的各处理部，典型的由作为集成电路的LSI来实现。这些可以分别被制成一个芯片，也可以是其中的一部分或全部被制成一个芯片。

并且，集成电路化并非受LSI所限，也可以由专用电路或通用处理器来实现。也可以利用在LSI制造后可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或能够重构LSI内部的电路单元的连接或设定的可重构处理器。

在上述的各实施方式中，各构成要素可以由专用的硬件来构成，或者可以通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读出被记录在硬盘或半导体存储器等记录介质的软件程序并执行来实现。

换而言之，影像分发系统中包含的各装置或影像显示装置具备：处理电路(processing circuitry)、以及与该处理电路电连接的(能够由该处理电路接入的)存储装置(storage)。处理电路包括专用的硬件以及程序执行部的至少一方。并且，存储装置在处理电路包括程序执行部的情况下，存储由该程序执行部执行的软件程序。处理电路利用存储装置，来执行上述的实施方式所涉及的相机选择方法或影像显示方法。

而且，本申请可以是上述的软件程序，也可以是记录了上述程序的非暂时性的计算机可读取的记录介质。并且，上述程序能够通过因特网等传输媒体来流通。

并且，上述所使用的数字均为为了对本申请进行具体说明而列举的例子，本申请并非受这些例子中的数字所限。

并且，流程图等中所示的多个步骤的执行顺序均为用于对本申请进行具体说明的例子，因此也可以是上述以外的顺序。并且，上述的步骤的一部分也可以与其他的步骤同时(并行)执行。

以上基于实施方式对本申请的一个或多个形态所涉及的影像分发系统等进行了说明，本申请并非受这些实施方式所限。在不脱离本申请的主旨的范围内，将本领域技术人员所能够想到的各种变形执行于本实施方式的形态、以及对不同的实施方式中的构成要素进行组合而构成的形态均包含在本申请的一个或多个形态的范围内。

(实施方式3)

对上述的各实施方式所示的图像处理方法以及装置的构成的其他的应用例以及利用了这些方法和装置的系统进行说明。该系统能够适用于智能化和对象空间的广域化有进展的影像系统，例如能够适用于如下的(1)至(4)，(1)安装在店铺或工厂的监视摄像机、或警察的车载摄像机等的监视系统、(2)采用了私人拥有的相机或各车载摄像机、或者设置在道路上的相机等的交通信息系统、(3)采用了无人机等远程操作或可自动控制的装置的环境调查或发送系统、以及(4)采用了娱乐设施或体育场等中的设置相机、无人机等移动相机、或私人拥有的相机等的影像等内容收发系统等。

图8示出了本实施方式中的影像信息处理系统ex100的构成。在本实施方式中，对防止死角的发生的例子、以及禁止拍摄特定的区域的例子进行说明。

图8所示的影像信息处理系统ex100包括：影像信息处理装置ex101、多个相机ex102、以及影像接收装置ex103。另外，影像接收装置ex103也可以不必包括在影像信息处理系统ex100中。

影像信息处理装置ex101具备保存部ex111、以及解析部ex112。N个相机ex102的每一个具有对影像进行拍摄的功能、以及将拍摄的影像数据发送到影像信息处理装置ex101的功能。并且，相机ex102也有具有对拍摄中的影像进行显示的功能的情况。另外，相机ex102也可以将拍摄的影像信号，利用像HEVC或H.264这种编码方式进行编码后发送到影像信息处理装置ex101，也可以将没有经过编码的影像数据发送到影像信息处理装置ex101。

在此，各相机ex102为监视相机等固定相机、搭载于无人飞行型无线电遥控或车等的移动相机、或用户所持有的用户相机。

移动相机接收从影像信息处理装置ex101发送来的指示信号，按照接收的指示信号，变更移动相机自身的位置或拍摄方向。

并且，在开始拍摄前，关于多个相机ex102的时刻，采用服务器或基准相机的时刻信息等来校准。并且，关于多个相机ex102的空间位置，则根据成为拍摄对象的空间中的对象的映现方式或与基准相机的相对位置而被校准。

信息处理装置ex101中包括的保存部ex111，保存从N个相机ex102发送来的影像数据。

解析部ex112根据被保存在保存部ex111的影像数据，来检测死角，将用于防止死角的发生的示出给移动相机的指示的指示信号，发送给移动相机。移动相机按照指示信号移动，并继续拍摄。

解析部ex112例如利用SfM(Structure from Motion：运动恢复结构)来进行死角检测。SfM是指，将从不同的位置拍摄的多个影像恢复为被摄物体的三维形状的方法，是广泛知道的同时对被摄物体形状以及相机位置进行估计的形状恢复技术。例如，解析部ex112利用SfM，根据被保存在保存部ex111的影像数据，来恢复设施内或体育场内的三维形状，将不能恢复的区域作为死角来检测。

另外，解析部ex112在相机ex102的位置以及拍摄方向为固定，且位置以及拍摄方向的信息是已知的情况下，则可以利用这些已知的信息来进行SfM。并且，在移动相机的位置以及拍摄方向能够通过移动相机所具备的GPS以及角度传感器等来获得的情况下，移动相机将该移动相机的位置以及拍摄方向的信息发送到解析部ex112，解析部ex112可以利用发送来的位置以及拍摄方向的信息来进行SfM。

另外，死角检测的方法并非受利用上述的SfM的方法所限。例如，解析部ex112可以通过利用光电测距仪等的深度传感器的信息，来把握作为拍摄对象的对象的空间距离。并且，解析部ex112根据空间内预先设定的标记或特定的对象是否包括在图像中，在包括的情况下，则可以依据标记或特定的对象的大小等，来检测相机位置、拍摄方向以及变焦倍率等的信息。这样，解析部ex112利用能够检测各相机的拍摄区域的任意的方法，对死角进行检测。并且，解析部ex112可以从影像数据或接近距离传感器等，获得针对多个拍摄对象的彼此的位置关系等的信息，并根据获得的位置关系，来确定死角发生可能性高的区域。

在此，死角不仅是想要拍摄的区域中的不存在影像的部分，而且包括与其他的部分相比画质差的部分、以及没有得到预先决定的画质的部分等。该检测对象的部分可以按照该系统的构成或目的进行恰当的设定。例如，针对拍摄的空间中的特定的被摄物体，可以将要求的画质设定得较高。并且，关于拍摄空间中的特定的区域，可以将要求的画质设定得较低，即可以设定为，即使没有拍摄影像，也不判断为是死角。

另外，上述的画质是指，包括影像中的成为拍摄对象的被摄物体所占的面积(例如像素数)、或焦点是否对准成为拍摄对象的被摄物体等与影像有关的各种信息，可以将这些信息或他们的组合作为基准来判断是否为死角。

另外，在上述的说明中，虽然针对的是实际上成为死角的区域的检测，但是，为了防止死角的发生，需要检测的区域并非受实际上成为死角的区域所限。例如，在存在多个拍摄对象，且至少其中一部分移动了的情况下，通过在某个拍摄对象与相机之间加入其他的拍摄对象，则有可能生成新的死角。对此，解析部ex112例如可以从拍摄的影像数据等中检测多个拍摄对象的运动，根据检测出的多个拍摄对象的运动与相机ex102的位置信息，来估计有可能成为新的死角的区域。在这种情况下，影像信息处理装置ex101将指示信号发送给移动相机，以使该移动相机拍摄有可能成为死角的区域，从而可以防止死角的发生。

另外，在移动相机为多个的情况下，影像信息处理装置ex101为了拍摄死角、或有可能成为死角的区域，而需要选择将指示信号发送到哪个移动相机。并且，在移动相机以及死角、或有可能成为死角的区域分别为多个的情况下，影像信息处理装置ex101需要针对多个移动相机的每一个来决定拍摄哪个死角、或有可能成为死角的区域。例如，影像信息处理装置ex101根据死角、或有可能成为死角的区域、以及各移动相机在进行拍摄时的区域的位置，来选择与死角、或成为死角的区域最近的移动相机。并且，影像信息处理装置ex101也可以针对各移动相机，在没有得到该移动相机正在拍摄中的影像数据的情况下，判断是否发生了新的死角，并可以选择即使没有得到正在拍摄中的影像数据，也被判断为没有发生死角的移动相机。

通过以上的构成，影像信息处理装置ex101检测死角，为了防止死角，而向移动相机发送指示信号，据此能够防止死角的发生。

(变形例1)

另外，在以上的说明中，虽然陈述了向移动相机发送用于指示移动的指示信号的例子，指示信号也可以是用于指示用户相机的用户移动的信号。例如，用户相机根据指示信号，向用户显示指示图像，该指示图像指示变更相机的方向。另外，用户相机也可以显示表示地图上的移动路径的指示图像，以作为用户的移动的指示。并且，用户相机为了提高获得的图像的质量，也可以不显示拍摄方向、角度、画角、画质、以及拍摄区域的移动等详细的拍摄的指示，而且，若在影像信息处理装置ex101侧能够进行控制，影像信息处理装置ex101也可以自动地对与进行这种拍摄有关的相机ex102的特征量进行控制。

在此，用户相机例如是体育场内观众或设施内的警卫所持的智能电话、平板电脑型终端、可穿戴终端、或HMD(Head Mounted Display)。

并且，对指示图像进行显示的显示终端可以不必与拍摄影像数据的用户相机相同。例如，可以针对预先与用户相机建立了对应的显示终端，用户相机发送指示信号或指示图像，该显示终端对指示图像进行显示。并且，也可以是，与用户相机对应的显示终端的信息被预先注册到影像信息处理装置ex101。在这种情况下，影像信息处理装置ex101通过向与用户相机对应的显示终端直接发送指示信号，从而使显示终端对指示图像进行显示。

(变形例2)

解析部ex112例如可以利用SfM，通过从被保存在保存部ex111的影像数据，恢复设施内或体育场内的三维形状，来生成自由视点影像(三维再构成数据)。该自由视点影像被保存在保存部ex111。影像信息处理装置ex101从保存部ex111，读出与从影像接收装置ex103发送的视野信息(以及/或者视点信息)对应的影像数据，并发送到影像接收装置ex103。另外，影像接收装置ex103可以是多个相机中的一个。

(变形例3)

影像信息处理装置ex101也可以检测拍摄禁止区域。在这种情况下，解析部ex112对拍摄图像进行解析，在移动相机拍摄了拍摄禁止区域的情况下，向移动相机发送拍摄禁止信号。在移动相机接收拍摄禁止信号过程中，停止拍摄。

解析部ex112例如通过使利用SfM而被恢复的三维的虚拟空间、与拍摄影像映射，从而对空间内预先设定的移动相机是否正在拍摄拍摄禁止区域进行判断。或者，解析部ex112将空间内配置的标记或特征性的对象作为触发，来判断移动相机是否正在拍摄拍摄禁止区域。拍摄禁止区域例如是设施内或体育场内洗手间等。

并且，在用户相机拍摄了拍摄禁止区域的情况下，用户相机可以将消息显示到通过无线或有线连接的显示器等，或者通过从扬声器或耳机输出声音或语音，来向用户通知现在的场所是拍摄禁止场所。

例如，作为上述的消息，显示现在相机所对着的方向是禁止拍摄的。或者，在显示的地图上示出拍摄禁止区域和现在的拍摄区域。并且，关于拍摄的再次开始，例如在没有拍摄禁止信号的输出时自动执行。或者，在拍摄禁止信号没有被输出、且用户进行了再次开始拍摄的操作的情况下，可以再次开始拍摄。并且，在拍摄的停止与再次开始在短期间内发生了多次的情况下，也可以再次进行校准。或者，可以发出使用户进行当前位置的确认、或催促用户移动的通知。

并且，在警察等特殊任务的情况下，为了进行记录，也可以采用关闭这些功能的验证密码或指纹认证等。而且，即使在这种情况下，当拍摄禁止区域的影像被显示到外部或被保存时，也可以自动施加马赛克等图像处理。

通过以上的构成，影像信息处理装置ex101通过对拍摄禁止进行判断，并向用户通知停止拍摄，从而能够对某个区域进行禁止拍摄的设定。

(变形例4)

为了从影像构筑三维的虚拟空间，则需要收集多个视点的影像，因此，影像信息处理系统ex100对传送了拍摄影像的用户设定奖励。例如，影像信息处理装置ex101可以对传送了影像的用户以免费或打折优惠方式进行影像分发，或者赋予网店或实际店铺、或游戏内能够使用的具有金钱价值的分数，或者赋予游戏等虚拟空间中的社会地位等非金钱价值的分数。并且，影像信息处理装置ex101对传送了像请求多的这种具有价值的视野(以及/或者视点)的拍摄影像的用户，赋予特殊的高分数。

(变形例5)

影像信息处理装置ex101可以根据解析部ex112的解析结果，向用户相机发送附加信息。在这种情况下，用户相机将附加信息重叠到拍摄影像，并显示到画面。附加信息是指，例如在体育场中的比赛被拍摄的情况下，选手名或身高等选手的信息，与影像内的各选手建立对应，显示该选手的姓名或面部照片等。另外，影像信息处理装置ex101根据影像数据的一部分或全部的区域，通过经由因特网的检索，从而可以提取附加信息。并且，相机ex102可以通过以Bluetooth(注册商标)为代表的近距离无线通信、或通过体育场等照明的可见光通信，来接受这些附加信息，并将接受的附加信息映射到影像数据。并且，相机ex102可以根据被保持在通过有线或无线与相机ex102连接的存储部的表等一定的规则，来执行该映射，所述表也可以是示出通过可见光通信技术得到的信息与附加信息的对应关系的表等，并且也可以通过因特网检索，采用最确切的组合结果来执行映射。

并且，在监视系统中，能够通过针对设施内的警卫所持有的用户相机，重叠例如需要注意人物的信息，从而能够期待监视系统的高精度化。

(变形例6)

解析部ex112可以通过获取自由视点影像与用户相机的拍摄影像的匹配，来判断用户相机正在拍摄设施内或体育场内的哪个区域。另外，拍摄区域的判断方法并非受此所限，也可以采用上述的各实施方式所说明的各种拍摄区域的判断方法或其他的拍摄区域的判断方法。

影像信息处理装置ex101根据解析部ex112的解析结果，向用户相机发送过去影像。用户相机将过去影像重叠到拍摄影像，或将拍摄影像替换为过去影像，并显示到画面。

例如，可以在中场休息时，作为过去影像来显示前半场的最精彩场景。据此，用户能够在中场休息时，作为自己所看的方向的影像，来欣赏前半场的最精彩场景。另外，过去影像并非受前半场的最精彩场景所限，也可以是在该体育场进行的过去的比赛中的最精彩场景等。并且，影像信息处理装置ex101对过去影像进行分发的定时并非受中场休息中所限，例如可以是比赛结束后，也可以是比赛中。尤其是在比赛中的情况下，根据解析部ex112的解析结果，影像信息处理装置ex101可以分发认为是用户错过的重要的场景。并且，影像信息处理装置ex101可以仅在有用户的请求时才分发过去影像，或者可以在过去影像的分发前，发出允许分发的消息。

(变形例7)

影像信息处理装置ex101也可以根据解析部ex112的解析结果，向用户相机发送广告信息。用户相机将广告信息重叠到拍摄影像，并显示到画面。

广告信息例如可以是在将要分发变形例6所示的中场休息中或比赛结束后的过去影像前被分发。据此，分发业主能够从广告业主得到广告费，从而能够向用户提供廉价的或免费的影像分发服务。并且，影像信息处理装置ex101可以在将要分发广告信息前，分发允许进行广告分发的消息，也可以仅在用户视听了广告的情况下才提供免费的服务，或者可以提供比没有视听广告的情况下廉价的服务。

并且，当按照广告用户点击了“现在马上购买”等时，根据该系统或任意的位置信息，由把握了用户的位置的服务人员或会场的自动发送系统，将购买的饮料送到座位。结帐可以直接交给服务人员，也可以根据预先在移动终端的程序等中设定的信用卡信息来执行。并且，广告中可以包括向电子商务网站的链接，也可以是通常的送货上门等网上购物成为可能的状态。

(变形例8)

影像接收装置ex103也可以是一个相机ex102(用户相机)。在这种情况下，解析部ex112通过获得自由视点影像与用户相机的拍摄影像的匹配，来判断用户相机正在拍摄设施内或体育场内的哪个区域。另外，拍摄区域的判断方法并非受此所限。

例如，当用户向显示在画面上的箭头的方向进行滑动操作时，用户相机生成示出向该方向移动视点的视点信息。影像信息处理装置ex101从保存部ex111读出拍摄了从解析部ex112判断的用户相机的拍摄区域移动了视点信息部分的区域的影像数据，并开始该影像数据向用户相机的发送。于是，用户相机不仅显示拍摄影像，而且显示由影像信息处理装置ex101分发的影像。

如以上所述，设施内或体育场内的用户，通过滑动画面这种简单的操作，就能够视听喜好的视点的影像。例如，在棒球场的3垒侧观战的观众，能够视听1垒侧的视点的影像。并且，在监视系统中，设施内的警卫能够以滑动画面这种简单的操作，来视听自身想要确认的视点或从控制中心加入的需要注视的影像等，由于能够按照需要改变视点来进行视听，因此能够期待监视系统的高精度化。

并且，关于向设施内或体育场内的用户的影像的分发，例如即使在用户相机与拍摄对象之间存在障碍物而出现不能看到的区域的情况下也有效。在这种情况下，用户相机可以将用户相机的拍摄区域中含有障碍物的一部分的区域的影像，从拍摄影像切换为来自影像信息处理装置ex101的分发影像来显示，也可以将画面全体从拍摄影像切换为分发影像来显示。并且，用户相机可以对拍摄影像与分发影像进行合成，来显示透过障碍物能够看到视听对象的影像。通过此构成，即使在由于障碍物的影响而从用户的位置不能看到拍摄对象的情况下，也能够视听从影像信息处理装置ex101分发的影像，从而能够减轻障碍物的影响。

并且，在作为因障碍物而不能看到的区域的影像，对分发影像进行显示的情况下，像上述的滑动画面这种由用户进行的输入处理，可以进行与按照该输入处理的显示的切换控制不同的显示切换控制。例如，根据用户相机的移动和拍摄方向的信息、以及预先得到的障碍物的位置信息，在判断为拍摄区域中含有障碍物的情况下，从拍摄影像向分发影像的显示切换可以被自动执行。并且，在通过拍摄影像数据的解析，判断为不是拍摄对象而映现了障碍物的情况下，从拍摄影像向分发影像的显示切换可以被自动执行。并且，在拍摄影像中包含的障碍物的面积(例如像素数)超过了规定的阈值的情况下，或者相对于拍摄对象的面积的障碍物的面积的比超过了规定的比例的情况下，从拍摄影像向分发影像的显示切换可以被自动执行。

另外，可以按照用户的输入处理，来进行从拍摄影像向分发影像的显示的切换，以及进行从分发影像向拍摄影像的显示的切换。

(变形例9)

也可以根据在各相机ex102拍摄的影像数据的重要度，来指示将影像数据传送到影像信息处理装置ex101的速度。

在这种情况下，解析部ex112判断被保存在保存部ex111影像数据、或拍摄了该影像数据的相机ex102的重要度。在此的重要度的判断例如根据影像中包含的人数或移动物体的数量、影像数据的画质等的信息、或他们的组合而被执行。

并且，影像数据的重要度的判断也可以根据拍摄了影像数据的相机ex102的位置或影像数据拍摄的区域而被执行。例如，在成为对象的相机ex102的附近存在多个正在进行拍摄的其他的相机ex102的情况下，将成为对象的相机ex102所拍摄的影像数据的重要度降低。并且，即使成为对象的相机ex102的位置远离其他的相机ex102，在拍摄了相同区域的其他的相机ex102存在多个的情况下，将成为对象的相机ex102拍摄的影像数据的重要度降低。并且，影像数据的重要度的判断也可以根据影像分发服务中的请求的多少而被执行。另外，重要度的判断方法并非受上述方法或组合所限，只要是符合监视系统或影像分发系统的构成或目的的方法即可。

并且，重要度的判断也可以不根据拍摄的影像数据来执行。例如，可以将向影像信息处理装置ex101以外的终端发送影像数据的相机ex102的重要度设定得较高。相反，也可以将向影像信息处理装置ex101以外的终端发送影像数据的相机ex102的重要度设定得较低。据此，例如在需要进行影像数据的传输的多个服务共享通信频带的情况下，符合各个服务的目的或特性的通信频带的控制的自由度增高。据此，能够防止因不能获得所需要的影像数据而造成的各个服务的质量降低。

并且，解析部ex112也可以利用自由视点影像和相机ex102的拍摄影像，对影像数据的重要度进行判断。

影像信息处理装置ex101根据在解析部ex112进行的重要度的判断结果，向相机ex102发送通信速度指示信号。影像信息处理装置ex101例如向拍摄了重要度高的影像的相机ex102指示高的通信速度。并且，影像信息处理装置ex101不仅是进行速度的控制，而且可以针对重要的信息，为了降低因欠缺而带来的不利之处，而发送指示进行多次发送的方式的信号。据此，能够高效地进行设施内或体育场内全体的通信。另外，相机ex102与影像信息处理装置ex101的通信既可以是有线通信，也可以是无线通信。并且，影像信息处理装置ex101也可以仅控制有线通信以及无线通信的任意一方。

相机ex102以依照了通信速度指示信号的通信速度，将拍摄影像数据发送到影像信息处理装置ex101。另外，相机ex102在规定的次数的再次发送失败了的情况下，也可以停止该拍摄影像数据的再次发送，而开始下一个拍摄影像数据的传送。据此，能够高效地进行设施内或体育场内全体的通信，从而能够实现解析部ex112中的处理的高速化。

并且，相机ex102在分配给各自的通信速度不是能够传送拍摄的影像数据的充分的频带的情况下，可以将拍摄的影像数据转换为能够以分配的通信速度来发送的位速率的影像数据，可以发送转换后的影像数据，也可以停止影像数据的传送。

并且，为了防止上述这样的死角的发生，在使用了影像数据的情况下，仅是拍摄的影像数据中包含的拍摄区域中的一部分区域有可能需要对死角进行弥补。在这种情况下，相机ex102从影像数据，至少需要提取用于防止死角的发生的区域，来生成提取影像数据，从而可以将生成的提取影像数据发送到影像信息处理装置ex101。通过此构成，能够以较少的通信频带来实现死角发生的抑制。

并且，例如在进行了附加信息的重叠显示或影像分发的情况下，相机ex102需要将相机ex102的位置信息以及拍摄方向的信息发送给影像信息处理装置ex101。在这种情况下，仅被分配了不能充分地传送影像数据的频带的相机ex102，也可以仅发送由相机ex102检测出的位置信息以及拍摄方向的信息。并且，在影像信息处理装置ex101，在对相机ex102的位置信息以及拍摄方向的信息进行估计的情况下，相机ex102可以将拍摄的影像数据转换为在位置信息以及拍摄方向的信息的估计中所需要的分辨率，并可以将被转换的影像数据发送到影像信息处理装置ex101。通过此构成，即使是仅被分配了少的通信频带的相机ex102，也能够提供附加信息的重叠显示或影像分发的服务。并且，影像信息处理装置ex101为了从更多的相机ex102获得拍摄区域的信息，例如以检测受到关注的区域等为目的，在利用拍摄区域的信息的情况下也有效。

另外，与上述被分配的通信频带相符的影像数据的传送处理的切换，可以根据被通知的通信频带而由相机ex102执行，也可以是，由影像信息处理装置ex101决定各相机ex102的工作，将示出被决定的工作的控制信号通知到各相机ex102。据此，按照工作的切换判断所需要的计算量、相机ex102的处理能力、以及所需要的通信频带等，恰当地进行处理的分担。

(变形例10)

解析部ex112可以根据从影像接收装置ex103发送的视野信息(以及/或者视点信息)，来判断影像数据的重要度。例如，解析部ex112将包括了较多的视野信息(以及/或者视点信息)所示的区域的拍摄影像数据的重要度设定得较高。并且，也可以是，解析部ex112考虑影像中包含的人数、或移动物体的数量，来判断影像数据的重要度。另外，重要度的判断方法并非受此所限。

另外，本实施方式所说明的通信控制方法，并非必需用于从多个影像数据来进行三维形状的再构筑的系统。例如在有多个相机ex102存在的环境中，只要是针对影像数据，有选择的或以不同的传输速度，通过有线通信以及/或者无线通信来进行发送的情况，本实施方式所说明的通信控制方法就会有效。

(变形例11)

在影像分发系统中，影像信息处理装置ex101也可以将示出拍摄场景的全体的概观影像发送到影像接收装置ex103。

具体而言，影像信息处理装置ex101在接收从影像接收装置ex103发送来的分发请求的情况下，从保存部ex111读出设施内或体育场内全体的概观影像，将该概观影像发送到影像接收装置ex103。该概观影像的更新间隔可以长(可以是低帧率)，并且，画质可以低。视听者触摸被显示在影像接收装置ex103的画面上的概观影像中想要看的部分。据此，影像接收装置ex103将与被触摸的部分对应的视野信息(以及/或者视点信息)，发送给影像信息处理装置ex101。

影像信息处理装置ex101从保存部ex111读出与视野信息(以及/或者视点信息)相符的影像数据，并将该影像数据发送给影像接收装置ex103。

并且，解析部ex112针对视野信息(以及/或者视点信息)所示的区域，通过优先进行三维形状的恢复(三维再构成)，从而生成自由视点影像。解析部ex112针对设施内或体育场内全体的三维形状，以能够示出概观的程度的精度来恢复。据此，影像信息处理装置ex101能够高效地进行三维形状的恢复。这样，能够实现视听者想要看的区域的自由视点影像的高帧率化以及高画质。

(变形例12)

另外，也可以是，影像信息处理装置ex101例如将从设计图等中事前生成的设施或体育场的三维形状恢复数据作为事前影像，来预先保存。另外，事前影像并非受此所限，也可以是虚拟空间数据，该虚拟空间数据是指，按照每个对象，映射了从深度传感器获得的空间的凹凸、以及从过去或校准时的图像或影像数据中导出的图片的数据。

例如，在体育场进行足球比赛的情况下，解析部ex112可以仅对选手以及球进行限定，来进行三维形状的恢复，通过对得到的恢复数据与事前影像进行合成，来生成自由视点影像。或者，解析部ex112可以针对选手以及球优先进行三维形状的恢复。据此，影像信息处理装置ex101能够高效地进行三维形状的恢复。这样，能够实现与视听者所关注的选手以及球有关的自由视点影像的高帧率化以及高画质化。并且，在监视系统中，解析部ex112可以仅限定人物以及移动物体、或将他们优先进行三维形状的恢复。

(变形例13)

各装置的时刻也可以根据服务器的基准时刻等，在拍摄开始时被校准。解析部ex112利用多个相机ex102拍摄的多个拍摄影像数据之中的、按照时刻设定的精度，属于预先设定的时间范围内的时刻中拍摄的多个影像数据，进行三维形状的恢复。在该时刻的检测中，例如采用拍摄影像数据被存放到保存部ex111的时刻。另外，时刻的检测方法并非受此所限。据此，影像信息处理装置ex101能够高效地进行三维形状的恢复，因此能够实现自由视点影像的高帧率化以及高画质化。

或者，解析部ex112可以仅利用被保存在保存部ex111的多个影像数据中的高画质数据，或优先利用高画质数据，进行三维形状的恢复。

(变形例14)

解析部ex112可以利用相机属性信息，进行三维形状的恢复。例如，解析部ex112可以利用相机属性信息，通过视觉外型法或多视角立体视觉(multi-view stereo)法等手法，来生成三维影像。在这种情况下，相机ex102将拍摄影像数据与相机属性信息发送到影像信息处理装置ex101。相机属性信息例如是拍摄位置、拍摄角度、拍摄时刻、或变焦倍率等。

据此，由于影像信息处理装置ex101能够高效地进行三维形状的恢复，因此能够实现自由视点影像的高帧率化以及高画质化。

具体而言，相机ex102在设施内或体育场内定义三维坐标，相机ex102将示出哪个位置上的坐标是从哪个角度、以怎样的变焦、在哪个时间拍摄的信息与影像一起，作为相机属性信息发送到影像信息处理装置ex101。并且，在相机ex102的启动时，设施内或体育场内的通信网络上的时钟与相机内的时钟取得同步，从而生成时间信息。

并且，在相机ex102的启动时或任意的定时，通过使相机ex102朝向设施内或体育场内的特定的点，从而获得相机ex102的位置以及角度信息。图9示出了相机ex102在启动时，在相机ex102的画面上显示的通知的一个例子。用户按照该通知，使显示在画面中央的“+”，重叠到体育场北侧的广告中的足球的中心上的“+”，在触摸相机ex102的显示器时，相机ex102获得从相机ex102到广告的向量信息，对相机位置以及角度的基准进行确定。之后，根据相机ex102的动作信息，来确定每个时刻的相机坐标以及角度。当然，并非受该显示所限，也可以采用箭头等，即使在拍摄期间中也可以进行指示坐标、角度、或拍摄区域的移动速度等的显示。

相机ex102的坐标的确定可以利用GPS、WiFi(注册商标)、3G、LTE(Long TermEvolution：长期演进)、以及5G(无线LAN)的电波来进行，也可以利用信标(Bluetooth(注册商标)、超声波)等近距离无线。并且，也可以利用示出拍摄影像数据被送到设施内或体育场内的哪个基站的信息。

(变形例15)

该系统可以作为在智能电话等的移动终端上工作的应用程序而被提供。

在向上述系统的登录中，可以采用各种SNS等帐户。另外，也可以采用应用程序专用的帐户、或功能受到限制的客户帐户。这样，通过采用帐户，从而能够对喜好的影像或喜好的帐户等进行评价。并且，通过针对与拍摄中或视听中的影像数据类似的影像数据、与拍摄中或视听中的影像数据的视点类似的视点的影像数据等优先分配频带，从而能够提高这些影像数据的分辨率。据此，能够以高的精度进行从这些视点的三维形状的恢复。

并且，用户以该应用程序来选择喜好的图像影像，通过跟随对方，从而能够比其他的用户优先看到选择的图像，在对方的承认等条件下，能够以文本聊天来取得联系。这样，能够生成新的群体。

这样，用户彼此在群体内取得联系，从而能够活跃拍摄本身，并且拍摄的图像的共享等也活跃，从而能够促进更高精度的三维形状的恢复。

并且，能够按照群体内的联系的设定，用户可以编辑其他人拍摄的图像或影像，通过对其他人的图像与自己的图像进行拼贴，来制作新的图像或影像。据此，只有该群体内的人才能分用新的图像或影像等，从而新的影像作品的分用成为可能。并且，在该编辑中，通过插入CG动画等，从而在增强现实(Augmented Reality)的游戏等中也能够利用影像作品。

并且，由于通过该系统，三维模型数据能够被依次输出，因此根据进球场景等特征性场景的三维模型数据，设施所具有的3D打印机等能够输出立体对象。据此，在比赛后，基于该比赛中的场景的对象能够作为钥匙圈等礼品来销售，并能够向参加用户分发。当然，作为通常的照片，也能够打印最佳视点的图像。

(变形例16)

利用上述系统，例如能够根据警察的车载摄像机、以及警察的可穿戴相机的影像等，通过与该系统连接的控制中心，来管理地区全体的大致状态。

在进行一般的巡视时，例如每隔几分钟就进行静止图像的收发。并且，控制中心根据利用过去的犯罪数据等而分析的结果所制成的犯罪地图，来确定犯罪发生的可能性高的地区，或者保持与这样被确定的犯罪发生概率关联的地区数据。可以在被确定的犯罪发生概率高的地区，提高图像的收发频度，也可以将图像变更为动画。并且，在事件发生时也可以采用动画、或利用SfM等制作的三维再构成数据。并且，控制中心或各终端可以同时利用深度传感器或温度传感器等其他的传感器的信息，来校正图像或虚拟空间，从而警察能够更正确的掌握状况。

并且，控制中心通过利用三维再构成数据，向多个终端反馈该对象的信息。据此，具有各终端的个人能够追踪对象。

并且，最近，在建筑物或环境的调查、或者体育运动等具有临场感的拍摄等目的中，通过四轴飞行器(quadcopter)、无人机等能够飞行的装置从空中进行拍摄。通过这种自律移动装置的拍摄，虽然图像的晃动容易成为课题，SfM能够通过位置以及倾斜，在对其晃动进行校正的同时进行三维化。据此，能够实现画质的提高以及空间的恢复精度的提高。

并且，拍摄车外的车载摄像机的设置，会因国家的规定而成为义务。即使在这种车载摄像机中，也能够通过利用从多个图像而被模型化的三维数据，以更高的精度来掌握目的地方向的天气以及前方的路面状态、交通拥挤程度等。

(变形例17)

上述系统例如也能够适用于采用多个相机来进行建筑物或设备的测距或建模的系统。

在此，例如在利用一台无人机来从上空拍摄建筑物，进行建筑物的测距或建模的情况下，当在测距中有动的物体被映入相机时，会出现测距的精度降低的问题。并且，会有不能进行动的物体的测距以及建模的问题。

另外，如以上所述，通过利用多个相机(固定相机、智能电话、可穿戴相机以及无人机等)，不论是否有动的物体，都能够以稳定的精度来实现建筑物的测距以及建模。并且，能够实现动的物体的测距以及建模。

具体而言，例如在建筑工地，将相机安装到作业人员的防护帽等。据此，能够与作业人员的工作并行，进行建筑物的测距。并且能够用于作业的效率化以及错误的防止中。并且能够利用由被安装在作业人员的相机拍摄的影像，来对建筑物进行建模。而且，在异地的管理者能够通过观看被建模的建筑物，来确认进展状况。

并且，该系统能够用于工场或发电站的设备等不能停止的设备的检查中。并且，该系统能够用于桥梁或水库的开闭、或者游乐园的乘坐项目的工作等中是否有异常的检查中。

并且，通过该系统对道路的拥挤状况或交通量进行监视，从而能够生成示出各时间段的道路的拥挤状况或交通量的地图。

(实施方式4)

通过将用来实现上述各实施方式所示的图像处理方法的构成的程序记录到存储介质中，从而能够将上述各实施方式所示的处理在独立的计算机系统简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明上述各实施方式所示的图像处理方法的应用例以及采用了他们的系统。该系统的特征是，具有使用了图像处理方法的装置。关于系统的他的构成，可以根据情况适当地变更。

图10是示出实现内容分发服务的内容提供系统ex200的全体构成的图。

将通信服务的提供区划分为希望的大小，在各单元内分别设置作为固定无线站的基站ex206、ex207、ex208、ex209、ex210。

该内容提供系统ex200在因特网ex201上经由因特网服务商ex202、通信网ex204、以及基站ex206～ex210，而与计算机ex211、PDA(Personal Digital Assistant)ex212、相机ex213、智能电话ex214、游戏机ex215等各设备连接。

但是，内容提供系统ex200并非受图10所示的构成所限，也可以将某个要素组合连接。并且，也可以不经由作为固定无线站的基站ex206～ex210，将各设备直接连接到电话线、有线电视、或光通信等通信网ex204。并且，各设备也可以经由近距离无线等而直接相互连接。

相机ex213是数字摄像机等能够进行运动图像拍摄的设备，相机ex216是数字相机等能够进行静止图像拍摄、运动图像拍摄的设备。并且，智能电话ex214是GSM(注册商标)(Global System for Mobile Communications)方式、CDMA(Code Division MultipleAccess)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或LTE(LongTerm Evolution)方式、HSPA(High Speed Packet Access)、或与利用高频域的通信方式等对应的智能电话机、或PHS(Personal Handyphone System)等，是哪种都可以。

在内容提供系统ex200，通过将相机ex213等经由基站ex209、通信网ex204连接到流媒体服务器ex203，从而能够进行实况演出分发等。在实况演出分发中，对用户使用相机ex213拍摄的内容(例如，音楽实况演出的影像等)进行编码处理，向流媒体服务器ex203发送。另一方面，流媒体服务器ex203将发送来的内容数据对有要求的客户端进行流分发。作为客户端，有能够对上述编码处理后的数据进行解码的计算机ex211、PDAex212、相机ex213、智能电话ex214、游戏机ex215等。在接收到分发的数据的各设备中，对接收的数据进行解码处理并再生。

另外，拍摄的数据的编码处理既可以由相机ex213进行，也可以由进行数据的发送处理的流媒体服务器ex203进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex203进行，也可以相互分担进行。并且，不仅限于相机ex213，也可以将由相机ex216拍摄的静止图像以及/或运动图像数据经由计算机ex211，向流媒体服务器ex203发送。此情况下的编码处理由相机ex216、计算机ex211、流媒体服务器ex203的哪个进行都可以，也可以相互分担进行。而且，关于被解码的图像的显示，也可以通过与系统连接的多个设备联动来显示相同的图像，也可以在具有大的显示部的装置进行全体图像的显示，还可以在智能电话ex214等对图像的一部分区域进行放大显示。

并且，这些编码解码处理一般在计算机ex211或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。并且，也可以将运动图像编码解码用的软件装入到能够由计算机ex211等读取的某些记录介质(CD-ROM、软盘、硬盘等)，使用该软件进行编码解码处理。而且，在智能电话ex214带有相机的情况下，也可以发送由该相机获得的运动图像数据。此时的运动图像数据是由智能电话ex214具有的LSIex500编码处理的数据。

并且，也可以是，流媒体服务器ex203是多个服务器或多个计算机，对数据进行分散处理、记录并分发。

如以上所述，在内容提供系统ex200，被编码的数据由客户端接收并能够被再生。这样，在内容提供系统ex200，客户端能够将用户发送的信息实时地接收、解码、再生，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限于内容提供系统ex200的例子，如图11所示，在数字广播用系统ex300中也能够适用上述各实施方式。具体而言，在广播站ex301，将对影像数据复用了音乐数据等而得到的复用数据，经由电波向通信或卫星ex302传送。该影像数据是由上述各实施方式所说明的运动图像编码方法编码后的数据。接受到该数据的广播卫星ex302发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex304接收该电波。通过电视机(接收機)ex400或机顶盒(STB)ex317等装置对接收的复用数据进行解码并再生。

并且，在将记录在DVD、BD等记录介质ex315、或SD等存储器ex316中的复用数据读取并解码、或将记录介质ex315或存储器ex316中的影像信号进行编码，进一步根据情况对音楽信号进行复用而写入到读取器/记录器ex318中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再生的影像信号显示在监视器ex319，通过记录有复用数据的记录介质ex315、或存储器ex316在其他的装置或系统中能够再生影像信号。并且，可以是，在连接在有线电视用的线缆ex303或卫星/地面波广播的天线ex304的机顶盒ex317内安装运动图像解码装置，将其用电视机的监视器ex319显示。此时，也可以不是机顶盒，而可以在电视机内组装运动图像解码装置。

图12示出了智能电话ex214。并且，图13示出了智能电话ex214的构成例。智能电话ex214具有：用于在与基站ex210之间收发电波的天线ex450、能够拍摄影像、静止图像的相机部ex465、显示将由相机部ex465拍摄的影像、由天线ex450接收的影像等解码后的数据的液晶显示器等显示部ex458。智能电话ex214还具备：作为触摸屏等的操作部ex466；作为用于输出声音的扬声器等的声音输出部ex457；作为用于输入声音的麦克风等的声音输入部ex456；能够保存拍摄的影像、静止图像、录音的声音、或接收的影像、静止图像、邮件等编码后的数据或解码后的数据的存储器部ex467；或者作为接口部的插槽部ex464，该接口部是与图11所示的存储器ex316、或对用户进行确定、以网络为代表的用于对各种数据的接入进行认证的SIMex468的接口。

智能电话ex214针对合并控制显示部ex458以及操作部ex466等的主控制部ex460，电源电路部ex461、操作输入控制部ex462、影像信号处理部ex455、相机接口部ex463、LCD(Liquid Crystal Display：液晶显示器)控制部ex459、调制/解调部ex452、复用/分离部ex453、声音信号处理部ex454、插槽部ex464、存储器部ex467经由总线ex470相互连接。

电源电路部ex461如果通过用户的操作使通话结束以及电源键成为开启状态，则通过从电池组向各个部供电，智能电话ex214启动为能够工作的状态。

智能电话ex214基于具有CPU、ROM、RAM等的主控制部ex460的控制，在语音通话模式时，将由声音输入部ex456集音的声音信号通过声音信号处理部ex454转换为数字声音信号，将其用调制/解调部ex452进行波普扩散处理，由发送/接收部ex451实施数字模拟转换处理以及频率变换处理后由天线ex450发送。并且，智能电话ex214在语音通话模式时，将由天线ex450接收的接收数据放大并实施频率变换处理以及模拟数字转换处理，用调制/解调部ex452进行波普逆扩散处理，通过声音信号处理部ex454转换为模拟声音信号后，将其经由声音输出部ex457输出。

进一步，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作部ex466等的操作而被输入的电子邮件的文本数据，经由操作输入控制部ex462向主控制部ex460送出。主控制部ex460将文本数据用调制/解调部ex452进行波普扩散处理，由发送/接收部ex451实施数字模拟转换处理以及频率变换处理后由天线ex450向基站ex210发送。在接收电子邮件的情况下，对接收的数据执行大致上述处理的逆处理，并输出到显示部ex458。

在数据通信模式时，在发送影像、静止图像、或影像和声音的情况下，影像信号处理部ex455将从相机部ex465提供的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码，将编码后的影像数据送出到复用/分离部ex453。并且，声音信号处理部ex454对通过相机部ex465拍摄影像、静止图像等过程中由声音输入部ex456集音的声音信号进行编码，将编码后的声音数据送出到复用/分离部ex453。

复用/分离部ex453通过规定的方式，对从影像信号处理部ex455提供的编码后的影像数据和从声音信号处理部ex454提供的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex452进行波谱扩散处理，由发送/接收部ex451实施数字模拟转换处理以及频率变换处理后，经由天线ex450发送。

在数据通信模式时，接收到链接到主页等运动图像文件的数据的情况下，或者接收到附加了影像以及/或者声音的电子邮件的情况下，为了对经由天线ex450接收的复用数据进行解码，复用/分离部ex453通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex470将编码后的影像数据向影像信号处理部ex455提供，并将编码后的声音数据提供到声音信号处理部ex454。影像信号处理部ex455通过与上述各实施方式所示的运动图像编码方法对应的运动图像解码方法进行解码，由此对影像信号进行解码，经由LCD控制部ex459从显示部ex458显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex454对声音信号进行解码，从声音输出部ex457输出声音。

并且，上述智能电话ex214等终端与电视机ex400同样，处理具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的三种安装形式。而且，在数字广播用系统ex300，以发送、接收在影像数据中复用了音乐数据等得到的复用数据为例进行了说明，但除了声音数据以外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

并且，本发明并非受上述实施方式所限，能够在不脱离本发明的范围内进行各种变形或修正。

本申请能够适用于对自由视点影像进行分发的影像分发系统等。

符号说明

100、100A、100B 影像分发系统

101 摄像装置

102、102B 影像处理装置

103、103A、103B 视听装置

111 相机

112 传感器

121 模型生成部

122 解析部

123 拍摄技术生成部

124 渲染部

125、131 显示部

126 分发部

127 评价信息接收部

132 评价部

151 多视点影像

152 三维模型

153 对象场景

154 拍摄技术

155 拍摄技术确认用影像

156 自由视点影像

201 拍摄技术显示栏

202 相机信息显示栏

203 自由视点影像显示栏

204 滑动条

205 评价显示栏

206 加载键

Claims (10)

1.一种拍摄技术生成方法，包括：

模型生成步骤，根据从不同的视点拍摄了同一场景的多视点影像，生成所述场景的三维模型；

对象场景决定步骤，决定对象场景，该对象场景是所述场景之中的、生成从虚拟相机来看所述三维模型时的自由视点影像的对象；以及

拍摄技术生成步骤，生成拍摄技术，该拍摄技术示出所述自由视点影像中的所述虚拟相机的位置以及姿态的时间变化。

2.如权利要求1所述的拍摄技术生成方法，

在所述对象场景决定步骤，利用所述多视点影像或所述三维模型，决定所述对象场景。

3.如权利要求1所述的拍摄技术生成方法，

在所述对象场景决定步骤，利用所述场景的声音，决定所述对象场景。

4.如权利要求1至3的任一项所述的拍摄技术生成方法，

在所述拍摄技术生成步骤，以与所述对象场景对应的预先决定了类别的物体包含在所述自由视点影像的方式，来决定所述虚拟相机的位置以及姿态。

5.如权利要求1至3的任一项所述的拍摄技术生成方法，

在所述拍摄技术生成步骤，根据包含在所述三维模型的多个部分的精度，来决定所述虚拟相机的位置以及姿态。

6.如权利要求1至5的任一项所述的拍摄技术生成方法，

所述拍摄技术生成方法进一步包括拍摄技术显示步骤，在该拍摄技术显示步骤，对所述拍摄技术进行显示。

7.权利要求1至6的任一项所述的拍摄技术生成方法，

所述拍摄技术生成方法进一步包括影像生成步骤，在该影像生成步骤，利用所述拍摄技术，从所述三维模型或所述多视点影像中生成所述自由视点影像。

8.如权利要求7所述的拍摄技术生成方法，

在所述影像生成步骤，在所述自由视点影像中添加晃动。

9.如权利要求1至8的任一项所述的拍摄技术生成方法，

所述拍摄技术生成方法进一步包括获得步骤，在该获得步骤，获得用户针对所述拍摄技术的评价，

在所述拍摄技术生成步骤，根据所述评价，生成拍摄技术。

10.一种影像处理装置，具备：

模型生成部，根据从不同的视点拍摄了同一场景的多视点影像，来生成所述场景的三维模型；

解析部，决定对象场景，该对象场景是所述场景之中的、生成从虚拟相机来看所述三维模型时的自由视点影像的对象；以及

拍摄技术生成部，生成拍摄技术，该拍摄技术示出所述自由视点影像中的所述虚拟相机的位置以及姿态的时间变化。