CN102823231A - 摄像控制装置、没入位置信息生成装置、摄像控制方法、没入位置信息生成方法 - Google Patents

Abstract

本发明公开了提供能够实现有没入感的放大变焦的摄像控制装置等的技术，根据该技术，具有：摄像部件（701），具有以规定的基线长的间隔配置的至少2个光学系统；计算部件（704），基于规定的基准变焦倍率、相对于规定的基准变焦倍率的期望的变焦倍率、从摄像部件至被摄体的距离，计算从为了实现期望的变焦倍率而应配置摄像部件的虚拟的位置起至摄像部件的现实的位置为止的没入距离，基于没入距离，计算在连接至少2个光学系统之间的线的延长线上配置至少2个光学系统的情况下的至少2个光学系统的间隔，所述在连接至少2个光学系统之间的线的延长线上配置至少2个光学系统是为了实现与在虚拟的位置配置摄像部件而实现期望的变焦倍率的情况同样的期望的变焦倍率；以及控制部件（705），将规定的基线长变更为计算出的间隔，配置至少2个光学系统，摄像部件在上述配置的状态下，拍摄被摄体。

Description

摄像控制装置、没入位置信息生成装置、摄像控制方法、没入位置信息生成方法

技术领域

本发明涉及拍摄使用户融像的视频的摄像控制装置、没入位置信息生成装置、摄像控制方法、没入位置信息生成方法。

背景技术

在具有左右摄影光学系统的立体摄像机中，在最佳的左右两眼视差调整上进行各种尝试。例如，基于聚焦信息，通过立体效果调整机构，利用驱动电动机使左右摄像机的光轴的交叉位置与被摄体的位置一致，或者根据变焦倍率信息，进行立体图像摄影装置的左右摄影光学系统间的基线长、辐辏角的控制，作出最佳的两眼视差（参照专利文献1至4）。

另外，公开了通过将对变焦倍率变动前的基线长乘以变焦倍率变动量的倒数的值设定成新的基线长，并且将左右摄影光学系统的光轴的交点设定成与基线长变动前相同的位置的辐辏角，从而将偏移量抑制成与变焦变动前相比几乎不变，促使观察者的立体图像的自然融像（参照专利文献5）。这里，所谓自然融像，是指观察者将右眼用的视频和左眼用的视频识别为立体的视频。

现有技术文献

专利文献

专利文献1：特开2008-233579号公报

专利文献2：特开1995-322128号公报

专利文献3：特开2009-210957号公报

专利文献4：特开2005-24629号公报

专利文献5：特开2003-107601号公报

但是，在中、近距离拍摄实况的立体视频的摄影时有效的上述的调整方法，在作为中、长距离拍摄实况的广播用视频的情况下，有时不理想。例如，在作为提供同样的立体视频的技术的CG（Computer Graphics：计算机图形学）中，由于在有视差的视频构图（rendering）时能够设定从任意的视点起的观察者视差，因此，无论在什么样的场景（scene）下，设定任意的位置作为观察者的视点，不仅是放大变焦，也能够播出像观察者接近对象物体那样的变焦（以后，为了区别，标记为没入变焦，假设也包含缩小变焦时的相反动作）。这里，“没入变焦”是指，相对于仅进行通常的视频放大的变焦，也使视差匹配地变化，从而使得接近观察者实际接近或者离开的状态的变焦方法。也就是说，相对于放大远处的立体（用双筒望眼镜观看的感觉）有观察者由于接近了物体而看得大的状态（伴随视点的移动的感觉）的表现方面的差异。

这里，在中、近距离拍摄实况中不那么成问题，倒是与通过抑制两眼的视差而容易地进行观察者的融像的场景不同，在中、长距离拍摄实况的场景中，会产生被摄体的凹凸相对于至被摄体的距离的比例（在被摄体相对于视野空间的进深上产生的视差）不同导致的没入感的丧失的问题。例如，如果考虑进深1m的3D区域中的10cm的凹凸的超出量（10%）和进深50m的3D区域中的10cm的凹凸的超出量（0.2%），在想要表现观察者感觉到的立体感不同的场景下，不仅是放大变焦，如果不表现与观察者的（设想播出方面）站立位置联动的没入变焦，则可能损害观察者感觉到的没入感、现场感。

在仅基于以往的方法的情况下，即使进行与距离对应的基线长设定、辐辏角设定也能够减轻融像时的失真和偏移，但是虽然变焦，还是存在没入感轻的问题。另外，即使减轻变焦时缩短基线长导致的近像偏移，也存在失去没入感的问题。

另外，在播出没入感方面，在实际环境中，如果接近对象物，辐辏角应该变大，但是如图11的虚线所示，通过放大变焦得到的图像并非如此，辐辏角会无变化或者变小，因此，存在观察者对与平常的感觉不同的视觉信息觉得不协调，或者难以融像的问题。在再现时刻，观察者的视点位置对于观察者来说变得不清楚。

另外，图11的直线所示的是以基本的倍率拍摄画面区域的情况，表示该情况下的2台光学系统的位置、辐辏角、基线长、视差图像。另外，图11的点划线表示的是摄像机接近被摄体的情况，表示该情况下的2台光学系统的位置（正接近）、辐辏角（正变大）、基线长（无变化）、视差图像（被摄体变大且视差变大）。

发明内容

本发明鉴于上述问题，目的在于提供焦点保持一定而使虚拟视点与变焦位置一致，拍摄能够实现有没入感的放大变焦的图像的摄像控制装置、没入位置信息生成装置、摄像控制方法、没入位置信息生成方法。

为了实现上述目的，根据本发明，提供摄像控制装置，该摄像控制装置拍摄用于使用户将从摄像地点离开了规定的距离以上的被摄体识别为立体的至少2个图像，具有：摄像部件，具有以规定的基线长的间隔配置的至少2个光学系统，拍摄所述被摄体；计算部件，在将以所述基线长间隔配置的所述至少2个光学系统的变焦倍率作为基准变焦倍率时，基于所述基准变焦倍率、相对于所述规定的基准变焦倍率的期望的变焦倍率、从所述摄像部件至所述被摄体的距离，计算从为了实现所述期望的变焦倍率而应配置所述摄像部件的虚拟的位置起至所述摄像部件的现实的位置为止的距离即没入距离，基于计算出的所述没入距离，计算在连接所述至少2个光学系统的实际的位置之间的线的延长线上配置所述至少2个光学系统的情况下的所述至少2个个光学系统的间隔，所述在连接所述至少2个光学系统的实际的位置之间的线的延长线上配置所述至少2个光学系统是为了实现与在所述虚拟的位置配置摄像控制装置而实现所述期望的变焦倍率的情况同样的期望的变焦倍率；以及控制部件，将所述规定的基线长变更为计算出的所述间隔，配置所述至少2个光学系统，所述摄像部件在由所述控制部件配置了所述至少2个光学系统的状态下，拍摄所述被摄体。根据该结构，能够实现有没入感的放大变焦。另外，所谓规定的距离，是指通过与变焦联动而使基线长变长，从而能够实现有没入感的变焦的距离。另外，这里的用户相当于后述的观察者（以下同样）。

另外，根据本发明，提供没入位置信息生成装置，该没入位置信息生成装置基于来自摄像控制装置的信息，生成用于将被摄体识别为立体的信息，所述摄像控制装置拍摄用于使用户将从摄像地点离开了规定的距离以上的所述被摄体识别为立体的至少2个图像，该没入位置信息生成装置具有：接收部件，从所述摄像控制装置接收所述用户的虚拟视点位置的信息；以及生成部件，生成将接收到的所述虚拟视点位置的信息附加到来自所述摄像控制装置的拍摄视频的视频信息。根据该结构，能够实现有没入感的放大变焦。

另外，根据本发明，提供摄像控制方法，该摄像控制方法为拍摄用于使用户将从摄像地点离开了规定的距离以上的被摄体识别为立体的至少2个图像的摄像控制方法，具有：计算步骤，在将以规定的基线长的间隔配置的至少2个光学系统的变焦倍率作为基准变焦倍率时，基于所述基准变焦倍率、相对于所述规定的基准变焦倍率的期望的变焦倍率、从具有所述至少2个光学系统且拍摄所述被摄体的摄像部件至所述被摄体的距离，计算从为了实现所述期望的变焦倍率而应配置所述摄像部件的虚拟的位置起至所述摄像部件的现实的位置为止的距离即没入距离，基于计算出的所述没入距离，计算在连接所述至少2个光学系统的实际的位置之间的线的延长线上配置所述至少2个光学系统的情况下的所述至少2个光学系统的间隔，所述在连接所述至少2个光学系统的实际的位置之间的线的延长线上配置所述至少2个光学系统是为了实现与在所述虚拟的位置配置摄像控制装置而实现所述期望的变焦倍率的情况同样的期望的变焦倍率；控制步骤，将所述规定的基线长变更为计算出的所述间隔，配置所述至少2个光学系统；以及摄像步骤，在由所述控制步骤配置了所述至少2个光学系统的状态下，拍摄所述被摄体。根据该结构，能够实现有没入感的放大变焦。

另外，根据本发明，提供没入位置信息生成方法，该没入位置信息生成方法基于来自摄像控制装置的信息，生成用于将被摄体识别为立体的信息，所述摄像控制装置拍摄用于使用户将从摄像地点离开了规定的距离以上的所述被摄体识别为立体的至少2个图像，该没入位置信息生成方法具有：接收步骤，从所述摄像控制装置接收所述用户的虚拟视点位置的信息；以及生成步骤，生成将接收到的所述虚拟视点位置的信息附加到来自所述摄像控制装置的拍摄视频的视频信息。根据该结构，能够实现有没入感的放大变焦。

本发明的拍摄立体图像的摄像控制装置、没入位置信息生成装置、摄像控制方法、没入位置信息生成方法能够实现有没入感的放大变焦。

附图说明

图1是用于说明本发明的实施方式的概要的图。

图2是用于说明本发明的实施方式中一例通知虚拟视点位置的情形的图。

图3是用于说明一例应用本发明的实施方式的摄像控制装置以及没入位置信息生成装置的图。

图4是用于说明另一例应用本发明的实施方式的摄像控制装置以及没入位置信息生成装置的图。

图5是表示一例由本发明的实施方式提供的视频的图。

图6是表示一例在本发明的实施方式的监视器上显示的变焦率的显示条（bar）（包含当前的变焦显示和当前的虚拟视点的位置显示）的图。

图7是表示一例本发明的实施方式的摄像控制装置的结构的结构图。

图8是表示一例本发明的实施方式的没入位置信息生成装置的结构的结构图。

图9是表示一例在本发明的实施方式的摄像控制装置中的处理流程的流程图。

图10是表示一例在本发明的实施方式的没入位置信息生成装置中的处理流程的流程图。

图11是用于说明以往的问题的图。

具体实施方式

使用图1至图10说明本发明的实施方式。另外，为了使说明简单，以变焦动作开始的时刻的拍摄倍率和视点设定为基准。例如，设定为倍率为1倍、光学系统的设置位置为观察者视点、基线长为一般的视听者的两眼间距离。这里，所谓“基线长”为光学系统的间隔（例如默认值），是指若与一般的人眼大致相同地离开，观察者能够立体地看到以该状态拍摄出的视频这样的间隔。另外，假设在将被摄体捕捉到画面的中央附近的构图中，将光学系统的焦点位置设定为被摄体的位置。

图1中，表示2个光学系统101、102，将2个光学系统101、102之间的距离作为基线长。该光学系统101、102能够成为后述的摄像部701的一部分。图1表示光学系统101、102分别从光学系统101、102的位置拍摄的被摄体的像103、104。这里，所谓光学系统101、102的位置指根据变焦前的构图下的视差确定的虚拟视点。另外，所谓变焦前的构图下的视差，指右眼用的视频和左眼用的视频的观察方式之差。另外，所谓虚拟视点，指在使变焦倍率变化时，相对于作为基准的倍率，视点移动的结果变成观察者感觉的大小时设想的视点、视点的位置。在摄像控制装置中，以该光学系统101、102的位置（视点）为基准进行控制，以与画面放大的变焦倍率匹配，确保使观察者的视点（虚拟视点）移动至相适合的位置时产生的辐辏角（没入变焦）。这里，所谓辐辏角，指2个光学系统101、102相对于焦点位置所成的角度。

具体而言，如图1的点划线所示，通过控制使得各个光学系统101、102的基线长变大，从而使得相对于焦点位置所成的辐辏角与在虚拟视点的位置与放大变焦的倍率对应的情况下所成的（变大）辐辏角一致。图1表示使其那样的情况下的像105、106。此时，在使焦点位置一定，不使捕捉被摄体的构图变化的情况下，或者使其变化为任意的构图的情况下，优选还能够考虑与其对应的光学系统的朝向变化的情况。这里所谓光学系统的朝向，指以光学系统的垂直方向为轴的自转角度。

另外，这如果用其它观点的控制方法来表现，用于增大基线长的变更量，如果是能够以在各个光学系统101、102的自转方向的控制下形成的辐辏角对应、即通过使光学系统101、102自转能够加大辐辏角，则能够仅在光学系统101、102的自转方向的控制（或者与基线长的控制组合）下进行。即，在多个光学系统（至少2个光学系统）可以自己转动的情况下，后述的虚拟视点位置计算单元704在计算基线长的长度（间隔）时，在可以通过使多个光学系统转动而加大辐辏角的情况下，考虑多个光学系统的转动产生的辐辏角而计算基线长的长度（间隔）。

没入变焦前后的构图的变化根据拍摄场景而各种各样，因此，存在应该加大的基线长和光学系统的自转角度根据到焦点位置为止的距离、变焦前后的虚拟视点的位置、画面中主要的被摄体的位置（距离画面的中心位置的偏移）而不同的情况，其结果，在进行控制使得辐辏角根据变焦后观察者的视点移动的虚拟视点的位置而变大方面，上述控制方法带来同样的效果。这里，在没入变焦前后的构图的变化中，还包含作为构图，在由画面的中心捕捉这样的意义下没有变更。

另外，作为其它方法，根据拍摄时的播出，在能够忽略变焦动作中的变更（通过切换到其它视点摄像机等可剪切这样的情况），或者在固定的多个虚拟视点位置间切换的情况下，也可以用来自其它光学系统的视频来确保基线长。另外，在其它光学系统中，还包含作为摄像机单元分离的结构。

特别地，在作为摄像机单元分离的情况下，优选各个光学系统的水平位置一致。这是因为至少最终进行融像的视频，如果构图、焦点位置不一致，则难以进行观察者的自然融像。

以上这样控制的结果，通过以加大光学系统间的距离而使得变焦时基线长变大这样来进行拍摄，从而能够获得与接近了的情况同样的视差视频，并且能够进行有没入感的变焦。另外，上述说明表示变焦（放大方向、放大（zoomin））时的动作，但是在缩小方向的变焦（缩小（zoom out）、远去（zoom back））时进行相反的动作。

接着，说明通过摄像控制装置计算出的虚拟视点位置（通过变焦看起来接近了的位置）的通知。另外，后面叙述虚拟视点位置的计算等摄像控制装置中的具体的处理。该虚拟视点位置是根据相对于焦点位置（到变焦对象的被摄体为止的距离）和摄像机位置（实际视点）的变焦倍率求出的视点的位置。

实际上，也有不这样单纯的情况，通过也进行辐辏角根据光学系统的自转角度等而变化的量的斟酌等，能够求出更准确的虚拟视点位置。具体而言，图2表示一例通知虚拟视点位置的情形。如图2所示，虚拟视点位置的信息从摄像机201（包含摄像控制装置）发送到中继站（也包含广播台等）202等，中继站202等向视听者的电视接收机203等发送拍摄内容和虚拟视点位置的信息。另外，虚拟视点位置的信息传递的流程不限于此。

通过通知虚拟视点位置，能够利用于将观察者在整个拍摄区域中的位置显示在显示器等。例如，如图3所示，在提供棒球场的拍摄内容的情况下，在拍摄从投手（pitcher）的位置301观察击球者（batter）的方式时，能够在显示器等上显示虚拟视点位置为棒球场内的何处（设想观察者位于何处）。另外，摄像机位置302实际位于棒球场的后方。

此外，如图4所示，在摄像机未进入竞技场内401的情况下，在通过变焦虚拟地从选手的近距离拍摄时，能够将虚拟视点位置402显示在显示器等。另外，摄像机位置403实际上位于竞技场内401之外。此外，在拍摄从裁判所在的位置观看选手的方式时或者在拍摄从球门位置观看射门的方式时，能够将虚拟视点位置显示在显示器等。这样，作为对观察者（视听者）传递自然的现场感的方法，通过使观察者（视听者）把握自己的位置，从而能够减轻3D视点头晕（融像时的不快感等）。

另外，也可以导出从摄像机的设定状态（变焦倍率等）求出的虚拟视点位置和从视频得到的没入感的评价值之间的误差量，并修正虚拟视点位置的信息，或者变更摄像机的设定状态。这里，所谓从视频得到的没入感的评价值，指观察者感觉到的没入位置。另外，所谓观察者感觉到的没入位置，指在观察者从实际的摄像机位置（或者作为基准的位置）移动的情况下，进行光学系统的控制的结果，设想有观察者的位置。人感觉到的不舒适、错觉，未必能够用仅由摄像机的设定状态求出的信息来消除，因此，评价实际上拍摄到的视差视频，校正其误差量。

这里，更具体地说明虚拟视点位置的通知。这里，作为一例视频内容，使用棒球转播进行说明。在棒球转播中，考虑从投手的视点观察击球者的方式。实际的摄像机的位置是中央挡球网后面，从该位置拍摄击球者（1倍变焦）。从摄像机的位置至击球者的距离（进深）例如为120m，基线长例如为6cm。在该状况下，如果进行变焦（4倍变焦）至投手视点，则虚拟视点位置距离焦点（击球者）为30m地点（距离摄像机为90m地点），基线长为24cm。

此时，虚拟视点位置通知给中继站等。通过虚拟视点位置的通知，如图5所示，告知视点位于投手土台（mound）附近的显示（例如投手土台视野（mound view）显示501）显示在TV画面502上。另外，像是摄像机进入其中一样显示虚拟视点位置（摄像机显示503），并能够将球场中的视点的位置（设想有视听者的场所）用叠印字幕等进行广播。另外，为了表示是从哪个地点起的视点，也可以在TV画面502上播放字符反射式字幕等。另外，不仅进行显示，还可以用声音、播音、数据指导等来通知。

由此，能够提供与从观众席看到的另外不同的现场感。另外，通过视听者获知自己的虚拟的位置（获知自己移动到哪里了呢，相当于正从哪里看的视频），能够生理性地补偿伴随变焦或摄像机切换的3D融像的困难性。这类似于，由于有时例如第一人称视点的游戏的操作者（自己自身在虚拟3D空间内怎样操作，并把握要移动到哪里）的画面头晕与观看者（观看操作者操作的结果的画面）的头晕相比较为轻度，因此在观看者视听的视频中，通过理解自身的移动或位置，能够期待降低3D视频头晕这样的情况。

另外，也考虑将虚拟视点位置通知给播出者（包含监督和摄影师等）。通过通知给播出者，与相适于变焦产生的视点的移动的位置一同进行实时显示，从而能够利用为播出时的参照信息。另外，也能够独立地变更变焦的控制和虚拟视点位置的控制。通过能够独立变更，能够作为播出时的效果加以使用。

如图6所示，播出者使用在监视器601上显示的变焦率的显示条602（包含当前的变焦的显示603和当前的虚拟视点位置的显示604），能够进行各种播出。具体而言，相对于摄像机的变焦速度（变焦量的变化），能够敢具有偏移的同时追踪虚拟视点而进行特别的播出。即，后述的基线长控制部705和光学系统控制部703控制至少2个光学系统的配置，以相对于通过摄像部701拍摄的拍摄视频的变焦的变化而使虚拟视点延迟追踪。例如，开始进行控制，使得在变焦的开始时刻，不变更虚拟视点，稍稍延迟之后，移动虚拟视点，并加速追踪使得虚拟视点与最终变焦倍率一致，从而能够在变焦动作方面具有特征。另外，例如，以相对变焦速度慢的速度，缓慢使虚拟视点追踪，从而能够将观察者感觉到的变化抑制得小，能够减轻视听者的负担。

这样的变焦动作和虚拟视点位置的变更，很可能成为损害观察者的自然的融像的结果，因此，作为播出的利用场景和频度优选播出者能够管理，即使这样的目的也通知虚拟视点位置以使播出者（有时也是拍摄者）能够确认，是有效的。

接着，使用图7说明一例本发明的实施方式的摄像控制装置的结构。另外，结构并不限于此，也可以包含其它结构要素。摄像控制装置700一边控制光学系统，一边进行变更没入变焦等的虚拟视点位置的拍摄，控制的结果，输出设定的虚拟视点位置。以下，说明摄像控制装置的结构要素。

摄像部701具有拍摄视频的一般的摄像机的功能。在本发明中，特别包含使用一般的多个光学系统的摄像机的功能。摄像部701例如具有由图1所示的光学系统101、102。变焦倍率控制部702将用于满足设定后的变焦倍率的信息发送到光学系统控制部703，并且利用包含来自光学系统控制部703的控制结果的反馈信息，反映到控制上。

光学系统控制部703与变焦倍率控制部702、基线长控制部705等联动，机械/软控制光学系统，以导出摄像部701为了拍摄的视频。另外，光学系统控制部703将基于各个控制指示进行的控制结果反馈到指示源。另外，假设在光学系统控制部703还包含光学系统的自转方向的控制、摄像机晃动的控制、亮度的控制等在本发明中省略详细的说明的其它控制。

虚拟视点位置计算部704基于作为基准的变焦倍率和相对该基准倍率的当前倍率、以及其它的光学系统的设定值，计算从摄像机的基准位置起何种程度接近（或者离开）焦点位置（例如被摄体的位置）的没入位置（没入距离）。这里，所谓摄像机的基准位置，例如指摄像机的实际位置（也可以是光学系统的实际位置）。另外，作为基准的变焦倍率，优选以将观察者在以1倍的变焦（没有放大、缩小的状态）为基准的位置进行观察时形成适当的视差（基线长相当于观察者的两眼的间隔的状态）的设定状态作为基准。明显的基准状态的设定例，将摄像机的设置位置作为观察者的位置，将光学系统的变焦倍率设定为1倍，将光学系统间的基线长设定为一般的观察者的两眼的间隔。

这里，没入位置不是将视频放大（或者缩小）设定的变焦倍率，而是指设想为观察者移动至看起来如放大（或者缩小）视频的位置的情况下的移动位置（移动距离）。例如，在进行放大的情况下，在假设观察者靠近相当于与放大前相比看起来大的量时的、设想的移动位置（即，没入位置），在观察者从该位置观看拍摄对象的情况下，辐辏角变大。但是，实际上，摄像机仅放大了视频，摄像机本身不移动，因此为了获得相适合的辐辏角的增大量，增大光学系统的基线长。

另外，例如，在进行缩小的情况下，在假设观察者远离相当于与缩小前相比看起来小的量时的、设想的移动位置，在观察者从该位置观看拍摄对象的情况下，辐辏角变小。但是，实际上，摄像机仅缩小了视频，摄像机本身不移动，因此为了获得相适合的辐辏角的减少量，减少光学系统的基线长。

因此，摄像机自身进行变焦，设想的观察者视点移动到没入位置，因此，在从该没入位置观看的情况下，变焦倍率正好相当于维持1倍。另外，在摄像机自身在变焦动作的方向（不管是正向还是反向）实际进行移动的情况下，校正虚拟视点位置，或者预先将使虚拟视点位置与实际的位置相对应所需要的信息相关联，以能够斟酌该移动量而变更基线长。

另外，虚拟视点位置计算部704为了使虚拟视点位置移动到计算出的期望的没入位置，计算能够获得适当的视差（辐辏角）的基线长的量、其它的光学系统的控制量（光学系统的自转量、光量等），传递给各个控制系统。另外，除了进行控制以使虚拟视点位置总是与变焦产生的没入位置一致（没入变焦）之外，也可以将其变化的程度和变化量与任意的播出模式对应，根据晃动、误差以及其它的变动模式改变虚拟视点位置。另外，也可以根据摄像机的操作者等进行的手动的虚拟视点位置变化输入来改变。

基线长控制部705控制光学系统间的距离以实现由虚拟视点位置计算部704计算出的基线长。另外，基线长控制部705也可以控制至少2个光学系统间的配置（距离），以相对于上述那样的播出、即由摄像部701拍摄的拍摄视频的变焦的变化，使虚拟视点延迟追踪。由此，能够使变焦动作具有特征。

虚拟视点位置输出部706取得计算出的虚拟视点位置，并根据需要取得光学系统的控制值。即，取得基于计算出的没入距离的信息的观察者的虚拟视点位置的信息，输出到外部。例如，虚拟视点位置输出部706生成通知信息作为映射到对于拍摄对象的焦点位置和对于摄像机位置的虚拟视点位置的信息并输出。另外，在可以仅输出虚拟视点位置即可的情况下，即例如包含其它信息而在后述的没入位置信息生成装置中能够进行充分的映射的情况下，虚拟视点位置输出部706直接输出虚拟视点位置。

另外，虚拟视点位置优选与由摄像部701拍摄的拍摄视频（拍摄内容）同步实时输出，或者包含能取得与拍摄视频同步的时间戳等的对应的信息。即，在输出虚拟视点位置的信息时，使虚拟视点位置的信息与拍摄视频同步输出，或者包含能取得与拍摄视频同步的时间戳的对应的信息而输出。由此，是视频的哪个场景下的虚拟视点位置变得实时一致，收录（录像）时的信息的同步（在哪个定时，虚拟视点位于哪里）变得容易。

另外，也可以取代总是输出变焦和虚拟视点位置的信息，而仅在场景的切换、变焦动作等、像角、构图变更的情况下，作为追加的数据要素输出。即，在规定的定时输出虚拟视点位置的信息。由此，能够将需要传输视频、声音、其它数据的情况下的业务量抑制得低。另外，也通过匹配输出摄像机的位置、焦点位置（距离摄像机位置的焦点距离）的信息，从而特别是在各个位置不固定的情况下，在把握与整体位置的映射（相当于拍摄场所的哪里）时是有用的。

接着，使用图8说明一例本发明的实施方式的没入位置信息生成装置的结构。另外，结构并不限于此，也包含其它结构要素。没入位置信息生成装置800经由摄像控制装置700或者某些通信接口，接收从摄像控制装置700输出的虚拟视点位置。这里，从摄像控制装置700输出的虚拟视点位置，在包含其它信息的情况下，包含与拍摄对象的位置关系上映射的信息的情况。另外，与摄像控制装置700的位置关系，考虑作为整体在同一构件内连接（两装置都内置于摄像机的情况），或者从存在摄像控制装置700的构件经由任意的传输装置等传输，在接收其的构件内存在虚拟视点位置取得部801（在广播台的编辑构件内，经由接收来自摄像机的信息的装置连接的情况）。

另外，没入位置信息生成装置800根据需要，变更为对参照显示拍摄内容和虚拟视点位置等的虚拟视点位置显示装置的观察者来说容易理解的显示方法。例如，如果拍摄者是观察者，则显示与变焦倍率的对比信息。另外，例如，如果视频的播出、监督者为观察者，则显示虚拟视点的变化的情形和播出上的变化模式的信息。另外，例如如果视听者是观察者，则显示整体位置中的虚拟视点位置的映射信息。以下，说明没入位置信息生成装置800的结构要素。

虚拟视点位置取得部801从摄像控制装置700接受与虚拟视点的位置有关的信息。由于根据接受的信息要素的结构，多数情况下需要变换为对观察者能够直观理解（容易理解）的信息，因此，接受到的信息发送到没入位置信息通知部803。

光学系统控制值取得部802从摄像控制装置700接受与虚拟视点的位置有关的追加的信息。根据接受的信息要素的结构，多数情况下，与虚拟视点的位置有关的信息需要变换为对观察者能够直观理解（容易理解）的信息，因此追加的信息被发送到没入位置信息通知部803。这里，作为追加取得的信息的例子，考虑能取得与拍摄视频的时间戳等的对应这样的信息（一系列的光学系统控制的流程和与其对应的时间戳等）。另外，也可以取得表示场景的切换、变焦动作等像角、构图变更的信息。另外，也可以匹配地取得拍摄区域中的摄像机的位置、焦点位置（距离摄像机位置的焦点距离）的信息。

另外，作为与虚拟视点的位置有关的信息，在能够一并由虚拟视点位置取得部801取得所需要的信息的情况下，虚拟视点位置取得部801兼做光学系统控制值取得部802。

没入位置信息通知部803接受来自虚拟视点位置取得部801和光学系统控制值取得部802的信息，并对观察者通知与没入位置有关的信息。此时，例如，也可以生成图5所示那样的、将与没入位置有关的信息附加到拍摄视频的视频。即，没入位置信息通知部803加上能够识别虚拟视点位置的其它信息而生成视频信息。另外，该信息是除了基于虚拟视点的位置的位置信息之外，还能够简单地通知是哪个视点的信息（例如，表记为“当前是～～的视点”的信息等），或是在拍摄区域的地图和示意图上配上表示没入位置的记号的映射信息，或是仅表示没入位置从此前的状态变化了的记号和声音所产生的警报信息，或是中间人（视频的编辑者、播音员等）能够再度解说（播音）的通知信息等，优选取得与状况对应的形态。

没入位置信息通知部803通过组合来自虚拟视点位置取得部801和光学系统控制值取得部802的信息，能够变化成观察者更容易明白的信息。例如，根据能取得与拍摄视频的时间戳等的对应这样的信息，是视频的哪个场景下的虚拟视点位置实时一致，收录（录像）时的信息的同步（在哪个定时下，虚拟视点位于哪里）变得容易。即，没入位置信息通知部803基于能取得与拍摄视频的时间戳的对应的信息，将虚拟视点位置的信息附加到拍摄视频。

另外，例如，根据表示像角、构图变更了的信息，将需要传输视频、声音以及其它数据的情况下的业务量抑制得低，同时能够通知虚拟视点的切换定时。另外，例如，根据摄像机的实际的变焦倍率的信息，与变焦倍率并行显示虚拟视点位置，从而能够对观察者（此时，为摄像机操作者或者播出者等）通知拍摄的状态。特别地，相对于摄像机的变焦倍率，并不总是使没入变焦追踪，在播出等目的下进行不同的控制的情况下成为有用的信息的通知形态。

另外，根据拍摄区域中的摄像机的位置、焦点位置等信息，特别是在各个位置不固定的情况下，表示与整体位置的映射（相当于拍摄场所的哪里）变容易。例如，虚拟视点位置根据摄像机的变焦，设定为摄像机和被摄体的中点位置（即，摄像机和被摄体不动，进行约1倍的变焦的状态）。但是，若此时的焦点距离变更（考虑被摄体移动、摄像机移动等各种主要因素），若不综合考虑被摄体的位置、摄像机的位置的信息，则会无法确定准确的拍摄区域内的位置。因此，在这样的情况下，根据摄像机的位置和焦点距离确定该中点的位置等，进行虚拟视点位置至拍摄区域的映射。

映射所需要的控制值信息（也包含位置信息）根据拍摄区域而各种各样，例如，有时在需要包含区域的空间状态进行通知的情况下，摄像机朝上和下的仰角也成为需要的信息之一。如果能够构成对观察者来说容易理解的信息，则将该信息对观察者输出。通知的方法、通知目的地根据观察者各有不同。

没入位置信息通知部803例如在观察者为现场直播的视听者的情况下，搭载在广播波中，经由电视接收机等来通知。另外，例如，在观察者为录像素材的视听者的情况下，通过作为录像素材（包含视频本身）、追加到记录媒体的信息而记录，从而在再现时进行通知。另外，例如，在观察者为编辑者、播出者、监督等在中继站、广播台进行视频内容的编辑和控制的人的情况下，经由换景器（switcher）和编辑机构等的装置的监视器等进行通知。另外，例如，观察者为摄影师等直接操作摄像机的人的情况下，由摄像机的取景器和信息显示部分通知。

接着，使用图9说明一例本发明的实施方式的摄像控制装置中的处理流程。如图9所示，虚拟视点位置计算部704，基于规定的基准变焦倍率（例如1倍）、相对于规定的基准变焦倍率的期望的变焦倍率、以及从摄像控制装置（也可以是摄像部701）至被摄体的距离，计算从为了实现期望的变焦倍率而应配置摄像控制装置的虚拟位置至摄像控制装置的现实位置的距离、即没入距离（例如90m）（步骤S901）。虚拟视点位置计算部704基于计算出的没入距离，计算在连接现实的位置的延长线上配置多个光学系统的情况下的多个光学系统的间隔（应设定的基线长的长度）（步骤S902），所述连接现实的位置的延长线上配置多个光学系统是为了实现与在虚拟的位置配置摄像控制装置以实现期望的变焦倍率的情况同样的期望的变焦倍率。基线长控制部705将规定的基线长（例如默认值）变更为计算出的间隔（应设定的基线长的长度），配置多个光学系统（步骤S903）。摄像部701在由基线长控制部705配置了多个光学系统的状态下，对被摄体进行摄像（步骤S904）。另外，在播出一环，基线长控制部705也可以控制2个光学系统的配置，以相对于由摄像部701拍摄的拍摄视频的变焦的变化，使虚拟视点延迟追踪。

接着，使用图10说明一例本发明的实施方式的没入位置信息生成装置中的处理流程。如图10所示，虚拟视点位置取得部801从摄像控制装置接收观察者的虚拟视点位置的信息（步骤S1001）。没入位置信息通知部803生成将接收到的虚拟视点位置的信息附加到从摄像控制装置接收到的拍摄视频的视频信息（步骤S1002）。此时，没入位置信息通知部803可以加上能够识别虚拟视点位置的其它信息（上述记号、说明等）生成视频信息，也可以基于能取得与拍摄视频的时间戳的对应的信息，将虚拟视点位置的信息附加到拍摄视频。

如至此为止所示那样，根据本发明，能够与摄像机的变焦匹配（或者加上某些表现意图）进行没入变焦，并将该状态传送给观察者，但是这些主要在从中长距离拍摄视频的情况下（特别是体育等）、以及在构图中在近像中不包含障碍物或其它被摄体的情况下有效。另外，在构图中，所谓在近像中不包含障碍物或其它被摄体的情况，指即使是近中距离的拍摄也能够预先将构图设定成能够仅捕捉焦点位置的被摄体的情况等。

另一方面，在不同的条件下，特别是近、中距离的拍摄，在构图中、在近像中包含了障碍物或其它被摄体，或者无法预先确定构图的情况下，有时会过度强调跟前的被摄体（包含不想要的障碍物）的视差等、成为对观察者来说妨碍融像的结果。在这样的情况下，优选能够从进行本发明的没入变焦的状态切换至以往的（或者其它的）变焦控制的状态。

例如，也可以设置摄像机的操作者能够分别切换没入变焦的模式和其它变焦的模式来拍摄这样的设定菜单和开关。或者，在以基线长的变更为目的下使用其它的光学系统使得在进行没入变焦时也能并行进行普通的拍摄，并且与没入变焦的拍摄的同时也拍摄不变更基线长（或者进行其它控制）的视频。即，基线长控制部705基于计算出的基线长（间隔），调整与多个光学系统（至少2个光学系统）不同的光学系统间的基线长，使具有不同的光学系统的摄像部件拍摄被摄体，摄像部701在多个光学系统以规定的基线长配置的状态下拍摄被摄体。最终，优选编辑者或播出者能够基于拍摄的构图等而选择使用（广播）哪个视频。

另外，上述说明的情况是本发明的实施方式的一例，并不限于此。例如，也可以通过增大基线长的以外的方法来进行使虚拟视点移动的控制。另外，例如，也可以在基线长长的地方配备第3视点（第3光学系统）。即，也可以具备与2个光学系统不同的光学系统。具体而言，在用多个光学系统（至少2个光学系统）无法确保计算出的基线长（间隔）的情况下，摄像部701使用与多个光学系统不同的光学系统确保基线长（间隔）的状态下拍摄被摄体。由此，即使是2个光学系统无法应对的长的基线长，也能够通过使用第3光学系统（不同的光学系统）实现本发明的目的。另外，例如，也可以具有播出动作的预置程序、发动指令、按钮。由此，无论谁都能够容易地进行各种播出。另外，例如，所提供的视频内容既可以是现场直播的，也可以是预先收录的。

另外，在上述的本发明的实施方式的说明中使用的各功能块，典型的被实现为作为集成电路的LSI(大规模集成电路)。这些既可以分别实行单芯片化，也可以包含其中一部分或者是全部而实行单芯片化。这里为LSI，但根据集成度的不同也可以表示为IC（集成电路）、系统LSI、超大LSI、特大LSI等。另外，集成电路化的方法不限于LSI，也可以使用专用电路或通用处理器来实现。也可以利用LSI制造后能够编程的FPGA(Field Programmable GateArray，现场可编程门阵列)，或可以利用对LSI内部的电路块的连接或设定进行重新构置的可重构处理器(Reconfigurable Processor)。再有，如果随着半导体技术的进步或者派生的其它技术，出现了代替LSI集成电路化的技术，当然也可以利用该技术来实现功能块的集成化。例如，还有适用生物技术等的可能性。

产业上的可利用性

本发明的摄像控制装置、没入位置信息生成装置、摄像控制方法、没入位置信息生成方法，对于为了能够实现有没入感的放大变焦，拍摄使用户融像的视频的摄像控制装置、没入位置信息生成装置、摄像控制方法、没入位置信息生成方法等方面是有用的。

Claims (22)

1.摄像控制装置，拍摄用于使用户将从摄像地点离开了规定的距离以上的被摄体识别为立体的至少2个图像，具有：

摄像部件，具有以规定的基线长的间隔配置的至少2个光学系统，拍摄所述被摄体；

计算部件，在将以所述基线长间隔配置的所述至少2个光学系统的变焦倍率作为基准变焦倍率时，基于所述基准变焦倍率、相对于所述规定的基准变焦倍率的期望的变焦倍率、从所述摄像部件至所述被摄体的距离，计算从为了实现所述期望的变焦倍率而应配置所述摄像部件的虚拟的位置起至所述摄像部件的现实的位置为止的距离即没入距离，基于计算出的所述没入距离，计算在连接所述至少2个光学系统的实际的位置之间的线的延长线上配置所述至少2个光学系统的情况下的所述至少2个光学系统的间隔，所述在连接所述至少2个光学系统的实际的位置之间的线的延长线上配置所述至少2个光学系统是为了实现与在所述虚拟的位置配置所述摄像部件而实现所述期望的变焦倍率的情况同样的期望的变焦倍率；以及

控制部件，将所述规定的基线长变更为计算出的所述间隔，配置所述至少2个光学系统，

所述摄像部件在由所述控制部件配置了所述至少2个光学系统的状态下，拍摄所述被摄体。

2.如权利要求1所述的摄像控制装置，还具有：

输出部件，取得基于计算出的所述没入距离的信息的所述用户的虚拟视点位置的信息，并输出到外部。

3.如权利要求2所述的摄像控制装置，

所述输出部件在输出所述虚拟视点位置的信息时，使所述虚拟视点位置的信息与拍摄视频同步输出，或者包含能取得与所述拍摄视频同步的时间戳的对应的信息而输出。

4.如权利要求2或3所述的摄像控制装置，

所述输出部件在规定的定时输出所述虚拟视点位置的信息。

5.如权利要求1所述的摄像控制装置，

在用所述至少2个光学系统无法确保计算出的所述间隔的情况下，

所述摄像部件使用与所述至少2个光学系统不同的光学系统确保所述间隔的状态下拍摄所述被摄体。

6.如权利要求1所述的摄像控制装置，

在能够对所述至少2个光学系统自身进行旋转控制的情况下，

所述计算部件在计算所述间隔时，在能够通过使所述至少2个光学系统旋转而加大辐辏角的情况下，考虑所述至少2个光学系统的旋转产生的所述辐辏角，计算所述间隔。

7.如权利要求1所述的摄像控制装置，

所述控制部件基于计算出的所述间隔，调整与所述至少2个光学系统不同的光学系统间的基线长，使具有所述不同的光学系统的摄像部件拍摄所述被摄体，

所述摄像部件在所述至少2个光学系统以所述规定的基线长的间隔配置的状态下，拍摄所述被摄体。

8.如权利要求1所述的摄像控制装置，

所述控制部件控制所述至少2个光学系统的配置，以相对于由所述摄像部件拍摄的拍摄视频的变焦的变化，使虚拟视点延迟追踪。

9.没入位置信息生成装置，基于来自摄像控制装置的信息，生成用于将被摄体识别为立体的信息，所述摄像控制装置拍摄用于使用户将从摄像地点离开了规定的距离以上的所述被摄体识别为立体的至少2个图像，该没入位置信息生成装置具有：

接收部件，从所述摄像控制装置接收所述用户的虚拟视点位置的信息；以及

生成部件，生成将接收到的所述虚拟视点位置的信息附加到来自所述摄像控制装置的拍摄视频的视频信息。

10.如权利要求9所述的没入位置信息生成装置，

所述生成部件加上能够识别所述虚拟视点位置的其它信息而生成所述视频信息。

11.如权利要求9或10所述的没入位置信息生成装置，

所述生成部件基于能取得与所述拍摄视频的时间戳的对应的信息，将所述虚拟视点位置的信息附加到所述拍摄视频。

12.摄像控制方法，为拍摄用于使用户将从摄像地点离开了规定的距离以上的被摄体识别为立体的至少2个图像的摄像控制方法，具有：

计算步骤，在将以规定的基线长的间隔配置的至少2个光学系统的变焦倍率作为基准变焦倍率时，基于所述基准变焦倍率、相对于所述规定的基准变焦倍率的期望的变焦倍率、从具有所述至少2个光学系统且拍摄所述被摄体的摄像部件至所述被摄体的距离，计算从为了实现所述期望的变焦倍率而应配置所述摄像部件的虚拟的位置起至所述摄像部件的现实的位置为止的距离即没入距离，基于计算出的所述没入距离，计算在连接所述至少2个光学系统的实际的位置之间的线的延长线上配置所述至少2个光学系统的情况下的所述至少2个光学系统的间隔，所述在连接所述至少2个光学系统的实际的位置之间的线的延长线上配置所述至少2个光学系统是为了实现与在所述虚拟的位置配置所述摄像部件而实现所述期望的变焦倍率的情况同样的期望的变焦倍率；

控制步骤，将所述规定的基线长变更为计算出的所述间隔，配置所述至少2个光学系统；以及

摄像步骤，在由所述控制步骤配置了所述至少2个光学系统的状态下，拍摄所述被摄体。

13.如权利要求12所述的摄像控制方法，还具有：

输出步骤，取得基于计算出的所述没入距离的信息的所述用户的虚拟视点位置的信息，并输出到外部。

14.如权利要求13所述的摄像控制方法，

在所述输出步骤中，在输出所述虚拟视点位置的信息时，使所述虚拟视点位置的信息与拍摄视频同步输出，或者包含能取得与所述拍摄视频同步的时间戳的对应的信息而输出。

15.如权利要求13或14所述的摄像控制方法，

在所述输出步骤中，在规定的定时输出所述虚拟视点位置的信息。

16.如权利要求12所述的摄像控制方法，

在用所述至少2个光学系统无法确保计算出的所述间隔的情况下，

在所述摄像步骤中，使用与所述至少2个光学系统不同的光学系统确保所述间隔的状态下拍摄所述被摄体。

17.如权利要求12所述的摄像控制方法，

在所述至少2个光学系统自身能够进行旋转的情况下，

在所述计算步骤中计算所述间隔时，在能够通过使所述至少2个光学系统旋转而加大辐辏角的情况下，考虑所述至少2个光学系统的旋转产生的所述辐辏角，计算所述间隔。

18.如权利要求12所述的摄像控制方法，

在所述控制步骤中，基于计算出的所述间隔，调整与所述至少2个光学系统不同的光学系统间的基线长，使具有所述不同的光学系统的摄像部件拍摄所述被摄体，

在所述摄像步骤中，在所述至少2个光学系统以所述规定的基线长的间隔配置的状态下，拍摄所述被摄体。

19.如权利要求12所述的摄像控制方法，

还具有控制所述至少2个光学系统的配置，以相对于由所述摄像部件拍摄的拍摄视频的变焦的变化，使虚拟视点延迟追踪的步骤。

20.没入位置信息生成方法，基于来自摄像控制装置的信息，生成用于将被摄体识别为立体的信息，所述摄像控制装置拍摄用于使用户将从摄像地点离开了规定的距离以上的所述被摄体识别为立体的至少2个图像，该没入位置信息生成方法具有：

接收步骤，从所述摄像控制装置接收所述用户的虚拟视点位置的信息；以及

生成步骤，生成将接收到的所述虚拟视点位置的信息附加到来自所述摄像控制装置的拍摄视频的视频信息。

21.如权利要求20所述的没入位置信息生成方法，

在所述生成步骤中，加上能够识别所述虚拟视点位置的其它信息而生成所述视频信息。

22.如权利要求20或21所述的没入位置信息生成方法，

在所述生成步骤中，基于能取得与所述拍摄视频的时间戳的对应的信息，将所述虚拟视点位置的信息附加到所述拍摄视频。

Images