CN113906736A - 视频分发系统、视频分发方法和显示终端 - Google Patents

Abstract

本技术涉及能够更适当地显示视频的视频分发系统、视频分发方法和显示终端。提供了视频分发系统，包括：图像获取单元，其获取使用第一相机和第二相机拍摄的被摄体的第一图像和第二图像；参数调整单元，其调整影响用户对由获取的第一图像和第二图像表示的虚拟空间中的与被摄体相对应的虚拟被摄体的观看方式的参数；以及显示控制单元，其在显示终端上显示表示包括与经调整的参数相对应的虚拟被摄体的虚拟空间的视频图像。本技术可以应用于例如分发三维视频的系统。

Description

视频分发系统、视频分发方法和显示终端

技术领域

本技术涉及视频分发系统、视频分发方法和显示终端，并且特别地涉及能够更适当地显示视频的视频分发系统、视频分发方法和显示终端。

背景技术

近年来，例如，诸如头戴式显示器的装置已被广泛用作用于观看立体视频的显示终端。

在这种类型的显示终端中，基于通过使用多个相机对被摄体进行图像捕获所获得的视频信息来显示立体视频，并且将沉浸式图像提供给在头上佩戴显示终端的用户。

此外，作为用于显示立体视频的技术，专利文献1和专利文献2中公开的技术是已知的。

引用列表

专利文献

专利文献1：日本专利申请特许公开第2003-284093号

专利文献2：日本专利申请特许公开第2014-209768号

发明内容

本发明要解决的问题

顺便提及，当在显示终端上显示立体视频时，期望适当地显示使用显示终端的用户所需的视频。

本技术是鉴于这种情况而做出的，并且旨在更适当地显示视频。

问题的解决方案

根据本技术的一个方面的视频分发系统是包括以下单元的视频分发系统：图像获取单元，其获取由第一相机和第二相机捕获的被摄体的第一图像和第二图像；参数调整单元，其调整影响关于由已经获取的第一图像和第二图像表示的虚拟空间中的与被摄体相对应的虚拟被摄体对用户而言的外观的参数；以及显示控制单元，其在显示终端上显示表示包括与经调整的参数相对应的虚拟被摄体的虚拟空间的视频。

根据本技术的一个方面的视频分发方法是包括通过视频分发系统进行下述操作的视频分发方法：获取由第一相机和第二相机捕获的被摄体的第一图像和第二图像；调整影响关于由已经获取的第一图像和第二图像表示的虚拟空间中的与被摄体相对应的虚拟被摄体对用户而言的外观的参数；以及在显示终端上显示表示包括与经调整的参数相对应的虚拟被摄体的虚拟空间的视频。

在根据本技术的一个方面的视频分发系统和视频分发方法中，获取由第一相机和第二相机捕获的被摄体的第一图像和第二图像，调整影响关于由已经获取的第一图像和第二图像表示的虚拟空间中的与被摄体相对应的虚拟被摄体对用户而言的外观的参数，以及在显示终端上显示表示包括与经调整的参数相对应的虚拟被摄体的虚拟空间的视频。

根据本技术的一个方面的显示终端是包括下述的显示终端：显示控制单元，其在显示终端上显示表示包括其中调整了参数的虚拟被摄体的虚拟空间的视频，该参数影响关于由第一相机和第二相机捕获的被摄体的第一图像和第二图像表示的虚拟空间中的与被摄体相对应的虚拟被摄体对用户而言的外观。

在根据本技术的一个方面的显示终端中，在显示终端上显示视频，该视频表示包括其中调整了参数的虚拟被摄体的虚拟空间，该参数影响关于由第一相机和第二相机捕获的被摄体的第一图像和第二图像表示的虚拟空间中的与被摄体相对应的虚拟被摄体对用户而言的外观。

附图说明

图1是示出视频分发系统的实施方式的配置的示例的图。

图2是示出工作站的配置的示例的图。

图3是示出显示终端的配置的示例的图。

图4是示意性地示出用户观看立体视频的状态的图。

图5是示意性地示出被摄体是被两个相机捕获图像的状态的图。

图6是示出在被摄体是被两个相机捕获图像的情况下的相机光轴间距的图。

图7是示出在用户观看立体视频的情况下的用户的瞳距的图。

图8是示出应用本技术的视频分发系统的功能配置的示例的图。

图9是示出应用本技术的视频分发系统的整个处理流程的流程图。

图10是示意性地示出在出现IPD_CAM＝IPD_USER的关系的情况下用户观看立体视频的状态的图。

图11是详细示出在出现IPD_CAM＝IPD_USER的关系的情况下用户观看立体视频的状态的图。

图12是示出在出现IPD_CAM>IPD_USER的关系的情况下用户观看立体视频的状态的图。

图13是详细示出在出现IPD_CAM>IPD_USER的关系的情况下用户观看立体视频的状态的图。

图14是详细示出在虚拟被摄体在正前方的情况下当IPD_CAM＞IPD_USER时用户观看立体视频的状态的图。

图15是详细示出在虚拟被摄体在右前侧的情况下当IPD_CAM>IPD_USER时用户观看立体视频的状态的图。

图16是示出在出现IPD_CAM>IPD_USER的关系的情况下应用第一方法的状态的第一示例的图。

图17是示出在出现IPD_CAM>IPD_USER的关系的情况下应用第一方法的状态的第二示例的图。

图18是示出在出现IPD_CAM>IPD_USER的关系的情况下应用第一方法的状态的第三示例的图。

图19是示出在出现IPD_CAM>IPD_USER的关系的情况下应用第一方法的状态的第四示例的图。

图20是示意性地示出到虚拟空间中的虚拟被摄体的距离的图。

图21是示出在转换到虚拟空间中的虚拟对象的距离之后的状态的图。

图22是示出在出现IPD_CAM>IPD_USER的关系的情况下应用第二方法的状态的第一示例的图。

图23是示出在出现IPD_CAM>IPD_USER的关系的情况下应用第二方法的状态的第二示例的图。

图24是示出在出现IPD_CAM>IPD_USER的关系的情况下应用第二方法的状态的第三示例的图。

图25是示出在虚拟被摄体在正前方的情况下当IPD_CAM>IPD_USER时要附加到全部天球的视频向外旋转的状态的图。

图26是示出在虚拟被摄体在正前方的情况下当IPD_CAM>IPD_USER时要附加到全部天球的视频向内旋转的状态的图。

图27是示出在出现IPD_CAM＞IPD_USER的关系的情况下应用第三方法的状态的第一示例的图。

图28是示出在出现IPD_CAM＞IPD_USER的关系的情况下应用第三方法的状态的第二示例的图。

图29是示出在出现IPD_CAM＞IPD_USER的关系的情况下应用第三方法的状态的第三示例的图。

图30是示出在虚拟被摄体在正前方的情况下当IPD_CAM>IPD_USER时附加了视频的全部天球向外移动的状态的图。

图31是示出在虚拟被摄体在正前方的情况下当IPD_CAM>IPD_USER时附加了视频的全部天球向内移动的状态的图。

图32是示出当视频的外观按时间序列改变时的示例的图。

图33是示出计算机的配置示例的图。

具体实施方式

在本文中，将参照附图描述本技术的实施方式。注意，将按以下顺序进行描述。

1.本技术的实施方式

2.修改示例

3.计算机的配置

<1.本技术的实施方式>

(视频分发系统的配置)

图1示出了视频分发系统的配置的示例。

在图1中，视频分发系统1包括工作站10、相机11-R、相机11-L、视频分发服务器12和显示终端20-1至20-N(N：1或更大的整数)。此外，在视频分发系统1中，工作站10、视频分发服务器12和显示终端20-1至20-N连接至因特网30。

工作站10是专用于图像处理的图像处理装置。工作站10对由相机11-L和相机11-R捕获的多个图像执行图像处理，并且将通过图像处理获得的数据经由因特网30发送至视频分发服务器12。

相机11-L和相机11-R被配置为立体相机，并且例如，当从正面观看被摄体时，相机11-L安装在相对于被摄体左侧的位置处，并且相机11-R安装在相对于被摄体右侧的位置处。

相机11-L例如包括：诸如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器的图像传感器，以及诸如相机图像信号处理器(ISP)的信号处理单元。相机11-L向工作站10发送捕获图像(在下文中，也称为左图像)的数据。

与相机11-L类似，相机11-R包括图像传感器和信号处理单元，并且将捕获图像(下文中，也称为右图像)的数据发送至工作站10。

注意，相机11-L和相机11-R例如可以经由诸如专用线路(线缆)的通信线路与工作站10连接，或者可以通过符合规定标准的有线通信或无线通信连接。此外，在以下的描述中，在不需要特别区分的情况下，将相机11-L和相机11-R简称为相机11。

视频分发服务器12是例如安装在数据中心等中的web服务器。视频分发服务器12接收从工作站10发送的数据。在从显示终端20-1至20-N中的任何一个请求视频分发的情况下，视频分发服务器12经由因特网30将包括来自工作站10的数据的视频流发送至作为视频分发的请求源的显示终端20。

显示终端20-1被配置为头戴式显示器，该头戴式显示器戴在头上以覆盖用户的双眼并且允许观看在设置在用户眼前的显示屏上显示的运动图像或静止图像。注意，显示终端20-1不限于头戴式显示器，并且可以是诸如智能电话、平板终端或游戏机的具有显示器的电子装置。

显示终端20-1例如根据用户的操作经由因特网30向视频分发服务器12发送对视频分发的请求。显示终端20-1经由因特网30接收并处理从视频分发服务器12发送的视频流，并且再现视频。视频包括诸如从视频分发服务器12分发(实时分发(现场分发)或按需分发)的虚拟现实(VR)运动图像的运动图像和诸如静止图像的内容。

与显示终端20-1类似，显示终端20-2至20-N包括例如头戴式显示器等，并且每个显示终端再现来自视频分发服务器12的作为视频流分发的视频(例如，运动图像、静止图像等)。注意，在以下描述中，在不需要特别区分它们的情况下，显示终端20-1至20-N简称为显示终端20。

(工作站的配置)

图2示出了图1的工作站10的配置的示例。

在图2中，工作站10包括处理单元100、输入单元101、输出单元102、存储单元103和通信单元104。

处理单元100包括诸如中央处理单元(CPU)、图形卡(视频卡)等的处理器。处理单元100是控制每个单元的操作并且执行各种算术处理的主处理装置。

输入单元101包括键盘、鼠标、物理按钮等。输入单元101将与用户的操作相对应的操作信号提供给处理单元100。

输出单元102包括显示器、扬声器等。输出单元102在处理单元100的控制下输出视频、音频等。

存储单元103包括半导体存储器，半导体存储器包括非易失性存储器或易失性存储器、缓冲存储器等。存储单元103在处理单元100的控制下存储各种数据。

通信单元104包括与符合预定标准的无线通信或有线通信兼容的通信模块、视频或音频采集卡等。

通信单元104在处理单元100的控制下经由因特网30与视频分发服务器12交换各种数据。此外，通信单元104在处理单元100的控制下从相机11-L和相机11-R接收数据。

此外，处理单元100包括图像获取单元111、图像处理单元112和传输控制单元113。

图像获取单元111经由通信单元104获取(捕获)由相机11-L捕获的左图像和由相机11-R捕获的右图像的相应图像信号，并且将图像信号存储在存储单元103中。

图像处理单元112读取存储在存储单元103中的左图像和右图像的图像信号，执行预定的图像处理，并且将作为图像处理的结果获得的数据提供给传输控制单元113。注意，尽管稍后将参照图8等描述细节，但是该图像处理包括诸如对包括左图像和右图像的图像信号的视频信息的转换处理的处理。

传输控制单元113控制通信单元104以经由因特网30将数据从图像处理单元112发送至视频分发服务器12。

(显示终端的配置)

图3示出了图1中的显示终端20的配置的示例。

在图3中，显示终端20包括处理单元200、传感器单元201、存储单元202、显示单元203、音频输出单元204、输入终端205、输出终端206和通信单元207。

处理单元200包括CPU等。处理单元200是控制每个单元的操作并且执行各种类型的算术处理的主处理装置。注意，此处，可以提供诸如图形处理单元(GPU)的专用处理器。

传感器单元201包括各种传感器装置等。传感器单元201对用户、其周围环境等执行感测，并且将与感测结果相对应的传感器数据提供给处理单元200。

此处，传感器单元201可以包括：检测磁场的尺寸和方向的磁传感器；检测加速度的加速度传感器；检测角度(姿态)、角速度和角加速度的陀螺仪传感器；检测附近对象的接近传感器等。此外，可以提供具有图像传感器的相机作为传感器单元201，并且可以将通过对被摄体进行图像捕获所获得的图像信号提供给处理单元200。

存储单元202包括半导体存储器等，其包括非易失性存储器或易失性存储器。存储单元202在处理单元200的控制下存储各种数据。

显示单元203包括诸如液晶显示器(LCD)或有机发光二极管(OLED)显示器的显示装置(显示设备)。显示单元203显示与从处理单元200提供的视频数据相对应的视频(运动图像、静止图像等)。

音频输出单元204包括诸如扬声器的音频输出装置。音频输出单元204输出与从处理单元200提供的音频数据相对应的音频(声音)。

输入终端205包括输入接口电路等，并且经由预定线缆连接至电子装置。输入终端205将例如从诸如游戏机(专用控制台)、个人计算机或再现机器的装置输入的图像信号、音频信号、命令等提供给处理单元200。

输出终端206包括输出接口电路等，并且经由预定线缆连接至电子装置。输出终端206将提供给其的音频信号经由线缆输出至诸如耳机或头戴式耳机的装置。

通信单元207被配置为与无线通信或有线通信兼容的通信模块，无线通信例如无线局域网(LAN)、蜂窝通信(例如，高级LTE、5G等)、或蓝牙(注册商标)。

通信单元207在处理单元200的控制下经由因特网30与视频分发服务器12交换各种数据。此外，通信单元207可以与包括游戏机(专用控制台)、个人计算机、服务器、再现机器、专用控制器、远程控制器等的外部装置通信。

此外，处理单元200包括图像获取单元211、图像处理单元212和显示控制单元213。

图像获取单元211获取从视频分发服务器12分发的视频流中包括的数据，并且将数据存储在存储单元202中。

图像处理单元212读取存储在存储单元202中的数据，执行预定的图像处理，并且将作为图像处理的结果而获得的数据提供给显示控制单元213。注意，除了诸如解码的处理之外，该图像处理还可以包括诸如用于视频信息的转换处理的处理。

显示控制单元213基于来自图像处理单元212的数据，在显示单元203上显示诸如运动图像或静止图像的视频。

如上所述地配置视频分发系统1。

(现有的问题)

接下来，将参照图4至图7描述现有技术的问题。

在视频分发系统1中，为了观看立体视频，由被配置为立体相机的相机11-L和相机11-R对被摄体进行图像捕获，并且使用包括通过图像捕获获得的左图像和右图像的视频信息在沉浸式显示终端20上显示视频。

此处，在传统的非沉浸式显示终端(例如，诸如电视接收机的显示设备)中，关于被摄体尺寸的感知，除了显示在显示终端上的被摄体的尺寸和从观看用户与显示终端之间的距离获得的光学尺寸之外，图像捕获环境、缩放级别等还由每个人考虑到每种体验而灵活地调整。

这是基于这样的认识，即显示终端的显示表面和用户所属的环境是不连续且不同的，并且即使被摄体的光学尺寸(视角)由于显示终端、到显示终端的距离和其他条件而改变，这也不直接影响对被摄体尺寸的感知。

另一方面，在沉浸式显示终端20中，由于感觉到显示表面和用户所属的环境是连续的，因此当光学尺寸(视角)改变时，估计被摄体本身的尺寸已经改变。

在本技术中，如图4所示的表达式用于概念性地指示上述视角。即，图4示意性地示出了当从上方看时用户50使用沉浸式显示终端20观看立体视频的状态。

此外，图5示意性地示出了当从上方看时由两个相机11-L和11-R对被摄体60进行图像捕获的状态。

此处，在用户50使用诸如头戴式显示器的显示终端20观看立体图像的情况下，用户50观看分别由相机11-L和相机11-R捕获的视频(与左图像和右图像相对应的视频)(例如用于左眼的视频500-L和用于右眼的视频500-R)是常见的。

即，当从正面观看被摄体60时，视频500-L对应于由安装在图像捕获环境左侧位置处的相机11-L捕获的左图像，并且视频500-R对应于由安装在图像捕获环境右侧位置处的相机11-R捕获的右图像。

此处，图4中的绘制范围501-L指示被摄体60相对于左眼的绘制范围，并且对应于图5中由相机11-L捕获的被摄体60的成像范围511-L。此外，图4中的绘制范围501-R指示被摄体60相对于右眼的绘制范围，并且对应于图5中相机11-R捕获的被摄体60的成像范围511-R。

即，在用户50使用沉浸式显示终端20观看被显示为立体视频的被摄体60(即，虚拟被摄体)的情况下，用户在包括从左眼的绘制范围501-L和从右眼的绘制范围501-R的范围内观看被摄体。

此时，在图4中，连接绘制范围501-L的右端和用户50的左眼中心的直线A与连接绘制范围501-R的右端和用户50的右眼中心的直线B相交的点被定义为交点X。此外，在图4中，连接绘制范围501-L的左端和用户50的左眼中心的直线C与连接绘制范围501-R的左端和用户50的右眼中心的直线D相交的点被定义为交点Y。

此处，在执行立体观看时，由于交点X和交点Y是连接用户50的左眼和右眼以及虚拟被摄体(的视频)投影到投影表面上的部分的末端的直线上的点，因此交点X和交点Y可以被认为是虚拟被摄体的左端和右端。因此，用户50在虚拟空间中感知到的虚拟被摄体(虚拟对象)的尺寸可以表示为视角502。

图6示出了在被摄体60被两个相机11-L和11-R图像捕获的情况下相机11-L的光学系统的光轴与相机11-R的光学系统的光轴之间的距离(在下文中将称为“相机光轴间距IPD_CAM”)。

在图6中，被摄体60被以与相机光轴间距IPD_CAM相对应的间隔安装的相机11-L和相机11-R进行图像捕获。此时，由于例如相机11和镜头的尺寸、其他物理限制、图像捕获环境的限制等，存在不能自由确定相机光轴间距IPD_CAM的情况。

图7示出了在佩戴诸如头戴式显示器的显示终端20的用户50观看立体视频的情况下用户50的左右眼瞳孔之间的距离(在下文中称为用户的瞳距IPD_USER)。

此处，为了执行立体观看，需要根据用户的瞳距IPD_USER将与由相机11-L和相机11-R分别捕获的左图像和右图像相对应的视频500-L和视频500-R布置在虚拟空间上。

在通常的实现方式中，将与捕获的左图像和右图像相对应的视频500-L和视频500-R分别投影(附加)在左眼的全部天球和右眼的全部天球上，并且虚拟相机(与用户的左眼和右眼的位置处相对应的虚拟相机)安装在各个全部天球的中心处，使得用户50可以在观看位置处从各个全部天球的中心观看(观察)视频。

注意，在通常的实现方式中，在佩戴显示终端20的用户50前后左右上下移动头部的情况下，全部天球以类似的方式实现伴随运动，并且因此来自用户50的立体视频的外观不会改变。

此外，在用户50在偏航方向或滚动方向旋转头部的情况下(垂直旋转以外的旋转，即用户50的眼睛的位置从全部天球的中心移位的旋转)，出现视差偏差，并且因此用户50不能正确地观看立体视频。然而，只要用户50不移动眼睛位置，即仅移动眼球，就可以正确地观看立体视频。

此时，如果用户的瞳距IPD_USER与相机光轴间距IPD_CAM一致，则显示终端20可以再现图像捕获时的环境，包括对用户而言的外观，例如尺寸感(尺寸)和虚拟被摄体的距离感。

然而，由于相机11中镜头和相机机身尺寸的限制，不能使相机光轴间距IPD_CAM的值等于或小于某个值，因此在某些情况下IPD_CAM>IPD_USER的关系是不可避免的。

注意，近年来，由于相机的小型化发展，可以选择其中相机光轴间距IPD_CAM的值可以被设置成小的系统，但是对于图像捕获环境、视频质量和可用性存在各种要求，并且不是在所有情况下都必须选择这样的系统。

此外，相反，也假设相机需要根据对被摄体60进行图像捕获的环境而具有一定的尺寸或更小，并且在这种情况下，IPD_CAM<IPD_USER的关系可能不可避免地出现。

如果以这种方式假设对应于各种图像捕获目标和图像捕获环境，实际上难以始终使用户的瞳距IPD_USER与相机光轴间距IPD_CAM一致。

此外，如图7所示，由于每个用户的用户瞳距IPD_USER一般是不同的，因此难以在进行图像捕获时唯一地确定要设置的最佳用户瞳距IPD_USER。因此，为了统一各个用户之间的外观，不管图像捕获环境如何，需要最终执行一些调整。

因此，本技术能够通过调整由于难以使用户的瞳距IPD_USER和相机光轴间距IPD_CAM一致以及用户的瞳距IPD_USER存在变化而导致的立体视频的外观差异而更适当地显示视频。

注意，在下面的描述中，将主要描述调整与相机光轴间距IPD_CAM与用户的瞳距IPD_USER之间的关系相关的参数的示例，并且该参数是影响对用户而言的外观(例如虚拟被摄体的尺寸感和距离感)的参数的示例。

(视频分发系统的功能配置)

图8示出了图1的视频分发系统1的功能配置的示例。

在图8中，视频分发系统1包括：相机11，其包括成像单元120和光轴间距检测单元130；显示终端20，其包括再现单元220和瞳距检测单元230；以及转换处理单元300。

例如，转换处理单元300包括在工作站10(的处理单元100)或显示终端20(的处理单元200)中。然而，转换处理单元300不限于工作站10和显示终端20，并且可以包括在诸如相机11的另一装置中。

注意，在图8的配置中，为了简化描述，仅示出了一个相机11，但实际上，针对被摄体安装了被配置为立体相机的两个相机11-L和11-R。

在相机11中，成像单元120对被摄体进行图像捕获并且将通过图像捕获获得的视频信息输出(发送)至转换处理单元300。

此外，光轴间距检测单元130检测相机光轴间距IPD_CAM并且将其检测结果作为光轴间距信息输出。

此处，可以使用传感器等来检测相机光轴间距IPD_CAM，或者可以手动测量或作为固定值给出相机光轴间距IPD_CAM。

因此，光轴间距检测单元130不一定包括在相机11中，但相机光轴间距IPD_CAM由相机11-L的安装位置和相机11-R的安装位置唯一确定并且即使在不包括光轴间距检测单元130的情况下，本技术的基本配置也不会改变。

在显示终端20中，瞳距检测单元230检测用户的瞳距IPD_USER，并且将检测结果作为瞳距信息输出。

此处，当在头上佩戴显示终端20的用户执行视频的开始再现的操作之前或视频的再现期间，通过例如使用传感器单元201(图3)的检测结果或在预定时间处分析捕获图像来检测用户的瞳距IPD_USER。

将光轴间距信息(相机光轴间距IPD_CAM)和瞳距信息(用户的瞳距IPD_USER)作为转换信息输入到转换处理单元300。

然而，转换信息不限于光轴间距信息和瞳距信息，并且可以包括例如关于到虚拟被摄体(一个或多个虚拟被摄体中的主要虚拟被摄体)的距离的信息和关于虚拟被摄体(一个或多个虚拟被摄体中的主要虚拟被摄体)的尺寸的信息。

然后，转换处理单元300基于输入到其的转换信息对来自相机11的视频信息执行转换处理，并且将作为结果获得的转换视频信息输出(发送)至显示终端20。

更具体地，转换处理单元300使用视频信息和转换信息来根据例如第一方法至第三方法中的任何一种或第一方法至第三方法中的至少两种的组合来执行转换处理。

在该转换处理中，为了执行适当的转换(校正)，需要根据每种方法适当地调整参数(影响关于虚拟被摄体对用户而言的外观的参数)。在转换处理单元300中，提供参数调整单元320来调整该参数。注意，稍后将描述第一方法至第三方法中的三种方法的细节。

在显示终端20中，基于输入到其的转换视频信息，再现单元220再现转换后的视频(立体视频)，并且在显示单元203上显示该视频。因此，在头上佩戴显示终端20的用户可以观看显示在眼前的立体视频。

(整个处理流程)

接下来，将参照图9的流程图描述图1的视频分发系统1的整个处理流程。

在步骤S11中，通过被配置为立体相机的两个相机11-L和11-R对被摄体进行图像捕获。

在步骤S12中，例如，由诸如内容创建者的分发侧执行后期制作处理，并且由工作站10(的处理单元100)创建用于分发的视频。

在该后期制作处理中，作为图像捕获后的处理，例如，生成下述视频中的每个视频：基于由相机11-L捕获的左图像对应于用户的左眼的全部天球的视频以及基于由相机11-R捕获的右图像对应于用户的右眼的全部天球的视频。

此处创建的用于分发的视频作为视频流由视频分发服务器12经由因特网30分发到显示终端20。

在步骤S13至步骤S16中，显示终端20(的处理单元200)处理经由因特网30接收的视频流，并且执行例如解码和渲染处理。

具体地，在显示终端20中，在左眼和右眼的全部天球中布置3D模型和虚拟相机(S13)，并且根据需要执行移动布置的3D模型或虚拟相机的处理(S14)。

即，此处，在虚拟空间中，与用户的左眼相对应的虚拟相机布置在左眼全部天球的中心，并且与用户的右眼相对应的虚拟相机布置在右眼的全部天球的中心(S13)。此外，在虚拟空间中，布置3D模型，该3D模型包括与通过立体相机对其进行图像捕获的被摄体相对应的虚拟被摄体(S13)。

此外，在该示例中，由于转换处理单元300(图8)包括在显示终端20(的处理单元200)中，在出现IPD_CAM>IPD_USER的关系等情况下，通过根据第一方法至第三方法中的任一种或者第一方法至第三方法中的至少两种方法的组合执行转换处理来移动所布置的3D模型或虚拟相机(S14)。

随后，显示终端20解码视频(S15)，并且执行将纹理附加到3D模型的处理(S16)。

因此，例如，纹理被赋予包括虚拟被摄体的3D模型的表面(S16)。注意，此时，例如，转换处理单元300(图8)旋转并将纹理附加到3D模型，从而可以支持稍后将描述的第二方法(即，虽然稍后将描述细节，但是可以旋转要附加到全部天球上的视频)。

在步骤S17中，确定要再现的视频是运动图像还是要动态改变参数的调整。

在步骤S17的确定处理中确定为肯定(“是”)的情况下，处理返回到步骤S14，并且重复步骤S14和后续步骤的处理。另一方面，在步骤S17的确定处理中确定为否定(“否”)的情况下，处理结束。

例如，在作为图像捕获对象的被摄体发生变化并且根据变化量实现动态调整参数的情况下，在步骤S17的确定处理中做出肯定确定(“是”)，重复步骤S14至步骤S16的处理，并且在步骤S14或步骤S16的处理中执行转换处理单元300的转换处理。此外，显示终端20可以(临时)将经过转换处理的视频的数据存储在存储单元202中。因此，用户可以稍后观看经过转换处理的视频。

注意，在以上描述中，尽管已经描述了在渲染处理(S14、S16)时根据第一方法至第三方法中的三种方法进行参数调整的情况，但是不仅可以在渲染处理时执行参数调整，而且例如可以在后期制作处理时执行参数调整(S12)。即，在这种情况下，转换处理单元300不包括在显示终端20(的处理单元200)中，而是包括在工作站10(的处理单元100)中。

然而，如参照图9所描述的，如果在渲染处理时进行处理，则可以将公共视频作为视频流从分发侧分发，同时显示每个用户在显示终端20侧观看的唯一视频(经过转换处理的视频)，因此存在增加分发视频时的自由度的优点。

此外，在图9中，作为视频流分发的内容不限于运动图像，也可以是静止图像，并且例如，在显示终端20侧将静止图像处理为视频的情况下，除了动态执行参数调整的情况以外，在步骤S17的确定处理中确定为否定(“否”)并且不重复步骤S14至步骤S16的处理(循环)。

以上描述了视频分发系统1的整体处理流程。

(本技术的原理)

此处，将参照图10至图15描述本技术的原理。

图10示意性地示出了在与相机光轴间距IPD_CAM相对应的位置处安装的相机11-L和相机11-R分别捕获的左图像和右图像所对应的视频500-L和视频500-R相对于被摄体布置在虚拟空间中的情况下，当从上方观看时佩戴显示终端20的用户观看立体视频的状态。然而，图10示出了当出现IPD_CAM＝IPD_USER的关系时的情况。

注意，在图10中，图中从下侧到上侧的方向为向前方向。此外，该关系同样适用于其他对应的附图。

如图10所示，作为表征虚拟被摄体(虚拟对象)的外观的代表值，除了视角502以外，还可以举例融合距离503等，并且此时虚拟被摄体(虚拟对象)的外观是与真实被摄体(真实对象)看起来同等的参考的外观。

更具体地，如图11所示，在相机光轴间距IPD_CAM被设置为65mm的情况下对被摄体执行立体相机图像捕获、并且将与捕获的左图像和右图像相对应的视频500-L和500-R分别附加到左眼和右眼的全部天球上的情况下，假设在用户的瞳距IPD_USER被设置为65mm的情况下从用户的左眼和右眼的全部天球的中心观看虚拟被摄体。

此时，图中的与左眼和右眼的全部天球的中心处放置的虚拟相机之间的距离相对应的粗线520与用户的瞳距IPD_USER一致。此外，用户的瞳距IPD_USER也与相机光轴间距IPD_CAM一致。

在图11中，用户的左眼看到的立体视频的范围用左视角521-L表示，并且用户的右眼看到的立体视频的范围用右视角521-R表示，并且立体视频的总视角用视角522表示。此外，在图11中，融合视频用融合视频523表示，并且视角522和融合视频523对应于图10中的视角502。

此处，由于图像捕获时的相机光轴间距IPD_CAM与观看时用户的瞳距IPD_USER一致，因此用户观看的立体视频(捕获视频)看起来与不通过相机11-L和相机11-R而直接观看的情况相同。然而，此处，为了简单起见，进行原理上的说明，但在实际中需要考虑图像捕获时的失真等。

另一方面，图12示意性地示出了在出现IPD_CAM＞IPD_USER的关系的情况下当从上方观看时佩戴显示终端20的用户观看立体视频的状态。

如图12所示，针对用户50显示的视频与图10中所示的视频相同。此时，将图12的示意图与10的示意图进行比较，图12的视角502与图10的视角502基本相同，但是图12的融合距离503比图10的融合距离503短。

为此，在IPD_CAM>IPD_USER的条件下，虽然外观的尺寸几乎没有光学变化，但融合距离503感觉较近，并且即使虚拟被摄体较近，虚拟被摄体看起来也没有那么大，因此，用户感觉虚拟被摄体较小。

更具体地，如图13所示，假设在相机光轴间距IPD_CAM被设置为85mm的情况下对被摄体执行立体相机图像捕获，并且将与捕获的左图像和右图像相对应的视频500-L和500-R分别附加到左眼和右眼的全部天球上，在用户的瞳距IPD_USER被设置为65mm的情况下从用户的左眼和右眼的全部天球的中心观看虚拟被摄体。

此时，图中的与左眼和右眼的全部天球的中心处放置的虚拟相机之间的距离相对应的粗线520与用户的瞳距IPD_USER一致，但是用户的瞳距IPD_USER与相机光轴间距IPD_CAM不一致。

此处，由于图像捕获时的相机光轴间距IPD_CAM与观看时用户的瞳距IPD_USER的关系为IPD_CAM>IPD_USER，因此将附加左视频500-L和右视频500-R的全部天球布置在考虑实际图像捕获位置的位置内部，并且整体尺度变得更小。因此，与不通过相机11-L和相机11-R而直接观看时相比，用户观看的立体视频看上去更近。

然后，即使虚拟被摄体的总视角522(视角502)没有变化，用户也感觉在附近看到虚拟被摄体，从而感觉虚拟被摄体看起来较小。

图14详细示出了在虚拟被摄体(虚拟对象)在正前方的情况下当IPD_CAM＞IPD_USER时用户观看立体视频的状态。

图14的A示出了当假设真实空间中的相机11-L和相机11-R分别安装在作为相机光轴间距IPD_CAM的图中的粗线520的左端和右端处的黑色圆圈(●)的位置处并且被摄体被图像捕获时虚拟空间中的状态。另一方面，图14的B示出了在用户的左眼和右眼(虚拟相机)位于作为用户的瞳距IPD_USER的图中的粗线520的左端和右端处的黑色圆圈(●)的位置处的状态下观看与在图14的A的状态中进行图像捕获的被摄体相对应的虚拟被摄体时虚拟空间中的状态。

此时，在图14的A和B中，总视角522都是约49°并且基本上是相同的角度，但是正前方的虚拟被摄体的融合视频523的位置与IPD_CAM＞IPD_USER的关系不同。即，在图14的B中，由于与图14的A中的位置相比，融合视频523相对于图中的粗线520的位置更近，因此用户感觉到正前方的虚拟被摄体被观看得较近，并且虚拟被摄体看起来较小。

图15详细示出了在虚拟被摄体(虚拟对象)在右前侧的情况下，当IPD_CAM＞IPD_USER时用户观看立体视频的状态。

在图15中，与上述图14类似，图中粗线520的左端和右端处的黑色圆圈(●)的位置分别对应于图像捕获时相机11-L和相机11-R的安装位置(图15的A)以及用户的左眼和右眼的位置(图15的B)。

此时，在图15的A和B中，总视角522都是约44°并且基本上是相同的角度，但是根据IPD_CAM＞IPD_USER的关系，在图15的B中，由于与图15的A中的位置相比，融合视频523相对于粗线520的位置更近，因此用户感觉到右前侧的虚拟被摄体看起来更近，并且该虚拟被摄体看起来较小。

如上所述，在捕获真实空间中的被摄体(真实对象)的图像的立体相机的相机光轴间距IPD_CAM与虚拟空间中的用户的瞳距IPD_USER不同的情况下(例如，在出现IPD_CAM＞IPD_USER的关系的情况下)，与虚拟空间中的被摄体相对应的虚拟被摄体(虚拟对象)的尺寸在用户观看时看起来不同，并且因此用户感觉到不舒服。

因此，在本技术中，通过使用下面描述的第一方法至第三方法中的三种方法，可以更适当地显示视频。

(第一方法)

首先，将参照图16至图21描述第一方法。该第一方法是通过将观看立体视频的用户的观看位置从全部天球的中心移位来更适当地显示视频的方法。

图16示意性地示出了在出现IPD_CAM＞IPD_USER的关系的情况下应用第一方法的状态的示例。

图16示出了虚拟相机的位置从全部天球的中心向前移动的状态，即，在相机光轴间距IPD_CAM与用户的瞳距IPD_USER之间的关系是与上述图12中的条件类似的条件的情况下，使得佩戴显示终端20的用户50的观看位置靠近虚拟被摄体的状态。

此时，将图16的状态与图12的状态进行比较，融合距离603稍微短于融合距离503，但是视角602显著大于视角502。因此，通过调整该参数，可以使虚拟被摄体在光学上看起来大，并且消除融合距离变短以及虚拟被摄体因此感觉小的影响。

此外，图16中示出的示例也可以从另一方面被理解如下。即，如图17所示，假设在相机光轴间距IPD_CAM被设置为85mm的情况下对被摄体执行立体相机图像捕获并且与所捕获的左图像和右图像相对应的视频600-L和视频600-R分别被投影(附加)到左眼和右眼的全部天球上的情况下，用户的观看位置从全部天球的中心向前移位。

注意，在图17中，在用户的左眼中看到的立体视频的范围用左视角621-L表示，在用户的右眼中看到的立体视频的范围用右视角621-R表示，并且立体视频的总视角用视角622表示。此外，在图17中，融合视频用融合视频623表示。

此外，在图17中，关于视频600-L描述的十字线631-L的交点表示其上附加视频600-L的左眼的全部天球的中心。类似地，关于视频600-R描述的十字线631-R的交点表示其上附加视频600-R的右眼的全部天球的中心。

此时，佩戴显示终端20的用户具有65mm的用户的瞳距IPD_USER，并且利用左眼和右眼看到虚拟被摄体。即，图中的粗线620的左端和右端处的黑色圆圈的位置对应于虚拟相机的位置，但是由于用户的观看位置向前移位，因此用户的观看位置从由十字线631-L与十字线631-R的交点表示的全部天球的中心移位。

换言之，此处，尽管与由立体相机捕获的左图像和右图像相对应的视频600-L和视频600-R分别被附加到左眼和右眼的全部天球，但是由于用户的观看位置向前移位，因此虚拟相机不被放置在左眼和右眼的全部天球的相应中心处，并且可以说用户不从左眼和右眼的全部天球的相应中心观看。

以这种方式，用户的观看位置从全部天球的中心移位，并且用户的左眼和右眼的位置分别移动到图中的粗线620的左端和右端处的黑色圆圈的位置，并且靠近投影表面，使得虚拟被摄体的总视角622增大并且用户可以感觉到该虚拟被摄体较大。

因此，可以消除由于IPD_CAM＞IPD_USER的关系而导致的虚拟被摄体感觉小的影响，并且用户可以在更接近现实的状态下观看虚拟被摄体(与真实被摄体类似的虚拟被摄体)。

注意，如图18和图19所示，通过进一步使用户的观看位置更靠近投影表面，虚拟被摄体的总视角622进一步增大，使得虚拟被摄体可以看起来更大。

(虚拟距离的示意图)

图20示意性地示出了当转换处理单元300执行转换处理时使用的从用户到虚拟被摄体的虚拟距离的概念。

在其上投影视频的全部天球600(或空间600)中，当虚拟被摄体(虚拟对象)看上去像从用户观看的视角602时，到虚拟被摄体的距离DISTANCE可以使用半径r和视角θ被表达为下面的等式(1)。

DISTANCE＝r×cos(0.5θ)···(1)

此外，在用户的瞳距IPD_USER和相机光轴间距IPD_CAM不一致的条件下，假设用户看到在IPD_USER/IPD_CAM的状态下虚拟被摄体的与真实空间中的被摄体相比较的尺寸。因此，为了引导必要的移动后距离，必须去除其对实际看到的虚拟被摄体的影响。

图21示意性地示出了在由转换处理单元300执行转换处理之后的状态，其在虚拟被摄体的方向上移动虚拟相机的位置(使其靠近)。

此处，虚拟相机的移动距离MOVE_DST可以使用相对于球体半径r的移动比率a被表示为下面的等式(2)。

MOVE_DST＝a×r···(2)

此外，根据等式(1)与等式(2)之间的关系，移动之后到虚拟被摄体的距离DISTANCE可以表示为以下等式(3)。

DISTANCE＝r×cos(0.5θ)-a×r···(3)

此外，移动之后到虚拟被摄体的距离DISTANCE还可以由以下等式(4)的关系来表示。

r×cos(0.5θ)-a×r＝(IPD_USER/IPD_CAM)×r×cos(0.5θ)

···(4)

然后，通过对其求解，可以将期望的移动比率a表示为以下等式(5)。

a＝cos(0.5θ)×(1-IPD_USER/IPD_CAM)···(5)

注意，此时，假设几乎不存在在由于人类视觉特性而在空间中可以识别整个被摄体的尺寸的状态下虚拟被摄体的视角602超过10°的情况，包括例如人站在眼前的情况。因此，cos(0.5θ)可以被认为基本上是1，并且甚至鉴于本技术的目的，实际上可以被忽略。

因此，等式(5)可以表示为a＝(1-IPD_USER/IPD_CAM)，并且在转换处理中虚拟被摄体的尺寸不是必需的。

如上所述，在第一方法中，在相机光轴间距IPD_CAM和用户瞳距IPD_USER不同的情况下，调整参数，使得用户的观看位置从在其上投影视频的球面(全部天球)的中心移位(使与用户的观看位置相对应的虚拟相机的位置靠近球面的投影表面或远离投影表面)。因此，显示与图像捕获时的相机光轴间距IPD_CAM与观看时用户的瞳距IPD_USER一致的状态相对应的虚拟被摄体。

即，在第一方法中，通过将观看立体视频的用户的观看位置从全部天球的中心移动，消除了由于IPD_CAM＞IPD_USER的关系而导致虚拟被摄体感觉到小的影响，并且可以以更接近现实的状态显示虚拟被摄体。

即，在出现IPD_CAM＞IPD_USER的关系的情况下，与将所捕获的左图像和右图像相对应的视频600-L和视频600-R附加到其的全部天球被布置在考虑实际图像捕获位置的位置内部，并且总体规模缩小。因此，与不通过相机11-L和相机11-R而直接观看立体视频的情况相比，用户观看的立体视频看起来更近。然后，对于用户来说，即使虚拟被摄体的总体视角622(视角602)没有改变，用户也感觉到好像虚拟被摄体看起来很近并且感觉到虚拟被摄体看起来较小。

另一方面，在第一方法中，在出现IPD_CAM＞IPD_USER的关系的情况下，用户的观看位置从全部天球的中心移位并靠近投影表面，从而改变(增加)虚拟被摄体的总体视角622(视角602)以使其感觉到大。因此，消除了IPD_CAM＞IPD_USER的关系而导致虚拟被摄体感觉到小的影响，以更接近现实的状态显示虚拟被摄体。

注意，在以上描述中，已经描述了使用户的观看位置靠近投影表面以增加虚拟被摄体的尺寸感的情况，但反之，在期望减小虚拟被摄体的尺寸感的情况下，仅需将用户的观看位置从投影表面移开，以减小虚拟被摄体的总体视角622。

此外，在使用户的观看位置靠近投影表面的情况下，会聚角增大，感觉虚拟被摄体靠近，并且同时，在观看位置从投影表面移开的情况下，会聚角减小，并且感觉虚拟被摄体远离。对象越近，会聚角的影响越大，对象越远，会聚角的影响越小。

(第二方法)

接下来，将参照图22至图26描述第二方法。第二方法是通过旋转要附加到全部天球的视频来更适当地显示视频的方法。

图22示意性地示出了在出现IPD_CAM>IPD_USER的关系的情况下应用第二方法的状态的示例。

图22示出了在相机光轴间距IPD_CAM与用户的瞳距IPD_USER之间的关系是与以上描述的图12中的条件类似的条件的情况下，附加到全部天球的视频700-L和视频700-R向外旋转的状态。

在图22中，与附加到左眼的全部天球的左图像相对应的视频700-L逆时针旋转预定角度(例如5°)，并且与附加到右眼的全部天球的右图像相对应的视频700-R顺时针旋转预定角度(例如，5°)。

此时，当图22的状态与图10的状态进行比较时，视角702与视角502具有大致相同的尺寸，并且融合距离703与融合距离503具有大致相同的尺寸。因此，通过调整该参数，认为此时的外观至少在虚拟被摄体的左右方向的尺寸感和距离感上看起来与实际被摄体相同。

此外，图22所示的示例也可以从另一方面理解如下。即，如图23所示，假设在相机光轴间距IPD_CAM被设置为85mm的情况下对被摄体执行立体相机图像捕获的情况下，与所捕获的左图像相对应的视频700-L逆时针旋转预定角度并被投影(附加)到左眼的全部天球上，并且与所捕获的右图像相对应的视频700-R顺时针旋转预定角度并被投影(附加)到右眼的全部天球上，使得附加到全部天球的视频700-L和700-R向外旋转。

注意，在图23中，用户的左眼看到的立体视频的范围用左视角721-L表示，用户的右眼看到的立体视频的范围用右视角721-R表示，并且立体视频的总体视角用视角722表示。此外，在图23中，融合视频用融合视频723表示。

此外，在图23中，关于视频700-L描述的十字线731-L表示附加到左眼的全部天球的视频700-L的旋转角度，并且处于从参考状态(十字线731-L的纵线和横线与垂直方向和水平方向的直径一致情况下的状态)逆时针旋转预定角度的状态。类似地，关于视频700-R描述的十字线731-R表示附加到右眼的全部天球的视频700-R的旋转角度，并且处于从参考状态(十字线731-R的纵线和横线与垂直方向和水平方向的直径一致的情况下的状态)顺时针旋转预定角度的状态。

此时，佩戴显示终端20的用户的用户的瞳距IPD_USER为65mm，并且利用左眼和右眼根据视角722观看虚拟被摄体。即，用户的左眼和右眼的位置在图中的粗线720的左端和右端处的黑色圆圈的位置处。

换言之，此处，可以说，与由立体相机捕获的左图像和右图像相对应的视频700-L和视频700-R分别向外旋转并附加到左眼和右眼的全部天球上，并且用户从左眼和右眼的全部天球的中心观看(虚拟相机放置在左眼和右眼的全部天球的中心处)。

如上所述，通过向外旋转附加到全部天球的视频700-L和视频700-R，如果旋转是稍微旋转，则虚拟被摄体的视角722(视角702)几乎没有变化，并且随着虚拟被摄体向外旋转，尺寸基本没有变化的虚拟被摄体看起来更远，从而使用户感觉到虚拟被摄体较大。

注意，为了便于描述，图23中示出了极端旋转的示例，但实际上，图24中所示的旋转程度也是有效的。即，在图24的状态与图13的状态进行比较时，虽然要附加到全部天球的视频向外旋转，但视角722与视角522基本相同，并且与融合视频523相比较，融合视频723出现在离用户的观看位置更远的位置处。

此外，作为使附加到全部天球的视频700-L和视频700-R旋转的方法，除了使视频700-L和视频700-R旋转并且然后将视频700-L和视频700-R附加到如上所述的左眼和右眼的全部天球的方法以外，视频700-L和视频700-R可以附加到左眼和右眼的全部天球并且然后与全部天球一起旋转，并且各种实现方式是可能的。

此外，在需要减小用户对虚拟被摄体的尺寸感的情况下，与如上所述的向外旋转相反，仅需将附加到全部天球的视频700-L和视频700-R向内旋转。即，通过将虚拟被摄体向内旋转，可以在附近看到具有基本相同的尺寸的虚拟被摄体，从而用户感觉到虚拟被摄体较小。

图25示出了在虚拟被摄体(虚拟对象)在正前方的情况下，当IPD_CAM>IPD_USER时，要附加到全部天球的视频700-L和视频700-R向外旋转的状态。

图25的B示出了通过从图25的A中的旋转之前的状态逆时针旋转附加到左眼的全部天球的视频700-L并且顺时针旋转附加到右眼的全部天球的视频700-R，从而附加到全部天球的视频700-L和视频700-R向外旋转的状态。此时，在图25的A和B中，总体视角722为49°，基本上是相同的角度。即，通过小的向外旋转，对象的视角722几乎不变。

相对于如上所述的图11的状态，用于这种向外旋转的参数调整前后的效果与图13的状态的效果相反，即与在观看时的用户的瞳距IPD_USER相对于图像捕获时的相机光轴间距IPD_CAM被加宽的效果类似的效果。因此，反过来，可以获得在消除在以下情况下的影响的方向上的效果：在该情况下，观看时的用户的瞳距IPD_USER相对于图像捕获时的相机光轴间距IPD_CAM变窄。因此，用户感觉到虚拟被摄体较大。

图26示出了在虚拟被摄体(虚拟对象)在正前方的情况下当IPD_CAM>IPD_USER时将要附加到全部天球的视频700-L和视频700-R向内旋转的状态。

图26的B示出了通过从图26的A中的旋转之前的状态顺时针旋转附加到左眼的全部天球的视频700-L并且逆时针旋转附加到右眼的全部天球的视频700-R，从而将附加到全部天球的视频700-L和视频700-R向内旋转的状态。此时，在图26的A和B中，总体视角722为49°，基本上是相同的角度。即，通过小的向内旋转，对象的视角722几乎不变。

相对于如上所述的图11的状态，用于这种向内旋转的参数调整前后的效果与图13的状态的效果相似，即与在观看时的用户的瞳距IPD_USER相对于图像捕获时的相机光轴间距IPD_CAM变窄的效果类似的效果。因此，反过来，可以获得在消除在以下情况下的影响的方向上的效果：在该情况下，观看时的用户的瞳距IPD_USER相对于图像捕获时的相机光轴间距IPD_CAM被加宽。因此，用户感觉到虚拟被摄体较小。

如上所述，在第二方法中，在相机光轴间距IPD_CAM与用户的瞳距IPD_USER不同的情况下，调整参数，使得在用户的观看位置与在其上投影视频的球面(全部天球)的中心的位置一致的情况下，投影在球面(全部天球)上的视频的角度改变(从而使投影在球面上的视频向外或向内旋转)。因此，显示与图像捕获时的相机光轴间距IPD_CAM与观看时的用户的瞳距IPD_USER一致的状态相对应的虚拟被摄体。

即，在第二方法中，通过将附加到全部天球的视频向外或向内旋转，可以消除观看时用户的瞳距IPD_USER相对于图像捕获时的相机光轴间距IPD_CAM变窄或观看时用户的瞳距IPD_USER相对于图像捕获时的相机光轴间距IPD_CAM变宽的情况的影响，并且以更接近现实的状态显示虚拟被摄体。即，即使在要附加到全部天球的视频旋转的状态下，也可以通过逻辑地引导适当的值来提供适当外观的影响。

注意，在使用第二方法的情况下，由于要附加到全部天球的视频的旋转导致与原始光线方向的差异，有可能出现失真或出现用户的左眼和右眼看起来错位的事件。此外，当要附加到全部天球的视频的旋转量变得太大时，有可能不再执行对焦，因此在调整参数时需要将旋转量调整到合适的旋转量。

(第三方法)

最后，将参照图27至图31描述第三方法。第三方法是通过改变附加视频的全部天球的位置来更适当地显示视频的方法。

图27示意性地示出了在出现IPD_CAM>IPD_USER的关系的情况下应用第三方法的状态的示例。

图27示出了在相机光轴间距IPD_CAM与用户的瞳距IPD_USER之间的关系是与如上所述的图12中的条件类似的条件的情况下，左眼的附加了与左图像相对应的视频700-L的全部天球的中心和右眼的附加了与右图像相对应的视频700-R的全部天球的中心向外移位的状态。

此时，当图27的状态与图12的状态进行比较时，将视角802和融合距离803改变成比视角502和融合距离503更接近现实的值。

此外，图27中所示的示例也可以从另一方面被理解如下。即，如图28所示，假设在相机光轴间距IPD_CAM被设置为85mm的情况下对被摄体执行立体相机图像捕获的情况，与所捕获的左图像相对应的视频800-L被投影(附加)到左眼的全部天球上，与所捕获的右图像相对应的视频800-R被投影(附加)到右眼的全部天球上，并且左眼和右眼的全部天球的中心向外移位。

注意，在图28中，在用户的左眼中看到的立体视频的范围用左视角821-L表示，在用户的右眼中看到的立体视频的范围用右视角821-R表示，并且立体视频的总体视角用视角822表示。此外，在图28中，融合视频用融合视频823表示。

此外，在图28中，关于视频800-L描述的十字线831-L的交点表示左眼的附加了视频800-L的全部天球的中心，并且处于在水平方向上移动以与图中的粗线820的右端(用户的右眼的位置)分离的状态。类似地，关于视频800-R描述的十字线831-R的交点表示右眼的附加了视频800-R的全部天球的中心，并且处于在水平方向上移动以与图中的粗线820的左端(用户的左眼的位置)分离的状态。

此时，佩戴显示终端20的用户具有65mm的用户的瞳距IPD_USER，并且利用左眼和右眼根据视角822看到虚拟被摄体。即，图中的粗线820的左端和右端处的黑色圆圈的位置对应于虚拟相机的位置，但是由于左眼和右眼的全部天球的中心向外移位，因此用户的观看位置从全部天球的中心移位。

换言之，此处，与由立体相机捕获的左图像和右图像相对应的视频800-L和视频800-R分别附加到左眼和右眼的全部天球，但是由于左眼和右眼的全部天球的中心向外移位，因此虚拟相机不被放置在左眼和右眼的全部天球的相应中心处，并且用户不从左眼和右眼的全部天球中的每一个的中心观看。

如上所述，即使附加了视频800-L和视频800-R的全部天球的中心向外移位，虚拟被摄体的视角822(视角802)也不改变，并且随着全部天球向外移位，尺寸不变的虚拟被摄体看起来更远，使得用户感觉到虚拟被摄体较大。

另外，为了便于描述，图28示出了极端移位的示例，但实际上，图29所示的移位量的程度也是有效的。即，当将图28的状态与图13的状态进行比较时，尽管全部天球从中心向外移位，但是视角822与视角522基本相同，并且融合视频823出现在与融合视频523相比相对于用户的观看位置更远的位置处。

此外，在期望减小用户对虚拟被摄体的尺寸感的情况下，与如上所述的向外移位相反，仅需使附加了视频800-L和视频800-R的全部天球的中心向内移位。即，通过使全部天球向内移位，能够在附近看到具有基本相同尺寸的虚拟被摄体，因此用户感觉到虚拟被摄体较小。

图30示出了当虚拟被摄体(虚拟对象)在正前方的情况下，当IPD_CAM＞IPD_USER时，附加了视频800-L和视频800-R的全部天球的中心向外移动的状态。

图30的B示出了如下状态，其中，从图30的A中的移动之前的状态起，左眼的附加了视频800-L的全部天球的中心(十字线831-L的交点)在水平方向上移动以与图中的粗线820的右端(用户的右眼的位置)分离，并且右眼的附加了视频800-R的全部天球的中心(十字线831-R的交点)在水平方向上移动以与图中的粗线820的左端(用户的左眼的位置)分离，使得附加了视频800-L和视频800-R的全部天球的中心向外移动。此时，在图30的A和B两者中，总体视角822均为49°，是基本相同的角度。即，当全部天球稍微向外移位时，目标的视角822几乎不变。

相对于如上所述的图11的状态，用于使全部天球的中心向外移位的参数调整前后的这种效果与图13的状态的效果相反，即与在观看时的用户的瞳距IPD_USER相对于图像捕获时的相机光轴间距IPD_CAM被加宽的效果类似。因此，反过来，可以获得在消除在如下情况下的影响的方向上的效果：在该情况下，观看时的用户的瞳距IPD_USER相对于图像捕获时的相机光轴间距IPD_CAM变窄。因此，用户感觉到虚拟被摄体较大。

图31示出了当虚拟被摄体(虚拟对象)在正前方的情况下，当IPD_CAM>IPD_USER时，附加了视频800-L和视频800-R的全部天球的中心向内移动的状态。

图31的B示出了如下状态，其中，从图31的A中的移动之前的状态起，左眼的附加了视频800-L的全部天球的中心(十字线831-L的交点)在水平方向上移动以接近图中的粗线820的右端(用户的右眼的位置)，并且右眼的附加了视频800-R的全部天球的中心(十字线831-R的交点)在水平方向上移动以接近粗线820的左端(用户的左眼的位置)，使得附加了视频800-L和视频800-R的全部天球的中心向内移动。此时，在图31的A和B两者中，总体视角822均为49°，是基本相同的角度。即，当全部天球稍微向内移位时，目标的视角822几乎不变。

相对于如上所述的图11的状态，用于使全部天球的中心向内移位的参数调整前后的这种效果与图13的状态的效果类似，即与在观看时的用户的瞳距IPD_USER相对于图像捕获时的相机光轴间距IPD_CAM变窄的效果类似。因此，反过来，可以获得在消除在以下情况下的影响方向上的效果：在该情况下，观看时的用户的瞳距IPD_USER相对于图像捕获时的相机光轴间距IPD_CAM被加宽。因此，用户感觉到虚拟被摄体较小。

如上所述，在第三方法中，在相机光轴间距IPD_CAM与用户的瞳距IPD_USER不同的情况下，调整参数，使得在其上投影视频的球面(全部天球)的中心从用户的观看位置移位(球面的中心位置相对于虚拟相机的与用户的观看位置相对应的位置向外移动或向内移动)。因此，显示与图像捕获时的相机光轴间距IPD_CAM与观看时的用户的瞳距IPD_USER一致的状态相对应的虚拟被摄体。

即，在第三方法中，通过将附加了视频的全部天球的中心移动到外部或内部，可以消除当在观看时的用户的瞳距IPD_USER相对于图像捕获时的相机光轴间距IPD_CAM变窄或观看时的用户的瞳距IPD_USER相对于图像捕获时的相机光轴间距IPD_CAM被加宽的情况下的影响，并且可以以更接近现实的状态显示虚拟被摄体。即，即使在附加了视频的全部天球的中心移动的状态下，也可以通过逻辑地引导适当的值来提供适当的外观的影响。

注意，在使用第三方法的情况下，通过移动附加了视频的全部天球的中心，用户的观看位置从全部天球的中心移位。因此，上述“只要用户50不移动眼睛位置(仅移动眼球)，就可以正确地观看立体视频”是不成立的，并且存在左右眼看起来移位的可能性。此外，当全部天球从中心移动太多时，存在不再进行对焦(偏差量较大，尺寸感看起来变化，并且外观变化的影响也增加)的可能性，因此在调整参数时需要调整到适当的偏差量。

<2.修改示例>

在以上描述中，已经描述了第一方法至第三方法中的每一个作为独立方法被实现的情况。另一方面，将用户的观看位置从全部天球的中心移位的第一方法、使要附加到全部天球的视频旋转的第二方法、以及附加了视频的全部天球的中心移位的第三方法中的任何一种都有可能导致视频中具有彼此不同的某些特征的失真。因此，为了抑制根据每种方法的副作用，可以组合执行第一方法至第三方法中的至少两种方法。

例如，在应用第一方法并且用户的观看位置向前移动的情况下，如果图像捕获时被摄体在相机附近，可能会出现被摄体看起来过近的现象。如上所述，第二方法和第三方法也有副作用，并且参数的调整量(校正量)越大，影响越大。

在本修改示例中，通过组合任何两种方法或三种方法来根据每种方法减少参数的调整量(校正量)，可以根据每种方法控制虚拟被摄体的尺寸感的外观，同时抑制副作用。

例如，在应用第一方法的情况下，根据用户的观看位置向前移动时的参数调整，将调整抑制到不过量的程度，并且剩余的未调整部分根据另一方法进行调整。因此，由于根据多种方法调整参数，因此可以提供适当的视频外观同时使由于每次调整引起的失真最小化。

此外，由于可以逻辑地预测由于应用本技术的转换处理引起的视频外观的变化，因此内容创建者、制作者等也可以使用该调整逻辑来控制视频的外观。具体地，通过将作为包括在上述等式(2)等中的参数的移动比率a设置为在不存在用户的视觉负载的问题的范围内以及在不存在视频质量的失真问题的范围内的过小值或过大值，可以实现期望的性能。

这种性能可能会在时间序列中发生变化。例如，如图32所示，在时间t1处显示了处于默认状态的虚拟被摄体70-1之后，在时间t2处应用第一方法以通过使用户50的观看位置更接近投影表面来显示虚拟被摄体70-2。然后，在随后的时间t3处，可以在时间序列的任意时刻自由切换对虚拟被摄体70的显示，例如在场景切换时显示虚拟被摄体70-3。

此外，除了这种性能的观点，鉴于视频的可观看性、单个用户的观看趋势等，例如，当用户执行缩放操作时或者当最好减轻负载时，可以在内容创建等时预先输入应当改变(调整)参数的时刻。替选地，例如，可以通过输入视频内容以外的各种条件来调整参数，例如根据用户的操作改变(调整)参数，根据观看时间改变(调整)参数，或者经由预定装置通过因特网30进行实时控制。

即，以上描述具体例示了在相机光轴间距IPD_CAM与用户的瞳距IPD_CAM因第一方法至第三方法的参数调整而不同的情况下显示与相机光轴间距IPD_CAM与用户的瞳距IPD_USER一致的状态相对应的虚拟被摄体的情况，但与经调整的参数相对应的虚拟被摄体的显示形式不限于此。例如，可以调整参数，使得在相机光轴间距IPD_CAM与用户的瞳距IPD_CAM一致或彼此不同的情况下，显示与相机光轴间距IPD_CAM与用户的瞳距IPD_USER彼此不同的状态相对应的虚拟被摄体(例如，具有与真实被摄体不同的外观的虚拟被摄体)。

注意，在以上描述中，虽然主要描述了在显示终端20是头戴式显示器的情况下IPD_CAM>IPD_USER的时间，但是本技术也可以应用于将诸如智能电话的信息终端用作显示终端20的情况以实现在信息终端的显示单元上以透视方式显示由信息终端的相机捕获的视频的增强现实(AR)功能。

在这种情况下，除了再现单元220和转换处理单元300之外，作为诸如智能电话的信息终端的显示终端20还具有成像装置的功能(对应于相机11的功能)。此处，在使用诸如智能电话的信息终端的情况下，还假设IPD_USER＞IPD_CAM。即使在这样的情况下，通过应用本技术并适当地调整影响关于虚拟被摄体对用户而言的外观的参数(例如，虚拟被摄体的尺寸感、距离感等)，可以适当地显示视频，例如使其看起来与真实被摄体相同。

此外，在以上描述中，已经描述了显示终端20包括再现单元220和显示单元203的情况，但是可以通过单独提供包括再现单元220的再现装置来提供其中包括显示单元203而不包括再现单元220的显示终端20的配置。此外，工作站10的功能和视频分发服务器12的功能可以被组合(集成)以被配置为一个装置。

即，在视频分发系统1中，哪个装置包括构成工作站10、相机11、视频分发服务器12和显示终端20的每个装置的部件(处理单元)是任意的。换言之，系统是指多个部件(装置、模块(部分)等)的集合，并且所有部件是否在同一壳体中并不重要。

因此，容纳在单独的壳体中并且经由网络连接的多个装置以及其中多个模块容纳在一个壳体中的单个装置都是系统。此外，每个部件的通信形式也是任意的。换言之，部件可以经由因特网30连接或者可以经由本地网(局域网(LAN)或广域网(WAN))连接。此外，部件可以通过有线或无线方式连接。

此外，在以上描述中，立体视频不限于诸如VR运动图像的运动图像，并且包括诸如静止图像的视频。此外，在以上描述中，已经描述了通过将与由配置为立体相机的相机11-L和相机11-R捕获的左图像和右图像相对应的相应视频分别投影到左眼和右眼的全部天球上来实现虚拟空间。全部天球是投影表面的示例，并且可以投影到另一球面(例如半天球、圆柱的内表面、覆盖用户视野约180°的平面等)上。

如上所述，应用本技术的视频分发系统1包括：图像获取单元(例如，工作站10的处理单元100的图像获取单元111)，其获取由相机11-L和相机11-R捕获的被摄体(例如，被摄体60)的左图像和右图像；参数调整单元(例如，转换处理单元300的参数调整单元320)，其根据由已经获取的左图像和右图像表示的虚拟空间中的被摄体来调整影响关于虚拟被摄体对用户而言的外观的参数(例如，虚拟被摄体的尺寸感、距离感等)；以及显示控制单元(例如，显示终端20的处理单元200的显示控制单元213)，其在显示终端(例如，显示终端20的显示单元203)上显示表示包括与经调整的参数相对应的虚拟被摄体的虚拟空间的视频(例如，视频600-L、视频600-R等)。

即，在应用本技术的视频分发系统1中，作为影响对用户而言的外观的参数，例如虚拟被摄体的尺寸感和距离感，例如，对与下述中的至少一个相关的参数进行调整(例如，第一方法至第三方法中的每一个分别作为单个方法执行，或者第一方法至第三方法中的至少两种方法组合执行)，使得可以更适当地显示视频(立体视频)：相机光轴间距IPD_CAM、用户的瞳距IPD_USER、到虚拟被摄体的距离或虚拟被摄体的尺寸(例如相机光轴间距IPD_CAM与用户的瞳距IPD_USER之间的关系所关联的参数)。

此外，消除或减少了由相机11中的相机机身和镜头的尺寸、其他图像捕获环境等限制的相机光轴间距IPD_CAM的影响，这增加了相机机身和镜头的选择自由度，从而可以选择适合各种环境和被摄体的最佳设备。因此，可以以更接近实际被摄体的状态再现传统上难以传达实际被摄体的尺寸和距离感的内容。

此外，可以通过用户的瞳距IPD_USER来调整个人之间虚拟被摄体的外观差异，从而可以统一每个用户的视频体验水平。具体地，当用户使用尺寸和距离感观看包括视频性能的内容时，可以将性能的目的适当地传达给用户。

此外，在不损失内容价值的范围内，根据用户的偏好调整尺寸和距离感，可以为每个单独的用户提供最佳的视频体验。此处，尺寸和距离感不仅可以针对准确性和用户的个人偏好进行调整，还可以针对性能进行调整。此外，当本技术应用于在远程通信等中取决于对方的外观尺寸和距离感执行物理动作的系统时，可以减少现实与虚拟现实(VR)之间的体验差异。

注意，上述专利文献1提出了一种用于调整立体视觉外观的技术。在该技术方案中，采用了允许用户使用用户界面(UI)进行调整的方式，但在实际操作中存在以下两点问题。即，首先，取决于用户的调整，存在在施加视觉负载的不适当的状态下继续使用的可能性，其次，内容提供方无法把握它呈现给用户的尺寸，并且因此不能统一每个用户的视频体验。

另一方面，在本技术中，由于呈现最佳状态以逻辑地再现图像捕获时的外观，因此不会发生上述两个问题。注意，另外在本技术中，作为在不使用理论值的情况下调整外观的方法的选项之一，描述了其中用户选择视觉上更合适的方法，如专利文献1中公开的技术，但是原则上可以在排除呈现给用户视觉负担重的选项和被认为视频体验无法统一的选项的情况下执行呈现，从而不出现上述两个问题。

此外，上述专利文献2提出了一种用于根据被摄体与相机之间的距离以及显示装置与用户之间的距离之间的大小关系来校正损害视频的真实感的影响的技术。在该技术方案中，采用在图像捕获时通过改变相机的角度来调整被摄体的外观的尺寸的方法。然而，利用该方法，短距离处出现较大的视频失真，从而削弱了沉浸感，尤其是在观看虚拟现实(VR)视频的环境中，从而导致质量下降，难以将该技术付诸实际使用。此外，该技术取决于图像捕获时相机的角度，图像捕获一次后无法添加校正。

另一方面，在本技术中，由于在对被摄体进行图像捕获之后可以根据第一方法至第三方法等中的三种方法来调整一个或多个参数，因此可以应对各种距离，并且此外，转换处理(参数调整)是通过对捕获的视频(图像)进行后处理来实现的，因此不会出现这样的问题。

注意，在除了上述的专利文献1和专利文献2以外的现有技术中，针对立体显示器(例如，兼容3D的电视机)已经提出了用于调整距离感和尺寸感的方法，但这些方法主要是由于显示视频的装置或用户的观看位置的差异而校正被摄体的尺寸感。另外，基本上，在这样的观看环境中，用户无法将被摄体视为“实际对象本身”并且不能要求高精度。

另一方面，当在诸如头戴式显示器的显示终端20上观看虚拟现实(VR)的视频时，再现虚拟被摄体的空间以及前后左右信息，并且从用户来说，沉浸感高并且虚拟被摄体看起来像被摄体(“实际对象本身”)。因此，在被摄体的距离感和尺寸感方面需要更准确的调整(参数调整)，并且可以说考虑到包括头戴式显示器的显示终端20的特性的本技术的方法是适当的。

<3.计算机的配置示例>

上述一系列处理(例如，图9所示的整个系统的处理)可以由硬件或软件来执行。在由软件执行一系列处理的情况下，构成软件的程序安装在每个装置的计算机中。图33是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。

在图33的计算机中，中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003经由总线1004互连。输入-输出接口1005还连接至总线1004。输入单元1006、输出单元1007、存储单元1008、通信单元1009和驱动器1010连接至输入-输出接口1005。

输入单元1006包括麦克风、键盘、鼠标等。输出单元1007包括扬声器、显示器等。存储单元1008包括硬盘、非易失性存储器等。通信单元1009包括网络接口等。驱动器1010驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质1011。

在如上所述配置的计算机中，CPU 1001经由输入输出接口1005和总线1004将记录在ROM 1002或存储单元1008中的程序加载到RAM 1003中并执行该程序，以执行上述一系列处理。

由计算机(CPU 1001)执行的程序可以通过记录在作为封装介质等的可移除记录介质1011上来提供。此外，可以经由有线或无线传输介质(例如局域网、因特网或数字卫星广播)提供程序。

在计算机中，通过将可移除记录介质1011安装到驱动器1010，程序可以经由输入输出接口1005安装在存储单元1008中。此外，程序可以经由有线或无线传输介质由通信单元1009接收并安装在存储单元1008中。另外，程序可以预先安装在ROM 1002或存储单元1008中。

此处，在本描述中，计算机根据程序执行的处理不一定必须按照流程图中描述的顺序按时间序列执行。即，计算机根据程序执行的处理还包括并行执行或单独执行的处理(例如，并行处理或对象处理)。此外，程序可以由一台计算机(处理器)处理，也可以由多台计算机以分布式方式处理。

注意，本技术的实施方式不限于上述实施方式，并且在不脱离本技术的主旨的情况下可以进行各种修改。

此外，图9所示的整个系统的处理的每个步骤可以由一个装置执行，或者可以由多个装置共享和执行。此外，在一个步骤中包括多个处理的情况下，该步骤中包括的多个处理除了可以由一个装置执行以外，还可以由多个装置以共享的方式执行。

注意，本技术还可以采用以下配置。

(1)

一种视频分发系统，包括：

图像获取单元，其获取由第一相机和第二相机捕获的被摄体的第一图像和第二图像；

参数调整单元，其调整影响关于由已经获取的所述第一图像和所述第二图像表示的虚拟空间中的与被摄体相对应的虚拟被摄体对用户而言的外观的参数；以及

显示控制单元，其在显示终端上显示表示包括与经调整的参数相对应的虚拟被摄体的所述虚拟空间的视频。

(2)

根据(1)所述的视频分发系统，其中，

所述参数包括与下述中至少一个相关的参数：所述第一相机与所述第二相机之间的第一距离、所述用户的瞳孔之间的第二距离、到所述虚拟被摄体的距离以及所述虚拟被摄体的尺寸。

(3)

根据(2)所述的视频分发系统，其中，

所述参数包括与所述第一距离和所述第二距离之间的关系所关联的参数。

(4)

根据(3)所述的视频分发系统，其中，

在所述第一距离与所述第二距离不同的情况下，所述参数调整单元调整所述参数，使得显示预所述第一距离和所述第二距离一致的状态相对应的所述虚拟被摄体。

(5)

根据(4)所述的视频分发系统，其中，

所述参数调整单元调整所述参数，使得所述用户的观看位置从投影视频的球面的中心移位。

(6)

根据(5)所述的视频分发系统，其中，

所述参数调整单元使与所述用户的观看位置相对应的虚拟相机的位置靠近所述球面的投影表面或者远离所述投影表面。

(7)

根据(4)至(6)中任一项所述的视频分发系统，其中，

所述参数调整单元调整所述参数，使得在所述用户的观看位置与投影视频的球面的中心的位置一致的状态下，投影在所述球面上的视频的角度改变。

(8)

根据(7)所述的视频分发系统，其中，

所述参数调整单元向外或向内旋转投影在所述球面上的视频。

(9)

根据(4)至(8)中任一项所述的视频分发系统，其中，

所述参数调整单元调整所述参数，使得投影视频的球面的中心从所述用户的观看位置移位。

(10)

根据(9)所述的视频分发系统，其中，

所述参数调整单元相对于与所述用户的观看位置相对应的虚拟相机的位置向外或向内移动所述球面的中心的位置。

(11)

根据(4)所述的视频分发系统，其中，

在调整所述参数时，所述参数调整单元单独地执行下述方法中的一种方法或执行至少两种方法的组合：第一方法，其将所述用户的观看位置从投影视频的球面的中心移位；第二方法，其在所述用户的观看位置和所述球面的中心一致的状态下改变投影在所述球面上的视频的角度；或第三方法，其将所述球面的中心从所述用户的观看位置移位。

(12)

根据(11)所述的视频分发系统，其中，

所述参数调整单元

在执行所述第一方法的情况下，通过将与所述用户的观看位置相对应的虚拟相机的位置靠近所述球面的投影表面或远离所述投影表面来使所述用户的观看位置移位，

在执行所述第二方法的情况下，通过向外或向内旋转投影在所述球面上的视频来改变投影在所述球面上的视频的角度，以及

在执行所述第三方法的情况下，通过相对于所述虚拟相机的位置向外或向内移动所述球面的中心的位置来使所述球面的中心移位。

(13)

根据(1)至(12)中任一项所述的视频分发系统，其中，

所述第一相机安装在当从前面观察所述被摄体时相对于所述被摄体的左侧的位置处，并且

所述第二相机安装在当从所述前面观察所述被摄体时相对于所述被摄体的右侧的位置处。

(14)

根据(13)所述的视频分发系统，其中，

通过下述操作显示表示包括所述虚拟被摄体的所述虚拟空间的视频：

将与由所述第一相机捕获的所述第一图像相对应的第一视频投影在第一球面上，所述第一球面以与所述用户的左眼相对应的第一虚拟相机在所述虚拟空间中的位置为中心，以及

将与由所述第二相机捕获的所述第二图像相对应的第二视频投影在第二球面上，所述第二球面以与所述用户的右眼相对应的第二虚拟相机在所述虚拟空间中的位置为中心。

(15)

根据(14)所述的视频分发系统，其中，

所述第一球面和所述第二球面包括与全部天球或半天球相对应的球面。

(16)

根据(3)所述的视频分发系统，其中，

所述参数调整单元调整所述参数，使得在所述第一距离和所述第二距离一致或彼此不同的情况下，显示与所述第一距离和所述第二距离不同的状态相对应的所述虚拟被摄体。

(17)

根据(1)至(16)中任一项所述的视频分发系统，其中，

当作为图像捕获对象的所述被摄体发生变化时，所述参数调整单元根据所述变化的量动态地调整所述参数。

(18)

根据(1)至(17)中任一项所述的视频分发系统，其中，

所述显示终端包括头戴式显示器。

(19)

一种视频分发方法，包括：通过视频分发系统进行下述操作：

获取由第一相机和第二相机捕获的被摄体的第一图像和第二图像；

调整影响关于由已经获取的所述第一图像和所述第二图像表示的虚拟空间中的与所述被摄体相对应的虚拟被摄体对用户而言的外观的参数；以及

在显示终端上显示表示包括与经调整的参数相对应的虚拟被摄体的所述虚拟空间的视频。

(20)

一种显示终端，包括：

显示控制单元，其在显示终端上显示表示包括其中调整了参数的虚拟被摄体的虚拟空间的视频，所述参数影响关于由第一相机和第二相机捕获的被摄体的第一图像和第二图像表示的所述虚拟空间中的与所述被摄体相对应的所述虚拟被摄体对用户而言的外观。

附图标记列表

1 视频分发系统

10 工作站

11,11-L,11-R 相机

12 视频分发服务器

20,20-1 至20-N显示终端

100 处理单元

101 输入单元

102 输出单元

103 存储单元

104 通信单元

111 图像获取单元

112 图像处理单元

113 传输控制单元

120 成像单元

130 光轴间距检测单元

200 处理单元

201 传感器单元

202 存储单元

203 显示单元

204 音频输出单元

205 输入终端

206 输出终端

207 通信单元

211 图像获取单元

212 图像处理单元

213 显示控制单元

220 再现单元

230 瞳距检测单元

300 转换处理单元

320 参数调整单元

1001 CPU

Claims (20)

1.一种视频分发系统，包括：

图像获取单元，其获取由第一相机和第二相机捕获的被摄体的第一图像和第二图像；

参数调整单元，其调整影响关于由已经获取的所述第一图像和所述第二图像表示的虚拟空间中的与所述被摄体相对应的虚拟被摄体对用户而言的外观的参数；以及

显示控制单元，其在显示终端上显示表示包括与经调整的参数相对应的虚拟被摄体的所述虚拟空间的视频。

2.根据权利要求1所述的视频分发系统，其中，

所述参数包括与下述中至少一个相关的参数：所述第一相机与所述第二相机之间的第一距离、所述用户的瞳孔之间的第二距离、到所述虚拟被摄体的距离以及所述虚拟被摄体的尺寸。

3.根据权利要求2所述的视频分发系统，其中，

所述参数包括所述第一距离与所述第二距离之间的关系所关联的参数。

4.根据权利要求3所述的视频分发系统，其中，

在所述第一距离与所述第二距离不同的情况下，所述参数调整单元调整所述参数，使得显示与所述第一距离和所述第二距离一致的状态相对应的所述虚拟被摄体。

5.根据权利要求4所述的视频分发系统，其中，

所述参数调整单元调整所述参数，使得所述用户的观看位置从投影视频的球面的中心移位。

6.根据权利要求5所述的视频分发系统，其中，

所述参数调整单元使与所述用户的观看位置相对应的虚拟相机的位置靠近所述球面的投影表面或者远离所述投影表面。

7.根据权利要求4所述的视频分发系统，其中，

所述参数调整单元调整所述参数，使得在所述用户的观看位置与投影视频的球面的中心的位置一致的状态下，投影在所述球面上的视频的角度改变。

8.根据权利要求7所述的视频分发系统，其中，

所述参数调整单元向外或向内旋转投影在所述球面上的视频。

9.根据权利要求4所述的视频分发系统，其中，

所述参数调整单元调整所述参数，使得投影视频的球面的中心从所述用户的观看位置移位。

10.根据权利要求9所述的视频分发系统，其中，

所述参数调整单元相对于与所述用户的观看位置相对应的虚拟相机的位置向外或向内移动所述球面的中心的位置。

11.根据权利要求4所述的视频分发系统，其中，

在调整所述参数时，所述参数调整单元单独地执行下述方法中的一种方法或执行至少两种方法的组合：第一方法，其将所述用户的观看位置从投影视频的球面的中心移位；第二方法，其在所述用户的观看位置和所述球面的中心一致的状态下改变投影在所述球面上的视频的角度；或第三方法，其将所述球面的中心从所述用户的观看位置移位。

12.根据权利要求11所述的视频分发系统，其中，

所述参数调整单元

在执行所述第一方法的情况下，通过将与所述用户的观看位置相对应的虚拟相机的位置靠近所述球面的投影表面或远离所述投影表面来使所述用户的观看位置移位，

在执行所述第二方法的情况下，通过向外或向内旋转投影在所述球面上的视频来改变投影在所述球面上的视频的角度，以及

在执行所述第三方法的情况下，通过相对于所述虚拟相机的位置向外或向内移动所述球面的中心的位置来使所述球面的中心移位。

13.根据权利要求1所述的视频分发系统，其中，

所述第一相机安装在当从前面观察所述被摄体时相对于所述被摄体的左侧的位置处，并且

所述第二相机安装在当从所述前面观察所述被摄体时相对于所述被摄体的右侧的位置处。

14.根据权利要求13所述的视频分发系统，其中，

通过下述操作显示表示包括所述虚拟被摄体的所述虚拟空间的视频：

将与由所述第一相机捕获的所述第一图像相对应的第一视频投影在第一球面上，所述第一球面以与所述用户的左眼相对应的第一虚拟相机在所述虚拟空间中的位置为中心，以及

将与由所述第二相机捕获的所述第二图像相对应的第二视频投影在第二球面上，所述第二球面以与所述用户的右眼相对应的第二虚拟相机在所述虚拟空间中的位置为中心。

15.根据权利要求14所述的视频分发系统，其中，

所述第一球面和所述第二球面包括与全部天球或半天球相对应的球面。

16.根据权利要求3所述的视频分发系统，其中，

所述参数调整单元调整所述参数，使得在所述第一距离和所述第二距离一致或彼此不同的情况下，显示与所述第一距离和所述第二距离不同的状态相对应的所述虚拟被摄体。

17.根据权利要求1所述的视频分发系统，其中，

当作为图像捕获对象的所述被摄体发生变化时，所述参数调整单元根据所述变化的量动态地调整所述参数。

18.根据权利要求1所述的视频分发系统，其中，

所述显示终端包括头戴式显示器。

19.一种视频分发方法，包括：通过视频分发系统进行下述操作：

获取由第一相机和第二相机捕获的被摄体的第一图像和第二图像；

调整影响关于由已经获取的所述第一图像和所述第二图像表示的虚拟空间中的与所述被摄体相对应的虚拟被摄体对用户而言的外观的参数；以及

在显示终端上显示表示包括与经调整的参数相对应的虚拟被摄体的所述虚拟空间的视频。

20.一种显示终端，包括：

显示控制单元，其在显示终端上显示表示包括调整了参数的虚拟被摄体的虚拟空间的视频，所述参数影响关于由第一相机和第二相机捕获的被摄体的第一图像和第二图像表示的所述虚拟空间中的与所述被摄体相对应的所述虚拟被摄体对用户而言的外观。

Images