CN112823528B - 信息处理装置、信息处理方法和信息处理程序 - Google Patents

信息处理装置、信息处理方法和信息处理程序 Download PDF

Info

Publication number
CN112823528B
CN112823528B CN201980066869.7A CN201980066869A CN112823528B CN 112823528 B CN112823528 B CN 112823528B CN 201980066869 A CN201980066869 A CN 201980066869A CN 112823528 B CN112823528 B CN 112823528B
Authority
CN
China
Prior art keywords
viewpoint
information
comment
unit
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980066869.7A
Other languages
English (en)
Other versions
CN112823528A (zh
Inventor
高桥慧
石川毅
安田亮平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112823528A publication Critical patent/CN112823528A/zh
Application granted granted Critical
Publication of CN112823528B publication Critical patent/CN112823528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

信息处理装置(100)包括：获取单元(131)，用于获取与视频相关的相关信息；指定单元(134a)，用于基于由获取单元(131)获取的相关信息以及与第一视点对应的视频来指定与第一视点不同的第二视点；以及显示单元(134)，用于将与指定单元(134a)指定的第二视点对应的视频和获取单元(131)获取的相关信息一起显示。

Description

信息处理装置、信息处理方法和信息处理程序
技术领域
本公开内容涉及信息处理装置、信息处理方法和信息处理程序。
背景技术
存在下述常规技术：在从多个用户接受关于运动图像中的对象的评论的情况下，使输入的评论被显示为跟随该对象。
引用列表
专利文献
专利文献1：日本专利申请特许公开第2014-225808号
发明内容
本发明要解决的问题
然而，在上述常规技术中，存在下述问题：用于显示评论的区域与运动图像中的对象的区域交叠。
如果运动图像中的对象的区域与用于显示评论的区域交叠，则评论会遮挡对象。因此，在接受关于运动图像中的对象的评论的输入的情况下，将对象的区域与用于显示评论的区域显示成不交叠是一个问题。
因此，本公开内容在接受关于运动图像中的对象的评论的输入的情况下提出了能够将对象的区域与用于显示评论的区域显示成不交叠的信息处理装置、信息处理方法和信息处理程序。
问题的解决方案
为了解决上述问题，根据本公开内容的一种形式的信息处理装置包括：获取单元，其获取与视频相关的相关信息；指定单元，其基于由获取单元获取的相关信息以及与第一视点对应的视频来指定与第一视点不同的第二视点；以及显示单元，其使由获取单元获取的相关信息连同与指定单元指定的第二视点对应的视频一起显示。
附图说明
图1是示出根据第一实施方式的信息处理系统的示例的图。
图2是示出与评论发布相关的处理的示例的图。
图3是示出评论的确认画面的示例的图。
图4是示出根据第一实施方式的头戴式显示器(HMD)的功能配置的示例的图。
图5是示出根据第一实施方式的分发服务器的功能配置的示例的图。
图6是示出内容DB的数据结构的示例的图。
图7是示出根据第一实施方式的评论管理服务器的功能配置的示例的图。
图8是示出评论DB的数据结构的示例的图。
图9是示出根据第一实施方式的信息处理装置的功能配置的示例的图。
图10是示出布置有评论的自由视点视频信息的示例的图。
图11是用于说明指定单元改变视点信息的处理的图(1)。
图12是示出视点移动时视角的变化的示例的图。
图13是用于说明指定单元改变视点信息的处理的图(2)。
图14是用于说明指定单元改变视点信息的处理的图(3)。
图15是用于说明指定单元改变视点信息的处理的图(4)。
图16是用于说明指定单元改变视点信息的处理的图(5)。
图17示出了流程图(1)，流程图(1)示出了根据第一实施方式的信息处理装置的处理过程。
图18示出了流程图(2)，流程图(2)示出了根据第一实施方式的信息处理装置的处理过程。
图19是示出根据第一实施方式的修改例的显示画面的示例的图(1)。
图20是示出根据第一实施方式的修改例的显示画面的示例的图(2)。
图21是示出根据第二实施方式的信息处理系统的示例的图。
图22是示出实现信息处理装置的功能的计算机的示例的硬件配置图。
具体实施方式
在下文中，将基于附图详细描述本公开内容的实施方式。注意，在下面的实施方式中的每个实施方式中，将通过将相同的附图标记分配给相同的部分来省略重复的描述。
(1.第一实施方式)
[1-1.根据第一实施方式的系统的配置]
图1是示出根据第一实施方式的信息处理系统的示例的图。如图1中所示，信息处理系统1包括HMD 10、分发服务器60、评论管理服务器70和信息处理装置100。例如，HMD 10经由有线或无线方式连接到信息处理装置100。信息处理装置100经由网络50连接到分发服务器60和评论管理服务器70。此外，分发服务器60和评论管理服务器70彼此连接。
尽管在图1中未示出，但是信息处理系统1可以包括另一HMD和另一信息处理装置。
HMD 10是穿戴在用户5的头部上的显示装置，并且是所谓的可穿戴式计算机。HMD10基于由用户5指定的视点的位置或者自动设置的视点的位置来显示自由视点视频。用户5可以在观看自由视点视频的同时发布评论并且浏览由另一用户发布的评论。在以下描述中，将描述HMD 10在显示器上显示虚拟现实(VR)视点视频的情况。
例如，在诸如键盘之类的输入装置连接至HMD 10的情况下，用户5操作该输入装置以发布评论。在麦克风等连接到HMD 10并且可以进行语音输入的情况下，用户5可以通过语音发布评论。另外，用户5可以通过操作遥控器等来发布评论。
在本公开内容的第一实施方式中，将在用户5观看每个运动的内容的假设下进行描述。用户5可以在观看内容的同时发布评论并且与其他用户共享所发布的评论。与用户5发布的评论相关的信息被发送给评论管理服务器70，并且被报告给其他用户。同样，与由其他用户发布的关于评论的信息经由评论管理服务器70被报告给用户5。由其他用户发布的评论也可以包括与由用户5发布的评论对应的评论。
分发服务器60连接到内容DB 65。分发服务器60是将关于存储在内容DB 65中的内容的信息发送给信息处理装置100的服务器。在以下描述中，在适当时将关于内容的信息称为“内容信息”。
评论管理服务器70连接到评论DB 75。评论管理服务器70接收关于用户5和其他用户的评论的信息，并且将接收到的关于评论的信息存储在评论DB 75中。此外，评论管理服务器70将存储在评论DB 75中的关于评论的信息发送给信息处理装置100。在以下描述中，在适当时将关于评论的信息称为“评论信息”。
信息处理装置100是如下装置：该装置在从HMD 10接受视点位置的指定时在虚拟摄像装置基于内容信息安装在所接受的视点位置的情况下生成自由视点视频并且使所生成的自由视点视频显示在HMD 10上。此外，在从评论管理服务器70接收到评论信息的情况下，信息处理装置100使评论显示在自由视点视频上。由于在评论信息中设置了评论的目标，因此在显示评论的情况下，信息处理装置100使评论与目标相关联地显示。
这里，在基于指定的视点使评论显示在自由视点视频上并且该评论与另一对象交叠的情况下，信息处理装置100改变当前视点位置，使得评论与另一对象不交叠。稍后将描述由信息处理装置100改变视点位置的处理。
[1-2.与评论发布相关的处理的示例]
图2是示出与评论发布相关的处理的示例的图。在用户5发布评论紧之前，HMD 10显示与用户5的视线方向触碰的对象。例如，在对象的一部分被包括在用户5的视线方向前方的特定范围内的情况下，HMD 10将这样的对象显示为触碰对象。在图2所示的示例中，HMD10通过将用户5的视线方向与对象6a至6b中的每一个的位置进行比较来检测与用户5的视线方向触碰的对象6a，并且在显示器11上显示指示对象6a成为目标的框7。用户5可以通过框7来确认用户5想要的对象是否是目标。注意，HMD 10可以基于用户5的头部的方向而不是用户5的视线方向来检测与用户5的头部的方向触碰的对象。
在检测到目标之后，用户5通过语音、键盘等输入(发布)评论。在图2所示的示例中，用户5输入评论“加油！”。当HMD 10接受评论的输入时，HMD 10和信息处理装置100协作以生成评论信息。评论信息与发布评论的时间、视点信息、目标的识别信息、用户5的识别信息以及评论的内容相关联。视点信息包括内容(自由视点视频)的虚拟摄像装置的位置和方向。
在接受来自用户5的评论的输入的情况下，HMD 10可以确认输入的评论。图3是示出评论的确认画面的示例的图。在图3所示的示例中，在显示器11上显示确认画面11a。用户5参考确认画面11a，并且在评论的内容和目标适当的情况下，操作键盘等以按下“发布”按钮11b。
另一方面，在目标不合适的情况下，用户5按下目标改变按钮11c。每次按下按钮11c时，HMD 10将框7的位置移动到对象6a至6f中的任何一个。在框7被布置在适当的对象上的情况下，用户5按下用于“发布”的按钮11b。另外，在评论的内容不合适的情况下，用户5可以在确认画面11a上选择评论字段11d并且重新输入评论。在下面的描述中，在没有专指用户5的情况下，简称为用户。
[1-3.根据第一实施方式的HMD的功能配置]
图4是示出根据第一实施方式的HMD的功能配置的示例的图。如图4所示，HMD 10包括显示器11、姿势检测单元12、视线检测单元13、输入单元14、语音识别单元15、评论接受单元16、发送单元17、接收单元18和显示控制单元19。每个处理单元通过例如由中央处理单元(CPU)、微处理单元(MPU)等使用随机存取存储器(RAM)等作为工作区域执行存储在HMD 10内的程序来实现。而且，每个处理单元可以由诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)等的集成电路来实现。
显示器11是与例如有机电致发光(EL)显示器、液晶显示器等对应的显示装置。显示器11显示从显示控制单元19输入的信息。从显示控制单元19输入的信息包括自由视点视频、布置在自由视点视频上的评论等。
姿势检测单元12是通过控制包括在HMD 10中的传感器(附图中未示出)来检测与用户的运动相关的各种信息例如用户的身体的取向、倾斜度、运动、运动速度等的处理单元。例如，姿势检测单元12检测脸部的取向等作为与用户的运动相关的信息。姿势检测单元12将与用户的运动相关的各种信息输出到发送单元17。
例如，姿势检测单元12控制作为传感器的诸如三轴加速度传感器，陀螺仪传感器，速度传感器等之类的各种运动传感器，并且检测关于用户的运动的信息。注意，传感器不一定需要设置在HMD 10内部，并且可以是例如经由有线线路或无线方式连接至HMD 10的外部传感器。
视线检测单元13是基于包括在HMD 10中的由摄像装置(附图中未示出)捕获的用户的眼睛的图像来检测用户在显示器11上的视线位置的处理单元。例如，视线检测单元13在由摄像装置捕获的用户的眼睛的图像中检测眼睛的内角和虹膜，将眼睛的内角设置为基准点，并且将虹膜设置为移动点，并且基于基准点和移动点来指定视线矢量。视线检测单元13根据视线矢量以及用户与显示器11之间的距离来检测用户在显示器11上的视线位置。视线检测单元13将关于视线位置的信息输出到发送单元17。注意，视线检测单元13可以执行除上述以外的处理来检测视线位置。
输入单元14对应于在用户输入评论的情况下使用的诸如键盘、遥控器等的输入装置。在接受评论的输入的情况下，输入单元14将评论信息输出到评论接受单元16。用户操作输入单元14以指定关于自由视点视频的视点位置和方向的视点信息。在接受视点信息的指定的情况下，输入单元14将视点信息输出到发送单元17。用户还可以操作输入单元14以请求改变目标。输入单元14将目标的改变请求信息输出到发送单元17。此外，用户可以操作输入单元14以输入唯一地识别用户的用户识别信息。
语音识别单元15是识别经由麦克风(在附图中未示出)输入的用户的语音评论并且将语音评论转换为字符串评论的处理单元。语音识别单元15将转换后的评论信息输出到评论接受单元16。
评论接受单元16是从输入单元14或语音识别单元15接受评论信息的处理单元。在接受评论信息的情况下，评论接受单元16还从计时器(附图中未示出)获取关于接受评论信息的时间的信息。评论接受单元16将接收到的评论信息和时间信息输出到发送单元17和显示控制单元19。注意，在确认画面11a(图3)被显示在显示器11上的同时按下发布按钮11b的情况下，评论接受单元16将显示在评论字段11d中的评论信息输出到发送单元17。
注意，在用户操作输入单元14以输入评论的情况下，也可以在不指定特定目标的情况下输入评论。例如，在用户按下预定按钮之后输入评论的情况下，评论接受单元16将该评论作为不指定目标的评论信息来接受，并且将所接受的评论信息输出到发送单元17。未指定目标的评论在是针对整个比赛(例如“比赛很好”)或者针对多个选手的评论的情况下的评论。可以说发布到特定选手(目标)的评论信息、发布到多个选手的评论信息、发布到整个团队的评论信息以及发布到整个比赛的评论信息是与自由视点视频相关的相关信息。此外，作为评论信息，可以显示各种信息，例如选手的简档、选手的表现等。
发送单元17是将从每个处理单元接收的各种类型的信息发送给信息处理装置100的处理单元。例如，发送单元17将从评论接受单元16接收的评论信息(评论内容)以及关于接受评论时的时间的信息发送给信息处理装置100。发送单元17将从输入单元14接受的视点信息发送给信息处理装置100。发送单元17将从视线检测单元13接受的关于视线位置的信息发送给信息处理装置100。发送单元17将从姿势检测单元12接受的关于用户的操作的各种信息发送给信息处理装置100。发送单元17将用户识别信息发送给信息处理装置100。另外，在接受目标的改变请求信息的情况下，发送单元17将改变请求信息发送给信息处理装置100。
接收单元18是从信息处理装置100接收自由视点视频的信息的处理单元。接收单元18将自由视点视频的信息输出到显示控制单元19。
显示控制单元19是将自由视点视频的信息输出到显示器11以显示自由视点视频的处理单元。此外，显示控制单元19可以在显示器11上显示确认画面11a。在使确认画面11a被显示的情况下，显示控制单元19使从评论接受单元16接受的评论被显示在评论字段11d上。
[1-4.根据第一实施方式的分发服务器的功能配置]
图5是示出根据第一实施方式的分发服务器的功能配置的示例的图。如图5所示，分发服务器60包括视频接收单元61、3D模型生成单元62、分发单元63和内容DB 65。每个处理单元通过例如由CPU、MPU等使用RAM等作为工作区域来执行存储在分发服务器60内部的程序等来实现。而且，每个处理单元可以通过例如诸如ASIC、FPGA等的集成电路来实现。
视频接收单元61连接到多个摄像装置(在附图中未示出)。例如，多个摄像装置分别被布置在进行体育比赛的球场上的多个位置处，并且从不同的视点位置拍摄球场。视频接收单元61将从多个摄像装置接收的视频作为多视点视频信息存储在内容DB 65中。
3D模型生成单元62是分析存储在内容DB 65中的多视点视频信息并且生成对象的3D模型的处理单元。对象对应于在球场、上进行运动的选手、球等。3D模型生成单元62将3D模型的坐标和识别信息分配给每个生成的3D模型。3D模型生成单元62将所生成的3D模型的信息存储在内容DB 65中。此外，3D模型生成单元62根据3D模型等的特性确定3D模型是选手、球还是场地上的对象(球门柱等)，并且为每个3D模型提供指示所确定的3D模型的类型的标签。
分发单元63是将存储在内容DB 65中的内容信息分发到信息处理装置100的处理单元。
图6是示出内容DB的数据结构的示例的图。如图6所示，该内容DB 65将时间、多视点视频信息和3D模型信息相互关联。多视点视频信息是由视频接收单元61存储的信息，并且是由每个摄像装置捕获的视频信息。3D模型信息是由3D模型生成单元62生成的每个对象的3D模型的信息。3D模型信息中的每个3D模型与3D模型(对象)的识别信息和坐标相关联。同样，可以给3D模型的每个区域提供可以识别选手的区域(面部，躯干，腿，手臂等)的标签。
[1-5.根据第一实施方式的评论管理服务器的功能配置]
图7是示出根据第一实施方式的评论管理服务器的功能配置的示例的图。如图7所示，评论管理服务器70具有评论接受单元71和发送单元72。每个处理单元通过例如由CPU、MPU等使用RAM等作为工作区域来执行存储在评论管理服务器70内部的程序等来实现。而且，每个处理单元可以通过例如诸如ASIC、FPGA等的集成电路来实现。
评论接受单元71是从信息处理装置100或另一信息处理装置接收每个用户发布的评论信息的处理单元。评论接受单元71将接收到的评论信息存储在评论DB 75中。
发送单元72是读取存储在评论DB 75中的评论信息并且将评论信息发送给信息处理装置100或另一信息处理装置的处理单元。
图8是示出评论DB的数据结构的示例的图。如图8所示，评论DB 75将时间、用户识别信息、目标识别信息、评论和视点信息彼此关联。用户识别信息是唯一地识别发布评论的用户的信息。目标识别信息是唯一地识别被发布评论的对象(目标)的信息。评论是与所发布的评论的内容对应的信息。视点信息是指示在生成自由视点视频时设置的虚拟摄像装置的方向和位置的信息。
[1-6.根据第一实施方式的信息处理装置的功能配置]
图9是示出根据第一实施方式的信息处理装置的功能配置的示例的图。如图9所示，信息处理装置100包括接口单元105、通信单元110、存储单元120和控制单元130。
接口单元105是无线或经由有线方式连接至HMD 10并且执行与HMD 10的数据通信的处理单元。稍后将描述的控制单元130经由接口单元105与HMD 10交换数据。
通信单元110是无线地或经由有线方式连接到网络50并且经由网络50执行与分发服务器60和评论管理服务器70的数据通信的处理单元。稍后将描述的控制单元130经由通信单元110与分发服务器60和评论管理服务器70交换数据。
存储单元120具有例如评论信息121、评论表122、内容表123、视点信息124和自由视点视频信息125。存储单元120例如对应于存储装置，例如，诸如RAM、只读存储器(ROM)、闪存等的半导体存储元件。
评论信息121是关于用户5输入的评论的信息。例如，评论信息121包括输入评论的时间、用户识别信息视点信息、目标识别信息、评论的内容以及视点信息。该评论信息121被报告给评论管理服务器70。
评论表122是存储从评论管理服务器70发送的每个用户的评论信息的表。从评论管理服务器70发送的每个用户的评论信息是存储在参照图8描述的评论DB 75中的信息。
内容表123是存储从分发服务器60分发的内容信息的表。从分发服务器60分发的内容信息是存储在参照图6描述的内容DB 65中的信息。
视点信息124是指示虚拟摄像装置的视点位置和方向的信息，并且在生成自由视点视频信息125时使用。视点信息124对应于从HMD 10发送的视点信息。同样，通过稍后描述的控制单元130的处理，将视点信息124变为其中目标的区域与自由视点视频中包括的评论的区域不交叠的视点信息。
自由视点视频信息125是在基于视点信息124来布置虚拟摄像装置的情况下的自由视点视频的信息。自由视点视频信息125由稍后描述的显示单元134生成。
控制单元130包括获取单元131、评论信息生成单元132、评论信息发送单元133和显示单元134。控制单元130中包括的每个处理单元通过例如由CPU、MPU等使用RAM等作为工作区域来执行存储在存储单元120内部的程序等来实现。而且，每个处理单元可以通过例如诸如ASIC、FPGA等的集成电路来实现。
获取单元131从分发服务器60获取内容信息，并且将所获取的内容信息存储在内容表123中。获取单元131从评论管理服务器70获取评论信息，并且将所获取的评论信息存储在评论DB 75中。
获取单元131从HMD 10获取关于评论的各种信息，并且将所获取的信息输出到评论信息生成单元132。例如，关于评论的各种信息包括输入评论的时间、用户识别信息视点信息、评论的内容、视点信息以及关于视线位置的信息。另外，在从HMD 10接受改变请求信息的情况下，获取单元131将改变请求信息输出到评论信息生成单元132。
评论信息生成单元132是生成要报告给评论管理服务器70的用户5的评论信息121并且将评论信息121存储在存储单元120中的处理单元。在评论信息121中包括的每个信息中，关于输入评论的时间、用户识别信息视点信息、评论的内容以及视点信息，评论信息生成单元132将从HMD10发送的信息原样存储在评论信息121中。关于评论信息121的目标识别信息，由评论信息生成单元132通过执行以下处理来指定。
评论信息生成单元132基于视点信息、与视线位置相关的信息、内容表123中的对象的3D模型的坐标等来指定与用户5的视线方向触碰的对象，并且将唯一地识别所指定的对象的信息指定为目标识别信息。评论信息生成单元132将所指定的目标识别信息存储在评论信息121中。每当从获取单元131获取关于评论的各种信息时，评论信息生成单元132生成评论信息121。
注意，在获取了改变请求信息的情况下，评论信息生成单元132改变目标识别信息。例如，在接受了改变请求信息的情况下，评论信息生成单元132将最接近于与内容表123的目标识别信息对应的3D模型的3D模型视为新的目标，并且将该目标视为新的目标识别信息。每次接受改变请求信息时，评论信息生成单元132依次选择尚未被选择为目标的3D模型并且改变目标识别信息。
评论信息发送单元133是将评论信息121发送给评论管理服务器70的处理单元。如果生成了新的评论信息121，则评论信息发送单元133将所生成的评论信息121发送给评论管理服务器70。
显示单元134是生成自由视点视频信息125并且将所生成的自由视点视频信息125输出到HMD 10以显示自由视点视频信息125的处理单元。此外，显示单元134具有指定单元134a，该指定单元134a指定对象的区域与评论的区域不交叠的视点信息。
首先，将描述其中显示单元134生成自由视点视频信息的处理的示例。在虚拟摄像装置被布置在视点信息124中设置的位置和方向的情况下，显示单元134基于存储在内容表123中的内容信息来生成自由视点视频信息125。例如，显示单元134基于视点信息124将虚拟摄像装置布置在虚拟空间中，并且指定虚拟摄像装置的拍摄范围中包括的对象。显示单元134通过对指定对象的3D模型执行诸如呈现等的处理来生成自由视点视频信息125。在生成自由视点视频信息125的情况下，显示单元134可以使用除上述处理之外的其他自由视点视频技术。在生成自由视点视频信息125的情况下，显示单元134指定自由视点视频信息125中包括的每个对象的区域以及每个对象的对象识别信息。
当生成自由视点视频信息125时，显示单元134参考评论表122并且在自由视点视频信息125中包括的对象中指定与评论的目标识别信息对应的对象。在以下描述中，在适当时将与目标识别信息对应的对象称为“目标”。显示单元134将目标与评论相关联，并且执行将评论布置在自由视点视频信息125中的处理。
图10是示出布置有评论的自由视点视频信息的示例的图。在图10所示的自由视点视频信息125中，包括了发布到目标8的评论8a。即，与评论8a对应的目标识别信息对应于目标8的识别信息。显示单元134可以利用箭头等将目标8连接至评论8a。
在使评论8a显示在自由视点视频信息125上的情况下，显示单元134根据对象8的运动执行使评论8a跟随对象8的处理。在目标8的运动剧烈的情况下，显示单元134可以减慢评论8a的运动或者可以使评论8a静止并且仅移动将评论8a连接到目标8的箭头。
例如，在目标在单位时间(例如1秒)内的移动距离小于预定距离的情况下，显示单元134使评论的位置固定。在评论位置与目标之间的距离等于或大于预设距离的情况下，显示单元134使评论跟随目标。
在使评论显示之后经过了一定时间之后，显示单元134使评论淡出。如果显示单元134基于用户5的视线信息检测到该评论正在被观看，则可以使正在被观看的评论淡出的时间延迟预定时间。另一方面，在单位时间内存在预定数目或更多的评论信息的情况下，显示单元134可以使评论淡出的定时提前预定时间。
在评论表122中存储的评论(评论信息)中，还存在一些未指定特定目标的评论。例如，在图8中描述的评论DB 75的评论信息中，目标识别信息为“Ob00”的评论信息是未指定特定目标的评论信息。在评论未指定特定目标的情况下，显示单元134使评论显示在自由视点视频信息125的预定区域中。
这里，在自由视点视频信息125上显示评论的情况下，显示单元134的指定单元134a执行下述处理：改变视点信息140，使得对象的区域与评论的区域不交叠。例如，指定单元134a基于要在自由视点视频信息125中显示的评论的字符数和预先指定的字体大小来计算用于显示评论的区域。在下面的描述中，用于显示评论的区域将被称为“评论区域”。
指定单元134a指定包括在自由视点视频信息125中的选手的对象，并且指定选手的对象的区域。以下，将选手的对象的区域称为“对象区域”。
指定单元134a确定在自由视点视频信息125的整个区域中排除了对象区域的剩余区域是否大于评论区域。在剩余区域大于评论区域的情况下，指定单元134a将评论布置在剩余区域中，并且跳过改变视点信息140的处理。另一方面，在剩余区域小于评论区域的情况下，指定单元134a执行改变视点信息140的处理。在下文中，将描述指定单元134a改变视点信息124的多个处理，但是指定单元134a可以执行这些处理中的任何一个。
图11是用于说明指定单元改变视点信息的处理的图(1)。在图11的描述中，自由视点视频信息125a是基于视点位置30a的自由视点视频的信息。例如，将目标8在自由视点视频信息125a上的位置设置为位置31，并且将对象9的位置设置为位置32。由于视点位置30a接近于接近目标8的视点位置31，因此评论区域40的一部分与目标8的区域交叠。
由于评论区域40与目标8的区域交叠，因此指定单元134a通过沿与位置31和32相反的方向移动视点位置30a来设置新的视点位置。新的视点位置是视点位置30b。自由视点视频信息125b是基于视点位置30b的自由视点视频的信息。即，指定单元134a将视点信息124的视点位置从视点位置30a变为视点位置30b以生成自由视点视频信息125b。在自由视点视频信息125b中，评论区域40与目标8的区域不交叠。
图12是示出视点移动时视角变化的示例的图。例如，在视点位置是视点位置30a的情况下，为了在自由视点视频信息125a上显示位置31处的对象和位置32处的对象，需要60度的视角。另一方面，如果将视点位置向后退到视点位置30a之后的视点位置30b，则用于显示位置31处的对象和位置32处的对象的视角变窄，并且可以确保评论区域。例如，在视点位置30b与对象位置31之间的距离是视点位置30a与对象位置31之间的距离的两倍的情况下，将位置31处的对象和位置32处的对象显示在自由视点视频信息125b上所需的视角是30度，并且创建了30度的空白。可以在该区域中显示评论信息。
图13是用于说明指定单元改变视点信息的处理的图(2)。例如，假设当基于视点位置30a来生成自由视点视频信息125时，指定单元134a缺少评论区域。指定单元134a在保持视点位置不变的同时，通过旋转虚拟摄像装置的方向来确保评论区域40a。例如，指定单元134a将虚拟摄像装置的方向旋转预定旋转角度以确保评论区域40a，并且在评论区域40a不足的情况下，可以进一步旋转虚拟摄像装置的方向。顺便提及，在第一评论在位置31处的情况下，即使在显示与第一评论相关的第二评论(诸如针对第一评论的发布等)的情况下，指定单元134a也原样保持视点位置，并且旋转虚拟摄像装置的方向以确保评论区域。另外，在存在针对对象32的评论并且用于显示该评论的评论区域不足的情况下，指定单元134a可以通过向右旋转虚拟摄像装置的方向来确保评论区域。
图14是用于说明指定单元改变视点信息的处理的图(3)。例如，假设当基于视点位置30a生成自由视点视频信息125时，显示单元134缺少评论区域。指定单元134a通过将视点位置30a变为视点位置30c并且将虚拟摄像装置的方向朝向位置31和32来确保评论区域40b。指定单元134a可以通过设置约束条件来移动视点位置，该约束条件例如基于移动之前的视点位置30a的自由视点视频信息中包括的目标也被包括在基于移动之后的视点位置(位置和方向)30b的自由视点视频中等。
图15是用于说明指定单元改变视点信息的处理的图(4)。例如，假设当基于视点位置30a生成自由视点视频信息125时，显示单元134缺少评论区域。指定单元134a通过将视点位置30a变为视点位置30d并且将虚拟摄像装置的方向朝向位置31和32来确保评论区域40c。基于视点位置30d生成的自由视点视频是鸟瞰图图像。指定单元134a可以通过设置约束条件来移动视点位置，该约束条件例如基于移动之前的视点位置30a的自由视点视频信息中包括的目标也被包括在基于移动之后的视点位置(位置和方向)30d的自由视点视频中等。
图16是用于说明指定单元改变视点信息的处理的图(5)。在跟随目标(选手、球等)的情况下，指定单元134a不仅保持视点位置与目标恒定，而且设置用于确保评论区域的视点位置。在步骤S10中，假设第一视点位置是视点位置30e，并且目标位于位置33a处。在步骤S10的阶段处，确保了评论区域40d。
当在步骤S11中检测到目标从位置33a移动到位置33b时，指定单元134a将视点位置33e移动到视点位置30f，以保持目标与虚拟摄像装置之间的距离恒定。例如，在视点位置30e移动到视点位置30f的情况下，指定单元134a确定不能确保评论区域。
在步骤S12中，指定单元134a通过将视点位置30f移动到视点位置30g来确保评论区域40e。例如，指定单元134a移动视点位置，以增大目标位置33b与起点位置之间的距离。在此，基于视点位置30g，生成自由视点视频信息125，并且在除评论区域和对象区域以外的区域相对于自由视点视频信息125的整个区域的比率(剩余区域的比例)等于或大于特定比率时，指定单元134a可以执行将视点位置30g向前移动的处理。
显示单元134的指定单元134a执行上述改变视点信息124的处理，生成自由视点视频信息125，将自由视点视频信息125输出到HMD 10以显示自由视点视频信息125。此外，显示单元134执行如下处理：基于由评论信息生成单元132指定的目标识别信息使帧显示在自由视点视频信息125中包括的每个对象之中的要成为目标的对象上。
注意，在改变视点信息124以生成自由视点视频信息125并且将自由视点视频信息125显示在HMD 10上的情况下，显示单元134可以从用户5接受关于是否允许改变视点信息124的信息。例如，在接受用户5不允许改变视点信息124的操作的输入的情况下，显示单元134可以将视点信息124返回到改变之前的视点信息124。
另外，用户5可以在信息处理装置100中设置喜好的视点改变模式。例如，在下述改变中选择可允许的改变处理：如图11所示的后撤视点位置的视点信息124的改变；如图13所示改变虚拟摄像装置的方向的视点信息124的改变；如图14所述在水平方向上改变虚拟摄像装置的视点信息124的改变；以及如图15所示使虚拟摄像装置的位置向上改变的视点信息124的改变。通过以这种方式选择用户5允许的改变处理，可以连续地观看用户喜好的自由视点视频信息。
[1-7.根据第一实施方式的信息处理装置的处理过程]
图17和图18是示出根据第一实施方式的信息处理装置的处理过程的流程图。图17示出了在从HMD 10接受视点信息的指定的情况下的处理过程的示例。信息处理装置100的获取单元131开始从分发服务器60接收内容信息并且将该内容信息存储在内容表123中(步骤S101)。获取单元131从HMD 10接受视点信息124的指定(步骤S102)。
信息处理装置100的显示单元134基于视点信息124来计算显示主要对象的部分，并且生成自由视点视频信息125(步骤S103)。获取单元131从评论管理服务器70获取由每个用户指定的评论信息，并且将这些评论信息存储在评论表122中(步骤S104)。
显示单元134获取存储在评论表122中的评论信息，并且计算评论的评论区域(步骤S105)。显示单元134确定评论区域与对象区域是否交叠(步骤S106)。
在评论区域与对象区域交叠的情况下(步骤S106，是)，显示单元134改变视点信息124(步骤S107)并且进行到步骤S103。另一方面，在评论区域与对象区域不交叠的情况下(步骤S106，否)，显示单元134进行到步骤S108。
显示单元134确定是否继续处理(步骤S108)。在继续处理的情况下(步骤S108，是)，显示单元134进行到步骤S102。另一方面，在不继续处理的情况下(步骤S108，否)，显示单元134结束处理。
将描述图18。图18示出了用于在目标移动的情况下更新视点信息124的处理过程的示例。信息处理装置100的获取单元131开始从分发服务器60接收内容信息，并且将内容信息存储在内容表123中(步骤S201)。获取单元131从HMD 10接受视点信息124和目标的指定(步骤S202)。
信息处理装置100的显示单元134检测目标的移动(步骤S203)。显示单元134保持视点位置与目标之间的距离恒定，并且计算新的视点信息124(步骤S204)。
显示单元134基于视点信息124计算显示主要对象的部分，并且显示自由视点视频信息125(步骤S205)。获取单元131从评论管理服务器70获取每个用户输入的评论信息，并且将这些评论信息存储在评论表122中(步骤S206)。
显示单元134获取存储在评论表122中的评论信息，并且计算评论的评论区域(步骤S207)。显示单元134确定评论区域与对象区域是否交叠(步骤S208)。
在评论区域与对象区域交叠的情况下(步骤S208，是)，显示单元134改变视点信息124以增大视点位置与目标之间的距离(步骤S209)，并且进行到步骤S205。
另一方面，在评论区域与对象区域不交叠的情况下(步骤S208，否)，显示单元134进行到步骤S210。显示单元134确定评论区域和对象区域以外的区域相对于自由视点视频信息125的整个区域是否等于或大于特定比率(步骤S210)。
在评论区域和对象区域以外的区域等于或大于特定比率的情况下(步骤S210，是)，显示单元134改变视点信息124以减小视点位置与目标之间的距离(步骤S211)，并且进行到步骤S205。
在评论区域和对象区域之外的区域没有等于或大于特定比率的情况下(步骤S210，否)，显示单元134进行到步骤S212。在从HMD 10接受了视点信息的指定的情况下，获取单元131更新视点信息124(步骤S212)并且进行到步骤S205。
[1-8.根据第一实施方式的信息处理装置的效果]
如上所述，根据第一实施方式的信息处理装置100改变视点信息124使得对象区域与评论区域不交叠，以在接受了关于运动图像中的对象的评论的输入的情况下基于改变后的视点信息124在自由视点视频上显示评论，可以以不交叠的方式显示对象区域和评论区域。例如，信息处理装置100可以通过在与目标相反的方向上移动视点位置来缩窄用于使目标和其他对象被显示的视角，从而可以确保评论区域。
在评论的目标移动的情况下，信息处理装置100执行使评论跟随目标同时保持目标的位置和视点位置恒定的处理。另外，在使评论跟随目标的过程中评论区域与目标区域交叠的情况下，信息处理装置100通过例如沿与目标相反的方向移动视点位置来确保评论区域。因此，可以连续地防止目标与评论交叠。
在通过沿与目标相反的方向移动视点位置来确保评论区域之后，在排除了评论区域和对象区域的区域相对于自由视点视频的整个区域的比率等于或大于特定比率的情况下，信息处理装置100移动视点位置以朝着目标方向返回。因此，还可以防止视点位置不必要地与目标位置分离。
在移动视点的情况下，信息处理装置100执行在水平方向或向上方向上改变虚拟摄像装置的视点信息的处理。因此，用户可以在参考每个用户发布的评论的同时从各个方向观看比赛视频。另外，在移动视点信息124以生成自由视点视频信息125、使HMD 10显示被执行、以及从用户5接受不允许视点改变的指令的情况下，通过执行将视点信息124返回到改变之前的视点信息124的处理，信息处理装置100可以提供适合于观看视频的用户的喜好的自由视点视频。
在单位时间(例如1秒)内目标的移动距离小于预定距离的情况下，信息处理装置100执行将评论的位置固定的处理。结果，可以防止评论跟随以小步移动的目标移动，从而难以看到。
在使评论显示之后经过了一定时间之后，信息处理装置100使评论淡出。另外，当基于用户5的视线信息检测到正在观看评论时，信息处理装置100将使正在观看的评论淡出的定时延迟预定时间。另外，在单位时间内存在预定数目或更多的评论信息的情况下，信息处理装置100将使评论淡出的定时提前预定时间。通过由信息处理装置100执行这样的处理，用户可以舒适地确认评论。
(2.第一实施方式的修改例)
在上述第一实施方式中描述的信息处理系统1中，当多个用户执行观看时，在某些情况下，可能将多个评论同时输入到一个目标。在这种情况下，如果信息处理装置100使所有评论显示在自由视点视频上，则在一些情况下可能无法确保可以显示评论的区域，或者可能难以看到选手。因此，显示单元134参考评论表122，并且在同时(或短时间段内)存在针对一个目标识别信息的多个评论信息的情况下，基于基准用户与其他用户之间的关系对每个评论信息设置优先级。这里，基准用户被认为是信息处理装置100使自由视点视频信息125被显示的HMD 10的用户，并且与佩戴HMD 10的用户不同的用户被认为是除使HMD 10的用户之外的用户。信息处理装置100执行在基准用户的自由视点视频信息上仅显示具有高优先级的前n个评论信息的处理。值n是适当设置的数值，例如1或更大的自然数。
显示单元134可以以任何方式计算评论信息的优先级。在从外部装置获取了关于基准用户(例如，图1中所示的用户5)与另一个用户之间的对话历史的信息、基准用户的喜好列表以及社交网络服务(SNS)上的朋友信息之后，显示单元134基于这样的信息来计算优先级。例如，显示单元134基于等式(1)来计算评论信息的优先级。
发布针对其计算优先级的评论信息的另一用户被称为“目标用户”。在等式(1)中，“X1”是根据基准用户与目标用户之间的总对话时间来确定的值，并且总对话时间越长，该值越大。在目标用户被包括在基准用户的喜好列表中的情况下，对于“X2”，在目标用户被包括在基准用户的喜好列表中的情况下设置为预定值；并且在目标用户未被包括在喜好列表中的情况下设置为0。对于“X3”，在SNS上，在基准用户与目标用户为朋友关系的情况下设置为预定值，并且在不是朋友关系的情况下设置为0。值α、β和γ是预设权重。
优先级＝α*X1+β*X2+γ*X3(1)
如上所述，在存在多个评论信息的情况下，显示单元134针对每个评论信息设置优先级，并且通过在基准用户的自由视点视频信息上仅显示具有高优先级的前n个评论信息，可以更容易地参考对用户具有高优先级的评论。例如，可以优先处理和显示对于基准用户更能提供有用信息和熟悉的评论。
另外，显示单元134参考评论表122，并且在存在具有相似内容的多个评论的情况下，这些评论可以以大尺寸集中显示，它们可以按类型分类并且显示为图标，或者可以将评论量转换为效果并且叠加在目标上以进行显示。例如，在多个用户发布了诸如“加油！”、“现在！”之类的评论的情况下，显示单元134将每个评论集中显示。这里，除了合并相似评论之外，显示单元134对相似评论的数目进行计数，并且使大量评论的区域被显示为比少量评论的区域更大。另外，显示单元134可以以明显的颜色显示大量评论或者突出显示大量评论。因此，这使得更容易掌握更多用户发布了哪些评论。
如果存在发布到同一目标的很多评论，则显示单元134可以在评论附近显示发布者的图标。图19是示出根据第一实施方式的修改例的显示画面的示例的图(1)。在图19所示的示例中，示出了评论“加油！”被发布到同一目标9的情况。例如，在由第一用户、第二用户和第三用户发布该评论“加油！”的情况下，显示单元134使与第一用户、第二用户和第三用户对应的图标45a，45b和45c被显示。因此，这使得很容易确认哪个用户发布了评论。
在评论中包括的字符串的数目等于或大于特定数目的情况下，或者在将评论发布到多个人的情况下，显示单元134可以在自由视点视频中的用户界面(UI)部分等上显示评论。图20是示出根据第一实施方式的修改例的显示画面的示例的图(2)。在图20所示的示例中，显示单元134使评论显示在UI部分46中，使得评论与目标不交叠。通过以这种方式进行处理，可以防止在评论中的字符的数目较大的情况下视点位置距离目标过远。另外，由于可以抑制视点位置被改变的次数，因此可以减轻信息处理装置100的负担。
注意，信息处理装置100还可以生成评论信息121，并且将所生成的评论信息121的历史留在存储单元120中。例如，在经由HMD 10接受用户5对特定评论的指定的情况下，显示单元134参考历史并且搜索与所接受的指定评论对应的评论信息。评论信息121的历史包括与评论发布相关联的元数据，例如，诸如在评论发布时用户的视点信息之类的元数据。显示单元134基于包括在指定评论信息中的视点信息以及发布评论时的内容信息来再现在发布评论时的自由视点视频信息。结果，可以向用户显示作为过去发布的评论的基础的同一自由视点视频。
此外，显示单元134可以分析用户5输入的评论的内容并且自动设置视点信息124。例如，如果接受了诸如“我想看射门”、“选手X在哪里？”之类的输入作为评论，则视点信息124被设置成使得与球门柱对应的对象和对应选手的对象将被包括在虚拟摄像装置的拍摄范围内。例如，显示单元134参考内容表123的3D模型和标签，将与对应于射门的3D模型的位置分开处理距离的位置设置为视点位置，并且生成自由视点视频信息125。类似地，显示单元134参考内容表123的3D模型和标签，将与对应于和评论相关的选手的3D模型的位置分开处理距离的位置设置为视点位置，并且生成自由视点视频信息125。通过由显示单元134执行这样的处理，可以容易地设置易于参考用户期望的目标的视点信息124。
显示单元134的指定单元134a改变视点信息124，使得对象区域与评论区域不交叠，但是不限于此；还可以改变视点信息124，使得目标的区域(对象区域)、预定部分区域与评论区域不交叠。例如，预定部分区域是选手的脸部区域和上身的区域。还可以适当地改变部分区域。以这种方式，通过改变视点信息124，使得预定部分区域与评论区域不交叠，与搜索与整个目标区域不交叠的评论区域的情况相比，可以显示评论的区域变大，并且可以容易地设置视点信息124。
在本实施方式中，已经描述了HMD 10在显示器11中显示虚拟现实(VR)自由视点视频的情况，但是本实施方式不限于此。例如，HMD 10可以在显示器11中显示增强现实(AR)视频。在这种情况下，信息处理装置100使评论信息在显示器11中显示。
(3.第二实施方式)
[3-1.根据第二实施方式的信息处理系统的配置]
接下来，将描述第二实施方式。在第二实施方式中，根据本公开内容的处理不在诸如信息处理装置100的服务器侧执行，而是在诸如HMD 80的显示装置侧执行根据本公开内容的生成自由视点视频信息、显示评论等。
图21是示出根据第二实施方式的信息处理系统的示例的图。如图21所示，信息处理系统2中包括的HMD 80包括显示器11、姿势检测单元12、视线检测单元13、输入单元14、语音识别单元15、评论接受单元16和显示控制单元19。此外，HMD 80包括通信单元110、存储单元120和控制单元130。
关于显示器11、姿势检测单元12、视线检测单元13、输入单元14、语音识别单元15、评论接受单元16和显示控制单元19的描述与参照图4描述的关于显示器11、姿势检测单元12、视线检测单元13、输入单元14、语音识别单元15、评论接受单元16和显示控制单元19的描述类似。
HMD 80的通信单元110是经由网络50执行与分发服务器60和评论管理服务器70的数据通信的处理单元。通信单元110从分发服务器60接收内容信息并且从评论管理服务器70接收评论信息。
HMD 80的存储单元120是与参照图9描述的信息处理装置100的存储单元120对应的存储单元。尽管在图21中未示出，但是存储单元120包括评论信息121、评论表122、内容表123和自由视点视频信息125。
HMD 80的控制单元130是执行与参照图9描述的信息处理装置100的控制单元130类似的处理的处理单元。尽管在图21中未示出，但是控制单元130包括获取单元131、评论信息生成单元132、评论信息发送单元133和显示单元134。类似于信息处理装置100，控制单元130基于视点信息124来生成自由视点视频信息，并且将评论叠加在所生成的自由视点视频信息上，并且使自由视点视频信息在显示器11上显示。此外，控制单元130改变视点信息124，使得对象区域与评论区域不交叠，并且基于改变后的视点信息124使评论在自由视点视频上显示。
如上所述，根据第二实施方式的HMD 80用作根据本公开内容的信息处理装置。即，HMD 80可以独立地执行根据本公开内容的生成自由视点视频信息的处理，而不依赖于服务器装置等。注意，还可以将第二实施方式与第一实施方式的修改例进行组合。
注意，本说明书中描述的效果仅是示例，并且不受限制，并且可以具有其他效果。
(4.硬件配置)
例如，通过具有如图22所示的配置的计算机1000来实现根据上述每个实施方式的诸如信息处理装置、HMD、分发服务器，评论管理服务器等的信息装置。在下文中，将作为示例描述根据第一实施方式的信息处理装置100。图22是示出实现信息处理装置100的功能的计算机1000的示例的硬件配置图。计算机1000包括CPU 1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的每个单元通过总线1050连接。
CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，并且控制每个单元。例如，CPU 1100将存储在ROM 1300或HDD 1400中的程序在RAM 1200中扩展，并且执行与各种程序对应的处理。
ROM 1300存储诸如在计算机1000启动时由CPU 1100执行的基本输入输出系统(BIOS)之类的引导程序、取决于计算机1000的硬件的程序等。
HDD 1400是非暂态地记录由CPU 1100执行的程序、该程序使用的数据等的计算机可读记录介质。具体地，HDD 1400是用于记录作为程序数据1450的示例的根据本公开内容的信息处理程序的记录介质。
通信接口1500是用于将计算机1000连接到外部网络1550(例如，因特网)的接口。例如，CPU 1100经由通信接口1500从另一装置接收数据或者将由CPU 1100生成的数据发送给另一装置。
输入/输出接口1600是用于连接输入/输出装置1650和计算机1000的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘、鼠标等的输入装置接收数据。另外，CPU1100经由输入/输出接口1600将数据发送给诸如显示器、扬声器、打印机等的输出装置。此外，输入/输出接口1600可以用作媒体接口，该媒体接口用于读取记录在预定记录介质(介质)中的程序等。该介质例如是诸如数字通用光盘(DVD)、相变可重写盘(PD)等的光学记录介质、诸如磁光盘(MO)等的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。
例如，在计算机1000用作根据第一实施方式的信息处理装置100的情况下，计算机1000的CPU 1100通过执行在RAM 1200上加载的信息处理程序来实现获取单元131等的功能。此外，HDD 1400存储根据本公开内容的信息处理程序以及存储在存储单元120中的数据。注意，CPU 1100从HDD 1400读取程序数据1450并且执行程序数据，但是作为另一示例，可以经由外部网络1550从另一装置获取这些程序。
(5.本发明的效果)
信息处理装置包括获取单元、指定单元和显示单元。获取单元获取与视频相关的相关信息。指定单元基于由获取单元获取的相关信息以及与第一视点对应的视频来指定与第一视点不同的第二视点。显示单元使由获取单元获取的相关信息连同与指定单元指定的第二视点对应的视频一起显示。因此，在接受了关于运动图像中的与对象相关的评论的输入的情况下，可以将对象的区域与用于显示评论的区域显示为不交叠。
指定单元基于在对应于第一视点显示的视频中包括的对象的区域以及相关信息的区域来指定第二视点。在对应于第一视点显示的视频中包括的对象的区域与相关信息的区域交叠的情况下，指定单元指定对象的区域与相关信息的区域不交叠的视点作为第二视点。在对象的区域中的预定部分区域与相关信息的区域交叠的情况下，指定单元将其中部分区域与相关信息的区域不交叠的视点指定为第二视点。因此，在对象的区域与用于显示评论的区域造成被显示为交叠的情况下，可以指定第二视点位置，并且使其中对象的区域与用于显示评论的区域不交叠的视频被显示。
在从视频的区域中排除了对象的区域的剩余区域小于用于使相关信息被显示的区域的情况下，指定单元将其中剩余区域等于或大于用于使相关信息被显示的区域的视点指定为第二视点。因此，可以容易地确定对象的区域与评论的区域是否交叠，并且将对象的区域与用于显示评论的区域显示为不交叠。
指定单元将通过沿离开对象的位置的方向移动第一视点而获得的视点指定为第二视点。指定单元将通过围绕与视频中的与第一视点对应的预定位置旋转第一视点而获得的视点指定为第二视点。因此，可以确保用于显示评论的区域与对象的区域不交叠，同时在视频中保留用户参考的对象。
获取单元获取针对视频中包括的对象发布的发布信息作为相关信息。因此，可以在与目标对象不交叠的情况下显示关于该对象的发布信息。
在获取单元获取多个用户的多个发布信息的情况下，显示单元根据基于多个用户之间的关系的优先级显示发布信息。因此，可以根据优先级显示发布信息。例如，在具有高优先级的发布信息和具有低优先级的发布信息中，可以显示具有高优先级的发布信息。
作为相关信息，获取单元获取针对视频中包括的多个对象进行的比赛的内容而发布的发布信息。因此，不仅可以显示与对象对应的发布信息，而且可以显示与比赛内容相关的发布信息，而与对象不交叠。
显示单元使相关信息被显示为跟随对象。因此，即使在与相关信息相关的对象移动的情况下，也可以始终将相关信息显示在对象附近。
在相关信息中包括的字符的数目等于或大于预定字符数目的情况下，显示单元使相关信息显示在预定显示区域中。因此，即使在字符的数目大并且难以确保用于显示相关信息的区域的情况下，也可以容易地显示相关信息。
显示单元使自由视点视频基于第一视点显示，并且在指定了第二视点的情况下，使自由视点视频基于第二视点显示。例如，显示单元使显示VR视频的显示装置显示自由视点视频和相关信息。显示单元使显示AR视频的显示装置显示相关信息。因此，即使在显示诸如VR的自由视点视频或者显示AR视频等的情况下，也可以将对象的区域与用于显示评论的区域显示为不交叠。
注意，本技术还可以如下配置。
(1)
一种信息处理装置，包括：
获取单元，其获取与视频相关的相关信息；
指定单元，其基于由所述获取单元获取的相关信息以及与第一视点对应的视频来指定与所述第一视点不同的第二视点；以及
显示单元，其使由所述获取单元获取的相关信息连同与所述指定单元指定的第二视点对应的视频一起显示。
(2)
根据(1)所述的信息处理装置，其中，
所述指定单元基于对应于所述第一视点显示的视频中包括的对象的区域以及所述相关信息的区域来指定所述第二视点。
(3)
根据(1)或(2)所述的信息处理装置，其中，
在对应于所述第一视点显示的视频中包括的对象的区域与所述相关信息的区域交叠的情况下，所述指定单元指定所述对象的区域与所述相关信息的区域不交叠的视点作为所述第二视点。
(4)
根据(1)至(3)中任一项所述的信息处理装置，其中，
在所述对象的区域中的预定的部分区域与所述相关信息的区域交叠的情况下，所述指定单元指定所述部分区域与所述相关信息的区域不交叠的视点作为所述第二视点。
(5)
根据(1)至(4)中任一项所述的信息处理装置，其中，
在从所述视频的区域中排除了所述对象的区域的剩余区域小于用于使所述相关信息被显示的区域的情况下，所述指定单元指定所述剩余区域等于或大于用于使所述相关信息被显示的视点作为所述第二视点。
(6)
根据(1)至(5)中任一项所述的信息处理装置，其中，
所述指定单元指定通过沿离开所述对象的位置的方向移动所述第一视点而获得的视点作为所述第二视点。
(7)
根据(1)至(6)中任一项所述的信息处理装置，其中，
所述指定单元指定通过围绕与所述第一视点对应的视频中的预定位置旋转第一视点而获得的视点作为所述第二视点。
(8)
根据(1)至(7)中任一项所述的信息处理装置，其中，
所述获取单元获取针对所述视频中包括的对象发布的发布信息作为所述相关信息。
(9)
根据(1)至(8)中任一项所述的信息处理装置，其中，
在所述获取单元获取了多个用户的多条发布信息的情况下，所述显示单元根据基于所述多个用户之间的关系的优先级使所述发布信息被显示。
(10)
根据(1)至(9)中任一项所述的信息处理装置，其中，
所述获取单元获取针对所述视频中包括的多个对象进行的比赛的内容而发布的发布信息作为所述相关信息。
(11)
根据(1)至(10)中的任一项所述的信息处理装置，其中，所述显示单元使所述相关信息被显示成跟随所述对象。
(12)
根据(1)至(11)中的任一项所述的信息处理装置，其中，在所述相关信息中包括的字符的数目等于或大于预定字符数目的情况下，所述显示单元使所述相关信息在预定显示区域中显示。
(13)
根据(1)至(12)中的任一项所述的信息处理装置，其中，所述显示单元使自由视点视频基于所述第一视点显示，并且在指定了所述第二视点的情况下，使自由视点视频基于所述第二视点显示。
(14)
根据(1)至(13)中的任一项所述的信息处理装置，其中，所述显示单元使显示虚拟现实(VR)视频的显示装置显示所述自由视点视频和所述相关信息。
(15)
根据(1)至(13)中的任一项所述的信息处理装置，其中，所述显示单元使显示增强现实(AR)视频的显示装置显示所述相关信息。
(16)
一种用于由计算机执行处理的信息处理方法，所述处理包括：
获取与视频相关的相关信息；
基于所获取的相关信息以及与第一视点对应的视频来指定与所述第一视点不同的第二视点；以及
使所获取的相关信息连同与所述指定单元指定的第二视点对应的视频一起显示。
(17)
一种信息处理程序，用于使计算机用作：
获取单元，其获取与视频相关的相关信息；
指定单元，其基于由所述获取单元获取的相关信息以及与第一视点对应的视频来指定与所述第一视点不同的第二视点；以及
显示单元，其使由所述获取单元获取的相关信息连同与所述指定单元指定的第二视点对应的视频一起显示。
附图标记列表
10、80 HMD
60 分发服务器
70 评论管理服务器
100 信息处理装置
105 接口单元
110 通信单元
120 存储单元
121 评论信息
122 评论表
123 内容表
124 视点信息
125 自由视点视频信息
130 控制单元
131 获取单元
132 评论信息生成单元
133 评论信息发送单元
134 显示单元

Claims (16)

1.一种信息处理装置，包括：
获取单元，其获取与视频相关的相关信息；
指定单元，其基于由所述获取单元获取的所述相关信息以及与第一视点对应的视频来指定与所述第一视点不同的第二视点；以及
显示单元，其使由所述获取单元获取的所述相关信息连同与所述指定单元指定的第二视点对应的视频一起显示，
其中，所述指定单元基于对应于所述第一视点显示的视频中包括的对象的区域以及所述相关信息的区域来指定所述第二视点以使得所述对象的区域的至少一部分与所述相关信息的区域不交叠。
2.根据权利要求1所述的信息处理装置，其中，
在对应于所述第一视点显示的视频中包括的对象的区域与所述相关信息的区域交叠的情况下，所述指定单元指定所述对象的区域与所述相关信息的区域不交叠的视点作为所述第二视点。
3.根据权利要求2所述的信息处理装置，其中，
在所述对象的区域中的预定的部分区域与所述相关信息的区域交叠的情况下，所述指定单元指定所述部分区域与所述相关信息的区域不交叠的视点作为所述第二视点。
4.根据权利要求1所述的信息处理装置，其中，
在从所述视频的区域中排除了所述对象的区域的剩余区域小于用于使所述相关信息被显示的区域的情况下，所述指定单元指定所述剩余区域等于或大于用于使所述相关信息被显示的区域的视点作为所述第二视点。
5.根据权利要求2所述的信息处理装置，其中，
所述指定单元指定通过沿离开所述对象的位置的方向移动所述第一视点而获得的视点作为所述第二视点。
6.根据权利要求2所述的信息处理装置，其中，
所述指定单元指定通过围绕与所述第一视点对应的视频中的预定位置旋转所述第一视点而获得的视点作为所述第二视点。
7.根据权利要求1所述的信息处理装置，其中，
所述获取单元获取针对所述视频中包括的对象发布的发布信息作为所述相关信息。
8.根据权利要求7所述的信息处理装置，其中，
在所述获取单元获取了多个用户的多条发布信息的情况下，所述显示单元根据基于所述多个用户之间的关系的优先级使所述发布信息被显示。
9.根据权利要求8所述的信息处理装置，其中，
所述获取单元获取针对所述视频中包括的多个对象进行的比赛的内容而发布的发布信息作为所述相关信息。
10.根据权利要求7所述的信息处理装置，其中，所述显示单元使所述相关信息被显示成跟随所述对象。
11.根据权利要求7所述的信息处理装置，其中，在所述相关信息中包括的字符的数目等于或大于预定字符数目的情况下，所述显示单元使所述相关信息在预定显示区域中显示。
12.根据权利要求1所述的信息处理装置，其中，所述显示单元使自由视点视频基于所述第一视点显示，并且在指定了所述第二视点的情况下，使自由视点视频基于所述第二视点显示。
13.根据权利要求12所述的信息处理装置，其中，所述显示单元使显示虚拟现实(VR)视频的显示装置显示所述自由视点视频和所述相关信息。
14.根据权利要求1所述的信息处理装置，其中，所述显示单元使显示增强现实(AR)视频的显示装置显示所述相关信息。
15.一种用于由计算机执行处理的信息处理方法，所述处理包括：
获取与视频相关的相关信息；
基于所获取的所述相关信息以及与第一视点对应的视频来指定与所述第一视点不同的第二视点；以及
使所述获取单元获取的所述相关信息连同与指定的所述第二视点对应的视频一起显示，
其中，所述指定单元基于对应于所述第一视点显示的视频中包括的对象的区域以及所述相关信息的区域来指定所述第二视点以使得对象的区域的至少一部分与所述相关信息的区域不交叠。
16.一种信息处理程序，用于使计算机用作：
获取单元，其获取与视频相关的相关信息；
指定单元，其基于由所述获取单元获取的所述相关信息以及与第一视点对应的视频来指定与所述第一视点不同的第二视点；以及
显示单元，其使由所述获取单元获取的所述相关信息连同与所述指定单元指定的第二视点对应的视频一起显示；
其中，所述指定单元基于对应于所述第一视点显示的视频中包括的对象的区域以及所述相关信息的区域来指定所述第二视点以使得对象的区域的至少一部分与所述相关信息的区域不交叠。
CN201980066869.7A 2018-10-16 2019-09-12 信息处理装置、信息处理方法和信息处理程序 Active CN112823528B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-195452 2018-10-16
JP2018195452 2018-10-16
PCT/JP2019/035805 WO2020079996A1 (ja) 2018-10-16 2019-09-12 情報処理装置、情報処理方法および情報処理プログラム

Publications (2)

Publication Number Publication Date
CN112823528A CN112823528A (zh) 2021-05-18
CN112823528B true CN112823528B (zh) 2023-12-15

Family

ID=70283021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980066869.7A Active CN112823528B (zh) 2018-10-16 2019-09-12 信息处理装置、信息处理方法和信息处理程序

Country Status (3)

Country Link
US (1) US20210385554A1 (zh)
CN (1) CN112823528B (zh)
WO (1) WO2020079996A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
CN114363599A (zh) * 2022-02-24 2022-04-15 北京蜂巢世纪科技有限公司 基于电子变焦的追焦距方法、系统、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012022360A (ja) * 2010-07-12 2012-02-02 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム処理方法、ならびに、プログラム
CN105916046A (zh) * 2016-05-11 2016-08-31 乐视控股（北京）有限公司 一种植入型互动方法和装置
CN106780769A (zh) * 2016-12-23 2017-05-31 王征 一种减少近距离对象遮挡的三维模型绘制系统及绘制方法
CN107300972A (zh) * 2017-06-15 2017-10-27 北京小鸟看看科技有限公司 在头戴显示设备中的评论的方法、装置和头戴显示设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8836771B2 (en) * 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
JP5871705B2 (ja) * 2012-04-27 2016-03-01 株式会社日立メディコ 画像表示装置、方法及びプログラム
JP5571269B2 (ja) * 2012-07-20 2014-08-13 パナソニック株式会社 コメント付き動画像生成装置およびコメント付き動画像生成方法
US10015551B2 (en) * 2014-12-25 2018-07-03 Panasonic Intellectual Property Management Co., Ltd. Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device
JP6472486B2 (ja) * 2016-09-14 2019-02-20 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10219009B2 (en) * 2016-11-18 2019-02-26 Twitter, Inc. Live interactive video streaming using one or more camera devices
JP6193466B1 (ja) * 2016-12-09 2017-09-06 株式会社ドワンゴ 画像表示装置、画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
JP6304847B1 (ja) * 2017-04-28 2018-04-04 株式会社コナミデジタルエンタテインメント サーバ装置、及びそれに用いられるコンピュータプログラム
JP6580109B2 (ja) * 2017-11-09 2019-09-25 株式会社ドワンゴ 投稿提供サーバ、投稿提供プログラム、ユーザプログラム、投稿提供システムおよび投稿提供方法
US11785194B2 (en) * 2019-04-19 2023-10-10 Microsoft Technology Licensing, Llc Contextually-aware control of a user interface displaying a video and related user text

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012022360A (ja) * 2010-07-12 2012-02-02 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム処理方法、ならびに、プログラム
CN105916046A (zh) * 2016-05-11 2016-08-31 乐视控股（北京）有限公司 一种植入型互动方法和装置
CN106780769A (zh) * 2016-12-23 2017-05-31 王征 一种减少近距离对象遮挡的三维模型绘制系统及绘制方法
CN107300972A (zh) * 2017-06-15 2017-10-27 北京小鸟看看科技有限公司 在头戴显示设备中的评论的方法、装置和头戴显示设备

Also Published As

Publication number Publication date
WO2020079996A1 (ja) 2020-04-23
CN112823528A (zh) 2021-05-18
US20210385554A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
US20220283632A1 (en) Iinformation processing apparatus, image generation method, and computer program
US10845969B2 (en) System and method for navigating a field of view within an interactive media-content item
US10516870B2 (en) Information processing device, information processing method, and program
US9626103B2 (en) Systems and methods for identifying media portions of interest
JP6074525B1 (ja) 仮想空間における視界領域調整方法、およびプログラム
US20180321798A1 (en) Information processing apparatus and operation reception method
JP6087453B1 (ja) 仮想空間の提供方法、およびプログラム
US20190025586A1 (en) Information processing method, information processing program, information processing system, and information processing apparatus
KR20200100046A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
EP3960258A1 (en) Program, method and information terminal
US20210005023A1 (en) Image processing apparatus, display method, and non-transitory computer-readable storage medium
JP2019139673A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US11750873B2 (en) Video distribution device, video distribution method, and video distribution process
CN109314800B (zh) 用于将用户注意力引导到基于位置的游戏进行伴随应用的方法和系统
US20190043263A1 (en) Program executed on a computer for providing vertual space, method and information processing apparatus for executing the program
JP2017138973A (ja) 仮想空間の提供方法、およびプログラム
CN112823528B (zh) 信息处理装置、信息处理方法和信息处理程序
JP2017142783A (ja) 仮想空間における視界領域調整方法、およびプログラム
US20230368464A1 (en) Information processing system, information processing method, and information processing program
US11922904B2 (en) Information processing apparatus and information processing method to control display of a content image
US20230345084A1 (en) System, method, and program for distributing video
US11989811B2 (en) Information processing system, information processing method, and computer program
US20230252706A1 (en) Information processing system, information processing method, and computer program
EP4023311A1 (en) Program, method, and information processing terminal
JP2022097475A (ja) 情報処理システム、情報処理方法およびコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant