CN103905809B - 信息处理设备和记录介质 - Google Patents

信息处理设备和记录介质 Download PDF

Info

Publication number
CN103905809B
CN103905809B CN201310703842.9A CN201310703842A CN103905809B CN 103905809 B CN103905809 B CN 103905809B CN 201310703842 A CN201310703842 A CN 201310703842A CN 103905809 B CN103905809 B CN 103905809B
Authority
CN
China
Prior art keywords
viewpoint
content
unit
processing device
message processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310703842.9A
Other languages
English (en)
Other versions
CN103905809A (zh
Inventor
花谷博幸
渡边弘
渡边一弘
佐古曜郎
佐古曜一郎
中村隆俊
竹原充
甲贺有希
迫田和之
浅田宏平
今孝安
林和则
镰田恭则
丹下明
大沼智也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103905809A publication Critical patent/CN103905809A/zh
Application granted granted Critical
Publication of CN103905809B publication Critical patent/CN103905809B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing (AREA)

Abstract

本发明提供信息处理设备和记录介质。该信息处理设备包括：视点切换控制单元，配置为在回放由内容获取单元获取的内容时将视点切换至第一人视点和第三人视点中的至少一个；编辑单元，配置为编辑内容的一部分；以及回放控制单元，配置为在已经由视点切换控制单元向第一人视点和第三人视点中的至少一个切换的视点中，回放由编辑单元编辑的内容。

Description

信息处理设备和记录介质
相关申请的交叉引用
本申请要求2012年12月27日提交的日本优先权专利申请2012-285642的权益，其全部内容以引用的方式并入本文。
技术领域
本公开涉及信息处理设备和记录介质。
背景技术
诸如移动终端通信速度和存储能力以及显示屏幕精度之类的技术中的最新快速发展，使得诸如电影和电视剧之类的视频内容能够被容易地下载并且在移动终端上观看。涉及这种视频内容的管理的技术的示例包括以下。
例如，JP 2002-325241A提出通过创建已经放映或者广播的电影和电视节目的数据库，利用由专业人员制作的高画面质量/高音频质量电影和电视节目数据。更具体地，JP2002-325241A描述下载系统，该下载系统允许用户访问并且下载视频作品中的音频数据和运行图像数据的给定部分，用户可以利用该给定部分作为移动终端中的待机屏幕、铃声等。
另外，JP 2007-528056T公开了自动包括与一个或者多个内容片段相关联的链路数据的技术，该一个或者多个内容片段与屏幕内容数据相关联。注意，JP 2007-528056T还描述了将屏幕内容数据（捕获图像）与GPS位置信息（成像地点信息）链接。
发明内容
然而，JP 2002-325241A和JP 2007-528056T仅讨论数据的提供。无一个文献提及关于回放图像内容时切换视点的内容。
根据本公开的一个或者多个实施例，提供新颖和改进的信息处理设备和记录介质，其能够将回放图像内容时的视点切换到至少第一人视点或者第三人视点
根据本公开的一个实施例，提供信息处理设备，包括：视点切换控制单元，配置为将回放由内容获取单元获取的内容时的视点切换至第一人视点和第三人视点中的至少一个；编辑单元，配置为编辑内容的一部分；以及回放控制单元，配置为在已经由视点切换控制单元向第一人视点和第三人视点中的至少一个切换的视点中，回放由编辑单元编辑的内容。
根据本公开的一个实施例，提供具有记录在其上的程序的非暂时性计算机可读记录介质，所述程序使得计算机执行：将回放由内容获取单元获取的内容时的视点切换至第一人视点和第三人视点中的至少一个；基于视点的切换编辑内容的一部分；以及在已经向第一人视点和第三人视点中的至少一个切换的已切换视点中，回放已编辑的内容。
根据本公开的一个或者多个实施例，提供新颖和改进的信息处理设备和记录介质，其能够将回放图像内容时的视点切换到至少第一人视点或者第三人视点。
附图说明
图1是图示根据本公开的一个实施例的信息处理设备的概述的示图；
图2是图示由根据本公开的一个实施例的信息处理设备的内容的编辑处理的示图；
图3是图示根据本公开的第一实施例的HMD的外部配置的示图；
图4是图示根据本公开的第一实施例的HMD的内部配置的框图；
图5是图示用于由根据本公开的第一实施例的HMD获取从前面拍摄的用户的捕获图像的处理的示图；
图6是图示根据本公开的第一实施例的由识别单元的手势识别的示图；
图7是图示根据本公开的第一实施例的控制单元的操作的流程图；
图8是图示根据本公开的第一实施例的控制单元的操作的流程图；
图9是图示根据本公开的第一实施例的控制单元的操作的流程图；
图10是图示根据本公开的第一实施例的视点切换控制单元切换视点的示图；
图11是图示根据本公开的第一修改实施例的HMD的操作处理的示图；
图12是图示根据本公开的第二实施例的智能电话的概述的示图；
图13是图示根据本公开的第二实施例的控制单元的操作的流程图；
图14是图示根据本公开的第二实施例的控制单元的操作的流程图；以及
图15是图示根据本公开的第二修改示例的智能手机的操作的示图。
具体实施方式
在下文中，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本相同功能和结构的结构元件用相同的参考标号表示，并且省略这些结构元件的重复说明。
注意，将以下面的顺序做出描述。
1.根据本公开的实施例的信息处理设备的概述
2.本公开的实施例
2-1.本公开的第一实施例
2-1-1.HMD外部配置
2-1-2.HMD内部配置
2-1-3.操作处理
2-1-4.本公开的第一修改示例
2-2.本公开的第二实施例
2-2-1.概述
2-2-2.操作处理
2-2-3.本公开的第二修改示例
3.结论
1.根据本公开的实施例的信息处理设备的概述
将参考图1和2描述根据本公开的实施例的信息处理设备的概述。图1是图示根据本公开的实施例的信息处理设备的概述。如图1中图示，通过眼镜型HMD（头戴式显示器）1实现根据本实施例的信息处理设备。如下面详细描述，HMD1是由用户2佩戴以向用户2回放内容的设备。HMD1可以通过在用户2的整体视野上投影图像来建立逼真的虚拟现实。该内容至少包括基于运行图像或者基于静止图像的图像（图像数据）。例如，该内容可以是电影、电视剧、动画等。在本说明书中，描述将基于电影作为内容。
一般地，当观看内容时，用户2从捕获该内容的相机的视点（第三人视点）观看。即，用户2仿佛他/她出现在捕获内容时的地点并且正在从相机镜头的位置看着成像目标（对象）那样地观看内容。成像目标的示例包括诸如出现在电影或者电视剧中的演员、狗或者猫之类的生物、由机器人或者CG（计算机图形）实现的虚拟生物、动画人物等。
这里，将描述这样的情形，在该情形中，用户2观看在图1中图示的场景100处捕获的内容101。如图1中图示，在该阶段，用户2仿佛从捕获内容101的相机的位置看着场景100中的成像目标（出现在内容101中的女演员3和男演员4）那样地观看内容101。注意，当捕获内容101时，女演员3和男演员4在原点位置，在该原点位置中，图1中图示的场景100的X轴、Y轴和Z轴交叉。另外，捕获内容101的相机在图像捕获期间位于图1中图示的X轴上。
这里，如上面描述，JP2002-325241A和JP2007-528056T仅仅公开提供图像内容的信息处理设备，它们不包含关于在回放图像内容时切换视点的任何描述。
然而，如果在回放图像内容时的视点可以从简单第三人视点切换到第一人视点（第一人视点是从出现在图像内容中的成像目标看到的视点），则改进图像内容的娱乐值。
因此，通过针对上述情况创建根据本公开的各个实施例的图像处理设备。根据本公开的各个实施例的图像处理设备可以通过将在回放内容时的视点切换到至少第一人视点或者第三人视点来回放内容。
例如，如图1中图示，HMD1可以从上述第三人视点向第一人视点（第一人视点是从出现在内容101中的男演员4看到的视点）切换视点，并且以第一人视点回放内容104。内容104是其中女演员如同从男演员4的视点看见地那样出现的图像内容。结果，用户2可以沉浸在内容的世界中，并且仿佛他/她本身实际扮演男演员4的角色那样地享受内容。
这里，即使在第一人视点内，HMD1也可以进一步切换视点并且回放内容。例如，如图1中图示，HMD1可以从男演员4的位置切换到甚至更靠近女演员3的视点，并且回放内容105。结果，用户2可以仿佛他/她在更接近女演员3的位置扮演男演员4的角色那样地享受内容。此外，HMD1可以切换到甚至更近的视点，并且回放内容106和内容107。
另一方面，即使在第三人视点内，HMD1也可以进一步切换视点并且回放内容。例如，HMD1可以切换到视点2-2（视点2-2是与捕获内容101的相机不同的位置）并且回放内容102。在该情形下，用户2可以仿佛从视点2-2的位置看着场景100中的女演员3和男演员4那样地观看内容102。另外，HMD1可以切换到视点2-3并且回放内容103。
此外，根据本实施例的HMD1甚至可以编辑内容的一部分。下面将参考图2描述由HMD1的内容编辑。
图2是图示由根据本公开的实施例的信息处理设备的内容的编辑处理的示图。如图2中图示，在作为从第三人视点看到的内容的内容101A中，女演员3和男演员4彼此面对。根据本实施例的HMD1可以回放内容101B，该内容101B仿佛用用户2的面部部分取代出现在内容101A中的男演员4的面部部分那样地已经被编辑。作为结果，用户2可以仿佛他/她正在观看用户他/她本身出现的内容那样地享受该内容。
这里，当在已经看到他/她自己的轮廓出现的第三人视点中的内容之后切换到第一人视点时，用户2可以体验从外部视点恢复到直到现在他/她一直看着的他/她自己的身体的感觉。另外，当从第一人视点切换到第三人视点（在第三人视点中，他/她看见其中他/她自己的轮廓出现的内容）时，用户2可以从外部看见他/她自己的身体，即体验离开他/她的身体的感觉。与HMD1的能力组合以建立逼真的虚拟现实，仿佛他/她已经实际离开他/她的身体那样地感觉这些感觉。
由此，用户2可以通过看着已经用他/她自己的轮廓取代一部分的内容变得沉浸在并且享受该内容。
在上面中，描述根据本公开的实施例的信息处理设备的概括。下面，将依次描述本公开的各个实施例。注意，在图1中图示的示例中，虽然眼镜型HMD1用作信息处理设备的示例，但是根据本公开的实施例的信息处理设备不限于此。信息处理设备可以是一些其他设备，诸如例如数字相机、数字摄像机、PDA（个人数字助理）、笔记本型PC、平板型终端、移动电话终端、智能电话、便携式音乐播放器、便携式图像处理装置或者移动游戏装置之类。
2.本公开的实施例
2-1.本公开的第一实施例
2-1-1.HMD外部配置
首先，将参考图3描述图1中图示的HMD1的外部配置，并随后将参考图4-6描述外部配置。
图3是图示根据本公开的第一实施例的HMD的外部配置的示图。图3中图示的HMD1称为眼镜型显示器或者透视的HMD。具体地，HMD1具有安装单元，该安装单元具有以半围绕的方式从头部的任一侧延伸到头部的后部并且通过放置在双耳上而安装在用户2上的框架结构，如图3中图示。在类似图3中图示的状态中，HMD1包括直接在用户2的任一只眼前面（即，在普通眼睛中的透镜应该在的地点）的分别用于左眼和右眼的一对显示单元60a和60b。例如液晶面板可以用于显示单元60（显示单元60a和显示单元60b）。HMD1可以通过控制液晶面板的透射率设置为类似图3中图示的透视（see-through）状态，即，透明或者半透明状态。通过将显示单元60设置为透视状态，即使用户2恒定地佩戴类似眼镜的HMD1，也不存在对正常活动的妨碍。
此外，显示单元60可以通过显示透明或者半透明状态中的文本、图形等的图像将AR（增强现实）信息叠加到实际空间景观。
此外，显示单元60可以显示由成像镜头20a和20b捕获的实际空间的捕获图像，并且在该实际空间的捕获图像上叠加AR（增强现实）信息。另外，显示单元60可以回放并且显示由HMD1从外部装置接收的内容或者在HMD1的存储介质（下面描述的存储单元40）上存储的内容。外部装置的示例可以包括服务器、数字相机、数字摄像机和诸如移动电话终端、智能电话和个人计算机之类的信息处理设备。
回放并且显示在显示单元60上的内容的示例例如包括诸如电影或者视频剪辑之类的运行图像内容、由数字照相机等捕获的静止图像内容和电子书籍中的数据。另外，该数据可以是能够显示的任何数据，诸如由用户2在个人计算机等上创建的类似计算机使用的数据的图像数据、文本数据和电子表格数据以及从游戏程序中导出的游戏图像。
此外，虽然仅仅在图3的右侧上显示，但是成像镜头20a和20b可以面向用户2布置，以在用户佩戴HMD1的状态中从附近范围捕获用户2的图像。这里，成像镜头20a捕获用户2的面部的右上部的图像，并且成像镜头20b捕获用户2的面部的右下部分和用户2的身体的右上部分的图像。类似地，虽然未图示，但是用提供在左眼侧上的成像镜头（未图示）捕获用户2的面部的左上部分的图像以及用户2的面部的左下部分和用户2的身体的左上半部的图像。如下面描述，HMD1可以通过组合从附近范围拍摄的用户2的这些捕获图像，生成看上去像从用户2的前面拍摄的捕获图像。
另外，面向前面地布置成像镜头20c和20d，以捕获在用户2佩戴HMD1的状态中对于用户2可见的方向作为被摄体方向。
此外，虽然仅仅显示在图3中的左耳上，提供当佩戴时可以插入到用户2的左耳孔和右耳孔的一对耳机扬声器70a。
此外，分别布置用于收集外部音频的麦克风30a和30b到右眼的显示单元60的右侧和左眼的显示单元60b的左侧。
注意，图3中图示的HMD1的外部配置是示例。可以使用各种其他配置，以将HMD1安装到用户2上。从眼镜型或者头戴型安装单元形成HMD1是足够的。无论如何，在本实施例中，提供显示单元60靠近用户2的眼睛的前面就足够了。另外，显示单元60还可以提供为与一侧上的眼睛对应的单个单元，而不是提供为与每只眼对应的一对单元。
此外，耳机扬声器70a可以提供为用于仅佩戴在一只耳朵上的单个单元，而不是提供左和右耳机扬声器。此外，麦克风还可以提供为仅麦克风30a或者麦克风30b。
另外，HMD1甚至可以在不包括麦克风30a和30b以及耳机扬声器70a的情况下被配置。
在上面中，描述根据本公开的实施例的HMD1的外部配置。
2-1-2HMD内部配置
图4是图示根据本公开的第一实施例的HMD1的内部配置的框图。如图4中图示，HMD1包括控制单元10、成像单元20、音频输入单元30、存储单元40、通信单元50、显示单元60和视频输出单元70。
（成像单元）
成像单元20例如包括由成像镜头20a、20b、20c、20d、光圈、变焦镜头和对焦镜头配置的镜头系统、使得镜头系统执行对焦操作和缩放操作的驱动系统和通过光电转换由镜头系统获得的捕获光生成成像信号的固态图像传感器。可以例如通过CCD（电荷耦合器件）传感器阵列或者CMOS（互补金属氧化物半导体）传感器阵列实现固态图像传感器阵列。
另外，在本实施例中，如上面参考图3描述，布置镜头20a和20b以在由用户佩戴HMD1的状态中从附近范围捕获用户2的图像。因此，镜头20a和20b可以从附近范围并且从各种角度捕获用户2的特写图像。从附近范围拍摄的这些捕获图像通过下面描述的编辑单元12组合，以生成看上去像从用户2的前面拍摄的捕获图像。
此外，在本实施例中，如上面参考图3描述，镜头20c和20d向前面向布置，以捕获在用户2佩戴HMD1的状态中对于用户2可见的方向作为被摄体方向。因此，镜头20c和20d可以捕获包括可以由用户2通过显示单元60看见的范围（视野）的范围的图像。基于捕获对于用户2可见的方向的这些捕获图像，由下面描述的识别单元13识别由用户2做出的手势。
成像单元20输出捕获图像到控制单元10。
（音频输入单元）
音频输入单元30包括图3中图示的麦克风30a和30b以及放大并且处理由麦克风30a和30b获得的音频信号的微放大器单元和A/D转换器。音频输入单元30输出作为结果的音频数据到控制单元10。
在本实施例中，音频输入单元30收集佩戴HMD1的用户2的语音。用由音频输入单元30收集的用户2的语音，通过下面描述的编辑单元12取代包括在内容中的成像目标的语音。
（存储单元）
存储单元40是用于执行预定存储介质中的数据的记录和回放的单元。存储单元40例如实现为HDD（硬盘驱动器）。明显地，只要存储单元40可以在使用的记录介质上执行记录和回放，各种其他类型的介质也可以用作记录介质，诸如存储器卡、光盘、磁光盘、全息存储器和包括固定存储器的类似物。
在本实施例中，存储单元40例如存储诸如与位置信息相关联的电影或者视频剪辑之类的运行图像内容和由数字照相机捕获的静止图像内容等。更具体地，存储单元40存储与拍摄该电影或者照片的地点或者设置（建模）内容的地点相关联的图像内容、照片内容、文本内容等。
例如，存储单元40将来自图像内容（电影、电视剧等）的各种片段的著名情况和著名场景与规定捕获场景的地点的位置信息、名称、图像等相关联，并且将其存储。注意，规定地点的位置信息例如可以是纬度和经度。另外，规定地点的名称例如可以是地址、地名、设施名称或者建筑名称。此外，规定地点的图像可以是该地点的捕获图像或者该地点附近的特征建筑或者景观的捕获图像。
此外，包括该场景的图像内容的标题、标题场景、主题曲等也可以与每个场景相关联。
另外，内容还可以与指示内容是否基于第一人视点或者基于第三人视点的信息相关联。此外，内容可以与指示该内容基于谁（哪个演员）的第一人视点的信息相关联。
（通信单元）
通信单元50发送数据到外部装置，并且从外部装置接收信息。通信单元是用于获取外部信息的单元的示例。通信单元50可以例如使用无线LAN（局域网）、等执行经由近场通信与网络接入点的网络通信。另外，通信单元50还可以执行与包括兼容通信功能的外部装置的近场通信。
该外部装置可以是包括信息处理和通信功能的任何装置，诸如计算机装置、PDA、移动电话终端、智能电话、视频装置、音频装置、调谐器装置等。另外，对于其执行通信的外部装置的示例包括连接到诸如因特网之类的网络的终端设备或者服务器设备。另外，外部装置可以是诸如包括IC芯片的非接触通信IC卡或者QR码（注册商标）之类的二维条形码或者全息存储器，通信单元90可以从它们那儿读取信息。此外，另一HMD1还可以用作外部设备。
在本实施例中，通信单元50例如接收诸如电影或者音频剪辑之类的运行图像内容或者由数字照相机捕获的静止图像内容等，并且输出接收的内容到控制单元10。
（音频输出单元）
音频输出单元70包括图3中图示的一对耳机扬声器70a和用于该耳机扬声器70a的放大器电路。另外，音频输出单元70可以形成为所谓的骨导扬声器。音频输出单元70允许用户倾听外部音频、由存储在存储单元40中的内容回放的音频以及由通信单元50接收到的音频。
（控制单元）
控制单元10例如由包括CPU（中央处理器）、ROM（只读存储器）、RAM（随机存取存储器）、非易失性存储器和接口单元的微计算机配置。控制单元10控制HMD1中的每个单元。
另外，如图4中图示，控制单元10用作内容获取单元11、编辑单元12、识别单元13、位置信息获取单元14、视点切换控制单元15和回放控制单元16。
-内容获取单元
内容获取单元11获取从成像单元20、音频输入单元30、存储单元40或者通信单元50输出的基于运行图像或者基于静止图像的图像数据和音频数据作为内容。
特别地，根据实施例的内容获取单元11获取与指示由位置信息获取单元14获取的HMD1的当前位置的位置信息相关联的内容。例如，如果在存储单元40中存储过去在HMD当前呈现的位置捕获的图像，则内容获取单元11从在该位置捕获的电影获取场景作为内容。此外，如果在外部装置中存储由建筑或者景观规定的内容（该建筑或者景观由成像单元20（成像镜头20c和20d）捕获并且包括在用户2的视野中），则内容获取单元11可以经由通信单元50获取该内容。例如，内容获取单元11通过关于该外部装置是否具有过去在用户2前面的道路上捕获的电视剧经由通信单元50对外部装置做出询问，而从在该道路上捕获的电视剧获取场景作为内容。
注意，根据本实施例的内容获取单元11不限于获取上述与位置信息相关联的内容，内容获取单元11可以获取由用户2规定的内容。例如，内容获取单元11可以获取关于由用户2输入的标题的内容，或者自动获取用户2当前倾听的歌曲被设置为主题曲的内容。
另外，内容获取单元11从存储单元40或者经由通信单元50连接的外部装置实时获取并且生成下面描述的变形图像。
内容获取单元11输出获取的内容到编辑单元12、识别单元13和回放控制单元16。
-编辑单元
编辑单元12编辑由回放控制单元16回放的内容的一部分。更具体地，编辑单元12通过用出现在由内容获取单元11获取的一些其他内容中的另一成像目标的图像，取代出现在回放内容中的成像目标的图像数据来执行编辑。例如，如上面参考图2描述，编辑单元12可以用出现在另一捕获图像中的用户2的面部部分的图像数据取代出现在内容中的男演员4的面部部分的图像数据。
这里，为了执行该图像数据的取代，编辑单元12可以应用JP2010-86178A中公开的技术。该技术预先捕获并且注册来自不同朝向并且处于各种情绪中的用户2的面部的面部图像，并且通过选择这些注册的用户面部图像中具有与出现在内容中的男演员的面部的朝向和表情最高相关性的面部图像，用CG（计算机图形）取代男演员的面部。通过应用该技术，编辑单元12可以用预先注册在存储单元40或者外部装置中的用户的面部图像中具有最高相关性的面部图像来取代出现在内容中的男演员的面部。
另外，除了使用预注册面部图像之外，编辑单元12可以使用实时获取的用户2的面部图像。然而，例如HMD1难以在用户2正在佩戴HMD1的同时，获取从用户2的前面拍摄的捕获图像。因此，根据本实施例的HMD1使用被布置以从附近范围捕获用户2的图像的成像单元20（成像镜头20a和20b），基于下面参考图5描述的方法，实时获取从用户2的前面拍摄的捕获图像。
图5是图示根据本实施例的获取由HMD1从前面拍摄的用户的捕获图像的处理的示图。如图5中图示，捕获图像111是由成像镜头20a捕获的用户2的面部的右上部分的捕获图像。捕获图像112是由成像镜头20b捕获的用户2的面部的右下部分和用户2的身体右上半部的捕获图像。捕获图像113是由提供在左侧眼睛上的成像镜头（未图示）捕获的用户2的面部的左上部分的捕获图像。捕获图像114是由提供在右侧眼睛上的成像镜头（未图示）捕获的用户2的面部的左下部分和用户2的身体的左上半部的捕获图像。通过组合这些捕获图像111、112、113和114，根据本实施例的图像处理设备获取捕获图像115，其中用户2的身体的上半部（包括面部）显得仿佛从前面拍摄地那样出现。另外，根据本实施例的图像处理设备可以使用由上述方法获取的捕获图像，用用户2的前面面部图像取代内容中捕获的前向男演员的面部图像。
此外，根据本实施例的图像处理设备还可以通过布置成像单元20以从头部的侧面或者头部的后面捕获用户2的图像，类似地生成看上去仿佛从侧面或者从后面拍摄的用户2的捕获图像。因此，即使当内容中捕获的男演员4不面向前面，根据本实施例的图像处理设备可以用用户2的当前侧面面部轮廓或者后面轮廓来取代。这使得HMD1能够避免需要预先捕获并且注册来自不同朝向以及处于各种情绪中的用户2的面部的面部图像。另外，用户2可以实时享受反应他/她的当前轮廓的内容。
另外，将考虑根据本实施例的图像处理设备用用户2的当前后面头部部分取代内容中出现的男演员的后面头部部分的情形。在该情形下，当从第一人视点切换到第三人视点时，由于用户2可以在离开他/她自己的身体的同时看见他/她自己的后面头部部分，因此用户2可以更强烈地体验离开他/她的身体的感觉。另外，当从第一人视点切换到第三人视点时，用户2可以通过逐渐并入他/她自己的后面头部部分，更强烈地体验从他/她已经离开的状态恢复到他/她自己的身体的感觉。
此外，虽然上面描述了根据本实施例的图像处理设备用佩戴HMD1的用户2取代内容的一部分的情况，但是本实施例不限于该示例。例如，来自不同朝向和各种情绪中的另一人的面部的面部图像可以被预先捕获并且注册，并且编辑单元12可以通过选择另一人的这些注册面部图像中具有与出现在内容中的男演员的面部的朝向和表情最高相关性的面部图像，用CG取代男演员的面部。此外，编辑单元12还可以通过被布置以捕获对于用户2可见的方向作为被摄体方向的成像单元20，使用实时获取的另一人的捕获图像用另一人的轮廓取代内容的一部分。
注意，当取代面部部分时，在所取代的图像和周围图像之间的边界部分出现颜色不连续的部分。在该情形下，编辑单元12可以应用JP 2002-269546A中公开的技术。这是将所取代的图像和周围图像重叠的部分处的像素的像素值混合，以使得边界部分处的颜色自然改变的技术。通过应用该技术，编辑单元12可以校正出现在所取代的图像和周围图像之间的边界部分处的颜色不连续的部分。
另外，编辑单元12还可以用出现在由内容获取单元11获取的其他内容中的其他音频数据取代出现在该内容中的成像目标的音频数据。例如，编辑单元12用由音频输入单元30获取的用户2的音频数据取代出现在该内容中的男演员4的音频数据。
编辑部分12对从回放控制单元16输出的内容执行上述编辑处理，并且输出编辑后的内容到回放控制部分16。
-识别单元
识别单元13识别用以切换视点的指令。例如，识别单元13通过识别从成像单元20输出的出现用户2的手势的捕获图像、识别从音频输入单元30输出的用户2的语音或者识别未图示的按钮/切换操作，识别用以切换视点的指令。在本说明书中，识别单元13基于用户2的手势识别用以切换视点的指令。
识别单元13可以识别使用用户2的身体和手部做出的各种手势。下面将参考识别用手指做出的手势的图6描述一个示例。图6是图示根据本公开的第一实施例由识别单元13的手势识别。注意，识别单元13从自捕获用户2的前面的成像单元（成像镜头20c和20d）输出的捕获图像，识别当用户2在他/她自己前面挥动他/她的手指时由手指做出的手势。
图6中图示的手势121图示两个手指展开的操作。如果识别单元13识别用用户2的手指做出的手势121，则识别单元13识别用户2正在发出用以从第三人视点向第一人视点切换视点的指令。这里，从第三人视点向第一人视点切换意味着本来远离看见的成像目标现在特写地看见。这类似于当操作智能电话等时在触摸面板上执行了类似操作的情况下被扩大的图像。因此，用户2可以基于与当操作智能电话等时执行的操作类似的熟悉操作，发出用以切换视点的指令。
另一方面，图6中图示的手势122图示两个手指一起靠得更近的操作。如果识别单元13识别用用户2的手指做出的手势122，则识别单元13识别用户正在发出用以从第一人视点向第三人视点切换视点的指令。这里，从第一人视点向第三人视点切换意味着特写地看见的成像目标现在远离看见。这类似于当操作智能电话等时在触摸面板上执行了类似操作的情况下被缩小的图像。因此，用户2可以基于与当操作智能电话等时执行的操作类似的熟悉操作，发出用以切换视点的指令。
另外，当识别用以从第三人识别切换到第一人视点的指令时，识别单元13还同时识别指示用户2想要变成哪个演员的信息。例如，如果用户2用他/她的手指执行手势，以使得它们重叠在显示单元60上的半透明显示内容中出现的男演员上，则识别单元13可以识别该手势作为用以切换到从该男演员看见的第一人视点内容的指令。
识别单元13输出由用户2做出的所识别到的切换指令到视点切换控制单元15。
-位置信息获取单元
位置信息获取单元14获取关于HMD1的位置信息。例如，位置信息获取单元14从GPS（全球定位系统）卫星接收无线电波，并且获取包括指示HMD1的当前位置的纬度/经度/高度的位置信息。另外，当用户2使用诸如室内之类的限制空间中的HMD1时，位置信息获取单元14可以基于室内定位技术获取位置信息。
可以由HMD1利用各种室内定位技术。例如，HMD1的位置可以基于来自关于室内布置的多个无线接入点的信标信息测量。另外，位置信息获取单元14还可以基于从室内布置的IMES（室内消息传送系统）发送器发送的关于IMES发送器的位置信息测量HMD1的位置。另外，位置信息获取单元14可以通过在已经利用给定装置获取开始点位置之后，与加速度传感器和陀螺仪传感器结合地计算当前位置，来测量HMD1的位置。
除了指示HMD1的当前位置的纬度/经度/高度之外，位置信息获取单元14可以获取HMD1的方向角（bearing）和仰角。例如，位置信息获取单元14利用电子罗盘获取HMD1的方向角。这里，HMD1的方向角指示用户2的面部的朝向。另外，位置信息获取单元14利用陀螺仪传感器获取HMD1的仰角。这里，HMD1的仰角指示用户2的面部的仰角。
此外，位置信息获取单元14还可以获取关于特定位置的相对位置作为关于HMD1的位置信息。例如，当室内使用智能电话6时，室内特定位置被预置为成像目标在成像地点中的位置，并且获取关于该特定位置的相对位置作为位置信息。
位置信息获取单元14输出获取的位置信息到内容获取单元11和视点切换控制单元15。
-视点切换控制单元
视点切换控制单元15在用显示单元60回放由内容获取单元11获取的内容时将视点切换至第一人视点或者第三人视点中的至少一个。视点切换控制单元15基于由识别单元13识别到的由用户2做出的手势指示的切换指令，切换视点。此外，视点切换控制单元15还可以切换到来自内容空间中与由位置信息获取单元14获取的位置信息对应的位置的视点。注意，在下面的本公开的第二实施例中描述基于位置信息切换视点的视点切换控制单元15的示例。
-回放控制单元
回放控制单元16以由视点切换控制单元15切换到的视点回放由编辑单元12编辑的内容。更具体地，回放控制单元16控制显示单元60和音频输出单元70，使得从至少第一人视点或者第三人视点回放由编辑单元部分编辑的内容。结果，如果已经存在由视点切换控制单元15的视点切换，则回放控制单元16再次从内容获取单元11获取从切换到的视点看见的内容，并且回放所获取的内容。
例如，回放控制单元16在回放来自第三人视点的内容时回放正常内容，并且在回放来自第一人视点的内容时，获取并且回放来自已经预先创建的男演员的视点的电影内容。来自第一人视点的内容可以是来自通过当捕获内容并且使得男演员执行与真实演出相同的表演时安装相机在男演员的头部预先创建的男演员的视点的电影内容。
此外，例如通过应用JP2006-211531A中公开的自由视点图像生成技术，回放控制单元16可以利用内容获取单元11，实时生成基于来自内容空间中的给定位置的视点的内容。在自由视点图像生成技术中，例如，通过基于关于在捕获图像时的相机位置和成像角度的信息以及成帧模式，通过合并从多个相机获得的图像，并且对所合并的图像进行三维分析，来生成来自给定视点的图像。通过应用该技术，回放控制单元16可以回放来自第三人视点中给定位置的内容，并且回放来自男演员在第一人视点中的内容。
回放控制单元16在编辑单元12中编辑由此切换的内容，并且利用显示单元60和音频输出单元70回放编辑后的内容。回放控制单元16还在回放由编辑单元12编辑的内容时执行下面描述的处理。
当由视点切换控制单元15切换视点时，回放控制单元16回放从视点被切换到切换后的视点之前的视点逐渐改变的变形图像。这里，“变形”指代基于一般用在电影和动画中的CG的特殊成像技术，其中，变形表达从给定形式到另一形式的逐渐改变。变形图像可以预存储在存储单元40中，或者可以由通信单元50外部获取，或者可以例如在切换期间由内容获取单元11实时生成。
这里，当切换视点时，回放控制单元16可以回放逐渐改变的变形图像，使得使用基于相机的成像技术中典型的各种技术来改变变形图像，而不是简单改变。例如，回放控制单元16可以回放逐渐改变变形图像，使得它看上去仿佛使用诸如放大、缩小、推摄（dolly-in）、拉摄（dolly-back）或者平移（pan）之类的成像技术被捕获。
放大是当利用相机捕获图像时通过增加成像镜头的放大倍率扩大被摄体的成像技术。当拍摄电影等时，为了例如强调特定被摄体、引导观看者的视线、增加紧张性等的目的而执行放大。另外，缩小是当利用相机捕获图像时通过减少成像镜头的放大倍率使得被摄体更小的成像技术。当拍摄电影等时，为了例如说明周围情况或者被摄体的位置关系、减小紧张性等的目的执行缩小。
推摄是当利用相机捕获图像时通过使相机靠近被摄体扩大被摄体的成像技术。另外，拉摄是当利用相机捕获图像时通过相机远离被摄体使得被摄体更小的成像技术。当拍摄电影等时，为了例如给出观看者充当主角的效果的目的，执行推摄/拉摄。
平移是当利用相机捕获图像时跟随被摄体的移动的成像技术。平移的类型包括通过固定相机位置并且仅仅改变相机指向的方向而跟随被摄体的移动的成像技术和在移动相机本身的同时跟随被摄体的移动的成像技术。当拍摄电影等时，为了例如说明周围情况或者被摄体的位置关系、示出水平宽和垂直高成像目标等的目的执行平移。
当从第三人视点向第一人视点切换视点时，回放控制单元16回放改变以使得首先视点放大并随后推摄的变形图像。回放控制单元16可以通过首先由放大扩大第三人视点中的被摄体，并随后通过推摄进一步扩大第一人视点中的被摄体，平滑地表达从第三人视点向第一人视点的切换。注意，当从第三人视点向第一人视点切换视点时，回放控制单元16还可以回放改变以使得首先视点推摄并随后放大的变形图像。
另外，当从第一人视点向第三人视点切换视点时，回放控制单元16回放改变以使得首先视点拉摄并随后缩小的变形图像。回放控制单元16可以通过首先通过拉摄使得第一人视点中的被摄体更小并随后通过缩小以使得第三人视点中的被摄体甚至更小，平滑地表达从第一人视点到第三人视点的切换。注意，当从第一人视点向第三人视点切换视点时，回放控制单元16可以回放改变以使得首先视点缩小并随后拉摄的变形图像。
此外，如果捕获预视点切换内容的相机位置和捕获后切换视点内容的相机位置不同，则回放改变以使得视点平移的变形图像。结果，回放控制单元16可以回放内容，同时向用户2给出仿佛在移动相机位置的同时捕获图像的印象。
现在将参考图10描述基于诸如放大、缩小、推摄、拉摄、平移等之类的成像技术逐渐改变的变形图像的上述示例。
另外，回放控制单元16还可以基于回放内容的视点，改变音频图像的定位位置。例如，当以第三人视点回放图1中图示的内容101时，回放控制单元16将女演员3和男演员4的语音固定在用户2看见的远侧。另外，当以第一人视点回放图1中图示的内容104时，回放控制单元16将女演员3的语音固定在用户2的前面右侧，并且将男演员4的语音固定在用户2他/她本身所在的位置。此外，当由视点切换控制单元15切换视点时，回放控制单元16可以回放内容，使得音频图像的定位位置逐渐改变，以桥接这些定位位置之间的差异。例如，当从第三人视点向第一人视点切换时，被远离用户2地固定的音频图像可以逐渐改变，以靠近户2。结果，用户2由于切换视点可以感觉真实性的感觉。
另外，当由视点切换单元15切换视点时，回放控制单元16可以将预定音频数据回放为声音效果。例如，当从第一人视点向第三人视点切换时，回放控制单元16可以通过回放其中控制输入左耳的声音的频率和输入右耳的声音的频率之间的差异的音频数据，引起α-波。结果，用户2可以通过α-波放松，这允许用户2以更自然的方式体验上述离开他/她的身体的感觉。注意，该音频数据可以是涉及诸如语音、音乐、周围声音等之类的声音的任何数据。
在上面中，描述根据本实施例的HMD1的内部配置。
2-1-3操作处理
下面，将参考图7到图10描述根据本实施例的HMD1的操作处理。图7到图9是图示根据本公开的第一实施例的控制单元10的操作的流程图。如图7中图示，在步骤S10中，控制单元10执行初始化处理。更具体地，控制单元10执行诸如从非易失性存储器读取各种设置值并且设置初始值之类的初始化处理。
下面，在步骤S20中，位置信息获取单元14获取位置信息，该位置信息包括HMD1的当前位置、方向角和仰角。
接着，在步骤30中，内容获取单元11确定与由位置信息获取单元14获取的位置信息对应的内容是否呈现。例如，内容获取单元11确定存储单元40是否存储与获取的位置信息相关联的内容。此外，内容获取单元11还关于与获取的位置信息相关联的内容呈现经由通信单元50向外部装置做出询问。
如果不呈现与位置信息对应的内容（S30中的“否”），则处理返回步骤S20。
另一方面，如果呈现与位置信息对应的内容（S30中的“是”），则在步骤S40中，控制单元10执行内容显示处理。注意，下面将更详细描述内容显示处理。
接着，在步骤S50中，控制单元10确定是否结束处理。例如，如果已经按压结束按钮，如果已经在步骤S30中回放内容预定次数，或者如果在没有做出任何操作的情况下，已经流逝预定持续时间，则控制单元10确定结束处理。
如果确定不结束处理（S50中的“否”），则处理返回步骤S40。
另一方面，如果确定结束处理（S50中的“是”），则在步骤S60中，控制单元10执行结束处理。例如，控制单元10执行结束处理，诸如在非易失性存储器中写入指示在什么地方以及多少次地回放哪个内容的历史信息以及在显示期间由用户2改变的各种设置值之类。
接着，将参考图8和9描述步骤S40中执行的上述内容显示处理。如图8中图示，首先，在步骤S102，视点切换控制单元15确定视点是否是第三人视点。例如，视点切换控制单元15通过参考指示与要回放的内容相关联的内容是否是基于第一人视点或者第三人视点的内容的信息，确定该视点是否是第三人视点。
如果该视点不是第三人视点（S102中的“否”），则处理进行到上述步骤S204。
另一方面，如果该视点是第三人视点（S102中的“是”），则在步骤S104中，编辑单元12对内容获取单元11以第三人视点获取的内容执行编辑处理。更具体地，编辑单元12首先如参考图5描述地获取捕获用户2的当前轮廓的捕获图像。然后，编辑单元12以上面参考图2描述的方式用用户2的面部图像取代成像目标（诸如出现在内容中的男演员或者人物）的面部图像。
另外，在步骤S108中，回放控制单元16控制，使得由编辑单元12编辑的内容由显示单元60和音频输出单元70显示。将参考图10描述此时回放的内容。
图10是图示根据本公开的第一实施例的视点切换控制单元15的视点的切换的示图。如图10中图示，回放控制单元16基于由视点切换控制单元15设置的第三人视点回放内容101B。如图10中图示，通过编辑单元12用用户2的面部图像取代出现在内容101B中的男演员4的面部图像。
接着，在步骤S112中，控制单元10确定是否停止回放。例如，如果已经按压回放停止按钮，则控制单元10确定停止回放。
如果确定停止回放（步骤112中的“是”），则结束由控制单元10执行的内容显示处理。
另一方面，如果确定不停止回放（步骤112中的“否”），则在步骤S116中，识别单元113确定是否已经识别用以从第三人视点切换到第一人视点的用户2的指令。例如，识别单元13确定是否已经做出指令切换的按钮/切换操作或者是否已经识别上面参考图6描述的手势。
如果没有识别用以从第三人视点切换到第一人视点的指令（步骤116中的“否”），则处理返回步骤S104。
如果识别用以从第三人视点切换到第一人视点的指令（步骤116中的“是”），则在步骤S120中，视点切换控制单元15从第三人视点切换到第一人视点。
然后，在步骤S124中，回放控制单元16基于由视点切换控制单元15的切换，执行平移/放大效果。在图10中图示的示例中，如部分201所指示，回放控制单元16从内容101B到内容102B然后到103B连续地切换要回放的内容。在此阶段，为了补偿内容的各个片段中的视点中的差异，回放控制单元16回放逐渐平移并且放大的变形图像。结果，用户2可以体验在逐渐围绕女演员4后面移动的同时，变得靠近男演员4的感受。
接着，在步骤S128中，回放控制单元16执行推摄效果处理。在图10中图示的示例中，如部分202所指示，回放控制单元16从内容103B到内容104、105、106然后到107连续地切换要回放的内容。在此阶段，为了弥补内容的各个片段中的视点中的差异，回放控制单元16回放逐渐推摄的变形图像。结果，用户2可以在逐步移动靠近女演员3的同时仿佛他/她正在扮演男演员4的角色那样地享受内容。
接着，如图9中图示，在步骤S204中，编辑单元12对内容获取单元11以第一人视点获取的内容执行编辑处理。例如，虽然没有在图10中图示，但是编辑单元12用另一人的面部图像取代第一人视点中的内容107中出现的女演员3的面部图像。
然后，在步骤S208中，回放控制单元16控制，使得由编辑单元编辑的内容由显示单元60和音频输出单元70显示。
下面，在步骤S212到S216中，控制单元10以与上面在步骤S112到S116中描述的相同方式操作。
如果识别用以从第一人视点切换到第三人视点的指令（S216中的“是”），则视点切换控制单元15从第一人视点切换到第三人视点。
然后，在步骤S224中，回放控制单元16基于由视点切换控制单元15的视点的切换执行拉摄效果处理。在图10中图示的示例中，如部分202所指示，回放控制单元16从内容107到内容106、105然后到104连续地切换要回放的内容。在此阶段，为了补偿内容的各个片段中的视点中的差异，回放控制单元16回放逐渐拉摄的变形图像。结果，用户2可以在逐步移动远离女演员3的同时仿佛他/她正在扮演男演员4的角色那样地享受内容。
接着，在步骤S228中，回放控制单元16执行平移/缩小效果处理。在图10中图示的示例中，如部分204所指示，回放控制单元16从内容10到内容103B、102B然后到101B连续地切换要回放的内容。在此阶段，为了补偿内容的各个片段中的视点中的差异，回放控制单元16回放逐渐平移/缩小的变形图像。结果，用户2可以体验从男演员4并且围绕男演员4后面逐渐远离到俯瞰女演员3和男演员4之间的位置关系的位置的感受。
然后，处理返回图8中图示的步骤S104。
在上面中，描述根据本公开的第一实施例的HMD1的操作处理。
2-1-4本公开的第一修改示例
本修改示例是这样的实施例，其中，编辑单元12用用户2的面部图像取代内容中注册的成像目标的面部图像，并且用用户2的语音取代成像目标的语音。现在参考图11描述根据本修改示例的操作处理。
图11是图示根据本公开的第一修改示例的HMD1的操作处理的示图。如图11中图示，回放控制单元16回放已经用用户2的面部图像取代男演员4的面部图像的内容，并且在其上叠加示出由女演员3和男演员4在该场景中讲出的台词的字幕。通过讲出字幕5中由男演员4讲出的台词，用户2可以仿佛他/她正在扮演男演员4的角色那样地享受内容。在该阶段，回放控制单元16暂时停止已经在其上显示字幕5的内容的回放，并且当已经由识别单元13识别用户2已经讲出字幕5中示出的男演员4的所有台词时，回放控制单元16可以结束暂时停止并且回放下一场景。
注意，回放控制单元16可以在识别嘴唇移动而不是语音识别的情况下，进行到下一场景。结果，用户即使在难于执行语音识别的这种噪声环境中也可以通过读取字幕5保持回放内容。为了识别这种嘴唇移动，回放控制单元16例如可以使用在2011年5月由KiyoshiTakita、Takeshi Nagayasu、Hidetsugu Asano、Kenji Terabayashi和Kazunori Umeda的“Lip Movement Reconition Using Template Matching”The Japan Society ofMechanical Engineers,Robotics and Mecatronics Presentation2011,Collection ofPresentation Materials2P1到Q12中公开的技术。该技术通过使用从嘴的图像获得的低分辨率图像、唇的形状和当嘴张开时形成的张开部分的形状作为特征量，基于模板匹配识别嘴唇移动。
另外，HMD1还可以通过在因特网上共享由编辑单元12编辑的内容（即，已经用用户2取代一部分内容的内容）由多个用户享受。
在上面，描述了本公开的第一修改示例。
2-2.本公开的第二实施例
本实施例是当回放电影内容时的视点基于位置信息切换到至少第一人视点或者第三人视点的实施例。虽然通过上面参考图4描述的HMD1实现根据本公开的第一实施例，但是可以通过具有与HMD1相同的配置的智能手机6实现本实施例。现在将参考图12描述本实施例的概述。
图12是图示根据本公开的第二实施例的智能手机6的概述的示图。智能手机6由用户2握紧并且向用户2显示内容101B。智能手机6包括提供在显示单元60中的屏幕上的成像单元20和音频输入单元30。用实时获取的用户2的面部图像和语音实时地取代内容101D的一部分。
根据本实施例的视点切换控制单元15基于智能手机6的位置切换用于回放内容的视点。更具体地，视点切换控制单元15切换回放内容时的视点到来自内容空间中与由位置信息获取单元14获取的位置信息对应的位置的视点。这里，内容空间中与由位置信息获取单元14获取的位置信息对应的位置，是智能手机6当前呈现在捕获该内容的成像地点中的位置。现在将描述由视点切换控制单元15执行的基于智能手机6的视点的切换。
如参考图7关于HMD1所描述，智能手机6用内容获取单元11获取并且回放与由位置信息获取单元14获取的位置信息对应的内容。在该阶段，例如，由于智能手机6在仍然由用户2拿着时可能已经移动或者用户拿着智能手机6的方向角和仰角已经改变，所以改变可能出现在由位置信息获取单元14获取的位置信息中。在这种情形下，内容获取单元11再次获取与改变后的位置信息对应的内容，并且回放控制单元16切换要回放的内容到重新获取的内容。
结果，当用户2在拿着智能手机6的同时移动通过真实空间时，相应地切换要在显示单元60上回放的内容的视点。例如，在图1中图示的示例中，如果用户2移动到真实世界中的视点2-2的位置，则视点切换控制单元15切换视点到视点2-2，使得回放内容102。另外，如果用户2移动到真实世界中的视点2-3的位置，则视点切换控制单元15切换视点到视点2-3，使得回放内容103。
注意，虽然内容空间中与由位置信息获取单元14获取的位置信息对应的位置被描述为智能手机6当前呈现在捕获内容的成像地点中的位置，但是本实施例不限于该示例。例如，可以使用关于特定位置的相对位置作为内容空间中与由位置信息获取单元14获取的位置信息对应的位置。下面，将描述基于相对位置切换视点的示例。
例如，当在室内使用智能手机6时，特定室内位置设置为与成像目标处于成像地点中的地点对应的位置，即与图1中图示的场景100中的X轴、Y轴和Z轴交叉的原点对应的位置。另外，视点切换控制单元15基于智能手机6的位置/方向角/仰角关于所设置的特定位置的相对改变来切换视点。例如，如果智能手机6靠近该特定位置，则视点切换控制单元15切换视点，以更靠近成像目标。另外，如果智能手机6进一步远离该特定位置地移动，则视点切换控制单元15切换该视点，以进一步远离该成像目标。
一般地，拍摄电影和电视剧的地点经常距离人们生活的地方远（诸如国外或者在游览地）。因此，通过设置特定位置并且当基于关于特定位置的相对位置来改变回放内容时的视点，用户2可以通过在他/她自己的房间中、在学校、在上班的员休息室等容易地使用智能手机6来享受内容，而不必前往拍摄地点。
在上面中，描述根据本公开的第二实施例的智能手机6的概述。接着，将描述根据本实施例的智能手机6的操作处理。注意，也由智能手机6以相同的方式执行上面参考图7描述的HMD1的操作处理。然而，根据本实施例的智能手机6将根据图13和图14中图示的步骤S40-2执行内容显示处理，作为图7中图示的步骤S40中执行的内容显示处理。因此，在下面，将参考图13和14描述根据本实施例由智能手机6执行的操作处理的特征。
2-2-2.操作处理
图13和14是图示根据本公开的第二实施例的由控制单元10执行的操作处理。如图13中图示，首先，在步骤S302中，视点切换控制单元15确定视点是否是第三人视点。
如果视点不是第三人视点（S302中的“否”），则处理进行到图14中图示的下面描述的步骤S404。
另一方面，如果视点是第三人视点（S302中的“是”），则在步骤S304到步骤S312中，控制单元10执行与上述步骤S104到S112中的处理相同的处理。
接着，在步骤S316中，位置信息获取单元14以与图7中图示的步骤S20相同的方式获取位置信息。
然后，在步骤S318中，视点切换控制单元15确定在由位置信息获取单元14获取的位置信息中是否存在改变。例如，如果由位置信息获取单元14获取的位置信息已经从先前获取的位置信息改变，则视点切换控制单元15确定在位置信息中是否存在改变。
如果不存在位置信息的改变（S318中的“否”），则处理返回步骤S304。
另一方面，如果在位置信息中存在改变（S318中的“是”），则在步骤S320中，视点切换控制单元15切换视点到来自与由位置信息获取单元14获取的位置信息对应的位置的视点。
下面，在步骤S324中，基于由位置信息获取单元14获取的位置信息，视点切换控制单元15确定智能手机6的位置是否比先前更靠近成像目标。例如，如果拿着智能手机6的用户2靠近图1所示的原点，则视点切换控制单元15确定智能手机6的位置更靠近成像目标。此外，如果拿着智能手机6的用户2更靠近室内预置的特定位置，则视点切换控制单元15还确定智能手机6的位置更靠近成像目标。
如果智能手机6的位置靠近成像目标（S324中的“是”），则在步骤S328中，回放控制单元16基于由视点切换控制单元15进行的视点切换，回放逐渐平移并且放大的变形图像。
另一方面，如果智能手机6的位置不靠近成像目标（S324中的“否”），则在步骤S332中，回放控制单元16基于由视点切换控制单元15进行的视点切换，回放平移并且缩小的变形图像。
下面，在步骤S336中，视点切换控制单元15基于由位置信息获取单元14获取的位置信息，确定智能手机6的位置是否在用以以第三人视点执行显示的范围中（在与成像目标对应的范围之外）。例如，如果智能手机6的位置和成像目标的位置相互离开比预定距离更远，则视点切换控制单元15确定智能手机的位置在用以以第三人视点执行显示的范围内。此外，如果智能手机6的位置定位于成像目标的侧面或者前面（在从前面或者侧面看见男演员的位置），则视点切换控制单元15也确定智能手机的位置在用以以第三人视点执行显示的范围内。
如果智能手机6在用以以第三人视点执行显示的范围中（S336中的“是”），则处理返回步骤S304。由此，如果智能手机6在用以以第三人视点执行显示的范围中，则在上面的步骤S324、S328和S332中，回放控制单元16回放平移并且放大/缩小的变形图像。结果，回放控制单元16可以以第三人视点回放内容，同时向用户2给出仿佛在移动相机位置的同时捕获图像的印象。
另一方面，如果智能手机6不在用以以第三人视点执行显示的范围中（S336中的“否”），则在步骤340回放控制单元16执行平移/推摄效果处理。虽然智能手机6通过执行平移/推摄效果处理以第一人视点回放后续处理的内容，但是第三人视点中的内容的回放以及第一人视点中的内容的后续回放可以平滑地链接在一起。
接着，如图14中图示，在步骤S304到S312中，控制单元10以与上述步骤S204到S212相同的方式执行处理。
然后，在步骤S416到S424中，位置信息获取单元14以与上述步骤S316到S324相同的方式执行处理。
如果智能手机6的位置更靠近成像目标（S424中的“是”），则在步骤S428中，回放控制单元16基于由视点切换控制单元15进行的视点切换，回放逐渐平移并且推摄的变形图像。
另一方面，如果智能手机6的位置不靠近成像目标（S424中的“否”），则在步骤S432中，回放控制单元16基于由视点切换控制单元15进行的视点切换，回放平移并且拉摄的变形图像。
接着，在步骤S436，视点切换控制单元15基于由位置信息获取单元14获取的位置信息，确定是智能手机6的位置是否在用以以第一人视点执行显示的范围中（在与成像目标对应的范围中）。例如，如果智能手机6的位置和成像目标的位置比预定距离更相互靠近，则视点切换控制单元15确定智能手机的位置在用以以第一人视点执行显示的范围内。此外，如果智能手机6的位置定位于成像目标的后面（在从后面看见男演员的位置），则视点切换控制单元15也确定智能手机的位置在用以以第一人视点执行显示的范围内。
如果智能手机6在用以以第一人视点执行显示的范围中（S436中的“是”），则处理返回步骤S404。由此，如果智能手机6在用以以第一人视点执行显示的范围中，则在上面的步骤S424、S428和S332中，回放控制单元16回放平移并且推摄/拉摄的变形图像。结果，回放控制单元16可以以第一人视点回放内容，同时向用户2给出他/她扮演男演员的角色的同时自由移动通过内容空间感觉。
另一方面，如果智能手机6不在用以以第一人视点执行显示的范围中（S436中的“否”），则回放控制单元16执行平移/缩小效果处理。虽然智能手机6通过执行平移/缩小效果处理以第一人视点回放后续处理的内容，但是第一人视点中的内容的回放以及第三人视点中的内容的后续回放可以平滑地链接在一起。
然后处理返回图13中图示的步骤S304。
在上面中，描述根据本实施例的智能手机6的操作处理。
2-2-3本公开的第二修改示例
本修改示例是这样的实施例，其中，当同时使用多个智能手机6时，用另一手机6的拥有者的轮廓取代由每个手机6显示的内容的一部分。下面，将参考图15描述根据本修改示例的智能手机6的操作。
图15是图示根据本公开的第二修改示例的智能手机6的操作的示图。如图15中图示，用户2A和用户2B彼此面对。用户2A和用户2B分别拿着彼此相对的智能手机6A和智能手机6B。在此阶段，由用户2A拿着的智能手机6A回放这样的内容，其中，已经用由提供在智能手机6A的后面上的成像单元20（未图示）捕获的用户2B的面部图像取代了出现在内容131中的女演员3的面部图像。类似地，由用户2B拿着的智能手机6B回放这样的内容，其中，已经用由提供在智能手机6B的后面上的成像单元20（未图示）捕获的用户2A的面部图像取代出现在内容132中的男演员4的面部图像。
注意，智能手机6可以彼此交换拿着智能手机6的用户的面部图像（该面部图像由提供在与显示单元60相同面上的成像单元20捕获）。例如，在图15中图示的示例中，智能机6A向智能手机6B发送由提供在与显示单元60A相同面上的成像镜头20A捕获的用户2A的面部图像。这使得能够在智能手机6B上回放这样的内容，在该内容中，已经用从智能手机6A接收到的用户2A的面部图像取代出现在内容132中的男演员4的面部图像。
由此，当多个用户2同时使用多个智能手机6时，用另一用户2的轮廓取代要回放的内容的一部分。结果，由多个用户2一起享受相同的内容。
3.结论
如上面描述，根据本公开的实施例的信息处理设备可以切换回放内容时的视点到至少第一人视点或者第三人视点，并且回放该内容。另外，根据本公开的实施例的信息处理设备不仅可以切换视点，而且可以编辑以使得用用户2取代内容的一部分。结果，用户2可以仿佛他/她正在实际扮演男演员的角色或者出现在内容中的人物那样地享受该内容。
另外，根据本公开的实施例的信息处理设备还可以基于信息处理设备的位置、方向角或者仰角切换回放内容的视点。这允许用户2享受地观看来自给定视点的内容。
本领域的技术人员应该理解，依赖于设计要求和其他因素，可以出现各种修改、组合、子组合和改变，只要它们在所附权利要求和其等效物的范围内。
例如，在上述本公开的实施例中，虽然HMD1或智能手机6被描述为应用示例，但是本技术不限于这些示例。例如，上述技术还可以应用在用于卡拉OK的信息处理设备中。最近，一些卡拉OK设施提供这样的服务：当用户2演唱歌曲时，回放出现演唱该歌曲的艺术家的宣传视频或者现场演唱会。通过在提供这种卡拉OK服务的信息处理设备中使用上述技术用用户2的面部图像取代出现在宣传视频或者现场音乐会中的艺术家的面部图像，用户2可以仿佛他/她是该艺术家那样地享受卡拉OK。此外，在由多人演唱的歌曲（诸如二重奏之类）中，通过取代多个艺术家的面部图像，可以通过使得多个人变成那些艺术家而享受卡拉OK。
另外，信息处理设备中诸如CPU、ROM和RAM之类的硬件还可以创建实现相同功能为上述HMD1或者智能手机6中的每个组成单元的计算机程序。此外，根据本公开的实施例，还提供在其上记录计算机程序的存储介质。
此外，本技术还可以如下配置。
（1）一种信息处理设备，包括：
视点切换控制单元，配置为将回放由内容获取单元获取的内容时的视点切换至第一人视点和第三人视点中的至少一个；
编辑单元，配置为编辑内容的一部分；以及
回放控制单元，配置为在已经由视点切换控制单元向第一人视点和第三人视点中的至少一个切换的视点中，回放由编辑单元编辑的内容。
（2）如（1）所述的信息处理设备，其中，第一人视点是内容中出现的对象的视点。
（3）如（2）所述的信息处理设备，
其中，内容包括基于静止图像和基于运行图像的图像数据，以及
其中，对象是生物、虚拟生物或者人物。
（4）如（2）或（3）所述的信息处理设备，
其中，编辑单元配置为用由内容获取单元获取的其他内容中出现的另一对象的图像数据，取代内容中出现的对象的图像数据。
（5）如（2）到（4）中任一项所述的信息处理设备，
其中，内容包括音频数据，以及
其中，编辑单元配置为用由内容获取单元获取的在其他内容中出现的另一对象的音频数据，取代内容中出现的对象的音频数据。
（6）如（1）到（5）中任一项所述的信息处理设备，还包括：
识别单元，配置为识别用户手势，
其中，视点切换控制单元配置为基于由识别单元识别到的用户手势切换视点。
（7）如（1）到（6）中任一项所述的信息处理设备，其中，回放控制单元配置为当由视点切换单元切换视点时，回放从视点已经切换之前的视点逐渐改变到切换后的视点的变形图像。
（8）如（7）所述的信息处理设备，其中，回放控制单元配置为当由视点切换控制单元从第一人视点向第三人视点切换视点时，以拉摄并随后缩小的方式回放变形图像。
（9）如（7）或（8）所述的信息处理设备，其中，回放控制单元配置为当由视点切换控制单元从第三人视点向第一人视点切换视点时，以首先放大视点并随后推摄的方式回放变形图像。
（10）如（7）到（9）中任一项所述的信息处理设备，还包括：
位置信息获取单元，配置为获取关于信息处理设备的位置信息，
其中，视点包括来自内容空间中的给定位置的视点，以及
其中，视点切换控制单元配置为切换视点到来自内容空间中与位置信息获取单元获取的位置信息对应的位置的视点。
（11）如（10）所述的信息处理设备，其中，回放控制单元配置为当由视点切换控制单元切换视点并且该视点位于与内容空间中的对象对应的区域内时，以视点推摄或者拉摄的方式回放变形图像。
（12）如（10）或（11）所述的信息处理设备，其中，回放控制单元配置为当由视点切换控制单元切换视点并且该视点位于与内容空间中的对象对应的区域之外时，以视点放大或者缩小的方式回放变形图像。
（13）如（10）到（12）中任一项所述的信息处理设备，其中，使用GPS测量位置信息。
（14）如（10）到（12）中任一项所述的信息处理设备，其中，基于关于特定位置的相对位置测量位置信息。
（15）如（1）到（14）中任一项所述的信息处理设备，其中，回放控制单元配置为当由视点切换控制单元切换视点时，以音频图像的定位位置逐渐改变的方式回放内容。
（16）如（1）到（15）中任一项所述的信息处理设备，其中，回放控制单元配置为当由视点切换控制单元切换视点时回放预定音频数据。
（17）一种具有记录在其上的程序的非暂时性计算机可读记录介质，所述程序使得计算机执行：
将回放由内容获取单元获取的内容时的视点切换至第一人视点和第三人视点中的至少一个；
基于视点的切换编辑内容的一部分；以及
在已经向第一人视点和第三人视点中的至少一个切换的已切换视点中，回放已编辑的内容。

Claims (16)

1.一种信息处理设备，包括：
视点切换控制单元，配置为将回放由内容获取单元获取的内容时的视点切换至第一人视点和第三人视点中的至少一个；
编辑单元，配置为基于视点的切换编辑内容的一部分；以及
回放控制单元，配置为在已经由视点切换控制单元向第一人视点和第三人视点中的至少一个切换的该视点中，回放由编辑单元编辑的内容，
其中，该编辑单元配置为用由内容获取单元获取的其他内容中出现的另一对象的图像数据，取代该内容中出现的对象的图像数据。
2.如权利要求1所述的信息处理设备，其中，第一人视点是内容中出现的对象的视点。
3.如权利要求2所述的信息处理设备，
其中，该内容包括基于静止图像或基于运行图像的图像数据，以及
其中，在所述内容中出现的对象是真实生物、由机器人或计算机图形实现的虚拟生物。
4.如权利要求2所述的信息处理设备，
其中，该内容包括音频数据，以及
其中，该编辑单元配置为用由内容获取单元获取的其他内容中出现的另一对象的音频数据，取代该内容中出现的对象的音频数据。
5.如权利要求1所述的信息处理设备，还包括：
识别单元，配置为识别用户手势，
其中，该视点切换控制单元配置为基于由识别单元识别到的用户手势切换视点。
6.如权利要求1所述的信息处理设备，其中，该回放控制单元配置为当由视点切换单元切换视点时，回放从视点已经切换之前的视点逐渐改变到切换后的视点的变形图像。
7.如权利要求1所述的信息处理设备，其中，该回放控制单元配置为当由视点切换控制单元从第一人视点向第三人视点切换视点时，以拉摄并随后缩小的方式回放变形图像。
8.如权利要求1所述的信息处理设备，其中，该回放控制单元配置为当 由视点切换控制单元从第三人视点向第一人视点切换视点时，以首先放大视点并随后推摄的方式回放变形图像。
9.如权利要求1所述的信息处理设备，还包括：
位置信息获取单元，配置为获取关于信息处理设备的位置信息，
其中，该视点包括来自内容空间中的给定位置的视点，以及
其中，该视点切换控制单元配置为切换视点到来自内容空间中与位置信息获取单元获取的位置信息对应的位置的视点。
10.如权利要求9所述的信息处理设备，其中，该回放控制单元配置为当由视点切换控制单元切换视点并且该视点位于与内容空间中的对象对应的区域内时，以视点推摄或者拉摄的方式回放变形图像。
11.如权利要求9所述的信息处理设备，其中，回放控制单元配置为当由视点切换控制单元切换视点并且该视点位于与内容空间中的对象对应的区域之外时，以视点放大或者缩小的方式回放变形图像。
12.如权利要求9所述的信息处理设备，其中，使用GPS测量该位置信息。
13.如权利要求9所述的信息处理设备，其中，基于关于特定位置的相对位置测量该位置信息。
14.如权利要求1所述的信息处理设备，其中，回放控制单元配置为当由视点切换控制单元切换视点时，以音频图像的定位位置逐渐改变的方式回放内容。
15.如权利要求1所述的信息处理设备，其中，回放控制单元配置为当由视点切换控制单元切换视点时回放预定音频数据。
16.一种信息处理方法，包括：
将回放由内容获取单元获取的内容时的视点切换至第一人视点和第三人视点中的至少一个；
基于视点的切换编辑内容的一部分；以及
在已经向第一人视点和第三人视点中的至少一个切换的已切换视点中，回放已编辑的内容，
其中，用由内容获取单元获取的其他内容中出现的另一对象的图像数据取代该内容中出现的对象的图像数据。
CN201310703842.9A 2012-12-27 2013-12-19 信息处理设备和记录介质 Expired - Fee Related CN103905809B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012285642A JP2014127987A (ja) 2012-12-27 2012-12-27 情報処理装置および記録媒体
JP2012-285642 2012-12-27

Publications (2)

Publication Number Publication Date
CN103905809A CN103905809A (zh) 2014-07-02
CN103905809B true CN103905809B (zh) 2017-09-29

Family

ID=50996932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310703842.9A Expired - Fee Related CN103905809B (zh) 2012-12-27 2013-12-19 信息处理设备和记录介质

Country Status (3)

Country Link
US (2) US9256284B2 (zh)
JP (1) JP2014127987A (zh)
CN (1) CN103905809B (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103384874B (zh) * 2011-03-16 2016-09-28 北京大学 叠加注解输出
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US10827230B2 (en) 2014-07-03 2020-11-03 Sony Corporation Information processing apparatus and information processing method
JP2016048301A (ja) * 2014-08-27 2016-04-07 株式会社ニコン 電子機器
JP6516464B2 (ja) * 2014-12-15 2019-05-22 Kddi株式会社 ウェアラブル検索システム
JP2016192758A (ja) * 2015-03-31 2016-11-10 京セラドキュメントソリューションズ株式会社 電子機器及び類似顔画像置き換えプログラム
WO2016179248A1 (en) 2015-05-05 2016-11-10 Ptc Inc. Augmented reality system
KR20160142772A (ko) * 2015-06-03 2016-12-13 디에스글로벌 (주) 색칠놀이를 위한 증강현실 서비스 방법 및 시스템
JP6555513B2 (ja) * 2015-06-30 2019-08-07 株式会社セガゲームス プログラム
US10373392B2 (en) * 2015-08-26 2019-08-06 Microsoft Technology Licensing, Llc Transitioning views of a virtual model
CN108028964B (zh) * 2015-09-14 2021-06-29 索尼公司 信息处理装置以及信息处理方法
JPWO2017051592A1 (ja) * 2015-09-25 2018-08-16 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6097377B1 (ja) * 2015-11-27 2017-03-15 株式会社コロプラ 画像表示方法及びプログラム
JP6532393B2 (ja) 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
US10559117B2 (en) * 2016-02-08 2020-02-11 Google Llc Interactions and scaling in virtual reality
JP6668811B2 (ja) 2016-02-23 2020-03-18 セイコーエプソン株式会社 訓練装置、訓練方法、プログラム
JP6058184B1 (ja) 2016-03-10 2017-01-11 株式会社コロプラ ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
US10748339B2 (en) * 2016-06-03 2020-08-18 A Big Chunk Of Mud Llc System and method for implementing computer-simulated reality interactions between users and publications
EP3264372A1 (en) * 2016-06-30 2018-01-03 Alcatel Lucent Image processing device and method
CN106200973A (zh) * 2016-07-14 2016-12-07 乐视控股（北京）有限公司 一种基于外部图像播放虚拟现实文件的方法及装置
JP6203346B1 (ja) * 2016-08-16 2017-09-27 株式会社コロプラ 仮想空間を提供する方法、プログラム、および記録媒体
JP6228640B1 (ja) * 2016-08-17 2017-11-08 株式会社コロプラ 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP6248219B1 (ja) * 2017-03-08 2017-12-13 株式会社コロプラ 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
US10365784B2 (en) 2017-03-08 2019-07-30 Colopl, Inc. Information processing method and apparatus for executing the information processing method
CA3057564C (en) 2017-03-22 2023-10-31 A Big Chunk Of Mud Llc Convertible satchel with integrated head-mounted display
CN108874267B (zh) * 2017-05-09 2022-12-09 腾讯科技（深圳）有限公司 虚拟现实应用数据处理方法、计算机设备和存储介质
US10755480B2 (en) * 2017-05-19 2020-08-25 Ptc Inc. Displaying content in an augmented reality system
US11030808B2 (en) 2017-10-20 2021-06-08 Ptc Inc. Generating time-delayed augmented reality content
US10572716B2 (en) 2017-10-20 2020-02-25 Ptc Inc. Processing uncertain content in a computer graphics system
US11054895B2 (en) 2017-07-27 2021-07-06 Htc Corporation Method of display user movement in virtual reality system and related device
US20190147841A1 (en) * 2017-11-13 2019-05-16 Facebook, Inc. Methods and systems for displaying a karaoke interface
US10599916B2 (en) 2017-11-13 2020-03-24 Facebook, Inc. Methods and systems for playing musical elements based on a tracked face or facial feature
US10810779B2 (en) 2017-12-07 2020-10-20 Facebook, Inc. Methods and systems for identifying target images for a media effect
CN107894842A (zh) * 2017-12-19 2018-04-10 北京盈拓文化传媒有限公司 增强现实场景复原方法、终端及计算机可读存储介质
JP7268292B2 (ja) * 2018-03-22 2023-05-08 カシオ計算機株式会社 コンテンツ改変装置、コンテンツ改変方法及びプログラム
US11425351B2 (en) 2018-11-05 2022-08-23 Ecole Polytechnique Federale De Lausanne (Epfl) Method and system for creating an out-of-body experience
US11257283B2 (en) 2019-03-07 2022-02-22 Alibaba Group Holding Limited Image reconstruction method, system, device and computer-readable storage medium
SG11202110312XA (en) * 2019-03-20 2021-10-28 Beijing Xiaomi Mobile Software Co Ltd Method and device for transmitting viewpoint switching capabilities in a vr360 application
US10978019B2 (en) * 2019-04-15 2021-04-13 XRSpace CO., LTD. Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
JP7349256B2 (ja) * 2019-04-23 2023-09-22 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および情報提示方法
EP3734415A1 (en) * 2019-04-30 2020-11-04 XRSpace CO., LTD. Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
JP6891319B2 (ja) * 2019-05-21 2021-06-18 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP7479219B2 (ja) 2019-08-30 2024-05-08 株式会社コロプラ プログラム、方法、および端末装置
CN111447462B (zh) * 2020-05-20 2022-07-05 上海科技大学 基于视角切换的视频直播方法、系统、存储介质及终端
JP7394046B2 (ja) * 2020-11-25 2023-12-07 株式会社ソニー・インタラクティブエンタテインメント システム、撮像装置、情報処理装置、情報処理方法および情報処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662693A (zh) * 2008-08-27 2010-03-03 深圳华为通信技术有限公司 多视点媒体内容的发送和播放方法、装置及系统
CN101715069A (zh) * 2008-09-30 2010-05-26 富士胶片株式会社 图像合成设备及其控制方法
CN102347043A (zh) * 2010-07-30 2012-02-08 腾讯科技（北京）有限公司 多角度视频播放方法和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2574856B2 (ja) * 1988-03-10 1997-01-22 株式会社日立製作所 磁気記録再生装置の編集回路
US5574836A (en) * 1996-01-22 1996-11-12 Broemmelsiek; Raymond M. Interactive display apparatus and method with viewer position compensation
JP2002325241A (ja) 2001-04-25 2002-11-08 Cal:Kk ダウンロードシステム
US20070168376A1 (en) 2004-01-09 2007-07-19 Koninklijke Philips Electronic, N.V. Method of automatically including context related links
US7382919B2 (en) * 2006-06-22 2008-06-03 Xerox Corporation System and method for editing image data
JP4924447B2 (ja) * 2008-01-25 2012-04-25 ソニー株式会社 シーン切り替わり点検出器、シーン切り替わり点検出方法、記録装置、イベント生成器、イベント生成方法および再生装置
JP2011090400A (ja) * 2009-10-20 2011-05-06 Sony Corp 画像表示装置および方法、並びにプログラム
CN101742096A (zh) * 2010-01-21 2010-06-16 中华电信股份有限公司 多视角互动电视系统与方法
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662693A (zh) * 2008-08-27 2010-03-03 深圳华为通信技术有限公司 多视点媒体内容的发送和播放方法、装置及系统
CN101715069A (zh) * 2008-09-30 2010-05-26 富士胶片株式会社 图像合成设备及其控制方法
CN102347043A (zh) * 2010-07-30 2012-02-08 腾讯科技（北京）有限公司 多角度视频播放方法和系统

Also Published As

Publication number Publication date
US20160155474A1 (en) 2016-06-02
CN103905809A (zh) 2014-07-02
US20140186002A1 (en) 2014-07-03
US9792954B2 (en) 2017-10-17
JP2014127987A (ja) 2014-07-07
US9256284B2 (en) 2016-02-09

Similar Documents

Publication Publication Date Title
CN103905809B (zh) 信息处理设备和记录介质
US9253440B2 (en) Augmenting a video conference
CN111726536B (zh) 视频生成方法、装置、存储介质及计算机设备
JP7143847B2 (ja) 情報処理システム、情報処理方法、およびプログラム
US20140123015A1 (en) Information processing system, information processing apparatus, and storage medium
CN109872297A (zh) 图像处理方法及装置、电子设备和存储介质
JP7100824B2 (ja) データ処理装置、データ処理方法及びプログラム
WO2021147921A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
CN108416832A (zh) 媒体信息的显示方法、装置和存储介质
CN112261481B (zh) 互动视频的创建方法、装置、设备及可读存储介质
TW201228332A (en) Mobile electronic device
CN114327700A (zh) 一种虚拟现实设备及截屏图片播放方法
CN108961368A (zh) 三维动画环境中实时直播综艺节目的方法和系统
JP2023017832A (ja) 映像表示装置及び映像表示方法
CN112581571A (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
KR20060083140A (ko) 증강 현실 장치 및 방법
CN110213560A (zh) 一种沉浸式视频播放方法和系统
KR20120074977A (ko) 음성인식 및 명령을 수행하는 증강현실용 교육자재 및 그 사용방법
CN116755590A (zh) 虚拟图像的处理方法、装置、增强实现设备及存储介质
KR20200028830A (ko) 실시간 cg 영상 방송 서비스 시스템
KR101973206B1 (ko) 노래 서비스를 제공하기 위한 서버장치
WO2021124680A1 (ja) 情報処理装置及び情報処理方法
CN114625468A (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质
CN110312144B (zh) 进行直播的方法、装置、终端和存储介质
JP5509287B2 (ja) 再生表示装置、再生表示プログラム、再生表示方法、および画像処理サーバー

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170929

CF01 Termination of patent right due to non-payment of annual fee