CN114008582A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN114008582A
CN114008582A CN202080045553.2A CN202080045553A CN114008582A CN 114008582 A CN114008582 A CN 114008582A CN 202080045553 A CN202080045553 A CN 202080045553A CN 114008582 A CN114008582 A CN 114008582A
Authority
CN
China
Prior art keywords
model
subject
information processing
control unit
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080045553.2A
Other languages
English (en)
Inventor
菅野尚子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114008582A publication Critical patent/CN114008582A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

便携式终端(80)(信息处理装置)的被摄体特征检测单元(53)(检测单元)检测与3D模型(90M)同时显示在捕获图像(I)中的被摄体(92)的视线方向(E)(特征)。显示控制单元(54)(控制单元)根据由被摄体特征检测单元(53)检测到的被摄体(92)的视线方向(E)来改变3D模型(90M)的视线方向(F)(显示模式)，使得3D模型(90M)面向摄像装置(84)。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开内容涉及信息处理装置、信息处理方法和程序，具体涉及能够使3D对象响应于观察者的运动来执行交互运动或反应的信息处理装置、信息处理方法和程序。
背景技术
常规上已经提出了一种方法，该方法通过使用通过感测真实的3D空间而获得的信息——例如，通过从不同视点捕获被摄体的图像而获得的多视图视频——在观看空间中生成3D对象，并且生成其中对象看起来好像该对象存在于观看空间中的视频(也称为体积视频)(例如，专利文献1)。
引用列表
专利文献
专利文献1：WO 2017/082076 A
发明内容
技术问题
通过上述方法生成的视频是通过使用被摄体的实际视频生成的3D视频。因此，观察3D视频的观察者可以享受沉浸感和存在感，就好像被摄体靠近观看者一样。
然而，不可能使生成的3D对象响应于观察者的运动或状态来执行运动或反应。即，3D对象不可能相对于观察者执行交互运动或反应。
有鉴于此，本公开内容提出了能够使包括作为观察者的被摄体的捕获图像中显示的3D对象相对于被摄体执行交互运动或反应的信息处理装置、信息处理方法和程序。
问题的解决方案
为了解决上述问题，根据本公开内容的信息处理装置是如下的信息处理装置，该信息处理装置包括：控制单元，控制单元控制在捕获图像中显示的3D模型；以及检测单元，检测单元检测与3D模型同时显示在捕获图像中的被摄体的特征，其中，控制单元根据由检测单元检测到的被摄体的特征来改变3D模型的显示模式。
附图说明
图1示出了从捕获图像到生成3D模型的流程的概述。
图2是AR应用的说明图。
图3是示出根据第一实施方式的移动终端的操作状态的示例的第一图。
图4是示出根据第一实施方式的移动终端的操作状态的示例的第二图。
图5是示出根据第一实施方式的移动终端的硬件配置的示例的硬件框图。
图6是示出根据第一实施方式的移动终端的功能配置的示例的功能框图。
图7是测量视线方向的方法的说明图。
图8示出了改变3D模型的绘制方向的方法。
图9是示出根据第一实施方式的由移动终端执行的处理的流程的示例的流程图。
图10示出了根据第二实施方式的移动终端的操作状态的示例。
图11是示出根据第二实施方式的由移动终端执行的处理的流程的示例的流程图。
图12是示出根据第三实施方式的移动终端的功能配置的示例的功能框图。
图13是示出根据第三实施方式的由移动终端执行的处理的流程的示例的流程图。
图14是示出根据第四实施方式的移动终端的功能配置的示例的功能框图。
图15是示出根据第四实施方式的由移动终端执行的处理的流程的示例的流程图。
图16是示出根据第五实施方式的移动终端的功能配置的示例的功能框图。
图17是示出根据第五实施方式的由移动终端执行的处理的流程的示例的流程图。
图18是示出根据第六实施方式的移动终端的功能配置的示例的功能框图。
图19是示出根据第六实施方式的由移动终端执行的处理的流程的示例的流程图。
图20是示出根据第七实施方式的移动终端的功能配置的示例的功能框图。
图21是示出根据第七实施方式的由移动终端执行的处理的流程的示例的流程图。
图22示出了根据第八实施方式的信息处理装置的概述。
图23是示出根据第八实施方式的信息处理装置的功能配置的示例的功能框图。
图24是示出根据第八实施方式的由信息处理装置执行的处理的流程的示例的流程图。
图25示出了根据第九实施方式的信息处理装置的概述。
图26是示出根据第九实施方式的信息处理装置的功能配置的示例的功能框图。
图27是示出根据第九实施方式的由信息处理装置执行的处理的流程的示例的流程图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的实施方式。在以下各实施方式中，相同的部分用相同的附图标记表示，并且将省略冗余的描述。将按照以下项目顺序描述本公开内容。
1.第一实施方式
1-1.前提描述——3D模型
1-2.前提描述——AR应用
1-3.移动终端的概述
1-4.移动终端的硬件配置
1-5.移动终端的功能配置
1-6.测量视线方向的方法
1-7.改变3D模型的绘制方向的方法
1-8.由移动终端执行的处理的流程
1-9.第一实施方式的效果2.第二实施方式
2-1.第二实施方式的概述
2-2.由移动终端执行的处理的流程
2-3.第二实施方式的效果3.第三实施方式
3-1.移动终端的功能配置
3-2.由移动终端执行的处理的流程
3-3.第三实施方式的效果4.第四实施方式
4-1.移动终端的功能配置
4-2.由移动终端执行的处理的流程
4-3.第四实施方式的效果5.第五实施方式
5-1.移动终端的功能配置
5-2.由移动终端执行的处理的流程
5-3.第五实施方式的效果
6.第六实施方式
6-1.移动终端的功能配置
6-2.由移动终端执行的处理的流程
6-3.第六实施方式的效果
7.第七实施方式
7-1.移动终端的功能配置
7-2.由移动终端执行的处理的流程
7-3.第七实施方式的效果
8.第八实施方式
8-1.信息处理装置的概述
8-2.信息处理装置的功能配置
8-3.由信息处理装置执行的处理的流程
8-4.第八实施方式的效果
9.第九实施方式
9-1.信息处理装置的概述
9-2.信息处理装置的功能配置
9-3.由信息处理装置执行的处理的流程
9-4.第九实施方式的效果
(1.第一实施方式)
在描述本公开内容的实施方式之前，将描述用于实现实施方式所必需的前提。
[1-1.前提描述——3D模型]
图1示出了从捕获图像到生成3D模型的流程的概述。
如图1所示，3D模型的生成包括：通过使用多个图像捕获装置1-1至1-3捕获被摄体90(对象)的图像的处理；以及执行3D建模以生成具有关于被摄体90的3D信息的3D模型90M的处理。
具体地，如图1所示，将多个图像捕获装置1-1至1-3向内放置在真实世界中存在的被摄体90周围以围绕被摄体90。图1示出了设置有三个图像捕获装置并且图像捕获装置1-1至1-3被布置在被摄体90周围的示例。在图1的示例中，执行预定动作的人被定义为被摄体90。
3D建模是通过以下操作来执行的：使用由三个图像捕获装置1-1至1-3以同步方式从不同视点体积捕获的多个视点图像，从而以三个图像捕获装置1-1至1-3的视频帧为单位生成被摄体90的3D模型。
3D模型是具有关于被摄体90的3D信息的模型。3D模型90M具有称为多边形网格的网格数据，在该多边形网格中，关于被摄体90的几何信息通过顶点之间的连接来表示，并且3D模型90M还具有与每个多边形网格对应的纹理信息和深度信息(距离信息)。3D模型90M具有的信息不限于此，并且3D模型90M可以具有其他信息。
3D模型90M经受所谓的纹理映射，在该纹理映射中，根据网格位置粘贴指示网格的颜色、图案或观感(feel)的纹理。在纹理映射中，为了提高3D模型90M的真实性，期望粘贴与视图相关的纹理。然而，可以粘贴与视图无关的纹理以防止计算量的增加。
生成的3D模型90M被给予与3D模型90M具有的属性(特征)对应的识别号。例如，在3D模型90M是人的情况下，诸如该人的面部方向、视线方向和面部表情的属性项被给予各自指示属性的属性值的各个识别号。在预定的属性表中集中管理所给予的识别号。在从外部给予预定属性项的属性值的情况下，通过参考属性表读取与属性项的给定属性值对应的3D模型90M。注意，属性表的具体格式没有限制。
包括读取的3D模型的内容数据被发送至再现装置并且在再现装置中被再现。包括3D模型的内容数据被再现以呈现3D模型，由此在观看者的观看装置上显示3D视频。
在图1的示例中，诸如智能电话或平板终端的移动终端80被用作观看装置。捕获图像I被显示在移动终端80的显示屏82上。在捕获图像I中，显示由移动终端80中包括的摄像装置84捕获的被摄体92。在捕获图像I中，响应于在移动终端80中运行的AR应用(稍后描述)的操作，3D模型90M在被叠加的同时还被显示。稍后将描述其细节。
[1-2.前提描述——AR应用]
图2是AR应用的说明图。
增强现实(AR)应用是在移动终端80中运行并且在生成某些触发时在叠加3D模型90M的同时在移动终端80的显示屏82上显示3D模型90M的应用。
具体地，如图2所示，在从由移动终端80监测的捕获图像I中检测到用作预定显示的AR标记85的情况下，3D模型90M被显示在与AR标记85对应的位置处。即，上述触发是从捕获图像I中检测预定显示。AR标记85可以具有诸如字符串、符号串、图形、图片、条形码或二维码的任何形式，并且不限于这些形式。AR标记85还可以是2D显示或3D显示。
此外，通过对由移动终端80在显示屏82上监测的捕获图像执行空间分析等获得的对预定目标(结构或自然对象)的检测可以用作触发(无标记)。此外，移动终端80通过GPS接收器获取的当前位置是否是预定位置可以用作触发。
[1-3.移动终端的概述]
将参照图3描述根据该实施方式的移动终端80的概述。移动终端80是本公开内容中的信息处理装置的示例。图3是示出根据第一实施方式的移动终端的操作状态的示例的第一图。移动终端80是例如用户操作的智能电话。移动终端80包括显示图像和视频的显示屏82以及设置在显示屏82附近以面向与显示屏82相同的方向的摄像装置84。
上述AR应用被安装在移动终端80上。当AR应用被执行时，移动终端80在显示屏82上实时显示由摄像装置18捕获的捕获图像I(所谓的实况视图)，并且确定AR标记85是否出现在捕获图像I中。在AR标记85出现在捕获图像I中的情况下，移动终端80在将3D模型90M叠加在与AR标记85对应的位置处的同时显示3D模型90M。
此外，移动终端80检测捕获图像I中出现的被摄体92的特征，并且根据检测到的特征改变3D模型90M的显示模式。注意，使用移动终端80的代表性场景被假设为用户自己充当被摄体92并且通过使用移动终端80的摄像装置84拍摄用户自己的图片(自拍)的场景。
在该实施方式中，移动终端80检测捕获图像I中出现的被摄体92的视线方向E。在移动终端80确定被摄体92的视线方向E面向摄像装置84时，移动终端80将3D模型90M的视线方向F指向摄像装置84。
然后，在被摄体92的视线方向E和3D模型90M的视线方向F两者都朝向摄像装置84的情况下，移动终端80进行自拍。
因此，移动终端80可以响应于被摄体92的运动或状态而使3D模型90M执行运动或反应。如上所述，使3D模型90M执行一些反应或状态转换将被称为交互式3D模型AR。
图4是示出根据第一实施方式的移动终端的操作状态的示例的第二图。移动终端80检测在显示在自己的显示屏82上的捕获图像I中出现的被摄体92的视线方向E。然后，在检测到的视线方向E面向摄像装置84的情况下，移动终端80选择其视线方向F面向摄像装置84的3D模型90N，并且在将该3D模型90N叠加在捕获图像I上的同时显示该3D模型90N。
此后，移动终端80在被摄体92和3D模型90N两者都注视摄像装置时进行自拍。如上所述，在用作被摄体92的特征的视线方向E面向摄像装置84的情况下，可以改变3D模型90N的显示模式，使得3D模型90N的视线方向F面向摄像装置84。
[1-4.移动终端硬件配置]
图5是示出根据第一实施方式的移动终端的硬件配置的示例的硬件框图。具体地，图4仅示出了该实施方式的移动终端80中包括的硬件部件中的与该实施方式相关的元件。即，移动终端80被配置成使得中央处理单元(CPU)32、只读存储器(ROM)34、随机存取存储器(RAM)36、存储单元38和通信接口40通过内部总线39连接。
CPU 32通过将存储在存储单元38或ROM 34中的控制程序P1开发到RAM 36上并且执行控制程序P1来控制移动终端80的整个操作。即，移动终端80具有根据控制程序P1来操作的通用计算机的配置。控制程序P1可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供。移动终端80还可以通过硬件执行一系列处理。由CPU 32执行的控制程序P1可以是按照本公开内容中描述的顺序按时间序列执行处理的程序，或者可以是其中并行执行处理或者在必要的定时处例如被调用时执行处理的程序。
存储单元38包括例如闪存，并且存储由CPU 32执行的控制程序P1以及诸如3D模型M的信息。由于3D模型M通常具有较大的容量，因此3D模型M可以从经由因特网等连接到移动终端80的外部服务器(未示出)下载并且根据需要存储在存储单元38中。
通信接口40经由触摸屏接口42获取关于堆叠在形成移动终端80的显示屏82的液晶显示器16上的触摸屏14的操作信息。通信接口40经由显示器接口43在液晶显示器16上显示图像信息和视频信息。通信接口40经由摄像装置接口44控制摄像装置84的操作。
通信接口40经由无线或有线通信与外部服务器(未示出)等进行通信。因此，例如，移动终端80接收新创建的3D模型M等并且将生成的捕获图像I发送到外部。
[1-5.移动终端的功能配置]
图6是示出根据第一实施方式的移动终端的功能配置的示例的功能框图。移动终端80的CPU 32将控制程序P1开发到RAM 36上并且执行控制程序P1，从而实现图6中示出的作为功能单元的图像捕获单元51、AR标记检测单元52、被摄体特征检测单元53和显示控制单元54。
图像捕获单元51通过使用包括在移动终端80中的摄像装置84来监测视频、捕获图像并且记录视频。图像捕获单元51还包括视频监测单元51a和图像捕获/视频记录处理单元51b。摄像装置84是真实世界中存在的实际摄像装置，是本公开内容的第一图像捕获单元的示例。
视频监测单元51a执行所谓的实况视图，在实况视图中，由摄像装置84观察到的视频被实时显示在移动终端D1的显示屏82上。
图像捕获/视频记录处理单元51b存储由摄像装置84捕获的捕获图像I。此外，图像捕获/视频记录处理单元51b进行自拍。
AR标记检测单元52从通过视频监测单元51a的处理监测到的捕获图像I中检测AR标记85。具体地，AR标记检测单元52执行模板匹配等以检测预先确定的预定AR标记85。
被摄体特征检测单元53检测与3D模型90M同时显示在通过视频监测单元51a的处理监测到的捕获图像I中的被摄体。然后，被摄体特征检测单元53检测所检测到的被摄体92的特征。被摄体特征检测单元53包括被摄体检测单元53a和视线方向检测单元53b。被摄体特征检测单元53是本公开内容中的检测单元的示例。
被摄体检测单元53a检测与3D模型90M同时显示在由图像捕获单元51监测到的捕获图像I中的被摄体92。
视线方向检测单元53b检测由被摄体检测单元53a检测到的被摄体92的视线方向E。视线方向E是本公开内容中的被摄体92的特征的示例。
显示控制单元54控制在捕获图像I中显示的3D模型90M。更具体地，显示控制单元54根据由被摄体特征检测单元53检测到的被摄体92的视线方向E来改变3D模型90M的显示模式。在该实施方式中，在被摄体92的视线方向E面向摄像装置84的情况下，即，在被摄体92注视摄像装置的情况下，显示控制单元54将3D模型90M的视线方向F改变为朝向摄像装置84。即，视线方向F是本公开内容中的显示模式的示例。显示控制单元54包括3D模型帧选择单元54a和3D模型绘制方向控制单元54b。显示控制单元54是本公开内容中的控制单元的示例。
3D模型帧选择单元54a基于AR标记85从存储单元38中存储的多个3D模型M中选择预先确定的默认3D模型90M。3D模型帧选择单元54a还从存储在存储单元38中的多个3D模型M中选择具有与由视线方检测单元53b检测到的被摄体92的视线方向E对应的视线方向F的3D模型90M。更具体地，在被摄体92注视摄像装置的情况下，3D模型帧选择单元54a选择其视线方向F面向摄像装置84的3D模型90M。
3D模型绘制方向控制单元54b在将3D模型90M叠加在移动终端80的显示屏82上显示的捕获图像I上的同时显示由3D模型帧选择单元54a选择的默认3D模型90M。3D模型绘制方向控制单元54b旋转3D模型90M，以改变3D模型90M的方向。3D模型绘制方向控制单元54b还旋转放置3D模型90M的坐标系以改变3D模型90M的方向，从而生成3D模型90N。3D模型绘制方向控制单元54b在将3D模型90N叠加在移动终端80的显示屏82上显示的捕获图像I上的同时显示其方向已经改变的3D模型90N。
[1-6.测量视线方向的方法]
图7是测量视线方向的方法的说明图。提出了用于从被摄体92的面部图像中检测视线方向E的各种方法，并且在该实施方式中可以使用这些方法中的任何一种。
图7示出了测量视线方向的三种代表性方法。图7A示出了如下方法：通过使用摄像装置84捕获被摄体92的面部的图像，从捕获的面部图像中检测眼球区域，并且基于检测到的眼球的形状特征来检测视线方向E。
图7A示出了从由摄像装置84捕获的捕获图像I中检测到的被摄体92的左眼的放大视图。瞳孔P的中心与内眼角Q之间的距离dp根据视线方向而改变。具体地，如图7A所示，当视线指向左侧(朝向外眼角S)时，距离dp增大。同时，当视线指向右侧(朝向内眼角Q)时，距离dp减小。因此，可以通过测量距离dp来计算近似的视线方向。
图7B示出了如下示例：在用红外LED 86照射面部时，由摄像装置84捕获被摄体92的面部图像。假设摄像装置84对具有由红外LED 86发射的波长的光具有敏感性。图7B中的测量视线的方法是从捕获的面部图像中检测眼球区域，并且基于被红外LED 86照射的检测到的眼球的角膜的反射图像(角膜反射图像)的位置来检测视线方向E。由于由红外LED 86发出的光的波长是不可见的，因此可以在不干扰被摄体92的情况下检测视线方向。
图7B示出了从由摄像装置84捕获的捕获图像I中检测到的被摄体92的左眼的放大视图。瞳孔P的中心与角膜反射图像R之间的位置关系根据视线方向而变化。具体地，如图7B所示，当视线指向左侧(朝向外眼角S)时，瞳孔P比角膜反射图像R在位置上更靠近外眼角S。同时，当视线指向右侧(朝向内眼角Q)时，瞳孔P比角膜反射图像R在位置上更靠近内眼角Q。因此，可以通过测量瞳孔P与角膜反射图像R之间的位置关系来检测近似的视线方向。
在图7C中，被摄体92的面部的图像由摄像装置84捕获，并且基于所捕获的面部的方向来检测视线方向。在人快速或大幅度移动其视线方向的情况下，人通常通过移动头部而不是移动自己的眼球来改变视线方向。因此，可以认为在很多情况下面部的方向与视线方向大致一致。在上述近似成立的情况下，可以通过使用图7C的方法来检测视线方向。
如图7C的左部所示，在被摄体92面向前方的情况下，中心线C1与直线C2之间的距离a1基本上等于中心线C1与直线C3之间的距离a2。中心线C1沿纵向方向穿过被摄体92的面部，直线C2穿过右眼并且平行于中心线C1，直线C3穿过左眼并且平行于中心线C1。
如图7C的中间部分所示，在被摄体92面向右方向的情况下，距离a1大于距离a2。同时，如图7C的右部所示，在被摄体92面向左方向的情况下，距离a1小于距离a2。
如上所述，可以通过比较距离a1与距离a2之间的尺寸关系来检测近似视线方向。
注意，眼球的形状和运动存在个体差异。因此，近来，使用通过使用诸如机器学习的方法创建的高度鲁棒的眼球模型的方法被用来稳定地检测被摄体92的眼球。
[1-7.改变3D模型的绘制方向的方法]
图8示出了改变3D模型的绘制方向的方法。由于3D模型90M具有方向性，所以当在显示屏82上绘制3D模型90M时，3D模型90M是以默认方向——例如，Z轴的正方向——绘制的。在该实施方式中，3D模型90M的方向根据用作被摄体92的特征的视线方向E而改变，并且3D模型90M被绘制为3D模型90N。因此，在该实施方式中，组合使用了下面描述的控制绘制方向的两种方法。
如图8A所示，第一种方法是在目标方向上旋转3D模型90M本身以获得3D模型90N的方法。
如图8B所示，第二种方法是在目标方向上旋转放置3D模型90M的坐标系XYZ并且在经旋转的坐标系上绘制3D模型90N的方法。
在该实施方式中可以使用任何方法。旋转放置3D模型90M的坐标系XYZ的方法需要少量计算，但是在3D模型90M具有与视图无关的纹理的情况下，可能降低3D模型90M的真实性。同时，旋转3D模型90M本身的方法需要较大的计算量，但是在3D模型90M具有与视图相关的纹理的情况下，保持了3D模型90M的真实性。因此，期望在充分考虑应用哪种方法的情况下改变绘制方向。
例如，在3D模型90M的旋转量小的情况下，期望应用旋转坐标系的方法，因为由于旋转引起的3D模型90M的真实性的降低被认为很小。同时，在3D模型90M的旋转量大的情况下，期望应用旋转3D模型90M本身的方法，以保持3D模型90M的真实性。
[1-8.由移动终端执行的处理的流程]
图9是示出根据第一实施方式的由移动终端执行的处理的流程的示例的流程图。在下文中，将依次描述处理的流程。
视频监测单元51a启动摄像装置84(步骤S10)。在下文中，摄像装置84处于实时监测捕获图像I的实况视图。
AR标记检测单元52从捕获图像I中检测AR标记85(步骤S11)。
然后，AR标记检测单元52确定是否已经检测到AR标记85(步骤S12)。在确定已经检测到AR标记85的情况下(步骤S12：是)，处理进行到步骤S13。同时，在确定没有检测到AR标记85的情况下(步骤S12：否)，处理返回到步骤S11。
在步骤S12中确定结果为“是”的情况下，3D模型帧选择单元54a基于AR标记85从存储在存储单元38的3D模型M中选择预先确定的默认3D模型90M。然后，3D模型绘制方向控制单元54b在将3D模型90M叠加在与捕获图像I中的AR标记85对应的位置处的同时显示所选择的3D模型90M(步骤S13)。
接下来，被摄体检测单元53a从捕获图像I中检测被摄体92(步骤S14)。
被摄体检测单元53a确定是否已经检测到被摄体92(步骤S15)。在确定已经检测到被摄体92的情况下(步骤S15：是)，处理进行到步骤S16。同时，在确定没有检测到被摄体92的情况下(步骤S15：否)，处理返回到步骤S14。
在步骤S15中确定结果为“是”的情况下，视线方向检测单元53b检测被摄体92的视线方向(步骤S16)。
然后，视线方向检测单元53b确定被摄体92是否注视着摄像装置，即，被摄体92的视线方向E是否面向摄像装置84(步骤S17)。在确定被摄体92的视线方向E面向摄像装置84的情况下(步骤S17：是)，处理进行到步骤S19。同时，在确定被摄体92的视线方向E没有面向摄像装置84的情况下(步骤S17：否)，处理进行到步骤S18。
在步骤S17中确定结果为“否”的情况下，3D模型帧选择单元54a从存储在存储单元38中的3D模型M中选择3D模型90M的运动图像帧。然后，3D模型绘制方向控制单元54b执行由3D模型帧选择单元54a选择的运动图像帧的循环再现(步骤S18)。此后，处理返回到步骤S16。
同时，在步骤S17中确定结果为“是”的情况下，3D模型绘制方向控制单元54b将3D模型90M的方向指向摄像装置84(步骤S19)。3D模型绘制方向控制单元54b可以通过旋转在其上绘制3D模型90M的坐标系的方向来设置3D模型90M的方向，或者可以通过旋转3D模型90M本身来设置3D模型90M的方向。
接下来，3D模型绘制方向控制单元54b在步骤S19中设置的绘制位置处绘制由3D模型帧选择单元54a选择的其眼睛睁开并且视线方向F面向摄像装置84的3D模型90N(步骤S20)。
然后，图像捕获/视频记录处理单元51b在被摄体92和3D模型90N两者都注视摄像装置时进行自拍(步骤S21)。
[1-9.第一实施方式的效果]
如上所述，根据第一实施方式的移动终端80，被摄体特征检测单元53(检测单元)检测与3D模型90M同时显示在捕获图像I中的被摄体92的视线方向E(特征)。然后，显示控制单元54(控制单元)改变3D模型90M的视线方向F(显示模式)，使得3D模型90M根据由被摄体特征检测单元53检测到的被摄体92的视线方向E面向摄像装置84。
这使得可以使包括被摄体92的捕获图像I中显示的3D模型90M与被摄体92一起执行注视摄像装置的交互运动或反应。
此外，根据第一实施方式的移动终端80，被摄体特征检测单元53(检测单元)检测用作被摄体92的特征的视线方向E，并且显示控制单元54(控制单元)根据检测到的被摄体92的视线方向E改变3D模型90M的视线方向F(面部方向)。
这使得可以使3D模型90M根据被摄体92的视线方向E执行交互运动或反应。
此外，根据第一实施方式的移动终端80，显示控制单元54(控制单元)通过根据被摄体92的视线方向E旋转3D模型90M来改变3D模型90M的方向。
因此，即使在旋转3D模型90M的情况下，也可以保持具有与视图相关的纹理的3D模型90M的真实性。
此外，根据第一实施方式的移动终端80，显示控制单元54(控制单元)通过根据被摄体92的视线方向E旋转放置3D模型90M的坐标系来改变3D模型90M的方向。
这使得可以以少量计算高速执行旋转3D模型90M的处理。
此外，根据第一实施方式的移动终端80，在被摄体特征检测单元53(检测单元)检测到被摄体92的视线方向E面向捕获了捕获图像I的方向的情况下，显示控制单元54(控制单元)将3D模型90M的方向改变为捕获了捕获图像I的方向。
这使得可以使3D模型90M响应于被摄体92来执行交互运动或反应。
此外，在第一实施方式的移动终端80中，图像捕获单元51捕获被摄体92以及其显示模式已被显示控制单元54(控制单元)改变的3D模型90M的图像。
这使得可以例如通过使用摄像装置84对被摄体92和3D模型90M进行自拍。
此外，在第一实施方式的移动终端80中，图像捕获单元51是存在于真实世界中的摄像装置84或者存在于虚拟世界中的虚拟摄像装置84V(参见第八实施方式)。
这使得可以通过使用摄像装置84对被摄体92和3D模型90M进行自拍。此外，可以通过使用虚拟摄像装置84V对作为被摄体92的虚拟自我的化身92a和3D模型进行自拍，这将在第八实施方式中详细描述。
此外，根据第一实施方式的移动终端80，3D模型90M是具有关于存在于真实世界中的被摄体90(对象)的3D信息的模型，3D信息是通过使用从不同视点捕获的被摄体90的多个视点图像生成的。
这使得可以从多个不同方向生成具有相同质量的可以观察的3D模型90M。因此，可以在保持3D模型90M的显示质量的同时自由地改变在叠加在捕获图像I上的同时显示的3D模型90M的方向。
此外，根据第一实施方式的移动终端80，在捕获图像I中显示AR标记85(预定显示)的情况下，显示控制单元54(控制单元)在将3D模型90M叠加在捕获图像I上的同时显示3D模型90M。
这使得可以在不执行复杂的操作或处理的情况下容易且快速地显示3D模型90M。
(2.第二实施方式)
本公开内容的第二实施方式是具有使被摄体92和3D模型90M相互注视的功能的移动终端80(信息处理装置)的示例。
将省略该实施方式的移动终端80的硬件配置和功能配置的描述，因为那些配置与第一实施方式中描述的移动终端80的配置相同。然而，存储在存储单元38中的控制程序与控制程序P1(见图5)不同，以便发挥该实施方式特有的功能。
[2-1.第二实施方式的概述]
图10示出了根据第二实施方式的移动终端的操作状态的示例。移动终端80检测显示在自己的显示屏82上的捕获图像I中出现的被摄体92的视线方向E。然后，在检测到的视线方向E面向AR标记85附近的情况下，移动终端80选择其视线方向F面向被摄体92的3D模型90N，并且在将3D模型90N叠加在捕获图像I上的同时显示3D模型90N。
然后，移动终端80在被摄体92和3D模型90N彼此注视时进行自拍。如上所述，在用作被摄体92的特征的视线方向E面向AR标记85附近的情况下，可以改变3D模型90N的显示模式，使得3D模型90N的视线方向F面向被摄体92。
[2-2.由移动终端执行的处理的流程]
图11是示出根据第一实施方式的由移动终端执行的处理的流程的示例的流程图。在下文中，将依次描述处理的流程。
将省略图11中从步骤S30至步骤S36的处理的流程的描述，因为该流程与第一实施方式中描述的图9中从步骤S10至步骤S16的处理的流程相同。
在步骤S36中视线方向检测单元53b检测到被摄体92的视线方向之后，视线方向检测单元53b确定被摄体92是否面向AR标记85(步骤S37)。在确定被摄体92的视线方向面向AR标记85的情况下(步骤S37：是)，处理进行到步骤S39。同时，在确定被摄体92的视线方向没有面向AR标记85的情况下(步骤S37：否)，处理进行到步骤S38。
在步骤S37中确定结果为“否”的情况下，3D模型帧选择单元54a从存储在存储单元38中的3D模型M中选择3D模型90M的运动图像帧。然后，3D模型绘制方向控制单元54b执行由3D模型帧选择单元54a选择的运动图像帧的循环再现(步骤S38)。此后，处理返回到步骤S36。
同时，在步骤S37中确定结果为“是”的情况下，3D模型绘制方向控制单元54b将3D模型90M的绘制位置指向被摄体92的面部(步骤S39)。
接下来，3D模型绘制方向控制单元54b在步骤S39中设置的绘制位置处绘制由3D模型帧选择单元54a选择的其眼睛睁开并且视线方向面向被摄体92的面部的3D模型90N(步骤S40)。
然后，图像捕获/视频记录处理单元51b在被摄体92和3D模型90N彼此注视时进行自拍(步骤S41)。
[2-3.第二实施方式的效果]
如上所述，根据第二实施方式的移动终端80，在被摄体特征检测单元53(检测单元)检测到被摄体92的视线方向E面向3D模型90M的情况下，显示控制单元54(控制单元)绘制其方向已变为面向被摄体92的3D模型90N。
因此，可以在被摄体92和3D模型90N彼此注视时进行自拍。
(3.第三实施方式)
本公开内容的第三实施方式是具有以下功能的移动终端80(信息处理装置)的示例：在被摄体92微笑地注视摄像装置84的情况下，在使3D模型90M微笑地朝向摄像装置84时进行自拍。即，该实施方式的移动终端80根据用作被摄体92的特征的视线方向和面部表情来改变3D模型90M的显示模式(视线方向和面部表情)。
将省略该实施方式的移动终端80的硬件配置的描述，因为该配置与第一实施方式中描述的移动终端80的配置相同。注意，存储在存储单元38中的控制程序与控制程序P1(见图5)不同，以便发挥该实施方式特有的功能。
[3-1.移动终端的功能配置]
图12是示出根据第三实施方式的移动终端的功能配置的示例的功能框图。第三实施方式的移动终端80具有通过向第一实施方式的移动终端80(见图6)添加一些功能而获得的功能配置。在下文中，将仅描述与第一实施方式的移动终端80在功能配置上的差异。
即，除了被摄体检测单元53a和视线方向检测单元53b之外，被摄体特征检测单元53还包括微笑检测单元53c。
微笑检测单元53c检测出现在捕获图像I中的被摄体92是否微笑。微笑检测单元53c提取由被摄体检测单元53a检测到的被摄体92的面部区域。然后，微笑检测单元53c将所提取的面部区域与存储在面部表情数据库(图12中未示出)中的大量面部表情样本中的指示微笑的样本进行核对。在所提取的面部区域指示与指示微笑的样本的高核对程度的情况下，微笑检测单元53c确定被摄体92微笑。
注意，微笑检测单元53c可以通过使用其他图像处理算法来确定对象是否微笑。
[3-2.由移动终端执行的处理的流程]
图13是示出根据第三实施方式的由移动终端执行的处理的流程的示例的流程图。在下文中，将依次描述处理的流程。
将省略图13中从步骤S50至步骤S55的处理的流程的描述，因为该流程与第一实施方式中描述的图9中从步骤S10至步骤S15的处理的流程相同。
在步骤S55中确定已经检测到被摄体92的情况下(步骤S55：是)，视线方向检测单元53b检测被摄体92的视线方向E。然后，微笑检测单元53c确定被摄体92是否微笑(步骤S56)。
然后，在步骤S56中确定被摄体92微笑的情况下，视线方向检测单元53b确定被摄体92的视线方向E是否面向摄像装置84(步骤S57)。在确定被摄体92微笑并且视线方向E面向摄像装置84的情况下(步骤S57：是)，处理进行到步骤S59。同时，在确定被摄体92没有微笑并且视线方向E没有面向摄像装置84的情况下(步骤S57：否)，处理进行到步骤S58。
在步骤S57中确定结果为“否”的情况下，3D模型帧选择单元54a从存储在存储单元38中的3D模型M中选择3D模型90M的运动图像帧。然后，3D模型绘制方向控制单元54b执行由3D模型帧选择单元54a选择的运动图像帧的循环再现(步骤S58)。此后，处理返回到步骤S56。
同时，在步骤S57中确定结果为“是”的情况下，3D模型绘制方向控制单元54b将3D模型90M的绘制位置指向摄像装置84(步骤S59)。
接下来，3D模型绘制方向控制单元54b在步骤S59中设置的绘制位置处绘制由3D模型帧选择单元54a选择的其眼睛睁开并且视线方向F面向摄像装置84并且带着微笑的3D模型90N(步骤S60)。
然后，图像捕获/视频记录处理单元51b在被摄体92和3D模型90N两者都注视摄像装置时进行自拍(步骤S61)。
[3-3.第三实施方式的效果]
如上所述，根据第三实施方式的移动终端80，被摄体特征检测单元53(检测单元)检测用作被摄体92的特征的微笑(面部表情)。然后，在确定被摄体92的面部表情是微笑的情况下，显示控制单元54(控制单元)将3D模型90M的方向改变为朝向摄像装置84的方向，即捕获了捕获图像I的方向。
因此，可以在被摄体92和3D模型90N两者都带着微笑注视摄像装置时进行自拍。
(4.第四实施方式)
本公开内容的第四实施方式是具有根据被摄体92的图像捕获环境自动校正3D模型90M的亮度和肤色之后进行自拍的功能的移动终端80(信息处理装置)的示例。即，该实施方式的移动终端80根据用作被摄体92的特征的亮度(例如，皮肤的亮度)改变3D模型90M的显示模式(亮度)。
将省略该实施方式的移动终端80的硬件配置的描述，因为该配置与第一实施方式中描述的移动终端80的配置相同。注意，存储在存储单元38中的控制程序与控制程序P1(见图5)不同，以便发挥该实施方式特有的功能。
[4-1.移动终端的功能配置]
图14是示出根据第四实施方式的移动终端的功能配置的示例的功能框图。第四实施方式的移动终端80具有通过将第一实施方式的移动终端80(见图6)的功能替换为一些功能而获得的功能配置。在下文中，将仅描述与第一实施方式的移动终端80在功能配置上的差异。
被摄体特征检测单元53包括图像捕获环境评估单元53d而不是视线方向检测单元53b。
图像捕获环境评估单元53d测量捕获图像I的图像捕获环境的亮度以及捕获图像I中出现的被摄体92的亮度。例如，图像捕获环境评估单元53d将捕获图像I划分成区域，即，被摄体92的区域以及被摄体92以外的区域，并且获得每个区域的平均亮度。图像捕获环境评估单元53d可以测量被摄体92的肤色。
显示控制单元54包括3D模型亮度控制单元54c而不是3D模型绘制方向控制单元54b。
3D模型亮度控制单元54c校正3D模型90M的纹理的亮度。例如，3D模型亮度控制单元54c将由图像捕获环境评估单元53d测量的图像捕获环境的亮度与生成了3D模型90M的环境的亮度进行比较。然后，在生成了3D模型90M的环境的亮度比由图像捕获环境评估单元53d测量的图像捕获环境的亮度更亮的情况下，将3D模型90M的纹理校正为变暗。同时，在生成了3D模型90M的环境的亮度比由图像捕获环境评估单元53d测量的图像捕获环境的亮度更暗的情况下，将3D模型90M的纹理校正为变亮。
3D模型亮度控制单元54c可以基于出现在捕获图像I中的被摄体92的皮肤亮度和肤色来校正3D模型90M的纹理，使得3D模型90M的皮肤亮度和肤色与被摄体92的皮肤亮度和肤色处于相同程度。
[4-2.由移动终端执行的处理的流程]
图15是示出根据第四实施方式的由移动终端执行的处理的流程的示例的流程图。在下文中，将依次描述处理的流程。
将省略图15中从步骤S70至步骤S73的处理的流程的描述，因为该流程与第一实施方式中描述的图9中从步骤S10至步骤S13的处理的流程相同。
在步骤S73之后，被摄体检测单元53a从捕获图像I中检测被摄体92。然后，图像捕获环境评估单元53d检测捕获图像I的图像捕获环境的亮度以及出现在捕获图像I中的被摄体的亮度92(步骤S74)。
接下来，图像捕获环境评估单元53d确定被摄体92是否出现在捕获图像I中以及图像捕获环境的亮度是否比3D模型90M的图像捕获环境的亮度更亮(步骤S75)。在确定满足上述条件的情况下(步骤S75：是)，处理进行到步骤S76。同时，在确定不满足条件的情况下(步骤S75：否)，处理进行到步骤S77。
在步骤S75中确定结果为“是”的情况下，3D模型亮度控制单元54c将3D模型90M的纹理校正为更亮的纹理(步骤S76)。此后，处理进行到步骤S78。
同时，在步骤S75中确定结果为“否”的情况下，3D模型亮度控制单元54c将3D模型90M的纹理校正为较暗的纹理(步骤S77)。
在步骤S76或步骤S77之后，3D模型绘制方向控制单元54b在捕获图像I中绘制通过对由3D模型帧选择单元54a选择的3D模型90M进行与步骤S76或步骤S77对应的纹理亮度校正而获得的3D模型90N(步骤S78)。
然后，图像捕获/视频记录处理单元51b在被摄体92和3D模型90N两者均出现时进行自拍(步骤S79)。
[4-3.第四实施方式的效果]
如上所述，根据第四实施方式的移动终端80，被摄体特征检测单元53(检测单元)检测用作被摄体92的特征的亮度。然后，显示控制单元54(控制单元)根据被摄体92的亮度改变3D模型的亮度90M。
因此，可以与已经根据被摄体92的面部色调校正了其纹理的亮度的3D模型90N一起进行自拍。
(5.第五实施方式)
本公开内容的第五实施方式是具有根据被摄体92的位置(距摄像装置84的距离)校正3D模型90M的绘制位置(距摄像装置84的距离)并且在被摄体92和3D模型90M两者都聚焦时进行自拍的功能的移动终端80(信息处理装置)的示例。即，该实施方式的移动终端80根据用作被摄体92的特征的位置(距摄像装置84的距离)来改变3D模型90M的显示模式(绘制位置)。
将省略该实施方式的移动终端80的硬件配置的描述，因为该配置与第一实施方式中描述的移动终端80的配置相同。注意，存储在存储单元38中的控制程序与控制程序P1(见图5)不同，以便发挥该实施方式特有的功能。
[5-1.移动终端的功能配置]
图16是示出根据第五实施方式的移动终端的功能配置的示例的功能框图。第五实施方式的移动终端80具有通过将第一实施方式的移动终端80(见图6)的功能替换为一些功能而获得的功能配置。在下文中，将仅描述与第一实施方式的移动终端80在功能配置上的差异。
被摄体特征检测单元53包括景深计算单元53e而不是视线方向检测单元53b。
景深计算单元53e计算从摄像装置84到被摄体92和捕获图像I中出现的AR标记85的距离。景深计算单元53e还计算捕获图像I的景深。景深计算单元53e根据摄像装置84的光圈(F值)、镜头的焦距以及距被摄体92的距离来计算景深。
显示控制单元54包括3D模型绘制距离控制单元54d而不是3D模型绘制方向控制单元54b。
3D模型绘制距离控制单元54d控制3D模型90M的绘制位置(从摄像装置84到绘制3D模型90M的位置的距离)。更具体地，3D模型绘制距离控制单元54d控制3D模型90M的绘制位置，使得3D模型90M与被摄体92位于相同的景深处。
[5-2.由移动终端执行的处理的流程]
图17是示出根据第五实施方式的由移动终端执行的处理的流程的示例的流程图。在下文中，将依次描述处理的流程。
将省略图17中从步骤S80至步骤S83的处理的流程的描述，因为该流程与第一实施方式中描述的图9中从步骤S10至步骤S13的处理的流程相同。
在步骤S83之后，景深计算单元53e计算从摄像装置84到捕获图像I中出现的AR标记85的距离(步骤S84)。
接下来，被摄体检测单元53a从捕获图像I中检测被摄体92(步骤S85)。此时，景深计算单元53e计算从摄像装置84到被摄体92的距离。
景深计算单元53e确定被摄体92是否出现在捕获图像I中以及AR标记85和被摄体92是否位于相同的景深处(步骤S86)。在确定满足上述条件的情况下(步骤S86：是)，处理进行到步骤S88。同时，在确定不满足条件的情况下(步骤S86：否)，处理进行到步骤S87。注意，AR标记85和被摄体92是否位于相同的景深处可以基于以下来确定：基于步骤S84和步骤S85的结果计算的从AR标记85到被摄体92的距离是否在根据被摄体92的图像捕获条件计算的景深内。
在步骤S86中确定结果为“否”的情况下，即，在AR标记85和被摄体92不位于相同景深处的情况下，3D模型绘制距离控制单元54d将3D模型90M在捕获图像I中的绘制位置绘制在3D模型90M与被摄体92位于相同的景深处的距离内(步骤S87)。
接下来，3D模型绘制方向控制单元54b在步骤S87中设置的绘制位置处绘制由3D模型帧选择单元54a选择的3D模型90M(步骤S88)。
然后，图像捕获/视频记录处理单元51b在被摄体92和3D模型90M位于相同景深处时进行自拍(步骤S89)。
[5-3.第五实施方式的效果]
如上所述，根据第五实施方式的移动终端80，被摄体特征检测单元53(检测单元)检测作为被摄体92的特征的从摄像装置84到被摄体92的距离。然后，显示控制单元54(控制单元)改变与3D模型90M的距离，使得3D模型90M和被摄体92位于捕获图像I的景深处。
因此，可以在被摄体92和3D模型90M两者都聚焦时进行自拍。
(6.第六实施方式)
本公开内容的第六实施方式是具有根据被摄体92在捕获图像I中的位置校正3D模型90M的绘制位置并且在被摄体92和3D模型90M不交叠的情况下进行自拍的功能的移动终端80(信息处理装置)的示例。即，该实施方式的移动终端80根据用作被摄体92的特征的位置来改变3D模型90M的显示模式(绘制位置)。
将省略该实施方式的移动终端80的硬件配置的描述，因为该配置与第一实施方式中描述的移动终端80的配置相同。注意，存储在存储单元38中的控制程序与控制程序P1(见图5)不同，以便发挥该实施方式特有的功能。
[6-1.移动终端的功能配置]
图18是示出根据第六实施方式的移动终端的功能配置的示例的功能框图。第六实施方式的移动终端80具有通过将第一实施方式的移动终端80(见图6)的功能替换为一些功能而获得的功能配置。在下文中，将仅描述与第一实施方式的移动终端80在功能配置上的差异。
被摄体特征检测单元53包括交叠确定单元53f而不是视线方向检测单元53b。
交叠确定单元53f确定被摄体92与AR标记85在捕获图像I中是否交叠。具体地，交叠确定单元53f检测被摄体92在捕获图像I中的位置。然后，交叠确定单元53f将检测到的被摄体92的位置与由AR标记检测单元52检测到的AR标记85的位置进行比较。在被摄体92与AR标记85交叠的情况下，交叠确定单元53f预测：当3D模型90M被绘制在与捕获图像I中的AR标记85对应的位置时，被摄体92与3D模型90M将交叠。
显示控制单元54包括3D模型绘制位置控制单元54e而不是3D模型绘制方向控制单元54b。
在交叠确定单元53f预测被摄体92与3D模型90M将交叠的情况下，3D模型绘制位置控制单元54e在不与被摄体92的位置交叠的位置处绘制3D模型90M。
[6-2.由移动终端执行的处理的流程]
图19是示出根据第六实施方式的由移动终端执行的处理的流程的示例的流程图。在下文中，将依次描述处理的流程。
将省略图19中从步骤S90至步骤S92的处理的流程的描述，因为该流程与第一实施方式中描述的图9中从步骤S10至步骤S12的处理的流程相同。
在步骤S92中确定已经检测到AR标记85的情况下(步骤S92：是)，被摄体检测单元53a从捕获图像I中检测被摄体92(步骤S93)。
接下来，交叠确定单元53f检测AR标记85与被摄体92之间的位置关系(步骤S94)。
此外，交叠确定单元53f确定被摄体92是否出现在捕获图像I中以及AR标记85与被摄体92是否没有交叠(步骤S95)。在确定满足上述条件的情况下(步骤S95：是)，处理进行到步骤S97。同时，在确定不满足条件的情况下(步骤S95：否)，交叠确定单元53f预测在与AR标记85对应的位置处绘制3D模型90M时被摄体92与3D模型90M将交叠，并且执行步骤S96中的处理。
在步骤S95中确定结果为“否”的情况下，3D模型绘制位置控制单元54e将应该绘制在与AR标记85对应的位置处的3D模型90M的绘制位置改变为不与被摄体92的位置交叠的位置(例如，远离被摄体92的位置)(步骤S96)。
然后，3D模型绘制位置控制单元54e在步骤S96中改变的位置处绘制所选择的3D模型90M。同时，在步骤S95中确定结果为“是”的情况下，3D模型绘制位置控制单元54e在与AR标记85对应的位置处绘制所选择的3D模型90M(步骤S97)。
然后，图像捕获/视频记录处理单元51b在被摄体92与3D模型90M不交叠的情况下进行自拍(步骤S98)。
[6-3.第六实施方式的效果]
如上所述，根据第六实施方式的移动终端80，被摄体特征检测单元53(检测单元)检测用作被摄体92的特征的被摄体92在捕获图像I中的位置。然后，在被摄体92的位置与3D模型90M的位置被预测为交叠的情况下，显示控制单元54(控制单元)将3D模型90M的显示位置改变为不与被摄体92的位置交叠的位置。
这使得可以在被摄体92与3D模型90M不交叠时进行自拍。
(7.第七实施方式)
本公开内容的第七实施方式是具有根据捕获图像I中的被摄体92的尺寸校正3D模型90M的尺寸和比例并且进行自拍使得被摄体92和3D模型90M看起来高度相同，或者被摄体92的面部看起来比3D模型90M的面部小的功能的移动终端80(信息处理装置)的示例。即，该实施方式的移动终端80根据用作被摄体92的特征的尺寸来改变3D模型90M的显示模式(尺寸和比例)。
将省略该实施方式的移动终端80的硬件配置的描述，因为该配置与第一实施方式中描述的移动终端80的配置相同。注意，存储在存储单元38中的控制程序与控制程序P1(见图5)不同，以便发挥该实施方式特有的功能。
[7-1.移动终端的功能配置]
图20是示出根据第六实施方式的移动终端的功能配置的示例的功能框图。第七实施方式的移动终端80具有通过将第一实施方式的移动终端80(见图6)的功能替换为一些功能而获得的功能配置。在下文中，将仅描述与第一实施方式的移动终端80在功能配置上的差异。
被摄体特征检测单元53包括位置关系检测单元53g而不是视线方向检测单元53b。
位置关系检测单元53g检测由AR标记检测单元52检测到的AR标记85的位置与由被摄体检测单元53a检测到的被摄体92的位置之间的位置关系。位置关系检测单元53g还在考虑到摄像装置84的视角的情况下检测被摄体92的面部尺寸。
显示控制单元54包括3D模型绘制位置控制单元54e而不是3D模型绘制方向控制单元54b。
当在捕获图像I中绘制3D模型90M时，3D模型绘制位置控制单元54e设置3D模型90M的比例和绘制位置。具体地，3D模型90M的绘制位置被设置为与被摄体92的高度相匹配。3D模型90M的绘制位置还被设置为使得被摄体92的面部位置与3D模型90M的面部位置处于相同高度。当然，也可以基于上述条件以外的条件来设置绘制位置。
[7-2.由移动终端执行的处理的流程]
图21是示出根据第七实施方式的由移动终端执行的处理的流程的示例的流程图。在下文中，依次描述处理的流程。
将省略图21中从步骤S100至步骤S102的处理的流程的描述，因为该流程与第一实施方式中描述的图9中从步骤S10至步骤S12的处理的流程相同。
在步骤S102中确定已经检测到AR标记85的情况下(步骤S102：是)，被摄体检测单元53a从捕获图像I中检测被摄体92(步骤S103)。
接下来，位置关系检测单元53g检测AR标记85与被摄体92之间的位置关系(步骤S104)。
位置关系检测单元53g还检测在考虑到摄像装置84的视角的情况下被摄体92的面部的尺寸(步骤S105)。
然后，位置关系检测单元53g确定捕获图像I是否是其中出现被摄体92的上半身的肖像图片(步骤S106)。在确定捕获图像是肖像图片的情况下(步骤S106：是)，处理进行到步骤S107。同时，在确定捕获图像不是肖像图片的情况下(步骤S106：否)，处理进行到步骤S108。
在步骤S106中确定结果为“是”的情况下，3D模型绘制位置控制单元54e设置用于绘制3D模型90M的比例和绘制位置，使得3D模型运动图像的面部位置与被摄体92的面部位置在相同的高度处(步骤S107)。此后，处理进行到步骤S109。
同时，在步骤S106中确定结果为“否”的情况下，3D模型绘制位置控制单元54e将3D模型运动图像的比例和绘制位置设置成与被摄体92的高度相匹配(步骤S108)。
然后，3D模型绘制位置控制单元54e在步骤S107或步骤S108中设置的条件下在捕获图像I中绘制所选择的3D模型90M(步骤S109)。
然后，图像捕获/视频记录处理单元51b在以良好的平衡的方式布置被摄体92和3D模型90M时进行自拍(步骤S110)。
[7-3.第七实施方式的效果]
如上所述，根据第七实施方式的移动终端80，被摄体特征检测单元53(检测单元)检测用作被摄体92的特征的被摄体92在捕获图像I中的位置和尺寸。然后，显示控制单元54(控制单元)根据被摄体92的位置和尺寸调整3D模型90M的显示位置和尺寸。
因此，可以在以良好的平衡的方式布置被摄体92和3D模型90M时进行自拍。
注意，上述每个实施方式可以具有多个不同实施方式的功能。在这种情况下，移动终端80包括多个实施方式的所有功能配置。
(8.第八实施方式)
本公开内容的第八实施方式是具有在由摄像装置84捕获的捕获图像中形成虚拟空间并且在虚拟空间中显示被摄体92的化身和3D模型90M的功能的信息处理装置81a的示例。显示在捕获图像中的被摄体92的化身可以响应于来自被摄体92的操作在虚拟空间中移动。
[8-1.信息处理装置的概述]
图22示出了根据第八实施方式的信息处理装置的概述。
连接至信息处理装置81a的摄像装置84捕获作为被摄体92的用户的图像并且生成捕获图像Ia(虚拟图像)。所生成的捕获图像Ia被无线发送并且显示在由被摄体92佩戴的头戴式显示器89(HMD)上。作为被摄体92的虚拟自我的化身92a(第一化身)被显示在显示在头戴式显示器89上的捕获图像Ia中，并且在本公开内容的每个实施方式中描述的3D模型90M在被叠加在捕获图像Ia上的同时也被显示。化身92a是完全的CG运动图像。头戴式显示器89不仅具有检测被摄体92的头部运动和视线方向的功能，而且还具有将信息处理装置81a输出的声音信息发送至被摄体92的声音输出功能。
被摄体92还佩戴控制器88，该控制器88具有检测被摄体92本身的位置、姿势、运动等的加速度传感器的功能以及向信息处理装置发出操作指令的操作开关的功能。由头戴式显示器89检测到的被摄体92的头部的视线方向和运动以及由控制器88检测到的操作信息和被摄体92的运动被无线发送至信息处理装置81a，并且被反映在化身92a的运动和信息处理装置81a的操作中。即，作为被摄体92的用户可以在观看捕获图像Ia时在捕获图像Ia中形成的虚拟空间中自由移动。即，被摄体92的运动被反映在化身92a的运动中。
特别地，在该实施方式的信息处理装置81a中，化身92a具有通过使用虚拟空间中的虚拟摄像装置84V来捕获图像的功能。即，当被摄体92经由控制器88发出操作虚拟摄像装置84V的指令时，化身92a取出虚拟摄像装置84V并且在如由被摄体92指示的虚拟空间中的方向上捕获图像。
当由虚拟摄像装置84V捕获的捕获图像Ia中出现的化身92a的视线方向E面向虚拟摄像装置84V时，将3D模型90M改变为其视线方向F面向虚拟摄像装置84V的3D模型90N。然后，信息处理装置81a在化身92a和3D模型90N两者都注视虚拟摄像装置84V时进行自拍。
信息处理装置81a的硬件配置是通过在第一实施方式中描述的移动终端80的硬件配置(图5)中用头戴式显示器89替换液晶显示器16并且用控制器88(未示出)替换触摸屏14来获得的。信息处理装置81a的CPU32通过无线或有线通信连接至头戴式显示器89和控制器88。
[8-2.信息处理装置的功能配置]
图23是示出根据第八实施方式的信息处理装置的功能配置的示例的功能框图。第八实施方式的信息处理装置81a包括图像捕获单元51、被摄体特征检测单元53和显示控制单元54。此外，信息处理装置81a执行生成完全的CG的被摄体92的化身92a的处理。然而，因为可以根据已知方法执行生成化身92a的处理，所以将省略其描述。
响应于来自被摄体92的操作指令，图像捕获单元51通过使用由被摄体92的化身92a操作的虚拟摄像装置84V来监测视频、捕获图像以及记录视频。图像捕获单元51包括虚拟视频生成单元51c、虚拟视频监测单元51d、虚拟摄像装置视频生成单元51e和图像捕获/视频记录处理单元51b。
虚拟视频生成单元51c生成由虚拟摄像装置84V捕获的捕获图像Ia(虚拟图像)。
虚拟视频监测单元51d执行将捕获图像Ia实时显示在头戴式显示器89上的所谓的实况视图。
图像捕获/视频记录处理单元51b存储由虚拟摄像装置84V捕获的捕获图像Ia。此外，图像捕获/视频记录处理单元51b进行自拍。
被摄体特征检测单元53从由虚拟摄像装置84V捕获的捕获图像Ia中检测被摄体92的化身92a。被摄体特征检测单元53包括化身检测单元53h和视线方向检测单元53b。
化身检测单元53h从由虚拟摄像装置84V捕获的捕获图像Ia中检测化身92a。
视线方向检测单元53b检测由化身检测单元53h检测到的化身92a的视线方向E。
显示控制单元54根据由被摄体特征检测单元53检测到的化身92a的视线方向E来改变3D模型90M的显示模式。具体地，在化身92a的视线方向E面向虚拟摄像装置84V的情况下，即，在化身92a注视虚拟摄像装置的情况下，显示控制单元54将3D模型90M的视线方向F改变为面向虚拟摄像装置84V。显示控制单元54包括3D模型帧选择单元54a和3D模型绘制方向控制单元54b。显示控制单元54是本公开中的控制单元的示例。
3D模型帧选择单元54a从存储在存储单元38中的多个3D模型M中选择预定的3D模型90M。3D模型帧选择单元54a还选择具有与由视线方向检测单元53b检测到的化身92a的视线方向E对应的视线方向F的3D模型90M。更具体地，在化身92a注视虚拟摄像装置的情况下，3D模型帧选择单元54a选择其视线方向F面向虚拟摄像装置84V的3D模型90M。
3D模型绘制方向控制单元54b在将3D模型90M叠加在捕获图像Ia上的同时显示由3D模型帧选择单元54a选择的3D模型90M。3D模型绘制方向控制单元54b旋转3D模型90M以改变3D模型90M的方向，从而生成3D模型90N。3D模型绘制方向控制单元54b在将3D模型90N叠加在捕获图像Ia上的同时显示其方向已经改变的3D模型90N。
[8-3.由信息处理装置执行的处理的流程]
图24是示出根据第八实施方式的由信息处理装置执行的处理的流程的示例的流程图。在下文中，将依次描述处理的流程。
响应于由被摄体92作出的来自控制器88的操作指令，虚拟视频监测单元51d启动虚拟摄像装置84V(步骤S120)。
虚拟视频生成单元51c生成从虚拟摄像装置84V观看的捕获图像Ia(虚拟图像)(步骤S121)。
化身检测单元53h从捕获图像Ia中检测化身92a。然后，视线方向检测单元53b检测所检测到的化身92a的视线方向E(步骤S122)。
然后，视线方向检测单元53b确定化身92a是否注视虚拟摄像装置84V(步骤S123)。在确定化身92a注视虚拟摄像装置的情况下(步骤S123：是)，处理进行到步骤S125。同时，在确定化身92a没有注视虚拟摄像装置的情况下(步骤S123：否)，处理进行到步骤S124。
在步骤S123中确定结果为“否”的情况下，3D模型帧选择单元54a从存储在存储单元38中的3D模型M中选择3D模型90M的运动图像帧。然后，3D模型绘制方向控制单元54b在捕获图像Ia中的预定位置处绘制由3D模型帧选择单元54a选择的3D模型90M，并且执行运动图像帧的循环再现(步骤S124)。此后，处理返回到步骤S122。
同时，在步骤S123中确定结果为“是”的情况下，3D模型绘制方向控制单元54b在捕获图像Ia中的预定位置处绘制3D模型90M，并且使3D模型90M的方向指向虚拟摄像装置84V(步骤S125)。
接下来，3D模型绘制方向控制单元54b在步骤S125中设置的绘制位置处绘制由3D模型帧选择单元54a选择的其眼睛睁开并且视线方向面向虚拟摄像装置84V的3D模型90N(步骤S126)。即，生成图22所示的捕获图像Ib(虚拟图像)。
然后，图像捕获/视频记录处理单元51b在化身92a和3D模型90N两者都注视虚拟摄像装置时进行自拍(步骤S127)。
[8-4.第八实施方式的效果]
如上所述，根据第八实施方式的信息处理装置81a，被摄体特征检测单元53(检测单元)检测化身92a(第一化身)的视线方向E(特征)。化身92a与由存在于虚拟空间中的虚拟摄像装置84V(第二图像捕获单元)捕获的捕获图像Ia中显示的3D模型90M存在于相同的虚拟空间中，并且响应于来自被摄体92(用户)的操作在虚拟空间中移动。然后，显示控制单元54(控制单元)根据检测到的化身92a的视线方向E改变3D模型90M的显示模式。
因此，可以使显示在包括作为被摄体92的虚拟自我的化身92a(第一化身)的捕获图像1a中的3D模型90M执行交互动作或反应。
(9.第九实施方式)
本公开内容的第九实施方式是具有在将不同于被摄体92的被摄体的化身(第二化身)叠加在捕获图像Ia(虚拟图像)上的同时显示化身的功能的信息处理装置的功能，而不是在第八实施方式中在将3D模型90M叠加在捕获图像Ia(虚拟图像)上的同时显示3D模型90M的功能的示例。
[9-1.信息处理装置的概述]
图25示出了根据第九实施方式的信息处理装置的概述。
信息处理装置81b不仅包括具有第八实施方式中描述的功能的摄像装置84a，而且包括具有与摄像装置84a的功能相同的功能的摄像装置84b。摄像装置84b捕获与被摄体92不同的被摄体93的图像。在图25中，被摄体92和被摄体93并排站立，但是被摄体92和被摄体93可以存在于远的位置处。即，摄像装置84a和摄像装置84b可以存在于彼此远离的位置处，并且可以具有将捕获图像无线发送至信息处理装置81b的功能。
被摄体93以及被摄体92佩戴头戴式显示器89。头戴式显示器89实时显示由信息处理装置81b生成的捕获图像Ia。注意，由被摄体92和被摄体93佩戴的头戴式显示器89具有不仅输出捕获图像Ia而且输出由信息处理装置81b输出的声音信息的功能。被摄体93还与被摄体92佩戴相同的控制器88。
如第八实施方式中所述，信息处理装置81b生成其中显示被摄体92的化身92a(第一化身)的捕获图像Ia(虚拟图像)。信息处理装置81b还显示捕获图像Ia中的被摄体93的化身93a(第二化身)。即，被摄体92和被摄体93分别是化身92a和化身93a，并且存在于捕获图像Ia的相同的虚拟空间中。
被摄体92的运动由控制器88和头戴式显示器89检测并且被发送至信息处理装置81b。然后，被摄体92的运动在捕获图像Ia中被反映为化身92a的运动。类似地，被摄体93的运动由控制器88和头戴式显示器89检测并且被发送至信息处理装置81b。然后，被摄体93的运动在捕获图像Ia中被反映为化身93a的运动。如上所述，被摄体92和被摄体93分别作为化身92a和化身93a在捕获图像1a中自由移动。
信息处理装置81b具有允许化身92a通过使用虚拟摄像装置84V在虚拟空间中捕获图像的功能。即，当被摄体92经由控制器88发出操作虚拟摄像装置84V的指令时，化身92a取出虚拟摄像装置84V并且在如由被摄体92指示的虚拟空间中的方向上捕获图像。捕获图像Ia由信息处理装置81b发送至由被摄体92和被摄体93佩戴的头戴式显示器89。然后，被摄体92和被摄体93两者都实时观察捕获图像Ia。
信息处理装置81b检测在由虚拟摄像装置84V捕获的捕获图像Ia中出现的化身92a的视线方向和化身93a的视线方向。当化身92a和化身93a两者都注视虚拟摄像装置84V时，信息处理装置81b响应于来自被摄体92的操作指令，在化身92a和化身93a两者都注视虚拟摄像装置84V时对捕获图像Ib进行自拍。
信息处理装置81b的硬件配置是通过将用于被摄体93的头戴式显示器89和摄像装置84b以及控制器88添加到第八实施方式中描述的信息处理装置81a的硬件配置而获得的。
[9-2.信息处理装置的功能配置]
图26是示出根据第九实施方式的信息处理装置的功能配置的示例的功能框图。第九实施方式的信息处理装置81b包括图像捕获单元51、被摄体特征检测单元53和显示控制单元54。
将省略图像捕获单元51的描述，因为图像捕获单元51具有与第八实施方式的图像捕获单元的功能相同的功能。被摄体特征检测单元53具有与第八实施方式中描述的包括化身检测单元53h和视线方向检测单元53b的被摄体特征检测单元53的配置相同的配置。然而，该实施方式的不同之处在于，化身检测单元53h从由虚拟摄像装置84V捕获的捕获图像Ia中检测化身92a和化身93a。视线方向检测单元53b还检测由化身检测单元53h检测到的化身92a的视线方向E和化身93a的视线方向F。
显示控制单元54在将化身92a和化身93a叠加在捕获图像Ia上的同时显示化身92a和化身93a。
[9-3.由信息处理装置执行的处理的流程]
图27是示出根据第九实施方式的由信息处理装置执行的处理的流程的示例的流程图。在下文中，将依次描述处理的流程。
将省略步骤S130和步骤S131中的处理的流程的描述，因为该流程与第八实施方式中描述的步骤S120和S121中的处理的流程相同。
然后，化身检测单元53h从捕获图像Ia中检测化身92a(第一化身)。然后，视线方向检测单元53b检测所检测到的化身92a的视线方向E(步骤S132)。
然后，视线方向检测单元53b确定化身92a是否注视虚拟摄像装置84V(步骤S133)。在确定化身92a注视虚拟摄像装置的情况下(步骤S133：是)，处理进行到步骤S135。同时，在确定化身92a没有注视虚拟摄像装置的情况下(步骤S133：否)，处理进行到步骤S134。
在步骤S133中确定结果为“否”的情况下，显示控制单元54执行捕获图像Ia中的化身93a的循环再现(实况视图显示)(步骤S134)。此后，处理返回到步骤S132。
同时，在步骤S133中确定结果为“是”的情况下，化身检测单元53h从捕获图像Ia中检测化身93a(第二化身)。然后，视线方向检测单元53b检测所检测到的化身93a的视线方向F(步骤S135)。注意，在确定化身92a注视虚拟摄像装置的情况下，信息处理装置81b可以经由头戴式显示器89向被摄体93发出“一起拍照”的指令。
然后，视线方向检测单元53b确定化身93a是否注视虚拟摄像装置84V(步骤S136)。在确定化身93a注视虚拟摄像装置的情况下(步骤S136：是)，处理进行到步骤S137。同时，在确定化身93a没有注视虚拟摄像装置的情况下(步骤S136：否)，处理返回到步骤S135。
在步骤S136中确定结果为“是”的情况下，图像捕获/视频记录处理单元51b在化身92a和化身93a两者都注视虚拟摄像装置时进行自拍(步骤S137)。
[9-4.第九实施方式的效果]
如上所述，根据第九实施方式的信息处理装置81b，显示控制单元54(控制单元)显示与在捕获图像Ia中的被摄体92不同的被摄体93的化身93a(第二化身)。
因此，被摄体92(用户)可以使另一被摄体93在虚拟空间中执行交互动作或反应。
注意，本说明书中描述的效果仅是示例而不是限制，并且可以展现其他效果。此外，本公开内容的实施方式不限于上述实施方式，并且可以在不脱离本公开内容的主旨的情况下进行各种修改。
例如，本公开内容还可以具有以下配置。
(1)
一种信息处理装置，包括：
控制单元，其控制显示在捕获图像中的3D模型；以及
检测单元，其检测与所述3D模型同时显示在所述捕获图像中的被摄体的特征，其中，
所述控制单元根据由所述检测单元检测到的所述被摄体的特征来改变所述3D模型的显示模式。
(2)
根据(1)所述的信息处理装置，其中：
所述检测单元检测用作所述被摄体的特征的视线方向；并且
所述控制单元根据检测到的所述被摄体的视线方向来改变所述3D模型的方向。
(3)
根据(2)所述的信息处理装置，其中，
所述控制单元通过根据所述被摄体的视线方向旋转所述3D模型来改变所述3D模型的方向。
(4)
根据(2)所述的信息处理装置，其中，
所述控制单元通过根据所述被摄体的视线方向旋转放置所述3D模型的坐标系来改变所述3D模型的方向。
(5)
根据(1)至(4)中任一项所述的信息处理装置，其中，
在所述检测单元检测到所述被摄体的视线方向面向捕获了所述捕获图像的方向的情况下，
所述控制单元将所述3D模型的方向改变为捕获了所述捕获图像的所述方向。
(6)
根据(1)至(4)中任一项所述的信息处理装置，其中，
在所述检测单元检测到所述被摄体的视线方向面向所述3D模型的情况下，
所述控制单元将所述3D模型的方向改变为面向所述被摄体的方向。
(7)
根据(1)至(6)中任一项所述的信息处理装置，其中：
所述检测单元检测用作所述被摄体的特征的面部表情；并且
在确定所述被摄体的面部表情是微笑的情况下，所述控制单元将所述3D模型的方向改变为捕获了所述捕获图像的方向。
(8)
根据(1)至(7)中任一项所述的信息处理装置，其中：
所述检测单元检测用作所述被摄体的特征的亮度；并且
所述控制单元根据所述被摄体的亮度来改变所述3D模型的亮度。
(9)
根据(1)至(8)中任一项所述的信息处理装置，其中：
所述检测单元检测与所述被摄体的距离，所述距离用作所述被摄体的特征；并且
所述控制单元改变与所述3D模型的距离，使得所述3D模型和所述被摄体位于所述捕获图像的景深处。
(10)
根据(1)至(9)中任一项所述的信息处理装置，其中：
所述检测单元检测所述被摄体在所述捕获图像中的位置，所述位置用作所述被摄体的特征；并且
在所述被摄体的位置与所述3D模型的位置被预测为交叠的情况下，所述控制单元将所述3D模型的显示位置改变为不与所述被摄体的位置交叠的位置。
(11)
根据(1)至(10)中任一项所述的信息处理装置，其中：
所述检测单元检测所述被摄体在所述捕获图像中的位置和尺寸，所述位置和尺寸用作所述被摄体的特征；并且
所述控制单元根据所述被摄体的位置和尺寸调整所述3D模型的显示位置和尺寸。
(12)
根据(1)至(11)中任一项所述的信息处理装置，还包括：
图像捕获单元，其捕获所述被摄体以及其显示模式已被所述控制单元改变的所述3D模型的图像。
(13)
根据(12)所述的信息处理装置，其中，
所述图像捕获单元是存在于真实世界中的摄像装置或者存在于虚拟世界中的虚拟摄像装置。
(14)
根据(1)至(13)中任一项所述的信息处理装置，其中：
所述被摄体是与所述3D模型存在于同一虚拟空间中并且基于来自用户的操作而在所述虚拟空间中移动的第一化身；并且
所述检测单元检测在由存在于所述虚拟空间中的第二图像捕获单元捕获的捕获图像中显示的所述第一化身的特征。
(15)
根据(14)所述的信息处理装置，其中，
所述3D模型是基于来自与所述被摄体不同的被摄体的操作而在所述虚拟空间中移动的第二化身。
(16)
根据(1)至(14)中任一项所述的信息处理装置，其中，
所述3D模型是具有关于存在于真实世界中的对象的3D信息的模型，所述3D信息是通过使用从不同视点捕获的所述对象的多个视点图像生成的。
(17)
根据(1)至(13)中任一项所述的信息处理装置，其中，
在所述捕获图像中检测到预定显示的情况下，
所述控制单元在将所述3D模型叠加在所述捕获图像上的情况下来显示所述3D模型。
(18)
一种信息处理方法，包括：
控制处理，其控制显示在捕获图像中的3D模型；以及
检测处理，其检测与所述3D模型同时显示在所述捕获图像中的被摄体的特征，其中，
所述控制处理根据通过所述检测处理检测到的所述被摄体的特征来改变所述3D模型的显示模式。
(19)
一种程序，所述程序用于使计算机用作：
控制单元，其控制显示在捕获图像中的3D模型；以及
检测单元，其检测与所述3D模型同时显示在所述捕获图像中的被摄体的特征，其中，
所述程序使所述控制单元根据由所述检测单元检测到的所述被摄体的特征来改变所述3D模型的显示模式。
附图标记列表
51 图像捕获单元
52 AR标记检测单元
53 被摄体特征检测单元(检测单元)
54 显示控制单元(控制单元)
80 移动终端(信息处理装置)
81a，81b 信息处理装置
82 显示屏
84，84a，84b 摄像装置(第一图像捕获单元)
84V 虚拟摄像装置(第二图像捕获单元)
85 AR标记(预定显示)
90 被摄体(对象)
90M，90N，M 3D模型
92 被摄体(用户)
92a 化身(第一化身)
93 被摄体
93a 化身(第二化身)
Ia，Ib 捕获图像(虚拟图像)
E，F 视线方向
I 捕获图像
权利要求书(按照条约第19条的修改)
1.一种信息处理装置，包括：
控制单元，其控制放置在三维空间中并且显示在所捕获的捕获图像中的3D模型；以及
检测单元，其检测与所述3D模型同时显示在所述捕获图像中的被摄体的视线信息，其中，
所述控制单元根据由所述检测单元检测到的所述被摄体的的视线信息来改变所述3D模型的显示模式，使得与所述3D模型的视线对应的方向接近所述被摄体的视线信息以及捕获了所述捕获图像的方向中的至少一者。
2.根据权利要求1所述的信息处理装置，其中：
所述控制单元根据检测到的所述被摄体的视线信息来改变所述3D模型的方向。
3.根据权利要求2所述的信息处理装置，其中，
所述控制单元通过根据所述被摄体的视线信息旋转所述3D模型来改变所述3D模型的方向。
4.根据权利要求2所述的信息处理装置，其中，
所述控制单元通过根据所述被摄体的视线信息旋转放置所述3D模型的坐标系来改变所述3D模型的方向。
5.根据权利要求2所述的信息处理装置，其中，
在所述检测单元检测到所述被摄体的视线信息面向捕获了所述捕获图像的方向的情况下，
所述控制单元将所述3D模型的方向改变为捕获了所述捕获图像的所述方向。
6.根据权利要求2所述的信息处理装置，其中，
在所述检测单元检测到所述被摄体的视线信息面向所述3D模型的情况下，
所述控制单元将所述3D模型的方向改变为面向所述被摄体的方向。
7.根据权利要求1的信息处理装置，其中：
所述检测单元检测用作所述被摄体的特征的面部表情；并且
在确定所述被摄体的面部表情是微笑的情况下，所述控制单元将所述3D模型的方向改变为捕获了所述捕获图像的方向。
8.根据权利要求1所述的信息处理装置，其中：
所述检测单元检测用作所述被摄体的特征的亮度；并且
所述控制单元根据所述被摄体的亮度来改变所述3D模型的亮度。
9.根据权利要求1所述的信息处理装置，其中：
所述检测单元检测与所述被摄体的距离，所述距离用作所述被摄体的特征；并且
所述控制单元改变与所述3D模型的距离，使得所述3D模型和所述被摄体位于所述捕获图像的景深处。
10.根据权利要求1所述的信息处理装置，其中：
所述检测单元检测所述被摄体在所述捕获图像中的位置，所述位置用作所述被摄体的特征；并且
在所述被摄体的位置与所述3D模型的位置被预测为交叠的情况下，所述控制单元将所述3D模型的显示位置改变为不与所述被摄体的位置交叠的位置。
11.根据权利要求1的信息处理装置，其中：
所述检测单元检测所述被摄体在所述捕获图像中的位置和尺寸，所述位置和尺寸用作所述被摄体的特征；并且
所述控制单元根据所述被摄体的位置和尺寸调整所述3D模型的显示位置和尺寸。
12.根据权利要求1所述的信息处理装置，还包括：
图像捕获单元，其捕获所述被摄体以及其显示模式已被所述控制单元改变的所述3D模型的图像。
13.根据权利要求12所述的信息处理装置，其中，
所述图像捕获单元是存在于真实世界中的摄像装置或者存在于虚拟世界中的虚拟摄像装置。
14.根据权利要求1的信息处理装置，其中：
所述被摄体是与所述3D模型存在于同一虚拟空间中并且基于来自用户的操作而在所述虚拟空间中移动的第一化身；并且
所述检测单元检测在由存在于所述虚拟空间中的第二图像捕获单元捕获的捕获图像中显示的所述第一化身的特征。
15.根据权利要求14所述的信息处理装置，其中，
所述3D模型是基于来自与所述被摄体不同的被摄体的操作而在所述虚拟空间中移动的第二化身。
16.根据权利要求1所述的信息处理装置，其中，
所述3D模型是具有关于存在于真实世界中的对象的3D信息的模型，所述3D信息是通过使用从不同视点捕获的所述对象的多个视点图像生成的。
17.根据权利要求16所述的信息处理装置，其中，
在所述捕获图像中检测到预定显示的情况下，
所述控制单元将所述3D模型叠加在所述捕获图像上来显示所述3D模型。
18.一种信息处理方法，包括：
控制处理，其控制放置在三维空间中并且显示在所捕获的捕获图像中的3D模型；以及
检测处理，其检测与所述3D模型同时显示在所述捕获图像中的被摄体的视线信息，其中，
所述控制处理根据通过所述检测处理检测到的所述被摄体的视线信息来改变所述3D模型的显示模式，使得与所述3D模型的视线对应的方向接近所述被摄体的视线信息以及捕获了所述捕获图像的方向中的至少一者。
19.一种程序，所述程序用于使计算机用作：
控制单元，其控制放置在三维空间中并且显示在所捕获的捕获图像中的3D模型；以及
检测单元，其检测与所述3D模型同时显示在所述捕获图像中的被摄体的视线信息，其中，
所述程序使所述控制单元根据由所述检测单元检测到的所述被摄体的视线信息来改变所述3D模型的显示模式，使得与所述3D模型的视线对应的方向接近所述被摄体的视线信息以及捕获了所述捕获图像的方向中的至少一者。

Claims (19)

1.一种信息处理装置，包括：
控制单元，其控制显示在捕获图像中的3D模型；以及
检测单元，其检测与所述3D模型同时显示在所述捕获图像中的被摄体的特征，其中，
所述控制单元根据由所述检测单元检测到的所述被摄体的特征来改变所述3D模型的显示模式。
2.根据权利要求1所述的信息处理装置，其中：
所述检测单元检测用作所述被摄体的特征的视线方向；并且
所述控制单元根据检测到的所述被摄体的视线方向来改变所述3D模型的方向。
3.根据权利要求2所述的信息处理装置，其中，
所述控制单元通过根据所述被摄体的视线方向旋转所述3D模型来改变所述3D模型的方向。
4.根据权利要求2所述的信息处理装置，其中，
所述控制单元通过根据所述被摄体的视线方向旋转放置所述3D模型的坐标系来改变所述3D模型的方向。
5.根据权利要求2所述的信息处理装置，其中，
在所述检测单元检测到所述被摄体的视线方向面向捕获了所述捕获图像的方向的情况下，
所述控制单元将所述3D模型的方向改变为捕获了所述捕获图像的所述方向。
6.根据权利要求2所述的信息处理装置，其中，
在所述检测单元检测到所述被摄体的视线方向面向所述3D模型的情况下，
所述控制单元将所述3D模型的方向改变为面向所述被摄体的方向。
7.根据权利要求1的信息处理装置，其中：
所述检测单元检测用作所述被摄体的特征的面部表情；并且
在确定所述被摄体的面部表情是微笑的情况下，所述控制单元将所述3D模型的方向改变为捕获了所述捕获图像的方向。
8.根据权利要求1所述的信息处理装置，其中：
所述检测单元检测用作所述被摄体的特征的亮度；并且
所述控制单元根据所述被摄体的亮度来改变所述3D模型的亮度。
9.根据权利要求1所述的信息处理装置，其中：
所述检测单元检测与所述被摄体的距离，所述距离用作所述被摄体的特征；并且
所述控制单元改变与所述3D模型的距离，使得所述3D模型和所述被摄体位于所述捕获图像的景深处。
10.根据权利要求1所述的信息处理装置，其中：
所述检测单元检测所述被摄体在所述捕获图像中的位置，所述位置用作所述被摄体的特征；并且
在所述被摄体的位置与所述3D模型的位置被预测为交叠的情况下，所述控制单元将所述3D模型的显示位置改变为不与所述被摄体的位置交叠的位置。
11.根据权利要求1的信息处理装置，其中：
所述检测单元检测所述被摄体在所述捕获图像中的位置和尺寸，所述位置和尺寸用作所述被摄体的特征；并且
所述控制单元根据所述被摄体的位置和尺寸调整所述3D模型的显示位置和尺寸。
12.根据权利要求1所述的信息处理装置，还包括：
图像捕获单元，其捕获所述被摄体以及其显示模式已被所述控制单元改变的所述3D模型的图像。
13.根据权利要求12所述的信息处理装置，其中，
所述图像捕获单元是存在于真实世界中的摄像装置或者存在于虚拟世界中的虚拟摄像装置。
14.根据权利要求1的信息处理装置，其中：
所述被摄体是与所述3D模型存在于同一虚拟空间中并且基于来自用户的操作而在所述虚拟空间中移动的第一化身；并且
所述检测单元检测在由存在于所述虚拟空间中的第二图像捕获单元捕获的捕获图像中显示的所述第一化身的特征。
15.根据权利要求14所述的信息处理装置，其中，
所述3D模型是基于来自与所述被摄体不同的被摄体的操作而在所述虚拟空间中移动的第二化身。
16.根据权利要求1所述的信息处理装置，其中，
所述3D模型是具有关于存在于真实世界中的对象的3D信息的模型，所述3D信息是通过使用从不同视点捕获的所述对象的多个视点图像生成的。
17.根据权利要求16所述的信息处理装置，其中，
在所述捕获图像中检测到预定显示的情况下，
所述控制单元在将所述3D模型叠加在所述捕获图像上的情况下显示所述3D模型。
18.一种信息处理方法，包括：
控制处理，其控制显示在捕获图像中的3D模型；以及
检测处理，其检测与所述3D模型同时显示在所述捕获图像中的被摄体的特征，其中，
所述控制处理根据通过所述检测处理检测到的所述被摄体的特征来改变所述3D模型的显示模式。
19.一种程序，所述程序用于使计算机用作：
控制单元，其控制显示在捕获图像中的3D模型；以及
检测单元，其检测与所述3D模型同时显示在所述捕获图像中的被摄体的特征，其中，
所述程序使所述控制单元根据由所述检测单元检测到的所述被摄体的特征来改变所述3D模型的显示模式。
CN202080045553.2A 2019-06-28 2020-06-19 信息处理装置、信息处理方法和程序 Pending CN114008582A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019121554 2019-06-28
JP2019-121554 2019-06-28
PCT/JP2020/024249 WO2020262261A1 (ja) 2019-06-28 2020-06-19 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN114008582A true CN114008582A (zh) 2022-02-01

Family

ID=74060879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080045553.2A Pending CN114008582A (zh) 2019-06-28 2020-06-19 信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US11842453B2 (zh)
EP (1) EP3982331A4 (zh)
JP (1) JPWO2020262261A1 (zh)
CN (1) CN114008582A (zh)
WO (1) WO2020262261A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11917118B2 (en) * 2019-12-27 2024-02-27 Sony Group Corporation Information processing apparatus and information processing method
WO2024009745A1 (ja) * 2022-07-07 2024-01-11 ソニーグループ株式会社 情報処理装置、情報処理方法、および記録媒体
WO2024204042A1 (ja) * 2023-03-30 2024-10-03 富士フイルム株式会社 情報処理装置、情報処理方法、プログラム、及び記録媒体

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006227838A (ja) * 2005-02-16 2006-08-31 Nec Corp 画像処理装置及び画像処理プログラム
US20070006091A1 (en) * 2005-06-30 2007-01-04 Canon Kabushiki Kaisha Image processing method and image processing apparatus
CN102630024A (zh) * 2011-02-01 2012-08-08 富士胶片株式会社 图像处理设备、三维图像打印系统、以及图像处理方法
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的系统和方法
JP2017138914A (ja) * 2016-02-05 2017-08-10 株式会社バンダイナムコエンターテインメント 画像生成システム及びプログラム
CN107045711A (zh) * 2016-02-05 2017-08-15 株式会社万代南梦宫娱乐 图像生成系统以及图像处理方法
US20180161677A1 (en) * 2015-09-18 2018-06-14 Kabushiki Kaisha Square Enix (Also Trading As Square Enix Co., Ltd.) Video game processing program, video game processing system and video game processing method
CN108885799A (zh) * 2016-03-23 2018-11-23 索尼互动娱乐股份有限公司 信息处理设备，信息处理系统以及信息处理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5646263B2 (ja) * 2010-09-27 2014-12-24 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US9947139B2 (en) * 2014-06-20 2018-04-17 Sony Interactive Entertainment America Llc Method and apparatus for providing hybrid reality environment
US11716487B2 (en) 2015-11-11 2023-08-01 Sony Corporation Encoding apparatus and encoding method, decoding apparatus and decoding method
DK179867B1 (en) * 2017-05-16 2019-08-06 Apple Inc. RECORDING AND SENDING EMOJI
EP3721418A1 (en) * 2017-12-05 2020-10-14 Diakse Method of construction of a computer-generated image and a virtual environment
US11600047B2 (en) * 2018-07-17 2023-03-07 Disney Enterprises, Inc. Automated image augmentation using a virtual character
KR102664688B1 (ko) * 2019-02-19 2024-05-10 삼성전자 주식회사 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법
US11450051B2 (en) * 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006227838A (ja) * 2005-02-16 2006-08-31 Nec Corp 画像処理装置及び画像処理プログラム
US20070006091A1 (en) * 2005-06-30 2007-01-04 Canon Kabushiki Kaisha Image processing method and image processing apparatus
CN102630024A (zh) * 2011-02-01 2012-08-08 富士胶片株式会社 图像处理设备、三维图像打印系统、以及图像处理方法
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的系统和方法
US20180161677A1 (en) * 2015-09-18 2018-06-14 Kabushiki Kaisha Square Enix (Also Trading As Square Enix Co., Ltd.) Video game processing program, video game processing system and video game processing method
JP2017138914A (ja) * 2016-02-05 2017-08-10 株式会社バンダイナムコエンターテインメント 画像生成システム及びプログラム
CN107045711A (zh) * 2016-02-05 2017-08-15 株式会社万代南梦宫娱乐 图像生成系统以及图像处理方法
CN108885799A (zh) * 2016-03-23 2018-11-23 索尼互动娱乐股份有限公司 信息处理设备，信息处理系统以及信息处理方法

Also Published As

Publication number Publication date
EP3982331A4 (en) 2022-11-09
US11842453B2 (en) 2023-12-12
WO2020262261A1 (ja) 2020-12-30
EP3982331A1 (en) 2022-04-13
US20220358724A1 (en) 2022-11-10
JPWO2020262261A1 (zh) 2020-12-30

Similar Documents

Publication Publication Date Title
CN108292489B (zh) 信息处理装置和图像生成方法
WO2020262261A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP3847753B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US9530249B2 (en) Computer-readable storage medium having image processing program stored therein, image processing apparatus, image processing system, and image processing method
KR101822471B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
TWI669635B (zh) 用於顯示彈幕的方法、裝置以及非揮發性電腦可讀儲存介質
CN109615703A (zh) 增强现实的图像展示方法、装置及设备
JP6576536B2 (ja) 情報処理装置
CN109952759A (zh) 用于具有hmd的视频会议的改进的方法和系统
CN113994396A (zh) 基于增强现实和/或姿势检测技术的用户引导系统
US10771761B2 (en) Information processing apparatus, information processing method and storing unit
JP7234264B2 (ja) 複合現実表示装置および複合現実表示方法
US20130057574A1 (en) Storage medium recorded with program, information processing apparatus, information processing system, and information processing method
KR102450236B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
CN113795863A (zh) 用于图像的深度图的处理
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
CN115176282A (zh) 图像处理装置、生成3d模型的方法、学习方法以及程序
US9167231B2 (en) System and method for calibrating a stereoscopic camera based on manual alignment of test images
JP2022183213A (ja) ヘッドマウントディスプレイ
US20140092133A1 (en) Computer-readable medium, image processing device, image processing system, and image processing method
CN115486091B (zh) 使用虚拟现实设备进行视频处理的系统和方法
JP6649010B2 (ja) 情報処理装置
CN113066189B (zh) 一种增强现实设备及虚实物体遮挡显示方法
CN109799899A (zh) 交互控制方法、装置、存储介质和计算机设备
KR20210133674A (ko) 증강 현실 장치 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination