CN107950019B - 信息处理装置、信息处理方法和计算机可读存储介质 - Google Patents

信息处理装置、信息处理方法和计算机可读存储介质 Download PDF

Info

Publication number
CN107950019B
CN107950019B CN201680050091.7A CN201680050091A CN107950019B CN 107950019 B CN107950019 B CN 107950019B CN 201680050091 A CN201680050091 A CN 201680050091A CN 107950019 B CN107950019 B CN 107950019B
Authority
CN
China
Prior art keywords
display area
user
information processing
image
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680050091.7A
Other languages
English (en)
Other versions
CN107950019A (zh
Inventor
池田拓也
井田健太郎
川名阳方
繁田脩
铃木诚司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107950019A publication Critical patent/CN107950019A/zh
Application granted granted Critical
Publication of CN107950019B publication Critical patent/CN107950019B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

提供了一种信息处理装置，所述信息处理装置包括图像处理单元，所述图像处理单元配置为基于方向信息对目标图像执行几何校正，所述目标图像被指示要显示在能够显示图像的显示区域中，所述方向信息指示查看所述显示区域的用户相对于所述显示区域的方向。

Description

信息处理装置、信息处理方法和计算机可读存储介质
技术领域
本公开涉及一种信息处理装置、信息处理方法、和程序。
背景技术
已经开发出了用于基于查看图像的查看者的位置来决定投射图像的投射位置并且基于决定的投射位置来改变投影仪的位置或者投影仪的投射方向的技术。作为这种技术，例如，可以例证下面列出的专利文献1中公开的技术。
引文列表
专利文献
专利文献1：JP 2007-079210A
发明内容
技术问题
例如，在专利文献1中公开的技术中，使用限定有与相应查看者的位置相对应的多个投射位置的投射位置信息来决定与检测到的查看者的位置相对应的投射位置。然而，在使用在专利文献1中公开的技术的情况下，可以显示图像从而使得查看者可以仅在投射位置信息中预先限定的投射位置处就能容易地查看图像。
本公开提出了一种新颖且改进的信息处理装置、新颖且改进的信息处理方法、和新颖且改进的能够根据用户相对于显示区域的状态来校正显示在显示区域中的图像的程序。
问题的解决方案
根据本公开，提供了一种信息处理装置，该信息处理装置包括：图像处理单元，该图像处理单元配置为基于方向信息对目标图像执行几何校正，该目标图像被指示要显示在能够显示图像的显示区域中，该方向信息指示查看显示区域的用户相对于显示区域的方向。
另外，根据本公开，提供了一种由信息处理装置执行的信息处理方法，该信息处理方法包括：基于方向信息对目标图像执行几何校正的步骤，该目标图像被指示要显示在能够显示图像的显示区域中，该方向信息指示查看显示区域的用户相对于显示区域的方向。
另外，根据本公开，提供了一种使计算机执行以下步骤的程序：基于方向信息对目标图像执行几何校正的步骤，该目标图像被指示要显示在能够显示图像的显示区域中，该方向信息指示查看显示区域的用户相对于显示区域的方向。
发明的有益效果
根据本公开，可以根据用户相对于显示区域的状态来校正显示在显示区域中的图像。
要注意的是，上述效果不一定是限制性的。利用或者代替上述效果，可以实现本说明书中描述的任一效果或者可以从本说明书理解的其它效果。
附图说明
[图1]图1是图示了根据实施例的信息处理方法的概述的说明图。
[图2]图2是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图3]图3是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图4]图4是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图5]图5是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图6]图6是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图7]图7是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图8]图8是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图9]图9是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图10]图10是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图11]图11是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图12]图12是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图13]图13是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图14]图14是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图15]图15是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图16]图16是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图17]图17是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图18]图18是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图19]图19是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图20]图20是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图21]图21是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图22]图22是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图23]图23是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图24]图24是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。
[图25]图25是图示了与根据实施例的信息处理方法有关的处理的示例的流程图。
[图26]图26是图示了与根据实施例的信息处理方法有关的处理的另一个示例的流程图。
[图27]图27是图示了根据实施例的信息处理装置的配置的示例的框图。
[图28]图28是图示了根据实施例的信息处理装置的硬件配置的示例的说明图。
具体实施方式
在下文中，将会参照附图对本公开的优选实施例进行详细描述。在本说明书和附图中，使用相同的附图标记来表示具有实质相同的功能和结构的结构元件，并且省略这些结构元件的重复说明。
而且，下面将会按照以下顺序进行描述。
1.根据实施例的信息处理方法
2.根据实施例的信息处理装置
3.根据实施例的程序
(根据实施例的信息处理方法)
首先，将会描述根据实施例的信息处理方法。在下文中，将会通过例证根据实施例的信息处理装置执行与根据实施例的信息处理方法有关的处理的情况来描述根据实施例的信息处理方法。
[1]根据实施例的信息处理方法的概述
例如，考虑可以在诸如房间中的墙壁、天花板、或者地板等空间中显示图像的任何位置显示图像(静止图像或者移动图像：下面同样适用)的显示环境。
此处，作为根据实施例的显示环境，可以例证，例如，通过使一个或两个或多个图像投射装置(例如，投影仪)投射图像来显示图像的环境、通过使安装在墙壁、天花板、地板等上的显示装置显示图像来显示图像的环境、或者其组合的环境。在下文中，将会主要例证根据实施例的显示环境是通过使一个或两个或多个图像投射装置投射图像来显示图像的环境的情况。
作为与根据实施例的信息处理方法有关的处理，例如，根据实施例的信息处理装置基于方向信息对被指示要显示在显示区域的目标的图像执行几何校正，该方向信息指示查看显示区域的用户相对于显示区域的方向(图像处理)。
在下文中，被指示要显示在显示区域的目标的图像被称为“目标图像”。作为根据实施例的目标图像，例如，可以例证指示任何内容的静止图像或者移动图像。而且，根据实施例的目标图像可以是指示与用户界面(UI)有关的屏幕的图像。
此处，根据实施例的显示区域是可以在显示环境的空间(在下文中，在某些情况下简称为“空间”)中显示图像的区域。而且，根据实施例的显示区域指的是，例如，既不指示整个屏幕(墙壁、天花板等)也不指示整个投射区域，而是与被指示要输出在可显示区域中的图像相对应的区域。根据实施例的显示区域可以是已经显示有图像的区域或者可以是从现在起将会显示图像的区域。作为根据实施例的显示区域，例如，可以例证在显示环境的空间(诸如，墙壁、天花板、地板)中的一个表面上的区域或者在多个表面上的区域。在下文中，将会主要例证根据实施例的显示区域是在显示环境的空间中的一个表面上的区域的情况。
作为根据实施例的显示区域，可以例证预先设定的区域。
而且，根据实施例的显示区域可以是，例如，基于用户的姿态或者用户的视线(例如，视线方向或者视点位置)设定的区域。例如，基于通过对显示环境的空间进行成像的成像装置而获得的捕获图像或者能够检测用户的运动、姿态等的任何传感器(诸如，加速度传感器或者角速度传感器)的检测结果来估计用户的姿态或者视线。
例如，通过使用在视线方向上从查看图像的用户的视点位置延伸出来的直线与显示环境的空间中的表面相交的位置作为参考(在下文中被称为“设定参考位置”)来设定根据实施例的显示区域。而且，作为基于设定参考位置设定的显示区域，例如，可以给出以下示例。另外，不言自明的是，基于设定参考位置设定的显示区域的示例并不限于以下示例：
-将设定参考位置设定为显示区域的设定预定位置的区域，例如，将设定参考位置设定在显示区域的质心位置；以及
-在将设定参考位置设定为预定位置时的区域不在一个平面上的情况 (显示区域是由一个平面形成的区域的情况)下，平移将设定参考位置设定为预定位置时的区域从而使得该区域位于一个平面上的区域。
可以在根据实施例的信息处理装置中执行或者可以在根据实施例的信息处理装置的外部装置中执行与设定根据实施例的显示区域有关的显示区域设定处理。
根据实施例的方向信息是指示查看显示区域的用户相对于显示区域的方向的数据。如下面将会描述的，可以使用根据实施例的方向信息来指定(或估计)用户如何查看显示区域。即，根据实施例的方向信息可以说是指示用户相对于显示区域的状态的信息。
作为根据实施例的方向信息，例如，可以例证指示用户相对于显示区域的视线方向的信息或者指示用户相对于显示区域的姿态的信息。
作为指示用户相对于显示区域的视线方向的信息，例如，可以例证指示显示区域的法线方向与视线方向之间的角度的数据。另外，指示用户相对于根据实施例的显示区域的视线方向的信息并不限于前述信息。例如，该信息可以是可以指定用户相对于显示区域的视线方向的任何数据，诸如，在空间的预定坐标系中用矢量格式表示用户的视线方向的数据。而且，指示用户相对于显示区域的视线方向的信息可以包括，例如，指示用户的视点位置的数据。
而且，作为指示用户相对于根据实施例的显示区域的姿态的信息，例如，可以例证指示显示区域的法线方向与用户的预定部位(诸如，用户的面部或者胸部)正对的方向之间的角度的数据。另外，指示用户相对于根据实施例的显示区域的姿态的信息并不限于前述信息。例如，该信息可以是可以指定用户相对于显示区域的预定部位正对的方向的任何数据，诸如，在空间的预定坐标系中用矢量格式表示用户的预定部位正对的方向的数据。另外，指示根据实施例的姿态的信息可以包括指示基于能够检测用户的运动的传感器 (诸如，加速度传感器)的感测结果等或者通过对显示环境的空间进行成像而获得的捕获图像来估计的用户的姿态(例如，站着、坐着、或者躺着)的数据。
另外，根据实施例的方向信息并不限于指示用户相对于显示区域的视线方向的信息或者指示用户相对于显示区域的姿态的信息，而可以是可以指定查看显示区域的用户相对于显示区域的方向的任何数据。
在下文中，将会主要例证由根据实施例的方向信息所指示的、作为查看显示区域的主体的用户相对于显示区域的方向的情况。而且，在下文中，在某些情况下，由根据实施例的方向信息所指示的、作为查看显示区域的主体的用户相对于显示区域的方向被称为“由方向信息所指示的用户的方向”或者“用户的方向”。
例如，根据实施例的信息处理装置通过使用任何技术(诸如，基于指示从各种传感器获取的感测结果的数据使用图像处理的方法)来生成方向信息。而且，例如，根据实施例的信息处理装置还可以获取通过与外部装置经由网络通信(或者直接通信)而在根据实施例的信息处理装置的外部装置中生成的方向信息。
而且，作为根据实施例的几何校正，例如，可以例证使目标图像围绕预定轴线旋转的处理。作为根据实施例的旋转，例如，可以例证在一个阶段中的目标图像的旋转或者在两个或多个阶段中的目标图像的旋转的组合。此处，通过根据实施例的几何校正(更具体地，下面将会描述的阶段3的几何校正或者阶段4的几何校正)使目标图像旋转，并且例如按照预定纵横比(诸如， 16:9或者4:3)使正方形图像失真，来实现显示有图像的显示区域的形状的变化。而且，根据实施例的几何校正可以包括平移图像的处理。下面将会描述根据实施例的预定轴线的示例。
而且，根据实施例的几何校正可以包括不对目标图像执行几何校正的处理。在不对目标图像执行几何校正的情况下，在显示区域中显示未被校正的目标图像。
从根据实施例的几何校正的另一种角度来说，作为根据实施例的几何校正，例如，可以例证按照第一模式的几何校正和按照第二模式的几何校正，在该第一模式中，使目标图像旋转从而使得在显示区域中显示的图像朝着方向信息所指示的用户的方向倾斜，在该第二模式中，不执行第一几何校正。例如，按照第一模式的几何校正与下面将会描述的阶段4的几何校正相对应。而且，例如，按照第二模式的几何校正与下面将会描述的阶段1的几何校正至阶段3的几何校正之中的一个或两个或多个几何校正相对应。
根据实施例的信息处理装置基于，例如，“目标图像”和“查看显示区域的用户的状态”中的一个或两个在第一模式和第二模式之间切换。
此处，作为基于目标图像在第一模式和第二模式之间的切换，例如，可以例证基于目标图像的内容或者类型的每种模式的切换。
而且，作为基于用户的状态在第一模式和第二模式之间的切换，例如，可以例证基于查看显示区域的用户数的每种模式的切换或者基于方向信息所指示的用户的方向与显示区域之间的关系的每种模式的切换。基于查看显示区域的用户数的每种模式的切换是，例如，查看显示区域的用户数是1 的情况下的每种模式的切换和查看显示区域的用户数是2或者更多的情况下的每种模式的切换。
下面将会描述根据实施例的几何校正的示例。
图1是图示了根据实施例的信息处理方法的概述的说明图。图1中的A 指示了将经过根据实施例的几何校正的目标图像显示在显示区域中的示例并且图1中的B指示了将经过根据实施例的几何校正的目标图像显示在显示区域中的另一个示例。
例如，如图1的A所示，在作为查看显示区域的主体的用户正对显示区域的情况下，可以通过对目标图像执行几何校正从而使得重力方向与图像的垂直方向相匹配来将对用户来说能见度良好的图像显示在显示区域中。此处，例如，作为查看显示区域的主体的用户正对显示区域的情况与方向信息所指示的用户的方向(与图1所示的视线方向相对应)与显示区域的法线方向相匹配(或者大体上相匹配)的情况相对应。
而且，例如，如图1的B所示，在作为查看显示区域的主体的用户未正对显示区域的情况下，可以通过对目标图像执行几何校正从而使得目标图像朝着方向信息所指示的用户的方向(与图1所示的视线方向相对应)倾斜来将对用户来说能见度良好的图像显示在显示区域中。
例如，如图1所示，可以使用根据实施例的方向信息来指定(或者估计) 用户如何查看显示区域并且根据实施例的信息处理装置基于方向信息所指示的用户的方向来改变要对目标图像执行的几何校正的内容。
而且，图1图示了在将显示区域设定在显示环境的空间的侧表面(诸如，房间的墙壁)上并且显示有图像的情况下显示经过几何校正的目标图像的示例。然而，如上所述，可以将显示区域设定在诸如空间的上表面(诸如，房间的天花板)等表面上，而不是设定在侧表面上。此处，例如，在将显示区域设定在空间的上表面上的情况下，可能会出现上下问题(与图像的上、下、左、和右显示在何处有关的问题)。然而，根据实施例的信息处理装置可以基于方向信息所指示的用户的方向来对目标图像执行旋转(这是几何校正的示例)，从而可以防止出现上下问题。
相应地，根据实施例的信息处理装置可以通过执行根据实施例的前述图像处理来根据用户相对于显示区域的状态校正显示在显示区域中的图像。
另外，与根据实施例的信息处理方法有关的处理并不限于根据实施例的图像处理。
例如，如上所述，根据实施例的信息处理装置可以进一步执行与设定显示区域有关的显示区域设定处理。
而且，根据实施例的信息处理装置可以通过显示区域中的根据实施例的图像处理来进一步执行显示经过几何校正的目标图像的显示控制处理。
例如，在通过将图像从图像投射装置投射来将图像显示在显示区域中的情况下，根据实施例的信息处理装置控制从图像投射装置的图像的投射。例如，根据实施例的信息处理装置通过使图像投射装置经由通信单元(下面将会描述)或者连接的外部通信装置传输控制数据来控制从图像投射装置的图像的投射，该控制数据包括控制命令和指示经过几何校正的目标图像的图像数据。
而且，根据实施例的信息处理装置通过使包括云台机构(诸如，安装有图像投射装置的平台)的装置传输包括控制命令的控制数据来控制包括在包括云台机构的装置内的云台机构的操作。
在通过将图像从图像投射装置投射来将图像显示在显示区域中的情况下，例如，如上所述，控制图像投射装置和包括云台机构的装置，从而使得根据实施例的信息处理装置可以将经过几何校正的目标图像显示在显示区域中。
而且，例如，在通过将图像从显示装置显示来将图像显示在显示区域中的情况下，根据实施例的信息处理装置控制从显示装置的图像的显示。例如，根据实施例的信息处理装置通过使显示装置经由通信单元(下面将会描述) 或者连接的外部通信装置传输控制数据来控制从显示装置的图像的显示，该控制数据包括控制命令和指示经过几何校正的目标图像的图像数据。
在通过将图像从显示装置显示来将图像显示在显示区域中的情况下，例如，根据实施例的信息处理装置控制从显示装置的图像的显示，从而根据实施例的信息处理装置将经过几何校正的目标图像显示在显示区域中。
在下文中，将会更具体地描述与根据实施例的信息处理方法有关的处理。 [2]与根据实施例的信息处理方法有关的处理
[2-1]根据实施例的显示环境的示例
图2是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图2图示了一个房间作为根据实施例的显示环境的示例。
作为根据实施例的显示环境，例如，如图2所示，可以例证成像装置被安装在室内天花板的四个角落里并且图像投射装置被安装在包括云台机构的平台上的环境，可以在室内地板上朝着摇摄方向和倾斜方向驱动该云台机构。而且，尽管未在图2中图示，但是能够根据将图像投射装置的投射方向设定为检测方向的检测结果而获得室内3维信息的深度传感器被安装在平台上。
例如，在图2所示的显示环境中，根据实施例的信息处理装置使用基于从每个成像装置获取的捕获图像所估计的用户的位置和姿态以及用户的视线方向来执行处理。此处，可以在根据实施例的信息处理装置中或者在根据实施例的信息处理装置的外部装置(诸如，服务器)中执行与基于捕获图像对用户的视线方向进行估计有关的处理和与基于捕获图像对用户的位置和姿态进行估计有关的处理中的一个或两个。诸如服务器等外部装置通过经由任何网络(诸如，互联网)的通信(或者遵照任何通信方案的直接通信)来与根据实施例的信息处理装置连接。在根据实施例的信息处理装置的外部装置中执行与前述各种估计相关的处理的情况下，根据实施例的信息处理装置使用指示估计结果的信息来执行处理。
另外，例如，可以使用能够根据捕获的图像估计用户的视线方向的任何技术(诸如，根据捕获的图像检测用户的面部或者眼部的方法)来执行基于捕获的图像估计用户的视线方向。例如，通过分析成像有用户的面部或者眼球的捕获图像并且估计面部的方向或者瞳孔的方向来估计用户的视线方向。而且，还可以使用角膜光反射来估计用户的视线方向。
而且，可以使用能够根据捕获的图像估计用户的位置和姿态的任何技术 (诸如，根据捕获的图像检测用户的部位的方法或者使用诸如成像装置的安装位置或视角等数据的方法)来执行基于捕获的图像估计用户的位置和姿态。
而且，用户的视线方向并不限于基于捕获的图像估计的视线方向。例如，可以基于指示显示区域的位置的信息和指示用户的位置的信息来将连接显示区域的位置和用户的位置的方向估计为用户的视线方向。作为指示显示区域的位置的信息，例如，可以例证指示屏幕的位置或者显示(投射)有图像的位置的信息。而且，作为指示用户的位置的信息，例如，可以例证指示基于捕获的图像估计的用户的位置的信息。
而且，例如，在图2所示的显示环境中，根据实施例的信息处理装置可以使用从，例如，深度传感器获取的信息(例如，指示3维点群的数据)来进行处理。此处，例如，使用3维信息来计算与显示区域相对应的平面方程。
在图2所示的显示环境中，根据实施例的信息处理装置可以被安装在室内或者可以被安装在室外。在根据实施例的信息处理装置被安装在室内的情况下，根据实施例的信息处理装置可以被安装在任何地点，例如，可以被安装在平台上。
另外，根据实施例的显示环境并不限于图2所示的示例。
例如，图2图示了从通过安装在室内天花板的四个角落里的成像装置捕获的图像检测用户的视线方向和用户的位置和姿态的示例，但是可以组合诸如陀螺仪传感器和加速度传感器等传感器来检测用户的位置和姿态。而且，例如，可以基于通过安装在用户上的可穿戴式装置(例如，头戴式显示器或者眼镜)上的成像装置捕获的图像来检测用户的视线方向。
而且，例如，图2图示了使用深度传感器来获得3维信息的示例，但是还可以使用能够获取深度信息的任何方案来获得3维信息。作为能够获取深度信息的方案，例如，可以例证使用立体深度相机的方案、飞行时间(TOF) 方案、使用激光测距仪的方案、使用通过超声波的距离测量的方案、和投射红外(IR)激光图案的方案。
而且，例如，深度传感器可以被安装在室内天花板的四个角落里。
而且，还可以使用从安装在室内天花板的四个角落里的成像装置获得的捕获的图像生成3维环境的技术来获得3维信息，该技术被称为同步定位与地图构建(SLAM)。
[2-2]与根据实施例的信息处理方法有关的处理
在下文中，将会主要例证图2所示的显示环境来描述与根据实施例的信息处理方法有关的处理。
(1)信息处理
根据实施例的信息处理装置基于方向信息来对目标图像执行几何校正。
(1-1)根据实施例的几何校正的示例
作为根据实施例的几何校正，例如，可以例证将会在以下(A)至(D) 中描述的四个阶段的几何校正。另外，下面将会描述在每个阶段中的具体处理。
(A)阶段1：显示未被校正的目标图像的几何校正
图3是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图3图示了在显示区域中显示与阶段1的几何校正有关的目标图像的情况的示例。
在阶段1的几何校正中，根据实施例的信息处理装置不对目标图像执行几何校正。
在执行阶段1的几何校正的情况下，在显示区域中显示未被校正的目标图像。
此处，当执行阶段1的几何校正时，在显示区域中显示目标图像，不进行校正。因此，作为实施阶段1的几何校正的情况，例如，可以例证目标图像是指示即使在不考虑上下的情况下也不会被破坏的内容的图像的情况。
图4是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图4的A和图4的B图示了指示即使在不考虑上下的情况下也不会被破坏的内容的图像的示例。
作为指示即使在不考虑上下的情况下也不会被破坏的内容的图像，例如，可以例证诸如星空等图像(图4的A)或者指示极光的图像或使用有小颗粒 (微粒)的动画(图4的B)。
相应地，例如，根据实施例的信息处理装置可以基于目标图像来自动执行阶段1的几何校正，在该阶段1的几何校正中，不对目标图像执行几何校正。
(B)阶段2：使目标图像朝着用户的视线方向旋转并且显示目标图像的几何校正
图5是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图5图示了在显示区域中显示与阶段2的几何校正有关的目标图像的情况的示例。
在阶段2的几何校正中，根据实施例的信息处理装置执行使图像从用户的视点位置和视线方向朝着用户的视线方向旋转的处理(一个阶段的旋转处理)。
在执行阶段2的几何校正的情况下，例如，在显示区域中显示通过使阶段1的目标图像在显示区域的表面上旋转而获得的图像。相应地，在执行阶段2的几何校正的情况下，例如，可以防止出现上下问题。
此处，在阶段2的几何校正中，与在执行下面将会描述的阶段3的几何校正或者阶段4的几何校正的情况相比，在许多情况下，显示在显示区域中的图像的大小更大(这是因为，与在执行下面将会描述的阶段3的几何校正或者阶段4的几何校正的情况下的显示区域相比，要显示在显示区域中的图像的大小更小)。
相应地，根据实施例的信息处理装置可以，例如，基于即使在不执行下面将会描述的阶段3的几何校正或者阶段4的几何校正时通过使用位置关系确保能见度的情况下在图像投射装置的安装位置与显示区域之间的位置关系，来自动执行阶段2的几何校正。
(C)阶段3：将目标图像与显示区域的法线方向对准的几何校正
图6和7是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图6和7各自图示了在显示区域中显示与阶段3的几何校正有关的目标图像的情况的示例。
在阶段3的几何校正中，根据实施例的信息处理装置考虑到用户的视点位置和面部方向来校正图像。根据实施例的信息处理装置基于，例如，3维信息来计算与显示区域相对应的平面方程并且估计与显示区域相对应的平面。根据实施例的信息处理装置通过使目标图像沿着估计的平面旋转并且根据用户头部的定向使目标图像进一步旋转来执行使目标图像根据估计的平面的法线方向旋转(在下文中，在某些情况下被称为“正对校正”)的处理 (二个阶段的旋转处理)。另外，阶段3的几何校正中的处理的顺序并不限于前述顺序。根据实施例的信息处理装置可以按照任何处理顺序来执行阶段 3的几何校正。
在执行阶段3的几何校正的情况下，如图7所示，例如，将目标图像显示在显示区域中，如同将海报粘附到平面上。如图6和7所示，在显示区域被设定在天花板上并且用户躺在地板上的情况下，用户按照仰躺时查看图像的方式查看目标图像。
(D)阶段4：使目标图像朝着用户的视线方向倾斜并且显示目标图像的几何校正
图8和9是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图8和9各自图示了在显示区域中显示与阶段4的几何校正有关的目标图像的情况的示例。
阶段4的几何校正是，例如，被执行以使目标图像旋转从而使得显示在显示区域中的图像朝着方向信息所指示的用户的方向倾斜的几何校正。
在阶段4的几何校正中，除了与阶段3的几何校正类似的几何校正，根据实施例的信息处理装置进一步执行使目标图像朝着用户的视线方向倾斜 (在下文中被称为“查看方向校正”)的处理(三个阶段的旋转处理)。根据实施例的信息处理装置执行，例如，进一步使经过阶段3的几何校正的目标图像朝着用户的视线方向旋转作为阶段4的几何校正的处理。另外，阶段4 的几何校正的处理的顺序并不限于前述顺序。根据实施例的信息处理装置可以按照任何处理顺序来执行阶段4的几何校正。在下文中，将会例证根据实施例的信息处理装置执行进一步使经过阶段3的几何校正的目标图像朝着用户的视线方向旋转作为阶段4的几何校正的处理的情况。
在执行阶段4的几何校正的情况下，如图9所示，例如，在显示区域中显示被倾斜为与用户的视线方向垂直的目标图像。此处，阶段4的几何校正等同于，例如，使用户查看目标图像而执行的几何校正，如同将目标图像显示在正对用户的虚拟表面上。在显示区域被设定在天花板上并且用户躺在地板上的情况下，如图8和9所示，用户可以按照视线被倾斜向上定向的方式查看目标图像。
作为根据实施例的几何校正，例如，可以例证在前述(A)至(D)中描述的四个阶段的几何校正。另外，在图3至9中已经描述了显示区域被设定在天花板上的示例。然而，即使在显示区域被设定在墙壁表面或者地板上的情况下，也可以实施类似的处理。
另外，根据实施例的几何校正并不限于在前述(A)至(D)中描述的四个阶段的几何校正。
例如，如上所述，根据实施例的几何校正可以是与阶段4的几何校正相对应的按照第一模式的几何校正和按照第二模式的几何校正(例如，阶段1 的几何校正至阶段3的几何校正之中的一个或两个或多个几何校正)，在第二模式中，不执行第一模式的几何校正。
例如，在检测到指定几何校正的内容的用户操作的情况下，根据实施例的信息处理装置执行与对目标图像的用户操作相对应的几何校正。
此处，作为根据实施例的用户操作，例如，可以例证手动操作，诸如，对用于选择几何校正的阶段的按钮的按压、对用于选择几何校正的阶段的语音的发声、用于选择几何校正的阶段的手势。例如，在诸如远程控制器、智能手机、或者平板计算机等任何装置上执行用于选择几何校正的阶段的手动操作。
在执行用于选择几何校正的阶段的按钮的按压作为用户操作并且，例如，获取到包括指示几何校正的阶段的阶段识别信息(例如，执行几何校正的阶段的ID)的操作信号的情况下，根据实施例的信息处理装置执行阶段识别信息所指示的阶段的几何校正。
而且，在执行用于选择几何校正的阶段的语音的发声作为用户操作的情况下，根据实施例的信息处理装置执行，例如，与语音识别的结果相对应的阶段的几何校正。语音识别可以由根据实施例的信息处理装置执行或者可以由根据实施例的信息处理装置的外部装置执行。
而且，在执行用于选择几何校正的阶段的手势作为用户操作的情况下，根据实施例的信息处理装置执行，例如，与手势的识别结果相对应的阶段的几何校正。手势可以由根据实施例的信息处理装置识别或者可以由根据实施例的信息处理装置的外部装置识别。
在根据实施例的信息处理装置执行与用户操作相对应的几何校正的情况下，用户可以通过执行选择几何校正的阶段的操作来查看经过期望的几何校正的图像。
而且，根据实施例的信息处理装置还可以，例如，通过自动改变要对目标图像执行的几何校正的内容来切换几何校正。例如，根据实施例的信息处理装置在前述(A)至(D)中描述的四个阶段的几何校正之间切换。而且，例如，根据实施例的信息处理装置可以在按照第一模式的几何校正与按照第二模式的几何校正之间切换。
图10和11是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图10和11图示了在根据实施例的信息处理装置中前述(A)至(D) 中描述的四个阶段的几何校正的切换条件的示例。图10和11图示了在通过图2所示的图像投射装置的投射来将图像显示在显示区域中的显示环境中的几何校正的切换条件的示例。
根据实施例的信息处理装置，例如，如将会在以下(I)至(IV)中描述的那样通过改变要对目标图像执行的几何校正的内容来切换几何校正。
另外，接下来，将会例证根据实施例的信息处理装置在前述(A)至(D) 中描述的四个阶段的几何校正之间切换的情况的示例。同样还可以实现按照第一模式的几何校正与按照第二模式的几何校正之间的切换。
具体地，例如，执行前述(D)中描述的阶段4的几何校正的情况与执行按照第一模式的几何校正的情况相对应。而且，例如，执行前述(A)至 (C)中描述的阶段1至阶段3的几何校正的情况与执行按照第二模式的几何校正的情况相对应。
(I)与几何校正的切换有关的处理的第一示例
例如，根据实施例的信息处理装置根据方向信息所指示的用户的方向与显示区域之间的关系来改变要对目标图像执行的几何校正的内容。
更具体地，根据实施例的信息处理装置在用户的方向与显示区域之间的关系是第一关系的情况和用户的方向与显示区域之间的关系是第二关系的情况之间改变要对目标图像执行的几何校正的内容，在该第一关系中，确定用户的方向和显示区域垂直相交，该第二关系与第一关系不同。
此处，例如，根据实施例的信息处理装置确定，在与基于3维信息估计的显示区域相对应的平面的法线方向与方向信息所指示的用户的方向之间的角度小于设定预定角度(或者该角度是预定角度或更小)的情况下，用户的方向和显示区域垂直相交。预定角度可以是预先设定的固定角度或者可以是可以基于用户操作等改变的可变值。随着预定角度变小，确定用户的方向和显示区域垂直相交的参考会变得更严格。
例如，如图10所示，在用户的方向与显示区域之间的关系是第一关系的情况下，根据实施例的信息处理装置执行前述(A)中描述的阶段1至前述(C)中描述的阶段3中的任一几何校正。
而且，如上所述，根据实施例的信息处理装置可以基于目标图像来自动执行前述(A)中描述的阶段1的几何校正。即，在用户的方向与显示区域之间的关系是第一关系的情况下，根据实施例的信息处理装置不必通过进一步基于目标图像执行前述(A)中描述的阶段1的几何校正来对目标图像执行几何校正。
而且，例如，如图10所示，在用户的方向与显示区域之间的关系是第二关系的情况下，根据实施例的信息处理装置执行前述(D)中描述的阶段 4的几何校正。在用户的方向与显示区域之间的关系是第二关系的情况下执行前述(D)中描述的阶段4的几何校正的原因是，例如，如图9所示，当执行阶段4的几何校正时，在显示区域中显示被倾斜为与用户的视线方向垂直的目标图像。
(II)与几何校正的切换有关的处理的第二示例
在通过将图像从图像投射装置投射到显示区域来将图像显示在显示区域中的情况下，如图2所示，例如，根据实施例的信息处理装置基于方向信息所指示的用户的方向和将图像从图像投射装置投射到显示区域的投射方向来改变要对目标图像执行的几何校正的内容。
更具体地，例如，根据实施例的信息处理装置在用户的方向与投射方向之间的关系是第三关系的情况和用户的方向与投射方向之间的关系是第四关系的情况之间改变要对目标图像执行的几何校正的内容，在该第三关系中，确定用户的方向和投射方向彼此平行，该第四关系与第三关系不同。
此处，例如，在用户的方向与投射方向之间的角度小于预定角度(或者该角度是预定角度或更小)的情况下，根据实施例的信息处理装置确定用户的方向和投射方向彼此平行。预定角度可以是预先设定的固定角度或者可以是可以基于用户操作等改变的可变值。随着预定角度变小，确定用户的方向和投射方向彼此平行的参考会变得更严格。
例如，如图11所示，在用户的方向与投射方向之间的关系是第三关系的情况下，根据实施例的信息处理装置执行前述(A)中描述的阶段1或者前述(B)中描述的阶段2的几何校正。
而且，例如，如图11所示，根据实施例的信息处理装置可以进一步确定与显示区域相对应的平面平行的方向上的在用户与图像投射装置之间的距离是否较小，并且可以在确定该距离较小的情况下，执行前述(A)中描述的阶段1或者前述(B)中描述的阶段2的几何校正。此处，例如，根据实施例的信息处理装置确定，在基于方向信息等确定用户的视线在显示区域上的情况下，与显示区域相对应的平面平行的方向上的距离较小。
而且，例如，如图11所示，在用户的方向与投射方向之间的关系是第四关系的情况下，根据实施例的信息处理装置执行前述(C)中描述的阶段 3或者前述(D)中描述的阶段4的几何校正。
(III)与几何校正的切换有关的处理的第三示例
根据实施例的信息处理装置执行组合有与前述(I)中描述的第一示例有关的处理和与前述(II)中描述的第二示例有关的处理的处理。
通过执行组合有与前述(I)中描述的第一示例有关的处理和与前述(II) 中描述的第二示例有关的处理的处理，例如，如下切换前述(A)中描述的阶段1和前述(D)中描述的阶段4的几何校正。另外，不言自明的是，在与第三示例有关的几何校正的切换有关的处理中的几何校正的切换示例并不限于以下示例。
-在用户的方向与显示区域之间的关系是第一关系，并且目标图像是指示即使在不考虑上下的情况下也不会被破坏的内容的图像的情况下：执行前述(A)中描述的阶段1的几何校正。
-在用户的方向与显示区域之间的关系是第一关系并且用户的方向与投射方向之间的关系是第三关系的情况下：执行前述(B)中描述的阶段2的几何校正。
-在用户的方向与显示区域之间的关系是第一关系并且用户的方向与投射方向之间的关系是第四关系的情况下：执行前述(C)中描述的阶段3的几何校正。
-在用户的方向与显示区域之间的关系是第二关系的情况下：执行前述 (D)中描述的阶段4的几何校正。
(IV)与几何校正的切换有关的处理的另一个示例
另外，与根据实施例的几何校正的切换有关的处理并不限于与前述(I) 中描述的第一示例有关的处理至与前述(III)中描述的第三示例有关的处理。
例如，根据实施例的信息处理装置还可以根据目标图像来切换几何校正。例如，在目标图像是指示星空的图像的情况下执行阶段1或者阶段2的几何校正，并且在目标图像是移动图像的情况下执行阶段3或者阶段4的几何校正。
根据实施例的信息处理装置，例如，通过分析目标图像来确定目标图像的内容或者种类并且决定要执行的几何校正。而且，根据实施例的信息处理装置还可以参照与目标图像相关联并且指示要执行的几何校正的阶段的数据(例如，元数据)来决定要执行的几何校正。
(1-2)根据实施例的几何校正的具体示例
接下来，将会更具体地描述前述(A)中描述的阶段1至前述(D)中描述的阶段4的几何校正。
(A)阶段1：显示未被校正的目标图像的几何校正
如上所述，在阶段1的几何校正中，根据实施例的信息处理装置不对目标图像执行几何校正。
(B)阶段2：使目标图像朝着用户的视线方向旋转并且显示目标图像的几何校正
图12是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图12图示了阶段2的几何校正的概述。在图12中，目标图像被称为“原始图像”。
例如，根据实施例的信息处理装置根据投射位置和目标图像的上方向来计算相对于用户的视线方向(该视线方向是用户的方向的示例并且下面同样适用)的角度α，该目标图像是几何校正目标。根据实施例的信息处理装置使目标图像旋转了计算的角度α，如图12的A和B所示。
相应地，在执行阶段2的几何校正的情况下，例如，在显示区域中显示通过使阶段1的目标图像在显示区域的表面上旋转而获得的图像，如图12 的C和D所示。
(C)阶段3：将目标图像与显示区域的法线方向对准的几何校正
图13是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图13图示了阶段3的几何校正的概述。在图13中，目标图像被称为“原始图像”。
例如，根据实施例的信息处理装置基于3维信息来计算与显示区域相对应的平面方程和3维信息所指示的3维点群的质心位置(图13的A)。
根据实施例的信息处理装置将投射的图像平移到计算得到的质心位置 (图13的B)。然后，例如，根据实施例的信息处理装置使目标图像沿着与由计算得到的平面方程所估计的显示区域相对应的平面旋转(图13的C)。在图13的C的情况下，根据实施例的信息处理装置使目标图像旋转从而使得Z轴与估计的平面的法线方向相匹配。
例如，根据实施例的信息处理装置使目标图像从投射位置朝着用户的视线方向旋转(图13的D)。在图13的D的情况下，根据实施例的信息处理装置使目标图像旋转从而使得视线方向与Y轴相匹配。
(D)阶段4：使目标图像朝着用户的视线方向倾斜并且显示目标图像的几何校正
图14是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图14图示了阶段4的几何校正的概述。图14的A图示了对目标图像执行参照图13描述的与阶段3有关的处理的状态。
例如，在根据实施例的信息处理装置执行参照图13描述的与阶段3有关的处理之后，根据实施例的信息处理装置进一步使目标图像朝着用户的视线方向旋转(图14的B)。在图14的B中，根据实施例的信息处理装置使目标图像旋转从而使得Z轴与用户的视线方向相匹配。
根据实施例的信息处理装置执行前述(A)中描述的阶段1至前述(D) 中描述的阶段4的几何校正中的前述处理。
(1-3)在通过执行根据实施例的几何校正来投射图像的情况下的理论处理流
接下来，将会描述在执行根据实施例的几何校正并且将图像投射到墙壁、天花板等的情况下的理论处理流。以下理论处理流是在执行前述(C)中描述的阶段3或者前述(D)中描述的阶段4的几何校正的情况下的处理流。
作为在目标图像经过几何变换并且被投射到某个平面的情况下的基本处理，可以例证将会在以下(i)和(ii)中描述的两个处理。
(i)将要投射的图像平移到基于3维信息估计的质心位置并且使要投射的图像旋转以设置为与坐标轴相匹配。
(ii)将配置的图像投射到图像投射装置中的图像坐标系(在下文中被称为“图像投射装置图像坐标系”)以获得几何变换之后的图像。
首先，将会描述前述(i)的处理。
将会考虑图像投射装置被设定为原点的成像装置的坐标系(在下文中被称为“成像装置坐标系”)、基于3维信息估计的平面的质心位置P、和质心位置P被设定为原点的坐标系(在下文中被称为“平面的世界坐标系”)。
图15是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图15图示了成像装置坐标系、平面的世界坐标系、和平面的质心位置 P的坐标的示例。
如图15所示，成像装置坐标系被表示为“(XC,YC,ZC)”并且平面的世界坐标系被表示为“(Xw,Yw,和Zw)”。而且，平面的质心位置P的坐标被表示为“P＝(px,py,pz)”。此处，假设平面的世界坐标系的Zw与基于3维信息估计的平面的法线方向相匹配。
图16是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图16图示了前述(i)的处理的概述。
如图16所示，通过将成像装置坐标系的轴线(XC,YC,和ZC)平移到平面的质心位置P并且进一步使成像装置坐标系的轴线(XC,YC,和ZC)旋转从而使得成像装置坐标系的轴线(XC,YC,和ZC)与平面的世界坐标系 (Xw,Yw,和Zw)相匹配，可以将成像装置坐标系(XC,YC,ZC)转变为平面的世界坐标系(Xw,Yw,Zw)。
此时，通过以下等式1来表示用于将成像装置坐标系(XC,YC,ZC)转变为平面的世界坐标系(Xw,Yw,Zw)的变换矩阵。此处，等式1中的“r”是旋转矩阵的元素并且“t”与平移元素相对应。
[数学公式1]
Figure BDA0001584195510000201
通过使用前述等式1中表示的旋转矩阵，可以将图像转变到任何位置。例如，如图16所示，通过执行由以下等式2表示的计算来将在图像中被表示为成像装置坐标系的点I＝(Ix,Iy,Iz)转变为点I’＝(I’x,I’y,I’z)，该等式2使用由前述等式1表示的旋转矩阵。
[数学公式2]
I′＝MI...(等式2)
例如，通过执行前述处理可以将图像设置到任何平面。
接下来，将会描述前述(ii)的处理。
图17是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图17图示了前述(ii)的处理的概述。
在前述(ii)的处理中，可以通过将经过3维几何变换的图像转变为成像装置坐标系中的坐标来获得要投射的图像。
具体地，例如，可以通过使用图像投射装置的内参数对坐标I’执行下面列举的等式3和等式4的计算来获得对应点的图像坐标x(u,v)。通过使用前述等式2来转变坐标I’。作为图像投射装置的内参数，例如，可以例证在像素单元中表示的四个参数，该四个参数包括焦距fx和fy以及图像中心Cx和 Cy。
[数学公式3]
Figure BDA0001584195510000211
[数学公式4]
Figure BDA0001584195510000212
可以通过使用等式2对转变的坐标I’执行分别使用前述等式3和等式4 的计算来获得要投射的图像。
接下来，将会基于前述(i)的处理和前述(ii)的处理来描述前述(C) 中描述的阶段3的几何校正和前述(D)中描述的阶段4的几何校正。
图18是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图18图示了前述(C)中描述的阶段3的几何校正的概述。而且，图 19是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图 19图示了前述(D)中描述的阶段4的几何校正的概述。图18的A和图19 的A图示了要通过图像投射装置投射的图像的示例(显示在显示区域中的图像的示例)。如图18的A和图19的A所示，当执行前述(C)中描述的阶段3的几何校正和前述(D)中描述的阶段4的几何校正时，利用预定纵横比(诸如16:9或者4:3)来使正方形图像失真。
在执行前述(C)中描述的阶段3的几何校正的情况下，根据实施例的信息处理装置使显示位置在与显示区域相对应的平面上旋转从而使目标图像正对用户的方向。具体地，如图18所示，当执行前述(i)的处理时，根据实施例的信息处理装置进一步执行使Z轴(与显示区域相对应的平面的法线方向)旋转的处理。
此处，当R’是用于按照旋转角度α沿着Z轴(该Z轴是预定轴线的示例)旋转的矩阵时，矩阵R’被表示为以下等式5。此处，在等式5中表示的矩阵R’是在图像的侧表面方向上执行旋转的情况下矩阵的示例。在出现上下问题的情况下，这种旋转是有效的。
[数学公式5]
Figure BDA0001584195510000221
通过使用表示为前述等式1的旋转矩阵和表示为前述等式5的矩阵R’执行表示为以下等式6的计算，来将在图像中利用成像装置坐标系表示的点 I＝(Ix,Iy,Iz)转变为点I”＝(I”x,I”y,I”z)。
[数学公式6]
I″＝R′MI...(等式6)
根据实施例的信息处理装置通过在执行前述等式6的计算之后执行前述(ii)的处理来获得经过前述(C)中描述的阶段3的几何校正的目标图像。
而且，在执行前述(D)中描述的阶段4的几何校正的情况下，根据实施例的信息处理装置使显示位置3维旋转以生成通过朝着用户的方向倾斜目标图像而获得的图像。具体地，如图19所示，当执行前述(i)的处理时，根据实施例的信息处理装置执行旋转处理从而使得Z轴(与显示区域相对应的平面的法线方向)与方向信息所指示的用户的方向相匹配。
此处，当R”是用于旋转从而使得Z轴(该Z轴是预定轴线的示例)与方向信息所指示的用户的方向相匹配的矩阵时，矩阵R”被表示为以下等式 7。
[数学公式7]
Figure BDA0001584195510000231
通过使用表示为前述等式1的旋转矩阵和表示为前述等式7的矩阵R”执行表示为以下等式8的计算来将在图像中使用成像装置坐标系表示的点I＝(Ix,Iy,Iz)转变为点I”’＝(I”’x,I”’y,I”’z)。
[数学公式8]
I″′＝R″MI...(等式8)
根据实施例的信息处理装置通过在执行前述等式8的计算之后执行前述(ii)的处理来获得经过前述(D)中描述的阶段4的几何校正的目标图像。
(1-4)根据实施例的图像处理的另一个示例
例如，如上所述，根据实施例的信息处理装置对目标图像执行几何校正。另外，根据实施例的图像处理的示例并不限于上述处理。
根据实施例的信息处理装置可以执行将会在以下(1-4-1)中描述的处理至将会在以下(1-4-3)中描述的处理之中的一个或两个或多个处理，作为根据实施例的图像处理。
(1-4-1)与基于方向信息追踪有关的控制
当基于方向信息所指示的用户的方向来执行处理时，由于在严格执行处理的情况下的用户的视线或者用户的身体的运动等，对目标图像执行的几何校正的内容可能会频繁变化。而且，在几何校正的内容频繁变化的情况下，显示在显示区域中的图像也频繁变化。而且，要关注的是，要设定的显示区域同样也会频繁变化。在要设定的显示区域频繁变化的情况下，显示图像的位置也频繁变化。
相应地，例如，根据实施例的信息处理装置通过执行在以下(a)至(c) 中描述的控制来抑制，如上所述，显示在显示区域中的图像的频繁变化或者显示图像的位置的频繁变化。
(a)控制方法1：通过触发器执行处理
根据实施例的信息处理装置保持追踪要获取的方向信息的状态和追踪要获取的方向信息的状态，并且通过触发器切换状态。例如，实现适用于用户通过触发器切换状态来暂时离开显示环境的空间的情况的系统。
此处，作为根据实施例的触发器，可以例证执行手动操作，诸如，对用于切换状态的按钮的按压、用于切换状态的语音的发声、用于切换状态的手势。例如，在诸如远程控制器、智能手机、或者平板计算机等任何装置上执行用于切换状态的手动操作。
(b)控制方法2：利用迟滞现象来执行处理
例如，在方向信息所指示的用户的方向偏离显示区域的情况下，根据实施例的信息处理装置使显示区域具有迟滞现象并且基于方向信息执行处理。而且，在基于方向信息检测到用户的方向的迟滞的情况(例如，用户处于在给定时间内查看相同位置的状态的情况)下，根据实施例的信息处理装置基于方向信息来重新设定显示区域。
(c)控制方法3：基于平面的变化执行处理
例如，在方向信息所指示的用户的方向从与显示区域相对应的平面变化到另一个平面的情况下，根据实施例的信息处理装置基于方向信息执行处理。而且，在基于方向信息检测到用户的方向的迟滞的情况下，根据实施例的信息处理装置基于方向信息来重新设定显示区域。
(1-4-2)在存在多个用户的情况下的处理
例如，在某些情况下，图2所示的显示环境的空间中存在多个用户。相应地，接下来，将会描述在显示环境的空间中存在多个用户的情况下的处理的示例。
在获取到关于多个用户中的每个用户的方向信息的情况下，根据实施例的信息处理装置基于多条方向信息所指示的多个用户的相应方向来决定一个用户的方向。
例如，根据实施例的信息处理装置基于关于多个用户的获取的方向信息来设定与用户的方向相对应的相应矢量并且计算设定的矢量的平均矢量。此处，作为设定的矢量，例如，可以例证具有方向信息所指示的方向和设定预定大小的矢量。
然后，根据实施例的信息处理装置将平均矢量的方向确定为该一个用户的方向。
此处，例如，根据实施例的信息处理装置使用所有获取的方向信息来决定该一个用户的方向。
另外，在存在多个用户的情况下的处理并不限于使用所有获取的方向信息的处理。例如，根据实施例的信息处理装置可以使用用于设定显示区域的方向信息(下面将会描述)来决定该一个用户的方向，或者还可以使用与遵照任何方案(诸如，使用捕获的图像来执行的面部认证)认证的用户相对应的方向信息来决定该一个用户的方向。
图20是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图20图示了在存在多个用户的情况下的处理的概述。
图20图示了基于与四个用户(用户A至用户D)之中的三个用户(用户A至用户C)相对应的方向信息所指示的用户的方向来决定一个用户的方向(在图20中Di所指示的方向)的示例。
当决定了该一个用户的方向时，如上所述，根据实施例的信息处理装置如在基于关于一个用户的方向信息的上述情况下那样基于决定的用户的方向来对被指示要显示在显示区域中的目标图像执行几何校正。
(1-4-3)当图像被显示在多个平面边界上时的几何变换
在上述几何变换的示例中，已经例证了显示区域是一个平面的情况。然而，根据实施例的图像处理还可以适用于显示区域跨越多个平面的情况。此处，例如，显示区域跨越多个平面的情况与基于3维信息估计多个平面的情况相对应。
在显示区域跨越多个平面的情况，即，显示区域是多个平面的情况下，根据实施例的信息处理装置对显示在包括在显示区域内的每个平面中的目标图像的每个部分执行几何校正。具体地，在显示区域跨越多个平面的情况下，根据实施例的信息处理装置将被指示要显示在显示区域中的目标图像分割为多个区域并且根据显示有分割区域的平面对分割的区域(在下文中被称为“分割区域”)执行几何校正。
图21是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图21图示了在显示区域跨越多个平面时执行前述(C)中描述的阶段3 的几何校正的情况的概述。而且，图22是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图22图示了在显示区域跨越多个平面时执行前述(D)中描述的阶段4的几何校正的情况的概述。
首先，将会描述在执行前述(C)中描述的阶段3的几何校正的情况下的处理的示例。
在分割区域与图14所示的投射平面A相对应的情况下，根据实施例的信息处理装置根据投射平面A的世界坐标系来执行几何变换。而且，即使在分割区域与图14所示的投射平面B和C相对应的情况下，也同样根据每个平面的世界坐标系来执行几何变换。此处，在可能会出现上下问题的投射平面C上，例如，根据实施例的信息处理装置通过执行在用户的方向上围绕平面的法线方向旋转来防止出现上下问题。
然后，根据实施例的信息处理装置通过执行前述(ii)的处理来获得在几何变换之后的图像。
接下来，将会描述在前述(D)中描述的阶段4的几何校正的情况下的处理的示例。
在执行前述(D)中描述的阶段4的几何校正的情况下，根据实施例的信息处理装置执行3维旋转，从而使得，在变换到显示有每个分割区域的投射平面之后，用户的方向(与图22中的视线方向相对应)与投射平面的法线方向相匹配。然后，根据实施例的信息处理装置通过执行前述(ii)的处理来获得在几何变换之后的图像。
(1-5)用于根据实施例的几何校正的技术的另一个示例
作为根据实施例的几何校正的示例，已经描述了基于方向信息执行的前述(A)中描述的阶段1的几何校正至前述(D)中描述的阶段4的几何校正。然而，可以被实施在根据实施例的显示环境中的几何校正的示例并不限于上述示例。例如，可以在根据实施例的显示环境中执行以下几何校正。
-由图像投射装置(诸如，投影仪)执行的梯型校正(例如，由用户执行的手动操作)。
-基于通过深度传感器等的测量获取的3维信息来执行平面估计并且基于被估计为图像投射装置(诸如，投影仪)的几何关系来执行校正。
-图像投射装置(诸如，投影仪)显示充当标记的图像(例如，赛博码或者2维条形码)并且用户使用成像装置来对标记进行成像，从而使得可以观察并且识别到标记以从投射方向和图像投射装置的投射表面获得用户的方向。然后，根据实施例的信息处理装置基于指示获得的用户的方向的方向信息来执行几何校正。
-用户保留发射出标记(例如，赛博码、2维条形码、或者追踪墙壁表面的用户可识别的光点)的装置并且图像投射装置(诸如，投影仪)观察该标记以从投射方向和图像投射装置的投射表面获得用户的方向。然后，根据实施例的信息处理装置基于指示获得的用户的方向的方向信息来执行几何校正。
-标记(例如，赛博码或者2维条形码)被安装在空间中的平面上并且图像投射装置(诸如，投影仪)识别该标记并执行几何校正。
例如，根据实施例的信息处理装置执行，例如，前述图像处理，作为与根据实施例的信息处理方法有关的处理。
另外，如上所述，与根据实施例的信息处理方法有关的处理并不限于前述(1)的处理(图像处理)。例如，根据实施例的信息处理装置还可以执行下面将会描述的(2)显示区域设定处理和(3)显示控制处理中的一个或两个，作为与根据实施例的信息处理方法有关的处理。
(2)显示区域设定处理
例如，根据实施例的信息处理装置设定显示区域。
(2-1)显示区域设定处理的第一示例
根据实施例的信息处理装置使用通过将显示环境的空间设定为感测目标(诸如，通过设置在图2所示的空间中的成像装置而捕获的图像)而获得的传感器的检测结果来设定显示区域。
根据实施例的信息处理装置在基于传感器的检测结果指定的并且与用户在空间中所处的位置相关联的位置处设定显示区域。例如，根据实施例的信息处理装置使用位置与显示位置相关联的表格(或者数据库)来指定与用户所处位置相关联的显示区域。
作为通过与第一示例有关的显示区域设定处理设定的显示区域的示例，在用户坐在沙发上的情况下，显示区域被设定在沙发前面的墙壁上的预定位置处，或者在用户躺在床上的情况下，显示区域被设定在天花板上的预定位置处。
(2-2)显示区域设定处理的第二示例
根据实施例的信息处理装置基于方向信息来设定显示区域。
例如，根据实施例的信息处理装置使用方向信息所指示的用户的方向来指定设定参考位置。随后，如上所述，根据实施例的信息处理装置基于设定参考位置来设定显示区域。
另外，如前述(1-4-1)所述，当基于方向信息所指示的用户的方向来执行处理时，要关注的是，同样由于在严格执行处理的情况下的用户身体的视线或者运动，显示区域会频繁变化。然后，在要设定的显示区域频繁变化的情况下，显示图像的位置也频繁变化。
相应地，根据实施例的信息处理装置可以执行前述(1-4-1)中描述的前述(a)至(c)中描述的控制。通过执行前述(a)至(c)中描述的控制，可以抑制显示图像的位置频繁变化。
(2-3)显示区域设定处理的第三示例
如上所述，例如，多个用户还可以在图2所示的显示环境的空间中。将会描述在多个用户在显示环境的空间中的情况下的处理的示例，作为与第三示例有关的显示区域设定处理。
根据实施例的信息处理装置基于针对每个用户获取的方向信息来估计在空间中的用户数、每个用户的视点位置、和每个用户的方向(诸如，视线方向)。
而且，根据实施例的信息处理装置如下使用获得的用户的方向来设定显示区域。
-根据实施例的信息处理装置将相对于视线的视野映射到实际空间并且决定映射的区域的乘积区域的质心。然后，例如，根据实施例的信息处理装置基于决定的质心位置来设定显示区域，例如，将决定的质心位置设定为显示区域的质心位置。此处，在所有用户未正对相同方向的情况下，例如，根据实施例的信息处理装置使用特定用户(诸如，已认证的人或者表决系统) 的方向来决定乘积区域的质心。
-根据实施例的信息处理装置将与相应用户的方向相对应的矢量的平均矢量决定为一个用户的方向。然后，根据实施例的信息处理装置通过使用决定的一个用户的方向执行与前述(2-2)中描述的第二示例有关的显示区域设定处理类似的处理来设定显示区域。
此处，可以基于关于特定用户的方向信息来设定显示区域。作为特定用户，例如，可以例证“查看由用户操作指定的图像的用户”或者“将不是查看由用户操作指定的图像的用户排除在外的用户”。而且，特定用户可以是，例如，遵照任何方案认证的用户。
作为与用户的指定有关的用户操作，例如，可以例证对捕获的图像执行的操作或者诸如特定用户(诸如，查看图像的用户或者已认证的用户)指向另一个用户的手势等手势操作。
图23是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图23图示了与第三示例有关的显示区域设定处理的示例。
例如，在基于多个用户的视线方向将显示区域设定在天花板上的情况下，如图23所示，将与每个用户的视线方向相对应的视野映射到实际空间并且决定映射的区域的乘积区域的质心。然后，例如，根据实施例的信息处理装置基于决定的质心位置来设定显示区域。
具体地，人类的视野在水平方向上是大约200[度]而在垂直方向上是大约125[度](在向下方向上是75[度]，在向上方向上是50[度])。在视线方向上映射视野区域，寻找合适的位置，并且设定显示区域。而且，例如，如图 23所示，在基于多个用户的视线方向设定显示区域的情况下，如上所述，执行几何校正以与使用，例如，平均矢量等决定的一个用户的方向相对应。
而且，例如，在由用户操作指定不是查看图像的主体的用户(在下文中被称为“不同于主体的用户”)的情况下，根据实施例的信息处理装置还可以将显示区域设定在不包括在用户的人类视野内的区域中，该用户不同于空间中的主体。
图24是图示了与根据实施例的信息处理方法有关的处理的示例的说明图。图24图示了与第三示例有关的显示区域设定处理的另一个示例。图24 图示了用户A与不同于主体的用户相对应的示例。
根据实施例的信息处理装置基于关于用户A的方向信息来估计不同于主体的用户A的视野。另外，显示区域被设定在不包括在用户A的视野内的位置处。另外，在不可以将显示区域设定在不包括在用户A的视野内的位置处的情况下，根据实施例的信息处理装置不设定显示区域。当将显示区域设定在不包括在用户A的视野内的位置处变为可能时，根据实施例的信息处理装置也可以设定显示区域。
通过将显示区域设定在不包括在用户A的视野内的位置处，如上所述，如图24所示，可以实现的是，用户A无法查看显示在显示区域中的图像，该用户A是不同于主体的用户。
而且，在不同于主体的用户A的方向在图24所示的用例中变化的情况下，根据实施例的信息处理装置基于关于用户A的方向信息来重新设定显示区域。此处，基于关于不同于主体的用户A的方向信息来重新设定显示区域包括：例如，“重新设定显示区域从而使得显示区域位于不包括在用户 A的视野内的位置处”和“不设定显示区域(例如，不可以将显示区域设定在不包括在用户A的视野内的位置处的情况)”。
(3)显示控制处理
根据实施例的信息处理装置通过前述(1)的处理(图像处理)使经过几何校正的目标图像显示在显示区域中。
例如，在通过将图像从图像投射装置投射来将图像显示在显示区域中的情况下，如上所述，根据实施例的信息处理装置通过控制从图像投射装置的图像的投射来使经过几何校正的目标图像显示在显示区域中。而且，例如，在图像投射装置被安装在具有云台机构(诸如，平台等)的装置上的情况下，如上所述，根据实施例的信息处理装置通过控制具有云台机构的装置的运动来使经过几何校正的目标图像显示在显示区域中。
而且，例如，在通过使用显示装置显示图像来将图像显示在显示区域中的情况下，如上所述，根据实施例的信息处理装置通过控制使用显示装置显示图像来使经过几何校正的目标图像显示在显示区域中。
作为与根据实施例的信息处理方法有关的处理，根据实施例的信息处理装置执行，例如，“前述(1)的处理(图像处理)”、“前述(1)的处理(图像处理)和前述(2)的处理(显示区域设定处理)”、“前述(1)的处理(图像处理)和前述(3)的处理(显示控制处理)”、或者“前述(1)的处理(图像处理)、前述(2)的处理(显示区域设定处理)和前述(3)的处理(显示控制处理)”。
另外，为了方便起见，“前述(1)的处理(图像处理)”、“前述(1)的处理(图像处理)和前述(2)的处理(显示区域设定处理)”、“前述(1) 的处理(图像处理)和前述(3)的处理(显示控制处理)”、和“前述(1) 的处理(图像处理)、前述(2)的处理(显示区域设定处理)和前述(3) 的处理(显示控制处理)”是与根据实施例的信息处理方法有关的处理中的单独处理。相应地，在与根据实施例的信息处理方法有关的处理中，例如，“前述(1)的处理(图像处理)和前述(2)的处理(显示区域设定处理)”、“前述(1)的处理(图像处理)和前述(3)的处理(显示控制处理)”、和“前述(1)的处理(图像处理)、前述(2)的处理(显示区域设定处理) 和前述(3)的处理(显示控制处理)”中的每个都可以被理解为一个处理。而且，在与根据实施例的信息处理方法有关的处理中，例如，“前述(1)的处理(图像处理)”、“前述(1)的处理(图像处理)和前述(2)的处理(显示区域设定处理)”、“前述(1)的处理(图像处理)和前述(3)的处理(显示控制处理)”、和“前述(1)的处理(图像处理)、前述(2)的处理(显示区域设定处理)和前述(3)的处理(显示控制处理)”中的每个都可以被理解为两个或多个处理(根据任何分离方法)。
[3]与根据实施例的信息处理方法有关的处理的具体示例
接下来，将会描述与根据上述实施例的信息处理方法有关的处理的具体示例。
[3-1]与根据实施例的信息处理方法有关的处理的第一示例
图25是图示了与根据实施例的信息处理方法有关的处理的示例的流程图。图25图示了与针对显示环境的空间中的一个用户执行的信息处理方法有关的处理的示例。此处，在图25中，例如，步骤S102的处理与前述(1) 的处理(图像处理)的示例相对应并且步骤S104的处理与前述(3)的处理(显示控制处理)的示例相对应。而且，在图25中，例如，S106的处理与前述(2)的处理(显示区域设定处理)的示例相对应。
根据实施例的信息处理装置基于方向信息来检测用户的视线方向和姿态(S100)。
根据实施例的信息处理装置基于(基于方向信息检测的)视线方向、设定显示区域的位置(显示位置)、和图像投射装置在显示环境的空间中的位置来决定显示阶段(例如，图11所示的显示阶段)并且对目标图像执行几何校正(S102)。例如，根据实施例的信息处理装置执行前述(A)中描述的阶段1的几何校正至前述(D)中描述的阶段4的几何校正之中的一个几何校正。
根据实施例的信息处理装置使经过几何校正的目标图像显示在显示区域中(S104)。
根据实施例的信息处理装置确定是否要改变显示区域的位置(S106)。此处，例如，根据实施例的信息处理装置基于方向信息来设定显示区域，并且在设定显示区域与当前显示区域不同的情况下，确定要改变显示区域的位置(执行与前述(2-2)中描述的第二示例有关的显示区域设定处理的情况的示例)。另外，例如，根据实施例的信息处理装置可以执行前述(a)至(c) 中描述的控制并且随后确定是否要改变显示区域的位置。
在步骤S106中确定要改变显示区域的位置的情况下，根据实施例的信息处理装置重复从步骤S100开始的处理。
相反，在步骤S106中确定不改变显示区域的位置的情况下，根据实施例的信息处理装置结束图25所示的处理。
例如，根据实施例的信息处理装置执行图25所示的处理，作为与针对显示环境的空间中的一个用户的根据实施例的信息处理方法有关的处理。
另外，与针对显示环境的空间中的一个用户的根据实施例的信息处理方法有关的处理并不限于图25所示的示例。
例如，在检测到指定几何校正的内容的用户操作的情况下，根据实施例的信息处理装置可以对目标图像执行与用户操作相对应的几何校正并且可以响应于用户操作使经过几何校正的图像显示在显示区域中。
而且，例如，可以在根据实施例的信息处理装置的外部装置中执行图 25所示的步骤S104的处理和步骤S106的处理中的一个或两个。
[3-2]与根据实施例的信息处理方法有关的处理的第二示例
图26是图示了与根据实施例的信息处理方法有关的处理的另一个示例的流程图。图26图示了与针对显示环境的空间中的多个用户执行的信息处理方法有关的处理的示例。此处，在图26中，例如，步骤S202和S210的处理与前述(2)的处理(显示区域设定处理)的示例相对应。而且，在图 26中，例如，步骤S204的处理与前述(1)的处理(图像处理)的示例相对应并且步骤S206的处理与前述(3)的处理(显示控制处理)的示例相对应。
根据实施例的信息处理装置基于与相应用户相对应的方向信息来检测用户的视线方向、用户的视点位置、和用户数。
根据实施例的信息处理装置决定显示区域和一个视线方向(S202)。例如，根据实施例的信息处理装置通过执行与前述(2-3)中描述的第三示例有关的显示区域设定处理以便设定显示区域，来决定显示区域。而且，例如，根据实施例的信息处理装置将与相应用户的视线方向相对应的矢量的平均矢量决定为一个视线方向。
根据实施例的信息处理装置基于决定的一个视线方向、显示区域的位置 (显示位置)、和图像投射装置在显示环境的空间中的位置来决定显示阶段 (例如，图11所示的显示阶段)并且对目标图像执行几何校正(S204)。
根据实施例的信息处理装置使经过几何校正的目标图像显示在显示区域中(S206)。
根据实施例的信息处理装置确定用户是否被指定(S208)。例如，在检测到与指定用户有关的用户操作(诸如，对捕获的图像执行的操作或者诸如特定用户指向另一个用户的手势等手势操作)的情况下，根据实施例的信息处理装置确定用户被指定。
在步骤S206中确定用户被指定的情况下，根据用户的指定结果基于关于用户的方向信息来执行从步骤S202开始的处理。
相反，在步骤S206中确定用户未被指定的情况下，如在图25的步骤 S106中那样，根据实施例的信息处理装置确定是否要改变显示区域的位置 (S210)。
在步骤S210中确定要改变显示区域的位置的情况下，根据实施例的信息处理装置重复从步骤S202开始的处理。
相反，在步骤S210中确定不改变显示区域的位置的情况下，根据实施例的信息处理装置结束图26所示的处理。
例如，根据实施例的信息处理装置执行图26所示的处理，作为与针对显示环境的空间中的多个用户的根据实施例的信息处理方法有关的处理。
另外，与针对显示环境的空间中的多个用户的根据实施例的信息处理方法有关的处理并不限于图26所示的示例。
例如，在检测到指定几何校正的内容的用户操作的情况下，根据实施例的信息处理装置可以对目标图像执行与用户操作相对应的几何校正并且可以使经过与用户操作相对应的几何校正的图像显示在显示区域中。
而且，例如，可以在根据实施例的信息处理装置的外部装置中执行图 26所示的步骤S200的处理、步骤S202的处理、步骤S206的处理、步骤 S208的处理和步骤S210的处理中的一个或两个或多个。
[4]通过执行与根据实施例的信息处理方法有关的处理而获得的效果的示例
例如，通过执行与根据实施例的信息处理方法有关的处理可以获得以下效果。另外，不言自明的是，通过执行与根据实施例的信息处理方法有关的处理而获得的效果并不限于以下示例。
-因为用户可以选择显示区域或者用于分阶段进行几何校正的技术，所以当用户查看图像时，用户可以以最喜爱的姿态查看图像。
-例如，即使在用户翻身并且用户的方向变化的情况下，也可以实现能够将图像显示在与用户的方向相对应的显示区域中的系统。相应地，用户不必以相同姿态查看图像并且可以根据用户的方向(诸如，用户的视线方向) 来查看图像。
-因为可以自动执行与用户的方向和要设定的显示区域的位置相对应的几何校正，所以用户可以查看适合相对于显示区域的用户状态的图像。
-即使在显示环境的空间中存在多个用户的情况下，也可以考虑到每个用户的视野来设定显示区域。因此，例如，相应用户可以按照对所有用户来说能见度都良好的方式查看图像。而且，可以实现能够仅针对特定用户将图像显示在显示区域中或者将图像显示在显示区域中从而使得图像不被特定用户查看的系统。
(根据实施例的信息处理装置)
接下来，将会描述能够执行与根据实施例的信息处理方法有关的处理的根据实施例的信息处理装置的配置的示例。
图27是图示了根据实施例的信息处理装置100的配置的示例的框图。信息处理装置100包括，例如，通信单元102和控制单元104。
而且，例如，信息处理装置可以包括只读存储器(ROM，未图示)、随机存取存储器(RAM，未图示)、存储单元(未图示)、可以由用户操作的操作单元(未图示)、和在显示屏幕上显示各种画面的显示单元(未图示)。在信息处理装置100中，例如，经由充当数据传输路径的总线来连接组成元件。
ROM(未图示)存储程序或者控制诸如控制单元104所使用的计算参数等数据。RAM(未图示)暂时存储由控制单元104执行的程序等。
存储单元(未图示)是包括在信息处理装置100内的存储装置并且存储，例如，与根据实施例的信息处理方法有关的数据(诸如，位置与显示位置相关联的表格和诸如各种应用等各种数据)。此处，作为存储单元(未图示)，例如，可以例证磁记录介质(诸如，硬盘)和非易失性存储器(诸如，闪速存储器)。而且，存储单元(未图示)可以被可拆卸地安装在信息处理装置 100上。
作为操作单元(未图示)，可以例证下面将会描述的操作输入装置。而且，作为显示单元(未图示)，可以例证下面将会描述的显示装置。
[信息处理装置100的硬件配置的示例]
图28是图示了根据实施例的信息处理装置100的硬件配置的示例的说明图。信息处理装置100包括，例如，MPU 150、ROM 152、RAM 154、记录介质156、输入和输出接口158、操作输入装置160、显示装置162、和通信接口164。而且，在信息处理装置100中，例如，经由充当数据传输路径的总线166来连接组成元件。
例如，MPU 150包括一个或两个或多个处理器或者包括计算电路(诸如，MPU)的各种处理电路，并且充当控制整个信息处理装置100的控制单元104。而且，MPU在信息处理装置100中充当，例如，下面将会描述的显示区域设定单元110、图像处理单元112、和显示控制单元114。另外，显示区域设定单元110、图像处理单元112、和显示控制单元114中的一个或两个或多个可以包括能够实现每个单元的处理的专用(或者通用)电路(例如，与MPU 150不同的处理器)。
ROM 152存储程序或者控制诸如MPU 150所使用的计算参数等数据。例如，RAM 154暂时存储由MPU 150执行的程序等。
记录介质156充当存储单元(未图示)并且存储，例如，与根据实施例的信息处理方法有关的数据(诸如，位置与显示位置相关联的表格和诸如各种应用等各种数据)。此处，作为记录介质156，例如，可以例证磁记录介质(诸如，硬盘)和非易失性存储器(诸如，闪速存储器)。而且，记录介质156可以被可拆卸地安装在信息处理装置100上。
例如，输入和输出接口158与操作输入装置160或者显示装置162连接。操作输入装置160充当操作单元(未图示)并且显示装置162充当显示单元 (未图示)。此处，作为输入和输出接口158，例如，可以例证通用串行总线(USB)终端、数字视频接口(DVI)终端、高清多媒体接口(HDIM) (注册商标)终端、和各种处理电路。
而且，例如，操作输入装置160可以被安装在信息处理装置100上并且与信息处理装置100内的输入和输出接口158连接。作为操作输入装置160，例如，可以例证按钮、箭头键、旋转式选择器(诸如，拨轮)、或者其组合。
而且，例如，显示装置162可以被安装在信息处理装置100上并且与信息处理装置100内的输入和输出接口158连接。作为显示装置162，例如，可以例证液晶显示器或者有机电致发光显示器(或者也被称为有机发光二极管显示器)。
另外，不言自明的是，输入和输出接口158可以与信息处理装置100 的诸如外部操作输入装置(诸如，键盘或者鼠标)或者外部显示装置等外部装置连接。而且，显示装置162可以是，例如，可以进行显示和用户操作的装置，诸如，触摸面板。
通信接口164是包括在信息处理装置100内的通信装置并且充当执行经由网络(或者直接)与成像装置、感测显示环境的空间的传感器(诸如，深度传感器)、诸如图像投射装置等外部装置、或者诸如服务器等外部装置无线或者有线通信的通信单元102。此处，作为通信接口164，例如，可以例证通信天线和射频(RF)电路(用于无线通信)、IEEE 802.15.1端口和收发电路(用于无线通信)、IEEE 802.11端口和收发电路(用于无线通信)、或者局域网(LAN)终端和收发电路(用于有线通信)。
例如，具有图28所示的配置的信息处理装置100执行与根据实施例的信息处理方法有关的处理。另外，根据实施例的信息处理装置100的硬件配置并不限于图28所示的配置。
例如，在经由连接的外部通信装置执行与外部装置通信的情况或者按照独立模式执行处理的情况下，信息处理装置100不必包括通信接口164。而且，通信接口164能够遵照多种通信方案来执行与一个或两个或多个外部装置的通信。
而且，例如，信息处理装置100不必包括记录介质156、操作输入装置 160、或者显示装置162。
而且，例如，信息处理装置100可以包括成像装置或者能够感测显示环境的空间的传感器(诸如，深度传感器)。而且，例如，信息处理装置100 可以包括图像投射装置。
而且，可以通过一个或两个或多个IC来实现图28所示的结构元件(或者根据修改示例的配置)的部分或者全部。
再度参照图27，将会描述信息处理装置100的配置的示例。通信单元 102是包括在信息处理装置100内的通信装置并且执行经由网络(或者直接) 与成像装置、感测显示环境的空间的传感器(诸如，深度传感器)、诸如图像投射装置等外部装置、或者诸如服务器等外部装置无线或者有线通信。而且，例如，由控制单元104控制通信单元102的通信。
此处，作为通信单元102，例如，可以例证通信天线和RF电路或者LAN 终端和收发电路。然而，通信单元102的配置并不限于前述配置。例如，通信单元102可以具有与能够执行通信的任何标准相对应的配置(诸如，USB 终端和收发电路)或者具有能够经由网络与外部装置通信的任何配置。而且，通信接口102可以具有能够遵照多种通信方案来执行与一个或两个或多个外部装置通信的配置。
例如，控制单元104由MPU实施并且起着控制整个信息处理装置100 的作用。而且，例如，控制单元104包括显示区域设定单元110、图像处理单元112、和显示控制单元114并且起着引导与根据实施例的信息处理方法有关的处理的作用。而且，例如，控制单元104还可以起着通过生成方向信息来获取方向信息或者控制通信单元102等从外部装置获取方向信息的获取单元(未图示)的作用。
显示区域设定单元110起着引导前述(2)的处理(显示区域设定处理) 的作用并且设定显示区域。例如，显示区域设定单元110通过执行与前述 (2-1)中描述的第一示例有关的显示区域设定处理至与前述(2-3)中描述的第三示例有关的显示区域设定处理之中的一个处理来设定显示区域。
图像处理单元112起着引导前述(1)的处理(图像处理)的作用。
例如，图像处理单元112基于方向信息来对被指示要显示在显示区域中的目标图像执行几何校正。例如，如前述(I)至(III)所述，图像处理单元112可以通过改变要对目标图像执行的几何校正的内容来执行与方向信息所指示的用户的方向相对应的几何校正。
而且，例如，如前述(IV)所述，图像处理单元112还可以通过改变要对目标图像执行的几何校正的内容来执行与目标图像相对应的几何校正。
而且，例如，在检测到指定几何校正的内容的用户操作的情况下，图像处理单元112还可以执行与对被指示要显示在显示区域中的目标图像的用户操作相对应的几何校正。
而且，例如，图像处理单元112可以执行前述(1-4-1)中描述的处理至前述(1-4-3)中描述的处理中的一个或两个或多个。
显示控制单元114起着引导前述(3)的处理(显示控制处理)的作用并且使经过几何校正的目标图像显示在显示区域中。
例如，显示控制单元114通过使通信单元102或者与信息处理装置100 连接的外部通信装置将包括控制命令的控制数据和指示经过几何校正的目标图像的图像数据传输到与将图像显示在显示区域中有关的装置(诸如，图像投射装置或者显示装置)来使经过几何校正的目标图像显示在显示区域中。而且，在图像投射装置被安装在具有云台机构(诸如，平台)的装置上的情况下，显示控制单元114可以进一步使包括控制命令的控制数据被传输到包括云台机构的装置。
例如，控制单元104包括显示区域设定单元110、图像处理单元112、和显示控制单元114并且引导与根据实施例的信息处理方法有关的处理(例如，前述(1)的处理(图像处理)、前述(2)的处理(显示区域设定处理)、和前述(3)的处理(显示控制处理))。
例如，具有图27所示的配置的信息处理装置100执行与根据实施例的信息处理方法有关的处理(例如，前述(1)的处理(图像处理)、前述(2) 的处理(显示区域设定处理)、和前述(3)的处理(显示控制处理))。
相应地，例如，具有图27所示的配置的信息处理装置100可以根据相对于显示区域的用户状态来校正要显示在显示区域中的图像。
而且，例如，具有图27所示的配置的信息处理装置100可以通过执行上述与根据实施例的信息处理方法有关的处理来实现效果。
另外，根据实施例的信息处理装置的配置并不限于图27所示的配置。
例如，根据实施例的信息处理装置可以具有不包括图27所示的显示区域设定单元110和显示控制单元114中的一个或两个的配置。
即使在信息处理装置具有不包括图27所示的显示区域设定单元110和显示控制单元114中的一个或两个的配置的情况下，根据实施例的信息处理装置也可以执行前述(1)的处理(图像处理)。相应地，即使在信息处理装置具有不包括图27所示的显示区域设定单元110和显示控制单元114中的一个或两个的配置的情况下，根据实施例的信息处理装置也可以根据相对于显示区域的用户状态来校正要显示在显示区域中的图像。
而且，根据实施例的信息处理装置可以包括与控制单元104分离的图 27所示的显示区域设定单元110、图像处理单元112、和显示控制单元114 中的一个或两个或多个(例如，利用另一个处理电路来实现)。
另外，如上所述，为了方便起见，“前述(1)的处理(图像处理)”、“前述(1)的处理(图像处理)和前述(2)的处理(显示区域设定处理)”、“前述(1)的处理(图像处理)和前述(3)的处理(显示控制处理)”、和“前述(1)的处理(图像处理)、前述(2)的处理(显示区域设定处理)和前述(3)的处理(显示控制处理)”是与根据实施例的信息处理方法有关的处理中的单独处理。相应地，用于实现与根据实施例的信息处理方法有关的处理的配置并不限于图27所示的配置。可以采取适合与根据实施例的信息处理方法有关的处理的分离方法的配置。
而且，例如，在经由具有与通信单元102类似的功能和配置的外部通信装置来执行与外部装置通信的情况或者按照独立模式执行处理的情况下，根据实施例的信息处理装置不必包括通信单元102。
上面已经将信息处理装置描述为实施例，但是实施例并不限于此。例如，实施例可以适用于能够执行与根据实施例的信息处理方法有关的处理的各种装置，诸如，计算机(诸如，个人计算机(PC)或者服务器)、图像投射装置(诸如，投影仪)、显示装置(诸如，安装在显示环境的空间中的任何位置(例如，墙壁、地板、或者天花板)处的显示装置)、或者通信装置(诸如，移动电话或者智能手机)。而且，例如，实施例还可以适用于可以被嵌入上述装置中的处理IC。
而且，例如，根据实施例的信息处理装置可以适用于包括多个装置的系统(诸如，云计算)，假设这些装置都与网络连接(或者与每个装置通信)。即，例如，上述根据实施例的信息处理装置还可以被实现为通过使用多个装置执行与根据实施例的信息处理方法有关的处理的信息处理系统。作为通过使用多个装置执行与根据实施例的信息处理方法有关的处理的信息处理系统的示例，例如，可以例证在包括在信息处理系统内的多个装置中合作执行前述(1)的处理(图像处理)、前述(2)的处理(显示区域设定处理)、和前述(3)的处理(显示控制处理)的系统。
(根据实施例的程序)
通过使计算机中的处理器执行用于使计算机充当根据实施例的信息处理装置的程序(例如，能够执行与根据实施例的信息处理方法有关的处理(诸如，“前述(1)的处理(图像处理)”、“前述(1)的处理(图像处理)和前述(2)的处理(显示区域设定处理)”、“前述(1)的处理(图像处理)和前述(3)的处理(显示控制处理)”、和“前述(1)的处理(图像处理)、前述(2)的处理(显示区域设定处理)和前述(3)的处理(显示控制处理)”) 的程序)，可以根据相对于显示区域的用户状态来校正要显示在显示区域中的图像。
而且，当通过计算机中的处理器等执行使计算机充当根据实施例的信息处理装置的程序时，可以提供由上述与根据本实施例的信息处理方法有关的处理提供的效果。
上面已经参照附图描述了本公开的优选实施例，而本公开并不限于上述示例。本领域的技术人员可以在随附权利要求书的范围内发现各种变化和修改，并且应该理解，这些变化和修改自然会归入本公开的技术范围内。
例如，上面已经说明，提供了一种使计算机充当根据实施例的信息处理装置的程序(计算机程序)，但是本实施例可以进一步提供一种同时存储上述程序的记录介质。
上述配置表示本实施例的示例，并且，毫无疑问，属于本公开的技术范围。
要注意的是，上述效果不一定是限制性的。利用或者代替上述效果，可以实现本说明书中描述的任一效果或者可以从本说明书理解的其它效果。
另外，本技术还可以配置如下。
(1)
一种信息处理装置，该信息处理装置包括：
图像处理单元，该图像处理单元配置为基于方向信息对目标图像执行几何校正，该目标图像被指示要显示在能够显示图像的显示区域中，该方向信息指示查看显示区域的用户相对于显示区域的方向。
(2)
根据(1)的信息处理装置，
其中，图像处理单元使目标图像围绕预定轴线旋转，作为要对目标图像执行的几何校正，并且
通过使目标图像旋转来改变显示区域的形状。
(3)
根据(1)的信息处理装置，
其中，图像处理单元按照第一模式执行几何校正，在该第一模式中，执行几何校正以使目标图像旋转从而使得在显示区域中显示的图像朝着方向信息所指示的用户的方向倾斜，或者按照第二模式执行几何校正，在该第二模式中，不执行第一模式的几何校正。
(4)
根据(3)的信息处理装置，
其中，图像处理单元基于目标图像在第一模式和第二模式之间切换。
(5)
根据(3)或(4)的信息处理装置，
其中，图像处理单元基于查看显示区域的用户的状态在第一模式和第二模式之间切换。
(6)
根据(5)的信息处理装置，
其中，用户的状态是查看显示区域的用户数。
(7)
根据(5)的信息处理装置，
其中，用户的状态是方向信息所指示的用户的方向与显示区域之间的关系。
(8)
根据(1)的信息处理装置，
其中，图像处理单元根据方向信息所指示的用户的方向与显示区域之间的关系来改变要对目标图像执行的几何校正的内容。
(9)
根据(8)的信息处理装置，
其中，图像处理单元在用户的方向与显示区域之间的关系是第一关系的情况和用户的方向与显示区域之间的关系是第二关系的情况之间改变要对目标图像执行的几何校正的内容，在该第一关系中，确定用户的方向和显示区域垂直相交，该第二关系与第一关系不同。
(10)
根据(9)的信息处理装置，
其中，在用户的方向与显示区域之间的关系是第一关系的情况下，图像处理单元不进一步基于目标图像对目标图像执行几何校正。
(11)
根据(1)和(8)至(10)中任一项的信息处理装置，
其中，在通过将图像从图像投射装置投射到显示区域来将图像显示在显示区域中的情况下，图像处理单元基于方向信息所指示的用户的方向和将图像从图像投射装置投射到显示区域的投射方向来改变要对目标图像执行的几何校正的内容。
(12)
根据(11)的信息处理装置，
其中，图像处理单元在用户的方向与投射方向之间的关系是第三关系的情况和用户的方向与投射方向之间的关系是第四关系的情况之间改变要对目标图像执行的几何校正的内容，在该第三关系中，确定用户的方向和投射方向彼此平行，该第四关系与第三关系不同。
(13)
根据(1)至(12)中任一项的信息处理装置，
其中，在显示区域是多个平面的情况下，图像处理单元对要在包括在显示区域内的每个平面上显示的目标图像的每个部分执行几何校正。
(14)
根据(1)至(13)中任一项的信息处理装置，
其中，在检测到指定几何校正的内容的用户操作的情况下，图像处理单元执行与对被指示要显示在显示区域中的目标图像的用户操作相对应的几何校正。
(15)
根据(1)至(14)中任一项的信息处理装置，
其中，要对目标图像执行的几何校正包括对目标图像不执行几何校正的处理。
(16)
根据(1)至(15)中任一项的信息处理装置，
其中，在获取到有关多个用户中的每个用户的一条方向信息的情况下，图像处理单元基于多条方向信息所指示的多个用户的相应方向来决定每个用户的方向，并且基于用户的决定的方向来对被指示要显示在显示区域中的目标图像执行几何校正。
(17)
根据(1)至(16)中任一项的信息处理装置，
其中，方向信息指示用户的视线方向。
(18)
根据(1)至(17)中任一项的信息处理装置，其进一步包括：
显示控制单元，该显示控制单元配置为使经过几何校正的目标图像显示在显示区域中。
(19)
一种由信息处理装置执行的信息处理方法，该信息处理方法包括：
基于方向信息对目标图像执行几何校正的步骤，该目标图像被指示要显示在能够显示图像的显示区域中，该方向信息指示查看显示区域的用户相对于显示区域的方向。
(20)
一种程序，其使计算机执行以下步骤：
基于方向信息对目标图像执行几何校正的步骤，该目标图像被指示要显示在能够显示图像的显示区域中，该方向信息指示查看显示区域的用户相对于显示区域的方向。
参考标记列表
100 信息处理装置
102 通信单元
104 控制单元
110 显示区域设定单元
112 图像处理单元
114 显示控制单元。

Claims (17)

1.一种信息处理装置，所述信息处理装置包括：
至少一个处理器，所述处理器配置为：
控制图像投射装置以将目标图像投射到显示区域上，其中，所述图像投射装置的位置不同于所述显示区域的位置，
基于方向信息对所述目标图像执行几何校正，所述目标图像被指示要显示在能够显示图像的所述显示区域中，所述方向信息指示相对于所述显示区域的用户视线方向，
所述显示区域是用户可见的，
所述几何校正包括所述目标图像围绕所述显示区域的表面上的轴的旋转，
所述目标图像在所述显示区域的表面上以基于所述用户视线方向计算的角度旋转，以及
基于所述用户视线方向和所述目标图像的投射方向之间的第三关系以及所述用户视线方向和所述目标图像的投射方向之间的第四关系来改变所述几何校正的内容，其中，
所述目标图像的投射方向是从所述图像投射装置到所述显示区域，
所述用户视线方向与所述第三关系中的投射方向平行，以及
所述第四关系不同于所述第三关系。
2.根据权利要求1所述的信息处理装置，
其中，所述至少一个处理器还被配置成基于所述目标图像的旋转来改变所述显示区域的形状。
3.根据权利要求1所述的信息处理装置，
其中，所述至少一个处理器按照第一模式执行所述几何校正，在所述第一模式中，执行所述几何校正以使所述目标图像旋转从而使得在所述显示区域中的图像朝着所述方向信息所指示的所述用户视线方向倾斜，或者按照第二模式执行所述几何校正，在所述第二模式中，不执行所述第一模式的所述几何校正。
4.根据权利要求3所述的信息处理装置，
其中，所述至少一个处理器基于所述目标图像在所述第一模式和所述第二模式之间切换。
5.根据权利要求3所述的信息处理装置，
其中，所述至少一个处理器基于查看所述显示区域的所述用户的用户状态在所述第一模式和所述第二模式之间切换。
6.根据权利要求5所述的信息处理装置，
其中，所述用户状态对应于查看所述显示区域的用户数。
7.根据权利要求5所述的信息处理装置，
其中，所述用户状态是所述方向信息所指示的所述用户视线方向与所述显示区域之间的关系。
8.根据权利要求1所述的信息处理装置，
其中，所述至少一个处理器根据所述方向信息所指示的所述用户视线方向与所述显示区域之间的关系来改变要对所述目标图像执行的所述几何校正的内容。
9.根据权利要求8所述的信息处理装置，
其中，所述至少一个处理器在所述用户视线方向与所述显示区域之间的所述关系是第一关系的情况和所述用户视线方向与所述显示区域之间的所述关系是第二关系的情况之间改变要对所述目标图像执行的所述几何校正的内容，在所述第一关系中，确定所述用户视线方向和所述显示区域垂直相交，所述第二关系与所述第一关系不同。
10.根据权利要求9所述的信息处理装置，
其中，在所述用户视线方向与所述显示区域之间的所述关系是所述第一关系的情况下，所述至少一个处理器不进一步基于所述目标图像对所述目标图像执行几何校正。
11.根据权利要求1所述的信息处理装置，
其中，在所述显示区域是多个平面的情况下，所述至少一个处理器对要在所述显示区域内的每个所述平面上显示的所述目标图像的每个部分执行所述几何校正。
12.根据权利要求1所述的信息处理装置，
其中，在检测到指定所述几何校正的内容的用户操作的情况下，所述图像处理单元执行与对被指示要显示在所述显示区域中的所述目标图像的所述用户操作相对应的所述几何校正。
13.根据权利要求1所述的信息处理装置，
其中，要对所述目标图像执行的所述几何校正包括对所述目标图像不执行几何校正的处理。
14.根据权利要求1所述的信息处理装置，
其中，在获取到有关多个用户中的每个用户的一条所述方向信息的情况下，所述图像处理单元基于多条所述方向信息所指示的所述多个用户的所述相应方向来决定每个所述用户视线方向，并且基于所述决定的用户视线方向来对被指示要显示在所述显示区域中的所述目标图像执行所述几何校正。
15.根据权利要求1所述的信息处理装置，进一步包括：
所述至少一个处理器被配置为控制经过所述几何校正的所述目标图像以显示在所述显示区域中。
16.一种由信息处理装置执行的信息处理方法，所述信息处理方法包括：
控制图像投射装置以将目标图像投射到显示区域上，其中，所述图像投射装置的位置不同于所述显示区域的位置，
基于方向信息对所述目标图像执行几何校正的步骤，所述目标图像被指示要显示在能够显示图像的所述显示区域中，所述方向信息指示相对于所述显示区域的用户视线方向，
所述显示区域是用户可见的，
所述几何校正包括所述目标图像围绕所述显示区域的表面上的轴的旋转，
所述目标图像在所述显示区域的表面上以基于所述用户视线方向计算的角度旋转，以及
基于所述用户视线方向和所述目标图像的投射方向之间的第三关系以及所述用户视线方向和所述目标图像的投射方向之间的第四关系来改变所述几何校正的内容，其中，
所述目标图像的投射方向是从所述图像投射装置到所述显示区域，
所述用户视线方向与所述第三关系中的投射方向平行，以及
所述第四关系不同于所述第三关系。
17.一种其上存储有程序的计算机可读存储介质，所述程序使计算机执行以下步骤：
控制图像投射装置以将目标图像投射到显示区域上，其中，所述图像投射装置的位置不同于所述显示区域的位置，
基于方向信息对所述目标图像执行几何校正的步骤，所述目标图像被指示要显示在能够显示图像的所述显示区域中，所述方向信息指示相对于所述显示区域的用户视线方向，
所述显示区域是用户可见的，
所述几何校正包括所述目标图像围绕所述显示区域的表面上的轴的旋转，
所述目标图像在所述显示区域的表面上以基于所述用户视线方向计算的角度旋转，以及
基于所述用户视线方向和所述目标图像的投射方向之间的第三关系以及所述用户视线方向和所述目标图像的投射方向之间的第四关系来改变所述几何校正的内容，其中，
所述目标图像的投射方向是从所述图像投射装置到所述显示区域，
所述用户视线方向与所述第三关系中的投射方向平行，以及
所述第四关系不同于所述第三关系。
CN201680050091.7A 2015-09-07 2016-06-17 信息处理装置、信息处理方法和计算机可读存储介质 Expired - Fee Related CN107950019B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-176102 2015-09-07
JP2015176102A JP2017055178A (ja) 2015-09-07 2015-09-07 情報処理装置、情報処理方法、およびプログラム
PCT/JP2016/068086 WO2017043145A1 (ja) 2015-09-07 2016-06-17 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN107950019A CN107950019A (zh) 2018-04-20
CN107950019B true CN107950019B (zh) 2021-05-28

Family

ID=58239652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680050091.7A Expired - Fee Related CN107950019B (zh) 2015-09-07 2016-06-17 信息处理装置、信息处理方法和计算机可读存储介质

Country Status (4)

Country Link
US (1) US10976812B2 (zh)
JP (1) JP2017055178A (zh)
CN (1) CN107950019B (zh)
WO (1) WO2017043145A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9551161B2 (en) * 2014-11-30 2017-01-24 Dolby Laboratories Licensing Corporation Theater entrance
EP4043670A1 (en) 2014-11-30 2022-08-17 Dolby Laboratories Licensing Corporation Social media linked large format theater design
US11417135B2 (en) 2017-08-23 2022-08-16 Sony Corporation Information processing apparatus, information processing method, and program
WO2019079790A1 (en) * 2017-10-21 2019-04-25 Eyecam, Inc ADAPTIVE GRAPHIC USER INTERFACE SYSTEM
JP2021121878A (ja) * 2018-05-16 2021-08-26 ソニーグループ株式会社 情報処理装置、情報処理方法、および記録媒体
JP2020095344A (ja) * 2018-12-10 2020-06-18 セイコーエプソン株式会社 表示装置の制御方法および表示装置
CN113075851B (zh) * 2021-04-02 2022-07-19 深圳吉祥星科技股份有限公司 悬挂式投影装置及其控制方法及可读存储介质
US11394940B1 (en) * 2021-04-16 2022-07-19 Texas Instruments Incorporated Dynamic image warping
US11694604B2 (en) * 2021-04-23 2023-07-04 Netflix, Inc. Adjustable light-emissive elements in a display wall

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078121A (ja) * 2002-08-22 2004-03-11 Sharp Corp 表示補正装置、表示補正方法、表示補正プログラム、および表示補正プログラムを記録した記録媒体
CN102129680A (zh) * 2010-01-15 2011-07-20 精工爱普生株式会社 实时几何形状感知投影和快速重校准
JP2011248254A (ja) * 2010-05-31 2011-12-08 Sharp Corp 映像表示システム、それを実現する映像表示装置、傾き検出装置および映像表示方法
JP2014077862A (ja) * 2012-10-10 2014-05-01 Seiko Epson Corp 画像表示装置および画像表示装置の画像調整方法
JP2015130555A (ja) * 2014-01-06 2015-07-16 株式会社東芝 画像処理装置、画像処理方法、および画像投影装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005176017A (ja) 2003-12-12 2005-06-30 Olympus Corp プロジェクタシステム
EP1784978B1 (de) * 2004-08-30 2010-11-10 Bauhaus-Universität Weimar Verfahren und vorrichtung zur darstellung eines digitalen bildes auf einer geometrisch und photometrisch nicht-trivialen oberfläche
JP2007079210A (ja) 2005-09-15 2007-03-29 Seiko Epson Corp 映像投影装置及び映像投影方法
US8115877B2 (en) * 2008-01-04 2012-02-14 International Business Machines Corporation System and method of adjusting viewing angle for display based on viewer positions and lighting conditions
TWI413979B (zh) * 2009-07-02 2013-11-01 Inventec Appliances Corp 調整顯示畫面的方法、電子裝置，與電腦程式產品
JP5783829B2 (ja) 2011-07-21 2015-09-24 三菱プレシジョン株式会社 映像の歪みを補正する方法、映像の歪みを補正する装置、模擬視界表示装置及び操縦訓練のためのシミュレータ
JP5966624B2 (ja) 2012-05-29 2016-08-10 株式会社リコー 情報処理装置及び情報表示システム
JP5969886B2 (ja) 2012-10-10 2016-08-17 株式会社Ｊｓｏｌ 対応点算出システム及びプログラム、並びに金型形状生成システム及びプログラム
US8992050B1 (en) * 2013-02-05 2015-03-31 Rawles Llc Directional projection display
US11606538B2 (en) * 2013-09-05 2023-03-14 Texas Instmments Incorporated Automatic keystone correction in a projection system
US9658688B2 (en) * 2013-10-15 2017-05-23 Microsoft Technology Licensing, Llc Automatic view adjustment
US9588408B1 (en) * 2014-05-15 2017-03-07 Autofuss Methods and systems for projecting a target portion of an image at a higher resolution
US9746901B2 (en) * 2014-07-31 2017-08-29 Google Technology Holdings LLC User interface adaptation based on detected user location
US20170329208A1 (en) * 2014-12-17 2017-11-16 Sony Corporation Information processing apparatus and method
JP6613458B2 (ja) * 2014-12-25 2019-12-04 パナソニックＩｐマネジメント株式会社 投影装置
CN105828493B (zh) * 2015-01-06 2018-09-11 中强光电股份有限公司 照明系统与其多模式灯具
KR101755128B1 (ko) * 2015-01-23 2017-07-19 최해용 가상현실 극장 구조
US10955924B2 (en) * 2015-01-29 2021-03-23 Misapplied Sciences, Inc. Individually interactive multi-view display system and methods therefor
JP2016151798A (ja) * 2015-02-16 2016-08-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP6636252B2 (ja) * 2015-03-19 2020-01-29 株式会社メガチップス 投影システム、プロジェクター装置、撮像装置、および、プログラム
EP3280136B1 (en) * 2015-03-30 2021-04-28 MegaChips Corporation Projection systems and projection methods
US20170023911A1 (en) * 2015-07-20 2017-01-26 Steve Russell Themed Holographic Theater
US10462421B2 (en) * 2015-07-20 2019-10-29 Microsoft Technology Licensing, Llc Projection unit

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078121A (ja) * 2002-08-22 2004-03-11 Sharp Corp 表示補正装置、表示補正方法、表示補正プログラム、および表示補正プログラムを記録した記録媒体
CN102129680A (zh) * 2010-01-15 2011-07-20 精工爱普生株式会社 实时几何形状感知投影和快速重校准
JP2011248254A (ja) * 2010-05-31 2011-12-08 Sharp Corp 映像表示システム、それを実現する映像表示装置、傾き検出装置および映像表示方法
JP2014077862A (ja) * 2012-10-10 2014-05-01 Seiko Epson Corp 画像表示装置および画像表示装置の画像調整方法
JP2015130555A (ja) * 2014-01-06 2015-07-16 株式会社東芝 画像処理装置、画像処理方法、および画像投影装置

Also Published As

Publication number Publication date
US20190004599A1 (en) 2019-01-03
WO2017043145A1 (ja) 2017-03-16
US10976812B2 (en) 2021-04-13
CN107950019A (zh) 2018-04-20
JP2017055178A (ja) 2017-03-16

Similar Documents

Publication Publication Date Title
CN107950019B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
US10936874B1 (en) Controller gestures in virtual, augmented, and mixed reality (xR) applications
US10852828B1 (en) Automatic peripheral pairing with hand assignments in virtual, augmented, and mixed reality (xR) applications
US8933886B2 (en) Instruction input device, instruction input method, program, recording medium, and integrated circuit
US9225950B2 (en) Device and method for user interaction
US11156843B2 (en) End-to-end artificial reality calibration testing
KR101212636B1 (ko) 증강 현실에서 위치 정보를 표시하는 방법 및 장치
WO2016042926A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US20130176337A1 (en) Device and Method For Information Processing
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
US20170078570A1 (en) Image processing device, image processing method, and image processing program
US11272153B2 (en) Information processing apparatus, method for controlling the same, and recording medium
JP5791577B2 (ja) 画像処理装置、画像表示方法、およびプログラム
WO2015051827A1 (en) Method of determining a similarity transformation between first and second coordinates of 3d features
US20240071016A1 (en) Mixed reality system, program, mobile terminal device, and method
WO2016008265A1 (zh) 一种定位位置的方法及装置
US20160371889A1 (en) System for registration of virtual space and real space, method for registering display apparatus and image sensor, and electronic device registered using the method
KR101330531B1 (ko) ３차원 카메라를 이용한 가상 터치 방법 및 장치
US20170193633A1 (en) Information processing device, information processing method, and program
US10114473B2 (en) Interactive system and remote device
JP4828395B2 (ja) 三次元地図表示装置
JP6373546B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230068299A1 (en) Information processing device, information processing method, and computer program
CN115348438B (zh) 三维显示设备控制方法及相关装置
JP6737945B2 (ja) 決定装置、画像処理装置及び決定プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210528

CF01 Termination of patent right due to non-payment of annual fee