CN105391938A - 图像处理装置、图像处理方法和计算机程序产品 - Google Patents

图像处理装置、图像处理方法和计算机程序产品 Download PDF

Info

Publication number
CN105391938A
CN105391938A CN201510659354.1A CN201510659354A CN105391938A CN 105391938 A CN105391938 A CN 105391938A CN 201510659354 A CN201510659354 A CN 201510659354A CN 105391938 A CN105391938 A CN 105391938A
Authority
CN
China
Prior art keywords
unit
shooting
reference planes
image processing
real space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510659354.1A
Other languages
English (en)
Inventor
冈本拓也
吉田浩之
石原里江子
河田佑贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN105391938A publication Critical patent/CN105391938A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

一种图像处理装置，包括：设置单元，在从用户接收到设置指令时，根据所检测的拍摄真实空间的拍摄单元的第一姿态信息设置用于在真实空间中安排虚拟对象的参考平面；推导单元，推导参考平面相对于拍摄单元的拍摄方向的第一相对方向；第一计算单元，计算位于第一相对方向上的参考平面的第二姿态信息；以及显示控制单元，执行在显示单元上显示叠加图像的控制，其中在叠加图像中，处于相应于第二姿态信息的姿态的绘制的虚拟对象的对象图像被叠加在拍摄单元所拍摄的真实空间图像中的相应于参考平面的位置。

Description

图像处理装置、图像处理方法和计算机程序产品
技术领域
本发明涉及图像处理装置和图像处理方法。
背景技术
存在已知的向真实空间事件添加计算机辅助信息的现实增强(AR)技术。例如，已经公开了一种技术：在真实空间中放置AR标记，拍摄包括AR标记的真实空间从而获得拍摄图像，然后向包含在该拍摄图像中的AR标记的位置添加虚拟对象并显示合成图像(例如，参见日本公开专利公开号2013-186691)。
然而，通常必须在真实空间中放置AR标记，并且很难在不依赖真实空间环境的情况下容易地提供现实增强图像。
发明内容
本发明的目的是为了至少部分地解决传统技术中的问题。
一种图像处理装置，包括：拍摄真实空间的拍摄单元；检测拍摄单元的第一姿态信息的检测单元；从检测单元获取第一姿态信息的第一获取单元；从用户接收设置指令的接收单元；设置单元，在接收到了设置指令时，根据第一姿态信息设置在真实空间中安排虚拟对象的参考平面；推导单元，推导参考平面相对于拍摄单元的拍摄方向的第一相对方向；第一计算单元，计算位于第一相对方向的参考平面的第二姿态信息；以及显示控制单元，执行在显示单元上显示叠加图像的控制，其中在所述叠加图像中，具有相应于第二姿态信息的姿态的绘制的虚拟对象的对象图像被叠加在拍摄单元所拍摄的真实空间图像中相应于参考平面的区域。
由图像处理装置实现图像处理方法，所述图像处理装置包括拍摄真实空间的拍摄单元和检测拍摄单元第一姿态信息的检测单元。该图像处理方法包括：从检测单元获取第一姿态信息；从用户接收设置指令；当接收到了设置指令时，根据第一姿态信息在真实空间中设置安排虚拟对象的参考平面；推导参考平面相对于拍摄单元的拍摄方向的第一相对方向；计算位于第一相对方向的参考平面的第二姿态信息；以及执行在显示单元上显示叠加图像的控制，其中在所述叠加图像中，具有相应于第二姿态信息的姿态的绘制的虚拟对象的对象图像被叠加在拍摄单元所拍摄的真实空间图像中的相应于参考平面的区域。
通过阅读下面本发明的当前优选实施例，并结合附图考虑，将更好地理解本发明的上述和其他的目的、特征、优点以及技术和工业上的重要意义。
附图说明
图1是根据本实施例的图像处理装置的的示意图；
图2A和2B是图像处理装置的示意性外部视图；
图3A和3B是坐标系统的说明图；
图4是第一姿态信息的说明图；
图5是示出了图像处理装置的功能性配置的模块图；
图6是示出了光源信息表的数据结构的示例的图；
图7A至7C是示出了拍摄单元的姿态的示例的图；
图8A和8B是示出了设置参考平面的示例的说明图；
图9是示出了设置参考平面和第一相对方向的示例的说明图；
图10是示出了设置参考平面的示例的说明图；
图11A和11B是重置参考平面的说明图；
图12A至12D是重置参考平面的详细说明图；
图13A至13F是如何计算第二距离相对于第一距离的缩放因子的说明图；
图14A和14B是叠加图像的显示的说明图；
图15A至15F是对象图像的显示的说明图；
图16是示出了显示方法的顺序图；以及
图17是图像处理装置的硬件配置图。
具体实施方式
下面将参考附图详细地解释根据本发明的图像处理装置和图像处理方法的示例性实施例。
图1是根据本实施例的图像处理装置10的示意图。
图像处理装置10是在显示单元20上显示预览图像的装置。
图像处理装置10包括拍摄单元12、显示处理单元14、存储单元16、输入单元18、显示单元20和检测单元25。拍摄单元12、显示处理单元14、存储单元16、输入单元18、显示单元20和检测单元25通过总线22电连接。
顺便说一句，图像处理装置10可被配置为使得拍摄单元12、显示处理单元14和检测单元25从存储单元16、输入单元18和显示单元20中的至少一个分离。
并且，图像处理装置10可以是便携式终端，或者可以是固定终端。在本实施例中，作为举例，图像处理装置10被解释为整体上包括拍摄单元12、显示处理单元14、存储单元16、输入单元18、显示单元20和检测单元25的便携式终端。并且，图像处理装置10可被配置为进一步包括其他功能单元，例如用于与外部设备通信的通信单元。
拍摄单元12拍摄图像处理装置10所处的真实空间。真实空间是，例如，房间。并且，真实空间例如是由多个墙面构成的房间；例如，真实空间是由地面、顶面和每个都延伸到地面和顶面的四个墙面构成的立方体房间。顺便提及，真实空间可以是图像处理装置10所处的任意实际空间，并不限于房间。拍摄单元12是通过拍摄照片获得图像数据的公知拍摄设备。
显示单元20在其上显示各种图像。显示单元20是公知的显示设备例如液晶显示器(LCD)或投影图像的投影仪。在本实施例中，后面将要描述的叠加图像显示在显示单元20上。
并且，在本实施例中，作为举例，描述了显示单元20和拍摄单元12安装在图像处理装置10的壳体上从而显示单元20的显示方向和拍摄单元12的拍摄方向为相反方向(180度关系)的情形。
图2A和2B是图像处理装置10的示意性外部视图。在图像处理装置10的壳体11上，安装了拍摄单元12和显示单元20。在壳体11内，安装了检测单元25、显示处理单元14、存储单元16等。如图2A和2B中所示，在本实施例中，拍摄单元12和显示单元20被安装以使得拍摄单元12的拍摄方向A2和显示单元20的显示方向A1为相反方向。顺便提及，拍摄单元12的拍摄方向A2和显示单元20的显示方向A1并不限于180度关系，并且可以是相同方向(0度关系)或0至180度范围内的任何角度关系。
作为举例，在本实施例中，描述了拍摄单元12和显示单元20被安装为使得拍摄单元12的拍摄方向A2和显示单元20的显示方向A1被设置为相反方向的情形。因此，例如，在图像处理装置10固定的状态下，当拍摄单元12所拍摄的拍摄图像显示在显示单元20时，显示在显示单元20上的拍摄图像和位于显示单元20后面的真实空间的场景(在与显示单元20的显示方向A1相反的一侧)大致相同。
返回图1，输入单元18从用户接收各种操作。例如，输入单元18是鼠标、通过麦克风的语音识别、按钮、遥控器、键盘等。
顺便提及，输入单元18和显示单元20可以集成为一个单元。在本实施例中，描述了输入单元18和显示单元20集成为UI单元19的情形。例如，UI单元19是同时具有显示功能和输入功能的触摸板。因此，用户在检查UI单元19上所显示的图像的同时在UI单元19的显示表面上操作，从而用户可执行各种输入。
存储单元16是诸如存储器或硬盘驱动器(HDD)的存储介质，并在其中保存用来执行后面将要描述的各种处理的各种程序和各种数据。
检测单元25检测指示在真实空间中拍摄单元12的姿态的第一姿态信息。
第一姿态信息是指示在真实空间中拍摄单元12的姿态的信息。特别地，第一姿态信息是指示在真实空间中拍摄单元12的光学轴的姿态的信息。顺便提及，在本实施例中，描述了拍摄单元12的光学轴的方向和拍摄单元12的拍摄方向A2一致的情形。
这里的姿态指示真实空间中的拍摄单元12相对于参考姿态的倾斜(后将详细描述)。在本实施例中，第一姿态信息用相对于参考姿态的转动角(横滚角，俯仰角，以及航向角)表示(下面将详细描述)。
特别地，在本实施例中，在垂直于拍摄方向A2的拍摄单元12的拍摄表面的左右方向为X轴、拍摄表面的上下方向为Y轴、且与拍摄表面正交的方向为Z轴的摄像机坐标系统中，参考姿态是当X轴与东西方向一致、Y轴与垂直方向一致、且Z轴与南北方向一致时的姿态。
然后，在本实施例中，第一姿态信息指示拍摄单元12的拍摄方向A2相对于该参考姿态的倾斜(姿态)，并用相对于参考姿态的转动角(横滚角α，俯仰角β，以及航向角γ)表示。顺便提及，下文中，拍摄单元12的拍摄方向A2的姿态可以简单地描述为拍摄单元12的姿态。
顺便提及，摄像机坐标系统中的X-Y平面与垂直于拍摄方向A2的拍摄表面一致。并且，在本实施例中，垂直于拍摄方向A2的拍摄表面与显示单元20的显示表面一致。并且，摄像机坐标系统的原点(0点)是拍摄单元12的拍摄表面的中心。
如上所述，在本实施例中，拍摄单元12被集成在图像处理装置10中。因此，拍摄单元12的第一姿态信息也指示图像处理装置10、显示单元20和UI单元19的姿态。
图3A和3B是坐标系统的说明图。图3A是真实空间的三维坐标系统(即，世界坐标系统)的说明图。图3B是基于垂直于拍摄方向A2的拍摄单元12的拍摄表面(在本实施例中，与显示单元20的显示表面相同)的摄像机坐标系统的说明图。图4是第一姿态信息的说明图。
也就是说，在本实施例中，当摄像机坐标系统的X轴(见图3B)与世界坐标系统的东西方向(见图3A的X轴方向)一致、摄像机坐标系统的Y轴(见图3B)与世界坐标系统的垂直方向(见图3A的Y轴方向)一致、摄像机坐标系统的Z轴(见图3B)与世界坐标系统的南北方向(见图3A的Z轴方向)一致时的姿态被设置为参考姿态。然后，在本实施例中，第一姿态信息用拍摄单元12相对于参考姿态的转动角(横滚角α，俯仰角β，以及航向角γ)表示(见图4)。
顺便提及，在图3和4中，为了解释起来简单，与拍摄单元12具有相同姿态的显示单元20和UI单元19的姿态被示为拍摄单元12的姿态。
至于检测单元25，使用能够检测倾斜或方向(角度)的公知的检测器。例如，检测单元25为陀螺仪传感器(三维加速计)、电磁罗盘、重力加速计等。
顺便提及，检测单元25可被配置为进一步包括检测真实空间中的位置(特别地，世界坐标系统中的位置)的公知设备。例如，检测单元25可被配置为包括全球定位系统(GPS)。这种情况下，检测单元25除了第一姿态信息外还可检测拍摄单元12在真实空间中的位置(纬度、经度和海拔)。
回到图1，显示处理单元14是包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等的计算机。顺便提及，显示处理单元14可以是电路等而非通用CPU。显示处理单元14控制包含在图像处理装置10中的单元。
显示处理单元14执行在显示单元20上显示叠加图像的控制。叠加图像是通过将以虚拟对象的对象图像叠加在拍摄真实空间的真实空间图像上而得到的图像。
虚拟对象是不包括在所拍摄的真实空间图像中的虚拟对象。例如，虚拟对象是显示处理单元14可操作的图像数据。例如，虚拟对象的图像数据是由外部设备或显示处理单元14创建的图像的图像数据，或者在与该真实空间图像的拍摄时间不同的时间拍摄的拍摄图像的图像数据，但并不限于这些。
在显示处理单元14所执行的显示处理中，采用使用图形操作编程接口的3D引擎。例如，显示处理单元14使用诸如开放图形库(OpenGL)的3D引擎实现显示处理。
在本实施例中，描述了以下情形，在该情形中叠加图像是获取的图像，从而真实空间图像被安排在虚拟三维空间中，在虚拟三维空间中绘制虚拟对象由此创建对象图像，并且将安排真实空间图像和对象图像的三维空间模型投影到二维表面上。
顺便提及，叠加图像可以是将真实空间图像和对象图像安排在二维空间中的二维模型。
图5是显示图像处理装置10的功能性配置的模块图。如上所述，图像处理装置10包括检测单元25、拍摄单元12、存储单元16、UI单元19和显示处理单元14。检测单元25、拍摄单元12、存储单元16、UI单元19连接至显示处理单元14从而它们可以提供或接收信号或数据。
显示处理单元14包括第一获取单元14A、第二获取单元14B、接收单元14C、设置处理单元14D、计算单元14E、光源设置单元14F和显示控制单元14G。
第一获取单元14A、第二获取单元14B、接收单元14C、设置处理单元14D、计算单元14E、光源设置单元14F和显示控制单元14G中的一些或全部可由诸如CPU的处理器执行程序(即通过软件)来实现，或者可由诸如集成电路(IC)的硬件来实现，或者可由软件和硬件的组合来实现。
第一获取单元14A从检测单元25获取第一姿态信息。检测单元25持续地检测第一姿态信息，并顺序地将检测到的第一姿态信息输出到第一获取单元14A。因此，第一获取单元14A持续地并且顺序地获取指示拍摄单元12最新姿态的第一姿态信息。
第二获取单元14B获取拍摄单元12所拍摄的真实空间图像。顺便提及，在本实施例中，当操作UI单元19的用户已经命令开启显示处理应用程序时，拍摄单元12开始对真实空间进行连续拍摄并顺序地将拍摄的真实空间图像输出到显示处理单元14。第二获取单元14B获取拍摄单元12拍摄的真实空间图像。因此，第二获取单元14B持续地顺序地获取最新的真实空间图像。
接收单元14C从UI单元19(输入单元18)接收各种用户指令。在本实施例中，接收单元14C接收对待显示的虚拟对象的指定。
例如，显示控制单元14G在UI单元19上显示用于选择多个已保存在存储单元16中的图像数据的选择屏幕。例如，通过显示在UI单元19(显示单元20)上的选择屏幕，用户选择要显示的图像数据。因此，接收单元14C接受选择的图像数据作为虚拟对象。
并且，接收单元14C接收指令以设置后面将说明的参考平面。
并且，接收单元14C接收光源信息。光源信息是指示安排在虚拟三维空间中的虚拟光源的反射性质的信息。例如，接收单元14C提前在存储单元16中保存光源信息表。然后，通过用户经由UI单元19指定(输入单元18)，接收单元14C接收从光源信息表中选择的光源信息。
图6是显示光源信息表的数据结构的示例的图。光源信息表是将标识光源类型的光源ID、光源名称和光源信息彼此关联的信息。顺便提及，光源信息表可以是数据库，并且数据格式不限。
光源信息是指示由相应的光源ID标识的光源的光属性的信息。光属性是用于在显示叠加图像时标识渲染光的反射量的信息。光源信息用反射光、散射光和环境光中每一个中的R、G和B颜色分量的光量(亮度)表示，其中所述反射光、散射光和环境光是与色温相关的项目。每个RGB颜色分量的最大光值为“1.0”，最小光值为“0”。特别地，作为图6中反射光值的示例所描述的“(1.00，095，0.95)”示出了反射光的R、G和B颜色分量的光量分别是1.00、0.95和0.95。
显示控制单元14G读取保存在存储单元16中的光源信息，并在UI单元19(显示单元20)上以用户可选择的形式显示在光源信息表中注册的光源信息列表。用户通过操作输入单元18从显示的光源信息列表中选择与想要的光源名称相应的光源信息。从而，接收单元14C接受选择的光源信息。
返回图5，设置处理单元14D执行对参考平面的设置、对参考平面相对于拍摄单元12的拍摄方向的第一相对方向的推导、对参考平面的重置等。
设置处理单元14D包括设置单元14H、推导单元14N、确定单元14I和重置单元14J。
当接收到设置参考平面的指令时，设置单元14H根据接收到设置指令时获取的第一姿态信息设置用于在真实空间中安排虚拟对象的参考平面。
参考平面是真实空间中的平面区域。例如，假设真实空间是由多个墙面构成的房间。在这种情况下，参考平面是多个墙面中的一个。并且，假设真实空间是由地面、顶面和每个延伸到地面和顶面的四个墙面构成的房间。在这种情况下，参考平面是构成该立方体房间的六个墙面中的一个。
特别地，设置单元14H从第一获取单元14A接收在收到设置参考平面的指令时所检测的第一姿态信息。然后，设置单元14H通过使用第一姿态信息设置参考平面。
例如，显示控制单元14G在显示单元20上显示一真实空间图像，并进一步显示提示设置参考平面的指令的消息。在检查显示在显示单元20上的真实空间图像的同时，用户调整拍摄方向从而面向用户想要安排虚拟对象的平面(例如顶面、地面或墙面)的方向，并按下设置按钮(未示出)。然后，接收单元14C接收设置指令并将设置指令输出到设置处理单元14D的设置单元14H。
当设置单元14接收到该设置指令时，设置单元14通过使用接收到设置指令时的第一姿态信息设置参考平面。
图7A至7C是显示根据从第一获取单元14A接收到的第一姿态信息的拍摄单元12(图像处理装置10，显示单元20)的姿态的示例的图。
由第一姿态信息标识的姿态包括(例如)横向(见图7A)、朝上(见图7B)、朝下(见图7C)等。
横向是当垂直于拍摄方向A2的拍摄单元12的拍摄表面(与显示单元20的显示表面相同的表面)与平行于世界坐标系统中的垂直方向的平面一致时的姿态。朝上是当垂直于拍摄方向A2的拍摄单元12的拍摄表面(与显示单元20的显示表面相同的表面)与垂直于垂直方向的平面一致且显示单元20的显示方向A1与相反的垂直方向(与重力方向相反的方向)一致时的姿态。朝下是当垂直于拍摄方向A2的拍摄单元12的拍摄表面(与显示单元20的显示表面相同的表面)与垂直于垂直方向的平面一致且显示单元20的显示方向A1与垂直方向(重力方向)一致时的姿态。
当用户发布设置参考平面的指令时，优选的是用户抓住处于例如横向、朝上或朝下姿态的图像处理装置10并输入设置指令。
返回图5，设置单元14H通过使用接收到设置指令时所获取的第一姿态信息设置参考平面。
特别地解释一下对参考平面的设置。使用接收到设置指令时所获取的第一姿态信息，设置单元14H将构成拍摄单元12所处房间的多个墙面中的一个设置为参考平面。
特别地，设置单元14将真实空间中与拍摄单元12的拍摄方向相交的平面设置为参考平面。
图8是显示设置参考平面的示例的说明图。
例如，假设图像处理装置10位于作为真实空间的由地面S1、顶面S6和每个都延伸到地面和顶面的四个墙面(S2至S5)构成的立方体房间中。然后，假设图像处理装置10被放置以使得拍摄单元12的拍摄方向A2朝向地面S1一侧且显示方向A1朝向墙面S2(见图8A)。
在图8所示状态的情况下，真实空间中与由第一姿态信息标识的拍摄方向A2相交的平面是地面S1(见图8B)。也就是说，在这种情况下，设置单元14H将地面S1设置为参考平面。
此处，设置单元14H根据接收到设置指令时图像处理装置10中拍摄单元12的拍摄方向A2和显示单元20的显示方向A1之间的关系设置参考平面。
例如，假设拍摄单元12和显示单元20的安排被调整以使得图像处理装置10中拍摄单元12的拍摄方向A2和图像处理装置10中的显示单元20的显示方向A1为相反的方向(180度关系)。
图9是显示设置参考平面和第一相对方向的示例的说明图。顺便提及，图9中墙面S的安排与图8A中所示的相同。并且，图9示出了图像处理装置10中拍摄单元12的拍摄方向A2和图像处理装置10中显示单元20的显示方向A1为相反方向(180度关系)的情况。
当拍摄单元12的拍摄方向A2和显示单元20的显示方向A1为相反的方向时，设置单元14H从构成拍摄单元12在现实空间中所处房间的多个墙面中，将与拍摄单元12的拍摄方向A2或逆拍摄方向相交并且与垂直于拍摄方向A2的拍摄表面形成最小角度的墙面设置为参考平面。
在图9所示的示例中，设置单元14H从多个墙面S中标识与拍摄方向A2和显示方向A1相交的地面S1和墙面S2。
然而，设置单元14H从标识的墙面中，将与垂直于拍摄方向A2的拍摄表面形成最小角度的一个墙面设置为参考平面。在图9所示的示例中，从标识的地面S1和墙面S2中，将地面S1设置为参考表面，其中地面S1是与垂直于拍摄方向A2的拍摄表面形成最小角度的墙面(见图9中的角度和())。顺便提及，当角度和角度相同时，从标识的地面S1和墙面S2中，将地面S1设置为参考平面，其中地面S1是在拍摄方向A2上位于拍摄单元12下游一侧的墙面S。
另一方面，假设拍摄单元12和显示单元20的安排被调整为使得图像处理装置10中的拍摄单元12的拍摄方向A2和图像处理装置10中的显示单元20的显示方向A1为相同方向(0度关系)。
图10是显示设置参考平面的示例的说明图。顺便提及，图10中墙面S的安排与图8A中所示的相同。并且，图10是显示图像处理装置10中的拍摄单元12的拍摄方向A2和图像处理装置10中的显示单元20的显示方向A1为相同方向(0度关系)的情况的说明图。
当拍摄单元12的拍摄方向A2和显示单元20的显示方向A1为相同方向时，设置单元14H从构成拍摄单元12在真实空间中所处房间的多个墙面中，将与拍摄单元12的拍摄方向A2或拍摄方向的反向相交并且与垂直于拍摄方向A2的拍摄表面形成最大角度的墙面设置为参考平面。
在图10所示的示例中，设置单元14H从多个墙面S中标识出与拍摄方向A2、显示方向A1和方向A1、A2的反方向相交的地面S1和墙面S2。
然后，设置单元14H从标识的墙面中，将与垂直于拍摄方向A2的拍摄表面形成最大角度的墙面设置为参考平面和第一相对方向。在图10所示的示例中，在标识的地面S1和墙面S2中，将墙面S2设置为参考平面，墙面S2是与垂直于拍摄方向A2的拍摄表面形成最大角度的墙面(见图10中的角度和())。顺便提及，当角度和角度相同时，从标识的地面S1和墙面S2中，将墙面S2设置为参考平面，其中墙面S2是在拍摄方向A2上位于拍摄单元12下游一侧的墙面S。
返回图5，推导单元14N推导设置的参考平面相对于拍摄单元12当前拍摄方向A2的第一相对方向。通过使用顺序地检测的第一姿态信息，推导单元14N标识拍摄单元12的当前拍摄方向A2。然后，推导单元14N推导出第一相对方向，所述第一相对方向是设置单元A2所设置的参考平面相对于所标识的当前拍摄方向A2的相对方向。
因此，当拍摄单元12的拍摄方向A2转动时，例如，根据图像处理装置10的转动，随着转动顺序地计算参考平面相对于转动后拍摄单元12的当前拍摄方向A2的第一相对方向。
确定单元14I确定拍摄方向A2是否已经转动了预定的第一相对角度或更大，因为参考平面是基于设置参考平面过程中使用的第一姿态信息和当前获取的第一姿态信息之间的比较的结果而设置的。当前获取的第一姿态信息是最新的第一姿态信息，并且是指示拍摄单元12的当前姿态的第一姿态信息。也就是说，确定单元14I确定相对于设置参考平面时的拍摄方向A2的转动角度是否是第一相对角度或更大。
例如，每次设置单元14H设置参考平面时，设置单元14H将设置过程中使用的第一姿态信息保存在存储单元16中作为设置参考平面时的第一姿态信息。顺便提及，如果设置参考平面时的第一姿态信息已经保存在存储单元16中，设置单元14H覆写已经保存的设置参考平面时的第一姿态信息从而将设置最新的参考平面过程中使用的第一姿态信息保存。并且，当执行了后面提及的参考平面重置时，将重置过程中使用的第一姿态信息保存在存储单元16中作为设置参考平面时的第一姿态信息从而覆写现有的第一姿态信息。
例如，设置单元14H将设置参考平面过程中使用的第一姿态信息(A0＝(α0，β0，γ0))保存在存储单元16中。α0是由设置参考平面时的第一姿态信息指示的横滚角α。β0是由设置参考平面时的第一姿态信息指示的俯仰角β。γ0是由设置参考平面时的第一姿态信息指示的航向角γ。
然后，假设当前获取的指示拍摄单元12当前姿态的第一姿态信息是，例如，At＝(αt，βt，γt)。t代表从获取设置参考平面中使用的第一姿态信息开始流逝的时间。也就是说，At是指示从时间点“0”开始流逝了时间“t”时拍摄单元12的姿态(即，拍摄单元12的当前姿态)的第一姿态信息，其中参考平面在时间点“0”时设置。
然后，作为拍摄单元12的拍摄方向A2从设置参考平面时的转动角，确定单元14I计算差值At-A0，其中从指示拍摄单元12当前姿态的第一姿态信息At中减去设置参考平面中使用的第一姿态信息A0。
然后，确定单元14I确定由差值At-A0(特别地，At-A0的绝对值)表示的转动角是否是预定的第一相对角度或更大。
将提前设置一任意值作为第一相对角度。顺便提及，该第一相对角度可由用户通过输入单元18指定而适当改变。
第一相对角度是小于后面将说明的第二相对角度的角度。例如，当第二相对角度为90°时，第一相对角度优选地在大于45°小于90°的范围内，并且更优选地为80°。
并且，例如，当第二相对角度是180°时，第一相对角度优选地在大于135°小于180°的范围内，并且更优选地为170°。
当确定单元14I确定拍摄单元12的拍摄方向A2已经转动了第一相对角度或更大时，重置单元14J把通过将参考平面转动大于第一相对角度的第二相对角度所得到的平面重置为新的参考平面。顺便提及，参考平面的转动方向与所确定的拍摄方向A2的转动方向相同。
例如，假设第二相对角度设置为90°且第一相对角度设置为80°。然后，假设图像处理装置10在真实空间(例如立体房间)中以垂直方向为转动轴转动。在这种情况下，重置单元14J可根据转动顺序地将与拍摄方向A2相交的房间墙面S中的每一个重置为参考平面。
重置参考平面时拍摄单元12的第一姿态信息A0由下面的公式(1)表示。
A0＝(α0+π/2×Sα，β0+π/2×Sβ，γ0+π/2×Sγ)(1)
方程(1)中，Sα、Sβ、Sγ是指示拍摄单元12的姿态变化的整数变量{0，1，2，3}。α0是由最后一次设置参考平面时的第一姿态信息(重置参考平面之前的第一姿态信息)指示的横滚角α。β0是由最后一次设置参考平面时的第一姿态信息(重置参考平面之前的第一姿态信息)指示的俯仰角β。γ0是由最后一次设置参考平面时的第一姿态信息(重置参考平面之前的第一姿态信息)指示的航向角γ。
然后，重置单元14J将重置的参考平面的第一姿态信息A0保存在存储单元16中作为在设置参考平面从而覆写现存的第一姿态信息时使用的第一姿态信息。
图11A和11B是重置参考平面的说明图。假设，如图11A所示，处于由设置参考平面时的第一姿态信息所标识的姿态的拍摄单元12的拍摄方向A2是与延续到地面S1的墙面S3相交的方向，并且将墙面S3设置为参考平面。
从这种状态开始，例如，假设根据图像处理装置10的转动，拍摄单元12的拍摄方向A2从与墙面S3相交的方向转到与墙面S5相交的方向(见图11B中的箭头C的方向)，其中墙面S5位于墙面S3的右手侧与墙面S3形成90度角。并且，假设第一相对角度为80°且第二相对角度为90°。
在这种情况下，当确定单元14I已经确定拍摄单元12的拍摄方向A2已经转动了第一相对角度(例如，80°)或更大时，重置单元14J把相对于作为参考平面的墙面S3成第二相对角度(例如，90°)的墙面S5设置为新的参考平面。
图12A至12D是重置参考平面的详细说明图。
例如，假设，如图12A所示，图像处理装置10的拍摄单元12的拍摄方向A2与世界坐标系统的Z轴方向一致。然后，已经将在真实空间中与该拍摄方向A2相交的平面(墙面)设置为参考平面。
然后，从这个状态开始，假设，如图12B所示，拍摄单元12的拍摄方向A2以Y轴为转动轴顺时针转动了角度θ(图12B中箭头R1的方向)。在这种情况下，维持参考平面的位置，从而参考平面相对于拍摄单元12的拍摄方向A2的第一相对方向就是拍摄方向A2以Y轴为转动轴逆时针(图12B中箭头R1的反方向)转动了角度-θ的方向。
然后，当如图12C所示转动角度θ超过了第一相对角度(例如，80°)时，通过上述方法，将参考平面以Y轴为转动轴顺时针(图12C中的箭头R1的方向)转动第二相对角度(例如，90°)的方向重置为新的参考平面。在这种情况下，第一相对方向是拍摄方向A2以Y轴为转动轴逆时针(图12C中箭头R1的反方向)转动角度-θ的方向。
然后，假设，如图12D所示，重置了新的参考平面之后，拍摄单元12的拍摄方将A2进一步以Y轴作为旋转轴顺时针(图12D中的箭头R1的方向)转动角度θ′。然后，当转动角度θ′超过了第一相对角度(例如，80°)时，按照与上述相同的方式，将参考平面以Y轴为转动轴顺时针(图12D中的箭头R1的方向)转动第二相对角度(例如，90°)的方向重置为新的参考平面。然后，拍摄单元12的拍摄方向A2的新参考平面的方向成为第一相对方向。在这种情况下，第一相对方向是拍摄方向A2以Y轴为转动轴逆时针(图12D中箭头R1的反方向)转动角度-θ′的方向。
也就是说，当第一相对角度为80°时，在图12B所示的状态下，将-80＜θ＜80范围内平行于XY平面的一个表面设置为参考平面。并且，当如图12C所示参考平面被切换并且重置了新的参考平面时，在图12D所示的状态下，将-80＜θ＜80范围内平行于YZ平面的一个表面设置为参考平面。
返回图5，计算单元14E计算第二姿态信息、第一位置、缩放因子等。计算单元14E包括第一计算单元14K、第二计算单元14L和第三计算单元14M。
第一计算单元14K计算处于推导单元14E推导的第一相对方向的参考平面的第二姿态信息。第二姿态信息是指示设置的参考平面相对于拍摄单元12的当前拍摄方向A2的姿态。
像第一姿态信息一样，第二姿态信息用相对于拍摄单元12的拍摄方向A2的转动角(横滚角α，俯仰角β，以及航向角γ)表示。
第一计算单元14K计算第二姿态信息如下。第一计算单元14K通过计算与从设置参考平面时的拍摄方向A2到当前拍摄方向A2的转动角(At-A0)相反方向的转动角，计算第二姿态信息。第二姿态信息由下面的公式(2)表示。
(At-A0)＝(α0-αt，β0-βt，γ0-γt)(2)
第二计算单元14L计算真实空间中参考平面的第一位置。第一位置指示真实空间中被设置为参考平面的平面(墙面)中的特定位置。该位置由用户设置。顺便提及，第二计算单元14L可计算参考平面中相应于与设置参考平面时的拍摄方向A2相交的点的位置，作为第一位置。
并且，第二计算单元14L可计算拍摄单元12的当前拍摄方向A2从设置参考平面时的拍摄方向A2以逆转动方向转动角度(At-A0)到当前拍摄方向A2的位置，作为第一位置。
第三计算单元14M计算第二距离相对第一距离的缩放因子。第一距离指示处于由设置参考平面时使用的第一姿态信息所标识的姿态的拍摄单元12和参考平面之间的距离。第二距离指示拍摄单元12和一临时平面之间的距离，其中所述临时平面通过以拍摄单元12为原点根据拍摄方向A2的转动角将参考平面转动一角度来而获得。
图13A至13F是如何计算第二距离相对第一距离的缩放因子的说明图。
如图13A和13B所示，当设置参考平面(图13B中的参考平面S’)时，将与拍摄单元12的拍摄方向A2相交的墙面(平面)设置为参考平面。因此，通过后面将描述的显示控制单元14G执行的流程，绘制的虚拟对象的对象图像40显示在显示单元20上真实空间图像42中相应于参考平面的区域。
如图13C和13D所示，图像处理装置10从图13A和13B所示的状态转动。也就是说，图像处理装置10转动，从而拍摄单元12的拍摄方向A2以Y轴为转动轴顺时针(图13C和13D中箭头R1的方向)转动θ度。在这种情况下，维持真实空间中参考平面(见图13D中参考平面S’)的位置，因此参考平面相对于拍摄方向A2的第一相对方向就是拍摄方向A2以Y轴为转动轴逆时针转动-θ度的方向。
然后，第三计算单元14M设置临时平面31，所述临时平面31是以拍摄单元12为原点根据拍摄方向A2的转动角θ将参考平面S’转动一角度得到。
此时，假设处于由设置参考平面时使用的第一姿态信息所标识的姿态的拍摄单元12和参考平面S’之间的第一距离为“1”。那么，拍摄单元12和临时平面31之间的第二距离由1/cosθ表示。第三计算单元14M计算该1/cosθ作为第二距离相对于第一距离的缩放因子。
如后面将详细描述的，显示控制单元14G根据设置参考平面时比较的缩放因子在纵深方向上一定距离处安排在参考平面上绘制的虚拟对象的位置。特别地，当缩放因子为1或更大时，虚拟对象安排在纵深方向的前面(在视点位置那面)；相反，当缩放因子小于1时，虚拟对象安排在纵深方向的背面(远离视点位置的那面)。
并且，显示控制单元14G在相应于参考平面的区域上根据缩放因子绘制相对于设置参考平面时的大小放大的或缩小的虚拟对象(见图13E和13F)。特别地，显示控制单元14G以乘以cosθ的大小绘制待显示的虚拟对象。
返回图5，光源设置单元14F设置指示光源的光源效果的光源信息。在本实施例中，光源设置单元14F设置接收单元14C所接收的光源信息。
显示控制单元14G执行在显示单元20上显示叠加图像的控制，其中在叠加图像中，处于相应于第二姿态信息的姿态的绘制虚拟对象的对象图像叠加在拍摄单元12所拍摄的真实空间图像中相应于参考平面的区域。如上所述，显示控制单元14G通过使用OpenGL显示叠加图像。
图14A和14B是显示叠加图像的说明图。如图14A所示，叠加图像44是对象图像40叠加在真实空间图像42上的图像。
首先，显示控制单元14G将真实空间图像42安排在虚拟三维空间中。显示控制单元14G顺序地获取顺序拍摄的真实空间图像42并将最新的(当前的)真实空间图像42安排在虚拟三维空间中。
然后，显示控制单元14G在第一相对方向上(参考平面相对于拍摄单元12的拍摄方向A2的相对方向)绘制处于相应于第二姿态信息的姿态的虚拟对象，其中从虚拟三维空间中的视点位置指向真实空间图像42中心的方向为当前拍摄方向A2，从而获得对象图像40。通过在虚拟三维空间中第一相对方向上绘制虚拟对象，虚拟对象可绘制在真实空间图像42中相应于参考平面的区域上。顺便提及，此时，优选地，显示控制单元14G向对象图像40增加光源信息指示的光源效果。
然后，使用OpenGL，显示控制单元14G将该虚拟三维空间投影到从拍摄方向A2上游一侧的视点位置所看到的二维图像上，从而产生对象图像40叠加在真实空间图像42上的叠加图像44，并在显示单元20上显示所产生的叠加图像44。
然后，显示控制单元14G重复地执行该显示过程直到显示控制单元14G从接收单元14C接收到终止显示过程的用户指令。
因此，当拍摄单元12的拍摄方向A2根据图像处理装置10的转动而转动时，在相对于拍摄方向A2的第一相对方向上以相应于第二姿态信息的姿态显示对象图像40。因此，如图14B所示，显示单元20上所显示的叠加图像44中所包括的对象图像40以与拍摄单元12的拍摄方向A2的转动方向(见图14B中箭头R的方向)相反的方向(见图14B中箭头-R的方向)转动。
也就是说，在显示单元20上显示叠加图像44，其中叠加图像44看起来好像是对象图像40附加在设置单元14H所设置的参考平面上。并且，在维持附加在参考平面上的状态的同时，对象图像40在显示单元20的屏幕上显示为好像沿着与拍摄单元12的拍摄方向相反的方向转动。
并且，显示控制单元14G执行在显示单元20上显示叠加图像44的控制，其中在叠加图像44中，处于相应于第二姿态信息的姿态的绘制虚拟对象的对象图像40叠加在真实空间图像42中相应于在第一位置的参考平面的区域。
因此，即使当图像处理装置10转动时，对象图像40也以看起来好像对象图像40附加在设置单元14H所设置的参考平面上的状态显示在显示单元20上。
图15A至15F是显示对象图像40的说明图。
如图15A和15B所示，当设置参考平面(图15B中的参考平面S’)时，将与拍摄单元12的拍摄方向A2相交的墙面(平面)设置为参考平面S’。因此，通过显示控制单元14G执行的流程，在真实空间图像42中相应于参考平面S’的区域显示绘制的虚拟对象的对象图像40。
假设，如图15C和15D所示，图像处理装置10按照箭头R1的方向从图15A和15B所示的状态转动。也就是说，假设图像处理装置10转动，从而拍摄单元12的拍摄方向A2以Y轴为转动轴顺时针(图15C和15D中箭头R1的方向)转动角度θ。在这种情况下，维持真实空间中参考平面S’的位置，因此参考平面S’的第一相对方向就是拍摄方向A2以Y轴为转动轴逆时针转动角度-θ的方向。
如图15E和15F所示，考虑将图像处理装置10作为参考，虚拟对象实际上绕图像处理装置10转动了角度-θ。
然后，显示控制装置14G在当前真实空间的真实空间图像中相应于在第一位置的参考平面的区域上绘制处于相应于第二姿态信息的姿态的虚拟对象。
如上所述，例如，第一位置是拍摄单元12的当前拍摄方向A2从设置参考平面时的拍摄方向A2逆时针方向转动转动角(At-A0)到当前拍摄方向A2的方向的位置。因此，如图15E和15F所示，显示控制单元14G转动对象图像40从而将对象图像40安排在第一位置，其中第一位置是拍摄方向A2沿与图像处理装置10(拍摄单元12)转动方向相反的方向转动相同的角度所到的位置。然后，显示控制装置14G在对象图像40上显示叠加图像。
因此，对象图像40以固定在真实空间上所设置的参考平面(例如墙面)上的状态显示。
图16是显示图像处理装置10所执行的显示过程的步骤的顺序图。
当接收单元14C从用户接收到设置参考平面的指令时，接收单元14C输出该指令到设置处理单元14D(SEQ100)。
设置处理单元14D的设置单元14H读取第一获取单元14A在收到指令时所获取的第一姿态信息(SEQ102)。然后，设置单元14H通过使用在SEQ102读取的第一姿态信息设置参考平面(SEQ104)。
顺便提及，每次检测单元25检测到新的姿态信息时，推导单元14N推导所设置的参考平面相对于拍摄单元12的拍摄方向A2的第一相对方向并将推导的第一相对方向输出到计算单元14E和显示控制单元14G。并且，每次推导出第一相对方向时，第一计算单元14K计算第二姿态信息并将计算的第二姿态信息输出到计算单元14E和显示控制单元14G。
然后，设置处理单元14D的确定单元14I确定从设置参考平面开始拍摄方向A2是否已经转动了预定的第一相对角度或更大。
然后，当确定拍摄方向A2转动小于第一相对角度时，确定单元14I通知显示控制单元14G所设置的参考平面(SEQ106)。另一方面，当确定单元14I确定拍摄方向A2转动了第一相对角度或更大时，重置单元14J重置参考平面并通知显示控制单元14G所重置的参考平面(SEQ106)。
通过后面将描述的显示过程，显示控制单元14G执行在显示单元20上显示叠加图像44的控制(SEQ107)，其中在叠加图像44中，以相应于第二姿态信息的姿态的绘制虚拟对象的对象图像40叠加在拍摄单元12拍摄的真实空间图像42中的相应于参考平面的区域。
特别地，图像处理装置10重复地执行下述SEQ108至SEQ120的过程。
首先，显示控制单元14G向计算单元14E输出计算第二姿态信息、第一位置和相对距离的指令(SEQ108)。
计算单元14E计算第二姿态信息、第一位置和相对距离(SEQ110)。然后，计算单元14E向显示控制单元14G输出所计算的第二姿态信息、第一位置和相对距离(SEQ112)。
显示控制单元14G从光源设置单元14F获取光源信息(SEQ114)。然后，显示控制单元14G从第二获取单元14B获取真实空间图像42(SEQ116)。
然后，显示控制单元14G产生叠加图像44，并执行在显示单元20上显示叠加图像44的控制(SEQ120)，其中在叠加图像44中，处于相应于第二姿态信息的姿态的绘制虚拟对象的对象图像40叠加在真实空间图像42中相应于在第一位置的参考平面的区域(SEQ118)。然后，本顺序结束。
如上面所解释的，根据本实施例的图像处理装置10包括拍摄单元12、检测单元25、第一获取单元14A、接收单元14C、设置单元14H、推导单元14N、第一计算单元14K和显示控制单元14G。拍摄单元12拍摄真实空间。检测单元25检测拍摄单元12的第一姿态信息。第一获取单元14A从检测单元25获取第一姿态信息。接收单元14C从用户接收设置指令。设置单元14H，在接收到设置指令时，根据第一姿态信息设置在真实空间中安排虚拟对象的参考平面。推导单元14N推导参考平面相对于拍摄单元12的拍摄方向的第一相对方向。第一计算单元14K计算位于第一相对方向上的参考平面的第二姿态信息。显示控制单元14G执行在显示单元20上显示叠加图像的控制，其中在叠加图像中，处于相应于第二姿态信息的姿态的绘制虚拟对象的对象图像叠加在拍摄单元12所拍摄的真实空间图像中相应于参考平面的区域。
通过这种方式，根据本实施例的图像处理装置10在真实空间中设置一参考平面，在显示单元20上真实空间图像中相应于参考平面的区域绘制并显示一虚拟对象。因此，根据本实施例的图像处理装置10能够在不必在真实空间中放置AR标记或类似标记的情况下实现AR技术。
因此，根据本实施例的图像处理装置10能够在不依赖于真实空间环境的情况下容易地提供显示增强图像。
接下来，解释图像处理装置10的硬件配置。
图17是图像处理装置10的硬件配置图。作为硬件配置，图像处理装置10主要包括控制整个装置的CPU2901、在其中保存各种数据和程序的ROM2902、在其中保存各种数据和程序的RAM2903、UI设备2904、拍摄设备2905和检测器2906，并具有使用常规计算机的硬件配置。顺便提及，UI设备2904相应于图1中的UI单元19，拍摄设备2905相应于拍摄单元12，且检测器2906相应于检测单元25。
按照以下方式，将根据上述实施例的图像处理装10执行的程序提供为计算机程序产品：程序以可安装或可执行文件的格式记录在计算机可读记录介质上，例如CD-ROM、软盘(FD)、CD-R或数字通用盘(DVD)。
并且，根据上述实施例的图像处理装置10所执行的程序可按照以下方式提供：将程序保存在连接到网络例如英特网的计算机上从而用户可经由网络下载之。并且，根据上述实施例的图像处理装置10所执行的程序可经由网络例如因特网提供或分布。
并且，根据上述实施例的图像处理装置10所执行的程序可提前创建到ROM或类似的设备中。
根据上述实施例的图像处理装置10所执行的程序由包括上述单元的模块构成；作为实际硬件的CPU(处理器)从来自记录介质的ROM读出程序并执行所读的程序，从而将上述单元加载到主存储器，并在主存储器上产生上述单元。
根据实施例，可以容易地提供现实增强图像。
尽管为了完整和清楚的公开，关于特定实施例对本发明进行了描述，但是附属权利要求并不限于此，而是要解释为包含完全落入此处所阐述的基本教导范围内的、本领域技术人员可能想到的所有修改和替换结构。

Claims (10)

1.一种图像处理装置，包括：
拍摄单元，拍摄真实空间；
检测单元，检测所述拍摄单元的第一姿态信息；
第一获取单元，从所述检测单元获取所述第一姿态信息；
接收单元，从用户接收设置指令；
设置单元，在接收到所述设置指令时，根据所述第一姿态信息设置在所述真实空间中安排虚拟对象的参考平面；
推导单元，推导所述参考平面相对于所述拍摄单元的拍摄方向的第一相对方向；
第一计算单元，计算位于所述第一相对方向上的所述参考平面的第二姿态信息；
显示控制单元，执行在显示单元上显示叠加图像的控制，其中在所述叠加图像中，处于相应于所述第二姿态信息的姿态的绘制的虚拟对象的对象图像被叠加在所述拍摄单元所拍摄的真实空间图像中的相应于所述参考平面的区域。
2.根据权利要求1所述的图像处理装置，其中
根据所述第一姿态信息，所述设置单元将构成所述拍摄单元在所述真实空间中所位于的房间的多个墙面中的一个设置为所述参考平面。
3.根据权利要求1或2所述的图像处理装置，其中
所述设置单元将在所述真实空间中与拍摄方向相交的平面设置为所述参考平面。
4.根据权利要求2或3所述的图像处理装置，其中
当所述拍摄单元的所述拍摄方向和所述显示单元的显示方向为相反的方向时，所述设置单元从构成所述拍摄单元在真实空间中所位于的房间的多个墙面中，将与所述拍摄单元的所述拍摄方向或逆拍摄方向相交并且与垂直于所述拍摄方向的拍摄表面形成最小角度的墙面设置为所述参考平面。
5.根据权利要求2或3所述的图像处理装置，其中
当所述拍摄单元的所述拍摄方向和所述显示单元的显示方向为相同的方向时，所述设置单元从构成所述拍摄单元在真实空间中所位于的房间的多个墙面中，将与所述拍摄单元的所述拍摄方向或逆拍摄方向相交并且与垂直于所述拍摄方向的拍摄表面形成最大角度的墙面设置为参考平面。
6.根据权利要求1至5中任一个所述的图像处理装置，进一步包括计算所述真实空间中所述参考平面的第一位置的第二计算单元，其中
所述显示控制单元执行在所述显示单元上显示叠加图像的控制，其中在所述叠加图像中，处于相应于所述第二姿态信息的姿态的绘制的虚拟对象的对象图像被叠加在相应于所述真实空间图像中在第一位置的参考平面的区域。
7.根据权利要求1至6中任一个所述的图像处理装置，进一步包括：
确定单元，基于所述参考平面的设置中所使用的第一姿态信息和当前所获取的第一姿态信息之间的比较结果，确定所述拍摄方向从设置所述参考平面起是否已转动了预定的第一相对角度或更大；和
重置单元，当确定所述拍摄方向已转动了所述第一相对角度或更大时，把通过将所述参考平面转动大于所述第一相对角度的第二相对角度所得到的平面重置为新的参考平面。
8.根据权利要求1至7中任一个所述的图像处理装置，进一步包括计算第二距离相对于第一距离的缩放因子的第三计算装置，所述第二距离是所述拍摄单元和临时平面之间的距离，其中所述临时平面通过以所述拍摄单元为原点将参考平面转动根据所述拍摄方向的转动角度的角度而获得，所述第一距离是处于由设置所述参考平面时使用的第一姿态信息所标识的姿态的所述拍摄单元和所述参考平面之间的距离，其中
所述显示控制单元执行在所述显示单元上显示叠加图像的控制，其中在所述叠加图像中，处于相应于所述第二姿态信息的姿态且根据相对于设置参考平面时的所述缩放因子而放大或缩小的绘制的虚拟对象的对象图像被叠加在所述拍摄单元所拍摄的真实空间图像中的相应于参考平面的区域。
9.根据权利要求1至8中任一个所述的图像处理装置，进一步包括光源设置单元，所述光源设置单元设置指示光源的光源效果的光源信息，其中
所述显示控制单元执行在所述显示单元上显示叠加图像的控制，其中在所述叠加图像中，具有所述光源信息所指示的所述光源效果的对象图像被叠加在所述拍摄单元所拍摄的所述真实空间图像中相应于参考平面的区域。
10.一种图像处理装置实现的图像处理方法，所述图像处理装置包括拍摄真实空间的拍摄单元和检测所述拍摄单元的第一姿态信息的检测单元，该图像处理方法包括：
从所述检测单元获取所述第一姿态信息；
从用户接收设置指令；
在接收到所述设置指令时，根据所述第一姿态信息设置用于在所述真实空间中安排虚拟对象的参考平面；
推导所述参考平面相对于所述拍摄单元的拍摄方向的第一相对方向；
计算位于所述第一相对方向上的所述参考平面的第二姿态信息；
执行在所述显示单元上显示叠加图像的控制，其中在所述叠加图像中，处于相应于所述第二姿态信息的姿态的绘制的虚拟对象的对象图像被叠加在所述拍摄单元所拍摄的真实空间图像中的相应于所述参考平面的区域。
CN201510659354.1A 2014-08-27 2015-08-26 图像处理装置、图像处理方法和计算机程序产品 Pending CN105391938A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014173041A JP6476657B2 (ja) 2014-08-27 2014-08-27 画像処理装置、画像処理方法、およびプログラム
JP2014-173041 2014-08-27

Publications (1)

Publication Number Publication Date
CN105391938A true CN105391938A (zh) 2016-03-09

Family

ID=53836428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510659354.1A Pending CN105391938A (zh) 2014-08-27 2015-08-26 图像处理装置、图像处理方法和计算机程序产品

Country Status (4)

Country Link
US (1) US20160063764A1 (zh)
EP (1) EP2991039A1 (zh)
JP (1) JP6476657B2 (zh)
CN (1) CN105391938A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106843456A (zh) * 2016-08-16 2017-06-13 深圳超多维光电子有限公司 一种基于姿态追踪的显示方法、装置和虚拟现实设备
CN108111832A (zh) * 2017-12-25 2018-06-01 北京麒麟合盛网络技术有限公司 增强现实ar视频的异步交互方法及系统
CN110827413A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 控制虚拟物体形态改变的方法、装置和计算机可读存储介质
CN111201150A (zh) * 2017-10-13 2020-05-26 株式会社理光 显示设备、程序、图像处理方法、显示系统和移动体
CN112053451A (zh) * 2019-06-05 2020-12-08 北京外号信息技术有限公司 基于光通信装置叠加虚拟对象的方法和相应的电子设备
CN113228117A (zh) * 2019-01-11 2021-08-06 三菱电机株式会社 创作装置、创作方法和创作程序

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6852295B2 (ja) * 2016-07-13 2021-03-31 株式会社リコー 画像処理装置、画像処理方法、および画像処理プログラム
JP7262976B2 (ja) * 2018-11-02 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US11163997B2 (en) 2019-05-05 2021-11-02 Google Llc Methods and apparatus for venue based augmented reality
CN110533780B (zh) * 2019-08-28 2023-02-24 深圳市商汤科技有限公司 一种图像处理方法及其装置、设备和存储介质
CN111405190B (zh) * 2020-04-23 2022-04-12 南京维沃软件技术有限公司 图像处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012042974A1 (ja) * 2010-09-30 2012-04-05 富士フイルム株式会社 情報提示装置、デジタルカメラ、ヘッドマウントディスプレイ、プロジェクタ、情報提示方法、情報提示プログラム
WO2013118458A1 (en) * 2012-02-10 2013-08-15 Sony Corporation Image processing device, and computer program product
US20130265330A1 (en) * 2012-04-06 2013-10-10 Sony Corporation Information processing apparatus, information processing method, and information processing system
CN103733229A (zh) * 2011-08-24 2014-04-16 索尼公司 信息处理设备、信息处理方法及程序

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602005013752D1 (de) * 2005-05-03 2009-05-20 Seac02 S R L Augmented-Reality-System mit Identifizierung der realen Markierung des Objekts
US9171399B2 (en) * 2013-03-12 2015-10-27 Autodesk, Inc. Shadow rendering in a 3D scene based on physical light sources
JP5724543B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
KR101971948B1 (ko) * 2011-07-28 2019-04-24 삼성전자주식회사 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법
JP2013186691A (ja) 2012-03-08 2013-09-19 Casio Comput Co Ltd 画像処理装置及び画像処理方法並びにプログラム
US10733798B2 (en) * 2013-03-14 2020-08-04 Qualcomm Incorporated In situ creation of planar natural feature targets
US9245388B2 (en) * 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
US20150193982A1 (en) * 2014-01-03 2015-07-09 Google Inc. Augmented reality overlays using position and orientation to facilitate interactions between electronic devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012042974A1 (ja) * 2010-09-30 2012-04-05 富士フイルム株式会社 情報提示装置、デジタルカメラ、ヘッドマウントディスプレイ、プロジェクタ、情報提示方法、情報提示プログラム
CN103733229A (zh) * 2011-08-24 2014-04-16 索尼公司 信息处理设备、信息处理方法及程序
WO2013118458A1 (en) * 2012-02-10 2013-08-15 Sony Corporation Image processing device, and computer program product
US20130265330A1 (en) * 2012-04-06 2013-10-10 Sony Corporation Information processing apparatus, information processing method, and information processing system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WONWOO，LEE，MEMBER: "Video-Based In Situ Tagging on Mobile Phones", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106843456A (zh) * 2016-08-16 2017-06-13 深圳超多维光电子有限公司 一种基于姿态追踪的显示方法、装置和虚拟现实设备
CN106843456B (zh) * 2016-08-16 2018-06-29 深圳超多维光电子有限公司 一种基于姿态追踪的显示方法、装置和虚拟现实设备
CN111201150A (zh) * 2017-10-13 2020-05-26 株式会社理光 显示设备、程序、图像处理方法、显示系统和移动体
CN108111832A (zh) * 2017-12-25 2018-06-01 北京麒麟合盛网络技术有限公司 增强现实ar视频的异步交互方法及系统
CN110827413A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 控制虚拟物体形态改变的方法、装置和计算机可读存储介质
CN113228117A (zh) * 2019-01-11 2021-08-06 三菱电机株式会社 创作装置、创作方法和创作程序
CN112053451A (zh) * 2019-06-05 2020-12-08 北京外号信息技术有限公司 基于光通信装置叠加虚拟对象的方法和相应的电子设备

Also Published As

Publication number Publication date
JP2016048455A (ja) 2016-04-07
JP6476657B2 (ja) 2019-03-06
US20160063764A1 (en) 2016-03-03
EP2991039A1 (en) 2016-03-02

Similar Documents

Publication Publication Date Title
CN105391938A (zh) 图像处理装置、图像处理方法和计算机程序产品
US9223408B2 (en) System and method for transitioning between interface modes in virtual and augmented reality applications
US20120212405A1 (en) System and method for presenting virtual and augmented reality scenes to a user
US10600150B2 (en) Utilizing an inertial measurement device to adjust orientation of panorama digital images
KR101637990B1 (ko) 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링
EP3170151B1 (en) Blending between street view and earth view
US11809487B2 (en) Displaying objects based on a plurality of models
GB2553363B (en) Method and system for recording spatial information
US10235800B2 (en) Smoothing 3D models of objects to mitigate artifacts
US20140320484A1 (en) 3-d models as a navigable container for 2-d raster images
CN105718232A (zh) 一种任意角平面旋转显示方法及显示装置
US9348542B2 (en) Display processing apparatus, display processing method, and computer-readable recording medium
US10388069B2 (en) Methods and systems for light field augmented reality/virtual reality on mobile devices
KR101155761B1 (ko) 증강 현실에서 위치 정보를 표시하는 방법 및 장치
JP2016139199A (ja) 画像処理装置、画像処理方法、およびプログラム
US20240264715A1 (en) Immersive Digital Map Navigation Using One Hand

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160309

WD01 Invention patent application deemed withdrawn after publication