CN110313021B - 增强现实提供方法、装置以及计算机可读记录介质 - Google Patents

增强现实提供方法、装置以及计算机可读记录介质 Download PDF

Info

Publication number
CN110313021B
CN110313021B CN201780086884.9A CN201780086884A CN110313021B CN 110313021 B CN110313021 B CN 110313021B CN 201780086884 A CN201780086884 A CN 201780086884A CN 110313021 B CN110313021 B CN 110313021B
Authority
CN
China
Prior art keywords
plane
information
augmented reality
parameter
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780086884.9A
Other languages
English (en)
Other versions
CN110313021A (zh
Inventor
崔相祚
朴熙喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Z Intermediate Global Corp
Original Assignee
Line Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line Corp filed Critical Line Corp
Priority to CN202310837824.3A priority Critical patent/CN116863107A/zh
Publication of CN110313021A publication Critical patent/CN110313021A/zh
Application granted granted Critical
Publication of CN110313021B publication Critical patent/CN110313021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G01P13/02—Indicating direction only, e.g. by weather vane
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明的一个实施例中公开了一种存储计算机程序的计算机可读介质，以便于通过执行增强现实提供方法，增强现实提供方法包括步骤以允许计算机：通过使用到多个点的距离而获取包括多个点的平面的平面信息；通过使用平面信息和由方向传感器测量的终端方向信息而获取平面的法向量；考虑法向量而确定要显示在平面上的对象的参数；以及在终端的显示单元上根据所确定的参数显示对象。

Description

增强现实提供方法、装置以及计算机可读记录介质
技术领域
本公开的实施例涉及一种增强现实提供方法、装置和计算机程序。
背景技术
增强现实(AR)是虚拟现实的领域，并且是其中虚拟对象或信息与真实环境组合以使其看起来像是对象原始地存在于环境中的计算机图形技术。AR也称作混合现实(MR)，因为具有额外信息的虚拟世界与真实世界实时组合以作为一个图像而显示。
现有的虚拟现实目标仅在于虚拟空间和对象。然而，AR可以通过在真实世界的基础上组合虚拟对象而增强和提供难以仅经由真实世界获得的额外信息。
发明内容
实施例技术问题的描述
本公开的实施例提供增强现实以用于识别平面以及在平面上显示对应的对象。本公开的实施例提供增强现实以用于根据平面的方向和终端的方向而区分平面的属性以及显示与平面的属性相对应的对象。
问题的解决方案
根据本公开的一方面，一种存储计算机程序的计算机可读记录介质，以通过使用计算机执行增强现实提供方法，增强现实提供方法包括：通过使用到多个点的距离而获得包括多个点的平面的平面信息；通过使用平面信息和终端的由方向传感器测量的方向信息而获得平面的法向量；考虑法向量而确定要显示在平面上的对象的参数；以及在终端的显示单元上根据所确定的参数显示对象。
增强现实提供方法可以进一步包括：从红外传感器获得由红外传感器测量的到多个点的距离和多个点的方向，其中获得平面信息可以包括通过使用所测量的距离和方向而获得平面信息。
平面信息可以是基于终端方向的平面的方向信息，并且方向传感器可以包括加速度传感器和陀螺仪传感器中的至少一个，并且获得法向量可以包括：通过基于终端的所测量的方向信息将平面的方向信息的参考从终端的方向转换到方向传感器的参考方向而获得法向量。
确定可以包括：基于法向量确定平面的属性以及考虑所确定的属性而确定参数。
平面信息可以是平面的方向信息，并且确定可以包括：基于属性确定对象的第一参数以及基于平面的方向信息确定对象的第二参数。
平面信息可以是平面的方向信息，确定可以包括：基于属性确定对象的类型以及基于平面的方向信息确定对象的渲染方向，并且显示可以包括：根据渲染方向二维地渲染用于显示对象的3维(3D)信息以及二维地显示对象。
显示可以包括：将对象与由终端中提供的相机捕获的视频重叠以及显示由对象所重叠的视频。
距离可以由终端中提供的距离传感器测量，并且相机和距离传感器可以朝向相同方向提供。
参数可以包括对象的尺寸、对象的方向、对象的颜色和应用于对象的动画中的至少一个。
根据本公开的另一方面，一种增强现实提供方法包括：通过使用到多个点的距离而获得包括多个点的平面的平面信息；通过使用平面信息和终端的由方向传感器测量的方向信息而获得平面的法向量；考虑法向量而确定要显示在平面上的对象的参数；以及在终端的显示单元上根据所确定的参数显示对象。
根据本公开的另一方面，一种提供了增强现实的装置包括：信号获得单元，该信号获得单元被配置为获得由距离传感器测量的到多个点的距离和终端的由方向传感器测量的方向信息；计算单元，该计算单元被配置为通过使用距离而获得包括多个点的平面的平面信息、通过使用终端的方向信息和平面信息而获得平面的法向量以及考虑法向量而确定要显示在平面上的对象的参数；以及显示控制单元，该显示控制单元被配置为在终端的显示单元上根据所确定的参数显示对象。
增强现实提供装置可以进一步包括方向传感器，该方向传感器包括加速度传感器和陀螺仪传感器中的至少一个，其中平面信息可以是基于终端的方向的平面的方向信息，并且计算单元可以通过基于终端的所测量的方向信息将平面的方向信息的参考从终端的方向转换到方向传感器的参考方向而获得法向量。
计算单元可以基于法向量确定平面的属性以及考虑所确定的属性而确定参数。
平面信息可以是平面的方向信息，并且计算单元可以基于属性确定对象的第一参数以及基于平面的方向信息确定对象的第二参数。
平面信息可以是平面的方向信息，计算单元可以基于属性确定对象的类型以及基于平面的方向信息确定对象的渲染方向，并且显示控制单元可以根据渲染方向二维地渲染用于显示对象的3维(3D)信息以及二维地显示用于显示对象的3维(3D)信息。
显示控制单元可以将对象与由终端中提供的相机捕获的视频重叠以及显示由对象所重叠的视频。
增强现实提供装置可以进一步包括：相机以及距离传感器，其中相机和距离传感器可以朝向相同方向提供。
参数可以包括对象的尺寸、对象的方向、对象的颜色和应用于对象的动画中的至少一个。
其他方面、特征和优点将从以下本公开的附图、权利要求和详细说明书变得明显。这些通用的和特定的实施例可以通过使用系统、方法、计算机程序、或者系统、方法和计算机程序的组合而实施。
公开的有益效果
根据本公开的实施例的增强现实提供方法、装置和计算机程序使得用户能够通过根据平面的方向和终端的方向区分平面的属性以及显示与平面的属性相对应的对象，经由虚拟对象甚至平面的属性而视觉地/直观地识别难以仅由图像识别的平面的属性。
根据本公开的实施例的增强现实提供方法、装置和计算机程序选择性地提供与平面属性相关的对象，并且因此，可以显示与现实紧密相关的虚拟对象，并且提供更真实的增强现实。另外，增强现实提供方法、装置和计算机程序可适用于需要根据平面的属性提供不同对象的服务。
附图说明
图1是示出根据本公开的实施例的增强现实提供系统的配置的示意图。
图2是示出根据本公开的实施例的增强现实提供装置的配置的示意图。
图3是示出图2中所示的处理器的配置的框图。
图4是根据本公开的实施例的增强现实提供方法的流程图。
图5是用于描述由图2的增强现实提供装置执行的识别平面的方法的示意图。
图6是用于描述由图2的增强现实提供装置执行的识别平面的方法的另一示意图。
图7和图8是其中提供增强现实的屏幕的示例。
图9A至图9C是其中提供增强现实的屏幕的其他示例。
图10是其中提供增强现实的屏幕的另一示例。
图11是其中提供增强现实的屏幕的另一示例。
具体实施方式
最佳模式
因为本公开允许各种改变和数个实施例，所以特定的实施例将在附图中图示并且在撰写的说明书中详细描述。参照以下与附图一起详细描述的实施例，本公开的效果和特征以及实现它们的方法将变得明显。然而，本公开不限于以下描述的实施例，而是可以以各种形式实施。
下文中，将参照附图详细描述本公开的实施例，其中，贯穿附图，相同的附图标记指相同或对应的部件，并且将省略其冗余描述。
尽管如“第一”、“第二”等的这些术语可以用于描述各个部件，但是这些部件不必限于以上术语。以上术语仅用于区分一个部件与另一部件。以单数使用的表达包括复数的表达，除非在上下文中其具有明确不同的含义。在本说明书中，应该理解，诸如“包括”或“具有”等的术语意在指示特征或部件的存在，并且不意在排除一个或多个其他特征或部件可以存在或可以添加的可能性。在附图中，为了便于描述，可以为了清楚而夸大部件的尺寸。例如，因为为了便于描述而任意地示出了附图中部件的尺寸和厚度，所以尺寸和厚度不限于此。
图1是示出根据本公开的实施例的增强现实提供系统的配置的示意图。
参照图1，根据本公开的实施例的增强现实提供系统包括服务器10、用户终端20以及将服务器10连接到用户终端20的网络30。
根据本公开的实施例的增强现实提供系统提供增强现实，在增强现实中，对象在与由相机捕获的图像重叠时被实时地显示。具体地，在根据实施例提供的增强现实中，识别实际上存在于用户终端20周围的平面，确定识别的平面的属性，并且因此与由相机捕获的图像一起实时地显示虚拟对象。
服务器10将用于提供增强现实的程序提供给用户终端20。用户终端20可以从服务器10接收以及安装该程序，并且通过使用安装的程序将增强现实提供给用户。
用户终端20可以是根据本公开的实施例提供的增强现实提供程序可安装在其中的任何终端。用户终端20可以是便携式终端。在图1中，便携式终端图示为智能电话，但是本公开的方面不限于此，并且如上所述，可以不受限制地采用计算机程序可安装在其中的终端。例如，用户终端20包括可穿戴计算机、头戴式显示器(HMD)等。
用户终端20包括对屏幕进行显示的显示单元以及捕获图像的相机。显示单元可以包括直接显示图像的显示面板，但是不限于此，并且可以是投影型显示设备。用户终端20可以进一步包括距离传感器和方向传感器。
网络30将用户终端20连接到服务器10。例如，网络30提供连接路径使得用户终端20访问服务器10以交换数据包数据。
尽管未图示，但是根据本公开的实施例的服务器10可以包括存储器、输入/输出单元、程序存储单元、控制单元等。
图2是示出根据本公开的实施例的增强现实提供装置200的配置的示意图。
根据本公开的实施例的增强现实提供装置200可以是包括处理数据的处理器的任何类型的装置。例如，增强现实提供装置200可以包括至少一个处理器。这里，“处理器”可以表示嵌入硬件中并且具有用于执行以代码或程序中的命令表达的功能的物理结构电路的数据处理装置。嵌入硬件中的数据处理装置的示例照此可以包括诸如微处理器、中央处理单元(CPU)、处理器内核、多处理器、专用集成电路(ASIC)以及现场可编程门阵列(FPGA)的处理装置，但是本公开的范围不限于此。因此，增强现实提供装置200可以在包括在诸如微处理器或通用计算机系统的另一硬件装置中时被驱动。增强现实提供装置200可以安装在图1的用户终端20上。
在图2的增强现实提供装置200中仅示出与当前实施例相关的部件，以防止使当前实施例的特征模糊不清。因此，本领域普通技术人员应该理解，除了图2中所示的部件之外，可以进一步包括其他通用部件。
例如，增强现实提供装置200可以进一步包括通信单元，该通信单元包括经由有线或无线将信号发送到另一网络装置(例如服务器10)并且从其接收信号所需的硬件和软件。
另外，增强现实提供装置200可以进一步包括执行临时或永久存储由增强现实提供装置200处理的数据的功能的存储器。存储器可以包括磁存储介质或闪存介质，但是本公开的范围不限于此。
根据本公开的实施例的增强现实提供装置200根据距离传感器221的测量值而识别平面，通过使用方向传感器222的测量值而确定平面的属性，并且因此通过使用处理器210而在显示单元230上与由相机223捕获的图像一起实时显示虚拟对象。
参照图2，根据本公开的实施例的增强现实提供装置200包括处理器210、距离传感器221、方向传感器222、相机223以及显示单元230。
距离传感器221获得从距离传感器221到前方多个点的距离。距离传感器221进一步获得到多个点的方向信息。当平面存在于前方时，距离传感器221可以获得到平面上多个点的距离和平面上多个点的方向，并且处理器210可以通过使用由距离传感器221测量的信息而获得包括多个点的平面信息(例如平面方程、平面向量等)，作为用于定义平面的信息。
距离传感器221可以是红外传感器，并且可以测量从红外传感器到多个点的距离。红外传感器发射红外光并且然后接收反射的红外光，以测量到反射红外光的点的距离。距离传感器221可以是超声传感器。超声传感器发射超声波并且然后接收反射的超声波，以测量到反射超声波的点的距离。
根据实施例，距离传感器221包括发射红外光的发射单元和接收反射的红外光的接收单元。根据实施例，距离传感器221可以通过在第一方向上发射红外光并且然后接收反射的红外光而测量从距离传感器221到位于第一方向的第一点的距离，并且通过在第二方向上发射红外光并且然后接收反射的红外光而测量从距离传感器221到位于第二方向的第二点的距离。距离传感器221可以通过重复这样的过程而测量到多个点的距离。
距离传感器221发射红外光的方向可以根据预设条件不同地设置。距离传感器221可以包括能够调节发射方向的一个发射单元或者可以包括多个发射单元。
方向传感器222测量用户终端20面向的方向。方向传感器222可以是例如加速度传感器、角速度传感器、地磁场传感器或其组合。方向传感器222可以识别重力方向以基于重力方向测量终端面向的方向。然而，重力方向是参考方向的示例，并且因此方向不限于此。
相机223捕获图像。显示单元230包括显示面板并且根据处理器210的控制而显示图像。
根据本公开的实施例，相机223和距离传感器221朝向相同方向提供。因此，易于将由相机223捕获的图像与由距离传感器221获得的信息相关联，并易于提供增强现实，在增强现实中，基于由距离传感器221获得的信息而生成的对象在与由相机223捕获的图像重叠时显示。
当相机223和距离传感器221面向不同方向提供时，可能需要基于相机223的提供方向而转换由距离传感器221获得的信息的额外操作。
图3是示出图2中所示的处理器210的配置的框图。
参照图3，处理器210包括信号获得单元211、计算单元212以及显示控制单元213。图3的处理器210中包括的框可以全部实现在一个处理器上并且根据功能区分，但是不限于此，并且可以实现在各个处理器上。另外，框的功能可以通过一个程序代码整体地实现，或者可以在各个程序代码中准备，并且程序代码可以相互配合使得图3的处理器210和图2的增强现实提供装置200提供增强现实。
下文中，将参照图2和图3一起描述本公开的实施例。
根据实施例的信号获得单元211从距离传感器221、方向传感器222和相机223获得信号。
根据实施例的计算单元212处理由信号获得单元211获得的信号。例如，信号获得单元211获得从距离传感器221到多个点的距离，并且计算单元212通过使用获得的距离而获得包括多个点的平面的平面信息。平面信息是平面的基于距离传感器221提供的方向的方向信息，并且可以以平面方程、平面向量等的形式表达。可以通过使用随机采样一致性(RANSAC)技术而从多个点获得平面信息，但是实施例不限于此。
根据实施例，计算单元212通过使用在到由信号获得单元211获得的多个点的距离之中的到一些点的距离而获得包括所述一些点的平面的平面信息。例如，当到第一点的距离与到第二点的距离之间的差是大的而不论第一点的方向和第二点的方向的相似性时，很可能第一点和第二点存在于不同平面上。当第二点的方向和第三点的方向相似并且到第二点的距离与到第三点的距离之间的差是小的时，很可能第二点和第三点存在于相同平面上。因此，在多个点之中，计算单元212可以从距离传感器221提取具有相似距离的一些点，并且通过使用到提取的一些点的距离而获得平面信息。例如，当到多个点之中的三个点或更多个点的距离之间的差低于预设阈值时，计算单元212通过使用到三个点或更多个点的距离而获得平面信息。例如，当到第一点、第二点和第三点的距离之间的差都低于预设阈值时，获得包括第一点至第三点的平面的平面信息。
信号获得单元211获得终端的由方向传感器222测量的方向信息，并且计算单元212通过使用预先获得的平面信息和终端的方向信息而获得平面的法向量。具体地，计算单元212将平面信息的参考方向从终端的方向(或在终端中提供的距离传感器221面向的方向)转换到方向传感器222的参考方向。具体地，计算单元212通过以终端的由方向传感器222测量的方向信息(基于由加速度传感器识别的重力的方向)移动平面的基于终端的方向获得的方向信息而最终获得平面的基于重力的方向的方向信息。获得的平面的基于重力的方向的方向信息照此可以是平面的法向量。
计算单元212考虑平面的法向量而确定要在平面上显示的对象的参数。对象可以包括多个参数。参数的示例包括对象的颜色、对象的倾斜度、对象的类别、对象的类型和对象的方向、以及应用于对象的动画。例如，计算单元212可以设置对象的倾斜度以与平面的法向量的方向相对应。
计算单元212可以考虑平面的法向量而区分平面的属性。另外，计算单元212可以考虑平面的属性而确定对象的参数。平面的属性例如是平面的类型，并且可以区分为地面、墙壁和天花板。计算单元212可以基于平面是否是地面、墙壁或天花板而不同地确定对象的参数。例如，当平面是墙壁时，计算单元212可以设置其中对象沿着穿透平面的路径移动的动画参数。当平面是地面时，计算单元212可以设置平行于地面而在地面上移动的动画参数。
计算单元212可以考虑根据平面的法向量确定的平面的方向信息(基于终端的方向)和平面的属性中的每一个而确定对象的参数。例如，计算单元212可以根据平面的属性确定对象的第一参数，并且根据平面的法向量确定对象的第二参数。例如，计算单元212可以根据平面的属性确定对象的颜色，并且根据平面的方向确定对象的倾斜度。当对象是图标时，计算单元212可以根据平面的类型不同地确定图标的颜色，并且根据平面的方向确定图标的倾斜度。倾斜度可以是用于二维地渲染以及显示3维(3D)图标显示信息的倾斜度，或者可以是图标的长宽比。
根据本公开的实施例的增强现实可以提供家具布置模拟。对象可以是家具。在此情形中，计算单元212可以根据平面的属性确定对象的类型，并且根据平面的方向确定对象的渲染方向。例如，当平面的属性是“地面”时，计算单元212可以确定对象的类型是诸如桌子、椅子、沙发或床的可设置在地面上的家具，并且根据平面的方向确定对象的显示方向。对象的显示方向可以用于二维地渲染以及显示3D家具显示信息，但是不限于此，并且可以用于旋转和/或缩放2D家具显示信息。
根据本公开的实施例的信号获得单元211从相机223获得图像，并且显示控制单元213在显示单元230上显示获得的图像。计算单元212可以进一步使用由信号获得单元211获得的图像来确定对象的参数。例如，计算单元212可以通过分析由相机223捕获的图像而确定平面的纹理。计算单元212可以从由相机223获得的图像中提取由距离传感器221识别的多个点的颜色，通过使用提取的颜色的信息而确定平面的颜色，并且确定平面的纹理。计算单元212可以通过使用提取的颜色的信息而确定对象的参数。计算单元212可以根据平面的颜色或纹理而确定对象的参数。例如，可以根据平面的纹理确定对象的动画。例如，当平面的纹理是平滑的时，可以设置对象在其中滑动的动画。计算单元212可以根据平面的颜色确定对象的颜色。计算单元212可以考虑空间中所包括的多个平面的颜色而对整个空间的概念进行分类，并且选择与分类的概念相对应的对象。
根据实施例的显示控制单元213在显示单元230上实时显示由包括在用户终端20中的相机223捕获的图像。显示控制单元213可以通过重叠以及显示对象与由相机223捕获的图像而提供增强现实。显示控制单元213在由相机223捕获的图像的区域上重叠以及显示对象，该区域与由计算单元212识别的平面相对应。当相机223和距离传感器221朝向相同方向提供时，距离传感器221识别由相机223捕获的平面。因此，显示控制单元213可以通过在显示由相机223捕获的平面的同时还根据基于平面的信息确定的对象的参数来显示对象，而提供增强现实，该平面的信息基于距离传感器221的测量值获得。
对象与2D或3D图像、静态/动态图标等相对应，并且包括多个参数值。根据平面信息设置对象的参数，并且因此，可以基于平面信息不同地显示对象。显示控制单元213通过参考对象的参数而显示对象。显示控制单元213可以基于对象的渲染方向参数而二维地渲染3D信息以用于根据渲染方向显示对象，以及在显示单元230上显示渲染的3D信息。
根据实施例，计算单元212可以确定要在其属性是“墙壁”的平面上显示的对象为“镜子”。在此情形中，显示控制单元213可以在平面上显示镜子对象，并且实时在镜子对象内显示由前置相机捕获的图像。
当对象的参数包括动画时，显示控制单元213通过应用动画而显示对象。例如，当在其属性为“墙壁”的平面上显示其中穿透墙壁的动画时，显示控制单元213可以通过在平面上相对于对象重叠不透明层以及将对象从虚拟层的后面移动到前面，而显示其中对象看起来似乎穿透平面的动画。虚拟层可以相对显示器而不是对象而透明地设置。
根据实施例，计算单元212可以在其属性为“天花板”的平面上设置显示太阳、月球或星星的对象。根据实施例，计算单元212可以设置在多个平面之间移动的对象。例如，可以设置从其属性为“天花板”的平面移动至其属性为“地面”的平面的水滴对象。水滴对象可以包括当到达其属性为“地面”的平面时在与该平面相同方向上散开的动画。
图4是根据本公开的实施例的增强现实提供方法的流程图。
图4的流程图包括由图2和图3的处理器210实时串行处理的操作。因此，以上关于图2和图3的部件所述的细节将适用于图4的流程图，即使其被省略。
参照图4，在操作41中，计算单元212通过使用到多个点的距离而获得包括多个点的平面的平面信息。计算单元212可以进一步使用多个点的方向。
在操作42中，计算单元212通过使用在步骤41中获得的平面信息和终端的由方向传感器222测量的方向信息而获得平面的法向量。
在操作43中，计算单元212考虑平面的法向量而确定对象的参数。
在操作44中，显示控制单元213在终端的显示单元230上显示对象。
公开的模式
图5是用于描述由图2的增强现实提供装置200执行的识别平面的方法的示意图。
参照图5，在3维(3D)空间上提供用户终端，并且图示其中的方法和由用户终端20中提供的增强现实提供装置200识别的3D空间。在用户终端20自由地改变方向时，用户终端20中提供的增强现实提供装置200可以识别多个平面并且识别包括多个平面的空间。图5图示了第一平面P1、第二平面P2和第三平面P3。
首先，将描述其中在用户终端20面向地面时增强现实提供装置200识别第三平面P3的实施例。当用户终端20面向地面时，在用户终端20的背表面处提供的距离传感器测量到多个点S1至S4的距离和多个点S1至S4的方向。增强现实提供装置200将到多个点S1至S4的距离的信息和多个点S1至S4的方向的信息组合，以定义包括所有多个点S1至S4的第三平面P3并且获得第三平面P3的方向信息。可以以平面方程或平面向量表达方向信息，但是不限于此，并且可以是能够在空间上定义平面的任何信息。
同时，基于到多个点S1至S4的距离的信息和多个点S1至S4的方向的信息而获得的第三平面P3的方向信息是基于其中用户终端20面向的方向的，到多个点S1至S4的距离和多个点S1至S4的方向基于用户终端20来测量。因此，当考虑由用户终端20中提供的方向传感器测量的基于地面的终端方向信息而转换第三平面P3的方向信息时，可以获得基于地面的相对于第三平面P3的第三法向量N3。具体地，可以通过将用户终端20的基于地面的方向信息(或重力方向)添加到第三平面P3的基于用户终端20的方向的方向信息而获得第三平面P3的基于地面的第三法向量N3(或重力方向)的值。方向传感器可以是识别重力加速度的加速度传感器，但是不限于此，并且可以是其中组合了一个或多个加速度传感器和陀螺仪传感器的3轴、6轴或9轴传感器。
可以通过在上述相同方法中改变用户终端20的方向而进一步获得相对于第一平面P1的第一法向量N1和相对于第二平面P2的第二法向量N2。
增强现实提供装置200的计算单元212根据每个平面的法向量而确定每个平面的属性。例如，可以在用户终端20中预存储地面的向量和天花板的向量以及墙壁的向量。
例如，地面的向量范围和天花板的向量范围可以是-5°至5°和/或175°至185°，并且墙壁的向量范围可以是85°至95°和/或265°至275°。根据图5中所示的示例，第一法向量N1和第三法向量N3与地面的向量范围和天花板的向量范围相对应，并且第二法向量N2与墙壁的向量范围相对应。因此，增强现实提供装置200将第一平面P1或第三平面P3的属性确定为地面或天花板，并且将第二平面P2的属性确定为墙壁。
可替代地，地面的向量和天花板的向量每个可以定义为0°或180°，并且墙壁的向量可以定义为90°或270°。当平面的法向量在预定向量之中的误差范围内与地面的向量和天花板的向量相同时，计算单元212可以将平面的属性定义为“地面或天花板”，并且当平面的法向量在误差范围内与墙壁的向量相同时，计算单元212可以将平面的属性确定为“墙壁”。
计算单元212可以执行向量内积计算以计算平面的法向量与预设特定属性的向量之间的相似度，以便于确定平面的属性。照此，通过计算向量的内积值而不是计算要用于测量相似度的向量之间的距离，可以显著地减少计算时间。当向量相似时，内积值接近1或-1。例如，当第二平面P2的第二法向量N2与“墙壁”属性的预设向量的内积的绝对值在1至-1处的预设误差范围内时，计算单元212将第二平面P2的属性确定为“墙壁”。
增强现实提供装置200可以考虑每个平面的高度信息或用户终端20的方向信息，以确定第一平面P1的属性和第三平面P3的属性中的每一个为地面和天花板中的一个。例如，可以通过比较用户终端20的高度与根据每个平面的方向信息和用户终端20的方向信息区分的每个平面的高度信息而区分地面和天花板。例如，将其高度高于用户终端20的第一平面P1的属性确定为天花板，并且将其高度低于用户终端20的第三平面P3的属性确定为地面。可替代地，在当识别第一平面P1时的时间点处用户终端20的方向为90°或更大的情况下，将第一平面P1的属性确定为天花板，并且在当识别第三平面P3时的时间点处用户终端20的方向小于90°的情况下，将第三平面P3的属性确定为地面。
参照图5，增强现实提供装置200可以将平面的交叉线识别为边缘，即每个平面的边界。例如，增强现实提供装置200通过参照图5的第一平面P1的第一法向量N1和第二平面P2的第二法向量N2而将第一平面P1和第二平面P2的交叉线e1识别为第一平面P1和第二平面P2的边缘。另外，增强现实提供装置200可以通过参照第二平面P2的第二法向量N2和第三平面P3的第三法向量N3而将第二平面P2和第三平面P3的交叉线e2识别为第二平面P2和第三平面P3的边缘。增强现实提供装置200可以通过使用第一法向量N1至第三法向量N3而识别3D空间。
当识别的平面都由边缘围绕时，增强现实提供装置200可以识别封闭空间。为了完成封闭空间，增强现实提供装置200可以通过使用游戏元素引导用户终端20的拍摄方向。例如，当存在未由边缘围绕的平面时，增强现实提供装置200可以在用户终端20的显示单元230上显示指示平面的未由边缘围绕的一部分的箭头等，或者可以应用将用户终端20的显示单元230上显示的字符移动至未由边缘围绕的部分的动画。
当拍摄未识别的平面时，增强现实提供装置200可以在对应的方向处显示耗时游戏元素，使得用户继续拍摄该方向。在用户继续游戏元素时，增强现实提供装置200识别周围的空间。
增强现实提供装置200可以在平面上显示对象。例如，可以显示在识别为地面的第三平面P3上移动的字符。当字符在第三平面P3上移动时，增强现实提供装置200可以设置字符以沿着在由距离传感器识别的多个点S1至S4之间的路径移动。
图6是用于描述由图2的增强现实提供装置200执行的识别平面的方法的另一示意图。
参照图6，在识别为地面的第三平面P3上放置对象60，并且增强现实提供装置200可以将对象60的顶表面识别为第六平面P6。第三平面P3的属性和第六平面P6的属性可以都是“地面”。照此，当存在具有相同属性的多个平面时，增强现实提供装置200可以提供在多个平面之间移动的对象并且当对象移动时可以应用动画。例如，当对象是字符并且字符在具有不同高度的两个平面(第三平面P3和第六平面P6)之间移动时可以应用“跳跃”动画。
增强现实提供装置200可以根据用户的触摸而移动对象。在用户当对象正在第三平面P3上移动时触摸第六平面P6时，对象移动到被触摸的点。在此时刻，因为在移动路径上的平面之间存在移动并且平面的高度不同，所以增强现实提供装置200应用“跳跃”动画。
图7和图8是其中提供增强现实的屏幕的示例。
参照图7，在屏幕70上显示由相机223捕获的屏幕，并且当在平面71上重叠以及显示对象i1时提供增强现实。对象i1的参数可以包括颜色和倾斜度。对象i1的颜色可以是与作为平面71的属性的“地面”相对应的颜色，并且对象i1的倾斜度可以根据平面71的方向信息设置。在图7中，对象i1根据平面71的方向倾斜并且以椭圆形状显示。
参照图8，在屏幕80上显示由相机223捕获的屏幕，并且当在平面81上重叠以及显示对象i2时提供增强现实。对象i2的参数可以包括颜色和倾斜度。对象i2的颜色可以是与作为平面81的属性的“墙壁”相对应的颜色，并且对象i2的倾斜度可以根据平面81的方向信息设置。在图8中，对象i2根据平面81的方向倾斜并且以椭圆形状显示。
参照图8和图9，用户可以在基于对象的颜色显示对象的情况下识别平面的属性，并且可以基于对象的倾斜度直观地识别平面的方向。
图9A至图9C是其中提供增强现实的屏幕的其他示例。
参照图9A至图9C，在屏幕90上显示由相机223捕获的屏幕，并且当在由增强现实提供装置200识别的平面91上重叠以及显示对象i3时提供增强现实。对象i3的参数可以包括字符显示信息。参照图9A至图9C，增强现实提供装置200在平面91上重叠不透明虚拟层92，并且通过显示对象i3以在平面91的法向量方向上移动(即从虚拟层92的后面移动到前面)而显示看起来似乎对象i3穿透平面91的动画。可以设置虚拟层92以相对于显示器而不是对象i3为透明。换言之，虚拟层92可以根据对象i3的位置而隐藏对象i3的显示，但是设置为不隐藏平面91的其他显示等。
当对象i3从虚拟层92的后面移动到前面时，在用户终端20上显示的屏幕可以顺序地从图9A改变到图9B以及从图9B改变到图9C。图9A图示其中对象i3存在于虚拟层92后面并且因此不显示在屏幕90上的示例。为了便于描述，对象i3在图9A中以虚线显示，但是实际上对象i3可以在屏幕90上不可见。图9B图示其中对象i3正在从后面移动到前面的屏幕，并且图示其中对象i3的一部分显示在平面91上并且剩余部分未显示在屏幕90上的示例。为了便于描述，对象i3在图9B中以虚线部分地显示，但是实际上以虚线显示的部分可以在屏幕90上不可见。图9C图示其中对象i3移动到虚拟层92的前面的示例，并且对象i3的整个视图重叠以及显示在平面91上。
同时，对象i3可以是3D对象，并且因为对象i3在图9A至图9C的示例中朝向用户终端20移动，所以增强现实提供装置200可以随着对象i3移动而逐渐增大对象i3的尺寸。
图10是其中提供增强现实的屏幕的另一示例。
参照图10，在屏幕100上显示由相机223捕获的屏幕，并且当在由增强现实提供装置200识别的平面101上重叠以及显示对象i4时提供增强现实。参照图10，增强现实提供装置200可以在其属性分配为“墙壁”的平面101上显示“镜子”的对象i4。增强现实提供装置200可以通过在对象i4的预设内部区域中显示由用户终端20中提供的前置相机(未示出)捕获的屏幕而指示对象i4是镜子。
图11是其中提供增强现实的屏幕的另一示例。
参照图11，在屏幕110上显示由相机223捕获的屏幕，并且当根据由增强现实提供装置200识别的平面111和平面112的信息在屏幕110上重叠以及显示时提供增强现实。参照图11，增强现实提供装置200可以显示从其属性分配为“天花板”的平面111移动到其属性分配为“地面”的平面112的对象i5。为了便于描述，图11中所示的箭头指示其中对象i5中包括的多个元素(雨滴)正在移动并且未显示在屏幕110上的路径。参照图11，可以显示其中对象i5的元素从平面111移动到平面112、当到达平面112时在与平面112相同方向上散开以及然后经由渐隐而消失的动画，以实现看起来似乎雨滴在地面上散开的显示效果。
参照图11，增强现实提供装置200可以进一步在其属性分配为“天花板”的平面111上重叠以及显示对象i6。如图11中所示，增强现实提供装置200可以一起显示多个对象。
同时，根据实施例，上述虚拟层可以显示在平面111上，并且对象i5的元素可以显示为从与平面111相对应的虚拟层的后面移动到前面。根据另一实施例，对象i5的元素可以显示为从对象i6的后面移动到前面。对象i6可以设置为相对于对象i5不透明，并且此外，可以设置为不仅相对于对象i5不透明，而且相对于显示在屏幕110上的其他部分(例如平面111)也不透明。
同时，根据图4中所示的本公开的实施例的增强现实提供方法可以被编写为计算机可执行程序，并且可以实施在使用计算机可读记录介质执行程序的通用数字计算机中。
介质可以连续地存储计算机可执行程序，或者可以临时地存储要执行或下载的计算机可执行程序。另外，介质可以是单个硬件或者多个硬件的组合的各种记录装置或存储装置，并且不限于直接访问计算机程序的介质，而是可以分布在网络上。介质的示例包括被配置为存储程序指令的磁介质(诸如硬盘、软盘和磁带)、光学记录介质(诸如CD-ROM或DVD)、磁光介质(诸如光盘)、以及ROM、RAM和闪存。另外，介质的其他示例包括由分发应用程序的应用程序商店管理的记录介质或存储介质、供应或分发其他各种类型的软件的网站或服务器等。
已经主要参照本公开的优选实施例描述了本公开。尽管已经参照附图中所示的实施例描述了本公开，但是实施例仅是示例，并且本领域普通技术人员应该理解，本公开可以以不在本公开的必要特征之外的范围内修改的形式体现，并且其他等价实施例是可能的。因此，实施例应该仅以描述性的意义来考虑并且不是为了限制的目的。因此，本公开的范围不由详细说明书而是由所附权利要求限定，并且在范围内的所有差异应该解释为包括在本公开内。
工业实用性
本公开可适用于能够使用增强现实的各种领域。例如，本公开可适用于诸如游戏、广播、建筑设计、车辆、室内设计、制造过程管理、移动解决方案和教育的各种领域。
尽管已经参照示例性实施例描述了本公开，但是本领域普通技术人员应该理解，在不脱离不在由所附权利要求限定的本公开的概念和领域之外的范围的情况下，可以对本公开进行各种改变和修改。

Claims (12)

1.一种存储计算机程序的计算机可读记录介质，以通过使用计算机执行增强现实提供方法，所述增强现实提供方法包括：
通过使用到多个点的距离而获得包括所述多个点的平面的平面信息；
通过使用所述平面信息和终端的由方向传感器测量的方向信息而获得所述平面的法向量；
考虑所述法向量而确定要显示在所述平面上的对象的参数；以及
在所述终端的显示单元上根据所确定的参数显示所述对象，
其中，所述确定包括：基于所述法向量确定所述平面的属性以及考虑所确定的属性而确定所述参数，
其中，所述平面信息是所述平面的方向信息，并且所述确定包括：基于所述属性确定所述对象的第一参数以及基于所述平面的所述方向信息确定所述对象的第二参数，并且
其中，所述参数包括所述对象的尺寸、所述对象的方向、所述对象的颜色和应用于所述对象的动画中的至少一个。
2.根据权利要求1所述的计算机可读记录介质，其中，所述增强现实提供方法进一步包括：从红外传感器获得由所述红外传感器测量的到所述多个点的距离和所述多个点的方向，
其中获得所述平面信息包括通过使用所测量的距离和方向而获得所述平面信息。
3.根据权利要求1所述的计算机可读记录介质，其中，所述平面信息是基于所述终端的方向的所述平面的方向信息，并且所述方向传感器包括加速度传感器和陀螺仪传感器中的至少一个，并且
获得所述法向量包括：通过基于所述终端的所测量的方向信息将所述平面的所述方向信息的参考从所述终端的所述方向转换到所述方向传感器的参考方向而获得所述法向量。
4.根据权利要求1所述的计算机可读记录介质，其中，所述对象的所述第一参数是所述对象的类型，并且所述对象的所述第二参数所述对象的渲染方向，并且
所述显示包括：根据所述渲染方向二维地渲染用于显示所述对象的3维信息以及二维地显示所述对象。
5.根据权利要求1所述的计算机可读记录介质，其中，所述显示包括：将所述对象与由所述终端中提供的相机捕获的视频重叠以及显示由所述对象重叠的所述视频。
6.根据权利要求5所述的计算机可读记录介质，其中，所述距离由所述终端中提供的距离传感器测量，并且
所述相机和所述距离传感器朝向相同方向提供。
7.一种增强现实提供方法，包括：
通过使用到多个点的距离而获得包括所述多个点的平面的平面信息；
通过使用所述平面信息和终端的由方向传感器测量的方向信息而获得所述平面的法向量；
考虑所述法向量而确定要显示在所述平面上的对象的参数，以及
在所述终端的显示单元上根据所确定的参数显示所述对象，
其中，所述确定包括：基于所述法向量确定所述平面的属性以及考虑所确定的属性而确定所述参数，
其中，所述平面信息是所述平面的方向信息，并且所述确定包括：基于所述属性确定所述对象的第一参数以及基于所述平面的所述方向信息确定所述对象的第二参数，并且
其中，所述参数包括所述对象的尺寸、所述对象的方向、所述对象的颜色和应用于所述对象的动画中的至少一个。
8.一种增强现实提供装置，包括：
信号获得单元，所述信号获得单元被配置为获得由距离传感器测量的到多个点的距离和终端的由方向传感器测量的方向信息；
计算单元，所述计算单元被配置为通过使用所述距离而获得包括所述多个点的平面的平面信息、通过使用所述终端的所述方向信息和所述平面信息而获得所述平面的法向量以及考虑所述法向量而确定要显示在所述平面上的对象的参数；以及
显示控制单元，所述显示控制单元被配置为在所述终端的显示单元上根据所确定的参数显示所述对象，
其中，所述计算单元基于所述法向量确定所述平面的属性以及考虑所确定的属性而确定所述参数，
其中，所述平面信息是所述平面的方向信息，并且所述计算单元基于所述属性确定所述对象的第一参数以及基于所述平面的所述方向信息确定所述对象的第二参数，并且
其中，所述参数包括所述对象的尺寸、所述对象的方向、所述对象的颜色和应用于所述对象的动画中的至少一个。
9.根据权利要求8所述的增强现实提供装置，进一步包括所述方向传感器，所述方向传感器包括加速度传感器和陀螺仪传感器中的至少一个，
其中所述平面信息是基于所述终端的方向的所述平面的方向信息，并且
所述计算单元通过基于所述终端的所测量的方向信息将所述平面的所述方向信息的参考从所述终端的所述方向转换到所述方向传感器的参考方向而获得所述法向量。
10.根据权利要求8所述的增强现实提供装置，其中所述对象的所述第一参数是所述对象的类型，并且所述对象的所述第二参数是所述对象的渲染方向，并且
所述显示控制单元根据所述渲染方向二维地渲染用于显示所述对象的3维信息以及二维地显示用于显示所述对象的3维信息。
11.根据权利要求8所述的增强现实提供装置，其中，所述显示控制单元将所述对象与由所述终端中提供的相机捕获的视频重叠以及显示由所述对象重叠的所述视频。
12.根据权利要求11所述的增强现实提供装置，进一步包括：
所述相机；以及
所述距离传感器，
其中所述相机和所述距离传感器朝向相同方向提供。
CN201780086884.9A 2017-03-06 2017-03-06 增强现实提供方法、装置以及计算机可读记录介质 Active CN110313021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310837824.3A CN116863107A (zh) 2017-03-06 2017-03-06 增强现实提供方法、装置以及非暂时性计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2017/002373 WO2018164287A1 (ko) 2017-03-06 2017-03-06 증강현실 제공 방법, 장치 및 컴퓨터 프로그램

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310837824.3A Division CN116863107A (zh) 2017-03-06 2017-03-06 增强现实提供方法、装置以及非暂时性计算机可读介质

Publications (2)

Publication Number Publication Date
CN110313021A CN110313021A (zh) 2019-10-08
CN110313021B true CN110313021B (zh) 2023-07-25

Family

ID=63448162

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780086884.9A Active CN110313021B (zh) 2017-03-06 2017-03-06 增强现实提供方法、装置以及计算机可读记录介质
CN202310837824.3A Pending CN116863107A (zh) 2017-03-06 2017-03-06 增强现实提供方法、装置以及非暂时性计算机可读介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310837824.3A Pending CN116863107A (zh) 2017-03-06 2017-03-06 增强现实提供方法、装置以及非暂时性计算机可读介质

Country Status (5)

Country Link
US (2) US11120629B2 (zh)
EP (1) EP3594906B1 (zh)
JP (1) JP6980802B2 (zh)
CN (2) CN110313021B (zh)
WO (1) WO2018164287A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930488B (zh) * 2019-11-15 2023-06-06 深圳市瑞立视多媒体科技有限公司 鱼体行为模拟方法、装置、设备及存储介质
CN111582418B (zh) * 2020-05-20 2022-03-08 郝杰 一种ar虚拟说明书的滑动展示方法
KR20210158695A (ko) * 2020-06-24 2021-12-31 삼성전자주식회사 영상에서 평면을 검출하는 전자 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0518940A (ja) * 1991-07-09 1993-01-26 Aloka Co Ltd 超音波三次元画像表示装置
KR20130025200A (ko) * 2011-09-01 2013-03-11 에스케이텔레콤 주식회사 증강 현실을 이용하여 실내 위치 기반 서비스를 제공하는 단말기 및 컴퓨터로 읽을 수 있는 기록매체
JP2013512480A (ja) * 2009-09-21 2013-04-11 インテル・コーポレーション 端末の角度に応じて互いに異なる映像情報を提供するための方法、端末およびコンピュータ読取可能な記録媒体
CN103080933A (zh) * 2010-06-30 2013-05-01 诺基亚公司 用于提供增强现实中恒定水平的信息的方法、装置和计算机程序产品
KR20140001167A (ko) * 2012-06-26 2014-01-06 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998323A (ja) * 1995-09-29 1997-04-08 Matsushita Electric Ind Co Ltd ビデオカメラ
JP2004192653A (ja) * 1997-02-28 2004-07-08 Toshiba Corp マルチモーダルインタフェース装置およびマルチモーダルインタフェース方法
JP2002366976A (ja) * 2001-06-08 2002-12-20 Fujitsu Ltd オブジェクト表示プログラムおよびオブジェクト表示装置
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
WO2010110391A1 (ja) * 2009-03-26 2010-09-30 京セラ株式会社 携帯電子機器
JP5799521B2 (ja) * 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
JP5724543B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
KR101971948B1 (ko) * 2011-07-28 2019-04-24 삼성전자주식회사 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법
JP5920352B2 (ja) * 2011-08-24 2016-05-18 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2013225245A (ja) * 2012-04-23 2013-10-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9317972B2 (en) * 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
KR20140145217A (ko) * 2013-05-30 2014-12-23 (주)브이알엑스 공간정보를 이용한 3차원 가상 모델링 시스템 및 그 방법
US9432636B2 (en) * 2013-11-26 2016-08-30 Microsoft Technology Licensing, Llc Large-scale surface reconstruction that is robust against tracking and mapping errors
JP5974189B2 (ja) * 2013-12-19 2016-08-23 日立マクセル株式会社 投写型映像表示装置及び投写型映像表示方法
US9953111B2 (en) * 2014-06-06 2018-04-24 Matterport, Inc. Semantic understanding of 3D data
US10659750B2 (en) * 2014-07-23 2020-05-19 Apple Inc. Method and system for presenting at least part of an image of a real object in a view of a real environment, and method and system for selecting a subset of a plurality of images
US20160191877A1 (en) * 2014-12-25 2016-06-30 Panasonic Intellectual Property Management Co., Ltd. Projector device and projection method
JP2016139199A (ja) * 2015-01-26 2016-08-04 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
JP6723798B2 (ja) * 2015-05-20 2020-07-15 キヤノン株式会社 情報処理装置、方法、プログラム
KR20170014451A (ko) * 2015-07-30 2017-02-08 삼성에스디에스 주식회사 시야 확보 시스템, 방법 및 이를 수행하기 위한 단말
US9858683B2 (en) * 2015-08-05 2018-01-02 Intel Corporation Method and system of planar surface detection objects in 3d space generated from captured images for image processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0518940A (ja) * 1991-07-09 1993-01-26 Aloka Co Ltd 超音波三次元画像表示装置
JP2013512480A (ja) * 2009-09-21 2013-04-11 インテル・コーポレーション 端末の角度に応じて互いに異なる映像情報を提供するための方法、端末およびコンピュータ読取可能な記録媒体
CN103080933A (zh) * 2010-06-30 2013-05-01 诺基亚公司 用于提供增强现实中恒定水平的信息的方法、装置和计算机程序产品
KR20130025200A (ko) * 2011-09-01 2013-03-11 에스케이텔레콤 주식회사 증강 현실을 이용하여 실내 위치 기반 서비스를 제공하는 단말기 및 컴퓨터로 읽을 수 있는 기록매체
KR20140001167A (ko) * 2012-06-26 2014-01-06 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
仿射变换虚实配准的空间信息增强表达;武雪玲等;《计算机工程与应用》;20100121(第03期);全文 *

Also Published As

Publication number Publication date
JP6980802B2 (ja) 2021-12-15
US11562545B2 (en) 2023-01-24
US11120629B2 (en) 2021-09-14
US20190333282A1 (en) 2019-10-31
CN110313021A (zh) 2019-10-08
EP3594906A1 (en) 2020-01-15
WO2018164287A1 (ko) 2018-09-13
JP2020509505A (ja) 2020-03-26
US20210366199A1 (en) 2021-11-25
EP3594906B1 (en) 2022-10-19
EP3594906A4 (en) 2020-11-04
CN116863107A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
AU2020202551B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US11315308B2 (en) Method for representing virtual information in a real environment
US9558581B2 (en) Method for representing virtual information in a real environment
KR101993920B1 (ko) 물리적 장면을 표현하기 위한 방법 및 장치
US20160343166A1 (en) Image-capturing system for combining subject and three-dimensional virtual space in real time
CN110926334B (zh) 测量方法、装置、电子设备及存储介质
US11562545B2 (en) Method and device for providing augmented reality, and computer program
US10825217B2 (en) Image bounding shape using 3D environment representation
US11582409B2 (en) Visual-inertial tracking using rolling shutter cameras
US20210304509A1 (en) Systems and methods for virtual and augmented reality
US20230037750A1 (en) Systems and methods for generating stabilized images of a real environment in artificial reality
WO2018090914A1 (zh) 三维视觉效果模拟方法及装置、存储介质及显示设备
CA3128614A1 (en) Method and system for displaying a large 3d model on a remote device
Nguyen et al. Interactive syntactic modeling with a single-point laser range finder and camera
WO2022089061A1 (zh) 物体标注信息呈现方法、装置、电子设备及存储介质
Piérard et al. I-see-3d! an interactive and immersive system that dynamically adapts 2d projections to the location of a user's eyes
KR20240007245A (ko) 증강 현실 안내식 깊이 추정

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tokyo

Applicant after: AI Holding Co.,Ltd.

Address before: Tokyo

Applicant before: LINE Corp.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20220125

Address after: Tokyo

Applicant after: LINE Corp.

Address before: Tokyo

Applicant before: AI Holding Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant