CN102395036A - 用于提供3d增强现实图像的设备和方法 - Google Patents
用于提供3d增强现实图像的设备和方法 Download PDFInfo
- Publication number
- CN102395036A CN102395036A CN2011101756807A CN201110175680A CN102395036A CN 102395036 A CN102395036 A CN 102395036A CN 2011101756807 A CN2011101756807 A CN 2011101756807A CN 201110175680 A CN201110175680 A CN 201110175680A CN 102395036 A CN102395036 A CN 102395036A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- video camera
- positional information
- added
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 2
- 238000009877 rendering Methods 0.000 description 12
- 238000013500 data storage Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
提供了用于提供三维(3D)增强现实(AR)图像的设备,其包括用于获得包含对象的图像的图像获取器;以及图像处理器,其用于计算关于所述对象的3D位置信息,获得对应于所述对象的AR数据,根据所计算的3D位置信息转换AR数据,并使用转换后的AR数据和所获得的图像来生成3DAR图像。另提供了一种用于提供3D AR图像的方法,该方法包括:获得包含对象的图像;计算所述对象的3D位置信息;获得对应于所述对象的AR数据;根据所述3D位置信息转换所述AR数据;使用转换后的AR数据和所获得的图像来生成3DAR图像;以及显示所生成的3D AR图像。
Description
相关申请的交叉引用
本申请根据35U.S.C.§119(a)要求于2010年6月30日提交的韩国专利申请No.10-2010-0063053的优先权以及权益,其作为引用被结合用于各种目的,如同在这里完全提出。
技术领域
以下描述涉及增强现实(AR)数据和用于提供三维(3D)AR图像的图像处理技术。
背景技术
AR是将虚拟对象或信息叠加到实际环境以仿佛在其原始环境中显示虚拟对象等的计算机图形技术。与仅用于虚拟空间和对象的常规虚拟现实不同,AR将虚拟对象叠加到真实世界,由此额外提供从真实世界难以得到的补充信息。由于这种特点,与仅能应用于诸如视频游戏的有限领域的常规虚拟现实不同,AR能够被应用在各种真实环境中。特别地,AR已经采用聚光灯作为适用于普遍存在的环境的下一代显示技术。
常规地,AR将使用标签或标记的虚拟对象叠加到从一个摄像机输入的图像,从而提供没有图像立体感或深度的二维(2D)图像。
发明内容
本发明的示例性实施方式提供一种3D AR图像系统以及用于提供3DAR图像的方法。
本发明的其他特征将在以下描述中提出,且通过该描述中,部分其他特征将显而易见,或通过本发明的实践了解这些特征。
本发明的示例性实施方式提供了用于提供三维(3D)增强现实(AR)`图像的设备,其包括图像获取器,用于获得包含对象的图像;以及图像处理器,其用于计算关于所述对象的3D位置信息,获得对应于所述对象的AR数据,根据所计算的3D位置信息转换AR数据,并使用转换后的AR数据和所获得的图像来生成3D AR图像。
本发明的示例性实施方式提供了用于提供3D AR图像的图像处理器,其包括3D位置信息计算器,用于计算关于包含在图像中的对象的3D位置信息AR数据转换器,用于获取对应于对象的AR数据,并根据所生成的3D位置信息转换AR数据;以及AR图像生成器,用于使用转换后的AR数据和所获得的图像来生成3D AR图像。
本发明的示例性实施方式提供了用于提供3D AR图像的方法,该方法包括获得包含对象的图像;计算所述对象的3D位置信息;获得对应于所述对象的AR数据,根据所述3D位置信息转换AR数据,使用转换后的AR数据和所获得的图像来生成3D AR图像;以及显示所生成的3D AR图像。
可以理解,以上概述以及以下的详细描述是示例性和解释性的并用于提供对所要求保护的发明的进一步解释。从以下详细描述、附图以及权利要求中可以明白其他特征和方面。
附图说明
被包括以提供对本发明的进一步理解并被结合并构成说明书的一部分的附图示出了本发明的实施方式,且与文字描述一起用于解释本发明的原理。
图1是示出根据本发明的示例性实施方式的用于提供3D AR图像的设备的框图;
图2是示出根据本发明的示例性实施方式的图像处理器的框图;
图3示出了根据本发明的示例性实施方式的用于计算3D位置信息的示意图;
图4示出了根据本发明的示例性实施方式的用于生成3D AR图像的过程;
图5是示出根据本发明的示例性实施方式的用于提供3D AR图像的方法的流程图;
图6示出了根据本发明的示例性实施方式的用于获得对象的距离的原理。
具体实施方式
下面参照附图对本发明作更全面的描述,其中示出了本发明的示例性实施方式。但是本发明可以以多种不同形式体现并不应当理解为限于这里提出的实施方式。而是提供这些示例性实施方式以使得公开充分并向本领域技术人员充分表达本发明的范围。在整个附图和具体描述中,除非另有说明,相同的附图标记理解为指示相同的元件、特征和结构。为了清晰、图示以及方便,这些元件的相对尺寸和描绘可以被放大。
图1是示出了根据本发明的示例性实施方式的用于提供3D AR图像的设备的框图。
如图1所示,用于提供3D AR图像的设备100可以被应用于各种类型的能够显示3D图像的设备。作为示例,用于提供3D AR图像的设备100可以被应用于配备有摄像机模块和显示模块的智能电话。而且,如果以三维方式显示图像,则设备100可以将图像中的特定对象与该对象的AR数据一起显示。作为示例,当设备100拍摄树并显示该树时,包括该树的名称、主要产地、生态特性等的AR数据可以以三维的方式与该树的图像一起被显示。在3D图像显示方法中,可以使用任意的眼镜方法和非眼镜方法。在非眼镜方法中,可以使用视差屏障方法和两面凸动屏幕方法。
在一个示例中,设备100包括图像获取器101、图像处理器102、图像显示器103、传感器104以及AR数据存储器105。
图像获取器101获得包含对象的图像。图像获取器101可以是摄像机或图像传感器。图像处理器102处理从图像获取器101获得的图像并生成3DAR图像。更具体地,图像处理器102从该图像检测对象,计算该对象的3D位置信息,获得对应于该对象的AR数据,并将所获得的AR数据叠加到所获得的图像上以生成3D AR图像。图像处理器102可以是图像信号处理器(ISP)或在ISP中执行的软件模块。图像显示器103显示所生成的3D AR图像。传感器104测量图像的方向角、当前位置、当前时间等中的一者或多者。传感器104可以包括全球定位系统(GPS)传感器、加速度传感器和地磁传感器中的至少一者。最后,AR数据存储器105存储对应于对象的AR数据。该AR数据存储器105可以被包括在设备100中,或可以在设备100之外被建立以经由通信网络与设备100连接。
作为示例,图像获取器101可以包括用于拍摄左图像的第一摄像机和用于拍摄右图像的第二摄像机,以生成3D图像。图像处理器102将由第一摄像机获得的左图像与由第二摄像机获得的右图像进行结合并显示结合后的3D图像。
在一个示例中,图像处理器102可以从图像检测对象。该对象可以是人、物或标记。图像处理器102可以基于对象检测算法来检测对象。此外,有可能使用传感器104所测量的图像的方向角、当前位置、当前时间等中的一者或多者来选择性地从图像检测对象。
此外,图像处理器102可以计算关于包含在图像中的对象的3D位置信息。该3D位置信息可以包括关于对象与设备100之间的距离的信息。因此,当图像中存在两个对象且这两个对象位于不同的位置时,每个对象可以具有其自身的3D位置信息。诸如对象的距离的3D位置信息可以用各种方式来计算。
在一个示例中,图像获取器101可以包括以预定间隔安装的第一摄像机和第二摄像机,用于获得3D图像。图像处理器102可以获得第一摄像机与第二摄像机之间的间隔以及第一摄像机和第二摄像机拍摄对象的角度。基于所获得的信息,图像处理器102可以使用基础三角函数来计算对象的距离。
图6示出了根据本发明的示例性实施方式的用于获得对象的距离的方法。如图6所示,使用结合了左摄像机和右摄像机(就像人眼)的立体摄像机来计算对象的距离。作为示例,左摄像机位于点C,右摄像机位于点C′。可以从左摄像机获得第一图像601,可以从右摄像机获得第二图像602。一旦获得这两个图像,可以根据以下等式来计算第一图像601或第二图像602到特定点M的距离。
z=(B/d)*F
作为示例,z表示沿与第一轴垂直的第二轴测量的点M离第一轴(点C和点C′穿过该第一轴)的距离。B表示点C和点C′之间的距离,d表示在各自图像中的点M的坐标之间的偏差(即,X1与X2之间的偏差),以及F表示摄像机镜头的焦距。B可以被给定为常数或可以被测量,可以使用差值平方和(SSD)方法来计算d,可以根据摄像机镜头来确定F。因此,可以使用两个图像来计算点M的距离z。
在计算对象的距离的另一个示例中,图像获取器101可以包括以预定间隔安装的第一摄像机和第二摄像机。每个摄像机可以装配有自动对焦功能。图像处理器102可以使用在第一摄像机和第二摄像机自动调节其焦点时所获得的焦距和第一摄像机和第二摄像机之间的间隔来计算对象的距离。
此外,图像处理器102可以根据对应的对象的3D位置信息来转换AR数据,并将转换后的AR数据叠加到所获得的图像上,以生成将在图像显示器103显示的3D AR图像。在一个示例中,存储在AR数据存储器105中的第一对象的AR数据和第二对象的AR数据可能没有距离或空间信息。因此,当图像处理器102将AR数据叠加到图像上时,第一对象和第二对象可以被显示,其中第一对象被显示得比第二对象近,但是第一对象和第二对象不可以以三维的方式被显示为具有xyz维度的对象。出于这个原因,图像处理器102可以根据对应的对象的3D位置信息来转换AR数据并将转换后的AR数据叠加到所获得的图像以生成3DAR图像,使得AR数据以三维方式与对象一起被显示。
因此,设备100根据对应的对象的3D位置信息转换AR数据,然后将转换后的AR数据叠加到图像上,能够以三维方式向用户提供AR图像。
图2是示出了根据本发明的示例性实施方式的图像处理器的框图。
在一个示例中,如图2所示的图像处理器102包括3D位置信息计算器201、AR数据转换器202、AR图像生成器203以及对象检测器204。
对象检测器204在所获得的图像中检测感兴趣对象。对象检测器204可以以多种方式中的一种方式从图像中检测对象。例如,对象检测器204可以在感测信息(例如,当前位置、当前时间、拍摄方向中的一者或多者)的帮助下在图像中指定特定区域,并在指定的特定区域中检测对象。在一个示例中,存在第一对象和第二对象,其中在所获得的图像中,第二对象所处的位置比第一对象远。
3D位置信息计算器201计算关于所检测的对象的3D位置信息。作为示例,3D位置信息计算器201可以使用获得对象的左图像的第一摄像机与获得对象的右图像的第二摄像机之间的间隔来计算对象的距离。3D位置信息计算器201还可以计算第一摄像机和第二摄像机的聚焦方向(focaldirection)。作为示例,3D位置信息计算器201可以使用所测量的第一摄像机和第二摄像机之间的间隔和摄像机的自动对焦功能来计算对象的距离。因此,3D位置信息计算器201可以通过获得第一对象和第二对象的距离来识别出第二对象比第一对象远。
AR数据转换器202获得对应于第一对象的第一对象AR数据和对应于第二对象的第二对象AR数据。例如,AR数据转换器202可以通过从AR数据存储器105中提取出相关信息来获得AR数据。一旦获得AR数据,AR数据转换器202根据关于这两个对象的3D位置信息,对第一对象AR数据和第二对象AR数据进行转换。因此,在最终的3D图像中还可以三维显示AR数据。例如,如果第一对象比第二对象近,则AR数据转换器202可以转换图像,使得第一对象AR数据位于第二对象AR数据的前面。单独在第一对象的方面,可以分开生成将被叠加在第一摄像机的左图像上的第一对象的第一AR数据和将被叠加在第二摄像机的右图像上的第一对象的第二AR数据。
AR图像生成器203将转换后的AR数据叠加在所获得的图像上,以生成3D AR图像。例如,AR图像生成器203可以将第一对象的第一AR数据叠加在第一摄像机的左图像上并将第一对象的第二AR数据叠加在第二摄像机的右图像上,以分别产生增强的左和右图像。然后增强的左图像和右图像被结合以生成最终的3D AR图像。
图3示出了根据本发明的示例性实施方式的用于计算3D位置信息的示意图。图3所示的示意图描述了由第一摄像机301和第二摄像机302拍摄包含第一对象303和第二对象304的空间时获得关于第一对象303和第二对象304的3D位置信息的方法。
参考图3,在一个示例中,图像获取器101包括第一摄像机301和第二摄像机302。第一摄像机301和第二摄像机302之间的间隔可以是固定的。为了生成3D图像,图像获取器101使用第一摄像机301采集第一对象303和第二对象304的左眼图像,使用第二摄像机302采集第一对象303和第二对象304的右眼图像。
作为一个示例,第一摄像机301和第二摄像机302同时拍摄同一个对象(例如,第一对象303),从而第一摄像机301和第二摄像机302的拍摄方向可以被调整。换句话说,如果由两个摄像机拍摄第一对象303,则有可能获得第一摄像机301的拍摄方向θ1和第二摄像机302的拍摄方向θ2。由于第一摄像机301与第二摄像机302之间的间隔d是固定的,因此可以使用θ1、θ2和d来计算第一对象303的距离Lm。
作为一个示例,如果第一摄像机301和第二摄像机302配备有自动对焦功能并拍摄同一个对象,则可以计算f1和f2的拍摄距离。更具体地,通过使用具有自动对焦功能的两个摄像机来拍摄同一个对象,可以计算出第一对象303与第一摄像机301之间的拍摄距离f1和第一对象303与第二摄像机302之间的拍摄距离f2。如上所述,由于第一摄像机301与第二摄像机302之间的间隔可以是固定的,因此可以使用f1、f2以及d来计算第一对象303的距离Lm。
可以以与上述确定距离Lm的相同的方式来计算第二对象304的距离Ln。此外,第二对象304相对于的第一对象303的相对距离(即,第二对象304比第一对象近还是远)可以在不用计算绝对距离Ln的情况下选择性地被获得。
可通过将第一对象303和第二对象304相对于第一摄像机301和第二摄像机302的聚焦距离和角度进行比较来确定第二对象304相对于第一对象303的相对距离。例如,可通过将第一对象303与第一摄像机301之间的聚焦距离f1和角度θ1与第二对象304与第一摄像机301之间的聚焦距离和角度进行比较来确定第二对象304相对于第一对象303的相对距离。在另一示例中,可通过将第一对象303与第二摄像机302之间的聚焦距离f2和角度θ2与第二对象304与第二摄像机302之间的聚焦距离和角度进行比较来确定第二对象304相对于第一对象303的相对距离。
在图3中,为了方便,仅参照两个对象303和304进行公开。但是,本领域技术人员可以理解,相同的方法可以应用于仅一个对象,或两个以上的对象。例如,通过使用传感器104的感测信息,可以确定哪个对象是从所获得的图像提取的感兴趣对象。因此,图3中公开的方法可以应用于两个以上的多个对象。
图4示出了根据本发明的示例性实施方式的用于生成3D AR图像的过程。
参考图4,在一个示例中,左眼图像401和右眼图像402可以用于生成3D图像。可以由图像获取器101的第一摄像机301采集左眼图像401,由图像获取器101的第二摄像机302采集右眼图像402。
如图4所示,左眼图像401和右眼图像402都包含第一对象403和第二对象404。在一个示例中,第一对象403是比由教堂表示的第二对象404要近的树。一旦获得左眼图像401和右眼图像402,图像处理器102可以通过使用如图3所示的方法来获得关于第一对象403和第二对象404的3D位置信息(例如距离或位置坐标)。使用图3中规定的方法,可以计算第一对象403和第二对象404的绝对距离。可替换地,一个对象可以被设置为参考对象,且可以相对于该参考对象来计算另一个对象的相对距离。
在一个示例中,如果第一对象403和第二对象404的3D位置信息被获得,则图像处理器102可以从AR数据存储器105中提取出AR信息。由此,与第一对象403有关的AR数据405和与第二对象404有关的AR数据406可以从AR数据存储器105提取出来。
一旦提取出AR数据405和406,图像处理器102根据对应的对象403和404的3D位置信息,分别对AR数据405和406进行转换。由于第一对象403位于第二对象404前面,因此对AR数据405和406转换,以使得第一对象403的AR数据405位于第二对象404的AR数据406的前面。在一个示例中,就第一对象403的AR数据405而言,分开生成增强的图像407上的第一AR数据405-1和增强的图像408上的第二AR数据405-2。
一旦转换了AR数据405和406,图像处理器102将转换后的AR数据405-1、405-2、406-1和406-2叠加到各自的图像401和402上。更具体地,就第一对象403的AR数据405而言,AR数据405-1被叠加到左眼图像401上,作为增强的图像407,而第二AR数据405-2被叠加到右眼图像402上,作为增强的图像408。类似地,就第二对象404的AR数据406而言,AR数据406-1被叠加到左眼图像401上,作为图像407,而第二AR数据406-2被叠加到右图像402上,作为图像408。进一步地,在一个示例中,就第一对象403的AR数据405而言,第一AR数据405-1和第二AR数据405-2可以被分开生成。然后将增强的图像407和408结合,以形成最终的3D图像409。
在所生成的3D图像409中,第一对象403被显示在第二对象404的前面,且第一对象403的AR数据405被显示在第二对象404的AR数据406的前面。在3D图像409中,均基于左眼图像401和右眼图像402来生成对象403和404以及AR数据405和406,由此这里的“前面”或“后面”不是表示二维远景,而是表示3D图像中的“前面”或“后面”。
图5是示出根据本发明的示例性实施方式的用于提供3D AR图像的方法的流程图。该方法可以由如图1所示的用于提供3D AR的设备100来执行。将参考图1和图5来描述根据该示例性实施方式的方法。
首先,获得包含对象的图像(操作501)。例如,图像获取器101可以获取对象的左图像和右图像。
在获得图像之后,计算关于包含在图像中的对象的3D位置信息(操作502)。例如,图像处理器102可以使用图3所示的方法来测量对象的距离。
在计算3D位置信息之后,对应于对象的AR数据被提取并根据所计算的3D位置信息而被转换(操作503)。
一旦AR数据被转换,使用转换后的AR数据和所获得的图像来生成3DAR图像(操作504)。在一个示例中,图像处理器102可以将第一AR数据叠加到左图像上并将第二AR数据叠加到右图像上,以产生增强的左图像和右图像。通过将增强的左图像和右图像进行结合,可以生成3D AR图像。
在生成了3DAR图像之后,显示所生成的3DAR图像(操作505)。在一个示例中,如果所生成的AR图像包含第一对象和第二对象,其中第二对象所处的位置比第一对象远,则图像显示器103可以显示3D AR图像,使得对应于第一对象的AR数据比对应于第二对象的AR数据近。
如上所述,所公开的设备和方法根据对象的3D位置信息提供AR数据,由此可以实施真实3D AR。
同时,本发明的示例性实施方式可以被体现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质包括存储计算机系统可读的数据的各种记录装置。可以由具有处理器和存储器的计算机来执行计算机可读代码。
计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、(光盘)CD-ROM、磁带、软盘、光学数据存储装置以及载波(例如,通过因特网的数据传输)。计算机可读记录介质可以分布在网络连接的计算机系统上,由此可以以分布方式存储并执行计算机可读代码。本领域的计算机编程人员可以很容易地导出实现本发明所需的功能程序、代码和代码段。
本领域技术人员可以明白,在不偏离本发明的实质和范围的情况下,可以对本发明进行各种修改和变形。因此,本发明应当涵盖在所附权利要求及其等同的范围内所提供的本发明的修改和变形。
Claims (22)
1.一种用于提供三维(3D)增强现实(AR)图像的设备,该设备包括:
图像获取器,用于获得包含对象的图像;以及
图像处理器,用于计算所述对象的3D位置信息、获得对应于所述对象的AR数据、根据所述3D位置信息转换所述AR数据、并使用转换后的AR数据和所述图像来生成3D AR图像。
2.根据权利要求1所述的设备,其中,所述图像获取器包括:
用于获得所述对象的第一图像的第一摄像机;以及
用于获得所述对象的第二图像的第二摄像机。
3.根据权利要求2所述的设备,其中,所述图像处理器使用所述第一图像和所述第二图像来获得所述对象与所述第一摄像机和所述第二摄像机所通过的轴之间的距离的距离信息,并使用该距离信息来计算所述3D位置信息。
4.根据权利要求2所述的设备,其中,所述图像处理器使用所述第一摄像机或所述第二摄像机的自动对焦功能来获得所述对象与所述第一摄像机和所述第二摄像机所通过的轴之间的距离的距离信息,并使用该距离信息来计算所述3D位置信息。
5.根据权利要求2所述的设备,其中,所述图像处理器基于所述3D位置信息来生成将被叠加到所述第一图像上的第一AR数据和将被叠加到所述第二图像上的第二AR数据、将所生成的第一AR数据叠加到所述第一图像上以形成增强的第一图像、并将所生成的第二AR数据叠加到所述第二图像上以形成增强的第二图像、然后通过结合所述增强的第一图像和所述增强的第二图像来生成所述3DAR图像。
6.根据权利要求5所述的设备,其中,所生成的3D AR图像包括:
第一对象和位于比该第一对象远的位置的第二对象。
7.根据权利要求6所述的设备,其中,对应于所述第二对象的AR数据位于比对应于所述第一对象的AR数据远的位置。
8.根据权利要求1所述的设备,该设备还包括传感器,该传感器包括:
全球定位系统(GPS)传感器、加速度传感器、或地磁传感器。
9.根据权利要求8所述的设备,其中,所述图像处理器使用所述传感器的感测信息来在所获得的图像中指定一区域,并在该指定的区域中检测所述对象。
10.根据权利要求1所述的设备,该设备还包括用于显示所述3D AR图像的图像显示器。
11.一种用于提供三维(3D)增强现实(AR)图像的图像处理器,该图像处理器包括:
3D位置信息计算器,用于计算包含在图像中的对象的3D位置信息;
AR数据转换器,用于获得对应于所述对象的AR数据,并根据所述3D位置信息转换所述AR数据;以及
AR图像生成器,用于使用转换后的AR数据和所获得的图像来生成3DAR图像。
12.根据权利要求11所述的图像处理器,其中,所述3D位置信息计算机使用由第一摄像机所获得的所述对象的第一图像和由第二摄像机所获得的所述对象的第二图像来获得所述对象与所述第一摄像机和所述第二摄像机所通过的轴之间的距离的距离信息,并使用所获得的距离信息来计算所述3D位置信息。
13.根据权利要求11所述的图像处理器,其中,所述3D位置信息计算器使用用于获得所述对象的第一图像和第二图像的摄像机的自动对焦功能来获得所述对象与所述摄像机之间的距离的距离信息,并使用所获得的距离信息来计算所述3D位置信息。
14.根据权利要求11所述的图像处理器,其中,所述AR数据转换器基于所述3D位置信息,生成将被叠加到所述对象的第一图像上的第一AR数据,并生成将被叠加到所述对象的第二图像上的第二AR数据。
15.根据权利要求14所述的图像处理器,其中,所述AR图像生成器将所述第一AR数据叠加到所述第一图像上、将所述第二AR数据叠加到所述第二图像上、并使用增强的第一图像和第二图像来生成所述3D AR图像。
16.一种用于提供三维(3D)增强现实(AR)图像的方法,该方法包括:
获得包含对象的图像;
计算所述对象的3D位置信息;
获得对应于所述对象的AR数据;
根据所述3D位置信息转换所述AR数据;
使用转换后的AR数据和所获得的图像来生成3DAR图像;以及
显示所生成的3D AR图像。
17.根据权利要求16所述的方法,其中,所述图像的获得包括获得所述对象的第一图像和第二图像。
18.根据权利要求17所述的方法,其中,计算所述3D位置信息包括使用由第一摄像机所获得的所述第一图像和由第二摄像机所获得的所述第二图像来获得关于所述对象与所述第一摄像机和所述第二摄像机所通过的轴之间的距离的距离信息,并使用所获得的距离信息来计算所述3D位置信息。
19.根据权利要求17所述的方法,其中,计算所述3D位置信息包括使用用于获得所述第一图像和所述第二图像的摄像机的自动对焦功能来获得关于所述对象与所述摄像机之间的距离的距离信息,并使用所获得的距离信息来计算所述3D位置信息。
20.根据权利要求17所述的方法,其中,转换所述AR数据包括基于所述3D位置信息,生成将被叠加到所述第一图像上的第一AR数据,并生成将被叠加到所述第二图像上的第二AR数据。
21.根据权利要求20所述的方法,其中生成所述3DAR图像包括将所述第一AR数据叠加到所述第一图像上、将所述第二AR数据叠加到所述第二图像上、并使用增强的第一图像和第二图像来生成所述3D AR图像。
22.根据权利要求16所述的方法,其中显示所述AR图像包括显示所述3D AR图像,以使得如果所生成的AR图像包括第一对象和第二对象,其中该第二对象位于比所述第一对象远的位置,则对应于所述第一对象的AR数据被显示得比对应于所述第二对象的AR数据近。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2010-0063053 | 2010-06-30 | ||
KR1020100063053A KR101295714B1 (ko) | 2010-06-30 | 2010-06-30 | 3차원 증강 현실 제공 장치 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102395036A true CN102395036A (zh) | 2012-03-28 |
Family
ID=44799575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011101756807A Pending CN102395036A (zh) | 2010-06-30 | 2011-06-24 | 用于提供3d增强现实图像的设备和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20120001901A1 (zh) |
EP (1) | EP2402906A3 (zh) |
JP (1) | JP5260705B2 (zh) |
KR (1) | KR101295714B1 (zh) |
CN (1) | CN102395036A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103472909A (zh) * | 2012-04-10 | 2013-12-25 | 微软公司 | 用于头戴式、增强现实显示器的逼真遮挡 |
CN103870182A (zh) * | 2012-12-14 | 2014-06-18 | 联想(北京)有限公司 | 显示处理方法、显示处理设备和电子设备 |
CN103873840A (zh) * | 2012-12-12 | 2014-06-18 | 联想(北京)有限公司 | 显示方法及显示设备 |
CN104062758A (zh) * | 2013-03-19 | 2014-09-24 | 联想(北京)有限公司 | 图像显示的方法和显示设备 |
CN105050670A (zh) * | 2013-01-22 | 2015-11-11 | 微软技术许可有限责任公司 | 混合现实体验共享 |
CN105491365A (zh) * | 2015-11-25 | 2016-04-13 | 罗军 | 基于移动终端的图像处理方法、装置及系统 |
CN105812680A (zh) * | 2016-03-31 | 2016-07-27 | 联想(北京)有限公司 | 图像处理方法及电子设备 |
CN105872526A (zh) * | 2015-01-21 | 2016-08-17 | 成都理想境界科技有限公司 | 双目ar头戴显示设备及其信息显示方法 |
US9728163B2 (en) | 2012-02-29 | 2017-08-08 | Lenovo (Beijing) Co., Ltd. | Operation mode switching method and electronic device |
CN107079139A (zh) * | 2014-04-30 | 2017-08-18 | 图片动态有限公司 | 没有物理触发的增强现实 |
CN103870182B (zh) * | 2012-12-14 | 2018-08-31 | 联想(北京)有限公司 | 显示处理方法、显示处理设备和电子设备 |
CN109688399A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的立体图像显示方法和系统 |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9122053B2 (en) | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
US9606992B2 (en) * | 2011-09-30 | 2017-03-28 | Microsoft Technology Licensing, Llc | Personal audio/visual apparatus providing resource management |
KR101874895B1 (ko) * | 2012-01-12 | 2018-07-06 | 삼성전자 주식회사 | 증강 현실 제공 방법 및 이를 지원하는 단말기 |
US9501831B2 (en) | 2012-10-02 | 2016-11-22 | Google Inc. | Identification of relative distance of objects in images |
TWI571827B (zh) * | 2012-11-13 | 2017-02-21 | 財團法人資訊工業策進會 | 決定3d物件影像在3d環境影像中深度的電子裝置及其方法 |
KR102197964B1 (ko) * | 2014-01-29 | 2021-01-04 | 엘지전자 주식회사 | 포터블 디바이스 및 그 제어 방법 |
CN103914869B (zh) * | 2014-02-26 | 2017-02-22 | 浙江工业大学 | 支持骨架个性化编辑的轻量化三维树木模型构建方法 |
KR101646503B1 (ko) * | 2014-12-17 | 2016-08-09 | 경북대학교 산학협력단 | 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법 |
KR101649163B1 (ko) * | 2015-06-29 | 2016-08-18 | 한국원자력연구원 | 핵연료교환기 비상구동 이동로봇 영상 가이드 시스템 |
KR101837474B1 (ko) | 2016-09-23 | 2018-04-19 | 주식회사 코젠 | 터널 자동제어시스템에 적용되는 3d 영상시스템 |
WO2018148316A1 (en) * | 2017-02-07 | 2018-08-16 | Flir Detection, Inc. | Systems and methods for identifying threats and locations, systems and method for augmenting real-time displays demonstrating the threat location, and systems and methods for responding to threats |
US11488369B2 (en) | 2017-02-07 | 2022-11-01 | Teledyne Flir Detection, Inc. | Systems and methods for identifying threats and locations, systems and method for augmenting real-time displays demonstrating the threat location, and systems and methods for responding to threats |
US10979685B1 (en) | 2017-04-28 | 2021-04-13 | Apple Inc. | Focusing for virtual and augmented reality systems |
CN116456097A (zh) | 2017-04-28 | 2023-07-18 | 苹果公司 | 视频流水线 |
US10861142B2 (en) | 2017-07-21 | 2020-12-08 | Apple Inc. | Gaze direction-based adaptive pre-filtering of video data |
US11009949B1 (en) | 2017-08-08 | 2021-05-18 | Apple Inc. | Segmented force sensors for wearable devices |
KR102031870B1 (ko) * | 2017-08-30 | 2019-10-16 | 주식회사 카이비전 | 가상 이미지 영상동기화를 위한 증강현실글래스 |
US11087527B2 (en) * | 2017-12-01 | 2021-08-10 | Koninklijke Kpn N.V. | Selecting an omnidirectional image for display |
US11527044B2 (en) * | 2018-06-27 | 2022-12-13 | Samsung Electronics Co., Ltd. | System and method for augmented reality |
KR102103991B1 (ko) * | 2018-08-23 | 2020-04-23 | 주식회사 버넥트 | 혼합현실 기반의 접이식 표시 시스템 |
US10733800B2 (en) * | 2018-09-17 | 2020-08-04 | Facebook Technologies, Llc | Reconstruction of essential visual cues in mixed reality applications |
KR101985711B1 (ko) * | 2019-03-13 | 2019-06-04 | (주)정도기술 | 증강현실 cctv 시스템 및 그 제어방법 |
KR102288528B1 (ko) * | 2019-11-14 | 2021-08-10 | 한국광기술원 | 증강현실 영상 생성장치 및 방법 |
KR102338984B1 (ko) * | 2020-04-20 | 2021-12-14 | 주식회사 스쿱 | 인공지능을 활용한 3d 모형 증강현실 서비스 제공 시스템 및 그 방법 |
KR102539838B1 (ko) * | 2021-10-18 | 2023-06-08 | 서울과학기술대학교 산학협력단 | 증강 현실 기반의 건설 현장 안전 점검 장치 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6064749A (en) * | 1996-08-02 | 2000-05-16 | Hirota; Gentaro | Hybrid tracking for augmented reality using both camera motion detection and landmark tracking |
CN101175158A (zh) * | 2004-02-06 | 2008-05-07 | 奥林巴斯株式会社 | 头戴型照相机 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000102036A (ja) * | 1998-09-22 | 2000-04-07 | Mr System Kenkyusho:Kk | 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法 |
KR101309176B1 (ko) * | 2006-01-18 | 2013-09-23 | 삼성전자주식회사 | 증강 현실 장치 및 방법 |
CN101772305B (zh) | 2007-08-09 | 2013-10-30 | 罗蒂株式会社 | 含液体芯的口香糖组合物 |
KR100922544B1 (ko) | 2007-12-17 | 2009-10-21 | 한국전자통신연구원 | 실시간 카메라 트래킹을 이용한 실사 영상 합성 시스템 및 그 방법 |
US8314832B2 (en) * | 2009-04-01 | 2012-11-20 | Microsoft Corporation | Systems and methods for generating stereoscopic images |
-
2010
- 2010-06-30 KR KR1020100063053A patent/KR101295714B1/ko active IP Right Grant
-
2011
- 2011-02-15 US US13/028,118 patent/US20120001901A1/en not_active Abandoned
- 2011-06-22 EP EP20110170889 patent/EP2402906A3/en not_active Withdrawn
- 2011-06-23 JP JP2011139514A patent/JP5260705B2/ja active Active
- 2011-06-24 CN CN2011101756807A patent/CN102395036A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6064749A (en) * | 1996-08-02 | 2000-05-16 | Hirota; Gentaro | Hybrid tracking for augmented reality using both camera motion detection and landmark tracking |
CN101175158A (zh) * | 2004-02-06 | 2008-05-07 | 奥林巴斯株式会社 | 头戴型照相机 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9728163B2 (en) | 2012-02-29 | 2017-08-08 | Lenovo (Beijing) Co., Ltd. | Operation mode switching method and electronic device |
CN103472909A (zh) * | 2012-04-10 | 2013-12-25 | 微软公司 | 用于头戴式、增强现实显示器的逼真遮挡 |
CN103472909B (zh) * | 2012-04-10 | 2017-04-12 | 微软技术许可有限责任公司 | 用于头戴式、增强现实显示器的逼真遮挡 |
CN103873840A (zh) * | 2012-12-12 | 2014-06-18 | 联想(北京)有限公司 | 显示方法及显示设备 |
CN103873840B (zh) * | 2012-12-12 | 2018-08-31 | 联想(北京)有限公司 | 显示方法及显示设备 |
US9360670B2 (en) | 2012-12-12 | 2016-06-07 | Beijing Lenovo Software Ltd. | Display method and display device for augmented reality |
CN103870182A (zh) * | 2012-12-14 | 2014-06-18 | 联想(北京)有限公司 | 显示处理方法、显示处理设备和电子设备 |
CN103870182B (zh) * | 2012-12-14 | 2018-08-31 | 联想(北京)有限公司 | 显示处理方法、显示处理设备和电子设备 |
CN105050670A (zh) * | 2013-01-22 | 2015-11-11 | 微软技术许可有限责任公司 | 混合现实体验共享 |
CN105050670B (zh) * | 2013-01-22 | 2018-05-04 | 微软技术许可有限责任公司 | 混合现实体验共享 |
CN104062758A (zh) * | 2013-03-19 | 2014-09-24 | 联想(北京)有限公司 | 图像显示的方法和显示设备 |
CN104062758B (zh) * | 2013-03-19 | 2017-02-08 | 联想(北京)有限公司 | 图像显示的方法和显示设备 |
CN107079139A (zh) * | 2014-04-30 | 2017-08-18 | 图片动态有限公司 | 没有物理触发的增强现实 |
CN105872526B (zh) * | 2015-01-21 | 2017-10-31 | 成都理想境界科技有限公司 | 双目ar头戴显示设备及其信息显示方法 |
CN105872526A (zh) * | 2015-01-21 | 2016-08-17 | 成都理想境界科技有限公司 | 双目ar头戴显示设备及其信息显示方法 |
CN105491365A (zh) * | 2015-11-25 | 2016-04-13 | 罗军 | 基于移动终端的图像处理方法、装置及系统 |
CN105812680A (zh) * | 2016-03-31 | 2016-07-27 | 联想(北京)有限公司 | 图像处理方法及电子设备 |
CN109688399A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的立体图像显示方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
US20120001901A1 (en) | 2012-01-05 |
KR20120002261A (ko) | 2012-01-05 |
KR101295714B1 (ko) | 2013-08-16 |
EP2402906A2 (en) | 2012-01-04 |
JP5260705B2 (ja) | 2013-08-14 |
EP2402906A3 (en) | 2015-04-22 |
JP2012014690A (ja) | 2012-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102395036A (zh) | 用于提供3d增强现实图像的设备和方法 | |
EP3099056B1 (en) | Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product | |
EP2915140B1 (en) | Fast initialization for monocular visual slam | |
KR100953931B1 (ko) | 혼합현실 구현 시스템 및 그 방법 | |
CN102938844B (zh) | 利用立体成像生成自由视点视频 | |
KR102169492B1 (ko) | 평면의 자연스러운 특성 타겟들의 인시츄 생성 | |
JP2020529685A (ja) | シーンの表現を生成するための装置及び方法 | |
KR20120015564A (ko) | 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법 | |
KR20140013034A (ko) | 컬러 채널 및 시각 마커 | |
CN108028904B (zh) | 移动设备上光场增强现实/虚拟现实的方法和系统 | |
KR20180120456A (ko) | 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법 | |
JP6061334B2 (ja) | 光学式シースルー型hmdを用いたarシステム | |
CN109978945B (zh) | 一种增强现实的信息处理方法和装置 | |
WO2020084312A1 (en) | Method and system for providing at least a portion of content having six degrees of freedom motion | |
JP2015149675A (ja) | カメラパラメータ推定装置及びカメラパラメータ推定プログラム | |
CN110880187B (zh) | 一种相机位置信息确定方法、装置、电子设备及存储介质 | |
JP7064144B2 (ja) | 情報統合方法、情報統合装置、及び情報統合プログラム | |
US20220114749A1 (en) | Information integration method, information integration device, and information integration program | |
JP4999010B2 (ja) | 自由視点映像生成方式及び記録媒体 | |
US20220392167A1 (en) | Visualization of camera location in a real-time synchronized 3d mesh | |
KR20230067307A (ko) | 아바타를 이용한 3차원 모델링 공간에서 이동 방법 | |
KR20200072346A (ko) | 객체 좌표를 도출하는 장치 및 방법 | |
JP2011232982A (ja) | 画像表示装置 | |
JP2014022866A (ja) | 画像処理装置および方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120328 |