CN104700392B - 虚拟影像定位方法及其装置 - Google Patents

虚拟影像定位方法及其装置 Download PDF

Info

Publication number
CN104700392B
CN104700392B CN201410529492.3A CN201410529492A CN104700392B CN 104700392 B CN104700392 B CN 104700392B CN 201410529492 A CN201410529492 A CN 201410529492A CN 104700392 B CN104700392 B CN 104700392B
Authority
CN
China
Prior art keywords
image
virtual
entity
audience
virtual image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410529492.3A
Other languages
English (en)
Other versions
CN104700392A (zh
Inventor
魏宏源
江进丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Metal Industries Research and Development Centre
Original Assignee
Metal Industries Research and Development Centre
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metal Industries Research and Development Centre filed Critical Metal Industries Research and Development Centre
Publication of CN104700392A publication Critical patent/CN104700392A/zh
Application granted granted Critical
Publication of CN104700392B publication Critical patent/CN104700392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种虚拟影像定位方法及其装置,用以将第一虚拟影像与第一实体物件进行定位。于一平面上设置至少三个实体物件,每一实体物件具有一个实体空间座标。撷取一观赏者影像,并移动观赏者影像,使影像产生模块上显示的观赏者影像,透过反射模块,可分别迭加于此三个实体物件上。记录此时观赏者影像显示在影像产生模块上时的三个虚拟空间座标。接着,根据此三个实体空间座标和三个虚拟空间座标,将第一虚拟影像的虚拟空间座标转换成一实体空间座标,并将第一虚拟影像的实体空间座标与第一实体物件的实体空间座标进行比较以得到一调整值。最后,根据调整值调整第一虚拟影像的虚拟空间座标。据此,可让一虚拟影像确实投影在实体物件上。

Description

虚拟影像定位方法及其装置
技术领域
本发明关于一种定位方法,且特别是有关于一种在立体空间中将虚拟影像与实体物件进行定位的方法和其对应装置。
背景技术
扩增实境(Augmented Reality,AR)是一种即时计算摄影机所撷取的影像的位置及角度等空间资讯,并根据此等空间资讯加上相应数字内容的技术。这种技术的目的是在屏幕上把虚拟物件套迭在实体物件上以进行娱乐互动或资讯呈现。
扩增实境成功的关键技术在于如何能准确把虚拟物件与实体物件结合,让使用者眼睛所视即所見。一般有两种方法,第一种即是将实体物件进行摄影后,将影像特征截取,在屏幕上同时显示实物与虚拟影像,此方法优点在于显示面为2D,实物影像与虚拟影像容易迭加,缺点是立体感不足,且特征演算法复杂。而另一个方法是直接将虚拟影像投影在实体物件上,使用者藉由浮空投影、虚像投影等方法,在实体物件上迭加上虚拟影像,此优点是立体感与互动性较好,但是不易在实体物件上准确迭加上所需虚拟影像。
因此,如何提供更准确的定位方法即成为追求的目标。
发明内容
鉴于上述,本发明提供一种虚拟影像与实体物件进行定位的方法及其对应装置。利用三个实体物件定位点,将观赏者的虚拟影像分别迭合于此三个实体物件定位点上后,根据此三个实体物件定位点的实体座标和虚拟影像的虚拟位置座标,利用内插法即可进行虚拟座标和实体座标的转换,定位虚拟影像在实体空间的位置,进而让虚拟影像可确实投影在实体物件上。
本发明的一态样系在提供一种定位方法,系用以将一第一虚拟影像与一第一实体物件进行定位。首先,于一平面上设置至少三个实体物件,其中该三个实体物件分别具有一个实体空间座标。接着,撷取一观赏者影像,并于一影像产生模块上显示该观赏者影像,并移动该观赏者影像,使该影像产生模块上显示的该观赏者影像,以透过一反射模块,分别迭加于该至少三个实体物件上。然后,记录该观赏者影像分别迭加于该三个实体物件上时,对应在该影像产生模块上的三个虚拟空间座标。根据该三个实体空间座标以及该三个虚拟空间座标,将该第一虚拟影像的虚拟空间座标转换成一实体空间座标,并将该第一虚拟影像的实体空间座标与该第一实体物件的实体空间座标进行比较以得到一调整值。根据该调整值调整该第一虚拟影像的虚拟空间座标。
在一实施例中,是利用一内插法,以根据该三个实体空间座标以及该三个虚拟空间座标,将该第一虚拟影像的一虚拟座标转换成一实体空间座标。
在一实施例中,更包括根据该调整后的该第一虚拟影像的虚拟空间座标于该影像产生装置上显示该第一虚拟影像;以及透过该反射模块,反射该第一虚拟影像给该观赏者。
在一实施例中,反射模块为一分光镜。
在一实施例中,第一实体物件设置在该平面上。
在一实施例中,观赏者影像为该观赏者的一手部影像。
本发明的另一态样在提供一种定位装置,用以将一第一虚拟影像与一第一实体物件进行定位,包括至少三个实体物件设置于一平面上,其中该三个实体物件分别具有一个实体空间座标。一影像撷取装置,用以撷取一观赏者的一影像。一影像产生装置耦接该影像撷取装置,用以显示该影像。一反射模块,用以将该影像产生装置上显示的该影像反射入该观赏者眼睛。一计算模块,当该影像分别迭加于该至少三个实体物件上,记录该观赏者影像分别迭加于该三个实体物件上时,对应在该影像产生装置上的三个虚拟空间座标。其中,该计算模块根据该三个实体空间座标以及该三个虚拟空间座标,将该第一虚拟影像的虚拟空间座标转换成一实体空间座标,并将该第一虚拟影像的实体空间座标与该第一实体物件的实体空间座标进行比较以得到一调整值,以及根据该调整值调整该第一虚拟影像的虚拟空间座标。
综上所述,本发明藉由三个实体物件定位点,将观赏者的虚拟影像分别迭合于此三个实体物件定位点上后,根据此三个实体物件定位点的实体座标和虚拟影像的虚拟位置座标,仅需利用内插法即可进行虚拟座标和实体座标的转换,不虚繁琐的数学转换,因此在处理上相当方便。
附图说明
图1为依照本发明一较佳实施例一虚像反射进入使用者视线的概略图。
图2绘示依照本发明一较佳实施例用以进行虚拟影像与实体物件定位的定位装置概略图。
图3绘示依照本发明一较佳实施例进行虚拟影像与实体物件定位的流程图。
其中,附图标记:
100定位装置
101影像撷取模块
102影像产生模块
103虚拟影像成像平台
104、105和106实体物件
107观赏者
108手势影像
109反射模块
110计算模块
111标号
301-307步骤
具体实施方式
以下为本发明较佳具体实施例以附图加以详细说明,下列的说明及附图使用相同的参考数字以表示相同或类似元件,并且在重复描述相同或类似元件时则予省略。
图1依照本发明一较佳实施例一虚像反射进入使用者视线的概略图。图2绘示依照本发明一较佳实施例用以进行虚拟影像与实体物件定位的定位装置概略图。请同时参阅图1与图2。定位装置100包括:一影像撷取模块101、一影像产生模块102、一虚拟影像成像平台103、一反射模块109、一计算模块110以及至少三个用于定位的实体物件104、105和106。三个实体物件104、105和106设置于成像平台103之上。影像撷取模块101用以撷取实体影像,在本实施例中,是用以撷取一观赏者107的一手势影像108。值得注意的是,所撷取的影像不以手势影像为限,使用者身上任何部位皆可作为撷取的对象。影像产生模块102耦接影像撷取模块101,用以显示影像撷取模块101所撷取的手势影像108。而反射模块109,例如为一分光镜。值得注意的是,反射模块不以分光镜为限,任何光学反射成虚像装置皆可作为反射模块。当影像撷取模块101在撷取观赏者107的手势影像108后,影像产生模块102显示此手势影像108,并将其投射在反射模块109上,其上显示的手势影像108即会反射进入观赏者107的视线。计算模块110耦接影像产生模块102用以记录手势影像108显示在影像产生模块102上的虚拟位置座标。由于反射模块109为一分光镜,其既能反射光也能让光穿透,因此若将一实体物件设置在两分光镜中,例如图中标号111的位置上,而手势影像108的焦点又定位于实体物件位置上时,此时透过观赏者107的视线,手势影像108即可迭加在实体物件上,而产生立体的视觉效果。换言之,要达到上述的效果,必须将手势影像108显示于影像产生模块102上的虚拟座标,和实体物件在实体空间的座标进行定位,始能在观赏者107的视线上形成迭加效果,而不会有虚拟影像与实体物件分离的情况。
定位装置100的三个实体物件104、105和106可用以决定出一平面位置,让虚拟资讯的成像可以此平面位置为成像基准点,而不会有形成的虚拟影像埋入于成像平台103的情况。值得注意的是,藉由修正内差数学座标,此三个实体物件亦可设置在一曲面上。在一实施例中,此三个实体物件104、105和106分别设置在此成像平台103不同位置上,分别代表实体空间中三个位置的实体座标。而影像撷取模块101用以撷取一实体影像,在本实施例中,是用以撷取观赏者107的手势影像108,不以此为限。影像产生模块102耦接影像撷取模块101,用以显示影像撷取模块101所撷取的手势影像108,并投射于该反射模块109上,如图1所示,透过反射模块让显示于其上的手势影像108反射进入观赏者107的视线。
在本实施例中,为将虚拟影像定位在实体物件上,需将虚拟影像显示于影像产生模块102上的虚拟座标转换成实体空间上的座标,使得虚拟影像和该实体物件均使用相同的实体空间座标,据此座标在实体空间上对虚拟影像进行定位,并据以调整影像产生模块102中虚拟影像的虚拟座标以改变其显示位置,使得再次投射于反射模块109上的虚拟影像迭加于实体物件上。依此,观赏者107可移动其手部,调整手势影像108在反射模块109上的位置,以让手势影像108分别迭加于至少三个实体物件104、105和106上。此时手势影像108显示在影像产生模块102的三个虚拟位置座标分别对应于此三个实体物件104、105和106在实体空间中的三个实体座标,并由耦接影像产生模块102的计算模块110记录此三个虚拟位置座标和对应的三个实体座标。当有另一虚拟影像欲迭加到一设置在此虚拟影像成像平台103上的实体物件时,计算模块110根据此三个虚拟位置座标和对应的三个实体座标,利用内插法将该虚拟影像显示在影像产生模块102上的虚拟座标转换成一实体空间中的实体座标。根据该实体物件的位置调整该虚拟影像的实体座标,并对应调整虚拟影像在影像产生模块102中虚拟座标以改变其显示位置,使得再次投射于反射模块109上的虚拟影像可确实迭合在此实体物件上。在一实施例中,计算模块110为一电脑装置。
图3绘示依照本发明一较佳实施例进行虚拟影像与实体物件定位的流程图。请同时参阅图1到图3。首先于步骤301,于一平面上设置至少三个实体物件,其中该三个实体物件分别具有一个实体空间座标。在一实施例中,在一成像平台103的平面的不同位置上分别设置三个实体物件104、105和106,此三个实体物件104、105和106分别代表实体空间中三个位置的实体座标。该三个实体物件104、105和106设置在该平面上。
接着于步骤302,撷取一观赏者影像,并于一影像产生模块上显示该观赏者影像。在一实施例中,由影像撷取模块101用以撷取观赏者107影像,例如,撷取观赏者107的手势影像108,不以此为限。而所撷取的观赏者107影像,会被传送至影像产生模块102进行显示。
接着于步骤303,移动该观赏者影像,使影像产生模块上显示的观赏者影像,透过一反射模块,可分别迭加于此三个实体物件上。在一实施例中,观赏者107可移动其手部,调整手势影像108在反射模块109上的位置,以让手势影像108分别迭加于至少三个实体物件104、105和106上。藉此,可获得虚拟影像迭合于实体物件上时的虚拟座标和其对应的实体空间座标,并于步骤304加以记录。
于步骤304,记录观赏者影像分别迭加于该三个实体物件上时,对应在该影像产生模块上的三个虚拟空间座标。在一实施例中,由耦接影像产生模块102的计算模块110记录此三个虚拟位置座标和对应的三个实体座标。值得注意的是,由于观赏者107的眼睛高度亦会影响观赏者107观赏虚拟影像时,所感觉的虚拟影像位置,因此在另一实施例中,本发明于步骤304,除了记录此三个手势影像的虚拟座标以及对应三实体物件的实体座标外,更记录观赏者107的眼睛高度。若两观赏者的眼睛高度差异过大,后一观赏者所观看到的虚拟影像会和前一观赏者所关看到的虚拟影像位置不同,因此会要求重新进行定位流程。
依此,当有一第一虚拟影像欲迭加到一设置在此虚拟影像成像平台103上的一第一实体物件时,可如步骤305,根据该三个实体空间座标以及该三个虚拟空间座标,将该第一虚拟影像的虚拟空间座标转换成一实体空间座标。在一实施例中,由计算模块110根据所记录的三个虚拟位置座标和所对应的三个实体座标,利用内插法将该第一虚拟影像显示在影像产生模块102上的虚拟座标转换成一实体空间中的实体座标。
并于步骤306,将第一虚拟影像的实体空间座标与该第一实体物件的实体空间座标进行比较以得到一调整值。在一实施例中,为将虚拟影像迭合在实体物件上,需将虚拟影像的虚拟座标转换出的实体空间座标和实体物件的实体空间座标进行比较以得到一调整值。并于步骤307,据此调整该第一虚拟影像的虚拟空间座标。亦即根据此调整值调整影像产生模块102中虚拟影像的显示位置,使得再次投射于反射模块109上的虚拟影像迭加于实体物件上。
由上述本发明较佳实施例可知,本发明藉由用三个实体物件定位点,将观赏者的虚拟影像分别迭合于此三个实体物件定位点上后,根据此三个实体物件定位点的实体座标和虚拟影像的虚拟位置座标,仅需利用内插法即可进行虚拟座标和实体座标的转换,定位虚拟影像在实体空间的位置,不虚繁琐的数学转换,因此在处理上相当方便。
虽然本发明已以实施方式公开如上,但其并非用以限定本发明,任何本领域的技术人员,在不脱离本发明的精神和范围内,当可作各种的更动与修改,因此本发明的保护范围当视后附的权利要求保护范围所界定者为准。

Claims (10)

1.一种虚拟影像定位方法,用以将一第一虚拟影像与一第一实体物件进行定位,其特征在于,至少包含:
于一平面上设置至少三个实体物件,其中该三个实体物件分别具有一个实体空间座标;
撷取一观赏者影像,并于一影像产生模块上显示该观赏者影像;
移动该观赏者影像,使该影像产生模块上显示的该观赏者影像,透过一反射模块,分别迭加于该至少三个实体物件上;
记录该观赏者影像分别迭加于该三个实体物件上时,对应在该影像产生模块上的三个虚拟空间座标;
根据该三个实体空间座标以及该三个虚拟空间座标,将该第一虚拟影像的虚拟空间座标转换成一实体空间座标;
将该第一虚拟影像的实体空间座标与该第一实体物件的实体空间座标进行比较以得到一调整值;以及
根据该调整值调整该第一虚拟影像的虚拟空间座标。
2.如权利要求1所述的虚拟影像定位方法,其特征在于,是利用一内插法,以根据该三个实体空间座标以及该三个虚拟空间座标,将该第一虚拟影像的一虚拟座标转换成一实体空间座标。
3.如权利要求1所述的虚拟影像定位方法,其特征在于,还包括根据该调整后的该第一虚拟影像的虚拟空间座标于该影像产生装置上显示该第一虚拟影像;以及透过该反射模块,反射该第一虚拟影像给该观赏者。
4.如权利要求1所述的虚拟影像定位方法,其特征在于,该观赏者影像为该观赏者的一手部影像。
5.如权利要求1所述的虚拟影像定位方法,其特征在于,还包括记录该观赏者的眼睛高度,以及根据该三个实体空间座标、该三个虚拟空间座标以及该眼睛高度,将该第一虚拟影像的虚拟空间座标转换成一实体空间座标。
6.一种虚拟影像定位装置,用以将一第一虚拟影像与一第一实体物件进行定位,其特征在于,至少包含:
至少三个实体物件设置于一平面上,其中该三个实体物件分别具有一个实体空间座标;
一影像撷取模块,用以撷取一观赏者的一影像;
一影像产生模块耦接该影像撷取模块,用以显示该影像;
一反射模块,用以将该影像产生模块上显示的该影像反射入该观赏者眼睛;以及
一计算模块,当该影像分别迭加于该至少三个实体物件上,记录该观赏者影像分别迭加于该三个实体物件上时,对应在该影像产生模块上的三个虚拟空间座标;
其中,该计算模块根据该三个实体空间座标以及该三个虚拟空间座标,将该第一虚拟影像的虚拟空间座标转换成一实体空间座标,并将该第一虚拟影像的实体空间座标与该第一实体物件的实体空间座标进行比较以得到一调整值,以及根据该调整值调整该第一虚拟影像的虚拟空间座标。
7.如权利要求6所述的虚拟影像定位装置,其特征在于,该计算模块是利用一内插法,以根据该三个实体空间座标以及该三个虚拟空间座标,将该第一虚拟影像的一虚拟座标转换成一实体空间座标。
8.如权利要求6所述的虚拟影像定位装置,其特征在于,该影像产生模块更根据该调整后的该第一虚拟影像的虚拟空间座标于显示该第一虚拟影像;以及该反射模块反射该调整后的第一虚拟影像给该观赏者。
9.如权利要求6所述的虚拟影像定位装置,其特征在于,该反射模块为一分光镜。
10.如权利要求6所述的虚拟影像定位装置,其特征在于,该三个实体物件设置在该平面上。
CN201410529492.3A 2013-12-10 2014-10-09 虚拟影像定位方法及其装置 Active CN104700392B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW102145377A TWI529663B (zh) 2013-12-10 2013-12-10 虛擬影像定位方法及其裝置
TW102145377 2013-12-10

Publications (2)

Publication Number Publication Date
CN104700392A CN104700392A (zh) 2015-06-10
CN104700392B true CN104700392B (zh) 2017-10-24

Family

ID=53347477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410529492.3A Active CN104700392B (zh) 2013-12-10 2014-10-09 虚拟影像定位方法及其装置

Country Status (2)

Country Link
CN (1) CN104700392B (zh)
TW (1) TWI529663B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI586936B (zh) * 2016-05-20 2017-06-11 國立交通大學 實體影像與虛擬影像之間轉換的方法及其系統
CN107896324A (zh) * 2017-11-02 2018-04-10 天衍互动(厦门)科技有限公司 一种虚实混合投影装置及其方法
TWI757941B (zh) * 2020-10-30 2022-03-11 幻景啟動股份有限公司 影像處理系統以及影像處理裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1957374A (zh) * 2005-03-02 2007-05-02 库卡罗伯特有限公司 确定与ar-物体光学重叠的方法和装置
TW201243767A (en) * 2011-04-08 2012-11-01 Sony Corp Image processing apparatus, display control method and program
CN102788577A (zh) * 2011-05-17 2012-11-21 财团法人工业技术研究院 使用扩增实境技术的定位装置及定位方法
CN103139463A (zh) * 2011-11-29 2013-06-05 财团法人资讯工业策进会 扩增实境的方法、系统及移动装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1957374A (zh) * 2005-03-02 2007-05-02 库卡罗伯特有限公司 确定与ar-物体光学重叠的方法和装置
TW201243767A (en) * 2011-04-08 2012-11-01 Sony Corp Image processing apparatus, display control method and program
CN102788577A (zh) * 2011-05-17 2012-11-21 财团法人工业技术研究院 使用扩增实境技术的定位装置及定位方法
CN103139463A (zh) * 2011-11-29 2013-06-05 财团法人资讯工业策进会 扩增实境的方法、系统及移动装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
增强现实系统中虚拟与现实信息空间视觉匹配的算法研究;刘秀坤 等;《测绘科学》;20070920;第32卷(第5期);27-29 *

Also Published As

Publication number Publication date
CN104700392A (zh) 2015-06-10
TW201523513A (zh) 2015-06-16
TWI529663B (zh) 2016-04-11

Similar Documents

Publication Publication Date Title
CN111060023B (zh) 一种高精度3d信息采集的设备及方法
CN102959616B (zh) 自然交互的交互真实性增强
EP3018903B1 (en) Method and system for projector calibration
US8970690B2 (en) Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US10699165B2 (en) System and method using augmented reality for efficient collection of training data for machine learning
KR20180101496A (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
US10275898B1 (en) Wedge-based light-field video capture
US20150369593A1 (en) Orthographic image capture system
US20130335535A1 (en) Digital 3d camera using periodic illumination
US9756277B2 (en) System for filming a video movie
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
WO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
TW201220817A (en) Camera system and image-shooting method with guide for taking stereo photo and method for automatically adjusting stereo photo
KR101961758B1 (ko) 3차원 컨텐츠 제공 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
CN113347373B (zh) 通过ar空间定位实时制作特效视频的图像处理方法
CN104700392B (zh) 虚拟影像定位方法及其装置
TW201225658A (en) Imaging device, image-processing device, image-processing method, and image-processing program
Kern et al. Projector-based augmented reality for quality inspection of scanned objects
Mori et al. An overview of augmented visualization: observing the real world as desired
JP5555046B2 (ja) 画像入力装置、画像入力方法及び画像入力プログラム
KR101125981B1 (ko) 증강현실을 이용한 전자기기 목업의 기능 시현 시스템 및 방법
US10013736B1 (en) Image perspective transformation system
JP2020187557A (ja) 温度画像表示装置、温度画像表示システムおよび温度画像表示プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant