CN103139463A - 扩增实境的方法、系统及移动装置 - Google Patents

扩增实境的方法、系统及移动装置 Download PDF

Info

Publication number
CN103139463A
CN103139463A CN2011104140290A CN201110414029A CN103139463A CN 103139463 A CN103139463 A CN 103139463A CN 2011104140290 A CN2011104140290 A CN 2011104140290A CN 201110414029 A CN201110414029 A CN 201110414029A CN 103139463 A CN103139463 A CN 103139463A
Authority
CN
China
Prior art keywords
image
augmented reality
environmental images
depth value
prospect object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104140290A
Other languages
English (en)
Other versions
CN103139463B (zh
Inventor
李克骏
吴业宽
邱建中
邱璟明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute for Information Industry
Original Assignee
Institute for Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute for Information Industry filed Critical Institute for Information Industry
Publication of CN103139463A publication Critical patent/CN103139463A/zh
Application granted granted Critical
Publication of CN103139463B publication Critical patent/CN103139463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种扩增实境的方法、系统及移动装置。该扩增实境的方法包括：分别对一目标及一环境撷取一3D目标影像及一3D环境影像，其中该3D目标影像及该3D环境影像为具有深度值的3D影像；撷取该3D目标影像中的一前景物件影像；依据该3D环境影像中一指定深度值，估算该前景物件影像于该3D环境影像中对应该指定深度值的一显示尺寸；以及依据该显示尺寸将该前景物件影像加入该3D环境影像并产生一扩增实境影像。

Description

扩增实境的方法、系统及移动装置
技术领域
本发明有关于一种扩增实境(augmented reality)的方法及系统，且特别是有关于一种可支援立体视觉(Stereo Vision)以进行扩增实境的方法、系统及移动装置。
背景技术
现有技术中经常使用一特定图腾，此种方式需事先建立对应此一图腾的平面/立体影像，并以该图腾作为一基准来估算和整合此平面/立体影像和环境影像之间的相对位置和尺寸。举例来说，图1是显示一扩增实境荧幕截图，在图中有一在网络摄像机前，手中持有一特定图腾100的使用者，其可在电脑荧幕中看见手上出现一3D虚拟的棒球运动员102，此是依该图腾的位置和对应此图腾所事先建立的立体影像及其尺寸，将对应图腾的立体影像和使用者本身所在的环境影像进行整合后显示，这种方法在使用上并不便利。
此外，现有技术中采用一对照物件来进行尺寸计算处理。例如在拍摄环境影像时同时拍摄一具有寸的物件(例如具有10cm×10cm×10cm的立体方块)，或是具有标准刻度的尺规，即可依据寸物件或是标准刻度尺规来估算环境影像的尺寸，再依据事先建立的立体影像的尺寸，就可进行适当的整合。然而此种方式的缺点是，使用者必须随身携带寸物件或标准刻度尺规，并且置于环境中一并拍摄，相当不便利。此外，寸物件或标准刻度尺规若欲便于携带则不宜过大，和环境尺寸差距大易产生高误差，若要将寸物件或标准刻度加大，更加不易随身携带，且占据环境影像甚大区域亦相当不美观。
因此，需要一种扩增实境的方法与系统，无需使用任何图腾及对照物件，即可估算出目标物件和环境影像之间的相对尺寸及位置，并完成扩增实境的效果。
发明内容
本发明提供一种扩增实境的方法、系统及移动装置。
本发明提出一种扩增实境的方法，包括：分别对一目标及一环境撷取一3D目标影像及一3D环境影像，其中该3D目标影像及该3D环境影像为具有深度值的3D影像；撷取该3D目标影像中的一前景物件影像；依据该3D环境影像中一指定深度值，估算该前景物件影像于该3D环境影像中对应该指定深度值的一显示尺寸；以及依据该显示尺寸将该前景物件影像加入该3D环境影像并产生一扩增实境影像。
本发明提出一种用于扩增实境的系统，包括：一影像撷取单元，用以分别对一目标及一环境，撷取一3D目标影像及一3D环境影像，其中该3D目标影像及该3D环境影像是具有深度值的3D影像；一储存单元，耦接于该影像撷取单元，用以储存该3D目标影像及该3D环境影像；以及一处理单元，耦接于该储存单元，包括：一前景撷取单元，用以撷取该3D目标影像中的一前景物件影像；一计算单元，用以依据该3D环境影像中一指定深度值，估算该前景物件影像于该3D环境影像中对应该指定深度值的一显示尺寸；以及一扩增实境单元，用以依据该显示尺寸，将该前景物件影像加入该3D环境影像并产生一扩增实境影像。
本发明又提出一种扩增实境的移动装置，包括：一影像撷取单元，用以分别对一目标及一环境撷取一3D目标影像及一3D环境影像，其中该3D目标影像及该3D环境影像为具有深度值的3D影像；一储存单元，耦接于该影像撷取单元，用以储存该3D目标影像及该3D环境影像；一处理单元，耦接于该储存单元，包括：一前景撷取单元，用以撷取该3D目标影像中的一前景物件影像；一计算单元，用以依据该3D环境影像中一指定深度值，估算该前景物件影像于该3D环境影像中对应该指定深度值的一显示尺寸；以及一扩增实境单元，用以依据该显示尺寸将该前景物件影像加入该3D环境影像并产生一扩增实境影像；以及一显示单元，耦接于该处理单元，用以显示该扩增实境影像。
利用扩增实境的方法、系统及移动装置，无需使用任何图腾及对照物件，即可估算出目标物件和环境影像之间的相对尺寸及位置，并完成扩增实境的效果。
附图说明
图1是显示一扩增实境荧幕截图。
图2A是显示根据本发明第一实施例扩增实境系统的示意图。
图2B是显示根据本发明第二实施例扩增实境系统的示意图。
图3A是显示根据本发明第一实施例用于扩增实境系统的扩增实境方法流程图。
图3B是显示根据本发明第二实施例用于扩增实境系统的扩增实境方法流程图。
图4A是显示影像撷取单元撷取一3D目标影像。
图4B是显示影像撷取单元撷取一3D环境影像。
图4C是显示前景撷取单元撷取一前景物件影像。
图4D是显示计算单元显示前景物件影像的实际尺寸数据。
图5A、图5B是显示根据本发明一实施例所述的操作接口示意图。
图6A、图6B是显示根据本发明一实施例所述的操作接口示意图。
图6C、图6D是显示根据本发明一实施例所述的操作接口深度值顺序示意图。
图7A、图7B是显示根据本发明一实施例所述的操作接口示意图。
图8A、图8B是显示根据本发明一实施例所述的操作接口示意图。
图9A、图9B是显示根据本发明一实施例所述的操作接口示意图。
附图标号：
100～特定图腾；
102～3D虚拟的棒球运动员；
200～扩增实境系统；
210～影像撷取单元；
220～储存单元；
230～处理单元；
231～深度值计算单元；
232～前景撷取单元；
233～计算单元；
234～扩增实境单元；
240～显示单元；
S301～S304步骤
S401～S406步骤
500～控制列；
501～前景物件影像；
502～深度值；
503～虚线区域；
504～深度值；
505～虚线区域；
601～指定区域；
602～虚线区域；
701～触控点的位置；
702～触控点的位置。
具体实施方式
为使本发明的上述和其他目的、特征和优点能更明显易懂，下文特举出较佳实施例，并配合所附附图，作详细说明如下。
图2A是显示根据本发明第一实施例所述的用于扩增实境系统200的示意图。扩增实境系统200主要包括影像撷取单元210、储存单元220和处理单元230。其中处理单元230更包括前景撷取单元232、计算单元233以及扩增实境单元234。
影像撷取单元210主要是用来分别对一目标及一环境来撷取一3D目标影像及一3D环境影像，其中该3D目标影像及该3D环境影像是具有深度值的3D影像。影像撷取单元210可以是任何市售的可撷取3D影像的装置或设备，例如具二个镜头的双眼摄像机/照相机、单一镜头可连续拍摄二张照片的摄像机/照相机、激光立体摄像机/照相机(具有激光量测深度值的摄像装置)、红外线立体摄像机/照相机(具有红外线量测深度值的摄像装置)等。
储存单元220耦接于影像撷取单元210，储存所撷取的3D目标影像及3D环境影像。储存单元220可以是任何市售的用于储存信息的装置或产品，例如硬盘、各式存储器、CD、DVD等。
处理单元230耦接于储存单元220，其可包括前景撷取单元232、计算单元233和扩增实境单元234。前景撷取单元232可撷取3D目标影像中的一前景物件影像，例如利用影像分群技术将3D目标影像分成多个物件群组，经由一操作接口显示3D目标影像并提供给使用者，从多个物件群组中选择一物件群组作为前景物件影像，或是分析3D目标影像，依据深度值和影像分群技术，将3D目标影像分成多个物件群组，然后将深度值较低(也就是距离影像撷取单元210较近)的物件群组取出作为前景物件影像。其中，影像分群技术可以采用一般现有技术，例如K平均演算法(K-means)、模糊分类演算法(Fuzzy C-means)、阶层式分群法(Hierarchical clustering)、混和高斯模型(Mixture of Gaussians)或其他技术，在此不再详述。计算单元233依据3D环境影像中一指定深度值，估算前景物件影像于3D环境影像中对应指定深度值的一显示尺寸。指定深度值可以经由多种方式来指定，详细技术说明如后。扩增实境单元234则依据所估算出来的显示尺寸，将前景物件影像加入3D环境影像，然后产生扩增实境影像。
更进一步时，扩增实境单元234更包括一操作接口，用于3D环境影像中来指定前述的指定深度值。此操作接口可以和前面的用以选择物件的操作接口整合成同一个，也可以是分别独立的不同操作接口。
在第一实施例中，影像撷取单元210、储存单元220和处理单元230可以同时设置在一电子装置中(例如电脑、笔记本电脑、平板电脑、移动电话等)，也可分别设置在不同的电子装置再经由通讯网络、串列方式(如RS232)或是总线等进行耦接。
图2B是显示根据本发明第二实施例所述的用于扩增实境系统200的示意图。扩增实境系统200包括影像撷取单元210、储存单元220、处理单元230及显示单元240。其中处理单元230更包括深度值计算单元231、前景撷取单元232、计算单元233以及扩增实境单元234。和第一实施例中相同名称的元件，其功能亦如前所述，在此不再赘述。图2B和图2A的主要差异在于处理单元230更包括有深度值计算单元231及显示单元240。在第二实施例中，影像撷取单元210是采用双眼摄像机，可对目标拍摄并分别产生对应的左影像和右影像，也可对环境拍摄并分别产生对应的左影像和右影像。目标的左影像和右影像以及环境的左影像和右影像，也都可以储存在储存单元220中，且该处理单元230的深度值计算单元231对目标的左影像及右影像计算，以产生该3D目标影像的深度值，并对环境的左影像及右影像计算，以产生该3D环境影像的深度值。双眼摄像机的3D成像技术亦属于现有技术，在此不再赘述。显示单元240耦接于处理单元230，用以显示扩增实境影像，其可为一般市售可得的显示器，例如CRT荧幕、液晶荧幕、触控荧幕、等离子荧幕、LED荧幕等。
图3A是显示根据本发明第一实施例所述的用于扩增实境系统的扩增实境方法流程图，并配合参考图2A。首先，在步骤S301中，影像撷取单元210分别对一目标及一环境撷取一3D目标影像及一3D环境影像，其中3D目标影像及3D环境影像为具有深度值的3D影像。在步骤S302中，前景撷取单元232撷取3D目标影像中的前景物件影像。在步骤S303中，计算单元233产生3D环境影像中一指定深度值，并估算前景物件影像于3D环境影像中对应指定深度值的一显示尺寸。在步骤S304中，扩增实境单元234依据显示尺寸将前景物件影像加入3D环境影像并产生一扩增实境影像。技术细节如前所述，不再赘述。
图3B是显示根据本发明第二实施例的扩增实境方法流程图，并配合参考图2B。在步骤S401中，影像撷取单元210分别对一目标及一环境，撷取一3D目标影像及一3D环境影像。在步骤S402中，影像撷取单元210撷取影像后，将3D目标影像及3D环境影像储存至储存单元220中。值得注意的是，在此实施例中，影像撷取单元所撷取的已是3D影像，即不需深度值计算单元231计算影像深度值。在另一实施例中，影像撷取单元210若为双眼摄像机所拍摄出一物件的左影像及右影像，深度值计算单元231则会通过此物件的左右影像计算其多个物件影像深度值。在步骤S403中，前景撷取单元232通过多个目标影像深度值撷取3D目标影像中的前景物件影像。在步骤S404中，计算单元233产生3D环境影像中一指定深度值，并估算前景物件影像于该3D环境影像中对应指定深度值的一显示尺寸。在步骤S405中，扩增实境单元234依据该显示尺寸将前景物件影像加入3D环境影像并产生一扩增实境影像。最后，在步骤S406中，显示单元240显示此扩增实境影像。
在第三实施例中，扩增实境系统200可应用于一支援立体视觉(Stereo Vision)的移动装置中，使用者可直接使用移动装置来拍摄目标影像和环境影像，然后将目标影像扩增于到环境影像中。其架构大致如图2A，移动装置包括影像撷取单元210、储存单元220、处理单元230及显示单元240。其中处理单元230更包括前景撷取单元232、计算单元233和扩增实境单元234。在另一实施例中，移动装置更可包含有一通讯单元以和远端的扩增实境服务系统(图中未显示)连线，计算单元233则是设置在扩增实境服务系统中。在另一实施例中，移动装置更可包含一感测器(图中未显示)。
在此实施例中，移动装置采用一双眼摄像机，可为使用双眼镜头模拟人眼视觉的相机，其可对一目标或一环境撷取一3D目标影像及3D环境影像，如图4A及图4B所示。图4A是显示影像撷取单元撷取一3D目标影像，图4B是显示影像撷取单元撷取一3D环境影像。其中，该3D目标影像为具有深度值的3D目标影像，且该3D环境影像为具有深度值的的3D环境影像。影像撷取单元210将所撷取的3D影像存入储存单元220中。
在另一实施例中，若影像撷取单元210为一双眼摄像机，即撷取一物件的左影像及右影像，再将所撷取的左、右影像存入储存单元220中。深度值计算单元23 1利用相异点分析(Dissmilarity Analysis)与立体视觉分析(Stereo Vision Analysis)分别计算此物件的左、右影像的其多个物件影像深度值。深度值计算单元23 1可以设置在移动装装置的处理单元中，也可以设置在远端的扩增实境服务系统中，移动装置经由通讯连接将所拍摄到的物件的左、右影像传送到远端的扩增实境服务系统计算物件影像深度值，再街接收计算所得的物件影像深度值，以产生3D影像并存入储存单元220中。
在第三实施例中，前景撷取单元232依据3D目标影像中的深度值进行前景背景分割，如图4C所示。图4C是显示前景撷取单元撷取一前景物件影像，F区域为深度值最浅的前景物件，B区域为深度值较深的背景环境。计算单元233产生该3D环境影像中的一指定深度值，并估算该前景物件影像于各种深度值的一显示尺寸。
本发明各实施例中的计算单元233，更进一步时可提供一参考尺规以供估算前景物件的显示尺寸，此参考尺规是以计算单元233从影像撷取单元其所撷取的影像(3D目标影像及3D环境影像)计算而得的对照表，使多个深度值可对照得到所对应的实际尺寸及其显示尺寸。而参考尺规是依据该前景物件影像于3D目标影像中的深度值、显示尺寸及参考尺规，计算前景物件影像的实际尺寸，再依据该前景物件影像的实际尺寸、参考尺规及指定深度值，估算前景物件的显示尺寸。更进一步地，计算单元233还可于影像中显示物件的真实尺寸数据，图4D是显示计算单元233显示前景物件影像的实际尺寸数据，如图4D所示，实线标示前景物件影像的物件高度为34.5公分(cm)，虚线标示前景物件影像的物件宽度为55公分(cm)。
本发明各实施例中的扩增实境单元234，更可包括一操作接口，用以于3D环境影像中指定该指定深度值。其中该操作接口更包括用以选取前景物件影像，并将前景物件影像置放于3D环境影像中的指定深度值以完成扩增实境影像。
操作接口可分为几种不同类型，下方将提出不同实施例以说明不同的操作接口。
图5A、图5B是显示根据本发明一实施例所述的操作接口示意图。如图5A、图5B所示，使用者通过一控制列(control bar)500以选取该3D环境影像的一深度值作为指定深度值。在图5A、图5B中，使用者可通过控制列500选取不同的深度值，而前景物件影像会自动缩放为在该深度值的正确尺寸，并即时于显示荧幕上显示出符合该深度值的区域，例如，在图5A中，使用者选取控制列500中一深度值502，于荧幕中即显示符合该深度值502的虚线区域503。在图5B中，使用者选取控制列500中另一深度值504，于荧幕中即显示符合该深度值504的虚线区域505。最后，再由使用者移动前景物件影像至欲摆放的深度值上。
图6A、图6B是显示根据本发明一实施例所述的操作接口的示意图。如图6A所示取该前景物件影像后，在该3D环境影像多个区域中选取一区域作为指定区域，  3D环境影像分为多个区域，使用者于选取一欲摆放前景物件影像的指定区域601，即在显示荧幕上显示与指定区域601相同深度值的区域(虚线区域602)。在图6B中，前景物件影像会自动缩放为在该深度值的正确尺寸，再由使用者移动前景物件影像至指定区域601中的一位置。图6C、图6D是显示根据本发明一实施例所述的操作接口的深度值顺序示意图。如图6C、图6D所示，3D环境影像中多个区域具有顺序，图中深度值顺序由深至浅，可分为七个区域(数字1～7)。而扩增实境系统200可通过感测器侦测使用者所输入的一感测信号，当接收到感测信号时，操作接口依照该顺序，从该3D环境影像多个区域中选取该指定区域。
图7A、图7B是显示根据本发明一实施例所述的操作接口示意图。该3D环境影像包含多个环境物件，使用者选取该前景物件影像后，拖曳该前景物件影像至该3D环境影像中多个环境物件中一环境物件的一位置。如图7A、图7B所示，依据使用者触控点的位置701或702比对前景物件影像于该位置的正确尺寸，即时显示前景物件影像所欲摆放位置相同深度值的区域，并自动缩放前景物件影像的尺寸大小。
图8A、图8B是显示根据本发明一实施例所述的操作接口示意图。该操作接口为一3D操作接口，如图8A、图8B所示，使用者可通过3D操作接口来变更3D目标影像和3D环境影像的显示，然后经由一感触装置或一操纵装置供选取该指定深度值。在一实施例中，感触装置可为判断使用者触控的力道大小、碰触时间长短等方法，改变3D目标影像和3D环境影像的立体显示变化。在另一实施例中，操纵装置为外接摇杆等装置。
图9A、图9B是显示根据本发明一实施例所述的操作接口示意图。如图9A、图9B所示，使用者可使用按键、虚拟键盘、拖曳、感应器(例如，陀螺仪)或立体操纵装置等方式来操控前景物件的旋转角度。
因此，通过本发明的扩增实境的方法与系统，无需任何图腾及对应的尺规，即可估算出影像的实际尺寸并即时于显示荧幕上显示以完成扩增实境的效果。
扩增实境的方法可经由扩增实境的系统及移动装置来进行实作，扩增实境的系统及移动装置中各单元可应用具特定逻辑电路的独特硬件装置或具特定功能的设备来实作，如将计算机程序和处理器或芯片整合成独特硬件。更进一步者，扩增实境的方法亦可经由一般用途处理器/计算机/服务器与其它硬件来进行实作，使一般用途处理器/计算机/服务器读取储存计算机程序的记录媒体后执行扩增实境的方法。当计算机程序被一般用途处理器/计算机/服务器载入且执行时，此一般用途处理器/计算机/服务器成为用以参与本发明系统及移动装置的单元，类似于应用具特定逻辑电路的独特硬件装置，以执行本发明方法的操作步骤。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何本领域的技术人员，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围当以权利要求所界定范围为准。

Claims (20)

1.一种扩增实境的方法，其特征在于，所述扩增实境的方法包括：
分别对一目标及一环境撷取一3D目标影像及一3D环境影像，其中所述3D目标影像及所述3D环境影像为具有深度值的3D影像；
撷取所述3D目标影像中的一前景物件影像；
依据所述3D环境影像中一指定深度值，估算所述前景物件影像于所述3D环境影像中对应所述指定深度值的一显示尺寸；以及
依据所述显示尺寸将所述前景物件影像加入所述3D环境影像并产生一扩增实境影像。
2.如权利要求1所述的扩增实境的方法，其特征在于，估算所述前景物件影像于所述3D环境影像中对应所述指定深度值的所述显示尺寸的步骤，是提供一参考尺规以供估算所述前景物件的所述显示尺寸，所述参考尺规为撷取所述3D目标影像及所述3D环境影像的一影像撷取单元其所撷取的影像中，多个深度值所分别对应的实际尺寸及其显示尺寸。
3.如权利要求2所述的扩增实境的方法，其特征在于，依据所述参考尺规以供估算所述前景物件的所述显示尺寸，是依据所述前景物件影像于所述3D目标影像中的深度值、显示尺寸及所述参考尺规，计算所述前景物件影像的实际尺寸，再依据所述前景物件影像的实际尺寸、所述参考尺规以及所述指定深度值，估算所述前景物件的所述显示尺寸。
4.如权利要求1所述的扩增实境的方法，其特征在于，所述方法更包括提供一操作接口，以于所述3D环境影像中指定所述指定深度值。
5.如权利要求4所述的扩增实境的方法，其特征在于，所述操作接口更包括用以从所述3D目标影像中撷取所述前景物件影像，并将所述前景物件影像置放于所述3D环境影像中所述指定深度值。
6.如权利要求4所述的扩增实境的方法，其特征在于，所述操作接口为一控制列以于所述3D环境影像指定所述指定深度值。
7.如权利要求4所述的扩增实境的方法，其特征在于，所述3D环境影像分为多个区域，而所述操作接口更包括用以选取所述前景物件影像，且在所述3D环境影像多个区域中选取一指定区域，以将所述前景物件影像置入至所述指定区域中一位置。
8.如权利要求7所述的扩增实境的方法，其特征在于，所述3D环境影像包含多个环境物件，而所述操作接口更包括用以选取所述前景物件影像，且拖曳所述前景物件影像至所述3D环境影像中多个环境物件中一环境物件的一位置。
9.如权利要求1所述的扩增实境的方法，其特征在于，所述3D环境影像分为多个区域且具有一顺序，所述方法更包括经由一感测器侦测一感测信号，当接收到所述感测信号时，依所述顺序从所述3D环境影像多个区域中选取一指定区域，以将所述前景物件影像置入至所述指定区域中一位置。
10.一种用于扩增实境的系统，其特征在于，所述用于扩增实境的系统包括：
一影像撷取单元，用以分别对一目标及一环境撷取一3D目标影像及一3D环境影像，其中所述3D目标影像及所述3D环境影像是具有深度值的3D影像；
一储存单元，耦接于所述影像撷取单元，用以储存所述3D目标影像及所述3D环境影像；以及
一处理单元，耦接于所述储存单元，包括：
一前景撷取单元，用以撷取所述3D目标影像中的一前景物件影像；
一计算单元，用以依据所述3D环境影像中一指定深度值，估算所述前景物件影像于所述3D环境影像中对应所述指定深度值的一显示尺寸；以及
一扩增实境单元，用以依据所述显示尺寸将所述前景物件影像加入所述3D环境影像并产生一扩增实境影像。
11.如权利要求10所述的扩增实境的系统，其特征在于，所述计算单元更提供一参考尺规以供估算所述前景物件的所述显示尺寸，所述参考尺规为所述影像撷取单元所撷取的影像中，多个深度值所分别对应的实际尺寸及其显示尺寸。
12.如权利要求11所述的扩增实境的系统，其特征在于，依据所述参考尺规以供估算所述前景物件的所述显示尺寸，是依据所述前景物件影像于所述3D目标影像中的深度值、显示尺寸及所述参考尺规，计算所述前景物件影像的实际尺寸，再依据所述前景物件影像的实际尺寸、所述参考尺规以及所述指定深度值，估算所述前景物件的所述显示尺寸。
13.如权利要求10所述的扩增实境的系统，其特征在于，所述扩增实境单元更包括一操作接口，用以于所述3D环境影像中指定所述指定深度值。
14.如权利要求13所述的扩增实境的系统，其特征在于，所述操作接口更包括用以从所述3D目标影像中撷取所述前景物件影像，并将所述前景物件影像置放于所述3D环境影像中所述指定深度值。
15.如权利要求13所述的扩增实境的系统，其特征在于，所述操作接口为一控制列以于选取所述3D环境影像指定所述指定深度值。
16.如权利要求13所述的扩增实境的系统，其特征在于，所述3D环境影像分为多个区域，而所述操作接口是于选取所述前景物件影像后，在所述3D环境影像多个区域中选取一指定区域，以将所述前景物件影像移动至所述指定区域中一位置。
17.如权利要求13所述的扩增实境的系统，其特征在于，所述3D环境影像包含多个环境物件，而所述操作接口更包括用以选取所述前景物件影像，且拖曳所述前景物件影像至所述3D环境影像中多个环境物件中一环境物件的一位置。
18.如权利要求10所述的扩增实境的系统，其特征在于，所述影像撷取单元为双眼摄像机，以对所述目标拍摄分别产生对应所述目标的一左影像和一右影像，以及对所述环境拍摄分别产生对应所述环境的一左影像和一右影像，且所述处理单元更包括：
一深度值计算单元，用以对所述目标的左影像及右影像计算以产生所述3D目标影像的深度值，以及对所述环境的左影像及右影像计算以产生所述3D环境影像的深度值。
19.一种扩增实境的移动装置，其特征在于，所述扩增实境的移动装置包括：
一影像撷取单元，用以分别对一目标及一环境撷取一3D目标影像及一3D环境影像，其中所述3D目标影像及所述3D环境影像为具有深度值的3D影像；
一储存单元，耦接于所述影像撷取单元，用以储存所述3D目标影像及所述3D环境影像；
一处理单元，耦接于所述储存单元，包括：
一前景撷取单元，用以撷取所述3D目标影像中的一前景物件影像；
一计算单元，用以依据所述3D环境影像中一指定深度值，估算所述前景物件影像于所述3D环境影像中对应所述指定深度值的一显示尺寸；以及
一扩增实境单元，用以依据所述显示尺寸将所述前景物件影像加入所述3D环境影像并产生一扩增实境影像；以及
一显示单元，耦接于所述处理单元，用以显示所述扩增实境影像。
20.如权利要求19所述的扩增实境的移动装置，其特征在于，所述3D环境影像分为多个区域且具有一顺序，且所述移动装置更包括：
一感测器，耦接于所述处理单元，用以侦测一感测信号传送到所述处理单元；
其中，当所述处理单元接收到所述感测信号时，所述操作接口依所述顺序从所述3D环境影像多个区域中选取一指定区域，以将所述前景物件影像置入至所述指定区域中一位置。
CN201110414029.0A 2011-11-29 2011-12-13 扩增实境的方法、系统及移动装置 Active CN103139463B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW100143659A TWI544447B (zh) 2011-11-29 2011-11-29 擴增實境的方法及系統
TW100143659 2011-11-29

Publications (2)

Publication Number Publication Date
CN103139463A true CN103139463A (zh) 2013-06-05
CN103139463B CN103139463B (zh) 2016-04-13

Family

ID=48466418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110414029.0A Active CN103139463B (zh) 2011-11-29 2011-12-13 扩增实境的方法、系统及移动装置

Country Status (3)

Country Link
US (1) US20130135295A1 (zh)
CN (1) CN103139463B (zh)
TW (1) TWI544447B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103809741A (zh) * 2012-11-13 2014-05-21 财团法人资讯工业策进会 决定3d物件影像在3d环境影像中深度的电子装置及其方法
CN104700392A (zh) * 2013-12-10 2015-06-10 财团法人金属工业研究发展中心 虚拟影像定位方法及其装置
CN106384365A (zh) * 2016-11-22 2017-02-08 塔普翊海（上海）智能科技有限公司 一种包含深度信息获取的扩增实境系统及其方法
CN106484086A (zh) * 2015-09-01 2017-03-08 北京三星通信技术研究有限公司 用于辅助拍摄的方法及其拍摄设备
CN107341827A (zh) * 2017-07-27 2017-11-10 腾讯科技（深圳）有限公司 一种视频处理方法、装置和存储介质
CN107978019A (zh) * 2016-10-21 2018-05-01 财团法人资讯工业策进会 扩增实境系统与方法
US10165199B2 (en) 2015-09-01 2018-12-25 Samsung Electronics Co., Ltd. Image capturing apparatus for photographing object according to 3D virtual object

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201216210D0 (en) 2012-09-12 2012-10-24 Appeartome Ltd Augmented reality apparatus and method
US20140115484A1 (en) * 2012-10-19 2014-04-24 Electronics And Telecommunications Research Institute Apparatus and method for providing n-screen service using depth-based visual object groupings
EP2908919A1 (en) 2012-10-22 2015-08-26 Longsand Limited Collaborative augmented reality
US9286727B2 (en) * 2013-03-25 2016-03-15 Qualcomm Incorporated System and method for presenting true product dimensions within an augmented real-world setting
KR20150004989A (ko) * 2013-07-03 2015-01-14 한국전자통신연구원 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법
JP6332281B2 (ja) * 2013-12-17 2018-05-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
GB201404990D0 (en) 2014-03-20 2014-05-07 Appeartome Ltd Augmented reality apparatus and method
GB201410285D0 (en) 2014-06-10 2014-07-23 Appeartome Ltd Augmented reality apparatus and method
US9955162B2 (en) 2015-03-31 2018-04-24 Lenovo (Singapore) Pte. Ltd. Photo cluster detection and compression
US10339382B2 (en) * 2015-05-31 2019-07-02 Fieldbit Ltd. Feedback based remote maintenance operations
EP3115969B1 (en) * 2015-07-09 2021-01-06 Nokia Technologies Oy Mediated reality
US10620778B2 (en) 2015-08-31 2020-04-14 Rockwell Automation Technologies, Inc. Augmentable and spatially manipulable 3D modeling
US10134137B2 (en) * 2016-10-27 2018-11-20 Lenovo (Singapore) Pte. Ltd. Reducing storage using commonalities
TR201616541A2 (tr) * 2016-11-16 2017-10-23 Akalli Oyuncak Ve Plastik Ithalat Ihracaat Sanayi Ticaret Ltd Sirketi Her türlü nesne ve oyun karakterleri̇ni̇ ekran üzeri̇nde canlandirmaya yarayan apli̇kasyon si̇stemi̇
US11240487B2 (en) 2016-12-05 2022-02-01 Sung-Yang Wu Method of stereo image display and related device
US20180160093A1 (en) * 2016-12-05 2018-06-07 Sung-Yang Wu Portable device and operation method thereof
WO2020110283A1 (ja) * 2018-11-30 2020-06-04 マクセル株式会社 表示装置
US11107291B2 (en) * 2019-07-11 2021-08-31 Google Llc Traversing photo-augmented information through depth using gesture and UI controlled occlusion planes
GB2591857B (en) * 2019-08-23 2023-12-06 Shang Hai Yiwo Information Tech Co Ltd Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method
CN110609883A (zh) * 2019-09-20 2019-12-24 成都中科大旗软件股份有限公司 Ar地图动态导航系统
TWI745955B (zh) 2020-05-06 2021-11-11 宏碁股份有限公司 擴增實境系統與其錨定顯示方法
JP2023539962A (ja) 2020-08-14 2023-09-21 ヒーズ アイピー ホールディングス エルエルシー リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法
US11682180B1 (en) * 2021-12-09 2023-06-20 Qualcomm Incorporated Anchoring virtual content to physical surfaces

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040077393A1 (en) * 2002-10-17 2004-04-22 Kim Ju Wan Apparatus and method for video based shooting game
TW200828043A (en) * 2006-12-29 2008-07-01 Cheng-Hsien Yang Terminal try-on simulation system and operating and applying method thereof
TW201121614A (en) * 2009-12-17 2011-07-01 Chien Hui Chuan Digital contents based on integration of virtual objects and real image
TW201123077A (en) * 2009-12-29 2011-07-01 Ind Tech Res Inst Animation generation system and method
TW201132934A (en) * 2010-03-22 2011-10-01 Inst Information Industry Real-time augmented reality device, real-time augmented reality methode and computer program product thereof
TW201141236A (en) * 2009-11-13 2011-11-16 Koninkl Philips Electronics Nv Efficient coding of depth transitions in 3D video

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120113141A1 (en) * 2010-11-09 2012-05-10 Cbs Interactive Inc. Techniques to visualize products using augmented reality

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040077393A1 (en) * 2002-10-17 2004-04-22 Kim Ju Wan Apparatus and method for video based shooting game
TW200828043A (en) * 2006-12-29 2008-07-01 Cheng-Hsien Yang Terminal try-on simulation system and operating and applying method thereof
TW201141236A (en) * 2009-11-13 2011-11-16 Koninkl Philips Electronics Nv Efficient coding of depth transitions in 3D video
TW201121614A (en) * 2009-12-17 2011-07-01 Chien Hui Chuan Digital contents based on integration of virtual objects and real image
TW201123077A (en) * 2009-12-29 2011-07-01 Ind Tech Res Inst Animation generation system and method
TW201132934A (en) * 2010-03-22 2011-10-01 Inst Information Industry Real-time augmented reality device, real-time augmented reality methode and computer program product thereof

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103809741A (zh) * 2012-11-13 2014-05-21 财团法人资讯工业策进会 决定3d物件影像在3d环境影像中深度的电子装置及其方法
CN103809741B (zh) * 2012-11-13 2016-12-28 财团法人资讯工业策进会 决定3d物件影像在3d环境影像中深度的电子装置及其方法
CN104700392A (zh) * 2013-12-10 2015-06-10 财团法人金属工业研究发展中心 虚拟影像定位方法及其装置
CN104700392B (zh) * 2013-12-10 2017-10-24 财团法人金属工业研究发展中心 虚拟影像定位方法及其装置
CN106484086A (zh) * 2015-09-01 2017-03-08 北京三星通信技术研究有限公司 用于辅助拍摄的方法及其拍摄设备
US10165199B2 (en) 2015-09-01 2018-12-25 Samsung Electronics Co., Ltd. Image capturing apparatus for photographing object according to 3D virtual object
CN106484086B (zh) * 2015-09-01 2019-09-20 北京三星通信技术研究有限公司 用于辅助拍摄的方法及其拍摄设备
CN107978019A (zh) * 2016-10-21 2018-05-01 财团法人资讯工业策进会 扩增实境系统与方法
CN106384365A (zh) * 2016-11-22 2017-02-08 塔普翊海（上海）智能科技有限公司 一种包含深度信息获取的扩增实境系统及其方法
CN106384365B (zh) * 2016-11-22 2024-03-08 经易文化科技集团有限公司 一种包含深度信息获取的扩增实境系统及其方法
CN107341827A (zh) * 2017-07-27 2017-11-10 腾讯科技（深圳）有限公司 一种视频处理方法、装置和存储介质
CN107341827B (zh) * 2017-07-27 2023-01-24 腾讯科技（深圳）有限公司 一种视频处理方法、装置和存储介质

Also Published As

Publication number Publication date
CN103139463B (zh) 2016-04-13
TW201322178A (zh) 2013-06-01
US20130135295A1 (en) 2013-05-30
TWI544447B (zh) 2016-08-01

Similar Documents

Publication Publication Date Title
CN103139463A (zh) 扩增实境的方法、系统及移动装置
US11481982B2 (en) In situ creation of planar natural feature targets
JP6258953B2 (ja) 単眼視覚ｓｌａｍのための高速初期化
CN106255943B (zh) 身体锁定增强现实与世界锁定增强现实之间的转换
Klein Visual tracking for augmented reality
US20170054972A1 (en) Method and apparatus for presenting 3d scene
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
CN105847850A (zh) 全景视频的实时播放方法及装置
CN105704472A (zh) 一种识别儿童用户的电视控制方法和系统
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
US20210409628A1 (en) Visual-inertial tracking using rolling shutter cameras
CN113426117B (zh) 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
CN103678836A (zh) 虚拟试衣系统及方法
Mulder et al. An affordable optical head tracking system for desktop VR/AR systems
EP3813019A1 (en) Method and system for estimating the geometry of a scene
CN109445598B (zh) 一种基于视觉的增强现实系统装置
Mohr et al. Adaptive user perspective rendering for handheld augmented reality
CN111857461B (zh) 图像显示方法、装置、电子设备及可读存储介质
CN106681506B (zh) 一种终端设备中非vr应用的交互方法及终端设备
CN103440036B (zh) 三维图像的显示和交互操作方法及装置
CN113168228A (zh) 用于在大面积透明触摸界面中进行视差校正的系统和/或方法
CN108616754A (zh) 可携式装置及其操作方法
KR20120092960A (ko) 가상 캐릭터 제어 시스템 및 방법
Yang et al. A multi-camera network system for markerless 3d human body voxel reconstruction
Wang et al. FreeMan: Towards Benchmarking 3D Human Pose Estimation under Real-World Conditions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant