CN102821970B - 将虚拟对象转换成真实物理对象的方法 - Google Patents
将虚拟对象转换成真实物理对象的方法 Download PDFInfo
- Publication number
- CN102821970B CN102821970B CN201180016084.2A CN201180016084A CN102821970B CN 102821970 B CN102821970 B CN 102821970B CN 201180016084 A CN201180016084 A CN 201180016084A CN 102821970 B CN102821970 B CN 102821970B
- Authority
- CN
- China
- Prior art keywords
- bounding box
- virtual objects
- texture
- virtual
- actual physical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B42—BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
- B42D—BOOKS; BOOK COVERS; LOOSE LEAVES; PRINTED MATTER CHARACTERISED BY IDENTIFICATION OR SECURITY FEATURES; PRINTED MATTER OF SPECIAL FORMAT OR STYLE NOT OTHERWISE PROVIDED FOR; DEVICES FOR USE THEREWITH AND NOT OTHERWISE PROVIDED FOR; MOVABLE-STRIP WRITING OR READING APPARATUS
- B42D15/00—Printed matter of special format or style not otherwise provided for
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
Abstract
从细粒度3D虚拟对象（VO）建立粗粒度真实物理对象（RO）的方法。该方法包括步骤：在虚拟环境（VE）中选择（RTVO）虚拟对象，例如人物或至少人物的多个元素（头，胸，手臂，腿），为元素匹配在其中的每个元素建立（CRBB）包围盒，通过拍摄如由它的包围盒所界定的元素的360度快照来为每个包围盒建立（CRTC）纹理云，在纹理云上应用（APIS）图像拼接技术用于为每个包围盒获得不同的纹理，打印（PRBB）带有它们的所关联的纹理的多个包围盒，并且将多个包围盒拼接在一起。可以在纸质打印机上或直接在3D打印机上发生打印步骤，由此可获得剪切-粘贴真实物理对象（RO）。方法可以通过采用semipedia技术加密真实对象完成，从而将真实对象带入虚拟环境（VE）并且允许用户能够使用真实对象用于控制它的相应的虚拟对象（VO）。
Description
技术领域
本发明涉及建立真实物理对象的方法。
背景技术
一些公司例如CubeecraftTM或LegoTM（分别参考<http://www.cubeecraft.com>和<http://www.lego.com>）提供表现人物（character）或其它可打印的人物（figure）的纸质或塑料模型，从而能够建立表现人物的真实物理对象，例如通过在纸质模型上的剪切-粘贴（cut-and-glue）操作。
制造企业生产并销售手工绘制的CubeecraftTM模型的外观相似人物，例如在流行电影中看到的人物或明星，以便将纸质模型与媒体体验相关联。从人物建立的真实物理对象允许将在虚拟环境中的虚拟体验与真实生活体验相关联。
然而，目前没有适于从虚拟对象（如从电影或游戏中看到的人物）自动产生真实物理对象的方法和系统。
发明内容
本发明的目标是提供将虚拟对象转换为真实物理对象以便将虚拟对象带入真实世界的方法，
根据本发明的实施例，该目标基于以下事实实现，所述方法包括步骤：
-在虚拟环境中选择虚拟对象，
-建立所述虚拟对象匹配在其中的包围盒（boundingbox），
-通过拍摄如由所述包围盒所界定的所述虚拟对象的360度快照来建立纹理云（texturecloud），
-在所述纹理云上应用图像拼接技术用于获得所述包围盒的纹理，以及
-打印带有所述纹理的包围盒。
该实施例允许从在虚拟世界中所选择的对象制作例如CubeecraftTM模型的设计，并且从该设计建立在真实世界中的物理对象。
在本发明的优选表征实施例中，所述虚拟对象包括多个元素，并且所述方法包括步骤：
-在所述虚拟环境中单独地选择所述虚拟对象的每个元素，
-为每个元素建立不同的包围盒，并且其中将所述元素关联到所述包围盒，
-通过拍摄如由所述包围盒所界定的所关联的元素的360度快照来为每个包围盒建立纹理云，
-在所述纹理云上应用图像拼接技术用于为每个包围盒获得不同的纹理，
-打印带有它们的所关联的纹理的多个所述包围盒，以及
-将多个所述包围盒拼接在一起。
通过这种方式，真实物理对象例如可以是可基于虚拟对象（例如元素是头，胸，手臂和腿的虚拟人物）建立的人物。
本发明的另一个特征实施例是所述虚拟对象是虚拟环境的细粒度（fine-grained）3D对象，并且所述真实物理对象是真实世界的粗粒度3D对象。
换句话说，所述方法的该实施例允许将来自虚拟世界的细粒度3D对象（例如人物或化身（avatar））转换成粗粒度的真实对象，并因此将用户的虚拟体验关联到他的真实生活中。
同时本发明的另一个特征实施例是可以在标准纸打印机或在3D打印机上打印的包围盒。
在3D打印机上打印允许立刻获得避免这样的剪切-粘贴操作的在真实世界中的对象或人物。
本方法的进一步特征实施例在附加的权利要求中提及。
应注意的是在权利要求中使用的术语“包括”或者“包含”，不应解释为限制此后列出的部件。因此，例如“装置包括部件A和B”的表达的范围不应限制为装置仅包含部件A和B的实施例。这意味关于本发明的实施例，A和B是装置的基本部件。
类似地，应注意到同时在权利要求中使用的术语“联接”，不应当解释为仅仅直接连接。因此，例如“装置A联接到装置B”的表达的范围不应该限制为在其中装置A的输出直接连接到装置B的输入的装置的实施例。这意味着在A的输出和B的输入之间可能存在路径，该路径可以包括其他装置或部件。
附图说明
通过参考结合附图的实施例的以下描述，本发明上述和其他的目的以及特征变得更加明显并且发明自身也能更好地理解，其中：
图1表示根据本发明实施例表示将虚拟对象（VO）转换为真实物理对象RO的方法；
图2示出根据本发明的方法的步骤的示例；以及
图3示出用于完成本方法的步骤的设备。
具体实施方式
本发明的基本思想是提供用于将来自虚拟世界的细粒度3D虚拟对象，例如在附图1所示的头像或人物VO，转换为粗粒度真实物理3D对象RO的方法。这将虚拟对象VO带入真实世界，并且允许用户将他的虚拟体验与他的真实生活相关联。
通过参考图2和图3，方法的实施例的第一步是从虚拟环境VE中提取RTVO虚拟对象VO。
一旦虚拟对象VO可用，第二步是建立CRBB所述虚拟对象准确匹配在其中的包围盒。包围盒是在立方体的3D建模中的术语，模型或对象可准确地匹配在其中。在不同的实施例中，为所选择的虚拟对象的每个元素建立不同的包围盒。例如，如果虚拟对象VO是人物，那么元素可以是它身体的一部分，例如头，胸，手臂和腿。那么建立包围盒并将包围盒与这些元素的每一个关联。
下一个步骤是CTRC，通过拍摄如由所关联的包围盒的维度所界定的所述虚拟对象VO的（或其每个元素的）360度快照来为每个包围盒建立CRTC纹理云。例如，虚拟照相机可围绕头部移动以拍摄多张头部的快照。所拍摄的图片应该包含足够的重叠从而建立360度视图。
下面的步骤是在所述纹理云上应用APIS图像拼接技术用于获得包围盒的纹理。图像拼接技术在于将多个快照一起无缝地拼接成无缝的相连的图像。结果，通过应用图像拼接技术，能够将快照组合成用作边界盒纹理的360度视图图像。
在该步骤之后，打印带有其纹理的边界盒PRBB。如果打印机是3D打印机，可立即将真实3D物理对象RO应用在真实的世界中。如果是纸质打印机，剪切-粘贴步骤对获得3D纸质模型可能是必要的。
如果单独地打印一些元素，所需要的模型，例如CubeecraftTM模型或LegoTM模型，通过将所有相应的边界盒（头，胸，手臂，腿等）粘贴在一起并且使其适合所需要的模型来获得。
图3示出适于实施上述方法的实施例的步骤的系统。该系统包括在客户机WS上运行的客户应用程序，虚拟环境VE，带有附加的多个用户资料UP和多个模版TP的模型转换服务（ModelTransformationServices）MTS。
所述模型转换服务MTS负责：
1.在虚拟环境中选择（RTVO）虚拟对象VO，
2.建立（CRBB）所述虚拟对象VO匹配在其中的边界盒，
3.通过拍摄如由所述边界盒所界定的所述虚拟对象VO的360度快照来建立（CRTC）纹理云，
4.在所述纹理云上应用（APIS）图像拼接技术用于获得所述边界盒的纹理云，以及
5.打印（PRBB）带有所述纹理的所述边界盒。
6.可能地使用semipedia技术加密所述剪切-粘贴真实对象RO。所述semipedia技术允许将来自物理世界的信息带入到虚拟环境VE中。结果，用户可使用真实对象RO来控制相应的虚拟对象VO。
当用户将3D纸质对象RO放在照相机前时，客户应用程序检测在3D纸质对象RO上的semipedia并且示出在虚拟环境VE中相应的虚拟对象VO。以这种方式，用户能够例如通过旋转3D真实纸质对象RO来在虚拟环境VE中旋转虚拟对象VO。
应注意到semipedia技术可由RFID技术，二维码技术或任何其它标识（identification）技术替代。
进一步注意到仅在此引用CubeecraftTM和LegoTM模型作为输出部件的两个可能的示例。其他可替代的，例如3D打印机，同样能够联接到系统中。
最后注意本发明的实施例在上面以功能模块的方式描述。从上文给出的这些模块的功能描述中，对于设计电子装置的本领域技术人员来说，如何使用熟知的电子元件制造这些模块的实施例是显而易见的。在此并没有给出功能模块内容的详细结构。
以上结合特定设备描述了本发明的原理，应清楚地理解这种描述仅仅通过示例作出，并不作为如附加的权利要求定义的本发明范围的限定。
Claims (10)
1.建立真实物理对象的方法，其特征在于所述方法包括步骤：
-在虚拟环境中选择虚拟对象，
-建立所述虚拟对象匹配在其中的包围盒，
-通过拍摄由所述包围盒所界定的所述虚拟对象的360度快照来建立纹理云，
-在所述纹理云上应用图像拼接技术用于获得所述包围盒的纹理，以及
-打印带有所述纹理的所述包围盒，
其中所述虚拟对象是虚拟环境的3D对象，并且所述真实物理对象是真实世界的3D对象。
2.根据权利要求1所述的方法，其特征在于所述虚拟对象包括多个元素，并且所述方法包括步骤：
-在所述虚拟环境中单独地选择所述虚拟对象的每个元素，
-为每个元素建立不同的包围盒，并且关联于所述包围盒的所述元素匹配在其中，
-通过拍摄由所述包围盒所界定的相关联的元素的360度快照来为每个包围盒建立纹理云，
-在所述纹理云上应用图像拼接技术用于为每个包围盒得到不同的纹理，
-打印带有它们的相关联的纹理的多个所述包围盒，以及
-将多个所述包围盒拼接在一起。
3.根据权利要求1所述的方法，其特征在于所述虚拟对象是细粒度3D对象，并且所述真实物理对象是粗粒度对象。
4.根据权利要求1或2任一项所述的方法，其特征在于所述包围盒在纸上打印。
5.根据权利要求1或2任一项所述的方法，其特征在于所述包围盒在3D打印机上打印。
6.根据权利要求2所述的方法，其特征在于所述虚拟对象是虚拟世界的人物。
7.根据权利要求6所述的方法，其特征在于所述虚拟对象的所述多个元素是所述人物的多个部分。
8.根据权利要求1所述的方法，其特征在于所述选择步骤包括从所述虚拟环境提取所述虚拟对象和所述虚拟对象的虚拟标识的复制的操作。
9.根据权利要求2所述的方法，其特征在于所述选择步骤包括从所述虚拟环境提取所述虚拟对象的所述元素和所述元素的虚拟标识的复制的操作。
10.根据权利要求1或2任一项所述的方法，其特征在于所述方法包括使用semipedia技术加密所述真实物理对象的步骤。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP10305312.0A EP2368720B1 (en) | 2010-03-26 | 2010-03-26 | Method to transform a virtual object into a real physical object |
| EP10305312.0 | 2010-03-26 | ||
| PCT/EP2011/053486 WO2011117070A1 (en) | 2010-03-26 | 2011-03-08 | Method to transform a virtual object into a real physical object |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102821970A CN102821970A (zh) | 2012-12-12 |
| CN102821970B true CN102821970B (zh) | 2015-12-02 |
Family
ID=42237088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180016084.2A Expired - Fee Related CN102821970B (zh) | 2010-03-26 | 2011-03-08 | 将虚拟对象转换成真实物理对象的方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9764583B2 (zh) |
| EP (1) | EP2368720B1 (zh) |
| JP (1) | JP5591394B2 (zh) |
| KR (1) | KR101494064B1 (zh) |
| CN (1) | CN102821970B (zh) |
| WO (1) | WO2011117070A1 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130130797A1 (en) * | 2010-08-24 | 2013-05-23 | Janos Stone | Systems and methods for transforming and/or generating a tangible physical structure based on user input information |
| GB201209176D0 (en) * | 2012-05-25 | 2012-07-04 | Lunar Lime Ltd | Model card |
| CN104731535A (zh) * | 2015-01-30 | 2015-06-24 | 深圳市亿思达科技集团有限公司 | 几何物体的制作方法及3d打印系统 |
| GB2536062A (en) * | 2015-03-06 | 2016-09-07 | Sony Computer Entertainment Inc | System, device and method of 3D printing |
| WO2017023284A1 (en) * | 2015-07-31 | 2017-02-09 | Hewlett-Packard Development Company, L.P. | Parts arrangement determination for a 3d printer build envelope |
| US11445305B2 (en) | 2016-02-04 | 2022-09-13 | Magic Leap, Inc. | Technique for directing audio in augmented reality system |
| IL283975B2 (en) | 2016-02-04 | 2024-02-01 | Magic Leap Inc | A technique for audio direction in an augmented reality system |
| IL311069A (en) | 2017-02-28 | 2024-04-01 | Magic Leap Inc | Virtual and real object registration in a mixed reality device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6431359B1 (en) * | 1997-06-23 | 2002-08-13 | Milton Bernard Hollander | Multi-view packaging material |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2241470A (en) * | 1990-01-30 | 1991-09-04 | Melvin John Ryan | Greetings card/gift container |
| US5586659A (en) * | 1995-06-05 | 1996-12-24 | Trumbo; Timothy F. | Combination gift box and greeting card |
| JPH1134425A (ja) * | 1997-07-17 | 1999-02-09 | Canon Inc | 画像処理装置および画像処理方法およびコンピュータが読み出し可能なプログラムを格納した記憶媒体 |
| RU2216781C2 (ru) * | 2001-06-29 | 2003-11-20 | Самсунг Электроникс Ко., Лтд | Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта |
| US7389908B2 (en) * | 2004-04-22 | 2008-06-24 | Patrice Cohen | Three-dimensional display form and blank |
| US20060212150A1 (en) * | 2005-02-18 | 2006-09-21 | Sims William Jr | Method of providing 3D models |
| WO2006089271A2 (en) * | 2005-02-18 | 2006-08-24 | Sims William Jr | Method for providing 3d models |
| US20070069001A1 (en) * | 2005-09-28 | 2007-03-29 | Ward/Kraft | Consumable food product container having removable premium for use in customer retention |
| US7698014B2 (en) * | 2006-01-20 | 2010-04-13 | 3M Innovative Properties Company | Local enforcement of accuracy in fabricated models |
| JP2009048305A (ja) | 2007-08-15 | 2009-03-05 | Nara Institute Of Science & Technology | 形状解析プログラム及び形状解析装置 |
| ITMI20071906A1 (it) * | 2007-10-04 | 2009-04-05 | Grafica Pozzoli Spa | Procedimento per la realizzazione di un contenitore in cartoncino. |
| US8175734B2 (en) * | 2009-10-08 | 2012-05-08 | 3D M. T. P. Ltd. | Methods and system for enabling printing three-dimensional object models |
-
2010
- 2010-03-26 EP EP10305312.0A patent/EP2368720B1/en not_active Not-in-force
-
2011
- 2011-03-08 KR KR1020127027811A patent/KR101494064B1/ko active IP Right Grant
- 2011-03-08 CN CN201180016084.2A patent/CN102821970B/zh not_active Expired - Fee Related
- 2011-03-08 JP JP2013500416A patent/JP5591394B2/ja not_active Expired - Fee Related
- 2011-03-08 US US13/637,452 patent/US9764583B2/en active Active
- 2011-03-08 WO PCT/EP2011/053486 patent/WO2011117070A1/en active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6431359B1 (en) * | 1997-06-23 | 2002-08-13 | Milton Bernard Hollander | Multi-view packaging material |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5591394B2 (ja) | 2014-09-17 |
| JP2013524308A (ja) | 2013-06-17 |
| CN102821970A (zh) | 2012-12-12 |
| US9764583B2 (en) | 2017-09-19 |
| KR20130001290A (ko) | 2013-01-03 |
| WO2011117070A1 (en) | 2011-09-29 |
| EP2368720A1 (en) | 2011-09-28 |
| KR101494064B1 (ko) | 2015-02-16 |
| US20130016379A1 (en) | 2013-01-17 |
| EP2368720B1 (en) | 2018-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102821970B (zh) | 将虚拟对象转换成真实物理对象的方法 | |
| CN108062776B (zh) | 相机姿态跟踪方法和装置 | |
| US20150042678A1 (en) | Method for visually augmenting a real object with a computer-generated image | |
| CN109584295A (zh) | 对图像内目标物体进行自动标注的方法、装置及系统 | |
| US9117303B2 (en) | System and method for defining an augmented reality view in a specific location | |
| US20150254903A1 (en) | Augmented Reality Image Transformation | |
| US20130101164A1 (en) | Method of real-time cropping of a real entity recorded in a video sequence | |
| KR101652753B1 (ko) | 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템 | |
| Zou et al. | Intelligent fitness trainer system based on human pose estimation | |
| CN104504423A (zh) | Ar增强现实立体防伪系统及其方法 | |
| CN109191552A (zh) | 三维模型处理方法、装置、电子设备和存储介质 | |
| US20160086365A1 (en) | Systems and methods for the conversion of images into personalized animations | |
| Reimat et al. | Cwipc-sxr: Point cloud dynamic human dataset for social xr | |
| JP2014029566A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP6192107B2 (ja) | 撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末及びプログラム | |
| TW201126451A (en) | Augmented-reality system having initial orientation in space and time and method | |
| US20170039768A1 (en) | Apparatus for displaying image content based on pop-up book and method thereof | |
| CN108376414A (zh) | 数字信息转换、还原方法及装置、电子设备和存储介质 | |
| KR101643569B1 (ko) | 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법을 이용한 체험 방법 | |
| KR20190059711A (ko) | 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법 | |
| KR20190059710A (ko) | 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법 | |
| JP6967150B2 (ja) | 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム | |
| Steinicke et al. | Poster: A virtual body for augmented virtuality by chroma-keying of egocentric videos | |
| Kim et al. | Vision-based all-in-one solution for augmented reality and its storytelling applications | |
| KR20170018907A (ko) | 지원 템플릿을 포함하는 튜토리얼 모델 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190531 Address after: American New York Patentee after: Origin Asset Group Co.,Ltd. Address before: Paris France Patentee before: ALCATEL LUCENT |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151202 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |