CN106851421A - 一种应用于视频ar的显示系统 - Google Patents

一种应用于视频ar的显示系统 Download PDF

Info

Publication number
CN106851421A
CN106851421A CN201611160770.8A CN201611160770A CN106851421A CN 106851421 A CN106851421 A CN 106851421A CN 201611160770 A CN201611160770 A CN 201611160770A CN 106851421 A CN106851421 A CN 106851421A
Authority
CN
China
Prior art keywords
user
video
scene
server
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611160770.8A
Other languages
English (en)
Inventor
吴鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Friendship Network Technology Co Ltd
Original Assignee
Tianjin Friendship Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Friendship Network Technology Co Ltd filed Critical Tianjin Friendship Network Technology Co Ltd
Priority to CN201611160770.8A priority Critical patent/CN106851421A/zh
Publication of CN106851421A publication Critical patent/CN106851421A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs

Abstract

本发明涉及一种应用于视频AR的显示系统,通过户上传自定义的原始视频生成模型视频与预置的三维场景模型结合通过AR显示,三维虚实结合的显示场景与用户照片结合,同时用户可以自定义自己的AR显示场景,实现了用户自己定制AR场景的视频。

Description

一种应用于视频AR的显示系统
技术领域
本发明涉及一种应用于视频AR的显示系统,其属于影像行业。
背景技术
目前已有技术方案无法让用户上传自定义的原始视频,无法生成用户个性化的形式多变的场景,目前技术的场景都是预存好的,单一的场景,没法根据用户需求,让用户自己定制属于自己的场景。虽然有照片和已有场景结合的技术,但是通过识别图像信息作为标记关联一段视频,没有虚实结合的AR三维效果。
发明内容
鉴于已有技术方案存在的缺陷,本发明提供一种应用于视频AR的显示系统,通过户上传自定义的原始视频生成视频与预置的三维场景模型结合通过AR显示,三维虚实结合的显示场景与用户照片结合,同时用户可以自定义自己的AR显示场景,实现了用户自己定制AR场景的视频或图片。
为实现上述目的,本发明所采用的技术方案是一种应用于视频AR的显示系统,包括生产端、制作端、服务器、存储单元、摄像头、AR处理单元和显示终端,生产端用于上传用原始生产数据到服务器;所述原始生产数据用户文字信息和用户原始场景组成;制作端用于将原始生产数据处理后合成场景制作数据;摄像头用于获取用户图像;服务器用于获取场景制作数据,用于将场景制作数据与服务器预置的三维场景模型中透明模型部分结合,用于用户图像、场景制作数据、三维场景模型、音频和用户文字信息的匹配;储存单元用于存储在服务器中匹配完毕的用户图片、场景制作数据、三维场景模型和音频。AR处理单元用于识别用户图像,用于将用户图像与存储单元中的三维场景模型、场景制作数据和音频结合并在显示终端上完成显示。
所述用户原始场景为用户场景视频。
所述可识别图像是由服务器预置可识别图像模版与模型贴图图像通过制作端制作得到。
所述制作端通过adobe photoshop处理用户原始场景。
所述模型贴图图像通过制作端合成可识别图像。
所述制作端将可识别图像提交AR处理单元形成可识别数据。
所述生产端通过服务器获取处理后的可识别图像。
所述AR处理单元为AR单元。
总得实现过程是:由生产端上传用户信息、图像、视频上述原始生产数据到服务器,此处用户信息包括:用户姓名、性别、所选择的三维场景、手机号、纪念日、备注信息。用户信息是用户文字信息,此处用户信息在服务器上形成一个唯一的字符串,此处图像、视频是指用户提供的视频、图像,是通过用户自己的摄像机设备进行采集。
由制作端通过服务器获取图像、视频上述原始生产数据,通过Adobe Photoshop处理、合成模型贴图图像以及可识别图像,将可识别图像提交Vuforia AR单元形成可识别数据。经制作端传回模型贴图图像、可识别图像、可识别数据上述的处理结果到服务器。生产端通过服务器获取处理后的可识别图像。由摄像头通过服务器进行数据匹配识别用户信息,具体是指摄像头获取图像信息后与服务器上的用户信息字符串进行匹配,匹配是指获取可识别图像信息后,在服务器上查找对应的数据信息。将用户信息字符串和处理后的可识别图像、贴图图像、三维场景模型、音频、视频上述数据通过服务器一一对应储存到储存单元。由摄像头通过Vuforia AR单元识别图像数据后,从储存单元提取贴图图像、三维场景模型、音频、视频数据在显示终端上完成显示和固定或不固定区域的点击、轻触扫过等交互功能。此处识别指的是采用Vuforia AR单元,识别上文的可识别图像,然后通过摄像头获取持续的实时画面,并与可识别图像对应匹配的三维场景模型、音频、模型贴图图片、模型贴图视频数据输出共同显示在显示器上。
模型贴图图像指的是将用户上传的原始图像经过Adobe Photoshop处理后的图像,是场景制作数据的一部分,也是三维场景模型的组成部分。
模型贴图视频指的将用户上传的视频,是场景制作数据的一部分,也是三维场景模型的组成部分。三维场景模型除了贴图模型图片、贴图模型视频以外的内容是预设好的。三维场景模型中预设了三维场景模型的透明的模型,将经过处理后的原始图片、视频贴在该模型上。
音频是在服务器中预设好的。
可识别图像是指的用于AR识别的图像,可识别图像由服务器预置可识别图像模版与模型贴图图像合成得出。预置模版图像是指与三维场景模型内容相对应的图像,用于与制作数据中的模型贴图图像合成为可识别图像。
用户使用时,由生产端上传原始场景的图片或者视频到服务器,通过制作端处理原始场景的图片或者视频定制成为用户自己选择的AR场景,在生产端用户可以看到自己定制的AR场景,用户再通过摄像头实时拍照再用过AR处理单元将照片与用户先前定制的AR场景虚实结合现实在显示终端上,点击、轻触扫过等交互动作实现模型贴图图像、三维场景模型、音频的变化、显示与不显示等互动功能。
采用上述方法后,与现有技术方法相比具有以下有益效果:本发明提供了一种全新的摄影行业的显示系统,解决了以往仅有通过识别图片出现视频一种形式或识别图片出现固定几种无交互简单模型的形式,图片到视频转化单一性问题,实现了图片转化成贴图进入三维场景从而实现定制化,实现了模型与定制内容之间的交互。
附图说明
图1、原理流程图。
具体实施方式
实施例1
用户通过生产端输入用户文字信息(具体为用户姓名、性别、所选择的三维场景、手机号、纪念日、备注信息,用户文字信息在服务器上形成一个唯一的用户字符串)和上传用户的原始场景图片到服务器;制作端下载原始场景图片处理成场景制作数据传回服务器;制作数据具体的制作方式是将原始场景图片通过Adobe Photoshop处理为模型贴图图像,再将模型贴图图像通过Adobe Photoshop与服务器中预置的可识别图像模版合成为可识别图像,可识别图像是用于AR单元识别的图像,会由AR单元将图像形成可识别数据。回传服务器的场景制作数据包括模型贴图图像和可识别图像。生产端通过服务器获取处理后的可识别图像。用户通过摄像头获取用户图像,将用户图像在服务器上匹配对应的用户字符串、场景制作数据、三维场景模型、音频后储存到储存单元,通过用户字符串标记实现将用户图像、场景制作数据、三维场景模型、音频一一对应的绑定,并共同存储在存储单元,便于Vuforia AR单元识别时调取;模型贴图图像通过三维场景模型中预留的透明模型与三维场景模型结合。用户用摄像头获取用户图像,再通过Vuforia AR单元识别用户图像后从存储单元中提取对应的场景制作数据、三维场景模型、音频输出显示到显示终端上。实施例2
用户通过生产端输入用户文字信息(具体为用户姓名、性别、所选择的三维场景、手机号、纪念日、备注信息,用户文字信息在服务器上形成一个唯一的用户字符串)和上传用户的原始场景视频到服务器;制作端下载原始场景视频处理成模型贴图视频传回服务器;制作数据具体的制作方式是将原始场景视频通过Adobe Photoshop处理为模型贴图视频。用户通过摄像头获取用户图像,将用户图像在服务器上匹配对应的用户字符串、模型贴图视频、三维场景模型、音频后储存到储存单元,通过用户字符串标记实现将用户图像、模型贴图视频、三维场景模型、音频对应的绑定,并共同存储在存储单元,便于VVuforia AR单元识别时调取;模型贴图视频通过三维场景模型中预留的透明模型与三维场景模型结合。用户用摄像头获取用户图像,再通过Vuforia AR单元识别用户图像后从存储单元中提取对应的模型贴图视频、三维场景模型、音频输出显示到显示终端上。

Claims (6)

1.一种应用于视频AR的显示系统,其特征在于:包括生产端、制作端、服务器、存储单元、摄像头、AR处理单元和显示终端,生产端用于上传用原始生产数据到服务器;所述原始生产数据用户文字信息和用户原始场景组成;制作端用于将原始生产数据处理后合成场景制作数据;摄像头用于获取用户图像;服务器用于获取场景制作数据,用于将场景制作数据与服务器预置的三维场景模型中透明模型部分结合,用于用户图像、场景制作数据、三维场景模型、音频和用户文字信息的匹配;储存单元用于存储在服务器中匹配完毕的用户图片、场景制作数据、三维场景模型和音频;AR处理单元用于识别用户图像,用于将用户图像与存储单元中的三维场景模型、场景制作数据和音频结合并在显示终端上完成显示。
2.根据权利要求1所述的一种应用于视频AR的显示系统,其特征在于:所述用户原始场景为用户场景图像。
3.根据权利要求1所述的一种应用于视频AR的显示系统,其特征在于:所述用户原始场景为用户场景视频。
4.根据权利要求2所述的一种应用于视频AR的显示系统,其特征在于:所述场景制作数据为模型贴图视频。
5.根据权利要求1所述的一种应用于视频AR的显示系统,其特征在于:所述制作端通过Adobe Photoshop^处理用户原始场景;所述AR处理单元为AR单元。
6.根据权利要求4所述的一种应用于视频AR的显示系统,其特征在于:所述模型贴图图像通过制作端合成可识别图像。
CN201611160770.8A 2016-12-15 2016-12-15 一种应用于视频ar的显示系统 Pending CN106851421A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611160770.8A CN106851421A (zh) 2016-12-15 2016-12-15 一种应用于视频ar的显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611160770.8A CN106851421A (zh) 2016-12-15 2016-12-15 一种应用于视频ar的显示系统

Publications (1)

Publication Number Publication Date
CN106851421A true CN106851421A (zh) 2017-06-13

Family

ID=59140387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611160770.8A Pending CN106851421A (zh) 2016-12-15 2016-12-15 一种应用于视频ar的显示系统

Country Status (1)

Country Link
CN (1) CN106851421A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291244A (zh) * 2017-07-04 2017-10-24 宁波美象信息科技有限公司 一种vr参观系统
CN110856005A (zh) * 2019-11-07 2020-02-28 广州虎牙科技有限公司 直播流显示方法、装置、电子设备及可读存储介质
CN111028597A (zh) * 2019-12-12 2020-04-17 塔普翊海(上海)智能科技有限公司 混合现实的外语情景、环境、教具教学系统及其方法
US11755956B2 (en) 2018-08-06 2023-09-12 Samsung Electronics Co., Ltd. Method, storage medium and apparatus for converting 2D picture set to 3D model

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101931790A (zh) * 2009-06-23 2010-12-29 北京航天长峰科技工业集团有限公司 一种三维视频监控方法及系统
US20140178029A1 (en) * 2012-12-26 2014-06-26 Ali Fazal Raheman Novel Augmented Reality Kiosks
CN104270577A (zh) * 2014-08-22 2015-01-07 北京德馨同创科技发展有限责任公司 用于移动智能终端的图像处理方法和装置
CN105491365A (zh) * 2015-11-25 2016-04-13 罗军 基于移动终端的图像处理方法、装置及系统
CN105608745A (zh) * 2015-12-21 2016-05-25 大连新锐天地传媒有限公司 应用于图像或视频的ar显示系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101931790A (zh) * 2009-06-23 2010-12-29 北京航天长峰科技工业集团有限公司 一种三维视频监控方法及系统
US20140178029A1 (en) * 2012-12-26 2014-06-26 Ali Fazal Raheman Novel Augmented Reality Kiosks
CN104270577A (zh) * 2014-08-22 2015-01-07 北京德馨同创科技发展有限责任公司 用于移动智能终端的图像处理方法和装置
CN105491365A (zh) * 2015-11-25 2016-04-13 罗军 基于移动终端的图像处理方法、装置及系统
CN105608745A (zh) * 2015-12-21 2016-05-25 大连新锐天地传媒有限公司 应用于图像或视频的ar显示系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291244A (zh) * 2017-07-04 2017-10-24 宁波美象信息科技有限公司 一种vr参观系统
US11755956B2 (en) 2018-08-06 2023-09-12 Samsung Electronics Co., Ltd. Method, storage medium and apparatus for converting 2D picture set to 3D model
CN110856005A (zh) * 2019-11-07 2020-02-28 广州虎牙科技有限公司 直播流显示方法、装置、电子设备及可读存储介质
CN111028597A (zh) * 2019-12-12 2020-04-17 塔普翊海(上海)智能科技有限公司 混合现实的外语情景、环境、教具教学系统及其方法

Similar Documents

Publication Publication Date Title
CN105608745B (zh) 应用于图像或视频的ar显示系统
US9626788B2 (en) Systems and methods for creating animations using human faces
CN106851421A (zh) 一种应用于视频ar的显示系统
JP5939659B2 (ja) 写真・動画像提供システム
US20150105889A1 (en) Cloud 3d model construction system and construction method thereof
KR20100138863A (ko) 카메라 탑재 단말기에서 코드에 대응하는 증강현실과 개인화된 콘텐츠를 제공하는 방법
CN107736034A (zh) 观看者关系型视频制作装置及制作方法
KR20150113246A (ko) 가상 전시공간 제공 시스템 및 방법
JP2008191714A (ja) 画像転送システム、写真撮影プリント装置、画像保存サーバ、画像転送方法、画像転送プログラム、および記憶媒体
CN102810214A (zh) 一种在线定制服装的方法、装置及系统
KR20140080723A (ko) 3d 아바타 출력 장치 및 방법
JP2017512116A (ja) ユーザーカスタマイズ形ネイル装飾付着物の提供方法
US20160067926A1 (en) Customized Figure Creation System
CN104809288A (zh) 一种定制美甲的试妆方法
CN106897040B (zh) 展示可视信息的方法与推送展示可视信息的方法
CN110471528A (zh) 一种虚拟观众的换装方法、装置、系统及存储介质
KR20160013451A (ko) 증강현실 애플리케이션을 접목한 제품현시시스템
JP6061401B2 (ja) データ生成装置および画像生成方法
CN112511815B (zh) 图像或视频生成方法及装置
JP5433397B2 (ja) 画像表示装置、画像表示方法、携帯端末
CN111640190A (zh) Ar效果的呈现方法、装置、电子设备及存储介质
CN110706320A (zh) 一种虚拟试衣方法、装置及系统
JP7313847B2 (ja) 撮影システム、撮影装置、管理装置及び撮影方法
JP6849851B2 (ja) 撮影システム、撮影装置及びユーザ撮影方法
JP7263758B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170613