CN103248830A - 面向移动智能终端增强现实的实时视频合并方法 - Google Patents
面向移动智能终端增强现实的实时视频合并方法 Download PDFInfo
- Publication number
- CN103248830A CN103248830A CN2013101242287A CN201310124228A CN103248830A CN 103248830 A CN103248830 A CN 103248830A CN 2013101242287 A CN2013101242287 A CN 2013101242287A CN 201310124228 A CN201310124228 A CN 201310124228A CN 103248830 A CN103248830 A CN 103248830A
- Authority
- CN
- China
- Prior art keywords
- video
- real
- intelligent terminal
- augmented reality
- mobile intelligent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
本发明是基于Android系统实现的一种面向移动智能终端增强现实的实时视频合并方法，应用在移动智能终端。该方法利用相机、视频系统的编码器、解码器等模块，实现视频图像的实时叠加与合并，对现实场景进行增强。Android系统的相机模块可满足方案要求，编、解码器通过移植的方式实现，取得相机预览视频数据后，按像素点提取相机预览视频中的人像与解码器输出的本地视频进行实时合并，合并后通过编码器编码为H.264格式的视频，并将其通过UDP发送出去。本发明得到增强现实的实现视频合并应用程序模块，可以作为插件安装到移动终端，应用于视频电话通信，也可以作为独立的应用服务软件，为用户提供增强现实体验的服务。
Description
技术领域
本发明属于视频图像处理技术领域，具体而言，是一种基于移动终端的实时视频合并方法。
背景技术
近年来移动智能终端的计算能力高速发展，多媒体处理性能不断提高，同时终端集成了摄像头、GPS等模块，为增强现实技术在移动智能终端上的应用提供了有利条件，结合移动互联网络的实时在线、智能感知、广覆盖等特性，可研究出面向移动智能终端的增强现实系统的具体应用方案，借助移动互联网络实现增强现实技术的移动化应用，形成移动互联网上新的增值业务。
增强现实系统具有真实与虚拟相结合、实时交互、三维注册的特点，可使系统的窗口、图形与现实环境中的对象产生叠映的视觉效果，给人们带来一种增强现实场景的真实体验。利用增强现实的视频叠加技术实现手机上的实时视频合并，可方便地为人们提供增强现实的体验与服务。
发明内容
本发明的目的是提供一种实时视频合并方法，该方法可以在移动智能终端上实现增强现实技术的移动化应用。
本发明所提供的面向移动智能终端的增强现实的实时视频合并技术，利用该智能终端内置的相机单元对存储于其内的本地视频进行处理；该方法包括如下步骤：
A1、利用智能终端的Android系统提供的相机预览回调接口从所述相机单元获得字节型的预览视频流数据；
A2、利用H.264解码器对所述本地视频进行解码，从而获得与前述预览视频流数据的格式相同的本地视频流；
A3、提取所述预览视频流数据中的目标像素，将目标像素与本地视频流进行合并；包括：对每一帧的目标进行边缘检测，且当一像素位于所述目标边缘内部时认定为目标像素；
A4、合并所得的视频流数据送往H.264编码器编码。
优选地，在上述步骤A1中，提取预览视频流数据中的人物图像的像素点作为合成视频中的前景视频。
优选地，在上述步骤A2中，通过H.264解码器获得所述本地视频的字节型视频数据，作为合成视频中的背景视频。
优选地，在上述步骤A3中，前景视频和背景视频进行像素相加，实现视频合并。
进一步地，编码所得的视频可选地存储到SD卡、或通过UDP发送到视频接收端并在接收端解码显示出来。
本发明的有益效果主要体现三个方面在：
第一，本发明所实现的实时视频合并技术，可在手机上实时地进行视频合并，无需额外借助其它的软硬件设备；
第二，可对人所处的现实环境进行增强，使人获得增强现实体验；
第三，实时合并所得视频可通过UDP发送，该技术可得到一个应用程序，作为插件安装到手机，应用于视频电话通信。
附图说明
图1是本发明实时视频合并方法的一实施例示意图；
图2是图1实施例中对单帧视频图像合并时对像素点的处理算法；
图3是图1实施例中实时视频合并的一实例示意图。
具体实施方式：
下面结合附图对本发明做更进一步的解释。
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
如图1实施例所示，实时视频合并方法是应用在移动智能终端中，将智能终端的Android系统提供的相机预览回调接口，把相机视频与本地视频按像素点进行实时合并，得到一个增强现实场景的新视频，然后将该视频存储并通过UDP发送出去，从而得到一个可用于Android手机的应用程序。
本方法的具体步骤如下：
第一步：利用Android系统提供的相机预览回调接口Preview CallBack，从相机获得字节型的预览视频流数据；
第二步：移植现有的H.264解码器，本地视频通过该解码器进行解码，转化为与相机预览视频流数据格式相同的本地视频流。这种相同的数据格式称为统一视频格式。
第三步：实现视频合并，按像素点提取相机预览视频中的人像，将人像与本地视频进行合并，合并所得的视频送往H.264编码器编码，并存储到SD卡；
第四步：将编码为H.264的合并视频通过UDP发送到视频接收端，在接收端解码显示出来。
图2是单帧视频图像合并时对每一个像素点的处理算法，图中RGB32cam[k]表示相机预览视频帧的第k个像素点，RGB32dec[k]表示本地视频帧的第k个像素点，RGB32combine[k]表示合并视频帧的第k个像素点。若RGB32cam中的各像素点满足条件，即表示该像素点属于要提取的人像。在判定像素点是否满足合并条件时，通过帧差法获取运动对象初始边缘模板，采用8邻接连通组件去除噪声，并利用Canny算法进行当前帧边缘检测。对每帧图像的第k个像素点，判断相机预览RGB32cam[k]是否在当前帧边缘内部；若满足，则将该值赋值给RGB32combine[k]，否则将RGB32dec[k]赋值给RGB32combine[k]，如此循环进行，完成单帧图像的合并。合并后的视频图像数据存放在RGB32combine中。
图3示出的是实时视频合并程序界面，图中左上角为本地视频的图像，右上角为合并后的视频图像，下方为相机预览视频图像。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。
Claims (7)
1.一种面向移动智能终端增强现实的实时视频合并方法，该方法利用该智能终端内置的相机单元对存储于其内的本地视频进行处理，其特征在于，包括如下步骤：
A1、利用智能终端的Android系统提供的相机预览回调接口从所述相机单元获得字节型的预览视频流数据；
A2、利用H.264解码器对所述本地视频进行解码，从而获得与前述预览视频流数据的格式相同的本地视频流；
A3、提取所述预览视频流数据中的目标像素，将目标像素与本地视频流进行合并；包括：对每一帧的目标进行边缘检测，并将位于所述目标边缘内部的像素点认定为目标像素；
A4、合并所得的视频流数据送往H.264编码器编码。
2.根据权利要求1中所述的面向移动智能终端增强现实的实时视频合并方法，其特征在于，在所述步骤A1中，提取预览视频流数据中的人物图像的像素点作为合成视频中的前景视频。
3.根据权利要求2中所述的面向移动智能终端增强现实的实时视频合并方法，其特征在于，在所述步骤A2中，通过H.264解码器获得所述本地视频的字节型视频数据，作为合成视频中的背景视频。
4.根据权利要求3中所述的面向移动智能终端增强现实的实时视频合并方法，其特征在于，在所述步骤A3中，前景视频和背景视频进行像素相加，实现视频合并。
5.根据权利要求1中所述的面向移动智能终端增强现实的实时视频合并方法，其特征在于，编码所得的视频存储到SD卡。
6.根据权利要求1中所述的面向移动智能终端增强现实的实时视频合并方法，其特征在于，编码所得的视频通过UDP发送到视频接收端，并在接收端解码显示出来。
7.根据权利要求1中所述的面向移动智能终端增强现实的实时视频合并方法，其特征在于，所述目标像素是构成人像的像素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013101242287A CN103248830A (zh) | 2013-04-10 | 2013-04-10 | 面向移动智能终端增强现实的实时视频合并方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013101242287A CN103248830A (zh) | 2013-04-10 | 2013-04-10 | 面向移动智能终端增强现实的实时视频合并方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103248830A true CN103248830A (zh) | 2013-08-14 |
Family
ID=48928028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2013101242287A Pending CN103248830A (zh) | 2013-04-10 | 2013-04-10 | 面向移动智能终端增强现实的实时视频合并方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103248830A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106161988A (zh) * | 2015-03-26 | 2016-11-23 | 成都理想境界科技有限公司 | 一种增强现实视频生成方法 |
| CN106303289A (zh) * | 2015-06-05 | 2017-01-04 | 福建凯米网络科技有限公司 | 一种将真实对象与虚拟场景融合显示的方法、装置及系统 |
| CN103559713B (zh) * | 2013-11-10 | 2017-01-11 | 深圳市幻实科技有限公司 | 一种提供增强现实的方法及终端 |
| CN106664465A (zh) * | 2014-07-09 | 2017-05-10 | 郑芝娟 | 用于创建和再现增强现实内容的系统以及使用其的方法 |
| CN107105173A (zh) * | 2017-04-24 | 2017-08-29 | 武汉折叠空间科技有限公司 | 一种互动型自助视频制作方法 |
| CN108108023A (zh) * | 2018-01-02 | 2018-06-01 | 联想(北京)有限公司 | 一种显示方法和显示系统 |
| CN109286760A (zh) * | 2018-09-28 | 2019-01-29 | 上海连尚网络科技有限公司 | 一种娱乐视频制作方法及其终端 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000175167A (ja) * | 1998-12-01 | 2000-06-23 | Funai Electric Co Ltd | Ｔｖ電話装置 |
| JP2000261774A (ja) * | 1999-03-09 | 2000-09-22 | Matsushita Electric Ind Co Ltd | 人物画切り出し伝送方法 |
| JP2001127990A (ja) * | 1999-11-01 | 2001-05-11 | Mega Chips Corp | 情報通信システム |
| CN1306722A (zh) * | 1998-06-22 | 2001-08-01 | 富士写真胶片株式会社 | 摄影装置及其方法 |
| JP2002281465A (ja) * | 2001-03-16 | 2002-09-27 | Matsushita Electric Ind Co Ltd | セキュリティ保護処理装置 |
| JP2005110005A (ja) * | 2003-09-30 | 2005-04-21 | Fuji Photo Film Co Ltd | 携帯電話機、画像生成方法、及びプログラム |
| CN1706181A (zh) * | 2002-10-23 | 2005-12-07 | 松下电器产业株式会社 | 图像组合便携式终瑞及其所用的图像组合方法 |
| JP3793520B2 (ja) * | 2002-04-22 | 2006-07-05 | 元井 成幸 | 画像提供装置及び画像提供プログラム |
| KR20070068086A (ko) * | 2005-12-26 | 2007-06-29 | 엠텍비젼 주식회사 | 윤곽선 검출을 이용한 영상 합성 방법 및 장치 |
| CN101213833A (zh) * | 2005-06-08 | 2008-07-02 | 汤姆逊许可公司 | 插入替代图像/视频的方法、装置及系统 |
| CN101500091A (zh) * | 2008-10-16 | 2009-08-05 | 黄福宝 | 两路视频特技的人物合成方法 |
| CN101500092A (zh) * | 2008-10-16 | 2009-08-05 | 黄福宝 | 广播级mtv合成方法 |
| KR20090094793A (ko) * | 2009-08-24 | 2009-09-08 | 주식회사 비즈모델라인 | 화상 또는 영상 합성 방법 |
| CN101543058A (zh) * | 2007-04-02 | 2009-09-23 | M.苏福特有限公司 | 视频合成方法和视频合成系统 |
| CN101588482A (zh) * | 2009-06-02 | 2009-11-25 | 石黎 | 一种车载虚拟全景电子系统 |
| KR20100059493A (ko) * | 2008-11-26 | 2010-06-04 | 유동호 | 영상 합성 시스템 및 그 방법 |
| US20100321534A1 (en) * | 2009-06-19 | 2010-12-23 | Samsung Electronics Co., Ltd. | Method for creating content using a camera of a portable terminal and a portable terminal adapted therefor |
| CN101931797A (zh) * | 2009-06-24 | 2010-12-29 | 中兴通讯股份有限公司 | 移动通信终端和视频通话方法 |
-
2013
- 2013-04-10 CN CN2013101242287A patent/CN103248830A/zh active Pending
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1306722A (zh) * | 1998-06-22 | 2001-08-01 | 富士写真胶片株式会社 | 摄影装置及其方法 |
| JP2000175167A (ja) * | 1998-12-01 | 2000-06-23 | Funai Electric Co Ltd | Ｔｖ電話装置 |
| JP2000261774A (ja) * | 1999-03-09 | 2000-09-22 | Matsushita Electric Ind Co Ltd | 人物画切り出し伝送方法 |
| JP2001127990A (ja) * | 1999-11-01 | 2001-05-11 | Mega Chips Corp | 情報通信システム |
| JP2002281465A (ja) * | 2001-03-16 | 2002-09-27 | Matsushita Electric Ind Co Ltd | セキュリティ保護処理装置 |
| JP3793520B2 (ja) * | 2002-04-22 | 2006-07-05 | 元井 成幸 | 画像提供装置及び画像提供プログラム |
| CN1706181A (zh) * | 2002-10-23 | 2005-12-07 | 松下电器产业株式会社 | 图像组合便携式终瑞及其所用的图像组合方法 |
| JP2005110005A (ja) * | 2003-09-30 | 2005-04-21 | Fuji Photo Film Co Ltd | 携帯電話機、画像生成方法、及びプログラム |
| CN101213833A (zh) * | 2005-06-08 | 2008-07-02 | 汤姆逊许可公司 | 插入替代图像/视频的方法、装置及系统 |
| KR20070068086A (ko) * | 2005-12-26 | 2007-06-29 | 엠텍비젼 주식회사 | 윤곽선 검출을 이용한 영상 합성 방법 및 장치 |
| CN101543058A (zh) * | 2007-04-02 | 2009-09-23 | M.苏福特有限公司 | 视频合成方法和视频合成系统 |
| CN101500091A (zh) * | 2008-10-16 | 2009-08-05 | 黄福宝 | 两路视频特技的人物合成方法 |
| CN101500092A (zh) * | 2008-10-16 | 2009-08-05 | 黄福宝 | 广播级mtv合成方法 |
| KR20100059493A (ko) * | 2008-11-26 | 2010-06-04 | 유동호 | 영상 합성 시스템 및 그 방법 |
| CN101588482A (zh) * | 2009-06-02 | 2009-11-25 | 石黎 | 一种车载虚拟全景电子系统 |
| US20100321534A1 (en) * | 2009-06-19 | 2010-12-23 | Samsung Electronics Co., Ltd. | Method for creating content using a camera of a portable terminal and a portable terminal adapted therefor |
| CN101931797A (zh) * | 2009-06-24 | 2010-12-29 | 中兴通讯股份有限公司 | 移动通信终端和视频通话方法 |
| KR20090094793A (ko) * | 2009-08-24 | 2009-09-08 | 주식회사 비즈모델라인 | 화상 또는 영상 합성 방법 |
Non-Patent Citations (1)
| Title |
|---|
| 刘光亮: "基于增强现实技术的3D乙肝病毒宣传册", 《计算机光盘软件与应用》, 30 September 2012 (2012-09-30), pages 48 - 49 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559713B (zh) * | 2013-11-10 | 2017-01-11 | 深圳市幻实科技有限公司 | 一种提供增强现实的方法及终端 |
| CN106664465A (zh) * | 2014-07-09 | 2017-05-10 | 郑芝娟 | 用于创建和再现增强现实内容的系统以及使用其的方法 |
| CN106664465B (zh) * | 2014-07-09 | 2020-02-21 | 郑芝娟 | 用于创建和再现增强现实内容的系统以及使用其的方法 |
| CN106161988A (zh) * | 2015-03-26 | 2016-11-23 | 成都理想境界科技有限公司 | 一种增强现实视频生成方法 |
| CN106303289A (zh) * | 2015-06-05 | 2017-01-04 | 福建凯米网络科技有限公司 | 一种将真实对象与虚拟场景融合显示的方法、装置及系统 |
| CN106303289B (zh) * | 2015-06-05 | 2020-09-04 | 福建凯米网络科技有限公司 | 一种将真实对象与虚拟场景融合显示的方法、装置及系统 |
| CN107105173A (zh) * | 2017-04-24 | 2017-08-29 | 武汉折叠空间科技有限公司 | 一种互动型自助视频制作方法 |
| CN108108023A (zh) * | 2018-01-02 | 2018-06-01 | 联想(北京)有限公司 | 一种显示方法和显示系统 |
| US10809532B2 (en) | 2018-01-02 | 2020-10-20 | Lenovo (Beijing) Co., Ltd. | Display method and display system |
| CN109286760A (zh) * | 2018-09-28 | 2019-01-29 | 上海连尚网络科技有限公司 | 一种娱乐视频制作方法及其终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103248830A (zh) | 面向移动智能终端增强现实的实时视频合并方法 | |
| US11024092B2 (en) | System and method for augmented reality content delivery in pre-captured environments | |
| CN106331850B (zh) | 浏览器直播客户端、浏览器直播系统及浏览器直播方法 | |
| US11057646B2 (en) | Image processor and image processing method | |
| CN106303289B (zh) | 一种将真实对象与虚拟场景融合显示的方法、装置及系统 | |
| US20160381398A1 (en) | Generating and transmitting metadata for virtual reality | |
| CN106815555B (zh) | 一种分布式场景目标识别的增强现实方法及系统 | |
| CN110809173B (zh) | 基于智能手机ar增强现实的虚拟直播方法及系统 | |
| WO2015024362A1 (zh) | 一种图像处理方法及设备 | |
| EP3434021B1 (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
| WO2013143380A1 (zh) | 一种视频模拟形象的通信方法和装置 | |
| KR20170106389A (ko) | 독립적으로 인코딩된 배경 업데이트들에 기초한 비디오 송신 | |
| CN111163318A (zh) | 一种基于反馈优化的人机视觉编码方法和装置 | |
| CN114786040B (zh) | 数据通信方法、系统、电子设备和存储介质 | |
| CN114938408B (zh) | 一种云手机的数据传输方法、系统、设备及介质 | |
| CN111083311A (zh) | 一种无人机机载多路视频与pos数据的同步系统与方法 | |
| CN103037206A (zh) | 视频传输方法和系统 | |
| CN101931797A (zh) | 移动通信终端和视频通话方法 | |
| CN107580228B (zh) | 一种监控视频处理方法、装置及设备 | |
| CN103475877A (zh) | 视频传输方法和系统 | |
| CN114640882B (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
| KR20220117288A (ko) | 볼류메트릭 비디오 객체의 뷰를 이용한 실제 환경의 뷰 증강 | |
| Ilola et al. | Real-time Delivery of Visual Volumetric Video-based Coding Data | |
| CN213817958U (zh) | 一种基于海思hi3520平台网络高清视频图形叠加器 | |
| WO2024115959A1 (en) | Holographic communication pipeline |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20130814 |