CN106851386A - 基于Android系统的电视终端中增强现实的实现方法及装置 - Google Patents

基于Android系统的电视终端中增强现实的实现方法及装置 Download PDF

Info

Publication number
CN106851386A
CN106851386A CN201710189003.8A CN201710189003A CN106851386A CN 106851386 A CN106851386 A CN 106851386A CN 201710189003 A CN201710189003 A CN 201710189003A CN 106851386 A CN106851386 A CN 106851386A
Authority
CN
China
Prior art keywords
augmented reality
view data
television terminal
image data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710189003.8A
Other languages
English (en)
Other versions
CN106851386B (zh
Inventor
王晓松
李鑫
修建竹
李成成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Electronics Co Ltd
Original Assignee
Qingdao Hisense Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Electronics Co Ltd filed Critical Qingdao Hisense Electronics Co Ltd
Priority to CN201710189003.8A priority Critical patent/CN106851386B/zh
Publication of CN106851386A publication Critical patent/CN106851386A/zh
Application granted granted Critical
Publication of CN106851386B publication Critical patent/CN106851386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

本发明揭示了一种基于Android系统的电视终端中增强现实的实现方法及装置。所述方法包括：调用所述Android系统HAL层的摄像头接口截取屏幕待显示的图像数据，按照摄像头默认格式对待显示的图像数据进行格式转换，将完成格式转换的图像数据传送至电视终端配置的增强现实引擎，以触发增强现实引擎为图像数据进行增强现实显示。由上述方法可知，该方法可通过调用摄像头接口获得屏幕待显示的图像数据，并按照摄像头默认格式对待显示的图像数据进行格式转换，将完成格式转换的图像数据传送至增强现实引擎，从而触发增强现实引擎在电视终端上实现增强现实显示，解决了由于增强现实引擎支持的图像数据格式的限制而无法在电视终端中实现增强现实技术的技术问题。

Description

基于Android系统的电视终端中增强现实的实现方法及装置
技术领域
本发明涉及计算机应用技术领域，特别涉及一种基于Android系统的电视终端中增强现实的实现方法及装置。
背景技术
随着计算机应用技术的发展，增强现实技术被越来越普遍的应用于各种便携移动终端，以实现各种虚拟场景的交互。
增强现实技术在移动终端的实现，是移动终端将自身摄像头录制的图像数据，传输给增强现实引擎。增强现实引擎对摄像头录制的图像数据进行识别和跟踪，从而对摄像头录制的图像进行增强现实显示，实现虚拟场景与现实场景相结合。
现如今市场上的增强现实引擎大多数仅能支持基于移动终端的摄像头录制的图像数据格式，而不支持电视终端输出的图像数据格式。因此，增强现实技术的应用，不得不局限于具有摄像头的移动终端，并无法应用于不具备摄像头的其它终端。
也就是说，增强现实技术的应用，由于增强现实引擎支持的图像数据格式的限制，而使得其无法在不具备摄像头的终端，如电视终端中实现。
发明内容
为了解决相关技术中存在的增强现实技术的应用由于增强现实引擎支持的图像数据格式的限制而无法在电视终端中实现增强现实技术的技术问题，本发明提供了一种基于Android系统的电视终端中增强现实的实现方法及装置。
一种基于Android系统的电视终端中增强现实的实现方法，所述方法包括：
调用所述Android系统HAL层的摄像头接口截取屏幕待显示的图像数据；
按照摄像头默认格式对所述待显示的图像数据进行格式转换；
将完成所述格式转换的图像数据传送至所述电视终端配置的增强现实引擎，以触发所述增强现实引擎为所述图像数据进行增强现实显示。
一种基于Android系统的电视终端中增强现实的实现装置，所述装置包括：
获取模块，用于调用所述Android系统HAL层的摄像头接口截取屏幕待显示的图像数据；
转换模块，用于按照摄像头默认格式对所述待显示的图像数据进行格式转换；
增强现实模块，用于将完成所述格式转换的图像数据传送至所述电视终端配置的增强现实引擎，以触发所述增强现实引擎为所述图像数据进行增强现实显示。
本发明的实施例提供的技术方案可以包括以下有益效果：
调用Android系统HAL层的摄像头接口截取屏幕待显示的图像数据，按照摄像头默认格式对待显示的图像数据进行格式转换，将完成格式转换的图像数据传送至电视终端配置的增强现实引擎，以触发增强现实引擎为图像数据进行增强现实显示。由上述方法可知，该方法可通过调用Android系统HAL层的摄像头接口获得屏幕待显示的图像数据，并按照摄像头默认格式对待显示的图像数据进行格式转换，将完成格式转换的图像数据传送至增强现实引擎，从而触发增强现实引擎在电视终端上实现增强现实显示，解决了由于增强现实引擎支持的图像数据格式的限制而无法在电视终端中实现增强现实技术的技术问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种基于Android系统的电视终端中增强现实的实现方法的流程图；
图2是将图像数据通过NEON指令进行多媒体格式转换，获得与摄像头默认格式相符的图像数据在一个实施例的流程图；
图3是图1对应实施例的将完成格式转换的图像数据传送至电视终端配置的增强现实引擎在一个实施例的流程图；
图4是根据一示例性实施例示出的一种基于Android系统的电视终端中增强现实的实现装置框图；
图5是图4对应实施例的转换模块在一个实施例的框图；
图6是图4对应实施例的增强现实模块在一个实施例的框图。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种基于Android系统的电视终端中增强现实的实现方法的流程图。如图1所示，该基于Android系统的电视终端中增强现实的实现方法可以包括以下步骤。
在步骤110中，调用Android系统HAL层的摄像头接口截取屏幕待显示的图像数据。
其中，待显示的图像数据是指电视终端自身运行过程中将要在自身屏幕上显示的图像画面。图像画面的显示是在电视终端的运行过程中持续进行的。
Android系统HAL层为硬件抽象层，用于将硬件抽象化，从而调用该硬件。通过HAL层的摄像头接口调用摄像头进行屏幕录制，从而截取屏幕待显示的图像数据。
电视终端底层配置有实现电视屏幕显示图像画面的显示模块，在显示模块中生成将要在电视终端的屏幕上显示的图像画面，进而将图像画面显示在电视终端的屏幕上。通过摄像头对显示模块中的将要在电视终端的屏幕上显示的图像画面进行屏幕录制，完成电视终端中图像画面捕获，进而通过所持续进行的屏幕录制而获得图像数据。可以理解的，对于持续进行的屏幕录制，所分别录制下来的若干个图像画面便形成了电视终端中图像画面显示的图像数据。图像数据携带着所进行屏幕录制的每一图像画面的图像数据。屏幕录制动作在电视终端的运行中，是随着增强现实的触发而执行的。
具体而言，为电视终端配置了增强现实显示功能。在触发此增强现实显示功能时，便触发电视终端中获取图像数据的进行，进而方能够随着电视终端中图像画面的显示而持续获得与之相对应的图像数据。
在此应当说明的是，借助于电视终端中获取图像数据的进行，而获得图像数据，经由图像数据来获知电视终端中所播放图像画面的内容，为后续所进行的增强实现的最终实现提供触发基础。
获取图像数据的过程，实质为虚拟摄像头的过程。因此，可对获取图像数据的过程进行各种参数的设置，例如，设置获取图像的分辨率，帧率等参数，由于电视终端中显示的图像画面将用于作为后续增强现实显示中的现实画面，因此，对获取图像数据的过程进行参数设置后，电视终端中显示的图像画面的实际效果应当是与增强现实显示所需的图像画面效果相适应的。
在步骤130中，按照摄像头默认格式对待显示的图像数据进行格式转换。
其中，在一个实施例中，图像数据格式(即颜色编码方法)采用YUV格式，其中Y表示灰阶值，只存在Y分量时表示为黑白灰度图像，因此Y分量可以单独表示画面的基本信息。由于Y分量可以单独表示画面的基本信息，所以图像识别算法对图像数据识别时通过处理Y通道来实现，从而减少识别时产生的性能损失。
其中，摄像头默认格式YUV420SP格式的Y通道是单独存放的，利于增强现实引擎对Y通道进行识别，YUV420SP格式也支持大多数增强现实引擎对其进行识别。但目前实施例中的电视终端经过屏幕录制得到的图像数据的数据格式为YUV422格式，因此需要将YUV422格式转换为YUV420SP格式来支持增强现实引擎进行识别。
将获得的YUV422格式待显示的图像数据按照摄像头默认格式YUV420SP进行转换，获得YUV420SP格式的图像数据。
在步骤150中，将完成格式转换的图像数据传送至电视终端配置的增强现实引擎，以触发增强现实引擎为图像数据进行增强现实显示。
增强现实引擎，用于为所在终端实现增强现实显示。增强现实引擎将以输入的图像画面为现实画面，进行现实画面和虚拟画面的叠加，以此来实现所在终端中的虚拟现实显示，即电视终端的增强现实功能。增强现实引擎被配置于电视终端，将随着电视终端的运行触发增强现实引擎开始运行。
增强现实引擎通过识别和跟踪图像数据中的增强现实标志实现图像数据的增强现实显示。增强现实标志为电视终端上显示的任意区域的图像画面，预先将增强现实标志制成模板添加到增强现实引擎中，增强现实引擎根据模板通过图像识别算法将拿到的图像数据进行计算，识别图像数据中是否有能与模板中数据相符合的数据，图像数据中相符合的数据即为获取的增强现实标志的数据。识别到增强现实标志后，对增强现实标志中的位置信息进行跟踪，从而通过图像识别算法计算增强现实标志的位置信息，增强现实引擎根据增强现实标志的图像数据识别图像数据中的增强现实标志。增强现实标志可以是完整的一幅画面，也可以是画面中的一部分。
根据图像位置信息，通过对增强现实标志所在的图像画面叠加画面，在现实画面上显示叠加的虚拟画面，电视终端在屏幕显示现实画面的同时显示虚拟画面，实现增强现实显示。
叠加的虚拟画面预先配置于增强现实引擎，虚拟画面可以是用绘图工具制成的图像，也可以直接叠加现成的图。
在一个示例性实施例中，电视终端中所使用的增强现实引擎可实现图像的旋转功能，但电视终端中显示的图像不适于进行旋转操作，因此为使增强现实引擎适配于电视终端的应用环境中，去除增强现实引擎的旋转操作功能。
此实施例实现了电视终端上的增强现实技术，解决了由于增强现实引擎支持的图像数据格式的限制而无法在电视终端中实现增强现实技术的技术问题。
在一个示例性实施例中，图1所示实施例的按照摄像头默认格式对图像数据进行格式转换可以包括以下步骤。
将图像数据通过NEON指令进行多媒体格式转换，获得与摄像头默认格式相符的图像数据。
其中NEON是ARM架构处理器的扩展结构，用于处理传送至NEON引擎的图像数据。多媒体格式转换是指将图像数据按照摄像头默认格式进行转换的过程。NEON引擎将获得的YUV422格式的图像数据进行转换，从而获得用与摄像头默认格式相符YUV420SP相符的图像数据。
此实施例实现了获得与摄像头默认格式相符的图像数据。
图2是将图像数据通过NEON指令进行多媒体格式转换，获得与摄像头默认格式相符的图像数据在一个实施例的流程图。
在步骤210中，将从显示模块获得的图像数据传送至NEON引擎。
其中，从电视终端中的显示模块获得的图像数据需传送至NEON引擎进行格式转换处理，从而使图像数据能够适配于增强现实引擎。
将从显示模块获得的图像数据，在电视终端中传送给NEON引擎进行转换处理。
在步骤230中，触发NEON引擎将图像数据进行多媒体格式转换获得与摄像头默认格式相符的图像数据。
在一个示例性实施例的具体实现中，多媒体格式转换包括以下步骤。
NEON引擎电视终端通过获取将要显示至屏幕的图像数据。对于获得的图像数据，其图像数据格式为YUV422格式，通过格式转换，将YUV422格式转换为YUV420SP格式，使该图像数据的数据格式适配于增强现实引擎，从而在增强现实引擎识别图像数据过程中，保证增强现实引擎的识别性能，使得增强现实引擎可以更高效地对图像数据进行增强现实显示的处理。
虚拟摄像头客户端为电视终端中配置的模块，用于将图像数据传送给增强现实引擎。将进行多媒体格式转换后的图像数据传送给虚拟摄像头客户端，从而实现将图像数据传送给增强现实引擎，实现增强现实的显示。
此实施例实现了图像数据的多媒体格式转换。
在一个示例性实施例中，图2对应实施例的触发NEON引擎将图像数据进行多媒体格式转换而获得与摄像头默认格式相符的图像数据可以包括以下步骤。
触发NEON引擎通过将图像数据的数据排列方式转换成与摄像头默认格式相同的数据排列方式，进行图像数据的多媒体格式转换。
其中，传送至NEON引擎的图像数据的数据格式为YUV422格式，YUV422 格式中包含Y，U，V三个通道。摄像头默认格式YUV420SP格式中也包含Y，U，V三个通道，但三个通道的数据排列方式与YUV422格式的数据排列方式不同。
因此，通过更改图像数据的数据排列方式，即将图像数据YUV422格式的数据排列方式转换成摄像头默认格式YUV420SP格式的数据排列方式，实现图像数据的多媒体转换。得到与摄像头默认格式相同的图像数据。
此实施例通过转换图像数据的数据排列方式，实现图像数据的多媒体转换。
图3是根据一示例性实施例示出的对步骤150的细节进行描述。如图3所示，该步骤150可以包括以下步骤。
在步骤151中，虚拟摄像头客户端接收与摄像头默认格式相符的图像数据。
其中，虚拟摄像头客户端接收到经过多媒体格式转换的，与摄像头默认格式相符的图像数据，并准备将图像数据传送至增强现实引擎，从而实现增强现实的显示。
在步骤153中，将接收的图像数据通过电视终端中的本地框架层传送至电视终端配置的增强现实引擎。
其中，首先应当说明的是，获得的图像数据需要传输到增强现实引擎进行识别跟踪，因此需要通过本地框架层和应用框架层之间的通信，将图像数据填充至应用框架层配置的缓冲区，并触发增强现实引擎从缓冲区读取图像数据的方法，实现图像数据传输到增强现实引擎的过程。
本地框架层用于获取图像数据，应用框架层用于实现图像数据的传输过程。通过本地框架层和应用框架层进行通信，实现传输图像数据到增强现实引擎的功能。
在电视终端初始化时，应用框架层会配置缓冲区，图像数据需通过缓冲区传输到增强现实引擎。其中，应用框架层可以改变设置的缓冲区的数据容量大小。
当获得图像数据之后，本地框架层通过上层设置的回调函数，将存储图像数据的共享内存地址传输到JNI层。应用框架层通过回调函数，获取JNI层中存储图像数据的共享内存地址，并将本地框架层存储的图像数据流填充至因共用框架层配置的缓冲区。对于本发明，此方法仅供参考，实际实现方法并不局限于此。
当图像数据传输到应用架构层配置的缓冲区后，应用框架层利用增强现实引擎中设置的传输接口，将图像数据传输给增强现实引擎，从而完成将图像数据传输到增强现实引擎的功能，对于本发明，此方法仅供参考，实际实现方法并不局限于此。
此实施例实现将图像数据传送至增强现实引擎。
图4是根据一示例性实施例示出的一种基于Android系统的电视终端中增强现实的实现装置框图。该装置执行图1任一所示的基于Android系统的电视终端中增强现实的实现方法的全部或者部分步骤。如图4所示，该装置包括但不限于：获取模块310，转换模块330和增强现实模块350。
获取模块310用于调用Android系统HAL层的摄像头接口截取屏幕待显示的图像数据。
转换模块330用于按照摄像头默认格式对待显示的图像数据进行格式转换。
增强现实模块350用于将完成格式转换的图像数据传送至电视终端配置的增强现实引擎，以触发增强现实引擎为图像数据进行增强现实显示。
在一个示例性实施例中，图4对应实施例的转换模块还用于将图像数据通过NEON指令进行多媒体格式转换，获得与摄像头默认格式相符的图像数据。
图5是图4对应实施例的转换模块在一个实施例的框图。如图5所示，转换模块330包括但不限于：传送单元331和转换触发单元333。
传送单元331用于将从显示模块获得的图像数据传送至NEON引擎。
转换触发单元333用于触发NEON引擎将图像数据进行多媒体格式转换以获得与摄像头默认格式相符的图像数据。
在一个示例性实施例中，图5对应实施例的转换触发单元333还用于触发NEON引擎通过将图像数据的数据排列方式转换成与摄像头默认格式相同的数据排列方式，进行图像数据的多媒体格式转换。
图6是图4对应实施例的增强现实模块在一个实施例的框图。如图6所示，增强现实模块350但不限于：接收单元351和本地调用单元353。
接收单元351用于接收与摄像头默认格式相符的图像数据。
本地调用单元353用于将接收的图像数据通过电视终端中的本地框架层传送至电视终端配置的增强现实引擎。
上述装置中各个模块的功能和作用的实现过程详见上述基于Android系统的电视终端中增强现实的实现方法中对应步骤的实现过程，在此不再赘述。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于Android系统的电视终端中增强现实的实现方法，其特征在于，所述方法包括：
调用所述Android系统HAL层的摄像头接口截取屏幕待显示的图像数据；
按照摄像头默认格式对所述待显示的图像数据进行格式转换；
将完成所述格式转换的图像数据传送至所述电视终端配置的增强现实引擎，以触发所述增强现实引擎为所述图像数据进行增强现实显示。
2.根据权利要求1所述的方法，其特征在于，所述按照摄像头默认格式对所述图像数据进行格式转换步骤包括：
将所述图像数据通过NEON指令进行多媒体格式转换，获得与摄像头默认格式相符的图像数据。
3.根据权利要求2所述的方法，其特征在于，所述将所述图像数据通过NEON指令进行多媒体格式转换，获得与摄像头默认格式相符的图像数据包括：
将从所述显示模块获得的图像数据传送至NEON引擎；
触发所述NEON引擎将所述图像数据进行多媒体格式转换以获得与摄像头默认格式相符的图像数据。
4.根据权利要求3所述的方法，其特征在于，所述触发所述NEON引擎将所述图像数据进行多媒体格式转换而获得与摄像头默认格式相符的图像数据步骤包括：
触发所述NEON引擎通过将所述图像数据的数据排列方式转换成与所述摄像头默认格式相同的数据排列方式，进行所述图像数据的多媒体格式转换。
5.根据权利要求3所述的方法，其特征在于，所述将完成所述格式转换的图像数据传送至所述电视终端配置的增强现实引擎步骤包括：
所述虚拟摄像头客户端接收与摄像头默认格式相符的图像数据；
将接收的所述图像数据通过电视终端中的本地框架层传送至所述电视终端配置的增强现实引擎。
6.一种基于Android系统的电视终端中增强现实的实现装置，其特征在于，所述装置包括：
获取模块，用于调用所述Android系统HAL层的摄像头接口截取屏幕待显示的图像数据；
转换模块，用于按照摄像头默认格式对所述待显示的图像数据进行格式转换；
增强现实模块，用于将完成所述格式转换的图像数据传送至所述电视终端配置的增强现实引擎，以触发所述增强现实引擎为所述图像数据进行增强现实显示。
7.根据权利要求6所述的装置，其特征在于，所述转换模块还用于将所述图像数据通过NEON指令进行多媒体格式转换，获得与摄像头默认格式相符的图像数据。
8.根据权利要求7所述的装置，其特征在于，所述转换模块包括：
传送单元，用于将从所述显示模块获得的图像数据传送至NEON引擎；
转换触发单元，用于触发所述NEON引擎将所述图像数据进行多媒体格式转换以获得与摄像头默认格式相符的图像数据。
9.根据权利要求8所述的装置，其特征在于，所述转换触发单元还用于触发所述NEON引擎通过将所述图像数据的数据排列方式转换成与所述摄像头默认格式相同的数据排列方式，进行所述图像数据的多媒体格式转换。
10.根据权利要求8所述的装置，其特征在于，所述增强现实模块包括：
接收单元，用于接收与摄像头默认格式相符的图像数据；
本地调用单元，用于将接收的所述图像数据通过电视终端中的本地框架层传送至所述电视终端配置的增强现实引擎。
CN201710189003.8A 2017-03-27 2017-03-27 基于Android系统的电视终端中增强现实的实现方法及装置 Active CN106851386B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710189003.8A CN106851386B (zh) 2017-03-27 2017-03-27 基于Android系统的电视终端中增强现实的实现方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710189003.8A CN106851386B (zh) 2017-03-27 2017-03-27 基于Android系统的电视终端中增强现实的实现方法及装置

Publications (2)

Publication Number Publication Date
CN106851386A true CN106851386A (zh) 2017-06-13
CN106851386B CN106851386B (zh) 2020-05-19

Family

ID=59131116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710189003.8A Active CN106851386B (zh) 2017-03-27 2017-03-27 基于Android系统的电视终端中增强现实的实现方法及装置

Country Status (1)

Country Link
CN (1) CN106851386B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104632A (zh) * 2018-09-27 2018-12-28 聚好看科技股份有限公司 一种电视终端ar场景的实现方法及系统
CN109655010A (zh) * 2018-10-31 2019-04-19 上海畅联智融通讯科技有限公司 一种相机动态网格化摄物测量的方法
CN109922292A (zh) * 2019-03-11 2019-06-21 广州视源电子科技股份有限公司 一种录屏系统及其录屏方法
CN109996121A (zh) * 2019-04-12 2019-07-09 晶晨半导体(上海)股份有限公司 一种远程操控视频播放终端的方法
CN110536047A (zh) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 一种视频信号输出电路及摄像机
CN110602378A (zh) * 2019-08-12 2019-12-20 阿里巴巴集团控股有限公司 摄像头拍摄图像的处理方法、装置及设备
CN113254228A (zh) * 2021-03-26 2021-08-13 西安神鸟软件科技有限公司 一种图像或视频数据分发方法及终端设备
CN114286077A (zh) * 2021-01-08 2022-04-05 海信视像科技股份有限公司 一种虚拟现实设备及vr场景图像显示方法
US11562772B2 (en) 2018-10-15 2023-01-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video processing method, electronic device, and storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100701784B1 (ko) * 2005-12-08 2007-04-02 신믿음 마커간 융합을 이용하여 증강현실을 구현하는 방법 및 그장치
US20080221745A1 (en) * 2006-10-02 2008-09-11 Rocket Racing, Inc. Collection and distribution system
CN103916580A (zh) * 2012-12-31 2014-07-09 上海晨兴希姆通电子科技有限公司 安卓系统的移动终端及拍摄方法
CN104240277A (zh) * 2013-06-24 2014-12-24 腾讯科技（深圳）有限公司 基于人脸检测的增强现实交互方法和系统
CN105635716A (zh) * 2015-02-04 2016-06-01 苏州梦想人软件科技有限公司 基于增强现实的聚合媒体方法
CN106231205A (zh) * 2016-08-10 2016-12-14 苏州黑盒子智能科技有限公司 增强现实移动终端
CN106331850A (zh) * 2016-09-18 2017-01-11 上海幻电信息科技有限公司 浏览器直播客户端、浏览器直播系统及浏览器直播方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100701784B1 (ko) * 2005-12-08 2007-04-02 신믿음 마커간 융합을 이용하여 증강현실을 구현하는 방법 및 그장치
US20080221745A1 (en) * 2006-10-02 2008-09-11 Rocket Racing, Inc. Collection and distribution system
CN103916580A (zh) * 2012-12-31 2014-07-09 上海晨兴希姆通电子科技有限公司 安卓系统的移动终端及拍摄方法
CN104240277A (zh) * 2013-06-24 2014-12-24 腾讯科技（深圳）有限公司 基于人脸检测的增强现实交互方法和系统
CN105635716A (zh) * 2015-02-04 2016-06-01 苏州梦想人软件科技有限公司 基于增强现实的聚合媒体方法
CN106231205A (zh) * 2016-08-10 2016-12-14 苏州黑盒子智能科技有限公司 增强现实移动终端
CN106331850A (zh) * 2016-09-18 2017-01-11 上海幻电信息科技有限公司 浏览器直播客户端、浏览器直播系统及浏览器直播方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吕天麒: "基于智能电视的安卓分享器的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李炜锋: "基于Android的有身份识别功能的流媒体播放器的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110536047B (zh) * 2018-05-25 2020-11-13 杭州海康威视数字技术股份有限公司 一种视频信号输出电路及摄像机
CN110536047A (zh) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 一种视频信号输出电路及摄像机
CN109104632A (zh) * 2018-09-27 2018-12-28 聚好看科技股份有限公司 一种电视终端ar场景的实现方法及系统
US11562772B2 (en) 2018-10-15 2023-01-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video processing method, electronic device, and storage medium
CN109655010A (zh) * 2018-10-31 2019-04-19 上海畅联智融通讯科技有限公司 一种相机动态网格化摄物测量的方法
CN109655010B (zh) * 2018-10-31 2020-07-07 上海畅联智融通讯科技有限公司 一种相机动态网格化摄物测量的方法
CN109922292A (zh) * 2019-03-11 2019-06-21 广州视源电子科技股份有限公司 一种录屏系统及其录屏方法
CN109996121A (zh) * 2019-04-12 2019-07-09 晶晨半导体(上海)股份有限公司 一种远程操控视频播放终端的方法
CN110602378B (zh) * 2019-08-12 2021-03-23 创新先进技术有限公司 摄像头拍摄图像的处理方法、装置及设备
CN110602378A (zh) * 2019-08-12 2019-12-20 阿里巴巴集团控股有限公司 摄像头拍摄图像的处理方法、装置及设备
CN114286077A (zh) * 2021-01-08 2022-04-05 海信视像科技股份有限公司 一种虚拟现实设备及vr场景图像显示方法
CN114286077B (zh) * 2021-01-08 2024-05-17 海信视像科技股份有限公司 一种虚拟现实设备及vr场景图像显示方法
CN113254228A (zh) * 2021-03-26 2021-08-13 西安神鸟软件科技有限公司 一种图像或视频数据分发方法及终端设备

Also Published As

Publication number Publication date
CN106851386B (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN106851386A (zh) 基于Android系统的电视终端中增强现实的实现方法及装置
US10021302B2 (en) Video recording method and device
US11729342B2 (en) Designated view within a multi-view composited webcam signal
WO2016208939A1 (en) Method and apparatus for generating and transmitting metadata for virtual reality
CN107659768A (zh) 一种基于Android多应用共享摄像头的系统及方法
CN100507950C (zh) 数字摄像装置的视频动画背景处理方法和系统
CN103260037B (zh) 用于发送相机的帧图像的设备和方法
EP3681144B1 (en) Video processing method and apparatus based on augmented reality, and electronic device
CN103517029B (zh) 可视通话的数据处理方法、终端和系统
CN105554430B (zh) 一种视频通话方法、系统及装置
CN103841326B (zh) 拍摄录像的方法及装置
US20150036020A1 (en) Method for sharing original photos along with final processed image
CN115359105A (zh) 景深扩展图像生成方法、设备及存储介质
JP7218786B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN110433491A (zh) 虚拟观众的动作同步响应方法、系统、装置和存储介质
CN107580228B (zh) 一种监控视频处理方法、装置及设备
CN117609547A (zh) 视频缩略图的显示方法、设备和存储介质
CN116233626B (zh) 图像处理方法、装置及电子设备
CN115550544B (zh) 图像处理方法及装置
CN102754448A (zh) 数据处理装置及数据编码装置
CN106375787A (zh) 视频播放的方法及装置
CN114915722B (zh) 处理视频的方法和装置
CN114553844A (zh) 一种视频时屏幕共享的方法
CN113037947B (zh) 一种连续动态图像中空间信息的编码方法
KR20150056115A (ko) 양방향 카메라를 이용한 객체 추적 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 266000 Qianwan port, Qingdao Economic and Technological Development Zone, Shandong Province

Applicant after: Hisense Visual Technology Co., Ltd.

Address before: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218

Applicant before: QINGDAO HISENSE ELECTRONICS Co.,Ltd.

GR01 Patent grant
GR01 Patent grant