CN105306808A - 视频影像分配方法 - Google Patents

视频影像分配方法 Download PDF

Info

Publication number
CN105306808A
CN105306808A CN201510175190.5A CN201510175190A CN105306808A CN 105306808 A CN105306808 A CN 105306808A CN 201510175190 A CN201510175190 A CN 201510175190A CN 105306808 A CN105306808 A CN 105306808A
Authority
CN
China
Prior art keywords
video camera
image processing
image
out step
processing chain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510175190.5A
Other languages
English (en)
Other versions
CN105306808B (zh
Inventor
林书钰
颜哲渊
陈重光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lianqi holding Co.
Original Assignee
LINKNEXT TECHNOLOGIES CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LINKNEXT TECHNOLOGIES CO Ltd filed Critical LINKNEXT TECHNOLOGIES CO Ltd
Publication of CN105306808A publication Critical patent/CN105306808A/zh
Application granted granted Critical
Publication of CN105306808B publication Critical patent/CN105306808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2183—Cache memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4431—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Studio Devices (AREA)
  • Stored Programmes (AREA)
  • Telephone Function (AREA)

Abstract

本发明涉及一种视频影像分配方法，利用电子装置的硬件平台进行视频影像分配，通过操作系统中的摄影机代理层配合驱动程序经由影像撷取接口接收摄影机所传输的影像，控制摄影机及取得影像执行命令后，便可通过摄影机代理层将原始摄影机影像进行暂存，以及建立与应用程序用户链接的服务执行命令，并通过硬件平台使用指定参数及分配软硬件资源对摄影机传输的来源影像动态建立影像处理链，处理成所要求的格式并加入至已完成处理的多重影像进行暂存后，再将该暂存的多重影像输出分配至多个应用程序用户使用，以满足应用程序用户对于影像不同格式的设定需求均达到优化的效果。

Description

视频影像分配方法
技术领域
本发明涉及一种视频影像分配方法，尤指可通过摄影机代理层将原始摄影机影像进行暂存及建立与应用程序用户链接的服务执行命令，并通过硬件平台使用指定参数及分配软硬件资源对摄影机的来源影像动态建立影像处理链，处理成所要求的格式并加入至已完成处理的多重影像进行暂存后，再输出分配至多个应用程序用户使用。
背景技术
现今电子科技及多媒体技术不断快速蓬勃发展，使得一般手持式或移动式电子装置(如智能手机、平板计算机、笔计本电脑等)已普遍存在于社会上各个角落中，随着因特网的普及，亦有愈来愈多的用户选择以实时通讯工具(如Skype、Line、Viber、YahooMessenger等)作为通话、文字实时聊天或视频的沟通桥梁，更进一步拉近人与人之间的距离。
然而，目前手持式或移动式电子装置主要为通过操作系统驱动摄影机撷取用户的影像，并通过因特网将影像实时传输给其它用户而具有视频通讯的功能，不过受限于本身软硬件上的限制，一般行动操作系统(如Android、iOS、WindowsPhone等)仅检查是否有其它程序已使用该摄影机，且因摄影机硬件同时间只能够服务单一程序用户，并运作在单一影像格式设定(如分辨率、框速率等)上，当多个程序用户同时开启摄影机，并对于影像有不同的格式设定时，其摄影机硬件便无法同时运作以满足多个用户的设定需求，因此如何有效解决多个程序用户存取单一摄影机的影像格式设定冲突，便为从事此行业者所亟欲研究改善的关键。
发明内容
本案发明人有鉴于上述现有技术中的问题与缺失，乃搜集相关数据经由多方的评估及考虑，并利用从事于此行业的多年研发经验不断的试作与修改，始设计出此种视频影像分配方法发明专利。
本发明的主要目的在于电子装置的硬件平台为通过操作系统的摄影机代理层配合驱动程序，经由影像撷取接口接收摄影机所传输的影像，并控制摄影机及取得影像执行命令后，便可通过摄影机代理层来将原始摄影机影像进行暂存，以及建立与应用程序用户链接的服务执行命令，并通过硬件平台使用指定参数及分配软硬件资源对摄影机传输的来源影像动态建立影像处理链，处理成所要求的格式并加入至已完成处理的多重影像进行暂存后，再将该暂存的多重影像输出分配至多个应用程序用户使用，只要软硬件资源允许下即可服务多个应用程序用户，以满足应用程序用户对于影像不同格式的设定需求达到优化的效果，且可方便于用户操作电子装置。
为了达到上述目的，本发明提供了一种视频影像分配方法，该方法为在电子装置的硬件平台中安装一具有摄影机代理层及驱动程序的操作系统，并由驱动程序经由影像撷取接口接收摄影机所传输的影像，再将影像传输至摄影机代理层，摄影机代理层动态建立影像处理链与多重影像队列并分配至多个应用程序用户，以满足影像不同格式的设定需求，该方法包括下列步骤：
(a01)控制摄影机并取得影像执行命令；
(a02)将原始摄影机影像进行暂存；
(a03)摄影机代理层将来源影像建立影像处理链；
(a04)分配软硬件资源并建立影像处理节点后，启用影像处理链处理来源影像并加入至已完成处理的多重影像进行暂存；
(a05)建立与应用程序用户链接的服务执行命令并将暂存的多重影像输出分配至对应的多个应用程序用户。
在本发明的一实施例中，步骤(a01)为利用摄影机硬件、驱动程序或影像撷取框架控制摄影机与取得影像执行命令。
在本发明的一实施例中，该步骤(a03)建立影像处理链的过程包括下列步骤：
(b01)操作系统的摄影机应用程序编程接口接受应用程序用户参数设定的请求；
(b02)判断查询是否已存在该应用程序用户所请求设定参数的影像处理链，若为是，即进行步骤(b03)，若为否，则进行步骤(b05)；
(b03)建立服务执行命令并连接于影像处理链与应用程序用户；
(b04)完成应用程序用户的请求；
(b05)分配软硬件资源找寻适合的暂存来源影像并建立新的影像处理节点；
(b06)判断分配软硬件资源并建立新的影像处理节点是否成功，若为是，即进行步骤(b07)，若为否，则进行步骤(b09)；
(b07)判断是否满足应用程序用户所请求的参数设定，若为是，即进行步骤(b08)，若为否，则进行步骤(209)；
(b08)连接影像处理节点并建立新的影像处理链，再重复执行步骤(b03)；
(b09)拒绝应用程序用户的请求。
在本发明的一实施例中，该应用程序用户查询摄影机参数的过程包括下列步骤：
(c01)应用程序用户通过应用程序编程接口、摄影机服务及摄影机代理层进行参数查询；
(c02)检查是否有已存在的影像处理链及足够的硬件资源，若为是，即进行步骤(e04)，若为否，则进行步骤(e03)；
(c03)输入常用可支持的影像格式列表、硬件资源管理员输入硬件资源使用记录与硬件可支持的影像格式处理及输入作用中的影像处理列表，再进行步骤(e04)；
(c04)参考硬件资源与既存的影像处理链产生可支持的摄影机参数，再将摄影机参数通过摄影机代理层、摄影机服务及应用程序编程接口回传至应用程序用户。
在本发明的一实施例中，该应用程序用户设定摄影机参数的过程包括下列步骤：
(d01)应用程序用户通过应用程序编程接口、摄影机服务及摄影机代理层进行设定参数；
(d02)检查是否有已存在的影像处理链，若为是，即进行步骤(d03)，若为否，则进行步骤(d04)；
(d03)建立摄影机用户与影像处理链对应关系的链接数据，再将设定成功信息通过摄影机代理层、摄影机服务及应用程序编程接口回传至应用程序用户；
(d04)检查是否有足够的硬件资源处理所需的格式，若为是，即进行步骤(d05)，若为否，则进行步骤(d06)；
(d05)依照所要求的格式产生影像处理链，再重复执行步骤(d03)；
(d06)拒绝参数设定，再将设定失败信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户。
在本发明的一实施例中，该步骤(a04)启用影像处理链的过程包括下列步骤：
(e01)应用程序用户通过应用程序编程接口、摄影机服务及摄影机代理层进行启动影像撷取；
(e02)取得与此用户对应的摄影机的影像处理链链接数据；
(e03)检查影像处理链是否已建立，若为是，即进行步骤(e04)，若为否，则进行步骤(e09)；
(e04)检查影像处理链是否已启用，若为是，即进行步骤(e05)，若为否，则进行步骤(e06)；
(e05)建立此用户的服务执行命令，再将启用成功信息通过摄影机代理层、摄影机服务及应用程序编程接口回传至应用程序用户；
(e06)启用影像处理链；
(e07)检查影像处理节点参与的硬件是否已启用，若为是，即重复执行步骤(e05)，若为否，则进行步骤(e08)；
(e08)检查启用与设定相关硬件是否成功，若为是，即重复执行步骤(e05)，若为否，则进行步骤(e09)；
(e09)启用失败，再将启用失败信息通过摄影机代理层、摄影机服务及应用程序编程接口回传至应用程序用户。
在本发明的一实施例中，该步骤(a04)影像处理链处理的过程包括下列步骤：
(f01)通知有暂存的来源影像；
(f02)判断该来源影像是否有新的影像，若为是，即进行步骤(f03)，若为否，则进行步骤(f06)；
(f03)通过指定参数及软硬件资源处理来源影像；
(f04)判断影像处理是否成功，若为是，即进行步骤(f05)，若为否，则进行步骤(f06)；
(f05)将已完成处理的影像加入至指定输出位置进行暂存，再进行步骤(f06)；
(f06)等待下一个暂存的来源影像通知。
在本发明的一实施例中，该步骤(a05)将多重影像输出分配至应用程序用户后停止影像处理链的过程包括下列步骤：
(g01)应用程序用户通过应用程序编程接口、摄影机服务及摄影机代理层停止影像撷取；
(g02)取得与此用户对应的摄影机的影像处理链链接数据；
(g03)检查影像处理链是否已建立，若为是，即进行步骤(g04)，若为否，则进行步骤(g08)；
(g04)检查影像处理链是否已启用，若为是，即进行步骤(g05)，若为否，则进行步骤(g08)；
(g05)停止影像处理链；
(g06)检查相关影像处理节点是否有被其它的影像处理链共享，若为是，即进行步骤(g08)，若为否，则进行步骤(g07)；
(g07)停止该影像处理节点相关硬件与释放相关资源，再进行步骤(g08)；
(g08)停止服务执行命令，再将停止成功信息通过摄影机代理层、摄影机服务及应用程序编程接口回传至应用程序用户。
附图说明
图1为本发明较佳实施例的方块图；
图2为本发明较佳实施例的步骤流程图；
图3为本发明建立影像处理链的步骤流程图；
图4为本发明较佳实施例查询摄影机参数的步骤流程图；
图5为本发明较佳实施例设定摄影机参数的步骤流程图；
图6为本发明较佳实施例启用影像处理链的步骤流程图；
图7为本发明较佳实施例影像处理链处理过程的步骤流程图；
图8为本发明较佳实施例停止影像处理链的步骤流程图。
附图标记说明：1-电子装置；11-硬件平台；12-操作系统；13-摄影机代理层；14-驱动程序；15-影像撷取接口；16-摄影机；17-应用程序用户。
具体实施方式
为达成上述目的及功效，本发明所采用的技术手段及其构造，兹绘图就本发明的较佳实施例详加说明其构造与功能如下。
如图1、图2、图3所示，分别为本发明较佳实施例的方块图、步骤流程图及建立影像处理链的步骤流程图，由图中可清楚看出，本发明提供的视频影像分配方法为利用手持式或移动式电子装置1(如智能手机、平板计算机、笔记本电脑等)，该电子装置1的硬件平台(HardwarePlatform)11为安装有具有摄影机代理层(ProprietaryCameraLayer)13及驱动程序14的操作系统(Operatingsystem)12，并由驱动程序14经由影像撷取接口15接收摄影机16所传输的影像，再将影像传输至摄影机代理层13，摄影机代理层13动态建立影像处理链与多重影像队列并分配至多个应用程序(Application)用户17。
另外，电子装置1的硬件平台11包括有中央处理器(CPU)、硬件/软件共享内存(HW/SWSharedMemory)、硬件视频接口(HWCameraInterface(DMA))、影像传感器(ImageSensor+ISP)、硬件视频编码器(HardwareVideoEncoder)、2D处理器(2DProcessor(Scaler、ColorSpaceConversion、Blitter))及3D处理器(3DProcessor(PixelShader、FragmentShader))等，而操作系统12较佳实施可为以Linux作基础开放原始码的Android行动操作系统，并具有AndroidCameraAPI(应用程序编程接口)、AndroidAPIs及AndroidCoreServices/SystemFrameworks等，再由LinkNextProprietaryAPI连接有一摄影机代理层13，而摄影机代理层13为包括有摄录像器(CameraRecorder)、多媒体串流服务器(StreamingServer)、缓冲队列(BufferQueue)、影像处理及原生视频缓冲队列(Imageprocessing及OriginalCameraBufferQueue)，且该摄影机代理层13亦可为基于主处理器(HostProcessor)上运行算法的软件，但于实际应用时，也可为视频编码器(VideoEncoder)、后处理器(Post－Processor)、2D加速器(2DAccelerator)等硬件，或者是基于绘图处理器(GPU)上运行影像处理算法的像素着色器(PixelShader)、片段着色器(FragmentShader)。
然而，上述的操作系统11所安装内建的驱动程序14则可为LinuxKernel，并具有CameraDriver/V4L2(Video4Linux2)Framwork、AndroidIPC(行程间通讯)Driver及AndroidIONBuffermanagementDriver，便可通过操作系统12配合摄影机代理层13及驱动程序14，通过硬件平台11使用指定的参数及软硬件资源对摄影机16传输的来源影像动态建立影像处理链，并将来源影像处理成要求的格式与多重影像队列，再分配至多个应用程序用户17，此部分有关摄影机代理层13如何建立影像处理链的各影像处理节点，并利用CameraImageQueue经由VideoEncoder、StreamBufferQueue，Scaler、ImageBufferQueue、VideoEncoder、StreamBufferQueue进行处理来源影像，再由Recorder、StreamingServer、AndroidAPI传输至应用程序用户17进行动态影像的播放；或者是CameraImageQueue经由2DAccelerator、Framebuffer处理来源影像，再直接由显示器控制器(LCDcontroller)通过视频接口(DISPlayPort)或高分辨率多媒体接口(HDMI)进行动态影像播放为现有技术，且该影像处理的方式很多，亦并非本案的发明要点，兹不再作赘述。
当利用本发明提供的视频影像分配方法时，依照下列步骤实施：
(101)控制摄影机16并取得影像执行命令。
(102)将原始摄影机影像进行暂存。
(103)摄影机代理层13将来源影像建立影像处理链。
(104)分配软硬件资源并建立影像处理节点后启用影像处理链处理来源影像并加入至已完成处理的多重影像进行暂存。
(105)建立与应用程序用户17链接的服务执行命令并将暂存的多重影像输出分配至对应的多个应用程序用户17。
再者，上述步骤(103)建立影像处理链的过程包括下列步骤：
(201)操作系统12中的摄影机应用程序编程接口(CameraAPI)接受应用程序用户17参数设定的请求。
(202)判断查询是否已存在该应用程序用户17所请求设定参数的影像处理链，若为是，即进行步骤(203)，若为否，则进行步骤(205)。
(203)建立服务执行命令并连接于影像处理链与应用程序用户17。
(204)完成应用程序用户17的请求。
(205)分配软硬件资源找寻适合的暂存来源影像队列并建立新的影像处理节点。
(206)判断分配软硬件资源并建立新的影像处理节点是否成功，若为是，即进行步骤(207)，若为否，则进行步骤(209)。
(207)判断是否满足应用程序用户17所请求的参数设定，若为是，即进行步骤(208)，若为否，则进行步骤(209)。
(208)连接影像处理节点并建立新的影像处理链，再重复执行步骤(203)。
(209)拒绝应用程序用户17的请求。
由上述实施步骤可清楚得知，本发明中电子装置1的硬件平台11为可通过操作系统12的摄影机代理层13配合驱动程序14，经由影像撷取接口15接收摄影机16所传输的影像，并利用摄影机16硬件、驱动程序14或影像撷取框架控制摄影机16(如光圈、快门速度、感亮度、变焦、自动对焦、背光补偿等)及取得影像执行命令后，便可通过摄影机代理层13将原始摄影机影像进行暂存在硬件平台11的HW或SWSharedMemory，以及建立与应用程序用户17链接的服务执行命令的相关数据，并通过硬件平台11使用指定参数及分配软硬件资源对摄影机16传输的来源影像动态建立影像处理链，处理成所要求的格式(如影像大小、色调、分辨率、动态影像与声音的压缩编码格式、格放速率、数据传输率等)加入至已完成处理的多重影像进行暂存后，再将暂存的多重影像输出分配至多个应用程序用户17使用，只要硬件平台11的软硬件资源允许下即可服务多个应用程序用户17，以满足应用程序用户17对于影像不同格式的设定需求达到优化的效果，且可方便于用户来操作电子装置1。
如图4、图5、图6、图7、图8所示，分别为本发明较佳实施例查询摄影机参数的步骤流程图、设定摄影机参数的步骤流程图、启用影像处理链的步骤流程图、影像处理链处理过程的步骤流程图及停止影像处理链的步骤流程图，由图中可清楚看出，其中该电子装置1的应用程序用户17较佳实施可为Skype应用程序编程接口，但于实际应用时，亦可为Line、WeChat、Viber、YahooMessenger或其它安装于操作系统12(如Android、iOS、WindowsPhone等)内的应用程序编程接口。
当应用程序用户17进行查询摄影机参数时包括下列步骤：
(301)应用程序用户17通过应用程序编程接口、摄影机服务及摄影机代理层13进行参数查询。
(302)检查是否有已存在的影像处理链及足够的硬件资源，若为是，即进行步骤(304)，若为否，则进行步骤(303)。
(303)输入常用可支持的影像格式列表、硬件资源管理员输入硬件资源使用记录与硬件可支持的影像格式处理及输入作用中的影像处理列表，再进行步骤(304)。
(304)参考硬件资源与既存的影像处理链产生可支持的摄影机参数，再将摄影机参数通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17。
由上述实施步骤可清楚得知，本发明中电子装置1的应用程序用户17为通过应用程序编程接口、摄影机服务及摄影机代理层13进行摄影机参数查询，当检查有已存在的影像处理链及足够的硬件资源时，便会参考硬件资源与既存的影像处理链而产生可支持的摄影机参数，再将摄影机参数通过摄影机代理层13、摄影机服务及应用程序编程接口而回传至应用程序用户17；当检查没有存在的影像处理链以及没有足够的硬件资源时，便会输入常用可支持的影像格式列表、硬件资源管理员输入硬件资源使用记录与硬件可支持的影像格式处理及输入作用中的影像处理列表，并再次检查有已存在的影像处理链及足够的硬件资源，才会将摄影机参数通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17进行后续动作。
另外，当应用程序用户17进行设定摄影机参数时包括下列步骤：
(401)应用程序用户17通过应用程序编程接口、摄影机服务及摄影机代理层13进行设定参数。
(402)检查是否有已存在的影像处理链，若为是，即进行步骤(403)，若为否，则进行步骤(404)。
(403)建立摄影机用户与影像处理链对应关系的链接数据，再将设定成功信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17。
(404)检查是否有足够的硬件资源处理所需的格式，若为是，即进行步骤(405)，若为否，则进行步骤(406)。
(405)依照所要求的格式产生影像处理链，再重复执行步骤(403)。
(406)拒绝参数设定，再将设定失败信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17。
由上述实施步骤可清楚得知，本发明中电子装置1的应用程序用户17为通过应用程序编程接口、摄影机服务及摄影机代理层13进行设定摄影机参数，当检查有已存在的影像处理链时，便会建立摄影机用户与影像处理链对应关系的链接数据，再将设定成功信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17，若是检查没有存在的影像处理链但有足够的硬件资源所需的格式时，便会依照所要求的格式产生影像处理链，并再次进行上述步骤建立摄影机用户与影像处理链对应关系的链接数据后，再将设定成功信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17；当检查没有已存在的影像处理链以及没有足够的硬件资源处理所需的格式时，则拒绝参数设定，再将设定失败信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17进行后续动作。
然而，上述步骤(104)进行启用影像处理链时包括下列步骤：
(501)应用程序用户17通过应用程序编程接口、摄影机服务及摄影机代理层13进行启动影像撷取。
(502)取得与此用户对应的摄影机16的影像处理链链接数据。
(503)检查影像处理链是否已建立，若为是，即进行步骤(504)，若为否，则进行步骤(509)。
(504)检查影像处理链是否已启用，若为是，即进行步骤(505)，若为否，则进行步骤(506)。
(505)建立此用户的服务执行命令，再将启用成功信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17。
(506)启用影像处理链。
(507)检查影像处理节点参与的硬件是否已启用，若为是，即重复执行步骤(505)，若为否，则进行步骤(508)。
(508)检查启用与设定相关硬件是否成功，若为是，即重复执行步骤(505)，若为否，则进行步骤(509)。
(509)启用失败，再将启用失败信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17。
由上述实施步骤可清楚得知，本发明电子装置1的应用程序用户17为通过应用程序编程接口、摄影机服务及摄影机代理层13启动摄影机16进行影像撷取，并取得与此应用程序用户17对应的摄影机16的影像处理链链接数据，当检查该影像处理链已建立且启用时，便会建立此用户的服务执行命令，再将启用成功信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17，若检查影像处理链没有启用时，便会启用影像处理链并检查影像处理节点参与的硬件已启用后再次进行上述步骤建立此用户的服务执行命令，并将启用成功信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17进行通知；当检查影像节点参与的硬件没有启用但检查启用与设定相关硬件成功时便会再次进行上述步骤建立此用户的服务执行命令，再将启用成功信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17进行通知；当检查影像处理链没有建立或启用与设定相关硬件没有成功时则为启用失败，再将启用成功信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17进行通知。
此外，上述步骤(104)影像处理链处理的过程的步骤流程图包括下列步骤：
(601)通知有暂存的来源影像。
(602)判断该来源影像是否有新的影像，若为是，即进行步骤(603)，若为否，则进行步骤(606)。
(603)通过指定参数及软硬件资源处理来源影像。
(604)判断影像处理是否成功，若为是，即进行步骤(605)，若为否，则进行步骤(606)。
(605)将已完成处理的影像加入至指定输出位置进行暂存，再进行步骤(606)。
(606)等待下一个暂存的来源影像通知。
又，上述步骤(105)将多重影像输出分配至应用程序用户17后停止影像处理链时包括下列步骤：
(701)应用程序用户17通过应用程序编程接口、摄影机服务及摄影机代理层13进行停止影像撷取。
(702)取得与此用户对应的摄影机16的影像处理链链接数据。
(703)检查影像处理链是否已建立，若为是，即进行步骤(704)，若为否，则进行步骤(708)。
(704)检查影像处理链是否已启用，若为是，即进行步骤(705)，若为否，则进行步骤(708)。
(705)停止影像处理链。
(706)检查相关影像处理节点是否有被其它的影像处理链共享，若为是，即进行步骤(708)，若为否，则进行步骤(707)。
(707)停止该影像处理节点相关硬件与释放相关资源，再进行步骤(708)。
(708)停止服务执行命令，再将停止成功信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17。
由上述实施步骤可清楚得知，本发明中电子装置1的应用程序用户17为通过应用程序编程接口、摄影机服务及摄影机代理层13进行停止摄影机16影像撷取，并取得与此应用程序用户17对应的摄影机16的影像处理链链接数据，当检查该影像处理链已建立且启用时，便会停止影像处理链并检查相关影像节点有被其它的影像处理链共享时，则会停止服务执行命令，再将停止成功信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17，若是检查相关影像处理节点没有被其它的影像处理链共享时，便会停止该影像处理节点相关硬件与释放相关资源及停止服务执行命令，再将停止成功信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17进行通知；当检查影像处理链没有建立或影像处理链已建立但没有启用时，便会停止服务执行命令，再将停止成功信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户17进行通知。
上述详细说明为针对本发明一种较佳的可行实施例说明而已，但是，该实施例并非用以限定本发明的保护范围，凡其它未脱离本发明所揭示的技艺精神下所完成的均等变化与修饰变更，均应包含于本发明的保护范围内。

Claims (8)

1.一种视频影像分配方法，该方法为在电子装置的硬件平台中安装一具有摄影机代理层及驱动程序的操作系统，并由驱动程序经由影像撷取接口接收摄影机所传输的影像，再将影像传输至摄影机代理层，摄影机代理层动态建立影像处理链与多重影像队列并分配至多个应用程序用户，以满足影像不同格式的设定需求，其特征在于，该方法包括下列步骤：
(a01)控制摄影机并取得影像执行命令；
(a02)将原始摄影机影像进行暂存；
(a03)摄影机代理层将来源影像建立影像处理链；
(a04)分配软硬件资源并建立影像处理节点后，启用影像处理链处理来源影像并加入至已完成处理的多重影像进行暂存；
(a05)建立与应用程序用户链接的服务执行命令并将暂存的多重影像输出分配至对应的多个应用程序用户。
2.根据权利要求1所述的视频影像分配方法，其特征在于，步骤(a01)为利用摄影机硬件、驱动程序或影像撷取框架控制摄影机与取得影像执行命令。
3.根据权利要求1所述的视频影像分配方法，其特征在于，该步骤(a03)建立影像处理链的过程包括下列步骤：
(b01)操作系统的摄影机应用程序编程接口接受应用程序用户参数设定的请求；
(b02)判断查询是否已存在该应用程序用户所请求设定参数的影像处理链，若为是，即进行步骤(b03)，若为否，则进行步骤(b05)；
(b03)建立服务执行命令并连接于影像处理链与应用程序用户；
(b04)完成应用程序用户的请求；
(b05)分配软硬件资源找寻适合的暂存来源影像并建立新的影像处理节点；
(b06)判断分配软硬件资源并建立新的影像处理节点是否成功，若为是，即进行步骤(b07)，若为否，则进行步骤(b09)；
(b07)判断是否满足应用程序用户所请求的参数设定，若为是，即进行步骤(b08)，若为否，则进行步骤(209)；
(b08)连接影像处理节点并建立新的影像处理链，再重复执行步骤(b03)；
(b09)拒绝应用程序用户的请求。
4.根据权利要求3所述的视频影像分配方法，其特征在于，该应用程序用户查询摄影机参数的过程包括下列步骤：
(c01)应用程序用户通过应用程序编程接口、摄影机服务及摄影机代理层进行参数查询；
(c02)检查是否有已存在的影像处理链及足够的硬件资源，若为是，即进行步骤(e04)，若为否，则进行步骤(e03)；
(c03)输入常用可支持的影像格式列表、硬件资源管理员输入硬件资源使用记录与硬件可支持的影像格式处理及输入作用中的影像处理列表，再进行步骤(e04)；
(c04)参考硬件资源与既存的影像处理链产生可支持的摄影机参数，再将摄影机参数通过摄影机代理层、摄影机服务及应用程序编程接口回传至应用程序用户。
5.根据权利要求3所述的视频影像分配方法，其特征在于，该应用程序用户设定摄影机参数的过程包括下列步骤：
(d01)应用程序用户通过应用程序编程接口、摄影机服务及摄影机代理层进行设定参数；
(d02)检查是否有已存在的影像处理链，若为是，即进行步骤(d03)，若为否，则进行步骤(d04)；
(d03)建立摄影机用户与影像处理链对应关系的链接数据，再将设定成功信息通过摄影机代理层、摄影机服务及应用程序编程接口回传至应用程序用户；
(d04)检查是否有足够的硬件资源处理所需的格式，若为是，即进行步骤(d05)，若为否，则进行步骤(d06)；
(d05)依照所要求的格式产生影像处理链，再重复执行步骤(d03)；
(d06)拒绝参数设定，再将设定失败信息通过摄影机代理层13、摄影机服务及应用程序编程接口回传至应用程序用户。
6.根据权利要求1所述的视频影像分配方法，其特征在于，该步骤(a04)启用影像处理链的过程包括下列步骤：
(e01)应用程序用户通过应用程序编程接口、摄影机服务及摄影机代理层进行启动影像撷取；
(e02)取得与此用户对应的摄影机的影像处理链链接数据；
(e03)检查影像处理链是否已建立，若为是，即进行步骤(e04)，若为否，则进行步骤(e09)；
(e04)检查影像处理链是否已启用，若为是，即进行步骤(e05)，若为否，则进行步骤(e06)；
(e05)建立此用户的服务执行命令，再将启用成功信息通过摄影机代理层、摄影机服务及应用程序编程接口回传至应用程序用户；
(e06)启用影像处理链；
(e07)检查影像处理节点参与的硬件是否已启用，若为是，即重复执行步骤(e05)，若为否，则进行步骤(e08)；
(e08)检查启用与设定相关硬件是否成功，若为是，即重复执行步骤(e05)，若为否，则进行步骤(e09)；
(e09)启用失败，再将启用失败信息通过摄影机代理层、摄影机服务及应用程序编程接口回传至应用程序用户。
7.根据权利要求1所述的视频影像分配方法，其特征在于，该步骤(a04)影像处理链处理的过程包括下列步骤：
(f01)通知有暂存的来源影像；
(f02)判断该来源影像是否有新的影像，若为是，即进行步骤(f03)，若为否，则进行步骤(f06)；
(f03)通过指定参数及软硬件资源处理来源影像；
(f04)判断影像处理是否成功，若为是，即进行步骤(f05)，若为否，则进行步骤(f06)；
(f05)将已完成处理的影像加入至指定输出位置进行暂存，再进行步骤(f06)；
(f06)等待下一个暂存的来源影像通知。
8.根据权利要求1所述的视频影像分配方法，其特征在于，该步骤(a05)将多重影像输出分配至应用程序用户后停止影像处理链的过程包括下列步骤：
(g01)应用程序用户通过应用程序编程接口、摄影机服务及摄影机代理层停止影像撷取；
(g02)取得与此用户对应的摄影机的影像处理链链接数据；
(g03)检查影像处理链是否已建立，若为是，即进行步骤(g04)，若为否，则进行步骤(g08)；
(g04)检查影像处理链是否已启用，若为是，即进行步骤(g05)，若为否，则进行步骤(g08)；
(g05)停止影像处理链；
(g06)检查相关影像处理节点是否有被其它的影像处理链共享，若为是，即进行步骤(g08)，若为否，则进行步骤(g07)；
(g07)停止该影像处理节点相关硬件与释放相关资源，再进行步骤(g08)；
(g08)停止服务执行命令，再将停止成功信息通过摄影机代理层、摄影机服务及应用程序编程接口回传至应用程序用户。
CN201510175190.5A 2014-05-27 2015-04-14 视频影像分配方法 Active CN105306808B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/288,144 2014-05-27
US14/288,144 US9525892B2 (en) 2014-05-27 2014-05-27 Video image distribution method

Publications (2)

Publication Number Publication Date
CN105306808A true CN105306808A (zh) 2016-02-03
CN105306808B CN105306808B (zh) 2019-01-04

Family

ID=54703269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510175190.5A Active CN105306808B (zh) 2014-05-27 2015-04-14 视频影像分配方法

Country Status (3)

Country Link
US (1) US9525892B2 (zh)
CN (1) CN105306808B (zh)
TW (1) TWI529622B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112424849A (zh) * 2019-01-02 2021-02-26 松下电器（美国）知识产权公司 信息处理装置、信息处理方法及程序

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9967410B2 (en) * 2014-05-29 2018-05-08 Asustek Computer Inc. Mobile device, computer device and image control method thereof for editing image via undefined image processing function
KR101637682B1 (ko) * 2014-09-23 2016-07-07 현대자동차주식회사 에이브이엔의 카메라 영상 표시 시스템
CN107580227B (zh) * 2017-09-27 2020-06-05 维沃移动通信有限公司 一种视频编码方法、移动终端
CN108401172A (zh) * 2018-01-31 2018-08-14 山东浪潮商用系统有限公司 一种机顶盒系统及其使用方法
CN113747087B (zh) * 2021-09-10 2023-09-19 湖南君瀚信息技术有限公司 远程驾驶低延时图像传输方法、装置、计算机设备及介质
CN117112083B (zh) * 2023-10-23 2024-02-23 南京芯驰半导体科技有限公司 用于多硬件域SoC的调用摄像头数据的方法及多硬件域SoC

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060050155A1 (en) * 2004-09-02 2006-03-09 Ing Stephen S Video camera sharing
CN101594510A (zh) * 2009-06-23 2009-12-02 腾讯科技（深圳）有限公司 一种实现摄像头资源共享的方法及系统
CN101667143A (zh) * 2009-09-18 2010-03-10 北京中星微电子有限公司 一种视频数据处理系统及方法
CN101833520A (zh) * 2009-03-11 2010-09-15 凹凸电子（武汉）有限公司 计算机系统、多个应用程序同时使用一个摄像头的方法
CN102611878A (zh) * 2012-01-13 2012-07-25 福建升腾资讯有限公司 低带宽占用的高清摄像头映射方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0757490A3 (en) * 1995-08-02 1999-01-13 Matsushita Electric Industrial Co., Ltd. Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein
US8095680B2 (en) * 2007-12-20 2012-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Real-time network transport protocol interface method and apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060050155A1 (en) * 2004-09-02 2006-03-09 Ing Stephen S Video camera sharing
CN101833520A (zh) * 2009-03-11 2010-09-15 凹凸电子（武汉）有限公司 计算机系统、多个应用程序同时使用一个摄像头的方法
CN101594510A (zh) * 2009-06-23 2009-12-02 腾讯科技（深圳）有限公司 一种实现摄像头资源共享的方法及系统
CN101667143A (zh) * 2009-09-18 2010-03-10 北京中星微电子有限公司 一种视频数据处理系统及方法
CN102611878A (zh) * 2012-01-13 2012-07-25 福建升腾资讯有限公司 低带宽占用的高清摄像头映射方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112424849A (zh) * 2019-01-02 2021-02-26 松下电器（美国）知识产权公司 信息处理装置、信息处理方法及程序
CN112424849B (zh) * 2019-01-02 2023-08-04 松下电器（美国）知识产权公司 信息处理装置、信息处理方法及记录介质

Also Published As

Publication number Publication date
US9525892B2 (en) 2016-12-20
TW201545059A (zh) 2015-12-01
US20150350518A1 (en) 2015-12-03
TWI529622B (zh) 2016-04-11
CN105306808B (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN105306808A (zh) 视频影像分配方法
CN103460177A (zh) 电子设备与远程显示器之间的姿势可视化和共享
JP6276408B2 (ja) 画像表示方法および装置
JP7149031B2 (ja) プラットフォーム及びイメージデバイスの間の通信プロトコル
CN105824589B (zh) 适用于互动式电子白板系统的装置连线方法及主机端装置
CN106454402B (zh) 转码任务调度方法和装置
KR20200018233A (ko) 명령 실행 방법 및 장치
JP2015095765A5 (zh)
CN106341811A (zh) 一种数据迁移方法及服务器
WO2023000888A1 (zh) 云应用的实现方法、装置、电子设备和存储介质
CN113393367B (zh) 图像处理方法、装置、设备和介质
US11386255B2 (en) Parameter extraction from digitized image of a schematic or block diagram for electrical designs
CN113014804A (zh) 图像处理方法、装置、电子设备和可读存储介质
KR20090018457A (ko) 피엘씨 원격 관리 시스템 및 방법
CN107423187B (zh) 一种屏幕监控方法、装置及系统
JP6347636B2 (ja) 画像処理システム、データ管理方法及びプログラム
KR101262849B1 (ko) 가상화 시스템 상에서 영상장치를 할당 및 해제하기 위한 장치 및 방법
CN111240786A (zh) 一种走查方法、装置、电子设备及存储介质
CN105554109A (zh) 云端智慧城市的操作运行方法与系统
CN115755737A (zh) 单晶炉系统控制方法、装置、计算机设备和存储介质
KR101591061B1 (ko) 실시간 처리를 위한 전송 라이브러리 시스템 및 그 시스템에서의 송／수신 방법
TWI543626B (zh) 行動裝置遠端影像監控系統及其方法
JP2018077897A (ja) 画像表示方法および装置
CN104135648A (zh) 可移动式全方位视频监控系统
CN114501141B (zh) 视频数据处理方法、装置、设备和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210224

Address after: No.19-22, mitsume, nishimabu, Tokyo, Japan

Patentee after: Lianqi holding Co.

Address before: Daiki Manju

Patentee before: Cayman United