CN111372038A - 多串流影像处理装置及方法 - Google Patents

多串流影像处理装置及方法 Download PDF

Info

Publication number
CN111372038A
CN111372038A CN201811602356.7A CN201811602356A CN111372038A CN 111372038 A CN111372038 A CN 111372038A CN 201811602356 A CN201811602356 A CN 201811602356A CN 111372038 A CN111372038 A CN 111372038A
Authority
CN
China
Prior art keywords
main image
stage circuit
image
sub
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811602356.7A
Other languages
English (en)
Other versions
CN111372038B (zh
Inventor
孙明勇
汪浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xingchen Technology Co.,Ltd.
Original Assignee
Xiamen Sigmastar Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Sigmastar Technology Ltd filed Critical Xiamen Sigmastar Technology Ltd
Priority to CN201811602356.7A priority Critical patent/CN111372038B/zh
Priority to TW108101589A priority patent/TWI691202B/zh
Priority to KR1020190026900A priority patent/KR102191387B1/ko
Priority to JP2019127682A priority patent/JP6894473B2/ja
Priority to US16/511,668 priority patent/US10771798B2/en
Priority to EP19216435.8A priority patent/EP3675028A1/en
Priority to PCT/CN2019/127870 priority patent/WO2020135407A1/zh
Publication of CN111372038A publication Critical patent/CN111372038A/zh
Application granted granted Critical
Publication of CN111372038B publication Critical patent/CN111372038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开一种多串流影像处理方法，包含：由一前级电路产生包含一主影像串流以及至少一子影像串流的多个影像串流，且该主影像串流的分辨率高于该子影像串流的分辨率；于一影像画面处理时间区间中，由前级电路暂存第N个子影像画面于一记忆体模块中的当下子影像暂存区块，以及暂存第N个主影像画面于该记忆体模块中的主影像暂存区块；于该影像画面处理时间区间的第一子区间中，由一后级电路读取该记忆体模块中的该现有子影像暂存区块中暂存的第N‑1个子影像画面，以进行处理；于该影像画面处理时间区间的第二子区间中，由该后级电路读取第N个主影像画面，以进行处理。

Description

多串流影像处理装置及方法
技术领域
本发明涉及多串流影像处理技术，尤其涉及一种多串流影像处理装置与方法。
背景技术
在部分影像技术的应用中，会根据同一个影像来源产生多个影像串流。举例而言，网络监控摄影机(IP camera)可在撷取环境的影像后，产生相应的多个影像串流。部分影像串流的分辨率较高，可在对应的显示器上显示高画质的显示画面。而部分影像串流的分辨率较低，可显示于较低分辨率的显示器上提供例如，但不限于即时的监看。
然而，多个影像串流往往需要多个相应的电路来进行处理，而造成电路成本设置的高昂。
发明内容
鉴于现有技术的问题，本发明的一目的在于提供一种多串流影像处理装置与方法，以改善现有技术。
本发明的另一目的在于提供一种多串流影像处理装置与方法，可使多个影像串流藉由分时的方式以单一后级电路进行处理，避免多个后级电路的高昂设置成本。
本发明包含一种多串流影像处理方法，包含：由一前级电路根据一相同影像来源产生多个影像串流，其中该影像串流包含一主影像串流以及至少一子影像串流，且该主影像串流的分辨率高于该子影像串流的分辨率；于一影像画面处理时间区间中，由一前级电路暂存该子影像串流的第N个子影像画面于一记忆体模块中的至少一当下子影像暂存区块，以及暂存该主影像串流的第N个主影像画面于该记忆体模块中的一主影像暂存区块；于该影像画面处理时间区间的第一子区间中，由一后级电路读取该记忆体模块中的至少一现有子影像暂存区块中暂存的该子影像串流的第N-1个子影像画面，以进行处理；于影像画面处理时间区间中第一子区间后的第二子区间中，由该后级电路读取该主影像暂存区块中暂存的第N个主影像画面，以进行处理。
本发明另包含一种多串流影像处理装置，包含：一记忆体模块、一前级电路、一后级电路以及一处理电路。该处理电路电性耦接于该记忆体模块、该前级电路以及该后级电路，并配置以执行软韧体可执行指令，以执行一多串流影像处理方法，该多串流影像处理方法的步骤包含：由该前级电路根据一相同影像来源产生多个影像串流，其中影像串流包含一主影像串流以及至少一子影像串流，且该主影像串流的分辨率高于子影像串流的分辨率；于一影像画面处理时间区间中，由该前级电路暂存该子影像串流的第N个子影像画面于该记忆体模块中的至少一当下子影像暂存区块，以及暂存该主影像串流的第N个主影像画面于该记忆体模块中的主影像暂存区块；于该影像画面处理时间区间的一第一子区间中，由该后级电路读取该记忆体模块中的至少一现有子影像暂存区块中暂存的子影像串流的第N-1个子影像画面，以进行处理；于影像画面处理时间区间中该第一子区间后的一第二子区间中，由该后级电路读取该主影像暂存区块中暂存的第N个主影像画面，以进行处理。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1显示本发明的一实施例中，多串流影像处理装置的方框图；
图2显示本发明的一实施例中，一种多串流影像处理方法的流程图；
图3显示本发明的一实施例中，多串流影像处理装置进行影像处理的时序图；
图4显示本发明一实施例中，同步电路的方框图；
图5显示本发明一实施例中，同步电路运作时进行的同步流程的流程图；
图6显示本发明一实施例中，主影像画面的示意图；
图7显示本发明另一实施例中，同步电路的方框图；
图8显示本发明另一实施例中，同步电路运作时进行的同步流程的流程图；
图9显示本发明另一实施例中，多串流影像处理装置进行影像处理的时序图；
图10显示本发明又一实施例中，同步电路的方框图；以及
图11显示本发明又一实施例中，同步电路运作时进行的同步流程的流程图。
其中，附图标记
100 多串流影像处理装置
110 记忆体模块
112 主影像暂存区块
114A 当下第一子影像暂存区块
114B 现有第一子影像暂存区块
116A 当下第二子影像暂存区块
116B 现有第二子影像暂存区块
115 记忆体控制器
120 前级电路
130 后级电路
140 处理电路
141 软韧体可执行指令
150 同步电路
200 多串流影像处理方法
400 第一比较模块
402 第二比较模块
404 同步处理模块
406 第一计算模块
408 第二计算模块
500 同步流程
600 主影像画面
800 同步流程
1100 同步流程
CC1 后级电路控制信号
CC2 前级电路控制信号
CR1 第一比较结果
CR2 第二比较结果
DR 差距
EMS 处理后主影像串流
ESS1 处理后第一子影像串流
ESS2 处理后第二子影像串流
F1 前级画面数
F2 后级画面数
FP1、FP2 画面处理信息
IS 影像来源
MS 主影像串流
RR 读取行数
RW 储存行数
SN、SN+1 同步信号
SS1 第一子影像串流
SS2 第二子影像串流
SUM 总和
S210～S240 步骤
S510～S570 步骤
S810～S840 步骤
S1110～S1140 步骤
TN-1、TN、TN+1 影像画面处理时间区间
TS1 第一子区间
TS2 第二子区间
TS3 第三子区间
TSN、TSN+1 同步信号时间区间
具体实施方式
下面结合附图对本发明的结构原理和工作原理作具体的描述：
本发明的一目的在于提供一种多串流影像处理装置与方法，可使多个影像串流藉由分时的方式以单一后级电路进行处理，避免多个后级电路的高昂设置成本。
请参照图1。图1为本发明的一实施例中，多串流影像处理装置100的方框图。多串流影像处理装置100可对环境进行影像的拍摄，以根据相同的影像来源IS产生多个影像串流MS(主影像串流)、SS1(第一子影像串流)、SS2(第二子影像串流)，并对影像串流MS、SS1、SS2进行后续的处理，产生处理后主影像串流EMS、处理后第一子影像串流ESS1、处理后第二子影像串流ESS2。
一多串流影像处理装置100包含：一记忆体模块110、一前级电路120、一后级电路130、一处理电路140以及一同步电路150。
于一实施例中，记忆体模块110具有不同的区块，以储存多串流影像处理所需的不同数据。记忆体模块110可由速度较快的记忆体实现，例如，但不限于双倍数据率同步动态随机读取记忆体(double data rate synchronous dynamic random access memory；DDRSDRAM)。
于一实施例中，一多串流影像处理装置100可更包含一记忆体控制器115。记忆体控制器115可由例如，但不限于记忆体介面单元(memory interface unit；MIU)实现。在多串流影像处理装置100中的其他电路模块，如前级电路120以及后级电路130，可通过记忆体控制器115对记忆体模块110进行读取与写入，以将数据储存于记忆体模块110，或是自记忆体模块110读取数据。
前级电路120于一实施例中，为影像信号处理器(image signal processor；ISP)，配置以根据一相同影像来源IS产生多个影像串流MS、SS1、SS2。其中，影像来源IS可为例如，但不限于网络监控摄影机的感光元件(未绘示)。在感光元件感测影像后，前级电路120将据以产生不同分辨率的影像串流MS、SS1、SS2，并通过记忆体控制器115储存于记忆体模块110中。
其中，影像串流MS为主影像串流，影像串流SS1、SS2为第一及第二子影像串流。主影像串流MS的分辨率较子影像串流SS1、SS2的分辨率为高。于一实施例中，主影像串流MS的分辨率为4K，第一子影像串流SS1的分辨率为1280×720，第二子影像串流SS2的分辨率为720×576。需注意的是，上述子影像串流的数目以及各影像串流的分辨率数值仅为一范例，本发明并不限于此。于一实施例中，子影像串流的数目可为一个或多个。
后级电路130于一实施例中，为编码器，配置以通过记忆体控制器115自记忆体模块110读取影像串流MS、SS1、SS2来进行编码程序，并产生完成编码的处理后主影像串流EMS、处理后第一子影像串流ESS1、处理后第二子影像串流ESS2。于不同实施例中，编码程序可依照例如，但不限于H264、H265或是其他的编码标准进行。
同步电路150电性耦接于前级电路120、后级电路130以及处理电路140，配置以根据处理电路140的控制，使前级电路120对影像串流暂存于记忆体模块110的储存速度以及后级电路130将影像串流自记忆体模块110读取的读取速度能够达到平衡。
处理电路140电性耦接于记忆体模块110、前级电路120、后级电路130以及同步电路150。处理电路140可执行一软韧体可执行指令141，以执行多串流影像处理装置100的功能。更详细来说，处理电路140可从一多串流影像处理装置100中包含的储存模块(未绘示)撷取一软韧体可执行指令141，且该软韧体可执行指令141包含例如但不限于前级电路120、后级电路130以及同步电路150的韧体以及其他用以操作与控制前级电路120、后级电路130以及同步电路150的相关指令，进一步操作与控制前级电路120、后级电路130以及同步电路150，达到前述对影像串流影像串流MS、SS1、SS2进行暂存、读取及编码，并产生处理后主影像串流EMS、处理后第一子影像串流ESS1、处理后第二子影像串流ESS2的功效。
需注意的是，储存模块于一实施例中，是以与记忆体模块110相独立的另一记忆体来实现。举例而言，储存模块可由例如，但不限于光碟、随机读取记忆体(random accessmemory；RAM)、只读记忆体(read only memory；ROM)、软碟、硬碟或光学磁碟片。于另一实施例中，储存模块亦可与记忆体模块110藉由同一记忆体实现。
请同时参照图2。以下将搭配图1及图2，对于多串流影像处理装置100的详细功能进行更详细的说明。
图2为本发明的一实施例中，一种多串流影像处理方法200的流程图。多串流影像处理方法200可应用于图1所示的多串流影像处理装置100中。多串流影像处理方法200的一实施例如图2所示，包含下列步骤。
于步骤S210：由一前级电路120根据一相同影像来源IS产生多个影像串流MS、SS1、SS2。如上所述，该多个影像串流包含一主影像串流MS以及第一及第二子影像串流SS1、SS2，且该主影像串流MS的分辨率高于该子影像串流SS1、SS2的分辨率。
于步骤S220：于一影像画面处理时间区间中，由该前级电路120暂存子影像串流SS1、SS2的第N个子影像画面于该记忆体模块110中的当下第一及第二子影像暂存区块114A及116A，以及暂存主影像串流MS的第N个主影像画面于该记忆体模块110中的主影像暂存区块112。其中，N为正整数。
请同时参照图3。图3为本发明的一实施例中，多串流影像处理装置100进行影像处理的时序图。
多串流影像处理装置100在处理的时序上，包含多个影像画面处理时间区间，例如第3图范例性绘示的连续三个影像画面处理时间区间TN-1、TN及TN+1。各两个邻接的影像画面处理时间区之间包含一同步信号时间区间，例如影像画面处理时间区间TN-1及TN之间的同步信号时间区间TSN以及影像画面处理时间区间TN及TN+1之间的同步信号时间区间TSN+1。同步信号时间区间TSN以及同步信号时间区间TSN+1是分别对应同步信号SN以及同步信号SN+1的传送，以分别标示影像画面处理时间区间TN及TN+1的起始。
在本实施例中，在同步信号时间区间TSN以及同步信号时间区间TSN+1中，前级电路120和后级电路130均不进行数据处理，而仅在影像画面处理时间区间TN-1、TN及TN+1中进行数据处理。
在图3中，前级电路120的处理时序是以斜线区块表示。由于前级电路120可以同时产生影像串流MS、SS1以及SS2，因此在影像画面处理时间区间TN起始后，前级电路120即开始同步暂存子影像串流SS1、SS2的第N个子影像画面于当下第一及第二子影像暂存区块114A及116A，以及暂存主影像串流MS的第N个主影像画面于主影像暂存区块112。
于步骤S230：于影像画面处理时间区间TN的第一子区间TS1中，由后级电路130优先读取记忆体模块110中的现有第一及第二子影像暂存区块114B及116B中暂存的子影像串流SS1及SS2的第N-1个子影像画面，以进行处理。
于一实施例中，如图3所示，在影像画面处理时间区间TN-1中，子影像串流SS1及SS2的第N-1个子影像画面即已由前级电路120通过记忆体控制器115，分别被暂存于现有第一及第二子影像暂存区块114B及116B中。
后级电路130的处理时序是以点状区块表示。后级电路130是以分时的方式运作，一次针对一个画面影像进行处理。因此如图3所示，后级电路130在第一子区间TS1中，将优先通过记忆体控制器115读取现有第一子影像暂存区块114B中，对应于第一子影像串流SS1的第N-1个子影像画面并进行处理，以产生处理后第一子影像串流ESS1中对应的影像画面。接着，后级电路130在第一子区间TS1剩下的时间中，再通过记忆体控制器115读取现有第二子影像暂存区块116B，对应于第二子影像串流SS2的第N-1个子影像画面并进行处理，以产生处理后第二子影像串流ESS2中对应的影像画面。
于步骤S240：于影像画面处理时间区间TN中第一子区间TS1后的第二子区间TS2中，由后级电路130读取主影像暂存区块112中暂存的第N个主影像画面，以进行处理。
于一实施例中，主影像暂存区块112的容量大于或等于第N个主影像画面的大小。于部分实施例中，后级电路130的运作速度可能较前级电路120为快。因此为了避免后级电路130自主影像暂存区块112读取数据的读取速度超过前级电路120暂存数据至主影像暂存区块112的储存速度，同步电路150将可进行前级电路120与后级电路130的协调与同步。
请参照图4。图4为本发明的一实施例中，同步电路150的方框图。
如图4所示，同步电路150包含第一比较模块400、第二比较模块402及同步处理模块404。
第一比较模块400及第二比较模块402可自前级电路120以及后级电路130撷取其画面处理信息FP1及FP2的内容。其中，画面处理信息FP1包含前级电路120正在暂存的影像画面的前级画面数F1，以及正在暂存的影像画面的储存行数RW，画面处理信息FP2包含后级电路130正在读取的影像画面的后级画面数F2，以及正在读取的影像画面的读取行数RR。
于一实施例中，第一比较模块400根据前级电路120正在暂存的影像画面的前级画面数F1以及后级电路130正在读取的影像画面的后级画面数F2进行比较，以判断前级电路120正在暂存的影像画面以及后级电路130正在读取的影像画面是否为相同。第二比较模块402则根据前级电路120正在暂存的影像画面的储存行数RW以及后级电路130正在读取的影像画面的读取行数RR进行比较，以判断后级电路130正在读取的影像画面的读取行数RR是否超过前级电路120正在暂存的影像画面的储存行数RW。
同步处理模块404进一步根据第一比较模块400以及第二比较模块402的比较结果，判断前级电路120以及后级电路130的运作状况，进一步决定采用的同步机制。
请同时参照图5。图5为本发明的一实施例中，同步电路150运作时进行的一同步流程500的流程图。以下将根据图4及图5，对于同步电路150的运作机制进行更详细的说明。
如图5所示，于步骤S510，第一比较模块400自前级电路120以及后级电路130撷取其画面处理信息FP1及FP2中的前级画面数F1以及后级画面数F2进行比较。
于步骤S520，同步处理模块404根据第一比较模块400的第一比较结果CR1，进一步判断前级电路120正在暂存的影像画面以及后级电路130正在读取的影像画面是否为相同的。
当影像画面是不同的，例如在影像画面处理时间区间TN的第一子区间T S1中的情形，后级电路130读取的是第N-1个子影像画面而前级电路120储存的是第N个主影像画面，则于步骤S530，同步处理模块404不启动同步电路150的同步机制。
当影像画面是相同的，例如在影像画面处理时间区间TN的第二子区间T S2中的情形，前级电路120储存的以及后级电路130读取的均是第N个主影像画面时，同步处理模块404启动同步机制的运作，并于步骤S540，由第二比较模块402自前级电路120以及后级电路130撷取其画面处理信息FP1及FP2中的储存行数RW以及读取行数RR进行比较。
请同时参照图6。图6为本发明的一实施例中，主影像画面600的示意图。
于步骤S550，同步处理模块404根据第二比较模块402的第二比较结果CR2，判断前级电路120正在暂存的主影像画面600的储存行数RW是否超过后级电路130读取的主影像画面600的读取行数RR。
在储存行数RW超过读取行数RR时，表示后级电路130读取的内容尚未超过前级电路120储存的内容。因此，于步骤S560，同步处理模块404藉由后级电路控制信号CC1允许后级电路130继续读取第N个主影像画面进行处理。反之，在储存行数RW不超过读取行数RR时，表示后级电路130读取的内容将超过前级电路120储存的内容。因此，于步骤S570，同步处理模块404藉由后级电路控制信号CC1使后级电路130停止读取第N个主影像画面，以避免读取到错误的数据内容。
因此，后级电路130将在同步电路150的协调与同步下，依序读取第N个主影像画面的内容，并进行处理以产生处理后主影像串流EMS对应的主影像画面。需注意的是，在本实施例中，后级电路130是在下一个同步信号时间区间TSN+1前即完成对于第N个主影像画面的处理。
进一步地，在影像画面处理时间区间TN+1中，前级电路120可依照上述的方式暂存子影像串流SS1、SS2的第N+1个子影像画面，以及暂存主影像串流MS的第N+1个主影像画面。后级电路130则可依照上述的方式先读取子影像串流SS1及SS2的第N个子影像画面进行处理后，再读取主影像串流MS的第N+1个主影像画面进行处理。
需注意的是，于一实施例中，前级电路120在影像画面处理时间区间TN中，用以暂存子影像串流SS1、SS2的第N个子影像画面的当下第一及第二子影像暂存区块114A及116A，对于影像画面处理时间区间TN+1来说则成为现有子影像暂存区块。而在影像画面处理时间区间TN中的现有第一及第二子影像暂存区块114B及116B，对于影像画面处理时间区间TN+1来说则做为当下子影像暂存区块，并用来储存子影像串流SS1、SS2的第N+1个子影像画面。
上述的实施方式是以主影像暂存区块112的容量大于或等于第N个主影像画面的大小为范例进行说明。于另一实施例中，主影像暂存区块112的容量亦可小于第N个主影像画面的大小，且运作为环状缓冲器(ring buffer)。亦即，当前级电路120对主影像画面的暂存到主影像暂存区块112的最高地址时，将把更新的影像数据取代主影像暂存区块112的最低地址进行储存。而当后级电路130对主影像画面的读取到主影像暂存区块112的最高地址时，亦将回到主影像暂存区块112的最低地址继续读取。
请同时参照图7及图8。图7为本发明的另一实施例中，同步电路150的方框图。图8为本发明的另一实施例中，同步电路150运作时进行的一同步流程800的流程图。以下将根据图7及图8，对于以环状缓冲器运作的主影像暂存区块112的实施方式进行更详细的说明。
图7所绘示的同步电路150与图4所绘示的同步电路150大同小异，包含第一比较模块400、第二比较模块402及同步处理模块404。于本实施例中，图7的同步电路150更包含第一计算模块406。第一计算模块406配置以根据画面处理信息FP1及FP2，计算储存行数RW与读取行数RR的差距DR。
图7所绘示的同步电路150所进行的同步机制除了与图5相同的步骤S510至S570外，可更同时执行图8的流程，以进行步骤S810，由第一计算模块406计算储存行数RW与读取行数RR的差距DR。
于步骤S820，同步处理模块404判断差距DR是否大于主影像暂存区块112的容量。
在差距DR不大于主影像暂存区块112的容量时，表示主影像暂存区块112的内部有效未编码内容尚未占用完用完主影像暂存区块112的容量。因此，于步骤S830，同步处理模块404藉由前级电路控制信号CC2允许前级电路120继续暂存第N个主影像画面。反之，在差距大于主影像暂存区块112的容量时，表示前级电路120储存的速度超过后级电路130读取的速度，如果继续储存，将覆盖掉后级电路130尚未读取到的主影像画面的数据。因此，于步骤S840，同步处理模块404藉由前级电路控制信号CC2将使前级电路120停止暂存第N个主影像画面，进一步暂缓对于主影像画面数据的储存。
因此，藉由上述的机制，在以环状缓冲器运作的主影像暂存区块112的实施方式中，除可避免后级电路130读取的速度过快读到错误的数据外，亦可避免前级电路120储存的速度过快而覆盖后级电路130尚未读取的数据。
请同时参照图9。图9为本发明另一实施例中，多串流影像处理装置100进行影像处理的时序图。
多串流影像处理装置100在处理的时序上，包含多个影像画面处理时间区间，例如图5范例性绘示的连续三个影像画面处理时间区间TN-1、TN及TN+1。各两个邻接的影像画面处理时间区之间包含同步信号时间区间，例如影像画面处理时间区间TN-1及TN之间的同步信号时间区间TSN以及影像画面处理时间区间TN及TN+1之间的同步信号时间区间TSN+1。同步信号时间区间TSN以及同步信号时间区间TSN+1是分别对应同步信号SN以及同步信号SN+1的传送，以分别标示影像画面处理时间区间TN及TN+1的起始。
在本实施例中，在影像画面处理时间区间TN的第一子区间TS1中，依旧是由后级电路130读取子影像串流SS1及SS2的第N-1个子影像画面进行处理，且在影像画面处理时间区间TN的第二子区间TS2中，也依旧是由后级电路130读取第N个主影像画面进行处理。
然而，在本实施例中，除了主影像暂存区块112是以环状缓冲器的方式实现外，影像画面处理时间区间TN在第一子区间TS1前更包含第三子区间TS3。对于影像画面处理时间区间TN-1所对应的第N-1个主影像画面，后级电路130除了在影像画面处理时间区间TN-1中的后半部进行处理外，也被允许在同步信号时间区间TSN以及第三子区间TS3中进行处理。以此类推，后级电路130亦被允许在影像画面处理时间区间TN中的后半部、同步信号时间区间TSN+1以及影像画面处理时间区间TN+1的第三子区间TS3中，处理第N个主影像画面。
然而，对于前级电路120来说，依旧是在影像画面处理时间区间TN起始时，即开始暂存子影像串流SS1、SS2的第N个子影像画面以及主影像串流MS的第N个主影像画面。因此，主影像暂存区块112将在第三子区间TS3中，同时进行第N-1个主影像画面的读取以及第N个主影像画面的暂存。增加此Ts3也具有的优点是后级电路的处理速度可以较慢，亦即可以较省电。
请同时参照图10及图11。图10为本发明的又一实施例中，同步电路150的方框图。图11为本发明的又一实施例中，同步电路150运作时进行的一同步流程1100的流程图。以下将根据图10及图11，对于以环状缓冲器运作的主影像暂存区块112的实施方式进行更详细的说明。
图10所绘示的同步电路150与图7所绘示的同步电路150大同小异，包含第一比较模块400、第二比较模块402、同步处理模块404及第一计算模块406。于本实施例中，图10的同步电路150更包含第二计算模块408，配置以在前级电路120正在暂存的影像画面以及后级电路130正在读取的影像画面不同时运作。
图10所绘示的同步电路150所进行的同步机制具有与图5相同的步骤S510、S520以及S540至S570，以及与图8相同的步骤S810至S840。然而，在本实施例中，当图5的步骤S520判断前级电路120正在暂存的影像画面以及后级电路130正在读取的影像画面是不同的，例如第三子区间TS3的情形时，图10所绘示的同步电路150将执行图11的流程，以启动同步机制的运作。
于步骤S1110，由第二计算模块408根据画面处理信息FP1及FP2先计算第N-1个主影像画面的大小FR与第N-1个主影像画面的读取行数RR的差距。此差距代表第N-1个主影像画面中，剩下还未由后级电路130读取并进行处理的数据量。接着，第二计算模块408计算此差距与第N个主影像画面的储存行数RWN的总和SUM。其中，储存行数RW代表第N个主影像画面中，前级电路120已暂存的数据量。
于步骤S1120，同步处理模块404判断总和SUM是否大于主影像暂存区块112的容量。
在总和SUM不大于主影像暂存区块112的容量时，表示前级电路120的储存速度并未超过后级电路130的读取速度。因此，于步骤S1130，同步处理模块404藉由前级电路控制信号CC2允许前级电路120继续暂存第N个主影像画面。反之，在总和SUM大于主影像暂存区块112的容量时，表示前级电路120储存的速度超过后级电路130读取的速度，如果继续储存，将覆盖掉后级电路130尚未读取到的主影像画面的数据。因此，于步骤S1140，同步处理模块404藉由前级电路控制信号CC2将使前级电路120停止产生第N个主影像画面，进一步暂缓对于主影像画面数据的储存。
因此，本发明的多串流影像处理装置100可使前级电路所产生的多个影像串流，藉由分时的方式以单一后级电路进行处理，避免多个后级电路的高昂设置成本。
并且，藉由上述分时的方式，记忆体模块仅需要对于因分辨率较低而数据量较小的子影像画面进行第N-1个子影像画面以及第N个子影像画面的暂存。对于分辨率高而数据量大的主影像画面，则不需要额外设置两个暂存区块进行暂存。对于记忆体模块的空间成本来说，也将大幅下降。
进一步地，通过同步电路的设置，记忆体模块可使主影像暂存区块以环状缓冲器的方式实现，容量将因而缩减，更进一步降低记忆体模块的空间成本。
需注意的是，上述的实施方式仅为一范例。于其他实施例中，本领域的通常知识者当可在不违背本发明的精神下进行更动。
综合上述，本发明中的多串流影像处理装置及方法可达到降低后级电路硬件设置成本以及降低记忆体空间成本的功效。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (14)

1.一种多串流影像处理方法，其特征在于，包含：
由一前级电路根据一相同影像来源产生多个影像串流，其中该等影像串流包含一主影像串流以及至少一子影像串流，且该主影像串流的分辨率高于该子影像串流的分辨率；
于一影像画面处理时间区间中，由该前级电路暂存该子影像串流的一第N个子影像画面于一记忆体模块中的至少一当下子影像暂存区块，以及暂存该主影像串流的一第N个主影像画面于该记忆体模块中的一主影像暂存区块；
于该影像画面处理时间区间的一第一子区间中，由一后级电路读取该记忆体模块中的至少一现有子影像暂存区块中暂存的该子影像串流的一第N-1个子影像画面，以进行处理；以及
于该影像画面处理时间区间中该第一子区间后的一第二子区间中，由该后级电路读取该主影像暂存区块中暂存的该第N个主影像画面，以进行处理。
2.根据权利要求1所述的多串流影像处理方法，其特征在于，该主影像暂存区块的容量大于或等于该第N个主影像画面的大小。
3.根据权利要求1所述的多串流影像处理方法，其特征在于，更包含：
由一同步电路撷取该前级电路以及该后级电路的一画面处理信息；
由该同步电路根据该画面处理信息判断该前级电路暂存该第N个主影像画面的一储存行数是否超过该后级电路读取的该第N个主影像画面的一读取行数；
在该储存行数超过该读取行数时，允许该后级电路继续读取该第N个主影像画面进行处理；以及
在该储存行数不超过该读取行数时，使该后级电路停止读取该第N个主影像画面。
4.根据权利要求3所述的多串流影像处理方法，其特征在于，该主影像暂存区块的容量小于该第N个主影像画面的大小，且运作为一环状缓冲器，该多串流影像处理方法更包含：
由该同步电路根据该画面处理信息判断该储存行数与该读取行数的一差距是否大于该主影像暂存区块的容量；
在该差距不大于该主影像暂存区块的容量时，允许该前级电路继续暂存该第N个主影像画面；以及
在该差距大于该主影像暂存区块的容量时，使该前级电路停止暂存该第N个主影像画面。
5.根据权利要求1所述的多串流影像处理方法，其特征在于，该影像画面处理时间区间与一现有影像画面处理时间区间之间包含一同步信号时间区间，该前级电路以及该后级电路在该同步信号时间区间不进行数据处理。
6.根据权利要求1所述的多串流影像处理方法，其特征在于，该主影像暂存区块的容量小于该第N个主影像画面的大小，且运作为一环状缓冲器，该影像画面处理时间区间与一现有影像画面处理时间区间之间包含一同步信号时间区间，该多串流影像处理方法更包含：
于该同步信号时间区间以及该影像画面处理时间区间中该第一子区间前的一第三子区间中，由该后级电路读取该主影像暂存区块中暂存的一第N-1个主影像画面，以进行处理；
由一同步电路撷取该前级电路以及该后级电路的一画面处理信息；
由该同步电路根据该画面处理信息计算该第N-1个主影像画面的大小与该第N-1个主影像画面的一读取行数的一差距；
由该同步电路根据该画面处理信息判断该差距与该第N个主影像画面的一储存行数的一总和是否大于该主影像暂存区块的容量；
在该总和不大于该主影像暂存区块的容量时，允许该前级电路继续暂存该第N个主影像画面；以及
在该总和大于该主影像暂存区块的容量时，使该前级电路停止暂存该第N个主影像画面。
7.根据权利要求1所述的多串流影像处理方法，其特征在于，该前级电路为一影像信号处理器，该后级电路为一编码器。
8.一种多串流影像处理装置，其特征在于，包含：
一记忆体模块；
一前级电路；
一后级电路；以及
一处理电路，电性耦接于该记忆体模块、该前级电路以及该后级电路，并配置以执行多个软韧体可执行指令，以执行一多串流影像处理方法，其中该多串流影像处理方法包含：
由该前级电路根据一相同影像来源产生多个影像串流，其中该多影像串流包含一主影像串流以及至少一子影像串流，且该主影像串流的分辨率高于该子影像串流的分辨率；
于一影像画面处理时间区间中，由该前级电路暂存该子影像串流的一第N个子影像画面于该记忆体模块中的至少一当下子影像暂存区块，以及暂存该主影像串流的一第N个主影像画面于该记忆体模块中的一主影像暂存区块；
于该影像画面处理时间区间的一第一子区间中，由一后级电路读取该记忆体模块中的至少一现有子影像暂存区块中暂存的该子影像串流的一第N-1个子影像画面，以进行处理；以及
于该影像画面处理时间区间中该第一子区间后的一第二子区间中，由该后级电路读取该主影像暂存区块中暂存的该第N个主影像画面，以进行处理。
9.根据权利要求8所述的多串流影像处理装置，其特征在于，该主影像暂存区块的容量大于或等于该第N个主影像画面的大小。
10.根据权利要求8所述的多串流影像处理装置，其特征在于，更包含一同步电路，电性耦接于该处理电路、该前级电路以及该后级电路，该多串流影像处理方法更包含：
由该同步电路撷取该前级电路以及该后级电路的一画面处理信息；
由该同步电路根据该画面处理信息判断该前级电路暂存该第N个主影像画面的一储存行数是否超过该后级电路读取的该第N个主影像画面的一读取行数；
在该储存行数超过该读取行数时，允许该后级电路继续读取该第N个主影像画面进行处理；以及
在该储存行数不超过该读取行数时，使该后级电路停止读取该第N个主影像画面。
11.根据权利要求10所述的多串流影像处理装置，其特征在于，该主影像暂存区块的容量小于该第N个主影像画面的大小，且运作为一环状缓冲器，该多串流影像处理方法更包含：
由该同步电路根据该画面处理信息判断该储存行数与该读取行数的一差距是否大于该主影像暂存区块的容量；
在该差距不大于该主影像暂存区块的容量时，允许该前级电路继续暂存该第N个主影像画面；以及
在该差距大于该主影像暂存区块的容量时，使该前级电路停止暂存该第N个主影像画面。
12.根据权利要求8所述的多串流影像处理装置，其特征在于，该影像画面处理时间区间与一现有影像画面处理时间区间之间包含一同步信号时间区间，该前级电路以及该后级电路在该同步信号时间区间不进行数据处理。
13.根据权利要求8所述的多串流影像处理装置，其特征在于，更包含一同步电路，电性耦接于该处理电路、该前级电路以及该后级电路，其中该主影像暂存区块的容量小于该第N个主影像画面的大小，且运作为一环状缓冲器，该影像画面处理时间区间与一现有影像画面处理时间区间之间包含一同步信号时间区间，该多串流影像处理方法更包含：
于该同步信号时间区间以及该影像画面处理时间区间中该第一子区间前的一第三子区间中，由该后级电路读取该主影像暂存区块中暂存的一第N-1个主影像画面，以进行处理；
由一同步电路撷取该前级电路以及该后级电路的一画面处理信息；
由该同步电路根据该画面处理信息计算该第N-1个主影像画面的大小与该第N-1个主影像画面的一读取行数的一差距；
由该同步电路根据该画面处理信息判断该差距与该第N个主影像画面的一储存行数的一总和是否大于该主影像暂存区块的容量；
在该总和不大于该主影像暂存区块的容量时，允许该前级电路继续暂存该第N个主影像画面；以及
在该总和大于该主影像暂存区块的容量时，使该前级电路停止暂存该第N个主影像画面。
14.根据权利要求8所述的多串流影像处理装置，其特征在于，该前级电路为一影像信号处理器，该后级电路为一编码器。
CN201811602356.7A 2018-12-26 2018-12-26 多串流影像处理装置及方法 Active CN111372038B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201811602356.7A CN111372038B (zh) 2018-12-26 2018-12-26 多串流影像处理装置及方法
TW108101589A TWI691202B (zh) 2018-12-26 2019-01-16 多串流影像處理裝置及方法
KR1020190026900A KR102191387B1 (ko) 2018-12-26 2019-03-08 멀티 스트림 이미지 처리 장치 및 방법
JP2019127682A JP6894473B2 (ja) 2018-12-26 2019-07-09 マルチストリーム映像処理装置及びマルチストリーム映像処理方法
US16/511,668 US10771798B2 (en) 2018-12-26 2019-07-15 Multi-stream image processing apparatus and method of the same
EP19216435.8A EP3675028A1 (en) 2018-12-26 2019-12-16 Multi-stream image processing apparatus and method of the same
PCT/CN2019/127870 WO2020135407A1 (zh) 2018-12-26 2019-12-24 多串流影像处理装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811602356.7A CN111372038B (zh) 2018-12-26 2018-12-26 多串流影像处理装置及方法

Publications (2)

Publication Number Publication Date
CN111372038A true CN111372038A (zh) 2020-07-03
CN111372038B CN111372038B (zh) 2021-06-18

Family

ID=68917538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811602356.7A Active CN111372038B (zh) 2018-12-26 2018-12-26 多串流影像处理装置及方法

Country Status (7)

Country Link
US (1) US10771798B2 (zh)
EP (1) EP3675028A1 (zh)
JP (1) JP6894473B2 (zh)
KR (1) KR102191387B1 (zh)
CN (1) CN111372038B (zh)
TW (1) TWI691202B (zh)
WO (1) WO2020135407A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3205672A1 (en) * 2020-12-18 2022-06-23 Fasetto, Inc. Systems and methods for simultaneous multiple point of view video

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2703417B2 (ja) * 1991-04-05 1998-01-26 富士通株式会社 受信バッファ
JP2005006239A (ja) * 2003-06-16 2005-01-06 Sony Corp 画像処理装置および画像処理方法
CN1697483A (zh) * 2004-05-13 2005-11-16 索尼公司 图像显示装置
CN1700735A (zh) * 2004-05-17 2005-11-23 晨星半导体股份有限公司 调整视讯影像大小时的帧同步方法及其视讯影像缩放装置
CN101312528A (zh) * 2007-05-24 2008-11-26 晶睿通讯股份有限公司 实时产生不同分辨率视讯串流的方法与架构
CN101889446A (zh) * 2007-10-31 2010-11-17 松下电器产业株式会社 运动图像解码装置
US7907665B2 (en) * 2003-03-14 2011-03-15 Lsi Corporation Multi-channel video compression system
CN102668567A (zh) * 2010-08-09 2012-09-12 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置
KR20140008415A (ko) * 2011-02-25 2014-01-21 포토니스 네덜란드 비.브이. 실시간 이미지들의 획득 및 디스플레이
US8732266B2 (en) * 2007-06-08 2014-05-20 Adobe Systems Incorporated Managing online composite image content
US20150062353A1 (en) * 2013-08-30 2015-03-05 Microsoft Corporation Audio video playback synchronization for encoded media
CN104934013A (zh) * 2014-03-18 2015-09-23 纬创资通股份有限公司 显示器及其视频画面显示方法
CN105282597A (zh) * 2015-10-17 2016-01-27 浙江宇视科技有限公司 一种视频流缩放装置和方法
CN105939497A (zh) * 2015-03-05 2016-09-14 宏达国际电子股份有限公司 媒体串流系统及媒体串流方法
CN106101545A (zh) * 2016-06-30 2016-11-09 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106412473A (zh) * 2016-05-18 2017-02-15 瑞昱新加坡有限公司 影像处理装置、影视子系统与影视处理电路
CN106412588A (zh) * 2016-05-18 2017-02-15 瑞昱新加坡有限公司 影像帧处理方法
CN106534857A (zh) * 2016-11-02 2017-03-22 深圳市维海德技术股份有限公司 码流传输方法及基于usb的摄像机
US20180007334A1 (en) * 2016-06-30 2018-01-04 Apple Inc. Parallel computer vision and image scaling architecture
CN108139975A (zh) * 2015-05-19 2018-06-08 线性代数技术有限公司 用于用分割索引对高速缓存进行寻址的系统和方法
US20180176514A1 (en) * 2015-06-12 2018-06-21 Google Llc Using a Scene Illuminating Infrared Emitter Array in a Video Monitoring Camera for Depth Determination
US20180285689A1 (en) * 2017-03-30 2018-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Rgb-d scene labeling with multimodal recurrent neural networks

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5367629A (en) * 1992-12-18 1994-11-22 Sharevision Technology, Inc. Digital video compression system utilizing vector adaptive transform
US5432554A (en) * 1993-06-16 1995-07-11 Intel Corporation Method and apparatus for decoding images using a specified data format
US5351085A (en) * 1993-06-16 1994-09-27 Intel Corporation Method and system for generating compressed image signals
US5488570A (en) * 1993-11-24 1996-01-30 Intel Corporation Encoding and decoding video signals using adaptive filter switching criteria
JP2001103479A (ja) * 1999-09-29 2001-04-13 Toshiba Corp 動画像復号装置
JP2003259315A (ja) * 2002-02-28 2003-09-12 Matsushita Electric Ind Co Ltd 画像伝送装置および画像伝送方法
CA2540575C (en) * 2003-09-12 2013-12-17 Kevin Deng Digital video signature apparatus and methods for use with video program identification systems
JP2005176001A (ja) * 2003-12-12 2005-06-30 Renesas Technology Corp 半導体装置及び画像処理装置
JP4689440B2 (ja) * 2005-11-04 2011-05-25 キヤノン株式会社 撮像装置、及び処理方法
US7657668B2 (en) * 2006-08-16 2010-02-02 Qnx Software Systems (Wavemakers), Inc. Clock synchronization of data streams
CN101202906A (zh) * 2006-12-11 2008-06-18 国际商业机器公司 在数字视频广播系统中对视频流进行处理的方法和设备
WO2008128205A1 (en) * 2007-04-13 2008-10-23 Presler Ari M Digital cinema camera system for recording, editing and visualizing images
TWI397899B (zh) 2007-04-30 2013-06-01 Mstar Semiconductor Inc 多視窗顯示控制器及相關方法
WO2010087263A1 (ja) * 2009-01-28 2010-08-05 日本電気株式会社 画像伝送システムおよび画像伝送方法
EP3226559A1 (en) * 2009-01-29 2017-10-04 Dolby Laboratories Licensing Corporation Methods and devices for sub-sampling and interleaving multiple images, e.g. stereoscopic
EP2426917A4 (en) * 2009-04-30 2016-09-28 Sony Corp DISPLAY CONTROL DEVICE, DISPLAY CONTROL PROCEDURE AND PROGRAM
JP2011223287A (ja) * 2010-04-09 2011-11-04 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
US10424274B2 (en) * 2010-11-24 2019-09-24 Ati Technologies Ulc Method and apparatus for providing temporal image processing using multi-stream field information
CN102346770B (zh) * 2011-09-21 2014-05-14 晨星软件研发(深圳)有限公司 WebKit浏览器网页内容加载方法及装置
US9538155B2 (en) * 2013-12-04 2017-01-03 Dolby Laboratories Licensing Corporation Decoding and display of high dynamic range video
US20160119626A1 (en) * 2014-10-22 2016-04-28 Genetec Inc. System to dispatch video decoding to dedicated hardware resources
US10785415B2 (en) * 2016-03-03 2020-09-22 Sony Corporation Display control device and display control method
US10341672B2 (en) * 2017-02-03 2019-07-02 Korea Advanced Institute Of Science And Technology Method and system for media synchronization
CN111372085B (zh) * 2018-12-25 2021-07-09 厦门星宸科技有限公司 影像解码装置与方法

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2703417B2 (ja) * 1991-04-05 1998-01-26 富士通株式会社 受信バッファ
US7907665B2 (en) * 2003-03-14 2011-03-15 Lsi Corporation Multi-channel video compression system
JP2005006239A (ja) * 2003-06-16 2005-01-06 Sony Corp 画像処理装置および画像処理方法
CN1697483A (zh) * 2004-05-13 2005-11-16 索尼公司 图像显示装置
CN1700735A (zh) * 2004-05-17 2005-11-23 晨星半导体股份有限公司 调整视讯影像大小时的帧同步方法及其视讯影像缩放装置
CN101312528A (zh) * 2007-05-24 2008-11-26 晶睿通讯股份有限公司 实时产生不同分辨率视讯串流的方法与架构
US8732266B2 (en) * 2007-06-08 2014-05-20 Adobe Systems Incorporated Managing online composite image content
CN101889446A (zh) * 2007-10-31 2010-11-17 松下电器产业株式会社 运动图像解码装置
CN102668567A (zh) * 2010-08-09 2012-09-12 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置
KR20140008415A (ko) * 2011-02-25 2014-01-21 포토니스 네덜란드 비.브이. 실시간 이미지들의 획득 및 디스플레이
US20150062353A1 (en) * 2013-08-30 2015-03-05 Microsoft Corporation Audio video playback synchronization for encoded media
CN104934013A (zh) * 2014-03-18 2015-09-23 纬创资通股份有限公司 显示器及其视频画面显示方法
CN105939497A (zh) * 2015-03-05 2016-09-14 宏达国际电子股份有限公司 媒体串流系统及媒体串流方法
CN108139975A (zh) * 2015-05-19 2018-06-08 线性代数技术有限公司 用于用分割索引对高速缓存进行寻址的系统和方法
US20180176514A1 (en) * 2015-06-12 2018-06-21 Google Llc Using a Scene Illuminating Infrared Emitter Array in a Video Monitoring Camera for Depth Determination
CN105282597A (zh) * 2015-10-17 2016-01-27 浙江宇视科技有限公司 一种视频流缩放装置和方法
CN106412473A (zh) * 2016-05-18 2017-02-15 瑞昱新加坡有限公司 影像处理装置、影视子系统与影视处理电路
CN106412588A (zh) * 2016-05-18 2017-02-15 瑞昱新加坡有限公司 影像帧处理方法
CN106101545A (zh) * 2016-06-30 2016-11-09 维沃移动通信有限公司 一种图像处理方法及移动终端
US20180007334A1 (en) * 2016-06-30 2018-01-04 Apple Inc. Parallel computer vision and image scaling architecture
CN106534857A (zh) * 2016-11-02 2017-03-22 深圳市维海德技术股份有限公司 码流传输方法及基于usb的摄像机
US20180285689A1 (en) * 2017-03-30 2018-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Rgb-d scene labeling with multimodal recurrent neural networks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李索恒: "软件定义网络中多媒体传输路由及缓存算法研究", 《中国博士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
KR102191387B1 (ko) 2020-12-15
EP3675028A1 (en) 2020-07-01
US20200213601A1 (en) 2020-07-02
WO2020135407A1 (zh) 2020-07-02
KR20200080095A (ko) 2020-07-06
US10771798B2 (en) 2020-09-08
TW202025787A (zh) 2020-07-01
JP2020108136A (ja) 2020-07-09
JP6894473B2 (ja) 2021-06-30
CN111372038B (zh) 2021-06-18
TWI691202B (zh) 2020-04-11

Similar Documents

Publication Publication Date Title
US6034733A (en) Timing and control for deinterlacing and enhancement of non-deterministically arriving interlaced video data
KR20070041507A (ko) 이미지 프레임들의 시퀀스를 디스플레이하기 위한 방법 및시스템
CN111372038B (zh) 多串流影像处理装置及方法
US20080211962A1 (en) Frame synchronizer circuit
US8284209B2 (en) System and method for optimizing display bandwidth
US20020021300A1 (en) Image processing apparatus and method of the same, and display apparatus using the image processing apparatus
US6567556B1 (en) Method and device for decoding images, allowing a reduced number of openings of memory pages in the prediction processing
CN110570793B (zh) 一种适配不同类型显示屏的测试方法、装置及终端设备
US9456180B2 (en) Image processing apparatus, communication system, and computer program
US8085853B2 (en) Video decoding and transcoding method and system
US8842193B2 (en) Imaging apparatus
JP6021153B2 (ja) ビデオ画像を復号する方法及び装置
US20210014388A1 (en) Receiving device, video recording system and method for reducing video latency in video recording system
US20100254618A1 (en) Method for Accessing Image Data and Related Apparatus
CN116112627B (zh) 一种视频帧率自适应变换的方法和电路
JP3269331B2 (ja) 画像取り込み回路
KR100416786B1 (ko) 플라즈마 표시장치의 화면저장 및 인쇄장치
JP2001237930A (ja) 情報処理装置及びその方法
JP2975469B2 (ja) 画像評価装置およびこれを使用した画像表示装置
US20120212666A1 (en) Apparatus and method for detecting flexible video cadence
JPH1013794A (ja) 動画像再生装置
JP2006310906A (ja) 映像信号処理装置
KR20050000564A (ko) 이동형 정보 기기의 고해상도 이미지 처리 장치 및 그 방법
JPH10248066A (ja) 画像データ復号装置および画像データ復号方法
JP2007142550A (ja) 映像変換装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 361005 1501, zone a, innovation building, software park, Xiamen Torch High tech Zone, Xiamen, Fujian

Patentee after: Xingchen Technology Co.,Ltd.

Address before: 361005 1501, zone a, innovation building, software park, torch hi tech Zone, Xiamen City, Fujian Province

Patentee before: Xiamen Xingchen Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 361005 1501, zone a, innovation building, software park, Xiamen Torch High tech Zone, Xiamen, Fujian

Patentee after: Xiamen Xingchen Technology Co.,Ltd.

Address before: 361005 1501, zone a, innovation building, software park, Xiamen Torch High tech Zone, Xiamen, Fujian

Patentee before: Xiamen Xingchen Technology Co.,Ltd.

Address after: 361005 1501, zone a, innovation building, software park, Xiamen Torch High tech Zone, Xiamen, Fujian

Patentee after: Xingchen Technology Co.,Ltd.

Address before: 361005 1501, zone a, innovation building, software park, Xiamen Torch High tech Zone, Xiamen, Fujian

Patentee before: Xiamen Xingchen Technology Co.,Ltd.