CN106412588A - 影像帧处理方法 - Google Patents

影像帧处理方法 Download PDF

Info

Publication number
CN106412588A
CN106412588A CN201610682135.XA CN201610682135A CN106412588A CN 106412588 A CN106412588 A CN 106412588A CN 201610682135 A CN201610682135 A CN 201610682135A CN 106412588 A CN106412588 A CN 106412588A
Authority
CN
China
Prior art keywords
frame
image
coding
video display
image output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610682135.XA
Other languages
English (en)
Other versions
CN106412588B (zh
Inventor
蔡展鹏
郭朕逢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realtek Singapore Ltd
Realtek Singapore Pte Ltd
Original Assignee
Realtek Singapore Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/158,247 external-priority patent/US9996894B2/en
Application filed by Realtek Singapore Ltd filed Critical Realtek Singapore Ltd
Publication of CN106412588A publication Critical patent/CN106412588A/zh
Application granted granted Critical
Publication of CN106412588B publication Critical patent/CN106412588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明揭露了一种影像帧处理方法，用来藉由一影像处理装置处理复数个输入影像帧，该影像帧处理方法的一实施例包含：接收复数个输入影像帧；以及处理该复数个输入影像帧以产生一第一数量的第一输出影像帧以及一第二数量的第二输出影像帧，其中该第一输出影像帧的解析度不同于该第二输出影像帧的解析度，该第一数量不同于该第二数量，该第一输出影像帧中的一第一帧与该第二输出影像帧中的一第二帧是源自于该复数个输入影像帧中的同一帧。

Description

影像帧处理方法
技术领域
本发明是关于影像处理，尤其是关于影像处理装置、影视子系统、影视处理电路与影像帧处理方法。
背景技术
随着集成电路的设计与制程的进步，原本需藉由多个装置来执行的众多功能被整合至单一电子装置像是一智慧型手机、一平板电脑等等。在众多功能中，摄影功能(或称为影像/影视撷取与编码功能)可能是最受欢迎的功能，通常会被整合至一多功能电子装置中。然而，由于一多功能电子装置通常只有一个应用处理器来处理由软/硬件所执行的不同功能的设定与控制，一摄影功能在发送一或多个中断信号(interrupt(s))或要求(request(s))至该应用处理器后，常需等待该应用处理器的回应，此等待会减损该摄影功能的效能表现、大量耗费该应用处理器的资源、以及降低使用者体验。
相关先前技术可见于下列文献：
电子工程专辑的报导，“Mobile video：ARM vs.DSP vs.hardware”，公开于下列网址http：//www.eetimes.com/document.asp？docid＝1275550。
美国专利，“Integrated camera image signal processor and videoencoder”，专利号7,859,574。
美国专利，“Motion picture encoding device and method，motion picturedecoding device and method，motion picture recording device，program，and datastructure”，专利号8,699,569。
发明内容
鉴于先前技术的问题，本发明的一个目的在于提供一影像处理装置、一影视子系统与一影视处理电路以改善先前技术。
本发明揭露一种影像处理装置，用来藉由一应用处理器与一影视处理电路来处理影像原始数据，其中该影视处理电路不同于该应用处理器，该影像处理装置的一个实施例包含：一应用处理器；一影视处理电路接口单元；以及一影视处理电路。所述应用处理器用来依据一预设设定或一使用者设定来输出至少一参数与至少一指令至一影视处理电路接口单元，该影视处理电路接口单元介于该应用处理器与该影视处理电路之间。所述影视处理电路接口单元包含：一共用存储器，用来储存该至少一参数；以及一处理器间通信电路，用来传递该至少一指令至该影视处理电路以及向该应用处理器回报该影视处理电路如何处理该至少一指令。所述影视处理电路用来依据该至少一参数存取该共用存储器以及处理影像原始数据，并用来执行或拒绝执行该至少一指令所指示的一操作。
本发明亦揭露一种影视子系统，该影视子系统的一个实施例包含一影视处理电路接口单元以及一影视处理电路。所述影视处理电路接口单元包含：一共用存储器，用来储存至少一参数，该至少一参数来自该影视子系统之外的一外部电路；以及一处理器间通信电路，用来传递至少一指令至该影视处理电路以及向该外部电路回报该影视处理电路如何处理该至少一指令，其中该至少一指令来自该外部电路。所述影视处理电路用来依据该至少一参数存取该共用存储器以及处理影像原始数据，并用来执行或拒绝执行该至少一指令所指示的一操作。
本发明进一步揭露一种影视处理电路，该影视处理电路的一个实施例包含：一影视处理器，用来依据至少一参数及/或至少一指令输出至少一影像处理参数以及至少一编码参数，其中该至少一参数与该至少一指令来自该影视处理电路之外的一外部电路；一影像信号处理器，用来依据该至少一影像处理参数将影像原始数据转换成低解析度影视数据以及高解析度影视数据；一串流转换电路，用来将该高解析度影视数据转换为转换数据；以及一编码器，用来依据该至少一编码参数来编码该低解析度影视数据与该转换数据。
本发明进一步揭露一种影像帧处理方法，用来藉由一影像处理装置处理复数个输入影像帧，该影像帧处理方法的一个实施例包含：接收复数个输入影像帧；以及处理该复数个输入影像帧以产生一第一数量的第一输出影像帧以及一第二数量的第二输出影像帧，其中该第一输出影像帧的解析度不同于该第二输出影像帧的解析度，该第一数量不同于该第二数量，该第一输出影像帧中的一第一帧与该第二输出影像帧中的一第二帧是源自于该复数个输入影像帧中的同一帧。
本发明进一步揭露一种影像帧处理方法，用来藉由一影视处理电路来处理复数个输入影像帧，该方法的一个实施例包含下列步骤：接收复数个输入影像帧；处理所述这些输入影像帧以产生一第一数量的第一输出影像帧与一第二数量的第二输出影像帧，其中该第一输出影像帧的解析度不同于该第二输出影像帧的解析度，且该第一数量不同于该第二数量；以及藉由复数个编码参数的一第一部分与一第二部分来编码该第一输出影像帧的一第一帧，并藉由这些编码参数的该第一部分与一第三部分来编码该第二输出影像帧的一第二帧，其中这些编码参数的该第二部分不同于这些编码参数的该第三部分，且这些编码参数的该第一部分是在编码该第一输出影像帧的一先前帧时被产生。
附图说明
有关本发明的特征、实作与功效，兹配合图式作较佳实施例详细说明如下。
图1显示本发明的影像处理装置的一个实施例的示意图；
图2显示图1的影视处理电路的一个实施例的示意图；
图3显示本发明的影像处理装置的另一个实施例的示意图；
图4显示本发明的影像处理装置的有一个实施例的示意图；
图5是依据本发明的一个实施例显示图4的影视处理器如何产生编码参数；
图6是依据本发明的一个实施例显示图4的影视处理器如何侦测影像帧之间的影像撷取的变动；
图7显示本发明的影像帧处理方法的一个实施例的示意图；以及
图8显示本发明的影像帧处理方法的一个实施例的示意图。
具体实施方式
以下说明内容的技术用语是参照本技术领域的习惯用语，如本说明书对部分用语有加以说明或定义，该部分用语的解释是以本说明书的说明或定义为准。另外，在实施为可能的前提下，本说明书所描述的物件或事件间的相对关系，其涵义可包含直接或间接的关系，所谓「间接」是指物件间尚有中间物或物理空间之存在，或指事件间尚有中间事件或时间间隔之存在。再者，以下内容是关于影像处理，对于本领域习见的技术或原理，若不涉及或无甚相关于本发明的技术特征，本说明书将不予赘述。此外，图示中元件的形状、尺寸、比例以及流程的步骤顺序等仅为示意，是供本技术领域具有通常知识者了解本发明之用，而非对本发明的实施范围加以限制。
以下说明内容的各实施例分别具有一或多个技术特征，然此并不意味着使用本发明者必需同时实施任一实施例中的所有技术特征，或仅能分开实施不同实施例中的一部或全部技术特征。换句话说，只要实施为可能，本技术领域具有通常知识者可依据本发明的揭露内容，并视自身的需求或设计规范，选择性地实施任一实施例中部分或全部的技术特征，或者选择性地实施复数个实施例中部分或全部的技术特征的组合，藉此增加本发明实施时的弹性。
请参阅图1，其显示本发明的影像处理装置的一个实施例的示意图。图1的影像处理装置100被适当设定，以藉由一应用处理器110与一影视处理电路130来处理影像原始数据，其中该影视处理电路130不同于该应用处理器110，该影像处理装置100包含：前述应用处理器110；一影视处理电路接口单元120；以及前述影视处理电路130。该应用处理器110用来依据一预设设定或一使用者设定以经由至少一传输线(例如一系统总线)来输出至少一参数与至少一指令至该影视处理电路接口单元120，其中该影视处理电路接口单元120位于该应用处理器110与该影视处理电路130之间。
请参阅图2。该影视处理电路接口单元120包含：一共用存储器122，用来储存该至少一参数；以及一处理器间通信电路124，用来传递该至少一指令至该影视处理器132，并向该应用处理器110回报该影视处理电路130如何处理该至少一指令。依据该处理器间通信电路124的一个实施例，该应用处理器110与该影视处理器132相互发送中断信号(interrupts)，以告知对方该处理器间通信电路124中的可用信息。
请参阅图2，该影视处理电路130的一个实施例包含：一影视处理器132；一影像信号处理器(ISP)134；一串流转换电路136；以及一编码器138。所述影视处理器132用来依据前述至少一参数及/或前述至少一指令来输出至少一影像处理参数与至少一编码参数。所述ISP 134用来依据输入至该ISP 134的该影像原始数据来按光栅扫描顺序产生影视数据。所述串流转换电路136用来将该影视数据的一串流从光栅扫描顺序转换成区块基础顺序。所述编码器138用来依据该影视数据以及该至少一编码参数产生编码数据。
前述应用处理器110经由该影视处理电路接口单元120告知该影视处理器132关于处理后的影视输出的条件(requirements of processed video output)，并告知该影视处理器132关于一特定群组的帧的影视处理的开端(start of video processing for aspecified group of frames)。
该影视处理器132以每个帧为准及/或以子帧的层级为准来控制该ISP 134、该串流转换电路136以及该编码器138，以尽力地执行影像处理，从而达到该应用处理器110所设定的处理后的影视输出的条件。
该影视处理器132经由该影视处理电路接口单元120来告知该应用处理器110关于前述特定群组的帧的处理结束。
该应用处理器110衡量关于该处理后的影视输出的顺序的信息、为下一群组的帧来调整该处理后的影视输出的条件、以及告知该影视处理器132关于影视处理的开端。
该应用处理器110使用该共用存储器122以传递关于该处理后的影视输出的条件的信息至该影视处理器132，该影视处理器132使用该共用存储器122以传递关于该处理后的影视输出的信息至该应用处理器110，应用于或源自于ISP 134与编码器138的处理信息与处理结果是储存于该共用存储器122中，如此一来该ISP 134与该编码器138能够共用信息，所述信息的一范例为该ISP 134所侦测到的场景变化，此场景变化信息可被该编码器138使用。
基于图1与图2之揭露，图4显示前述串流转换电路136的一实施例，其包含一串流缓冲器410以及一区块基础压缩器420。该串流缓冲器410用来将影视数据的一串流从光栅扫描顺序转换为区块基础顺序。该串流转换电路136可依该区块基础顺序串流地输出该影视数据至该编码器138。该区块基础压缩器420可藉由减少一区块中的冗余信息以压缩该区块基础影视串流，换言之，该区块基础压缩器420可藉由下列手段的至少其中之一以压缩该区块基础影视串流：减少编码冗余数据(coding redundancy)；减少像素间冗余数据(interpixel redundancy)；以及减少心理视觉冗余数据(psychovisual redundancy)。所述区块基础压缩影视数据被串流地输出至一外部存储器(例如图4的存储器430，其一实施例为一双倍数据传输率(DDR)存储器或是一静态随机存取存储器(SRAM))以供后续的影视处理之用，而前述的压缩操作可减少对该外部存储器的频宽与容量的要求。
基于图1与图2之揭露，图4显示该影像信号处理器134的一实施例，其进一步用来依据一影像撷取装置所撷取的影像来产生复数种解析度的复数张影像。在上述复数张影像中，较低解析度的影像可直接用于或进一步地被处理后以用于短期储存(例如短期地储存于挥发性或非挥发性储存装置)、传输、即时显示等等；较高解析度的影像可被编码并储存于系统中的一长期储存装置(例如非挥发性储存装置)，或可用于其它用途。该ISP 134可直接地按光栅扫描顺序将上述较低解析度的影像(图中标示为LR)串流地输出至一系统存储器430。该ISP 134可将前述较高解析度的影像(图中标示为HR)串流地输出至该串流转换电路136，该串流转换电路136可据以产生区块基础压缩影视数据串流，并接着将该压缩影视数据串流串流地输出至该系统存储器430。该ISP 134可串流地输出该较高解析度影像(HR)至该串流转换电路136，该串流转换电路136再将该区块基础影视数据串流串流地输出至该编码器138。该编码器138会将该区块基础影视数据串流编码成一位元串流(bitstream)以符合一特定标准影视压缩规范，并将该编码后的单位位元串流写入该系统存储器430。
该影视处理器132偕同该编码器138以将影视编码成一位元串流以符合一标准影视压缩规范像是MPEG、MPEG2、H.264、HEVC、VP8、VP9等等。在一实施例中，该影视处理器132对一位元串流标头(header)进行编码，再将其写入该存储器430，且该编码器138会产生前述单位位元串流，并将其写入该系统存储器430。所述位元串流标头以及单元位元串流被依序地放在一起，以产生一编码后的位元串流符合该标准影视压缩规范。
基于图1、图2、与图5之揭露，该影视处理器132的一实施例能够用来产生编码参数以供该编码器138来编码一低解析度第(N+1)帧(于图5中标示为(N+1)th(LR))，并能用来产生共用编码参数以供该编码器138基于该低解析度第(N+1)帧的编码结果来编码一低解析度第(N+2)帧(于图5中标示为(N+2)th(LR))，该共用编码参数可被重复用来编码一高解析度第(N+2)帧(于图5中标示为(N+2)th(HR))，后续的参数产生与利用可仿照上述说明以类推。请注意，除了上述共用编码参数是用于低解析度与高解析度帧的编码外，该编码器138仍需要不同的编码参数来分别完成该低解析度与高解析度帧的编码。另请注意，图5的虚线是用来指出何种基础(例如编码结果)被采用以供该影视处理器132及/或该编码器138来执行作业。
进一步而言，该影视处理器132用来在该编码器138编码一高解析度第N影像帧(于图5中标示为Nth(HR))的期间内产生前述编码参数，并用来在该低解析度第(N+1)帧的编码与该低解析度第(N+2)帧的编码之间的间隔内产生该共用编码参数，之后，该共用编码参数被用于该低解析度第(N+2)帧与该高解析度第(N+2)帧的编码，后续的参数产生与利用可仿照上述以类推。简言之，该影视处理器132可用来产生特定的共用编码参数以供该编码器138对源自于同一影像的高解析度帧与低解析度帧进行编码，从而为该影视处理器132节省用于计算编码参数的资源
基于图1、图2与图6之揭露，该影视处理器132的一实施例能够侦测(N+2)th(LR)帧(亦即低解析度第(N+2)帧)与(N+1)th(LR)帧(亦即低解析度第(N+1)帧)之间的影像撷取的变动，其中该(N+2)th(LR)帧与该(N+1)th(LR)帧是由该ISP 134所依序输出，并储存于一存储器(例如图4的存储器430)，且该存储器可被该影视处理器132存取。所述变动的侦测结果可被用来计算编码参数，从而藉由移除或减轻影像撷取的变动的影响以使一编码后的影视得以稳定。
在另一实施例中，该影视处理器132藉由硬件的帮助来加速前述影像撷取的变动的侦测，由于前述的二相邻帧(即该(N+2)th(LR)帧与该(N+1)th(LR)帧)均为低解析度帧，因此对于该影视处理器132而言只需花较少的运算资源即能完成相关分析并产生编码参数，从而令一编码后的影视得以稳定。在产生该编码参数后，该编码器138即可藉由移除或减轻影像撷取的变动的影响来编码一低解析度帧(例如该(N+2)th(LR)帧)与一高解析度帧(例如(N+2)th(HR)帧，亦即高解析度第(N+2)帧)。请注意，前述的每个序数(例如Nth及其同类)是一影像帧的序数，源自于影像撷取顺序。另请注意，图6的虚线是用来指示何种基础(例如编码结果)被采用以供该影视处理器132及/或该编码器138执行作业。
值得注意的是前述影视处理电路接口单元120与影视处理电路130可构成一影视子系统，该影视子系统所属的电路范围并不包含该应用处理器110，更明确地说，该影视子系统相较于先前技术较不需要去发送一中断信号(interrupt)及/或一要求(request)至该应用处理器110以执行影视处理，这是因为使用了该影视处理电路接口单元120以及因为该影视处理电路的影视处理器132是专用于影视相关软件处理以及该ISP 134与编码器138的控制。
本发明进一步揭露一种影像帧处理方法，用来藉由一影像处理装置处理复数个输入影像帧，该影像帧处理方法的一实施例包含：
步骤S710：接收复数个输入影像帧；以及
步骤S720：处理该复数个输入影像帧以产生一第一数量的第一输出影像帧以及一第二数量的第二输出影像帧，其中该第一输出影像帧的解析度不同于(例如高于)该第二输出影像帧的解析度，该第一数量不同于(例如少于)该第二数量，该第一输出影像帧中的一第一帧与该第二输出影像帧中的一第二帧是源自于该复数个输入影像帧中的同一帧。
在本实施例中，在图4中的该影像信号处理器134系依据一影像撷取装置所撷取的影像来产生复数种解析度的复数张影像(即，包括有高解析度的第一数量张影像以及低解析度的第二数量张影像)。在本实施例的一范例中，该输入影像帧的数量等于该第二数量。在本实施例的一范例中，在图5的高解析度帧的数量是少于低解析度帧的数量；于一较佳范例中，该第一数量为该第二数量的一半；当然，该第一数量与该第二数量的比例也可以是其他数值比例。在本实施例的一范例中，本实施例进一步包含：侦测该第二输出影像帧的二相邻帧之间的影像撷取的变动，以输出一变动侦测结果，其中该二相邻帧包含该第二帧；以及依据该变动侦测结果处理该第一与第二帧。在本实施例的一范例中，产生该第一输出影像帧的步骤包含：依据该复数个输入影像帧产生一区块基础影视串流；以及依据一区块基础压缩演算法压缩该区块基础影视串流。在本实施例的一范例中，于该第一输出影像帧的一在先帧的编码期间内，复数编码参数的一第一部分被产生，以供该第一与第二帧的编码之用，其中该在先帧的编码期间早于该第一与第二帧的编码期间。在本实施例的一范例中，本实施例进一步包含一步骤用来依据复数编码参数的一第一部分与一第二部分编码该第一帧，以及包含另一步骤用来依据该复数编码参数的该第一部分与一第三部分编码该第二帧，其中下列特征的至少其中之一被采用：该第二部分不同于该第三部分；于该第一输出影像帧的一在先帧的编码期间内，该复数编码参数的该第一部分被产生；该在先帧的编码期间早于该第一与第二帧的编码期间；该第一数量为该第二数量的一半；本范例进一步侦测该第二输出影像帧的二相邻帧之间的影像撷取的变动，并输出一变动侦测结果，其中该二相邻帧包含该第二帧，以及本范例进一步依据该变动侦测结果处理该第二帧；该变动侦测结果包含于该复数编码参数的该第一部分中；以及该第二帧的编码期间早于该第一帧的编码期间。
由于本领域具有通常知识者能够藉由前揭装置实施例的揭露来推知本方法实施例的细节与变化，亦即前揭装置实施例的技术特征均可合理地应用于本方法实施例中，因此，在不影响揭露要求与可实施性的前提下，重复及冗余的说明在此予以节略。
本发明进一步揭露一种影像帧处理方法，用来藉由一影视处理电路来处理复数个输入影像帧，该方法的一实施例包含下列步骤：
步骤S810：接收复数个输入影像帧；
步骤S820：处理这些输入影像帧以产生一第一数量的第一输出影像帧与一第二数量的第二输出影像帧，其中该第一输出影像帧的解析度不同于(例如高于)该第二输出影像帧的解析度，且该第一数量不同于(例如少于)该第二数量；以及
步骤S830：藉由复数个编码参数的一第一部分与一第二部分来编码该第一输出影像帧的一第一帧，并藉由这些编码参数的该第一部分与一第三部分来编码该第二输出影像帧的一第二帧，其中这些编码参数的该第二部分不同于这些编码参数的该第三部分，且这些编码参数的该第一部分是在编码该第一输出影像帧的一先前帧时被产生。
在本实施例的一范例中，该在先帧的编码期间早于该第一与第二帧的编码期间。于本实施例的一范例中，该第一数量为该第二数量的一半。于本实施例的一范例中，该第二帧的编码期间早于该第一帧的编码期间。在本实施例的一范例中，本实施例进一步包含下列步骤：侦测该第二输出影像帧的二相邻帧之间的影像撷取的变动，以输出一变动侦测结果，其中该二相邻帧包含该第二帧；以及依据该变动侦测结果处理该第一与第二帧。在上一范例中，该变动侦测结果可选择性地包含于这些编码参数的该第一部分中。
由于本领域具有通常知识者能够藉由前揭装置实施例的揭露来推知本方法实施例的细节与变化，亦即前揭装置实施例的技术特征均可合理地应用于本方法实施例中，因此，在不影响揭露要求与可实施性的前提下，重复及冗余的说明在此予以节略。
综上所述，本发明的影像处理装置、影视子系统与影视处理电路相较于先前技术较不需要发送中断信号至一应用处理器，且使用了特定共用编码参数以对低解析度与高解析度帧进行编码，并可侦测低解析度帧的影像撷取的变动，以及可藉由移除或减轻影像撷取的变动的影响来产生编码参数以对低解析度与高解析度影视进行编码，从而产生稳定的影视。简言之，本发明的影像处理装置、影视子系统与影视处理电路改善了摄影功能的效能，耗用较少的应用处理器的资源，并增强了使用者体验。
虽然本发明的实施例如上所述，然而这些实施例并非用来限定本发明，本技术领域具有通常知识者可依据本发明所明示或隐含的内容对本发明的技术特征施以变化，凡此种种变化均可能属于本发明所寻求的专利保护范畴，换言之，本发明的专利保护范围须视本说明书的权利要求所界定者为准。
【符号说明】
100 影像处理装置
110 应用处理器
120 影视处理电路接口单元
122 共用存储器
124 处理器间通信电路
130 影视处理电路
132 影视处理器
134 影像信号处理器(ISP)
136 串流转换电路
138 编码器
310 系统总线
320 系统存储器
410 串流缓冲器
420 压缩器
Nth(LR) 低解析度第N帧
Nth(HR) 高解析度第N帧
(N+1)th(LR) 低解析度第(N+1)帧
(N+2)th(LR) 低解析度第(N+2)帧
(N+2)th(HR) 高解析度第(N+2)帧
(N+3)th(LR) 低解析度第(N+3)帧
S710～S720 步骤
S810～S830 步骤

Claims (20)

1.一种影像帧处理方法，用来藉由一影像处理装置处理复数个输入影像帧，包含下列步骤：
接收该复数个输入影像帧；以及
处理该复数个输入影像帧以产生一第一数量的第一输出影像帧以及一第二数量的第二输出影像帧，
其中该第一输出影像帧的解析度不同于该第二输出影像帧的解析度，该第一数量不同于该第二数量，该第一输出影像帧中的一第一帧与该第二输出影像帧中的一第二帧是源自于该复数个输入影像帧中的同一帧。
2.如权利要求1所述的影像帧处理方法，其中产生该第一输出影像帧的步骤包含：
依据该复数个输入影像帧产生一区块基础影视串流；以及
依据一区块基础压缩演算法压缩该区块基础影视串流。
3.如权利要求1所述的影像帧处理方法，进一步包含：
依据复数编码参数的一第一部分与一第二部分编码该第一帧，以及依据该复数编码参数的该第一部分与一第三部分编码该第二帧，其中该第二部分不同于该第三部分。
4.如权利要求3所述的影像帧处理方法，其中在该第一输出影像帧的一在先帧的编码期间内，该复数编码参数的该第一部分被产生。
5.如权利要求4所述的影像帧处理方法，其中该在先帧的编码期间早于该第一与第二帧的编码期间。
6.如权利要求3所述的影像帧处理方法，进一步包含：
侦测该第二输出影像帧的二相邻帧之间的影像撷取的变动，以输出一变动侦测结果，其中该二相邻帧包含该第二帧；以及
依据该变动侦测结果处理该第二帧。
7.如权利要求6所述的影像帧处理方法，其中该变动侦测结果包含于该复数编码参数的该第一部分中。
8.如权利要求3所述的影像帧处理方法，其中该第二帧的编码期间早于该第一帧的编码期间。
9.如权利要求1、2、3、4或8所述的影像帧处理方法，其中该输入影像帧的数量等于该第二数量。
10.如权利要求1、2、3、4或8所述的影像帧处理方法，其中该第一数量少于该第二数量。
11.如权利要求10所述的影像帧处理方法，其中该第一数量为该第二数量的一半。
12.一种影像帧处理方法，用来藉由一影视处理电路来处理复数个输入影像帧，包含下列步骤：
接收该复数个输入影像帧；
处理这些输入影像帧以产生一第一数量的第一输出影像帧与一第二数量的第二输出影像帧，其中该第一输出影像帧的解析度不同于该第二输出影像帧的解析度，且该第一数量不同于该第二数量；以及
藉由复数个编码参数的一第一部分与一第二部分来编码该第一输出影像帧的一第一帧，并藉由这些编码参数的该第一部分与一第三部分来编码该第二输出影像帧的一第二帧，
其中这些编码参数的该第二部分不同于这些编码参数的该第三部分。
13.如权利要求12所述的影像帧处理方法，其中这些编码参数的该第一部分是在编码该第一输出影像帧的一在先帧时被产生。
14.如权利要求13所述的影像帧处理方法，其中该在先帧的编码期间早于该第一与第二帧的编码期间。
15.如权利要求12所述的影像帧处理方法，进一步包含：
侦测该第二输出影像帧的二相邻帧之间的影像撷取的变动，以输出一变动侦测结果，其中该二相邻帧包含该第二帧；以及
依据该变动侦测结果处理该第一与第二帧。
16.如权利要求15所述的影像帧处理方法，其中该变动侦测结果包含于这些编码参数之该第一部分中。
17.如权利要求12所述的影像帧处理方法，其中该第二帧的编码期间早于该第一帧的编码期间。
18.如权利要求12、13、15或17所述的影像帧处理方法，其中该输入影像帧之数量等于该第二数量。
19.如权利要求12、13、15或17所述的影像帧处理方法，其中该第一数量少于该第二数量。
20.如权利要求19所述的影像帧处理方法，其中该第一数量为该第二数量的一半。
CN201610682135.XA 2016-05-18 2016-08-18 影像帧处理方法 Active CN106412588B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/158,247 US9996894B2 (en) 2016-05-18 2016-05-18 Image processing device, video subsystem and video pipeline
US15/158,247 2016-05-18
US15/200,946 US9967465B2 (en) 2016-05-18 2016-07-01 Image frame processing method
US15/200,946 2016-07-01

Publications (2)

Publication Number Publication Date
CN106412588A true CN106412588A (zh) 2017-02-15
CN106412588B CN106412588B (zh) 2019-06-14

Family

ID=58004318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610682135.XA Active CN106412588B (zh) 2016-05-18 2016-08-18 影像帧处理方法

Country Status (2)

Country Link
US (1) US9967465B2 (zh)
CN (1) CN106412588B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111372038A (zh) * 2018-12-26 2020-07-03 厦门星宸科技有限公司 多串流影像处理装置及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10182244B2 (en) 2016-03-02 2019-01-15 MatrixView, Inc. Fast encoding loss metric
EP3745706B1 (en) * 2019-05-29 2021-06-30 Axis AB System and method for video processing with picture stabilization and predictive compression
CN112135176B (zh) * 2019-06-25 2022-09-13 西安诺瓦星云科技股份有限公司 视频处理方法、装置及系统和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5357281A (en) * 1991-11-07 1994-10-18 Canon Kabushiki Kaisha Image processing apparatus and terminal apparatus
CN1267032A (zh) * 1999-03-11 2000-09-20 现代自动车株式会社 用于监视车辆在道路的车道中的位置的方法
CN101287089A (zh) * 2007-04-09 2008-10-15 佳能株式会社 摄像设备、图像处理设备及其控制方法
US7859574B1 (en) * 2005-07-19 2010-12-28 Maxim Integrated Products, Inc. Integrated camera image signal processor and video encoder
CN103297679A (zh) * 2012-02-24 2013-09-11 宏达国际电子股份有限公司 电子装置及用于影像稳定的方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5010401A (en) 1988-08-11 1991-04-23 Mitsubishi Denki Kabushiki Kaisha Picture coding and decoding apparatus using vector quantization
US5144688A (en) * 1990-03-23 1992-09-01 Board Of Regents, The University Of Texas System Method and apparatus for visual pattern image coding
DE69835188T2 (de) * 1997-07-17 2006-12-14 Canon K.K. Bildverarbeitungsvorrichtung und -verfahren und Aufzeichnungsmedium dafür
US6625322B1 (en) 1999-06-08 2003-09-23 Matsushita Electric Industrial Co., Ltd. Image coding apparatus
US7139003B1 (en) 2003-12-15 2006-11-21 Nvidia Corporation Methods of processing graphics data including reading and writing buffers
US7705884B2 (en) * 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
JP4689440B2 (ja) 2005-11-04 2011-05-25 キヤノン株式会社 撮像装置、及び処理方法
US8017472B2 (en) * 2006-02-17 2011-09-13 Infineon Technologies Ag CMOS devices having stress-altering material lining the isolation trenches and methods of manufacturing thereof
JP5248802B2 (ja) 2006-06-16 2013-07-31 カシオ計算機株式会社 動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置
US8948822B2 (en) 2008-04-23 2015-02-03 Qualcomm Incorporated Coordinating power management functions in a multi-media device
US8331703B2 (en) 2011-02-18 2012-12-11 Arm Limited Parallel image encoding
US20140037005A1 (en) 2012-08-02 2014-02-06 Penne Y. LEE Transcoding video data
US9549189B2 (en) 2012-11-06 2017-01-17 Ittiam Systems (P) Ltd. Method for media rate control in a video encoding system
US9386318B2 (en) 2012-12-12 2016-07-05 Apple Inc. Lossless image compression using differential transfer
US20140369557A1 (en) * 2013-06-14 2014-12-18 Qualcomm Incorporated Systems and Methods for Feature-Based Tracking
KR102136848B1 (ko) * 2013-07-15 2020-07-22 삼성전자 주식회사 영상 처리 장치, 영상 처리 시스템 및 영상 처리 방법
US9106887B1 (en) 2014-03-13 2015-08-11 Wowza Media Systems, LLC Adjusting encoding parameters at a mobile device based on a change in available network bandwidth
US9380312B2 (en) 2014-07-14 2016-06-28 Apple Inc. Encoding blocks in video frames containing text using histograms of gradients
US10158874B2 (en) 2015-09-30 2018-12-18 Apple Inc. Parallel bypass and regular bin coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5357281A (en) * 1991-11-07 1994-10-18 Canon Kabushiki Kaisha Image processing apparatus and terminal apparatus
CN1267032A (zh) * 1999-03-11 2000-09-20 现代自动车株式会社 用于监视车辆在道路的车道中的位置的方法
US7859574B1 (en) * 2005-07-19 2010-12-28 Maxim Integrated Products, Inc. Integrated camera image signal processor and video encoder
CN101287089A (zh) * 2007-04-09 2008-10-15 佳能株式会社 摄像设备、图像处理设备及其控制方法
CN103297679A (zh) * 2012-02-24 2013-09-11 宏达国际电子股份有限公司 电子装置及用于影像稳定的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111372038A (zh) * 2018-12-26 2020-07-03 厦门星宸科技有限公司 多串流影像处理装置及方法

Also Published As

Publication number Publication date
US9967465B2 (en) 2018-05-08
CN106412588B (zh) 2019-06-14
US20170339345A1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
CN106412473A (zh) 影像处理装置、影视子系统与影视处理电路
CN101651832B (zh) 在嵌入式设备中提供较高分辨率图像的方法和装置
CN106412588A (zh) 影像帧处理方法
CN1125031A (zh) 采用可变量化的自适应视频压缩
CN104704810A (zh) 图像捕获加速器
CN112714320B (zh) 一种解码方法、解码设备及计算机可读存储介质
TW201501075A (zh) 經由遠端圖形處理服務串流顯像內容的圖形伺服器以及方法
US10110896B2 (en) Adaptive motion JPEG encoding method and system
US20240104780A1 (en) Image compression method and apparatus, and intelligent terminal and computer-readable storage medium
CN104661059A (zh) 一种图片播放的方法、装置及机顶盒
CN112948151A (zh) 程序界面图像传输方法、基板管理控制器及远程控制设备
CN111083450A (zh) 车机端图像远程输出方法、装置及系统
CN104010204B (zh) 图像信息处理方法及装置
CN104575427A (zh) 一种适合嵌入式系统解码的高压缩比无损图像压缩方法
CN102123275B (zh) 一种视频分量数据信息获取及提取的方法
WO2024078066A1 (zh) 视频解码方法、视频编码方法、装置、存储介质及设备
CN103733615B (zh) 用于端到端编码的视频传输系统的按需内部更新
WO2023024832A1 (zh) 数据处理方法、装置、计算机设备和存储介质
Okada et al. A single chip motion JPEG codec LSI
WO2023104186A1 (zh) 一种高效低成本的云游戏系统
CN116170636A (zh) 直播视频播放方法及其装置、设备、介质
CN103369325B (zh) 一种适用于无线视频传感网的低复杂度视频压缩传输方法
CN107241601B (zh) 图像数据传输方法、装置及终端
CN104581175A (zh) 影像处理装置与方法
CN116489380B (zh) 一种微控制处理器及视频码流的解码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant