CN109429065A - 视频编码装置及视频编码方法 - Google Patents

视频编码装置及视频编码方法 Download PDF

Info

Publication number
CN109429065A
CN109429065A CN201710791138.1A CN201710791138A CN109429065A CN 109429065 A CN109429065 A CN 109429065A CN 201710791138 A CN201710791138 A CN 201710791138A CN 109429065 A CN109429065 A CN 109429065A
Authority
CN
China
Prior art keywords
video
interest
information
circuit
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710791138.1A
Other languages
English (en)
Inventor
黄鑫
周凡迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novatek Microelectronics Corp
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Priority to CN201710791138.1A priority Critical patent/CN109429065A/zh
Priority to US15/723,200 priority patent/US20190075302A1/en
Publication of CN109429065A publication Critical patent/CN109429065A/zh
Priority to US17/009,727 priority patent/US20200404290A1/en
Priority to US17/009,739 priority patent/US20200404291A1/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频编码装置及视频编码方法。视频编码装置包括编码电路与感兴趣区域(ROI)决定电路。编码电路对原始视频帧进行视频编码操作，以产生已编码视频帧。在视频编码操作的编码过程产生了编码信息。对于在所述原始视频帧后的多个连续视频帧的任一个，感兴趣区域决定电路复用由所述视频编码操作产生的编码信息，以便根据初始ROI识别一或多个ROI对象，以及在当前视频帧内产生一或多个动态ROI以追踪所述一或多个ROI对象。

Description

视频编码装置及视频编码方法
技术领域
本发明是有关于一种视频处理系统，且特别是有关于一种视频编码装置及其视频编码方法。
背景技术
视频监控是视频系统的一种应用。为了提供高分辨率的视频，现有视频监控装置会对视频帧全局采取具有高视频质量的编码策略。可想而知，高视频质量的编码策略将会耗费大量的软/硬件资源(例如编码运算资源、传输带宽与存储空间)。若要节省软/硬件资源，现有视频监控装置可以对视频帧全局采取具有低视频质量的编码策略。具有低视频质量的视频帧可能会使图像中的一些重要细节(例如人脸、车牌号码等)变得难以辨认。
发明内容
本发明提供一种视频编码装置及视频编码方法，以便根据初始感兴趣区域(Region of Interest，以下称ROI)识别一个或多个ROI对象，以及在当前视频帧内产生一个或多个动态ROI以追踪一或多个ROI对象。
本发明的实施例提供一种视频编码装置。视频编码装置包括编码电路以及ROI决定电路。编码电路被配置为对原始视频帧(original video frame)进行视频编码操作，以产生已编码视频帧。所述视频编码操作在编码过程中产生至少一个编码信息。ROI决定电路耦接到所述编码电路，以接收所述编码信息。ROI决定电路被配置为在所述原始视频帧内获得初始ROI，并且复用由所述视频编码操作产生的所述编码信息，以便根据所述初始ROI识别一个或多个ROI对象，以及在当前视频帧内产生一个或多个动态ROI以追踪所述一或多个ROI对象。所述当前视频帧可以是在所述原始视频帧后的多个连续视频帧的任一个。
本发明的实施例提供一种视频编码方法。所述视频编码方法包括：通过编码电路对原始视频帧进行视频编码操作，以产生已编码视频帧，其中所述视频编码操作在编码过程中产生至少一个编码信息；在所述原始视频帧内获得初始ROI；以及复用由所述视频编码操作产生的所述编码信息，以便根据所述初始ROI识别一个或多个ROI对象，以及在当前视频帧内产生一个或多个动态ROI以追踪所述一或多个ROI对象。所述当前视频帧可以是在所述原始视频帧后的多个连续视频帧的任一个。
本发明的实施例提供一种视频编码方法。所述视频编码方法包括：在原始视频帧内产生初始ROI；根据所述初始ROI识别一或多个ROI对象；以及在当前视频帧内产生一个或多个动态ROI，以追踪所述一或多个ROI对象。所述当前视频帧可以是在所述原始视频帧后的多个连续视频帧的任一个。
基于上述，在本发明一些实施例中，所述视频编码装置与视频编码方法可以根据初始ROI识别一个或多个ROI对象。所述视频编码装置可以在当前视频帧内产生一个或多个动态ROI，以追踪所述ROI对象。在一些实施例中，所述视频编码装置与视频编码方法可以实现对穿过初始ROI区域的对象进行追踪，同时实现动态调整至少一个实际ROI区域(对象实际所在区域，或是动态ROI)的各自大小及各自形状。当前视频帧中的ROI区域与其他区域可以分别采取不同的编码策略来进行视频编码操作。例如，可以针对动态ROI而不是整个初始ROI来执行更精细的编码处理。因此，所述视频编码装置与视频编码方法可以提高这些ROI对象的视觉质量，并且可以兼顾软/硬件资源(例如编码运算资源、传输带宽与存储空间)的设计要求。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1是根据本发明的一实施例示出的一种视频编码装置的电路方框
(circuit block)示意图；
图2是根据本发明的一实施例示出的一种视频编码方法的流程示意图；
图3是根据本发明的一实施例说明图1所示感兴趣区域决定电路的操作示意图；
图4A至图4D是根据本发明的一实施例示出的初始感兴趣区域的不同情形示意图。
图5是根据本发明的一实施例说明图1所示编码电路与感兴趣区域决定电路的电路方框示意图。
图6是根据本发明的一实施例示出的量化步距与舍入偏置之调整示意图。
图7是依照本发明的另一实施例所示出的一种视频编码方法的流程示意图。
图8至图11是根据本发明的一实施例所示出的初始感兴趣区域的情形示意图。
具体实施方式
在本案说明书全文(包括申请专利范围)中所使用的“耦接(或连接)”一词可指任何直接或间接的连接手段。举例而言，若文中描述第一装置耦接(或连接)于第二装置，则应该被解释成该第一装置可以直接连接于该第二装置，或者该第一装置可以透过其他装置或某种连接手段而间接地连接至该第二装置。另外，凡可能之处，在图式及实施方式中使用相同标号的组件/构件/步骤代表相同或类似部分。不同实施例中使用相同标号或使用相同用语的组件/构件/步骤可以相互参照相关说明。
在一些实施例中，编码信息(encoding information)可以被重用以产生动态感兴趣区域(Region of Interest，以下称ROI)。动态ROI可以具有动态变化的位置、形状、区域和/或存在(existences)。动态ROI可以允许ROI对象被持续跟踪。ROI对象可以是空闲的或移动的。此外，ROI对象可以是相同的(原始)对象或新对象。动态ROI的位置、形状、面积和/或存在可以动态变化，以覆盖移动的或新的ROI对象。不同的帧(frames)可以具有包含了相同或不同的ROI对象的相同或不同的动态ROI。
在一些实施中，动态ROI可以用不同的编码策略来处理，以具有更好的视频质量。帧中的其余区域可以被处理以具有正常或相对低的视频质量。在这种实施中，具有动态变化位置、形状和/或存在的动态ROI可以导致更有效地聚焦在动态ROI上使用系统资源，从而实现更好的视频质量。
视频解编码器(codec)可有效率地对高分辨率或高画质视频内容进行编码或译码。编译码器是一个能够对视频输入信号进行视频编码操作及/或视频译码操作的硬件装置、固件或者软件程序。
图1是根据本发明的一实施例示出的一种视频编码装置100的电路方框(circuitblock)示意图。视频编码装置100包含编码电路(encoding circuit)110。编码电路110接收视频输入信号Vin。视频输入信号Vin包含多个连续视频帧。编码电路110可以对视频输入信号Vin中的一个原始视频帧(original video frame)进行视频编码操作，以产生已编码视频帧(encoded video frame)。编码电路110可以输出所述已编码视频帧作为位串流输出信号Bout。本实施例并不限制所述视频编码操作的实施方式。举例来说，依照设计需求，所述视频编码操作可以是现有的视频编码方法或是任何其他视频编码方法。编码电路110可以对当前视频帧内不同的区域使用不同的编码策略来进行视频编码操作，因此不同的区域可以具有不同的视频质量(例如分辨率以及/或是其他视频特性)。
在所述视频编码操作在编码过程中，编码电路110可以产生编码信息
(encoding information)。在一些实施例中，所述编码信息可以包括最大编码块(largest coding unit,LCU)纹理信息(texture information)、编码块(coding unit,CU)深度信息(depth information)、预测块(prediction unit,PU)大小信息(sizeinformation)、变换块(transform unit,TU)大小信息、运动向量(motion vector)信息以及进阶运动向量预测(advanced motion vector
prediction,AMVP)信息其中的一个或多个信息。
依照应用需求，视频编码装置100可以被配置在计算机、智能型手机、数字摄影机、数字相机、服务器或是其他电子装置。举例来说，视频编码装置100可以被应用于“视频监控(video monitoring)”。视频编码装置100采用了感兴趣区域(Region of Interest，以下称ROI)技术，也即智能视频编码(intelligent video encoding,IVE)技术。一个理由是为了提高重要对象的视觉质量，并且兼顾软/硬件资源(例如编码运算资源、传输带宽与存储空间)的设计要求。因此，视频编码装置100内部配置了ROI决定电路(ROI
determination circuit)120。它们的ROI决定电路120可以定义或决定一个或多个ROI可包括初始ROI。初始ROI决定电路10可以提供设定接口，以便让用户或前级控制电路(未示出)在原始视频帧内定义一个(或多个)初始ROI(Initial ROI)，并将初始ROI Rinit提供给ROI决定电路120。依照设计需求，初始ROI决定电路10可以是现有的设定接口电路或是其他设定接口电路。然后，ROI决定电路120可以基于初始ROI来决定一个或多个动态ROI。此决定可以通过使用编码信息来确定。
图2是根据本发明的一实施例示出的一种视频编码方法的流程示意图。视频编码方法可以应用在图1的视频编码装置100，但不限于此。仅为了说明的目的，图2的实施例可参照图1的视频编码装置100来加以说明。请参照图1与图2。在步骤S210中，编码电路110可以对视频输入信号Vin中的原始视频帧进行视频编码操作，以产生已编码视频帧(位串流输出信号Bout)。所述视频编码操作在编码过程中可以产生至少一个编码信息，例如LCU纹理信息、CU深度信息、PU大小信息、TU大小信息、运动向量信息以及/或是AMVP信息。ROI决定电路120耦接到编码电路110，以接收所述编码信息。所述编码信息皆为编码电路110所提供之信息，ROI决定电路120不需要额外计算。
LCU的大小例如为64*64像素，而CU的实际大小取决于视频解编码器(codec)的编码策略。ROI决定电路120可以根据LCU纹理信息以及CU深度信息(即LCU被划分到第几层)来判断某一区域是否有对象。ROI决定电路120可以根据PU大小信息和TU大小信息来判断某一区域内是否有比较复杂的对象。运动向量信息为表现一个帧和另一个帧的相对运动关系，因此ROI决定电路120可以根据运动向量信息来判断某一区域有没有运动的对象。ROI决定电路120可以根据AMVP信息来判断当前运动向量的状况。
在步骤S220中，ROI决定电路120可以从初始ROI决定电路10获得初始ROI Rinit。也即，ROI决定电路120可以在所述原始视频帧内设定初始ROI，如图3所示。对于在所述原始视频帧后的多个连续视频帧的任何一个视频帧(当前视频帧)，ROI决定电路120可以复用由所述视频编码操作产生的所述编码信息(例如LCU纹理信息、CU深度信息、PU大小信息、TU大小信息、运动向量信息以及/或是AMVP信息)，以便在初始ROI内识别一个或多个ROI对象(步骤S230)，并在当前视频帧内产生一个或多个动态ROI(dynamic ROI)来追踪所述ROI对象(步骤S240)。举例来说(但不限于此)，所述ROI决定电路120在步骤S230中可以基于所述编码信息来产生标记信息，以便标记所述动态ROI的个别位置。
依照设计需求，所述ROI对象可以是运动对象(moving object)、人脸、车牌、特定颜色、特定几何形状或是其他感兴趣对象。ROI决定电路120可以将含有ROI对象的所述动态ROI的位置告知编码电路110。ROI对象可以根据初始ROI进行识别。ROI对象可以是停留或通过在任何一个视频帧(包括原始视频帧和连续帧)中的初始ROI的一个对象。更具体地，ROI对象可以包括以下ROI中的一个或多个：一开始出现在初始ROI中并停留在初始ROI中的至少一个ROI对象，一开始出现在初始ROI中并且离开初始ROI的至少一个ROI对象，一开始没有出现在初始ROI中并且进入并停留在所述初始ROI中的至少一个ROI对象，以及一开始没有出现在所述初始ROI中并且通过所述初始ROI的至少一个ROI对象。
在真实的视频监控应用中，ROI是被认为更重要或需要更高显示质量的区域。反之，在当前视频帧内除了含有所述ROI对象的ROI外的其他区域(例如背景)一般是不重要(不感兴趣)的。编码电路110可以使用第一编码策略对当前视频帧内的所述动态ROI进行视频编码操作，以维持(或增进)这些ROI对象的视觉质量。为了节省网络带宽和存储空间，编码电路110可以使用第二编码策略对所述当前视频帧中的其他区域(不感兴趣的区域，例如背景)进行视频编码操作，其中所述第一编码策略不同于所述第二编码策略。对应于所述第一编码策略的视频质量更优于(或更高于)对应于所述第二编码策略的视频质量。从传输带宽的角度论之，所述第二编码策略(例如压缩比大，失真度大之编码策略)的传输数据量可以少于所述第一编码策略(例如压缩比小，失真度小之编码策略)的传输数据量。编码电路110可以将第一编码策略应用于ROI对象所在的动态ROI，以提高视频质量；而将第二编码策略应用于在动态ROI外的其他区域，以节省带宽资源。不同的区域使用不同的编码策略来进行视频编码操作，因此所述视频编码装置100可以提高这些ROI对象的视觉质量，并可以兼顾软/硬件资源(例如编码运算资源、传输带宽与存储空间)的设计要求。
举例来说(但不限于此)，视频编码装置100可以被用来对车流进行监视与追踪。当有车子(ROI对象)在此初始ROI内时，ROI决定电路120可以复用编码电路110所产生的编码信息来识别车子，并且产生对应的动态ROI来追踪车子。随着车子的移动，所述动态ROI可以超过初始ROI的范围。在一个初始ROI内有多个车子的情况下，所述动态ROI的数量也可以是多个。其中，因为ROI决定电路120重复使用了编码电路110既有的编码信息，因此ROI决定电路120的运算成本可以被有效减少。
图3是根据本发明的一实施例说明图1所示ROI决定电路120的操作示意图。ROI决定电路120可以在原始视频帧330与其后的多个连续视频帧的任一视频帧(例如图3所示视频帧331、332与333的任一个)内设定初始ROI 350。通过使用编码电路110所提供的编码信息，对任一视频帧(例如图3所示视频帧330、331、332或333)，ROI决定电路120可以在初始ROI 350内识别一个或多个ROI对象(例如图3所示ROI对象361)。ROI决定电路120可以在当前视频帧(例如图3所示视频帧330)内产生一个或多个动态ROI(例如图3所示动态ROI351)，以追踪所述ROI对象361。
如图3所示，初始感兴趣区域350是在视频帧中的一个固定窗(位置固定的区域)。动态ROI 351是由ROI对象361的形状所决定的动态变化区域。也即，动态ROI 351的大小与形状会随实际ROI对象361的大小与形状的改变而改变。举例来说，当监控范围内的车子(ROI对象361)转弯时，对应之动态ROI 351也随之变形。当车子(ROI对象361)驶离拍摄位置时，也即ROI对象361变小，则对应之动态ROI 351也随之变小。当车子(ROI对象361)驶近拍摄位置时，也即ROI对象361变大，则对应之动态ROI 351也随之变大。其中，ROI对象361可以是任意大小与任意形状，因此对应之动态ROI 351也可以是任意大小与任意形状。动态ROI351大小与形状可随ROI对象361的大小与形状而改变，因此将能减少带宽资源浪费，提高视频频宽的使用效率，同时符合ROI对象361的视频质量的设计要求。
在图3所示之实施例中，ROI对象361的每一个出现在当前视频帧内的初始ROI 350中，或者曾经出现在当前视频帧之前的多个连续视频帧的至少一个视频帧内的初始ROI350中。也就是说，若ROI决定电路120在初始ROI 350中曾经识别出ROI对象361，则不论ROI对象361是否已经离开初始ROI 350，ROI决定电路120会通过建立动态ROI 351来持续追踪ROI对象361。
图4A至图4D是根据本发明的一实施例示出的初始ROI 350的不同情形示意图。图3所述ROI对象361可以包括图4A至图4D所述对象中的一个或多个。如图4A所示，ROI对象361可以是，一开始出现在初始ROI 350，而后停留在初始ROI 350中的至少一个ROI对象。如图4B所示，ROI对象361可以是，一开始出现在初始ROI 350中，而后离开初始ROI 350中的至少一个ROI对象。如图4C所示，ROI对象361可以是，一开始没有出现在初始ROI 350，而后进入并停留在初始ROI 350中的至少一个ROI对象。如图4D所示，ROI对象361可以是，一开始没有出现在初始ROI 350中，而后通过初始ROI 350且离开初始ROI 350的至少一个ROI对象。此外，ROI对象361也可能出现分离的状况，例如乘客下车(人与车分离)。在另一些情形中，ROI对象361也可能出现合并的状况，例如乘客上车(人与车合并)。基于多个ROI对象361的分离或合并，对应之多个动态ROI 351也可以被分离或合并。
图1所示ROI决定电路120可以基于编码电路110所提供的编码信息来计算当前编码块的信度值(confidence value)，并根据此信度值判定当前编码块是否位于动态ROI351中。本实施例并不限制所述信度值的计算方式。举例来说，ROI决定电路120可以使用下述等式(1)来计算当前编码块的所述信度值Nc。信度值Nc是一个介于0至1之间的值。ROI决定电路120可以比较信度值Nc与阈值(threshold)的关系来判定当前编码块是否位于动态ROI 351中。当信度值Nc大于阈值时，ROI决定电路120可以判定当前编码块是一个ROI块(也即当前编码块位于动态ROI 351中)。当信度值Nc小于阈值时，ROI决定电路120可以判定当前编码块不是ROI块(也即当前编码块不在动态ROI 351中)。所述阈值可以依照设计需求来决定。
Nc＝1/[1+exp(-ΣjWjxj-b)] 等式(1)
在等式(1)中，exp()表示以e为底的指数函数，Wj表示权重，xj表示编码电路110所提供的编码信息，而b表示偏移参数。编码信息xj可以是编码电路110的编码过程中所产生的信息。在本实施例中，编码信息xj包括CU深度信息、TU大小信息、PU大小信息、运动向量信息、当前区块的变化信息、固定ROI(Fixed ROI)的标记信息、参考区块(reference block)的信度值Nc以及/或是其他编码信息。将上述编码信息输入等式(1)，经过一定量机器学习(machine learning)的训练或者经验化的优化设置后，可以取得经优化的权重参数Wj和偏置参数b。ROI决定电路120会依据信度值Nc判断是否对编码电路110的编码参数进行调整，从而改善压缩后的视频质量。
图5是根据本发明的一实施例说明图1所示编码电路110与ROI决定电路120的电路方框示意图。在本实施例中，编码电路110包括分割电路
(partition circuit)111、编译电路(coding circuit)112、反量化电路(inversequantization circuit)113以及反变换电路(inverse transformation circuit)114，而感兴趣区域决定电路120包括标记电路(Marking Circuit)121。标记电路121耦接到编码电路110的分割电路111，以接收所述编码信息，例如LCU纹理信息、CU深度信息、PU大小信息、TU大小信息、运动向量信息以及/或是AMVP信息。标记电路121可以依据初始ROI决定电路10所提供的初始ROIRinit而在视频帧内设定初始ROI。标记电路121可以根据所述编码信息来标记一个或多个动态ROI内的编码块(CU)。被标记之CU其视频指标将被提升，以帮助提升该动态ROI内的CU之视频质量。标记电路121根据所述编码信息来产生用于标记所述动态ROI各自位置的标记信息，并将标记信息提供给编译电路112。
图5所示分割电路111对原始视频帧进行视频分割操作，以产生所述编码信息给标记电路121。编译电路112耦接到标记电路121以接收标记信息。根据所述标记信息，编译电路112可以调整至少一个参数，并根据经调整的参数进行编译操作以产生已编码视频帧作为位串流输出信号Bout。
在图5所示实施例中，分割电路111包括编码块分割电路(CU partition circuit)510、运动估计电路(motion estimation circuit)520以及变换电路(transformationcircuit)530。编码块分割电路510接收原始视频帧，并对原始视频帧进行编码块分割操作以产生编码块深度信息。依照设计需求，所述编码块分割操作可以是现有的编码块分割操作或是其他编码块分割操作。运动估计电路520耦接到编码块分割电路510，以接收CU深度信息。根据CU深度信息，运动估计电路520可以对原始视频帧进行预测块分割操作和运动估计操作，以产生PU大小信息和运动向量信息。运动估计电路520根据进阶运动向量预测(AMVP)信息可判断当前运动向量的状况。利用空间、时间上运动向量的相关性，运动估计电路520可以为当前预测块建立了预测运动向量候选列表，再从候选列表中选出最佳预测运动向量。依照设计需求，所述预测块分割操作可以是现有的预测块分割操作或是其他预测块分割操
作，所述运动估计操作可以是现有的运动估计操作或是其他运动估计操作。变换电路530耦接到编码块分割电路510，以接收CU深度信息。变换电路530耦接到运动估计电路520，以接收PU大小信息和运动向量信息。根据CU深度信息、PU大小信息以及运动向量信息，变换电路530可以对原始视频帧进行变换块分割操作，以产生TU大小信息。依照设计需求，所述变换块分割操作可以是现有的变换块分割操作或是其他变换块分割操作。所述CU深度信息、PU大小信息、TU大小信息以及/或是运动向量信息可以被传送至标记电路121作为所述编码信息。
在图5所示实施例中，所述编译电路112包括量化电路(quantization
circuit)540和熵编码电路(entropy coding circuit)550。量化电路540耦接到标记电路121，以接收标记信息。量化电路540根据标记信息调整至少一个参数，并且根据至少一个参数对编码块(CU)进行量化操作以产生量化帧(quantized frame)。量化电路540会将所述量化帧提供给熵编码电路550与反量化电路113。
依照设计需求，所述量化操作可以是现有的量化操作或是其他量化操作。举例来说，所述量化操作可以包含上述等式(2)。在等式(2)中，sign()表示符号函数(signfunction)，C(i,j)表示量化前的参数，Z(i,j)表示量化后的参数，q表示量化步距(quantization step size)，Δ表示舍入偏置量(rounding offset)。
图6是根据本发明的一实施例示出的量化步距与舍入偏置之调整示意
图。在视频编码中，对“视觉上失真”不敏感的区域(即失真敏感度较小的区域)，量化电路540可以增大其量化步距。对敏感区域，量化电路540可以减小其量化步距。相较于使用统一(固定)的量化步距，调整量化步距可以使编码失真的分配更符合人眼视觉感知，从而在相同压缩比下提升图像质量，提高编码效率。此外，舍入偏置为量化参数的偏移值。如图6所示，舍入偏置量用以控制盲区(dead zone)610的范围，影响非零重建系数(non-zeroreconstructed coefficients)的数量。
请参照图5，标记电路121可以通过标记信息来控制量化电路540去调整所述量化操作的参数。例如，量化电路540可以根据标记信息180来调整所述量化操作的一个或多个参数(例如量化步距、舍入偏置及/或其他参数)。基于经调整后的参数，量化电路540可以对编码块(CU)进行量化操作以产生量化帧(quantized frame)。
熵编码电路550耦接到量化电路540，以接收量化帧。熵编码电路550可以对量化电路540所输出的量化帧执行熵编码操作，以产生所述已编码视频帧。熵编码电路550的操作细节可以依照设计需求来决定。例如，熵编码电路550可以对量化电路540所提供的量化帧执行行程长度编码(run-length coding)、霍夫曼(Huffman)编码、算术编码(arithmeticcoding)或是其他熵编码操作。熵编码电路550可以是现有的熵编码电路或是其他熵编码电路/组件。最后，熵编码电路119会产生已编码视频帧作为位串流输出信号Bout。
反量化电路113会对量化电路540所提供的量化帧进行反量化的运算。反量化电路113会将反量化结果提供给反变换电路114。反变换电路114会对反量化电路113所提供的反量化结果进行反变换的运算。反变换电路114会将反变换结果提供给运动估计电路520。反量化电路113与反变换电路114的操作细节可以依照设计需求来决定。举例来说，反量化电路113可以是现有的反量化电路或是其他反量化电路/组件，而反变换电路114可以是现有的反变换电路或是其他反变换电路/组件。
图7为根据另一实施例所示出的一种视频编码方法的流程示意图。此视频编码方法可以应用在图1的视频编码装置100，但不限于此。仅为了说明的目的，图7的实施例将参照图1的视频编码装置100来加以说明。请参照图1与图7。在步骤S710中，ROI决定电路120可以在原始视频帧内产生初始ROI 350。图7所示步骤S710可以参照图2所示步骤S220的相关说明来类推，故不再赘述。在步骤S720中，ROI决定电路120可以根据初始ROI 350识别一或多个ROI对象361。对原始视频帧后的多个连续视频帧中的任何一个视频帧(当前视频帧)，ROI决定电路120在步骤S730中可以在当前视频帧内产生一个或多个动态感兴趣区域351，以便追踪所述一或多个ROI对象361。图7所示步骤S730可以参照图2所示步骤S240的相关说明来类推，故不再赘述。
图8至图11是根据本发明的一实施例所示出的初始感兴趣区域的情形示意图。图8至图11所示的情形是由相机所拍摄的街景。请参照图8，ROI对象361可以是一开始没有出现在初始ROI 350中然后进入初始ROI 350的至少一个ROI对象(例如，车辆)。如图9所示，当ROI对象361进入初始ROI 350时，ROI决定电路120可以识别初始ROI 350内的ROI对象361。基于ROI决定电路120的控制，编码电路110可以通过使用第一编码策略来对初始ROI 350执行视频编码操作以维持(或增加)ROI对象361的视频质量。为了节省网络带宽和存储空间，编码电路110可以通过使用第二编码策略对其他区域执行视频编码操作。对应于第一编码策略的视频质量更优于(或更高于)对应于第二编码策略的视频质量。
请参照图10，ROI对象361可以是一开始出现在初始ROI 350中，然后离开初始ROI350的至少一个ROI对象。当ROI对象361离开初始ROI 350时，ROI决定电路120可以生成一个或多个动态ROI(例如，图10中所示的动态ROI 351)，用于追踪当前视频帧内的ROI对象361。基于ROI决定电路120的控制，编码电路110可以通过使用第一编码策略来维持(或增加)ROI对象361的视频质量而对动态ROI 351执行视频编码操作。为了节省网络带宽和存储空间，编码电路110可以通过使用第二编码策略对初始ROI 350执行视频编码操作，因为初始ROI350中没有对象。
请参照图11，ROI决定电路120可以产生动态ROI 351，以便跟踪ROI对象361。另一个“车辆”可以是一开始没有出现在初始ROI 350中，然后通过初始ROI 350的至少一个ROI对象361’。当“车辆”进入初始ROI 350，则ROI决定电路120可以识别此“车辆”作为另一个ROI对象361’。ROI决定电路120可以产生另一个动态ROI 351'，以追踪当前视频帧内的ROI对象361’。
值得注意的是，在不同的应用情形中，所述初始ROI决定电路10、视频编码装置100、编码电路110、分割电路111、编译电路112、反量化电路113、反变换电路114、ROI决定电路120、标记电路121、编码块分割电路510、运动估计电路520、变换电路530、量化电路540及/或熵编码电路550的相关功能可以利用一般的编程语言(programming languages，例如C或C++)、硬件描述语言(hardware description languages，例如Verilog HDL或VHDL)或其他合适的编程语言来实现为软件、固件或硬件。可执行所述相关功能的编程语言可以被布置为任何已知的计算器可存取介质(computer-accessible medias)，例如磁带(magnetic tapes)、半导体(semiconductors)内存、磁盘(magnetic disks)或光盘(compact disks，例如CD-ROM或DVD-ROM)，或者可通过互联网(Internet)、有线通信(wiredcommunication)、无线通信
(wireless communication)或其它通信介质传送所述编程语言。所述编程语言可以被存放在计算器的可存取介质中，以便于由计算器的处理器来存取/执行所述软件(或固件)的编程码(programming codes)。对于硬件实现，结合本文实施例所揭示的模式，利用在一或多个控制器、微控制器、微处理器、特殊应用集成电路(Application-specificintegrated circuit,ASIC)、数字信号处理器(digital signal processor,DSP)、场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)及/或其他处理单元中的的各种示例性的逻辑、逻辑区块、模块和电路可以被用于实现或执行本文所述功能。另外，本发明的装置和方法可以通过硬件和软件的组合来实现。
综上所述，本发明诸实施例所述视频编码装置与视频编码方法可以复用编码电路110所产生的编码信息来识别在初始ROI中的一个或多个ROI对象。当在初始ROI中曾经出现ROI对象时，依据此ROI对象的移动，ROI决定电路120可以在当前视频帧内产生一个或多个动态ROI以追踪所述ROI对象。其中，依据所述ROI对象的移动状况，以及依据ROI对象的大小及形状，所述动态ROI的大小及形状可以被动态调整。当前视频帧中的ROI区域与其他区域可以分别采取不同的编码策略来进行视频编码操作。因此，所述视频编码装置与视频编码方法可以提高这些ROI对象的之视觉质量，并且可以兼顾软/硬件资源(例如编码运算资源、传输带宽与存储空间)的设计要求。
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的权利要求所界定者为准。
【符号说明】
10：初始ROI决定电路
100：视频编码装置
110：编码电路
111：分割电路
112：编译电路
113：反量化电路
114：反变换电路
120：ROI决定电路
121：标记电路
330：原始视频帧
331、332、333：视频帧
350：初始感兴趣区域
351：动态感兴趣区域
361：感兴趣区域对象
510：编码块分割电路
520：运动估计电路
530：变换电路
540：量化电路
550：熵编码电路
Bout：位串流输出信号
Rinit：初始ROI
S210～S240、S710～S730：步骤
Vin：视频输入信号

Claims (41)

1.一种视频编码装置，其特征在于，所述视频编码装置包括：
编码电路，被配置为对原始视频帧进行视频编码操作以产生已编码视频帧，其中所述视频编码操作在编码过程中产生至少一个编码信息；以及
感兴趣区域决定电路，耦接到所述编码电路以接收所述编码信息，并且被配置为在所述原始视频帧内获得初始感兴趣区域，并且对于在所述原始视频帧后的多个连续视频帧的任一个，复用由所述视频编码操作产生的所述编码信息，以便根据所述初始感兴趣区域识别一个或多个感兴趣区域对象，以及在当前视频帧内产生一个或多个动态感兴趣区域以追踪所述一或多个感兴趣区域对象。
2.如权利要求1所述的视频编码装置，其特征在于，所述初始感兴趣区域是一个固定窗，并且所述一个或多个动态感兴趣区域是由所述感兴趣区域对象的形状所决定的动态变化区域。
3.如权利要求1所述的视频编码装置，其特征在于，所述感兴趣区域对象的每一个出现在所述当前视频帧内的所述初始感兴趣区域中，或出现在所述当前视频帧之前的多个连续视频帧的至少一个视频帧内的所述初始感兴趣区域中。
4.如权利要求3所述的视频编码装置，其特征在于，所述一个或多个感兴趣区域对象包括以下对象中的一个或多个：
一开始出现在所述初始感兴趣区域中并且停留在所述初始感兴趣区域中的至少一个感兴趣区域对象，
一开始出现在所述初始感兴趣区域中并且离开所述初始感兴趣区域的至少一个或感兴趣区域对象，
一开始没有出现在所述初始感兴趣区域中并且进入并停留在所述初始感兴趣区域中的至少一个感兴趣区域对象，以及
一开始没有出现在所述初始感兴趣区域中并且通过所述初始感兴趣区域的至少一个感兴趣区域对象。
5.如权利要求1所述的视频编码装置，其特征在于，在所述复用由所述视频编码操作产生的所述编码信息以便产生所述一个或多个动态感兴趣区域以追踪所述一或多个感兴趣区域对象的操作中，所述感兴趣区域决定电路基于所述编码信息产生标记信息以标记所述一个或多个动态感兴趣区域的个别位置。
6.如权利要求1所述的视频编码装置，其特征在于，所述编码电路使用第一编码策略对所述当前视频帧中的所述一个或多个动态感兴趣区域进行所述视频编码操作，并使用第二编码策略对所述当前视频帧中的其他区域进行所述视频编码操作，其中对应于所述第一编码策略的视频质量更优于或更高于对应于所述第二编码策略的视频质量。
7.如权利要求1所述的视频编码装置，其特征在于，所述编码信息包括最大编码块纹理信息、编码块深度信息、预测块大小信息、变换块大小信息、运动向量信息以及进阶运动向量预测信息中的一个或多个。
8.如权利要求1所述的视频编码装置，其特征在于，所述感兴趣区域决定电路包括：
标记电路，被配置为根据所述编码信息标记所述一个或多个动态感兴趣区域的编码块，以便基于所述编码信息来产生用于标记所述一或多个动态感兴趣区域各自位置的标记信息。
9.如权利要求8所述的视频编码装置，其特征在于，所述编码电路包括：
分割电路，被配置为对所述原始视频帧进行视频分割操作以产生所述至少一个编码信息给该标记电路；以及
编译电路，耦接到所述标记电路以接收所述标记信息，且被配置为根据所述标记信息调整至少一个参数，并根据所述至少一个参数进行编译操作以产生所述已编码视频帧。
10.如权利要求9所述的视频编码装置，其特征在于，所述分割电路包括：
编码块分割电路，被配置为在所述原始视频帧进行编码块分割操作以产生编码块深度信息；
运动估计电路，耦接到所述编码块分割电路以接收所述编码块深度信息，并且被配置为根据所述编码块深度信息对所述原始视频帧进行预测块分割操作和运动估计操作，以产生预测块大小信息和运动向量信息；以及
变换电路，耦接到所述编码块分割电路以接收所述编码块深度信息，耦接到所述运动估计电路以接收所述预测块大小信息和所述运动向量信息，并且被配置为根据所述编码块深度信息、所述预测块大小信息以及所述运动向量信息来对所述原始视频帧进行变换块分割操作，以产生变换块大小信息，其中所述编码信息包括所述编码块深度信息、所述预测块大小信息、所述变换块大小信息和所述运动向量信息中的一个或多个。
11.如权利要求9所述的视频编码装置，其特征在于，所述编译电路包括：
量化电路，耦接到所述标记电路以接收所述标记信息，并且被配置为根据所述标记信息调整所述至少一个参数，并且根据所述至少一个参数对所述编码块进行量化操作以产生量化帧；以及
熵编码电路，耦接到所述量化电路以接收所述量化帧，并且被配置为对所述量化帧进行熵编码操作以产生所述已编码视频帧。
12.如权利要求11所述的视频编码装置，其特征在于，被所述量化电路调整的所述至少一个参数包含量化步距和舍入偏置中的一个或多个。
13.如权利要求1所述的视频编码装置，其特征在于，所述感兴趣区域决定电路基于所述编码信息计算当前编码块的信度值，并根据所述信度值判定所述当前编码块是否位于所述动态感兴趣区域中。
14.如权利要求13所述的视频编码装置，其特征在于，所述感兴趣区域决定电路使用等式Nc＝1/[1+exp(-ΣjWjxj-b)]来计算所述当前编码块的所述信度值Nc，其中exp()为以e为底的指数函数，Wj为权重，xj为所述编码信息，而b为偏移参数。
15.一种视频编码方法，其特征在于，所述视频编码方法包括：
通过编码电路对原始视频帧进行视频编码操作，以产生已编码视频帧，其中所述视频编码操作在编码过程中产生至少一个编码信息；
在所述原始视频帧内获得初始感兴趣区域；以及
对于在所述原始视频帧后的多个连续视频帧的任一个，复用由所述视频编码操作产生的所述编码信息，以便根据所述初始感兴趣区域识别一个或多个感兴趣区域对象，以及在当前视频帧内产生一个或多个动态感兴趣区域以追踪所述一或多个感兴趣区域对象。
16.如权利要求15所述的视频编码方法，其特征在于，所述初始感兴趣区域是一个固定窗，并且所述一个或多个动态感兴趣区域是由所述感兴趣区域对象的形状所决定的动态变化区域。
17.如权利要求15所述的视频编码方法，其特征在于，所述感兴趣区域对象的每一个出现在所述当前视频帧内的所述初始感兴趣区域中，或出现在所述当前视频帧之前的所述多个连续视频帧中的至少一个视频帧内。
18.如权利要求15所述的视频编码方法，其特征在于，所述一或多个感兴趣区域对象包括以下对象中的一个或多个：
一开始出现在所述初始感兴趣区域中并且停留在所述初始感兴趣区域中的至少一个感兴趣区域对象，
一开始出现在所述初始感兴趣区域中并且离开所述初始感兴趣区域的至少一个或感兴趣区域对象，
一开始没有出现在所述初始感兴趣区域中并且进入并停留在所述初始感兴趣区域中的至少一个感兴趣区域对象，以及
一开始没有出现在所述初始感兴趣区域中并且通过所述初始感兴趣区域的至少一个感兴趣区域对象。
19.如权利要求15所述的视频编码方法，其特征在于，所述在所述复用由所述视频编码操作产生的所述编码信息以便产生所述一个或多个动态感兴趣区域以追踪所述一或多个感兴趣区域对象的步骤包括：
由所述感兴趣区域决定电路基于所述编码信息产生标记信息以标记所述一个或多个动态感兴趣区域的个别位置。
20.如权利要求15所述的视频编码方法，其特征在于，所述视频编码方法更包括：
通过使用第一编码策略对所述当前视频帧中的所述一或多个动态感兴趣区域进行视频编码操作；以及
通过使用第二编码策略对所述当前视频帧中的其他区域进行视频编码操作，其中对应于所述第一编码策略的视频质量更优于或更高于对应于所述第二编码策略的视频质量。
21.如权利要求15所述的视频编码方法，其特征在于，所述编码信息包括最大编码块纹理信息、编码块深度信息、预测块大小信息、变换块大小信息、运动向量信息、以及进阶运动向量预测信息中的一个或多个。
22.如权利要求15所述的视频编码方法，其特征在于，所述产生一个或多个动态感兴趣区域的步骤包括：
根据所述编码信息标记所述一或多个动态感兴趣区域的编码块，以便基于所述编码信息来产生用于标记所述一或多个动态感兴趣区域各自位置的标记信息。
23.如权利要求22所述的视频编码方法，其特征在于，所述视频编码操作包括：
对所述原始视频帧进行视频分割操作以产生所述至少一个编码信息；以及
根据所述标记信息调整至少一个参数，并根据所述至少一个参数进行编译操作以产生所述已编码视频帧。
24.如权利要求23所述的视频编码方法，其特征在于，所述视频分割操作包括：
通过编码块分割电路对所述原始视频帧进行编码块分割操作，以产生编码块深度信息；
通过运动估计电路根据所述编码块深度信息对所述原始视频帧进行预测块分割操作和运动估计操作，以产生预测块大小信息和运动向量信息；以及
根据所述编码块深度信息、所述预测块大小信息以及所述运动向量信息，通过变换电路对所述原始视频帧执行变换块分割操作，以产生变换块大小信息，其中所述编码信息包括所述编码块深度信息、所述预测块大小信息、所述变换块大小信息和所述运动向量信息中的一个或多个。
25.如权利要求23所述的视频编码方法，其特征在于，所述调整所述至少一个参数的步骤包括：
根据所述标记信息，通过量化电路调整所述至少一个参数；
根据所述至少一个参数，通过所述量化电路对所述编码块进行量化操作，以产生量化帧；以及
通过熵编码电路对所述量化帧进行熵编码操作，以产生所述已编码视频帧。
26.如权利要求25所述的视频编码方法，其特征在于，被所述量化电路调整的所述至少一个参数包括量化步距和舍入偏置中的一个或多个。
27.如权利要求15所述的视频编码方法，其特征在于，所述视频编码方法更包括：
基于所述编码信息计算当前编码块的信度值；以及
根据所述信度值判定所述当前编码块是否位于所述动态感兴趣区域中。
28.如权利要求27所述的视频编码方法，其特征在于，所述计算所述信度值的步骤包括：
通过使用等式Nc＝1/[1+exp(-ΣjWjxj-b)]计算所述当前编码块的所述信度值Nc，其中exp()是指以e为底的指数函数，Wj为权重，xj是所述编码信息，b是偏移参数。
29.一种视频编码方法，其特征在于，所述视频编码方法包括：
在原始视频帧内产生初始感兴趣区域；
根据所述初始感兴趣区域识别一或多个感兴趣区域对象；以及
对于在所述原始视频帧后的多个连续视频帧的任一个，在当前视频帧内产生一个或多个动态感兴趣区域以追踪所述一或多个感兴趣区域对象。
30.如权利要求29所述的视频编码方法，其特征在于，所述初始感兴趣区域是一个固定窗，并且所述一个或多个动态感兴趣区域是由所述感兴趣区域对象的形状所决定的动态变化区域。
31.如权利要求29所述的视频编码方法，其特征在于，所述感兴趣区域对象的每一个出现在所述当前视频帧内的所述初始感兴趣区域中，或出现在所述当前视频帧之前的所述多个连续视频帧中的至少一个视频帧。
32.如权利要求31所述的视频编码方法，其特征在于，所述一或多个感兴趣区域对象包括以下对象的一个或多个：
一开始出现在所述初始感兴趣区域中并且停留在所述初始感兴趣区域中的至少一个感兴趣区域对象，
一开始出现在所述初始感兴趣区域中并且离开所述初始感兴趣区域的至少一个或感兴趣区域对象，
一开始没有出现在所述初始感兴趣区域中并且进入并停留在所述初始感兴趣区域中的至少一个感兴趣区域对象，以及
一开始没有出现在所述初始感兴趣区域中并且通过所述初始感兴趣区域的至少一个感兴趣区域对象。
33.如权利要求29所述的视频编码方法，其特征在于，所述产生所述一个或多个动态感兴趣区域以追踪所述一或多个感兴趣区域对象的步骤包括：
由感兴趣区域决定电路基于视频编码操作产生的编码信息来产生标记信息以标记所述一个或多个动态感兴趣区域的个别位置。
34.如权利要求33所述的视频编码方法，其特征在于，所述视频编码方法更包括：
通过使用第一编码策略对在所述当前视频帧中的所述一或多个动态感兴趣区域进行所述视频编码操作；以及
通过使用第二编码策略对在所述当前视频帧中的其他区域进行所述视频编码操作，其中对应于所述第一编码策略的视频质量更优于或更高于对应于所述第二编码策略的视频质量。
35.如权利要求29所述的视频编码方法，其特征在于，所述产生一个或多个动态感兴趣区域的步骤包括：
根据由视频编码操作所产生的至少一个编码信息去标记所述一或多个动态感兴趣区域的编码块，以便基于所述编码信息来产生用于标记所述一或多个动态感兴趣区域各自位置的标记信息。
36.如权利要求35所述的视频编码方法，其特征在于，所述视频编码方法更包括：
对所述原始视频帧进行视频分割操作以产生所述至少一个编码信息；以及
根据所述标记信息调整至少一个参数，并根据所述至少一个参数进行编译操作，以产生已编码视频帧。
37.如权利要求36所述的视频编码方法，其特征在于，所述进行所述视频分割操作的步骤包括：
通过编码块分割电路对所述原始视频帧进行编码块分割操作，以产生编码块深度信息；
通过运动估计电路根据所述编码块深度信息对所述原始视频帧进行预测块分割操作和运动估计操作，以产生预测块大小信息和运动向量信息；以及
根据所述编码块深度信息、所述预测块大小信息和所述运动向量信息，通过变换电路对所述原始视频帧进执行变换块分割操作，以产生变换块大小信息，其中所述编码信息包括所述编码块深度信息、所述预测块大小信息、所述变换块大小信息和所述运动向量信息中的一个或多个。
38.如权利要求36所述的视频编码方法，其特征在于，所述调整所述至少一个参数的步骤包括：
根据所述标记信息，通过量化电路调整所述至少一个参数；
根据所述至少一个参数，通过所述量化电路对所述编码块进行量化操作，以产生量化帧；以及
通过熵编码电路对所述量化帧进行熵编码操作，以产生所述已编码视频帧。
39.如权利要求38所述的视频编码方法，其特征在于，被所述量化电路调整的所述至少一个参数包括量化步距和舍入偏置中的一个或多个。
40.如权利要求29所述的视频编码方法，其特征在于，所述视频编码方法更包括：
基于视频编码操作所产生的编码信息计算当前编码块的信度值；以及
根据所述信度值判定所述当前编码块是否位于所述动态感兴趣区域中。
41.如权利要求40所述的视频编码方法，其特征在于，所述计算该信度值的步骤包括：
通过使用等式Nc＝1/[1+exp(-ΣjWjxj-b)]计算所述当前编码块的所述信度值Nc，其中exp()指以e为底的指数函数，Wj为权重，xj是所述编码信息，b是偏移参数。
CN201710791138.1A 2017-09-05 2017-09-05 视频编码装置及视频编码方法 Pending CN109429065A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710791138.1A CN109429065A (zh) 2017-09-05 2017-09-05 视频编码装置及视频编码方法
US15/723,200 US20190075302A1 (en) 2017-09-05 2017-10-03 Video encoding apparatus and video encoding method
US17/009,727 US20200404290A1 (en) 2017-09-05 2020-09-01 Video encoding apparatus and video encoding method
US17/009,739 US20200404291A1 (en) 2017-09-05 2020-09-01 Video encoding apparatus and video encoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710791138.1A CN109429065A (zh) 2017-09-05 2017-09-05 视频编码装置及视频编码方法

Publications (1)

Publication Number Publication Date
CN109429065A true CN109429065A (zh) 2019-03-05

Family

ID=65514040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710791138.1A Pending CN109429065A (zh) 2017-09-05 2017-09-05 视频编码装置及视频编码方法

Country Status (2)

Country Link
US (3) US20190075302A1 (zh)
CN (1) CN109429065A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087081A (zh) * 2019-05-05 2019-08-02 腾讯科技（深圳）有限公司 视频编码方法、装置、服务器及存储介质
CN111277825A (zh) * 2020-01-19 2020-06-12 浙江工业大学 一种基于海思芯片的码流控制方法
WO2021093060A1 (zh) * 2019-11-15 2021-05-20 网宿科技股份有限公司 一种视频编码方法、系统及设备
CN112839227A (zh) * 2019-11-22 2021-05-25 浙江宇视科技有限公司 一种图像编码方法、装置、设备和介质
WO2023035552A1 (en) * 2021-09-13 2023-03-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video coding by object recognition and feature unit management

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11146608B2 (en) * 2017-07-20 2021-10-12 Disney Enterprises, Inc. Frame-accurate video seeking via web browsers
JP6806011B2 (ja) * 2017-09-14 2020-12-23 株式会社デンソー 画像処理装置
JP7050509B2 (ja) * 2018-01-31 2022-04-08 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7552849B2 (ja) 2021-02-24 2024-09-18 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
US11882366B2 (en) * 2021-02-26 2024-01-23 Hill-Rom Services, Inc. Patient monitoring system
JP2024537644A (ja) * 2021-09-13 2024-10-16 オッポ広東移動通信有限公司 オブジェクト識別及び特徴抽出によるビデオコーディング
WO2024076273A1 (en) * 2022-10-07 2024-04-11 Telefonaktiebolaget Lm Ericsson (Publ) Object-based qp adaptation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101049006A (zh) * 2004-10-29 2007-10-03 三洋电机株式会社 图像编码方法及装置以及图像解码方法及装置
WO2012139275A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Object of interest based image processing
CN103780973A (zh) * 2012-10-17 2014-05-07 三星电子（中国）研发中心 视频标签添加方法及装置
CN103873864A (zh) * 2014-03-31 2014-06-18 江南大学 一种应用于视频对象检索的对象标志位高效编码方法
CN106576170A (zh) * 2014-08-01 2017-04-19 Ati科技无限责任公司 用于视频编码的自适应搜索窗口定位

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101049006A (zh) * 2004-10-29 2007-10-03 三洋电机株式会社 图像编码方法及装置以及图像解码方法及装置
WO2012139275A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Object of interest based image processing
CN103780973A (zh) * 2012-10-17 2014-05-07 三星电子（中国）研发中心 视频标签添加方法及装置
CN103873864A (zh) * 2014-03-31 2014-06-18 江南大学 一种应用于视频对象检索的对象标志位高效编码方法
CN106576170A (zh) * 2014-08-01 2017-04-19 Ati科技无限责任公司 用于视频编码的自适应搜索窗口定位

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087081A (zh) * 2019-05-05 2019-08-02 腾讯科技（深圳）有限公司 视频编码方法、装置、服务器及存储介质
WO2021093060A1 (zh) * 2019-11-15 2021-05-20 网宿科技股份有限公司 一种视频编码方法、系统及设备
CN112839227A (zh) * 2019-11-22 2021-05-25 浙江宇视科技有限公司 一种图像编码方法、装置、设备和介质
CN112839227B (zh) * 2019-11-22 2023-03-14 浙江宇视科技有限公司 一种图像编码方法、装置、设备和介质
CN111277825A (zh) * 2020-01-19 2020-06-12 浙江工业大学 一种基于海思芯片的码流控制方法
WO2023035552A1 (en) * 2021-09-13 2023-03-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video coding by object recognition and feature unit management

Also Published As

Publication number Publication date
US20200404291A1 (en) 2020-12-24
US20200404290A1 (en) 2020-12-24
US20190075302A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
CN109429065A (zh) 视频编码装置及视频编码方法
VR An enhanced coding algorithm for efficient video coding
CN111670580B (zh) 渐进压缩域计算机视觉和深度学习系统
US8982951B2 (en) Adaptive motion estimation coding
US7957466B2 (en) Adaptive area of influence filter for moving object boundaries
KR20190117651A (ko) 이미지 프로세싱 및 비디오 압축 방법
US7894522B2 (en) Classified filtering for temporal prediction
CN101103632A (zh) 利用动态地基于法向流的量化步长来处理视频信号的方法
CN107770525B (zh) 一种图像编码的方法及装置
CN111182303A (zh) 共享屏幕的编码方法、装置、计算机可读介质及电子设备
KR20230040286A (ko) 영상정보의 비트스트림정보에 기반하여 물체 유기이벤트를 감지하는 방법 및 시스템
US8059719B2 (en) Adaptive area of influence filter
Löhdefink et al. Focussing learned image compression to semantic classes for V2X applications
CN103051891A (zh) 确定数据流内分块预测编码的视频帧的块的显著值的方法和装置
CN112801883A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
Jeong et al. An overhead-free region-based JPEG framework for task-driven image compression
Feng et al. Semantically structured image compression via irregular group-based decoupling
CN112383778B (zh) 一种视频编码方法、装置及解码方法、装置
Ahonen et al. Region of Interest Enabled Learned Image Coding for Machines
US11863755B2 (en) Methods and apparatus to encode video with region of motion detection
Tripathi et al. Efficient fog removal from video
WO2023050433A1 (zh) 视频编解码方法、编码器、解码器及存储介质
CN1939064A (zh) 视频处理方法和相应的编码设备
Kumar et al. STAR: Efficient SpatioTemporal Modeling for Action Recognition
CN102948147A (zh) 基于变换系数直方图的视频速率控制

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190305

WD01 Invention patent application deemed withdrawn after publication